HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
0 likes748 views
XRミーティング 2020/12/16登壇資料。 HoloLens 2で入力に使える操作方法を整理しつつ、Gaze And Dwellという聞きなれない言葉についてMRTKの機能を元に紹介。
More Related Content
What's hot (20)
Similar to HoloLensでコンテンツを操作する方法 - Gaze And Dwell - (20)
More from Takahiro Miyaura (19)
Recently uploaded (11)
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
- 1. takabrz1 大阪駆動開発 Takahiro Miyaura HoloLensでコンテンツを操作する方法 Gaze And Dwell
- 2. 宮浦 恭弘 (Miyaura Takahiro) ? 大阪駆動開発コミュニティに生息 ? HoloLens日本販売してからXR系技術に取組む ? 普段はよくMixed Reality Toolkitに関する調査している ? 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura takabrz1 ※よかったらこれを機にお知り合いになってください ? リリース機能調べたり??? ? 面白い機能使ってみたり??? ? 新しい実験してフィードバックしたり??? 最近はこちらが中心 （貢献領域：Mixed Reality） Microsoft MVP for Windows Development 2018-202 1 某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です
- 3. 今日お題 2020/12/15 Copyright ? 2020 Takahiro Miyaura 3 Mixed Reality Dev Days Japan裏話 ? 英語セションの日本語訳の添削をMVPsでやっていた ? 結構日本語に訳すると不可解 ? サニティーチェック→ダメ出しでチェックとか??? ? そんな中Dwell is 何？で盛り上がった Dwell自体はHoloLens でコンテンツ操作の1要素 今日はHoloLensでの操作についての整理とgaze and dwellの話
- 4. 本題の前に今回も少し紹介 2020/12/15 Copyright ? 2020 Takahiro Miyaura 4
- 5. MicrosoftのMixed Reality向けライブラリ群 2020/12/15 Copyright ? 2020 Takahiro Miyaura 5 用途/プラットフォームで提供 ?Unity向け ?クロスプラットフォーム ?最新バージョンはV2.5.1 ?UX部品 ?イベント制御系 etc… ?Unity向け ?UXデザインのサンプル ?Periodic Table ?Lunar Module ?Surface ?Unreal向け ?サブセットがいくつかある ?第一弾はUXTools for Unreal ? 最新はV0.10.0 ? Unity向けのライブラリと同等を目指す
- 6. Mixed Reality Toolkit V2 for Unity 概要 2020/12/15 Copyright ? 2020 Takahiro Miyaura 6 Unity向けOSSライブラリ OpenVR HMD （HTC Vive / Oculus Rift） iOS/Android (ARFoundation) HoloLens HoloLens 2 Windows Mixed Reality HMD Oculus Quest 2 ? Cross Platformでの開発可能 ? XRデバイスにおけるUnity開発の基本的な構成要素を提供 ? ラピッドプロトタイピングを実現 ? コア機能が交換可能な拡張性の高いフレームワーク
- 7. Mixed Reality Toolkit V2 概要 2020/12/15 Copyright ? 2020 Takahiro Miyaura 7 XRデバイスの固有機能を含め様々な補助機能を提供
- 8. Mixed Reality Toolkit V2 概要 2020/12/15 Copyright ? 2020 Takahiro Miyaura 8 UX building blocks : 組込み済みのUX部品群
- 9. HoloLensでの操作方法のおさらい 2020/12/15 Copyright ? 2020 Takahiro Miyaura 9
- 10. HoloLens 2でできる入力系操作 2020/12/15 Copyright ? 2020 Takahiro Miyaura 10 HoloLens 2で使える入力 ? Head Gaze ? Eye Tracking ? Hand Tracking ? Gesture(AirTap等) ? Voice Command 組合わせて操作する
- 11. 操作の確定 対象を決めるための操作 HoloLens 2でできる入力系操作 2020/12/15 Copyright ? 2020 Takahiro Miyaura 11 HoloLens 2で使える入力 ? Head Gaze ? Eye Tracking ? Hand Tracking ? Gesture(AirTap等) ? Voice Command 組合わせて操作する
- 12. HoloLens 2でできる入力系操作 2020/12/15 Copyright ? 2020 Takahiro Miyaura 12 Head Gaze & Gesture | VoiceCommand ? いわゆるHoloLens 1 Style ? カーソルを頭の動きで操作 ? 確定はGesture か Voice 操作対象 : Near / Far 参考:https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/gaze-and-commit- head?WT.mc_id=MR-MVP-5003104
- 13. HoloLens 2でできる入力系操作 2020/12/15 Copyright ? 2020 Takahiro Miyaura 13 Eye Tracking & Gesture | VoiceCommand ? 視線入力を活用 ? カーソルを視線で操作 ? 確定はGesture か Voice 参考: https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/gaze-and-commit- eyes?WT.mc_id=MR-MVP-5003104 操作対象 : Near / Far
- 14. HoloLens 2でできる入力系操作 2020/12/15 Copyright ? 2020 Takahiro Miyaura 14 Hand Tracking ? ハンドトラッキング機能を利用 (モーションコントローラも含) ? 対象を直接操作 ? 押して確定（ボタンの場合） 参考: https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/direct- manipulation?WT.mc_id=MR-MVP-5003104 操作対象 : Near
- 15. 本題のGaze And Dwellの話 2020/12/15 Copyright ? 2020 Takahiro Miyaura 15
- 16. Gaze And Dwell 2020/12/15 Copyright ? 2020 Takahiro Miyaura 16 Dwell is 何？ ? 意味：住む、居住する、ゆっくり考える、思案する??? Gazeでの選択を確定する際に思考する要素を入れる
- 17. Gaze And Dwell 2020/12/15 Copyright ? 2020 Takahiro Miyaura 17 Gazeのみで選択と確定をするための仕組み ? 注視によるタイムラグを活用 注視により処理が行われる
- 18. Gaze And Dwell 2020/12/15 Copyright ? 2020 Takahiro Miyaura 18 MRTKではExperimentalで提供 ? PackageManager経由でセットアップ可能です
- 19. Gaze And Dwell 2020/12/15 Copyright ? 2020 Takahiro Miyaura 19 Dwell Profile - 確定までのタイムラグ設定 ? Trigger Pointer Type ポインターの種類(Head, Eye etc…) ? Dwell Intent Delay 確定の評価に移行するまでの時間 ? Dwell Start Delay 確定評価開始時間 ? Time To Complete Dwell 確定までの注視時間 ? Time To Allow Dwell resume 注視を初期化するまでの時間
- 20. Gaze And Dwell 2020/12/15 Copyright ? 2020 Takahiro Miyaura 20 DwellHandler -状態毎の発生イベント制御 ? Dwell Intended 確定評価に移行時に発生 ? Dwell Started 確定の評価の移行時に発生 ? Dwell Completed 確定評価の完了時に発生 ? Dwell Canceled 確定評価のキャンセル時に発生
- 21. Gaze And Dwell 2020/12/15 Copyright ? 2020 Takahiro Miyaura 21 動きのイメージ Intent time dwell time Gazeを 当てる 確定の意思が あると判断 確定と判断 経過時間 Dwell start time 確定判定開始 Dwell Intended Dwell Started Dwell Completed この区間でGazeを外すと Dwell Canceled(はず)
- 22. まとめ 2020/12/15 Copyright ? 2020 Takahiro Miyaura 22 HoloLens 2の入力方法 体験に合わせて色々とチョイス 快適なMixed Reaity コンテンツをみんなも作ってね。 ? Head Gaze ? Eye Tracking ? Hand Tracking ? Gesture(AirTap等) ? Voice Command
- 23. 大阪駆動開発 関西を中心に、IT系のおもしろそうなことを楽しんでやるコミュニティ 2020/12/15 Copyright ? 2020 Takahiro Miyaura 23