狠狠撸

takabrz1 大阪駆動開発 Takahiro Miyaura
5周年ふりかえり！
HoloLens 1とHoloLens 2のUI操作と実装の違いを改
めて見てみよう
2022/01/18!
Tokyo HoloLens ミートアップ vol.29~HoloLens日本上陸五周年記念！~

宮浦恭弘 (Miyaura Takahiro)
? 大阪駆動開発(とHolomagicians)コミュニティに生息
? HoloLens日本販売してからxR系技術に取組む
? 普段はよくMixed Reality Toolkitに関する調査している
? 新しい技術や、MRに使えそうな技術を調べる
技術Tips : https://qiita.com/miyaura
@takabrz1 ※よかったらこれを機にお知り合いになってください
? リリース機能調べたり???
? 面白い機能使ってみたり???
? 新しい実験してフィードバックしたり???
最近はこちらに
Come Back気味
（貢献領域：Mixed Reality）
Microsoft MVP for Windows Development 2018-202 2
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です
と思ったらDigital Twins

もう5周年ですよ???
時が立つのは早いですね。
2022/01/18 Copyright ? 2022 Takahiro Miyaura 3

今日のお題
? HoloLens 1/2でオブジェクト操作感がどう変わった？
? 変わらない操作の基本的な考え方
? HoloLens 1の場合
? HoloLens 2の場合
? 実際にどう変わるか見比べてみる
? あのアプリで
2022/01/18 Copyright ? 2022 Takahiro Miyaura
ほとんどの人は知ってると思い
ますが振り返りも兼ねて
4

HoloLens1と2でどう操作感が変わったのか
- 変わらない基本的な考え方(フォーカス)

お断り
基本的にはMixed Reality Toolkitをベースに話します。
リファレンスとしてわかりやすいためですが、
MRTK独自の話ではないです
Microsoft公式ドキュメント
Docs / Windows / Mixed Reality / 機能の概要 / 入力 /概要

- 変わらない基本的な考え方（フォーカス）
基本(遠方)：Pointerでフォーカス→オブジェクトに作用
MSDOCS公式
操作の基点になる
Pointer
Pointer Rayと衝突するオブジェクト
Focused Object
選択の可視化
Cursor

（参考）近接の場合
基本(近接)：Pointerで接触→オブジェクトに作用
MSDOCS公式
直接触れる
PokePointer
掴んで操作する
GrabPointer

つまり
? ポインターを操作してオブジェクトにフォーカスする
Microsoft公式ドキュメント
操作の基点
Pointer
Eyes
Head
Hands
Motion
Controller
Ray
ポインターの指す方向の可視化
オブジェクト
フォーカス時Cursorが可視化
近接操作

参考
Mixed Reality Toolkitだとそれぞれへのアクセスは容易
? ポインターを操作してオブジェクトにフォーカスする
//検出している入力ソースの一覧を取得
var inputSystemDetectedInputSources = CoreServices.InputSystem.DetectedInputSources;
//入力ソースの1つを取得
var mixedRealityInputSource = inputSystemDetectedInputSources.First();
//入力ソースのタイプ（手、モーションコントローラ等）
var inputSourceType = mixedRealityInputSource.SourceType;
//入力ソースに対応するポインターを取得
var mixedRealityPointer = mixedRealityInputSource.Pointers.First();
//ポインターが持っているカーソルを取得
var mixedRealityCursor = mixedRealityPointer.BaseCursor;

- 変わらない基本的な考え方(アクション)

- 変わらない基本的な考え方(アクション)
フォーカスオブジェクトへの操作はいくつかあります。
つまむ
ジェスチャー
（タップ?ホールド）
注視（熟考）
（Dwell:一定時間のフォーカスで確定とみなす）
押す
音声

- HoloLens 1の場合

HoloLens1はシンプル
Head Gazeでオブジェクトにフォーカス
オブジェクトの操作は
ジェスチャー、音声等を利用
できることが少ないため
操作に手惑いは少ないかも

タップは難しかったですよね。。。
ただ

- HoloLens 2の場合

HoloLens2は様々な操作が可能
かなり色々な操作感を実現できてしまう
豊富な操作
組合せが重要
相性が悪い組合せもある
Eyes Head Hands
オブジェクトへのフォーカス
手段が豊富

例
Eye Tracking × タップ操作
タップを繰り返して微調整
途中で別のオブジェクトを注視
操作対象が変わる
Eye Tracking は音声やDwellが相性がよさそう

実際どう変わるか見比べてみる

お題はこちら

Lunar Module
（月面着陸ゲーム）
Mixed Reality Design Labsのサンプルの１つ

HoloLens 2対応ができた
Mixed Reality Design Labs – Lunar Module
? ようやく(まだたくさんバグ持ちしてるけど)
? Unity 2019.4系＋Legacy XR
? Mixed Reality Toolkit V2.7.0
? 基本的なUIをUI Building Blocksで置き換え
? 同じアプリをHoloLens 1とHoloLens 2で見ると微妙に違う

アプリの中で動きが違う部分の例
頭を動かすHoloLens 1とハンドトラッキングのHoloLens 2
HoloLens 1 HoloLens 2

まとめ

今日のお題
? HoloLens 1/2でオブジェクト操作感がどう変わった？
? 操作の基点となるポインター、Ray、Cursorの話
? HoloLens 1は操作がシンプルだがその方法は今も使える
? HoloLens 2は操作方法が多彩だが使い勝手に注意
? 実際にどう変わるか見比べてみる
? 比べると頭を動かさない方がかなり楽であることはわかる
? もう少しリファクタリングしてちゃんとPull Request
2022/01/18 Copyright ? 2022 Takahiro Miyaura
色々試行錯誤して
快適なUI操作を探してみて
25

大阪駆動開発
関西を中心に、IT系のおもしろそうなことを
楽しんでやるコミュニティ

狠狠撸

5周年ふりかえり！HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう

More Related Content

5周年ふりかえり！HoloLens 1とHoloLens 2のUI操作と実装の違いを改めて見てみよう