狠狠撸

takabrz1 大阪駆動開発 Takahiro Miyaura
Mixed Reality Toolkit V3について
2022/01/19
XRミーティング

宮浦恭弘 (Miyaura Takahiro)
? 大阪駆動開発(とHolomagicians)コミュニティに生息
? HoloLens日本販売してからxR系技術に取組む
? 普段はよくMixed Reality Toolkitに関する調査している
? 新しい技術や、MRに使えそうな技術を調べる
技術Tips : https://qiita.com/miyaura
@takabrz1 ※よかったらこれを機にお知り合いになってください
? リリース機能調べたり???
? 面白い機能使ってみたり???
? 新しい実験してフィードバックしたり???
最近はこちらに
Come Back気味
（貢献領域：Mixed Reality）
Microsoft MVP for Windows Development 2018-202 2
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です
と思ったらDigital Twins

最近の成果
2022/01/19 Copyright ? 2022 Takahiro Miyaura 3

ついにLunar Moduleが！
Lunar Module = Microsoft Mixed Reality Design Labs の活かしたUXアプリの1つ
○HoloLens 1 ○HoloLens 2
LegacyXR + MRTK V2.7.0でHololens 1用のアプリをHoloLens 2用に再調整

今日のお題
? Mixed Reality Toolkit V3について
? 昨日のミートアップで色々情報が出ていたのでその共有
? Mixed Reality Toolkit とは
? なぜV3が必要か？
? アーキテクチャ
? 機能(一部)
? ロードマップ
2022/01/19 Copyright ? 2022 Takahiro Miyaura
動画を見たい方は???
HoloLens ミートアップのアーカイブは
Conpass等で後日共有予定
5

- Mixed Reality Toolkit とは

Unity向けのMicrosoft公式のOSSライブラリ
?Unity向け
?クロスプラットフォーム
?最新バージョンはV2.7.3
?基本コンポーネント
?共通のインタラクション
?UIコントロール
※Unreal向けのMRTKもあります。
基本コンポーネントの例

特徴その１
?Unity向け
入力シミュレーション
? Unity Editor上でハンドトラッキング操作等をエミュレート可能
? 実機にデプロイせずにある程度の動作確認が実現可能

特徴その２
?Unity向け
クロスプラットフォーム対応
? 入力方法等デバイス毎のInteractionはProfileで自動的に変更
? 同一プロジェクトで複数のxRデバイスに対応できる

- なぜV3が必要か？

- なぜV3が必要なのか
コミュニティからのフィードバック
? 一例として紹介されていました
便利さゆえに???
○コンポーネントの課題
? 各サブシステムが大きくなっている
? 個別で活用できない
? UX部品として整備しているためカスタマイズが難しくなっている
? パフォーマンスの劣化が大きくなっている
○環境の課題
? Unity2018のサポート終了
? LegacyXRのサポート終了
? 業界標準への対応

- アーキテクチャ

フィードバックと業界標準のサポート
○非MRTKのコードと容易に統合可能
○独立したサブシステム
○MRTK V2を使いながらMRTK V3へ移行が可能
○エンタープライズ規模に対応したコンポーネント
○トクロスプラットフォームデバイスのサポー
○業界標準のサポート(最小要件の変更)
Unity XR Interaction Toolkit（XRI） OpenXR Unity 2020.3 LTS
xRコンテンツ開発を簡素化することを
目的としたクロスプラットフォームXR
体験を実現するための仕様およびSDK
xRコンテンツ開発を実現する3D開発プ
ラットフォーム
xRデバイスとコンテンツのInteraction
を抽象化しデバイス固有の実装を隠蔽
かすることでクロスプラットフォーム
開発を支援するための開発キット

使いたい部分を導入しながらコンテンツ開発の自由度を上げる構造
Theming / Branding
Data Binding
MRTK(No dependencies)
Volumetric Layout Accessibility
MRTK
Core UX
(Buttons, sliders, etc)
MRTK Interaction Layer
(Pointers, Gaze,
Stateful interactions)
Input Simulator
MRTK Subsystems
(Hands, Performance data, Speech, etc)
Tools
(Build Window, etc)
XR Interaction Toolkit
Input System XR / AR Subsystems
OpenXR / Microsoft Extentions
Unity
Visualizations
(Spatial Mesh, Performance
Monitor, Boundary)

MRTK V2および非MRTKのコードを利用
MRTK V2で構築したコードは非MRTKのコードと同じ扱いになるらしい
Theming / Branding
Data Binding
MRTK
Core UX
(Pointers, Gaze,
Input Simulator
MRTK Subsystems
Tools
(Build Window, etc)
Unity
Visualizations
Monitor, Boundary)

Interaction系は気になる。。。
Theming / Branding
Data Binding
MRTK
Core UX
(Pointers, Gaze,
Input Simulator
MRTK Subsystems
Tools
(Build Window, etc)
Unity
Visualizations
Monitor, Boundary)
このレイヤは機能が
重複しているように見える

- 機能(一部)
目標：
フレーム時間をできるだけ消費しないサブシステム

- 機能（一部）
新しいMixed Reality UI デザイン
UI デザイン
最近のMeshアプリのUIもこれが
ベースになってるらしい。
※ある時から性能が上がったのはおそらくこの影響かな。。。

Theme System
Theme System
選択したテーマに沿ってオブジェク
トの形状を動的に変更する機能

Data Binding & Dynamic UI
Data Binding & Dynamic UI
動的なデータに合わせてUIコンポー
ネントも動的に変わる機能
※リストの過不足でUIが変更される等

Interaction(オブジェクトと操作の相互作用)
Interaction
? オブジェクトと操作に対応する
Interaction（相互作用）を実現
? V3ではUnity標準の仕組みの上に
拡張

Interaction (オブジェクトと操作の相互作用)
ビジュアルとInteractionの独立性
? Interactionに対するビジュアルの
動作は完全に切り離される。
? Theme System含めて柔軟なUI切
替えに対応するためかな

Interaction (オブジェクトと操作の相互作用)
Interactor（V2のPointer相当?）
? 手や頭といったオブジェクトを
操作する基点になる要素
? 操作手段に応じてアクションが
異なる

Layout Tools
オブジェクトの配置支援ツール
? 範囲内に柔軟でスケーリング可
能なレイアウトを実現
? 変更が即座に反映
※V2では更新ボタンを押してから反映

Curved Layouts
湾曲レイアウトを柔軟に
? 上下にループ状になってる！？
? 湾曲の度合いなどをEditor上で容
易に調整できてる！？

-ロードマップ

- ロードマップ
2022年春～夏にPublic Preview→その後リリース予定
Development
Now
? Port core UX building blocks
? Internal Validation
? Performance Analysis
Public Preview
Spring/Summer ‘22
? OpenXR
? New Architecture based on XRI
? New Mixed Reality Design
Language
? Independent Subsystems
? UI Theme System
? Data Binding
? Collection Navigator
? Volumetric Layout Tools
Public Contributions

まとめ

今日のお題
? Mixed Reality Toolkit V3について
? 昨日のミートアップで色々情報が出ていたのでその共有
2022/01/19 Copyright ? 2022 Takahiro Miyaura
動画を見たい方は???
HoloLens ミートアップのアーカイブは
Conpass等で後日共有予定
29
ポイント:当面はMRTK V2で構築する
? MRTK V2系で構築したコンテンツはV3へは段階的な移行が可能になる予定
? 過去資産もV2へアップデートすると今度の対応が容易になるかも

大阪駆動開発
関西を中心に、IT系のおもしろそうなことを
楽しんでやるコミュニティ

狠狠撸

Mixed Reality Toolkit V3について

More Related Content

Mixed Reality Toolkit V3について