狠狠撸

MRTKをNreal Lightに
対応させてみた
AR Fukuoka暑気払いLT会2021

自己紹介
氏名：吉永崇(Takashi Yoshinaga)
所属：スチームパンクデジタル / ISIT
仕事：AR技術の活用に関するR&D
コミュニティ：ARコンテンツ作成勉強会
Twitter: #AR_Fukuoka

What’s Nreal Light？
Nreal Ltd.が開発したARグラス
[特徴]
? 軽量 (約106g)
? 6DOF (自由に歩き回れる)
? 平面やマーカーの検出
? 比較的安価 (?129,500)
さらに
? ついにハンドトラッキングに対応

Hand Trackingデモ
https://youtu.be/QH6aPDONO5s

Hand Tracking の特徴
手の関節の取得や位置追跡

Hand Tracking の特徴
ジェスチャー認識
? 手の開閉
? ポインティング(指差し)
? Vサイン
? ピンチ (つまみ)
簡単にこれらの情報をプログラムで
取得できる！

問題点
手の位置やジェスチャー認識を使ったインタラクションは
自分で実装しなくてはいけない

問題点
オブジェクトの回転や拡大縮小などARグラスで
一般的に使われる操作は楽に実現したいよね？

Related Tool: MRTK
Microsoftが提供するHoloLens向け開発キット。Oculus Questや
Magic Leap, スマートフォンなど各種XR機器に対応

MRTKの良い所
ノンプログラミングで基本的なインタラクションを実現できる！
共通の仕組みで各種XRデバイス向けアプリを開発！

ということで
MRTKをNreal Lightに対応させよう

でも...
MRTKよくわからん

Dive Into MRTK: Step 1
各デバイス用の設定の切り替えはMixedRealityToolkitでできたたはず
MixedRealityToolkit
ここで設定

ヒントがあるかもしれないのでドロップダウンメニューを開いてみよう
設定リスト

LeapMotion用の設定もある

DefaultLeapMotionConfigurationProfile
の中身を理解すればNreal Lightのハンドトラッキングと
MRTKを接続できるのでは？

関係ありそうなのはInput?

Leap Motion Device Manager

Leap Motion Device Manager
の実装はこのスクリプト

Leap Motion SDKが
提供する機能を使っている
(LeapMotionDeviceManager.cs)

MRTK?LeapMotion
の変換も行われている
(LeapMotionArticulatedHand.cs)

Leap Motionの手の情報の取得とMRTKの手へのマッピングを
行なう処理をNreal Lightの情報に置き換えたコードを作成

Result
https://youtu.be/26hBZX-cqiE

Now Available on GitHub
https://github.com/TakashiYoshinaga/MRTK-Profiles-for-NrealLight

MRTKをNreal Lightに対応させてみた