Lumin OS 0.98.20 と Lumin SDK 0.25 と Magic Leap 2 について
?
0 likes?476 views
2021年2月にアップデートがあったLumin OS と Lumin SDKの新機能について説明します。 Magic Leap 2は公の場で公開されている情報共有となります。 主にMagic Leap 2の特徴やリリース時期について説明しています。
![MAGIC
LEAP
2021
Lumin SDK 0.25 新機能
02. IMU
51
IMU
1024個のSampleデータが返却される。
// Lightwear IMU取得
MLIMU.Sample[] imuSamples =
MLIMU.LightwearLeftIMU.GetCurrentData().Samples](https://image.slidesharecdn.com/luminos0-210416021847/85/Lumin-OS-0-98-20-Lumin-SDK-0-25-Magic-Leap-2-51-320.jpg)
Lumin OS 0.98.20 と Lumin SDK 0.25 と Magic Leap 2 について
- 2. MAGIC LEAP 2021 2 Lumin OS 0.98.20 と Lumin SDK 0.25 と Magic Leap 2 に ついて 2021.04.15 Magic Leap Meetup vol.3 in Japan
- 3. MAGIC LEAP 2021 目次 01. 自己紹介 02. Lumin OS 0.98.20 について 03. Lumin SDK 0.25 について 04. Zero Iteration Frontend について 05. Magic Leap 2 について 06. まとめ 3
- 5. MAGIC LEAP 2021 Place image here 自己紹介 5 Sadao Tokuyama 株式会社OnePlanet XR Enginner 徳山 禎男 tokuyama@1planet.co.jp Twitter: @tokufxug
- 6. MAGIC LEAP 2021 ML Music Live 6 Place image here 音楽と連動して空間が動き出す音楽鑑賞用ア プリケーション Place image here Giant Pizza Tower 自宅などの屋内環境を活用し、天井から降っ てきたピザをキャッチするゲーム ● 開発ツール： Unity ● 平面検出機能を使用。 ● https://world.magicleap.com/ja-jp/det ails/jp.co.1planet.concepts.giantpizz ayower ● 開発ツール： Unity ● 空間認識を使用。 ● https://world.magicleap.com/ja-jp/det ails/com.mlchallenge2.wireframe 自己紹介 Magic Leap World にリリースした アプリケーション（弊社開発）
- 7. MAGIC LEAP 2021 Spatial Tag 7 Place image here 現実空間に付箋を貼りつける Landscapeアプリ Place image here Invisible Laughing Ghost 見えないゴーストを音声とライトで 見つけて退治するゲーム ● 開発ツール： Unity ● 空間オーディオを使用。 ● https://world.magicleap.com/ja-jp/det ails/net.magicmodelers.invisiblecryin gcreature Handrawn Place image here 球体をつなげてモデルを作成する アプリ ● 開発ツール： Unity ● ハンドトラッキングを使用。 ● https://world.magicleap.com/ja-jp/det ails/net.magicmodelers.concepts.ha nddrawn ● 開発ツール： Magic Script ● 複数のPrism生成処理を実施。 ● https://world.magicleap.com/ja-jp/det ails/net.magicmodelers.magicleap.c oncepts.spatialtag 自己紹介 Magic Leap World にリリースした アプリケーション（個人開発）
- 9. MAGIC LEAP 2021 Lumin OS 0.98.20 について 01. オクルージョンの無効化 02.複数のフルスクリーンアプリの起動 03. Helio ブラウザのアップデート 9
- 10. MAGIC LEAP 2021 Place image here Place image here オクルージョン OFF 01. オクルージョンの無効化 Lumin OS 上で 表示するオブジェクトのオクルージョンの切り替えが可能。 10 オクルージョン ON Lumin OS 0.98.11までは、必ずオクルージョ ン機能が働いていた。（ OFFにできなかっ た。） デフォルト設定は OFF
- 12. MAGIC LEAP 2021 01.オクルージョンの無効化 Landscapeアプリケーションも対象。 12 Prism Occlusion ON Prism Occlusion OFF Prism Occlusion ON Prism Occlusion OFF Social Helio
- 13. MAGIC LEAP 2021 01.オクルージョンの無効化 Prism Occlusionが機能しない時がある。 13 Prism Occlusion を ON の状態で Landscape アプリケーション（Galallyなど） を起動すると Occlusion が行われなくなる。 Prism Occlusion を ON だが、 隠れないまま表示される。 Prism Occlusion OFF → ON で 隠れて表示される。
- 14. MAGIC LEAP 2021 Lumin OS 0.98.20 について 01. メニューのオクルージョンを無効化 02.複数のフルスクリーンアプリの起動 03. Helio ブラウザのアップデート 14
- 19. MAGIC LEAP 2021 02.複数のフルスクリーンアプリの起動 19 アプリからのアプリ起動による挙動 1. Launch (MLDispatch.TryOpenAppropriateApplication("xxx://");) 2. Exit or Homeボタン長押し 呼び出されたアプリが閉じられた後、 起動元のアプリに遷移する。
- 20. MAGIC LEAP 2021 Lumin OS 0.98.20 について 01. メニューのオクルージョンを無効化 02.複数のフルスクリーンアプリの起動 03. Helio ブラウザのアップデート 20
- 23. MAGIC LEAP 2021 02.Helioブラウザのアップデート 23 Helio（Lumin OS 0.98.20）互換表 ソリューション 品質 補足事項 Google Meets ◎ ビデオとオーディオ共にサポート。 Amazon Chime 〇 動作するとビデオが不安定になる。 Microsoft Teams △ ビデオがユーザーの動きとネットワーク環境により安 定しない。オーディオがたまに途切れる。 Cisco Webex × 解像度が低くなる。テキストは解読可能だが画像がカ クカクする。 Zoom × ビデオ反応なし。 オーディオのデバイス対応なし。
- 24. MAGIC LEAP 2021 03.Helioブラウザのアップデート 24 ユーザーエージェントの設定 ビデオ会議を行う場合、 ユーザーエージェントは“Linux Desktop”を 設定すること。（Helioで以下の操作を実施。） > Preferences > Appearance > UserAgent >”Linux Desktop” 設定後、Magic Leap 1 を再起動。
- 25. MAGIC LEAP 2021 03.Helioブラウザのアップデート 25 Google Meets使用時の注意点 Google アカウントのログインを一度も実施していない場 合、ユーザーエージェントは“Mozilla Desktop”を設定する こと。（Helioで以下の操作を実施。） > Preferences > Appearance > UserAgent >”Mozilla Desktop” 設定後、Magic Leap 1 を再起動。
- 27. MAGIC LEAP 2021 Lumin SDK 0.25 について はじめに 01. Unityのバージョン 02. Automatic API について 03. その他 新機能 01. Barcode 02. IMU 03. MR Camera 04. Application ID 05. Eye Tracking 06. WebRTC 27
- 28. MAGIC LEAP 2021 Lumin SDK 0.25 について はじめに 01. Unityのバージョン 02. Automatic API について 03. その他 新機能 01. Barcode 02. IMU 03. MR Camera 04. Application ID 05. Eye Tracking 06. WebRTC 28
- 29. MAGIC LEAP 2021 Lumin SDK 0.25 はじめに 01. Unityのバージョン 29 Lumin SDK 0.25 に対応する Unity Editor は、2020.2.x。 Lumin SDK 0.25 に対応する Magic Leap XR Plugin は、 Version 6.1.0-preview 2以降。
- 30. MAGIC LEAP 2021 Lumin SDK 0.25 について はじめに 01. Unityのバージョン 02. Automatic API について 03. その他 新機能 01. Barcode 02. IMU 03. MR Camera 04. Application ID 05. Eye Tracking 06. WebRTC 30
- 31. MAGIC LEAP 2021 Lumin SDK 0.25 はじめに 02. Automatic API について 31 Automatic APIとは 今まで、Magic Leap APIを使用する際、Startメソッドで開始を行 い、Stopメソッドで停止を実施する必要があった。 Lumin SDK 0.25から一部のAPIにおいて、StartメソッドとStopメ ソッドを使用せずに利用できるようになった。 これは、Automatic APIのライフサイクルに管理されるため、自 動的に実施されるため、明示的なStartメソッドとStopメソッドを呼 び出す必要がなくなった。
- 32. MAGIC LEAP 2021 Lumin SDK 0.25 はじめに 02. Automatic API について 32 Automatic APIとは 使用は可能だが【非推奨】の警告が表示される。
- 33. MAGIC LEAP 2021 Lumin SDK 0.25 はじめに 02. Automatic API について 33 Automatic API 対応一覧 ArUco Tracker Privileges MRCamera Hand Tracking IMU Camera Barcode Scanner CV Camera Identi?er Raycast Input Planes Eyes Image Tracking
- 34. MAGIC LEAP 2021 Lumin SDK 0.25 について はじめに 01. Unityのバージョン 02. Automatic API について 03. その他 新機能 01. Barcode 02. IMU 03. MR Camera 04. Application ID 05. WebRTC 34
- 35. MAGIC LEAP 2021 Lumin SDK 0.25 はじめに 03. その他 35 ArUco トラッキング Unity用のArUcoトラッキング API 追加。 Exampleは Assets/MagicLeap/ArucoTracker に含まれている。 Found Object Found ObjectのExampleが Assets/MagicLeap/FoundObjects に含まれた。
- 36. MAGIC LEAP 2021 Lumin SDK 0.25 はじめに 03. その他 36 アイトラッキング 瞳孔サイズの取得が可能。 （ミリメートル単位） 瞳孔（ピューピル）サイ ズが取得できる。
- 37. MAGIC LEAP 2021 Lumin SDK 0.25 はじめに 03. その他 37 アイトラッキング // 左目の瞳孔サイズを取得 MLEyes.LeftEye.PupilSize; // 右目の瞳孔サイズを取得 MLEyes.RightEye.PupilSize;
- 38. MAGIC LEAP 2021 Lumin SDK 0.25 はじめに 03. その他 38 アイトラッキング 通常時は 4.2～4.8ミリ 暗い場所では 5.1～5.5ミリ 明かりを見ると 2.3～2.8ミリ
- 39. MAGIC LEAP 2021 Lumin SDK 0.25 について はじめに 01. Unityのバージョン 02. Automatic API について 03. その他 新機能 01. Barcode 02. IMU 03. MR Camera 04. Application ID 05. WebRTC 39
- 40. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 01. Barcode 40 QRコードのトラッキング QRコードのトラッキングが可能。 モデル1とモデル2のQRコードをサポート。 エンコードデータの取得と6DoFの位置情報の取得が可能。
- 41. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 01. Barcode 41 QRコードのトラッキング 使用するクラス UnityEngine.XR.MagicLeap.MLBarcodeScanner
- 42. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 01. Barcode 42 QRコードのトラッキング MLBarcode の 設定情報の作成～設定まで MLBarcodeScanner.SetSettingsAsync( MLBarcodeScanner.Settings.Create(true, MLBarcodeScanner.BarcodeType.All, 0.04f));
- 43. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 01. Barcode 43 QRコードのトラッキング MLBarcode の 設定情報の作成～設定まで MLBarcodeScanner.SetSettingsAsync( MLBarcodeScanner.Settings.Create(true, MLBarcodeScanner.BarcodeType.All, 0.04f)); スキャンを有効にする場合、true スキャンを無効にする場合、false バーコードの種類を指定 None, QR, All
- 44. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 01. Barcode 44 QRコードのトラッキング MLBarcode の 設定情報の作成～設定まで MLBarcodeScanner.SetSettingsAsync( MLBarcodeScanner.Settings.Create(true, MLBarcodeScanner.BarcodeType.All, 0.04f)); QRコードを追跡するQRコードの物理的な サイズ。（0.04の場合、1辺4cm。デフォルト は0.1で1辺10cm。）この値と異なるQRコー ドの場合、位置が大きくずれる。
- 45. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 01. Barcode 45 QRコードのトラッキング MLBarcode トラッキングスタート MLBarcodeScanner.StartScanningAsync(); MLBarcode トラッキングストップ MLBarcodeScanner.StopScanningAsync();
- 46. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 01. Barcode 46 QRコードのトラッキング MLBarcode リザルトハンドラ public static event Action<BarcodeData> OnMLBarcodeScannerResultsFound;
- 47. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 01. Barcode 47 QRコードのトラッキング MLBarcode BarcodeData // バーコードの位置情報 Pose.position // バーコードの回転情報 Pose.rotation // バーコードの文字情報 StringData
- 48. MAGIC LEAP 2021 Lumin SDK 0.25 について はじめに 01. Unityのバージョン 02. Automatic API について 03. その他 新機能 01. Barcode 02. IMU 03. MR Camera 04. Application ID 05. WebRTC 48
- 49. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 02. IMU 49 IMU LightwearおよびLightpackのIMUハードウェアデータ にアクセスするAPI。
- 50. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 02. IMU 50 IMU 使用するクラス UnityEngine.XR.MagicLeap.MLIMU
- 51. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 02. IMU 51 IMU 1024個のSampleデータが返却される。 // Lightwear IMU取得 MLIMU.Sample[] imuSamples = MLIMU.LightwearLeftIMU.GetCurrentData().Samples
- 52. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 02. IMU 52 IMU Sampleのプロパティ // 直線加速度のタイムスタンプ（単位：ms） LinearAccelerationTimestamp // 回転速度のタイムスタンプ（単位：ms） RotationalVelocityTimestamp; // 直線加速度（メートル毎秒毎秒）（重力を含む。） LinearAcceleration // 回転速度（ラジアン毎秒） RotationalVelocity // 摂氏温度 Temperature //測定を行った機器（Lightpack/LightwearLeft） IMULocation
- 53. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 02. IMU 53 IMU Sampleデータの出力例
- 54. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 02. IMU 54 IMU 検証した結果 ● Debug.Log(Sample)を実行しないとSampleデータが取 れない。（0件の状態） ● LightPackは一度もSampleデータが取得できなかった。 現在、Magic Leap社に調査していただいている最中。
- 55. MAGIC LEAP 2021 Lumin SDK 0.25 について はじめに 01. Unityのバージョン 02. Automatic API について 03. その他 新機能 01. Barcode 02. IMU 03. MR Camera 04. Application ID 05. WebRTC 55
- 56. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 03. MR Camera 56 MR Camera Magic Leap 1 が映し出す、デジタルコンテンツを含めた映像のキャプチャが アプリケーション上で行うことができます。
- 57. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 03. MR Camera 57 MR Camera 使用するクラス UnityEngine.XR.MagicLeap.MLMRCamera
- 58. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 03. MR Camera 58 MR Camera MLMRCamera の 設定情報の作成 MLMRCamera.InputContext inputContext = MLMRCamera.InputContext.Create( quality, blendType, stabilization );
- 59. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 03. MR Camera 59 MR Camera MLMRCamera の 設定情報の作成 MLMRCamera.InputContext inputContect = MLMRCamera.InputContext.Create( quality, blendType, stabilization ); レンダリング品質 q720P → 720pの画質。 q1080P → 1080pの画質。
- 60. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 03. MR Camera 60 MR Camera MLMRCamera の 設定情報の作成 MLMRCamera.InputContext inputContect = MLMRCamera.InputContext.Create( quality, blendType, stabilization ); バーチャルコンテンツとリアルコンテン ツのブレンドモード。 アルファ、加算、ハイブリッド
- 61. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 03. MR Camera 61 MR Camera MLMRCamera の 設定情報の作成 MLMRCamera.InputContext inputContect = MLMRCamera.InputContext.Create( quality, blendType, stabilization ); ブレ補正を実施するか否かを設 定するフラグ。 true = ブレ補正を実施する。
- 62. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 03. MR Camera 62 MR Camera MLMRCamera キャプチャ開始 if (MLMRCamera.Connect(inputContext).IsOk) { MLMRCamera.StartCapture(); MLMRCamera.OnFrameCapture += OnFrameCapture; }
- 63. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 03. MR Camera 63 MR Camera MLMRCamera キャプチャデータ取得 void OnFrameCapture(MLMRCamera.Frame frame) { // MLMRCamera.Frame は、撮影したカメラのフ レームを表す構造体。 }
- 64. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 03. MR Camera 64 MR Camera MLMRCamera キャプチャデータ取得 foreach (MLMRCamera.Frame.ImagePlane imagePlane in frame.ImagePlanes) { // 撮影されたカメラフレームから得られるイメージプ レーンを表す構造体。 }
- 65. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 03. MR Camera 65 MR Camera MLMRCamera キャプチャデータ取得 ImagePlaneが持つプロパティ（一部） Width Height Stride（横一列分のデータサイズ） BytesPerPixel（1ピクセルあたりのバイト数） Data（イメージデータ バイト配列）
- 66. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 03. MR Camera 66 MR Camera サンプル Assets/MagicLeap/MRCamera
- 67. MAGIC LEAP 2021 Lumin SDK 0.25 について はじめに 01. Unityのバージョン 02. Automatic API について 03. その他 新機能 01. Barcode 02. IMU 03. MR Camera 04. Application ID 05. WebRTC 67
- 68. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 04. Application ID 68 アプリケーションID の取得 デバイスにインストールされたアプリにIDが付与され取得す ることができる。 アンインストール後、再インストールを実施しても同じアプリ ケーションIDが取得できる。 デバイスを工場出荷時にリセットするとIDは変更されます。 （他のデバイスにインストールされたアプリケーションとは異 なるIDとなる。）
- 69. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 04. Application ID 69 アプリケーションID の取得 string id = MLAppIdenti?er.GetAppInstanceId();
- 70. MAGIC LEAP 2021 Lumin SDK 0.25 について はじめに 01. Unityのバージョン 02. Automatic API について 03. その他 新機能 01. Barcode 02. IMU 03. MR Camera 04. Application ID 05. WebRTC 70
- 71. MAGIC LEAP 2021 Lumin SDK 0.25 新機能 05. WebRTC 71 WebRTC 今回のライトニングトークでお話するため割愛します。
- 73. MAGIC LEAP 2021 新機能 04. Zero Iteration Frontend について 73 Zero Iteration Frontend ZIF (Zero Iteration Frontend)は、C言語のAPIからZIを制御し、対 話するためのライブラリ。 クライアントは、ZIセッションを駆動するために、 ライブラリに対してビルドすることができます （ただし、このリリースでは、APIのセットは制限されています）。
- 74. MAGIC LEAP 2021 新機能 04. Zero Iteration Frontend について 74 Zero Iteration Frontend ● スクリプト（Pythonスクリプトなど）を使ってデバイスのテレメト リ（ヘッドポーズなど）をプログラムで制御する機能。 ● Zero IterationをUnity内で完全に使用することができ、接続プ ロセスの開始や停止も可能。 ● サポートライブラリのインポートのユーザーエクスペリエンス の改善。 ● Zero Iterationワークフローの全体的な使用方法の合理化。
- 75. MAGIC LEAP 2021 新機能 04. Zero Iteration Frontend について 75 Zero Iteration Frontend ライブラリのヘッダ、ライブラリ、およびサンプルは、 以下にあります。 MagicLeap/tools/zi/v2.3.1.20210225/zif
- 76. MAGIC LEAP 2021 76 Magic Leap 2 に ついて 05
- 77. MAGIC LEAP 2021 Magic Leap 2 について 2021年1月27日～2021年1月28日までサウジアラビアのリヤドで Future Investment Initiative （以降、FII）が開 催されました。 FIIとは「ネオ?ルネッサンス」をテーマに、 COVID-19（新型コロナウイルス感染症）の世界的大流行の中で世界経 済の再形成に当たる技術的先駆者、投資家、政策担当者らを結び付けるマルチハブ会議です。 77
- 78. MAGIC LEAP 2021 Magic Leap 2 について FII の1日目にLeaps and bounds: How immersive technologies amplify human potential というプログラムで は、Magic Leap の CEO ペギージョンソン氏と トゥルキ?A?アル?ノワイサー（サウジアラビア公共投資ファンド国 際投資部門責任者）と対談を行い、 Magic Leap Second Generationについて少し触れられていました。 78
- 79. MAGIC LEAP 2021 Magic Leap 2 について 50%小型化、20%軽量化、100％の広視野角 アーリーアクセス開始 2021年Q4 79
- 80. MAGIC LEAP 2021 Magic Leap 2 について 2021年3月11日にマイアミ ハーバート?ビジネススクール でナイト?ベンチャー?リーダーズ?シリーズ が行われまし た。 マイアミ ハーバート?ビジネススクールは、学部ビジネス、フルタイムMBA、エグゼクティブMBA、MS、PhD、そして学位取得を目的とし ないエグゼクティブ?エデュケーション?プログラムを提供する、世界有数のビジネススクールです。 80 Lisa Cyr
- 81. MAGIC LEAP 2021 Magic Leap 2 について 2021年3月11日にマイアミ ハーバート?ビジネススクール でナイト?ベンチャー?リーダーズ?シリーズ が行われまし た。 ナイト?ベンチャー?リーダーズ?シリーズは、南フロリダのビジネスコミュニティのメンバー同士のつながりを育み、さまざまな業界のビ ジョンを持った経営者による講演を通じて、最新のビジネストピックを学ぶことができます。 81 Lisa Cyr
- 82. MAGIC LEAP 2021 Magic Leap 2 について 82 この講演にMagic Leap の CEO ペギージョンソン氏 が登壇。ここでもMagic Leap Second Generationについて少 しだけ触れてました。 Lisa Cyr
- 83. MAGIC LEAP 2021 Magic Leap 2 について 83 この講演にMagic Leap の CEO ペギージョンソン氏 が登壇。ここでもMagic Leap Second Generationについて少 しだけ触れてました。 Magic Leap 2 デバイスは来年の第1四半期に リリース予定 Lisa Cyr
- 84. MAGIC LEAP 2021 Magic Leap 2 について 84 アラブニュースにもMagic Leap の CEO ペギージョンソン氏が「 Magic Leap 2 が2022年に広く普及する」と述べ たと報じてます。
- 86. MAGIC LEAP 2021 まとめ 86 Lumin OS 待望のメニューのオクルージョンが導入された。 Lumin SDK QRコードやWebRTCといった要望も多くあった機能が 追加されたことは嬉しい限り。 Magic Leap 2 米国はMagic Leap CEOの言葉通りであれば、 2022年1月～3月の間にリリース！（日本は不明。）