HoloLens RS4
- 1. HoloLens RS4
- 2. Shinya Tachihara - ホロラボ のプログラマです - “デコシノニッキ”でブログ書いています - HoloPlanisphere 買ってほしいな (200円) デコシ（@Ash_Yin）
- 4. ? 共同研究 ? VR/ARの技術調査 研究 ? 受託開発 ? 研究開発 ? コンサルティング 開発 ? 講演 ? セミナー ? トレーニング 普及活動 業務内容
- 5. HoloLens RS4
- 7. HoloLens Spring Creators Update ( Red Stone 4 ) ? RS4: 3/28 に公開された Preview 版のOS (ver 1803) ? 機能の追加や改善がされた
- 8. HoloLens Spring Creators Update ( Red Stone 4 ) 間のバージョンはスキップされ，PCのInsider Preview と同じ 名称 リリース日 バージョン OS ビルド コードネーム Anniversary Update 2016/8/2 1607 10.0.14393 Redstone 1 Creators Update 2017/4/11 1703 10.0.15063 Redstone 2 Fall Creators Update 2017/10/17 1709 10.0.16299 Redstone 3 Spring Creators Update 2018/??/?? 18xx 10.0.17xxx Redstone 4
- 9. Install RS4
- 10. Install Preview Build 事前準備： HoloLens の Insider Preview Build 受け入れ態勢を作る 1. Settingsを開く 2. Update & Securityを選択 3. Get Insider Preview buildsを選択 4. Get Started を選択 5. 再起動
- 11. Install Preview Build 事前準備： HoloLens の Insider Preview Build 受け入れ態勢を作る 十分に充電する ( 最低25%必要ですが、アプデ最中に下回るとこけます )
- 12. Install Preview Build 1. Windows Device Recovery Tool (WDRT) (https://aka.ms/wdrt) 2. RS4 package (https://aka.ms/hololenspreviewdownload) 事前準備：リカバリーツールとOSのパッケージをDLする
- 14. Manual package selection からDLしたpackageを指定してInstall Install Preview Build
- 18. What’s new
- 19. APIGesture Spatial Mapping Machine LearningResearch ModeWebVR/AR Update contents 3D App Launcher
- 20. General
- 21. Auto-placement of 2D and 3D content on launch: 従来：「立ち上げ→Adjust→配置」 RS4：「立ち上げると即配置される」 自動配置
- 22. 2D app horizontal resize with reflow: 2Dタイルを縦横に引き延ばせるようになった (Twitterがはかどる) 水平/垂直方向のリサイズ
- 23. Expanded voice command support: “Go to Start” - StartMenuを立ち上げる/ Immersive App を終了 “Move this” - AdjustModeにする “Select” など音声認識率の向上
- 24. Updated Holograms and Photos apps: HologramsとPhotoがアップデート( クリフハウスと同じ )
- 25. Improved mixed reality capture: 音量調節 UP/DOWN の3秒同時長押しで、録画モードになります 3秒同時長押し （同時長押しで、スクショ撮れるのは前からだよ…）
- 26. Limited Mode: 長時間トラッキングロス状態が続くと， 従来： Limited Mode に移行するか確認ダイアログがでる RS4： 自動でLimited Modeへ移行 (復帰可能であれば自動解除する)
- 27. Consolidated spaces: 配置済みのHologramsを消す (以前はSpacesにある項目だった) Settings > System > Holograms > Remove nearby holograms Settings > System > Holograms > Remove all holograms:
- 29. MTP (Media Transfer Protocol) support: PCのFile ExplorerからHoloLensのライブラリにアクセスできるように なった
- 30. Gesture
- 32. Fluid app manipulation: 移動、拡縮、回転がAdjustモードにしなくてもできるようになった 移動 回転拡縮 Two hand manipulation: 片方の指を立てた状態で Manipulation 両手でManipulation 両手でManipulation
- 33. 両手の入力を取得できるぞ！
- 38. Mixed Reality Toolkit : 最新のMRTKに両手操作が統合された とはいえ、“操作の自由度”は”開発の難しさ”に直結するので大変… ExampleのTwoHandManipulationTest
- 39. Motion Controller : ペアリングしてHomeボタン，トリガ入力は取得できます （ 位置は取れません ）
- 40. Spatial Mapping
- 41. Spatial mapping improvements : より綺麗に早く生成され，パフォーマンスがよくなった Unity上でも綺麗に、Mapが生成されている 気がする？ (Tri 500)
- 43. Spatial mapping improvements : お布団 壁 スムーズになっている?
- 45. API
- 46. Automatic selection of focus point based on depth buffer : ?Depth Bufferを利用してFocus point を自動的に設定する。 ?Unity2017.3より。 Focus Point って？
- 47. ? Virtualオブジェクトを安定化させる単一平面 ? 自動的に選択?実行されるがフォーカスポイントを選択するこ とで制御も可能 ? 適切に設定しないとオブジェクトがブレるなどの原因になる Stabilization Plane : http://littlewing.hatenablog.com/entry/2017/11/14/221648 皆さん設定してますか？
- 48. ? 安定化平面の位置、姿勢はUnityAPIからマニュアルで指定 ? MRTKでは、InputManager PrefabにアタッチされているStabilization Plane Modifierが制御を担っている Stabilization Plane : ?TagertObjectを指定する ?GazeHitで位置を指定する ?位置を固定する Stabilization Plane Modifier の制御法 は3パターン
- 49. Automatic selection of focus point based on depth buffer : Enable Depth Bufferはこれを自動化する Edit > Project Settings > Player > Universal Windows Platform tab > XR Settings 24-bit depth 16-bit depth を選択できる
- 50. Holographic reprojection modes : ?Positional reprojection (位置再投影) を切れる ?360度動画向け ?Unity2017.3より利用可能 2018ではうごきませんでしたー。ご報告お待ちしております。 （HoloLensでそもそも360動画系はあまりやらないのでどうなんだろう…）
- 51. HoloLens, Immersive, 2Dのどれでコンテンツが 再生されているかを自動で判断する Unityでは既に”HolographicSettings.IsDisplayOpaque”で， 処理の書き分けができていたが，DirectXでもできるように なった App tailoring APIs :
- 52. Research Mode
- 54. ? 環境トラッキングカメラ(×4) : Spatial MapとHead Tracking用。 ?近距離IRカメラ(×1) ：30fpsで動作。Hand Tracking 用。 ? 遠距離IRカメラ(×1) ：1fpsで動作。Spatial Mapping用。 ? IR-reflectivity stream：深度計算用。近距離IRImageとDepth情報 Research Mode:
- 55. Research Mode: https://github.com/Microsoft/HoloLensForCV/tree/feature/api_updates masterではなくfeature branch にして，Streamer (UWP) を実行する 使い所が難しい…
- 56. WebVR/AR
- 57. WebVR/AR : ? ウェブブラウザ上でVRデバイスを認識するために用いられる JavascriptのAPIのこと ? Immersive Headset では先行してこの機能が使えていた
- 58. WebVR/AR : HoloLensでも一部 (ThreeJS/BabylonJS) のWebVRコンテンツが動かせる （SketchfabやA-Frame(ThreeJSベース)は動かなかった） BabylonJS動かしたもの ThreeJS動かしたもの 所感：ThreeJSのほうがサクサク動く？
- 63. WebVR/AR : https://medium.com/@ykobayashi/mozilla%E3%81%AEwebar%E3 %81%AF%E4%BD%95%E3%81%8C%E5%87%84%E3%81%84%E3%8 1%AE%E3%81%8B%E5%80%8B%E4%BA%BA%E7%9A%84%E3%81% AB%E3%81%BE%E3%81%A8%E3%82%81%E3%81%A6%E3%81%BF %E3%81%9F-362586334eb1 (一部抜粋) “Web ARの1番のメリットはユーザーはアプリを 入れる必要がないということです。ユーザーは 指定されたURLにQRコードなどでアクセスすれ ば ARを体験できるわけです。このカジュアルさ はやはりWebの従来のサービス同様にWebの強み です。”
- 66. 3D App Launcher
- 70. 3D app launcher : 制限有 ? .glb であること (glTFのバイナリ) ? 10k Triangles以下であること ? Texture サイズが4096*4096より小さいこと ? WindowsMRAssetConverterで最適化されていること （と書いてありますが、しなくても大丈夫です）
- 71. 3D app launcher : BlenderにImportして モデルを調整する Blenderから.glbで Exportする C# Projectの Assetに入れる スクリプトを 修正する 大まかな流れ
- 72. 3D app launcher : LTで誰か話しそうな雰囲気なので譲ります
- 73. 3D app launcher : 独自の3Dアイコンはアプリの魅力をぐっと高める
- 74. 3D app launcher : 3Dモデル難しそうという人は… ペイント3Dでも作れます モデルの調整はBlenderで必要ですが…
- 75. Machine Learning
- 77. Windows.AI.MachineLearning HoloLens × Cognitive Services HoloLens だけで完結
- 78. Windows.AI.MachineLearning HoloLens × Cognitive Services HoloLens だけで完結 といってもパフォーマンスはやっぱりよくない どこまでをローカルでできるか?? オンラインで動作させる必要性??
- 79. Windows.AI.MachineLearning HoloLens × Cognitive Services HoloLens だけで完結 といってもパフォーマンスはやっぱりよくない どこまでをローカルでできるか?? オンラインで動作させる必要性??
- 82. まとめ RS4では、 ? UI/UXが改善されたので、開発側もよく考えよう ? WebVR/ARで可能性が広がった ? Windows ML でAI * IoT * MR の話が増えそう
Editor's Notes
- おぺーく