![2020年度の活動
[ハンズオン]
? Kinectを用いた点群配信
? AIで顔や文字のリアルタイム認識
? MRTKでHoloLens2アプリ開発
? Oculus Quest2対応WebVR開発
[他の活動]
? Spatial体験会
? OpenCVやThree.jsのもくもく会
? xTech(技術交流) LT会](https://image.slidesharecdn.com/engineer-day-1ss-210424073715/85/FUKUOKA-Engineers-Day-2021-AR-Fukuoka-HoloBox-9-320.jpg)
![HoloBox
[概要]
? iPad等の平面ディスプレイ
を用いた擬似3D表現
? ヘッドトラッキングによる
視点の同期
? 複数のiPadの利用で横から
の覗き込みも実現
[Motivation]
? ただの趣味
? 既存の立体視ディスプレイ
を使わずに色々遊びたい](https://image.slidesharecdn.com/engineer-day-1ss-210424073715/85/FUKUOKA-Engineers-Day-2021-AR-Fukuoka-HoloBox-14-320.jpg)
FUKUOKA Engineers Day 2021 発表資料：AR Fukuoka & HoloBox紹介
- 1. ARコンテンツ作成勉強会 2021 April 24, FUKUOKA Engineers Day 2021 online
- 2. 自己紹介 氏名：吉永崇(Takashi Yoshinaga) 所属：スチームパンクデジタル 株式会社 九州先端科学技術研究所 (ISIT) 仕事：AR技術の活用に関するR&D ARコンテンツ作成勉強会 (Since 2013)
- 3. AR Fukuoka 概要 ? ARコンテンツの作り方をハンズオン形式で学ぶ ? 参加者の人数は5~10名/回 程度で実施 ? 参加条件はAR/VRに興味がある人(知識不要)
- 4. ハンズオンの内容 (1) ? UnityではじめるノンプログラミングAR開発 ? HTMLのタグで作るWebAR/VR (A-Frame)
- 6. ハンズオンの内容 (3) ? Microsoft HoloLens対応のARコンテンツ ? VR HMD(Oculus Quest等)対応コンテンツ
- 7. ハンズオンの内容 (4) ? KinectやLeapMotionなどセンサデバイスの活用 ? OpenCVを用いた画像処理を活用したAR Kinect OpenCV
- 8. その他のイベント ? 最新のAR/VRデバイスやセンサデバイスの体験会 ? 飲み会 & LT会 ? 展示イベントへの作品の出展
- 9. 2020年度の活動 [ハンズオン] ? Kinectを用いた点群配信 ? AIで顔や文字のリアルタイム認識 ? MRTKでHoloLens2アプリ開発 ? Oculus Quest2対応WebVR開発 [他の活動] ? Spatial体験会 ? OpenCVやThree.jsのもくもく会 ? xTech(技術交流) LT会
- 10. xTechゆるっとLT 他コミュニティとの情報交換LT会 - vol.1 xAI Meetup - vol.2 女子だらけの電子工作 - vol.3 VUI Fukuoka - vol.4 ROS UG 九州 共催コミュニティ 募集中！
- 12. xTechゆるっとLT会 他コミュニティとの情報交換LT会 - vol.1 xAI Meetup - vol.2 女子だらけの電子工作 - vol.3 VUI Fukuoka - vol.4 ROS UG 九州 今日はLT会で 話した内容をやります
- 13. Project HoloBox
- 14. HoloBox [概要] ? iPad等の平面ディスプレイ を用いた擬似3D表現 ? ヘッドトラッキングによる 視点の同期 ? 複数のiPadの利用で横から の覗き込みも実現 [Motivation] ? ただの趣味 ? 既存の立体視ディスプレイ を使わずに色々遊びたい
- 17. 擬似3D表現：視点と表示の連動 ? 3D表現をコンピュータで行う際、 視点の設定を行っている。 ? VR空間内の視点(カメラ)位置を 動的制御して表示に反映させる。 ? Boxを追加して動作を検証する とBoxごと動いてしまい、箱の 内部を覗いている感が出ない
- 21. Head Tracking (ver.1) ? TrueDepthカメラ iPhone/iPadに搭載されて いるカメラ。 顔の形?表情だけでなく 位置や向きも計測 ? HoloBoxのディスプレイと して、どちらにせよiPadを 使用する iPhoneやiPad フェイスキャプチャ ひとまず Trure Depthを利用
- 23. この時点での問題点 ? True Depthカメラで位置が計測で きる範囲は狭い。 → 複数のiPadへの対応が困難 ? 表示だけでなく手を使ってオブ ジェクトを操作したい トラッキング関連 の技術を見直し
- 24. Head Tracking (ver.2) ? HoloLens2： 装着すればAR表示されるCG を自由な位置や向きで観察。 ? つまり頭の位置や向きを リアルタイムにとれる！ ? さらにハンドトラッキングも あるので手を使った操作も 追加可能。 Image: Microsoft HoloBoxによる擬似3D表現と HoloLensによるAR表現が 連動するコンテンツを作ろう
Editor's Notes
- #18: まず前提のお話として、コンピュータで3Dを表現する際に何が必要かというと、オブジェクトをどの位置に配置するかというのはもちろん必要ですが、そのほかに必要なこととしてカメラ、つまり視点の位置がどこにあるかというのが、画面上での最終的な見え方を決める上で非常に重要になります。 (例え話) ここで今回、やりたいことをおさらいしますけど、やりたいのは頭の位置に応じて画面上の表示を連動させるということです。 (クリック) なので、頭の位置に合わせてこのカメラを動的に制御するというのがHoloBoxを実現する上での基本的な考え方になります。 ということでiPadの奥の部屋も追加して動作を検証してみます。
- #19: なぜ、このようなことが起きるかというと、こちらの図をご覧ください。 グラフィックスの世界の視点を表すカメラ、これが現状の設定では本物のカメラと同じように画角、つまり見える範囲が固定されています。 そのため、カメラが動くとそれに応じて見えない範囲ができてしまします。 ここで、問題になるのは画角が固定だということなので、カメラの位置に応じて画角が部屋の前面の4隅を捉えるように動的に制御できれば解決するはずです。 その考えに基づいて実装したのがこちらです、