狠狠撸

MixedRealityデバイスの動向紹介
(公財)九州先端科学技術研究所
吉永崇
2017/09/07 CAVE研究会 @JAMSTEC

Mixed Reality
Mixed Reality(MR:複合現実感)とは
? 現実空間と仮想空間を混合する技術全般を指す
? 現実>仮想の場合をAugmented Reality(AR)
? 仮想>現実の場合をAugmented Virtuality(AV)
※Virtual Reality(VR)と表現される場合も多い
Real Environment Augmented Reality Augmented Virtuality Virtual Environment

Mixed Realityに関する研究
[特徴?問題点]
? 各種ディスプレイ技術により観察対象を3次元的に表現
? 利用者の位置?姿勢計測により様々な視点で対象を観察
? 表示?計測技術の連携による高い存在感や没入感
? 機器が高価で特殊なため一般への普及が困難だった
University of South Australia Westf?lische Wilhelms-Universit?t Münster Chuo University

MR機器やツールの普及
[特徴?問題点]
? 開発キットの提供により僅かな手間で3Dコンテンツを開発
? AR開発キットはマーカーを見失うとCGを表示が困難
? VR用HMDは位置計測用のセンサのセットアップが手間
スマートフォン対応AR開発キット(SmartAR, Vuforia, etc..) VR用HMD (HTC Vive, Oculus Rift, etc...)
スマートフォンや安価なHMDの登場によりMRが身近な存在に

次世代MR機器&ツール (2016~)
[特徴]
? Inside-out方式での空間把握と自己位置推定
? マーカー画像やトラッキング用のセンサの設置が不要
? Microsoft, Google, Appleなどの大手がMR技術に注力
Microsoft HoloLens Windows Mixed Reality Headset Tango / ARCore / ARKit
2016年以降に次世代MRデバイスが登場し、体験の質が向上

Microsoft HoloLens
? Microsoftが開発した次世代型のウェアラブルコンピュータ
? コンピュータを内蔵し,単独で動作(OS: Windows10)
? マーカー画像を用いず,現実空間にオブジェクトを固定
? 光学シースルーディスプレイで現実とデジタル情報を融合

贬辞濒辞尝别苍蝉での表示

HoloLensの認識技術
テーブル認識
前後関係の表現
ジェスチャ操作

利用可能なコンテンツ
? HoloLens専用に開発されたARアプリケーション
→ ゲーム, 医療, 教育, 建築, etc...
? Windows用アプリケーション(UWP)
→ Webブラウザ, Skype, Power Point, etc...
? ケーブルがないためルームスケールでのARが利用可能

Demo
https://youtu.be/E4zJWFw7mlU

Window Mixed Reality Headset (WinMR)
? HoloLensの自己位置推定機能を搭載した没入型HMD
? PCにUSBとHDMIケーブルをさすだけで利用可能
? ハイスペックなPCによる高負荷な処理も可能
? ただし、ジェスチャ入力や空間メッシュの取得は不可

利用できるコンテンツ
? WinMR機専用に開発されたVRアプリケーション
→ ゲーム, 医療, 教育, 建築, etc... (WebVRにも対応)
? Windows用アプリケーション(UWP)
→ PCのデスクトップ環境の操作も可能
? ケーブルが届く範囲内で歩行可能、それ以外はワープで移動

Demo
デスクトップやアプリ操作などの日常の作業とバーチャルな空間が融合したMR
https://youtu.be/IJurdRwey1M

スマホ?タブレット対応の次世代MR開発キット
スマホ等の携帯端末でマーカーレスな自己位置推定や平面検出
が可能なMR開発ライブラリがGoogleやAppleからリリース
? Tango: 特殊なカメラを搭載した専用端末で動作
? ARCore: 通常のAndroid端末で動作(予定)
? ARKit: iOS11が動くiPhoneやiPadで動作

利用可能なコンテンツ
? 背景をカメラ映像にすることでビデオシースルーAR
? 背景を仮想空間にすることでVRも可能

簡易ヘッドセット
? スマホ挿入型の簡易ヘッドセットを使えば没入感向上
? Google Cardboardやハコスコ、自作など種類豊富
? ビデオシースルーARやVRコンテンツを体験できる
? ただしHoloLensのような光学シースルーはAR不可

HoloKitを用いた光学シースルーAR
? 光学シースルー用の段ボール製ARヘッドセット&SDK
? GoogleのTango,ARCoreやAppleのARKitに対応

HoloKitの仕組み
前
後
↑
ハーフミラー
横
鏡
ハーフミラー
スマホ
反射
スマホ

Demo
身近な機器で光学シースルー型のARを体験できるためイベント向き
https://youtu.be/sbLEsmwM1s4

狠狠撸

Mixed Realityデバイスの動向紹介(2017/09/07@CAVE研究会)

More Related Content

Mixed Realityデバイスの動向紹介(2017/09/07@CAVE研究会)