狠狠撸

1
HoloLens で OpenCV をどう使うか
レーザーポインター認識で試してみた
2020年7月29日
HoloLensミートアップ vol. 21

自己紹介
2
? 角詩織
? 2007～2019 : ソフトウェア開発に従事
? 2020 : アビストでHoloLens開発に携わる
? ヴァイテルフランツ
? 2009～2016：PostDoc＠NIIと千葉大学
? 2016～：SE＠アビスト
? 2018：HoloLensに展示会で出会い ? Wow!
3D CAD AI
AR/MR/XR
? 3Dモデル
? 組図
。。。
? 物体認識
? 空間理解
? 異常検知
。。。
データアルゴリズム
ソリューション
2019年～

こんなのを作りました：レーザーポインターを認識し距離を表示
3
動画：https://youtu.be/zsmA6J5sJh4

レーザーポイ
ンターの光を
認識
(x,y,z)
座標に測定値
表示
なぜレーザーポインター認識？
4
? ハンドレイより
? 正確なポインティングディバイス
? 距離計、温度計など、正確の測定器に
よく利用される
? 第三者にもわかる
? OpenCV を試してみるのにちょうど
いい例
。。。のように見えるが、
やってみると案外ややこしい！
定番の画像処理
+ ML
ライブラリー

レーザーポインター認識：三つの「壁」
5
① HoloLensカメラデータの取得 ③ レーザーポインター3D座標の特定
カメラ Intrincs,
Extrincs？
Raycast 精度？
② レーザーポインター認識
解像度？
性能？
距離？
ライブラリー？
API？
データ形式？
OpenCV (for Unity) (X,Y,Z)？
(x,y,z)?

① HoloLensカメラデータの取得
6
タスクライブラリー
開発環境 Unity 2019.4 LTS
GUI MRTK 2.4.0
画像処理 OpenCV for Unity 2.3.9
HoloLensカメラへのアクセス HoloLensCameraStream for Unity
カメラ?OpenCV画像形式への変換 HoloLens With OpenCVForUnity
Example
?HoloLensCameraStream と
?HoloLens With OpenCVForUnity Exampleは、
コンパイルすることができなかったため、
ソースコードを単純化し、ビルドできるように更新した。
ソースコード
https://github.com/abist-co-ltd/hololens-opencv-laserpointer
なぜか、Unity
2019.4 / MRTK 2.4.0
では動かない！

② レーザーポインター認識
7
ガイド光
(x,y) ?
カメラの画像の中でガイド光の2D 座標 (x,y) を求める
y
x
1080
0
1920
発見したいモノ：
? 赤い
? 小さい
? 周りより明るい
? OpenCV の力を生かしてみよう！
ｒ
x
x
x
０
ｒｒ
Laplace(ｒ) =
Laplace(r) << 0
の画素を検知
周りよりｒが高い
? Laplace(ｒ) < 0

③ レーザーポインターの3D座標の特定
8
intrinsics extrinsics
知りたい
3D ? 2D 投射：
ガイド光の
? 2D 座標 (u,v)
? カメラの姿勢（～extrinsics)
? 性質 (intrinsics)：
? カメラの焦点距離
? カメラの工学的中心
? 歪みなど
から該当する (X,Y,Z) 座標を求める
認識した
(u,v) 座標
該当する
(X,Y,Z)？
Raycast
u
ｖ
ちょっと数学が必要ではあるが、
大変な計算は、Windows.Media Runtime API に任せよう
OpenCV で認識した
レーザーポインター座標
Locatable Camera
Windows Runtime API
? VideoMediaFrame
? MediaFrameReference
Windows Media: 右手座標系 Unity: 左手座標系
z
z
座標系が一致
しなくて
ややこしい！

処理の流
9
Windows Media Runtime API
Unity C# Wrapper
HoloLensCameraStream
OpenCV for Unity Utils OpenCV for Unity
レーザーポインター
認識
３D座標の特定
Unity Scripting API
Unity Scene Update
frame
Mat
変換
frame
Mat
レーザーポインター (u,v)
認識
カメラ
[intrinsics]
[extrinstics]
Physics.Raycast
camIntrinsics.UnprojectAtUnitDepth
レーザーポインター (X,Y,Z)

まとめ
10
? わかったこと
? HoloLensのカメラはすごい！
? ノイズ?色収差?モーションブラーが少ない
? 3D座標の正確さ
? HoloLensのカメラ処理は大変！
? 例?説明が少ない
? 2K 画像に性能が足りない
? 課題
? 性能向上：
? HoloLensのGPUを利用できれば。。。
? リモート画像処理（Jetson Nano、スマートフォンなど）
? 空間認識：
? Spatial Awareness 認識距離５mは、どう拡張するか
? ソースコード
https://github.com/abist-co-ltd/hololens-opencv-laserpointer
解像度 HD ２K
最大距離～6 m ～10 m
3D座標誤差 < 1 % < 1 %
FPS 28～30 3.5 ～ 8
HoloLens 2 レーザーポインター認識結果
是非お試し
ください。
認識チャレンジ
やってみませんか

関連情報
11
? Mixed Reality Locatable Camera
https://docs.microsoft.com/en-us/windows/mixed-reality/locatable-
camera
? 別方法：リモートの画像処理：
Introduction to Using OpenCV With Unity
https://www.raywenderlich.com/5475-introduction-to-using-opencv-with-unity

狠狠撸

HoloLens でレーザーポインター認識で試してみた

Recommended

More Related Content

Similar to HoloLens でレーザーポインター認識で試してみた (20)

Recently uploaded (15)

HoloLens でレーザーポインター認識で試してみた

狠狠撸

HoloLens で レーザーポインター認識で試してみた

Recommended

More Related Content

Similar to HoloLens で レーザーポインター認識で試してみた (20)

Recently uploaded (15)

HoloLens で レーザーポインター認識で試してみた

HoloLens でレーザーポインター認識で試してみた

Similar to HoloLens でレーザーポインター認識で試してみた (20)

HoloLens でレーザーポインター認識で試してみた