狠狠撸

第51回 CV勉強会@関東
コンピュータビジョン＜広がる要素技術と応用＞読み会
「第4章拡張現実感のためのCV技術」
4.1 拡張現実感とは～4.2 カメラ幾何
2019年2月27日 @OZ_Z_C
2019/2/27 CV勉強会@関東 CV-広がる要素技術と応用- 4章拡張現実感のためのCV技術 1

自己紹介
?海野恭平 (うんのきょうへい)
?@OZ_Z_C (twitter)
?企業研究所所属 & 社会人ドクター
?研究テーマ：画像データの圧縮（画像符号化）
?会社：動画像符号化方式国際標準化
?大学：可逆符号化で圧縮率の限界に挑戦
よろしくお願いします！

4章の概要
?タイトル：拡張現実感のためのコンピュータビジョン技術
?4.1 拡張現実感とは
?4.2 カメラ幾何
?4.3 既知な物体を用いたカメラの位置姿勢算出
?4.4 未知な環境下におけるカメラの位置姿勢算出

4.1 拡張現実感とは

拡張現実感
?拡張現実感：Augmented Reality, AR
?情報技術によって人間の知覚（五感）を拡張する技術
?1990年代～：視覚を拡張する技術の研究が盛んにおこなわれている
?最近では、聴覚や触覚などを拡張する分野に発展（Augmented Humanとも）
?本章では視覚を拡張するARに焦点を当てる

ARの定義
?Ronald T. Azuma (AR研究の第一人者) による定義
1. Combines real and virtual
?現実世界とCG物体を融合すること
?CG物体のみだと例えばVR (Virtual Reality)
2. Interactive in real time
?実時間かつ対話的に融合
?映画などのオフラインでの合成はARではない
3. Registered in 3-D
?現実空間と3次元的に一致するようにCG物体を表示＝幾何学的整合性
?幾何学的整合性？ []
?実空間の重力や慣性、反力に矛盾せず表示されること
?例えば、CGで表示された表現されたコッフ?が机にめり込んだり、空中に浮いて見えたりしない
ように、幾何学的に位置を合わせること
Ronald T. Azuma氏

AR? MR?
?ARとMR (Mixed Reality : 複合現実感) の違い
?定義 1
? MRは現実～AR～VRを包括する概念
? ミルグラムによる定義
? 先ほどのARの定義 (by Ronald T. Azuma) とも合致

AR? MR?
?ARとMR (Mixed Reality : 複合現実感) の違い
?定義2
? AR：現実世界に単に情報を重畳したもの
? MR：利用者の動きとシンクロする、現実世界の形状とデジタル映像をぴったり重ね合わせる
? Ronald T. Azumaの定義ではこれもARに含まれる（定義の2、3番目と一緒）
https://special.nikkeibp.co.jp/atclh/NBO/17/microsoft0419/p5/

幾何学的整合性の実現
?幾何学的整合性を実現するためには？
?カメラの位置姿勢の算出（= 本章の主題）が重要
? 現実空間のなかで、カメラはどこにあるか？どこに向いているか？
?次節4.2 で、位置姿勢算出の理解に必要な単眼カメラのカメラ幾何を説明
? ?
??
??
? ?
??
? ?
? ?
?
?
?
カメラ座標
カメラ座標
ワールド座標

4.1節補足
?実際には光学的整合性も大事
?視点に応じてCG物体の合成の際に影や反射を加えること
?本章（4章）を読み進めるには、2章、3章の知識も必要
?どちらも、CV勉強会で読み会実施済み！
?2章資料まとめ（@takminさんブログ）
?https://takmin.hatenablog.com/entry/20180824/1535128390
?3章資料まとめ（同上）
?https://takmin.hatenablog.com/entry/2018/09/28/010618

4.2 カメラ幾何

座標系の定義
?ワールド座標： ? ? ?? ? ?
?
?三次元空間上のどこかに原点→カメラ位置に対して不変
?カメラ座標： ?? ?? ? ?
?
?カメラの光学中心が原点、光軸がZ軸
?カメラ位置に合わせてワールド座標空間内を移動
?画像座標： ? ? ?
?画像の左上が原点
? ?
??
??
? ?
??
? ?
? ?
?
?
?
カメラ座標
カメラ座標
ワールド座標

透視投影モデルに基づいた? ?と?の関係
? ?
??
??
? ?
??
? ?
? ?
?
?
?
カメラ座標
カメラ座標
ワールド座標
?
?
?
1
=
?? 0 ? ?
0 ?? ? ?
0 0 0
?11 ?12
?21 ?22
?31 ?32
?13 ?1
?23 ?2
?33 ?3
? ?
??
? ?
1
?:内部パラメータ
? ? :外部パラメータ
? ? = ? ?1 ?2 ?3 ? ? ?
= ? ? ? ? ?

ワールド座標とカメラ座標の関係
? ?
??
??
? ?
??
? ?
? ?
?
?
?
カメラ座標
カメラ座標
ワールド座標
? ? =
? ?
? ?
1
? ?
??
??
? ?
1
=
?11 ?12
?21 ?22
?31
0
?32
0
?13 ?1
?23 ?2
?33
0
?3
1
? ?
??
? ?
1
??2
? ? = 0 0 0 ? の時 ??? ? ? = ?
? ? = 0 1 0 ?
の時 ??? ? ? = ?2
?はカメラ座標系でのワールド座標の原点
?1, ?2, ?3はカメラ座標系でのワールド座標
? ?軸, ??軸, ? ?軸の方向

ワールド座標から画像座標への変換
? ? ? によって ? ?から ? ?へ、 ?によって ? ?から ?へ変換される
? ?：事前に内部キャリブレーションして既知として扱う（2章参照）
? ? ? : これが算出できれば、 ? ?で定義されたCG物体を画像へ投影できる
? ? ? の算出（外部キャリブレーション）＝カメラの位置姿勢の算出
? ?
??
??
? ?
??
? ?
? ?
?
?
?
カメラ座標
カメラ座標
ワールド座標
? ? = ? ? ? ? ?
? ? = ? ? ? ? ?? ? =
? ?
? ? 1
? ? より

平面に物体を投影する場合
? ? ? の代わりに射影変換行列?を用いる
?? ? ??平面（? ? = 0）に投影する場合
? ?
??
??
? ?
??
? ?
? ?
?
?
?
カメラ座標
カメラ座標
ワールド座標
? ? = ? ?1 ?2 ?3 ?
? ?
??
0
1
= ? ?1 ?2 ?
? ?
??
1
= ?
? ?
??
1

射影変換行列?の求め方
?未知数は8つ → ?と? ??の対応4組以上あれば算出可
?両辺を定数倍しても?と? ??の対応は変わらない
? ?33=1となるように正規化することで未知数を8つに減らすことができる
?DLT（Direct Linear Transform）法で?を算出可能
?5組以上の対応点がある場合は最小二乗法で求める
?
?
?
1
=
?11 ?12
?21 ?22
?31 ?32
?13
?23
?33
? ?
??
1
?
?33
?
?
1
=
?′11 ?′12
?′21 ?′22
?′31 ?′32
?′13
?′23
1
? ?
??
1

三次元の物体を投影する場合
??から ? ? を算出する
?実際は、上記を初期値として、次節の投影誤差が最小となるように非線形最
適化する必要あり
? ?
??
??
? ?
??
? ?
? ?
?
?
?
カメラ座標
カメラ座標
ワールド座標
? ? ? ? ? ? = ±???
?
? ? ? ? ? =
1
λ
? ? ? ? ? ? ?3 = ?1 × ?2 (外積)
λ =
?1 + ?2
2
とすると、
と求められる

4.2節補足
?ここまでの話はレンズの歪曲収差がない場合が前提
?実際のレンズでは直線が曲線に撮像されるなどのひずみが生じる
?広角レンズでは特に画像の周辺ほどひずみが大きくなる
?実際は事前に歪パラメータも求めておく必要がある
?この辺りは2章参照
?CV勉強会で読み会実施済
?［個人的気づき］歪パラメータは、まずは2つまでにしておいたほうが良いこと
が複数の発表者から指摘されている
?@gaku_nakanoさん
?https://drive.google.com/file/d/1BbhWplwBvZyJwQVTqQPn62ZF8oE52xfT/view
?@ChaoticActivityさん
?https://drive.google.com/file/d/1e6WMKMYRLUbjKKdKmq5XlGDK0mo5Ab9h/view

4章の概要
?タイトル：拡張現実感のためのコンピュータビジョン技術
?4.1 拡張現実感とは
?現実とCGを融合
?実時間かつ対話的
?幾何学的整合性
?4.2 カメラ幾何
?カメラの位置姿勢推定＝カメラの外部キャリブレーション
?4.3 既知な物体を用いたカメラの位置姿勢算出
?4.4 未知な環境下におけるカメラの位置姿勢算出

fin.
2019年2月27日 @OZ_Z_C

狠狠撸

20190227 第51回CV勉強会＠関東

More Related Content

20190227 第51回CV勉強会＠関東