狠狠撸

狠狠撸Share a Scribd company logo

第28回コンピュータビジョン勉强会＠関东（办补苍别箩补办颈担当分）

?Download as PPTX, PDF?
?
K
kanejaki

コンピュータビジョン最先端ガイド５　複数画像からの三次元復元 3.2節あたり

1 of 10
Downloaded 72 times
1 MIL Machine Intelligence Lab. 複数枚の画像からの photo-consistency 3.2 デプスマップ復元 2015/3/28 第28回コンピュータビジョン勉強会＠関東 原田研究室 助教 金崎朝子
2 MIL Machine Intelligence Lab. 複数枚の画像からのphoto-consistency 三次元形状を復元するには正確なVisibility情報 （物体上の点がどのカメラに見えているか）が 必要である 正確なVisibility情報を得るためには 逆に形状情報が必要である vs. いわゆるチキン?エッグ問題
3 MIL Machine Intelligence Lab. （図2.18）オクルージョン問題 ? 近傍６画像を使ってPhoto-consistency 関数（NCC）をプロットした結果（赤線） http://mi.eng.cam.ac.u k/~cipolla/archive/Pres entations/2007-PAMI- Volumetric-Graph- Cuts.pdf NCC値 深さ 平均 正しい深さ 平均したらダメな理由： オクルージョンが発生 しているカメラから計算 されるNCC（外れ値）を 足しこんでしまっている から。
4 MIL Machine Intelligence Lab. （図2.18）Vogiatzisら[24][37]の手法 ? 近傍６画像を使ってPhoto-consistency 関数（NCC）をプロットした結果（赤線） http://mi.eng.cam.ac.u k/~cipolla/archive/Pres entations/2007-PAMI- Volumetric-Graph- Cuts.pdf NCC値 深さ [37] Vogiatzis, George, Carlos Hernández, Philip HS Torr, and Roberto Cipolla. Multi-view Stereo via Volumetric Graph-cuts and Occlusion Robust Photo-Consistency. PAMI, vol. 29, No. 12, 2007. 極大値 カーネル関数 カーネル関数和 外れ値に影響されにくい！
5 MIL Machine Intelligence Lab. （図2.18）Vogiatzisら[24][37]の手法 ? 近傍６画像を使ってPhoto-consistency 関数（NCC）をプロットした結果（赤線） http://mi.eng.cam.ac.u k/~cipolla/archive/Pres entations/2007-PAMI- Volumetric-Graph- Cuts.pdf NCC値 深さ 極大値 カーネル関数 カーネル関数和 ? ? ? = ?=1 ? ? ?? ? ?? ? ?(? ? ?? ? ) ?? ? ： 各?? ? ? の極大値 各photo-consistencyカーブ カーネル関数 （ex. gaussian） [37] Vogiatzis, George, Carlos Hernández, Philip HS Torr, and Roberto Cipolla. Multi-view Stereo via Volumetric Graph-cuts and Occlusion Robust Photo-Consistency. PAMI, vol. 29, No. 12, 2007. 外れ値に影響されにくい！
6 MIL Machine Intelligence Lab. 3.2 デプスマップ復元 ? 一番単純な方法： 各ピクセルで上式が最大になるデプスを求める。 ? ? ? = ?=1 ? ? ?? ? ?? ? ?(? ? ?? ? ) ?? ? ： 各?? ? ? の極大値 各photo-consistencyカーブ カーネル関数 （ex. gaussian） テクスチャー欠如 テクスチャー反復 註9 確証のない深さ値を効果的に フィルタリングすることで～[19] [19] Michael Goesele, Brian Curless, and Steven M. Seitz. Multi-view stereo revisited. CVPR, 2006. a depth value ? is ????? if ??? ?, ??, ? > ?????? for at least two views in ?.
7 MIL Machine Intelligence Lab. 3.2 デプスマップ復元 ? 一番単純な方法： 各ピクセルで上式が最大になるデプスを求める。 ? ? ? = ?=1 ? ? ?? ? ?? ? ?(? ? ?? ? ) ?? ? ： 各?? ? ? の極大値 各photo-consistencyカーブ カーネル関数 （ex. gaussian） [13] Neill D. Campbell, George Vogiatzis, Carlos Hernández, and Roberto Cipolla. Using Multiple Hypotheses to Improve Depth-Maps for Multi- View Stereo. ECCV, 2008. 図2.19 に該当 テクスチャー欠如 テクスチャー反復 滑らかさの regularization項 を加える！
8 MIL Machine Intelligence Lab. 3.2 デプスマップ復元 以下のエネルギー最適化問題を解く。 ? ? ? = ?∈? ? ?(? ?) + ? (?,?)∈N ? ?(? ?, ? ?) regularization項 ? ? ? ? = ?? ? ? ? ? ? ?, ? ? = ? ? ? ? ? ???ピクセル?の深さを? ?にするコスト ???隣り合うピクセル?と?の深さを 連続的（スムース）にするコスト ?: ? ?: ?: N: ?: ピクセル ?の深さ（この問題の変数） 画像中のピクセルの集合 隣り合うピクセルのペアの集合 重み比のパラメータ [38] Oliver Woodford, Philip Torr, Ian Reid, and Andrew Fitzgibbon. Global stereo reconstruction under second-order smoothness priors. PAMI, vol.31, No. 12, 2009. ? ? ? ?, ? ?, ? ? ≒ ? ? ? 2? ? + ? ? 註10 こんなのも。
9 MIL Machine Intelligence Lab. 3.2 デプスマップ復元 以下のエネルギー最適化問題を解く。 ? ? ? = ?∈? ? ?(? ?) + ? (?,?)∈N ? ?(? ?, ? ?) regularization項 ? ? ? ? = ?? ? ? ? ? ? ?, ? ? = ? ? ? ? ? ???ピクセル?の深さを? ?にするコスト ???隣り合うピクセル?と?の深さを 連続的（スムース）にするコスト ?: ? ?: ?: N: ?: ピクセル ?の深さ（この問題の変数） 画像中のピクセルの集合 隣り合うピクセルのペアの集合 重み比のパラメータ ふつう離散化して最適なの探す （ex. 0cm, 0.1cm, …, 10cmの100通り） MRF たとえば Graph-Cuts とかで解く @rezoolab @tackson5 ※（8月30日）コンピュータビジョン最適化勉強会@関東 の資料は素晴らしかったです
10 MIL Machine Intelligence Lab. 複数枚の画像からのphoto-consistency 3.2 デプスマップ復元 以上です。

More Related Content

第28回コンピュータビジョン勉强会＠関东（办补苍别箩补办颈担当分）

  • 1. 1 MIL Machine Intelligence Lab. 複数枚の画像からの photo-consistency 3.2 デプスマップ復元 2015/3/28 第28回コンピュータビジョン勉強会＠関東 原田研究室 助教 金崎朝子
  • 3. 3 MIL Machine Intelligence Lab. （図2.18）オクルージョン問題 ? 近傍６画像を使ってPhoto-consistency 関数（NCC）をプロットした結果（赤線） http://mi.eng.cam.ac.u k/~cipolla/archive/Pres entations/2007-PAMI- Volumetric-Graph- Cuts.pdf NCC値 深さ 平均 正しい深さ 平均したらダメな理由： オクルージョンが発生 しているカメラから計算 されるNCC（外れ値）を 足しこんでしまっている から。
  • 4. 4 MIL Machine Intelligence Lab. （図2.18）Vogiatzisら[24][37]の手法 ? 近傍６画像を使ってPhoto-consistency 関数（NCC）をプロットした結果（赤線） http://mi.eng.cam.ac.u k/~cipolla/archive/Pres entations/2007-PAMI- Volumetric-Graph- Cuts.pdf NCC値 深さ [37] Vogiatzis, George, Carlos Hernández, Philip HS Torr, and Roberto Cipolla. Multi-view Stereo via Volumetric Graph-cuts and Occlusion Robust Photo-Consistency. PAMI, vol. 29, No. 12, 2007. 極大値 カーネル関数 カーネル関数和 外れ値に影響されにくい！
  • 5. 5 MIL Machine Intelligence Lab. （図2.18）Vogiatzisら[24][37]の手法 ? 近傍６画像を使ってPhoto-consistency 関数（NCC）をプロットした結果（赤線） http://mi.eng.cam.ac.u k/~cipolla/archive/Pres entations/2007-PAMI- Volumetric-Graph- Cuts.pdf NCC値 深さ 極大値 カーネル関数 カーネル関数和 ? ? ? = ?=1 ? ? ?? ? ?? ? ?(? ? ?? ? ) ?? ? ： 各?? ? ? の極大値 各photo-consistencyカーブ カーネル関数 （ex. gaussian） [37] Vogiatzis, George, Carlos Hernández, Philip HS Torr, and Roberto Cipolla. Multi-view Stereo via Volumetric Graph-cuts and Occlusion Robust Photo-Consistency. PAMI, vol. 29, No. 12, 2007. 外れ値に影響されにくい！
  • 6. 6 MIL Machine Intelligence Lab. 3.2 デプスマップ復元 ? 一番単純な方法： 各ピクセルで上式が最大になるデプスを求める。 ? ? ? = ?=1 ? ? ?? ? ?? ? ?(? ? ?? ? ) ?? ? ： 各?? ? ? の極大値 各photo-consistencyカーブ カーネル関数 （ex. gaussian） テクスチャー欠如 テクスチャー反復 註9 確証のない深さ値を効果的に フィルタリングすることで～[19] [19] Michael Goesele, Brian Curless, and Steven M. Seitz. Multi-view stereo revisited. CVPR, 2006. a depth value ? is ????? if ??? ?, ??, ? > ?????? for at least two views in ?.
  • 7. 7 MIL Machine Intelligence Lab. 3.2 デプスマップ復元 ? 一番単純な方法： 各ピクセルで上式が最大になるデプスを求める。 ? ? ? = ?=1 ? ? ?? ? ?? ? ?(? ? ?? ? ) ?? ? ： 各?? ? ? の極大値 各photo-consistencyカーブ カーネル関数 （ex. gaussian） [13] Neill D. Campbell, George Vogiatzis, Carlos Hernández, and Roberto Cipolla. Using Multiple Hypotheses to Improve Depth-Maps for Multi- View Stereo. ECCV, 2008. 図2.19 に該当 テクスチャー欠如 テクスチャー反復 滑らかさの regularization項 を加える！
  • 8. 8 MIL Machine Intelligence Lab. 3.2 デプスマップ復元 以下のエネルギー最適化問題を解く。 ? ? ? = ?∈? ? ?(? ?) + ? (?,?)∈N ? ?(? ?, ? ?) regularization項 ? ? ? ? = ?? ? ? ? ? ? ?, ? ? = ? ? ? ? ? ???ピクセル?の深さを? ?にするコスト ???隣り合うピクセル?と?の深さを 連続的（スムース）にするコスト ?: ? ?: ?: N: ?: ピクセル ?の深さ（この問題の変数） 画像中のピクセルの集合 隣り合うピクセルのペアの集合 重み比のパラメータ [38] Oliver Woodford, Philip Torr, Ian Reid, and Andrew Fitzgibbon. Global stereo reconstruction under second-order smoothness priors. PAMI, vol.31, No. 12, 2009. ? ? ? ?, ? ?, ? ? ≒ ? ? ? 2? ? + ? ? 註10 こんなのも。
  • 9. 9 MIL Machine Intelligence Lab. 3.2 デプスマップ復元 以下のエネルギー最適化問題を解く。 ? ? ? = ?∈? ? ?(? ?) + ? (?,?)∈N ? ?(? ?, ? ?) regularization項 ? ? ? ? = ?? ? ? ? ? ? ?, ? ? = ? ? ? ? ? ???ピクセル?の深さを? ?にするコスト ???隣り合うピクセル?と?の深さを 連続的（スムース）にするコスト ?: ? ?: ?: N: ?: ピクセル ?の深さ（この問題の変数） 画像中のピクセルの集合 隣り合うピクセルのペアの集合 重み比のパラメータ ふつう離散化して最適なの探す （ex. 0cm, 0.1cm, …, 10cmの100通り） MRF たとえば Graph-Cuts とかで解く @rezoolab @tackson5 ※（8月30日）コンピュータビジョン最適化勉強会@関東 の資料は素晴らしかったです