対応点を用いないローリングシャッター歪み補正と 映像の安定化～並進から回転へスライド
- 1. 対応点を用いないローリングシャッター歪み補正と 映像の安定化 ～ 並進から回転へ Rolling Shutter Distortion Correction and Video Stabilization without Correspondence ～ from Translational to Rotational Motion 松永 力 Chikara Matsunaga 株式会社朋栄アイ?ビー?イー FOR-A IBE Co., Ltd. E-mail: matsunaga@for-a.co.jp SSII2015 IS1-16: 2015年6月11日（木）
- 5. 研究の概要研究の概要 ● ローリングシャッターに起因する映像の動き歪み変形を 隣接する画像間のグローバルな動きの変換としてモデル化し， 回転を含む一般的な運動の場合に拡張する． ● 動き歪みパラメータを“逆結合Lucas-Kanadeアルゴリズム”の 更新量を 1次近似した“近似逆結合Lucas-Kanadeアルゴリズム” により推定する． ● 移動カメラの場合に，推定した並進パラメータの時系列変化に 対して，“巡回型バイラテラルフィルタ”により揺れ成分を除去して， カメラの移動を保持したまま，映像中の揺れのみを補正する． 2015年6月11日（木）
- 7. ローリングシャッター動き歪みモデルローリングシャッター動き歪みモデル 並進動きを仮定すると， 速度 は １ フレーム時間 で割ることによって得られる． 画像縦横サイズが のCMOSカメラが動くと， 撮影されたシーン中の物体の特徴点 は 1 フレーム 期間中に画像の動き によって動くとする． CMOS動き歪み位置 は， 2015年6月11日（木）
- 8. ローリングシャッター並進歪み（１）ローリングシャッター並進歪み（１） 画素位置 までの経過時間を と近似すると， と の間の並進歪み変換は，次のようになる． 2015年6月11日（木）
- 10. ローリングシャッター並進歪み（３）ローリングシャッター並進歪み（３） と置いて，行列の各要素を等値する． 松永 力, 対応点を用いないローリングシャッタ歪み補正と映像安定化, 第19回画像センシングシンポジウム(SSII2013)講演論文集, 横浜(パシフィコ横浜), 2013年6月. 2015年6月11日（木）
- 16. 人工画像シミュレーション実験人工画像シミュレーション実験 補正結果 松永 力, 対応点を用いないローリングシャッタ歪み補正と映像安定化, 第19回画像センシングシンポジウム(SSII2013)講演論文集, 横浜(パシフィコ横浜), 2013年6月. 2015年6月11日（木）
- 17. ローリングシャッター剛体歪み（１）ローリングシャッター剛体歪み（１） 歪みのある隣接する 2 画像 の間の動きを， 仮想的な歪みのない隣接する 2 画像 との 間の歪み変形による変換と，歪みのない隣接する 2 画像間の動き による変換に分離する． 2015年6月11日（木）
- 19. ローリングシャッター回転歪みシミュレーション画像ローリングシャッター回転歪みシミュレーション画像 (a) カメラ動きなし（基準画像）， (b) カメラが3度回転（時計回りの回転）すると画像は左に変形する， (c) カメラが?3度回転（反時計回りの回転）すると画像は右に変形する． (a) (b) (c) 2015年6月11日（木）
- 20. ローリングシャッター動き歪みの推定（１）ローリングシャッター動き歪みの推定（１） 第 フレームの剛体歪み画像 を第 フレーム の剛体歪み画像 に合わせる． だから， Lucas-Kanade アルゴリズムにより，次の差分二乗総和を最小化する パラメータ を推定する． と摂動したとして，差分二乗総和を展開して 1次近似 したものを で微分して 0 と置く． について解くと， 2015年6月11日（木）
- 21. ローリングシャッター動き歪みの推定（２）ローリングシャッター動き歪みの推定（２） は，第 フレーム画像の勾配である． 剛体歪み変換の場合， → ヘッセ行列 （の逆行列）は反復毎に計算しなければならない． 2015年6月11日（木）
- 26. Motion Estimation LPF ー ＋ Motion Correction ローリングシャッター動き歪み補正と安定化処理ローリングシャッター動き歪み補正と安定化処理 2015年6月11日（木）
- 27. は，ディジタルカットオフ角周波数 （ ）． 並進成分 に対して，時系列フィルタ処理を行い，フィルタ処理結果 との 差分 を累積加算した により動き歪み補正と安定化処理を行う． ローリングシャッター動き歪み補正と安定化処理ローリングシャッター動き歪み補正と安定化処理 2015年6月11日（木） 時系列フィルタに，巡回型フィルタを用いると，1次バタワース巡回型フィルタの場合は 次のようになる．
- 28. ここで， 松永 力, 対応点を用いないローリングシャッタ歪み補正と映像安定化, 第19回画像センシングシンポジウム(SSII2013)講演論文集, 横浜(パシフィコ横浜), 2013年6月. ローリングシャッター動き歪み補正と安定化処理ローリングシャッター動き歪み補正と安定化処理 2015年6月11日（木） 時系列フィルタに，信号のレベル差に応じた重み係数を導入した巡回型バイラテラルフィルタ を用いると，1次バタワース巡回型バイラテラルフィルタの場合は次のようになる．
- 31. (a) (b) 実画像列シミュレーション実験（固定カメラの場合）実画像列シミュレーション実験（固定カメラの場合） (a) 水平および垂直方向にそれぞれ平均0，標準偏差1画素の正規乱数による 並進パラメータ，平均0，標準偏差0.2度の正規乱数による回転パラメータを用いて 生成した剛体歪み画像列の加算平均画像(640×480画素，60フレーム)， (b) 歪み補正および安定化処理結果の画像列の加算平均画像． 画像境界付近の黒味は補正処理による見切れのためである． 2015年6月11日（木）
- 32. 実画像列シミュレーション実験（固定カメラの場合）実画像列シミュレーション実験（固定カメラの場合） (a) 並進（水平方向） (b) 並進（垂直方向） (c) 回転 (d) ピークSN比の変化 2015年6月11日（木）
- 35. まとめまとめ ● ローリングシャッターに起因する映像の動き歪み変形を 隣接する画像間のグローバルな動きの変換としてモデル化し， 回転を含む一般的な運動の場合に拡張した． ● 動き歪みパラメータを“逆結合Lucas-Kanadeアルゴリズム”の 更新量を 1次近似した“近似逆結合Lucas-Kanadeアルゴリズム” により推定した． ● 移動カメラの場合に，推定した並進パラメータの時系列変化に 対して，“巡回型バイラテラルフィルタ”により揺れ成分を除去して， カメラの移動を保持したまま，映像中の揺れのみを補正した． 2015年6月11日（木）