1. Online Moving Camera
Background Subtraction
Ali Elqursh, Ahmed Elgammal (Rutgers University, US)
@ECCV2012 Poster
2012/12/16 コンピュータビジョン勉強会＠関東
@sakanazensen
2. 自己绍介
? @sakanazensen
? さかな前線: daily.belltail.jp
? 鈴尾 大地(Daichi SUZUO)
? 名古屋大学 村瀬研 M1
– 名古屋から一泊で来ました
– #就活こわい
? #内定くださいJP
? nagoyacv幹事（2代目）
? CV Advent Calendarやってます！
3. 自己绍介
? @sakanazensen
? さかな前線: daily.belltail.jp
? 鈴尾 大地(Daichi SUZUO)
? 名古屋大学 村瀬研 M1
– 名古屋から一泊で来ました
– #就活こわい
? #内定くださいJP
? nagoyacv幹事（2代目）
? CV Advent Calendarやってます！
8. 紹介する論文
? “Online Moving Camera Background Subtraction”
? Ali Elqursh, Ahmed Elgammal (Rutgers University)
? プロジェクトページ:
http://paul.rutgers.edu/~elqursh/projects/bsmc/index.shtml
? paperとポスターがあります
? youtube:
http://www.youtube.com/watch?v=DmxT1LexlsY
? デモ動画
11. やりたいこと
? Online – 逐次入力しながら
– オフラインな手法では…
? 全部読み込んで前景モデルつくって推定、とか
? Moving Camera – 非固定カメラ
– handheld camera
– in-vehicle camera
12. やりたいこと
? Online – 逐次入力しながら
– オフラインな手法では…
? 全部読み込んで前景モデルつくって推定、とか
? Moving Camera – 非固定カメラ
– handheld camera
– in-vehicle camera
? Background Subtraction – 前景領域抽出
– denseに（＝画素単位で）動領域を推定
– （前景抽出というタスクを指して”背景差分”と言いますかそうで
すか…）
13. アプローチ
? Optical Flow[18]をつなげたtrajectories(軌跡)を
領域セグメンテーションに利用[3]
– [3] Brox, T., Malik, J. ”Object Segmentation by Long Term Analysis of Point
Trajectories,” ECCV 2010
– [18] Sundaram N., Brox T., Keutzer K., "Dense Point Trajectries by GPU-
Accelerated Large Displacement Optical Flow," ECCV2010
? Bayesian filterで軌跡をモデル化[9]
– 時間変化に応じてモデルを更新する
– 長時間の映像でも安定して前景抽出
– [9] Kwak, S., Lim, T., Nam, W., Han, B., Hee, J. ”Generalized Background
Subtraction Based on Hybrid Inference by Belief Propagation and
Bayesian Filtering,” ICCV 2011
15. 処理の流れ
初期化処理
（次フレーム入力）
“軌跡空間”生成
クラスタリング
前景背景判定
动领域推定
16. 処理の流れ
初期化処理 初期数フレームの动领域推定：
（次フレーム入力）
optical flowと画像のみで推定
“軌跡空間”生成
クラスタリング
前景背景判定
动领域推定
17. 処理の流れ
optical flowによ
初期化処理 る
時間方向の軌跡
（次フレーム入力）
“軌跡空間”生成
クラスタリング
1軌跡が
1点に対応
前景背景判定
动领域推定 軌跡を写像した空間
18. 処理の流れ
初期化処理
（次フレーム入力）
GMMでクラスタリング
“軌跡空間”生成 （似た軌跡をグループ化）
クラスタリング
前景背景判定
动领域推定
19. 処理の流れ
各クラスタが前景か背景か判定
初期化処理
（次フレーム入力）
“軌跡空間”生成
画像上での判定
クラスタリング
前景背景判定
动领域推定 軌跡での判定
20. 処理の流れ
動領域を密に推定
初期化処理
（次フレーム入力）
“軌跡空間”生成
クラスタリング
前景背景判定
动领域推定
さらに、背景?前景の確率モデルを構築?更新
22. 初期化処理 初期化処理
“軌跡空間”生成
クラスタリング
前景背景判定
映像の最初：軌跡の長さが短く、GMMできない 动领域推定
画像とoptical flowのみで动领域推定
各ノードは画素に対応
平滑化項：輝度差
データ項：軌跡
MRFの構築
optical flow
graph cutsで分離
※カメラの動きに伴い新しく出現した部分にも同様の処理
23. “轨跡空间”の生成 初期化処理
“軌跡空間”生成
クラスタリング
前景背景判定
动领域推定
? 軌跡同士の類似尺度を定義：
特徴点の軌跡
24. クラスタリング 初期化処理
“軌跡空間”生成
クラスタリング
前景背景判定
动领域推定
似た動きの軌跡
が
多様体をなす
特徴点の軌跡 軌跡の（仮想的な）空間
クラスタを成さ
ない
軌跡もある
ラベル付け GMMでクラスタリング
25. 前景／背景の判定 初期化処理
“軌跡空間”生成
クラスタリング
前景背景判定
クラスタごとに前景?背景ラベルを付与 动领域推定
Affine motion
compactness
compatibility
boundary surroundedness
(軌跡空間)
26. 动领域推定 初期化処理
“軌跡空間”生成
クラスタリング
前景背景判定
この時点では動領域?背景領域ラベルは各特徴点単位 动领域推定
画素単位での領域を推定 ターミナル：
ノード： ラベル付いた特徴
画素 点
MRF segmentation
sparse label dense label
直前での
軌跡モデ
ル 背景モデ
ル
背景のアピアランスモデル Bayesian filterによる背景モデルの推定?更新
28. 評価方法
? 比較手法
? 提案手法1： 映像の1フレーム目に動領域の正解を指定する
? 提案手法2： 正解を指定しない
? Sheikhらの手法[15]
? Kwakらの手法[9]
? 評価データ
? Hopkins 155 dataset
? 長時間映像（460フレーム程度）
? 評価方法
? 画素単位の前景?背景のprecision / recall
29. 评価结果
提案手法1 Sheikhら[15]
cars1
people1
脚部分で未検出
optical flowの精度が低いため （画面左から）新たに出てき
た人
people2 従来手法では難しい
tennis
ボールも検出
30. 评価结果
Hopkins 155 data set 長時間映像
source cars1 people1 people2 tennis drive
Prec. Rec. F-val Prec. Rec. F-val Prec. Rec. F-val Prec. Rec. F-val Prec. Rec. F-val
提案1 .84 .99 .91 .94 .85 .89 .69 .88 .77 .86 .92 .89 .55 .95 .70
提案2 .85 .97 .90 .97 .88 .92 .87 .88 .88 .90 .81 .85 .60 .67 .63
Sheikh
.63 .99 .77 .78 .63 .70 .73 .83 .78 .27 .83 .40 .02 .66 .04
ら
Kwakら .92 .84 .88 .95 .93 .94 .85 .89 .86 - - - - - -
? 多くでF値が1位か僅差の2位
? 一部データでは精度が低下する例も
? 長時間の映像でも高精度
![アプローチ
? Optical Flow[18]をつなげたtrajectories(軌跡)を
領域セグメンテーションに利用[3]
– [3] Brox, T., Malik, J. ”Object Segmentation by Long Term Analysis of Point
Trajectories,” ECCV 2010
– [18] Sundaram N., Brox T., Keutzer K., "Dense Point Trajectries by GPU-
Accelerated Large Displacement Optical Flow," ECCV2010
? Bayesian filterで軌跡をモデル化[9]
– 時間変化に応じてモデルを更新する
– 長時間の映像でも安定して前景抽出
– [9] Kwak, S., Lim, T., Nam, W., Han, B., Hee, J. ”Generalized Background
Subtraction Based on Hybrid Inference by Belief Propagation and
Bayesian Filtering,” ICCV 2011](https://image.slidesharecdn.com/onlinemovingcamerabackgroundsubtraction-121215232411-phpapp01/85/Online-moving-camera_background_subtraction-13-320.jpg)
![評価方法
? 比較手法
? 提案手法1： 映像の1フレーム目に動領域の正解を指定する
? 提案手法2： 正解を指定しない
? Sheikhらの手法[15]
? Kwakらの手法[9]
? 評価データ
? Hopkins 155 dataset
? 長時間映像（460フレーム程度）
? 評価方法
? 画素単位の前景?背景のprecision / recall](https://image.slidesharecdn.com/onlinemovingcamerabackgroundsubtraction-121215232411-phpapp01/85/Online-moving-camera_background_subtraction-28-320.jpg)
![评価结果
提案手法1 Sheikhら[15]
cars1
people1
脚部分で未検出
optical flowの精度が低いため （画面左から）新たに出てき
た人
people2 従来手法では難しい
tennis
ボールも検出](https://image.slidesharecdn.com/onlinemovingcamerabackgroundsubtraction-121215232411-phpapp01/85/Online-moving-camera_background_subtraction-29-320.jpg)
