![物体検出に有効なHOG特徴量 [Dalal et. al. CVPR ‘05]
? 局所領域における輝度の勾配方向に着目
– 物体の形状を表現可能
– 局所的な幾何学変化に頑健
入力画像
16セル
8セル
HOG特徴量
1セル :
8x8ピクセル
26,880バイト
特徴量数：3,360 個
浮動小数点型：8 バイト
勾配方向ヒストグラム
勾配方向
1 2 3 4 5 6 7 8
勾配強度
1つのウィンドウにおけるメモリ量
1.25GB
サイズ：640x480ピクセル
ウィンドウ数：50,000 個
画像1枚におけるメモリ量
3](https://image.slidesharecdn.com/miru2010ver15-140328045727-phpapp02/85/Relational-Binarized-HOG-Real-AdaBoost-3-320.jpg)
![実験1 : RB-HOG特徴量の有効性の確認
20
提案手法の中ではSRB-HOG特徴量が最も高精度
1
10
100
Missrate[%]
0.10.001 0.01 1.0 10.0
False positive per window (FPPW) rate [%]
(a) INRIA person dataset
HOG
SRB-HOG
B-HOG
RB-HOG
1
10
100
Missrate[%]
1.00.1 10.0
False positive per window (FPPW) rate [%]
(b) 車両のデータセット
B-HOG
SRB-HOG
RB-HOG
HOG](https://image.slidesharecdn.com/miru2010ver15-140328045727-phpapp02/85/Relational-Binarized-HOG-Real-AdaBoost-20-320.jpg)
![実験2 : バイナリ選択の有効性を確認
21
1
10
100
Missrate[%]
0.10.001 0.01 1.0 10.0
False positive per window (FPPW) rate [%]
(a) INRIA person dataset
HOG
SRB-HOG (＊なし)
検出精度がHOG特徴量と同程度以上
容易に反転するバイナリを“＊” により抑制可能
SRB-HOG (＊あり)
1
10
100
Missrate[%]
1.00.1 10.0
False positive per window (FPPW) rate [%]
(b) 車両のデータセット
HOG
SRB-HOG (＊あり)
SRB-HOG (＊なし)](https://image.slidesharecdn.com/miru2010ver15-140328045727-phpapp02/85/Relational-Binarized-HOG-Real-AdaBoost-21-320.jpg)
![メモリ量と処理時間の比較
? 特徴抽出に必要なメモリ量の比較
? 特徴抽出から識別までの処理時間の比較
23
特徴量 HOG B-HOG RB-HOG SRB-HOG
メモリ量[KB] 3.91 0.50 0.49 0.98
処理時間[s] 5.39×10?10 5.40×10?10 2.70×10?10 2.70×10?10
メモリ量を約75%削減
HOG特徴量のバイナリパターン化
処理時間を約50%削減
HOG特徴量の正規化が不必要
1つの検出ウィンドウ(64×128ピクセル)当たりの計測結果](https://image.slidesharecdn.com/miru2010ver15-140328045727-phpapp02/85/Relational-Binarized-HOG-Real-AdaBoost-23-320.jpg)
![[DL輪読会]YOLOv4: Optimal Speed and Accuracy of Object Detection](https://cdn.slidesharecdn.com/ss_thumbnails/200515dlseminar-200515082345-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
More from MPRG_Chubu_University (13)
Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出
- 1. Relational Binarized HOG特徴量と Real AdaBoostによるバイナリ選択を用いた物体検出 松島千佳，山内悠嗣，藤吉弘亘(中部大学) 山下隆義(中部大学，オムロン株式会社) 1
- 3. 物体検出に有効なHOG特徴量 [Dalal et. al. CVPR ‘05] ? 局所領域における輝度の勾配方向に着目 – 物体の形状を表現可能 – 局所的な幾何学変化に頑健 入力画像 16セル 8セル HOG特徴量 1セル : 8x8ピクセル 26,880バイト 特徴量数：3,360 個 浮動小数点型：8 バイト 勾配方向ヒストグラム 勾配方向 1 2 3 4 5 6 7 8 勾配強度 1つのウィンドウにおけるメモリ量 1.25GB サイズ：640x480ピクセル ウィンドウ数：50,000 個 画像1枚におけるメモリ量 3
- 4. 1. 特徴量数(次元数)を削減 – ベクトル量子化 ? クラスタリングにより特徴量数を削減 – 主成分分析 ? 部分空間に射影することにより特徴次元を削減 2. 低ビット量子化により情報量を削減 – スカラー量子化 – 2値化 メモリ量の削減法 4 元の情報量は維持されるが，処理コストは高い 元の情報量は削減されるが，処理コストは低い
- 5. 閾値処理によるHOG特徴量の2値化 ? Binarized HOG特徴量 (B-HOG) – 固定閾値による閾値処理 – 8方向のバイナリ(バイナリパターン)で1つの特徴量 – 符号なし整数型で扱うことが可能 5 (0 1 1 1 1 0 0 0 )2 B-HOG特徴量 HOG特徴量と比較してメモリ量を1/64に削減 0 1 入力画像 勾配方向ヒストグラム 勾配方向 1 2 3 4 5 6 7 8 勾配強度 閾値
- 6. 1. 最適な閾値が必要 2. 同一のバイナリパターンとして扱うことが困難 – 閾値との差が小さい場合、容易にバイナリが反転 B-HOG特徴量の問題点 6入力画像 勾配方向勾配強度 勾配方向 勾配強度 0 1 閾値 (0 1 1 1 1 0 0 0 )2 0 1 閾値 (0 1 1 1 0 0 0 0 )2 7( )168 7( )160
- 7. 提案手法 1. Relational Binarized HOG特徴量 (RB-HOG) – 2つのセルから得た特徴量の大小関係により2値化 2. “＊”を用いた識別に有効なバイナリ選択 – 容易に反転するバイナリを“?”で表現 ? “＊”は“0”と“1”の2値を許容 7 閾値が不要であり、メモリ量の削減が可能 特徴量の表現能力が向上
- 8. ? 2つのセルから得た特徴量の大小関係により2値化 – 閾値(パラメータ)が不要 – 局所領域間の関係性を表現 – HOG特徴量における正規化処理を必要としない 入力画像 Relational Binarized HOG特徴量 (RB-HOG) 8 RB-HOG特徴量 0 1 勾配方向 1 2 3 4 5 6 7 8勾配強度 勾配方向 1 2 3 4 5 6 7 8 勾配強度 勾配強度の差 一 ( 1 1 1 1 0 0 0 1 ) 2
- 9. 類似した形状から得られるRB-HOG特徴量 ? 勾配強度が同じ場合，明確な2値で表現困難 9 入力画像 勾配方向 1 2 3 4 5 6 7 8 勾配強度 勾配方向 1 2 3 4 5 6 7 8 勾配強度 勾配強度の差 一 0 1 RB-HOG特徴量 ( 0 1 1 1 0 0 1 1 ) 2
- 10. ? 一方のヒストグラムの勾配方向をシフト – 「シフトなし」から「7方向シフト」まで8パターン 入力画像 勾配方向 1 2 3 4 5 6 7 8 勾配強度 Shifted Relational Binarized HOG特徴量 (SRB-HOG) 10 0 1 勾配強度の差 一 0方向シフト (s = 0) SRB-HOG特徴量 (RB-HOG特徴量) ( 0 1 1 1 0 0 1 1 ) 2 : s = 0 勾配方向 1 2 3 4 5 6 7 8 勾配強度
- 11. 入力画像 勾配方向 1 2 3 4 5 6 7 8 勾配強度 Shifted Relational Binarized HOG特徴量 (SRB-HOG) 11 1方向シフト (s = 1) SRB-HOG特徴量 1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8 勾配強度 勾配方向 ( 0 1 1 1 0 0 1 1 ) 2 : s = 0 ( 0 0 0 1 1 1 1 0 ) 2 : s = 1 0 1 勾配強度の差 一 ? 一方のヒストグラムの勾配方向をシフト – 「シフトなし」から「7方向シフト」まで8パターン
- 12. 1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8 入力画像 勾配方向 1 2 3 4 5 6 7 8 勾配強度 12 SRB-HOG特徴量 7方向シフト (s = 7) … SRB-HOG特徴量 ( 1 1 0 0 0 0 0 1 ) 2 : s = 7 ( 0 1 1 1 0 0 1 1 ) 2 : s = 0 ( 0 0 0 1 1 1 1 0 ) 2 : s = 1 勾配強度 勾配方向 0 1 勾配強度の差 一 Shifted Relational Binarized HOG特徴量 (SRB-HOG) ? 一方のヒストグラムの勾配方向をシフト – 「シフトなし」から「7方向シフト」まで8パターン
- 13. SRB-HOG特徴量の効果 13 勾配強度の差が少ないバイナリでも，明確な2値化が可能 1 2 3 4 5 6 7 8 勾配強度 0方向シフト (s = 0) 1 2 3 4 5 6 7 8 勾配強度 4方向シフト (s = 4) 勾配強度 5 6 7 8 1 2 3 4 一 勾配強度の差 s = 0 : ( 0 1 1 1 0 0 1 1 ) 2 勾配強度の差 s = 4 : ( 1 1 1 1 0 0 0 1 ) 2 一
- 15. ? 勾配強度の差が小さい場合，反転する可能性あり – 信頼性が低いバイナリが存在する場合，誤検出の要因 “＊”の導入 15 111 *0 0 *0 “?”による表現 “?”を用いることにより 表現されるパターン 11100000 11110000 11100001 11110001 反転しやすいバイナリに，“0”と“1”を許容する“＊”を導入 類似した複数の特徴量を1つのパターンで表現 SRB-HOG特徴量 4方向シフト (s = 4) 勾配方向 1 2 3 4 5 6 7 8 勾配強度 1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8 勾配強度 勾配方向 ( 1 1 1 1 0 0 0 1 ) 2 勾配強度の差一
- 16. ? 全組み合わせを考慮 – “＊”の位置 – “＊”の数 一組のセルにおける弱識別器の候補数 16 00000000 00000000 00000000 0000000? ??????0? 000000?0 … ???????0 00000000 0000000? ??????0? 000000?0 … ???????0 0000000? ??????0? 000000?0 … ???????0 0000000? ??????0? 000000?0 … ???????0 … … … … … 全ての組み合わせから、識別に有効なパターンを選択 バイナリ数 (0, 1, ＊) 38 = 6,561パターン
- 17. Real AdaBoostの弱識別器 ? 各クラスの重みつき頻度により対数比を出力 – 対象パターンと抽出パターンの一致/不一致により算出 17 111 *0 0 *0 対象パターン m 全ての学習サンプルから 抽出したバイナリパターン F(x) 一致 頻度 不一致 各クラスの重み付き頻度 ポジティブクラス ネガティブクラス W- W+ 1- W- 1- W+ 11100000 11110000 11100001 11110001 00000010 ……
- 18. 評価実験 ? 実験内容 – 実験1 : RB-HOG特徴量の有効性を確認 – 実験2 : バイナリ選択の有効性を確認 ? 比較手法 – HOG特徴量 (HOG) – Binarized HOG特徴量 (B-HOG) – Relational Binarized HOG特徴量 (RB-HOG) – RB-HOG特徴量＋勾配方向のシフト (SRB-HOG) ? 評価方法 – DET (Detection Error Tradeoff)カーブ ? 原点に近いほど検出器の性能が高い 18
- 19. データセット 19 データセット 学習用 評価用 ポジティブ ネガティブ ポジティブ ネガティブ INRIA person dataset 2,415 12,180 1,126 453 車両のデータセット 710 8,800 1,230 3,880 ポジティブサンプル ネガティブサンプル INRIA person dataset ポジティブサンプル ネガティブサンプル 車両のデータセット
- 20. 実験1 : RB-HOG特徴量の有効性の確認 20 提案手法の中ではSRB-HOG特徴量が最も高精度 1 10 100 Missrate[%] 0.10.001 0.01 1.0 10.0 False positive per window (FPPW) rate [%] (a) INRIA person dataset HOG SRB-HOG B-HOG RB-HOG 1 10 100 Missrate[%] 1.00.1 10.0 False positive per window (FPPW) rate [%] (b) 車両のデータセット B-HOG SRB-HOG RB-HOG HOG
- 21. 実験2 : バイナリ選択の有効性を確認 21 1 10 100 Missrate[%] 0.10.001 0.01 1.0 10.0 False positive per window (FPPW) rate [%] (a) INRIA person dataset HOG SRB-HOG (＊なし) 検出精度がHOG特徴量と同程度以上 容易に反転するバイナリを“＊” により抑制可能 SRB-HOG (＊あり) 1 10 100 Missrate[%] 1.00.1 10.0 False positive per window (FPPW) rate [%] (b) 車両のデータセット HOG SRB-HOG (＊あり) SRB-HOG (＊なし)
- 22. 考察：選択された“＊”の数の割合 22 SRB-HOG B-HOG 0 1 2 3 4 5 6 7 ＊の数 0.00 0.05 0.10 0.15 0.20 0.25 頻度 (a) INRIA person dataset B-HOG SRB-HOG (b) 車両のデータセット 0 1 2 3 4 5 6 7 ＊の数 0.00 0.05 0.10 0.15 0.20 0.25 頻度 SRB-HOG特徴量はB-HOG特徴量より “＊”の数が少ない “＊”で表現されたバイナリは“0”か“1”か不明確 “＊”の数が少ないほど，曖昧なバイナリが少ない
- 23. メモリ量と処理時間の比較 ? 特徴抽出に必要なメモリ量の比較 ? 特徴抽出から識別までの処理時間の比較 23 特徴量 HOG B-HOG RB-HOG SRB-HOG メモリ量[KB] 3.91 0.50 0.49 0.98 処理時間[s] 5.39×10?10 5.40×10?10 2.70×10?10 2.70×10?10 メモリ量を約75%削減 HOG特徴量のバイナリパターン化 処理時間を約50%削減 HOG特徴量の正規化が不必要 1つの検出ウィンドウ(64×128ピクセル)当たりの計測結果
- 24. まとめ ? RB-HOG特徴量とReal AdaBoostによる バイナリ選択を用いた物体検出 – Relational Binarized HOG特徴量 ? 2つのセルから得たHOG特徴量の大小関係により２値化 ? Sifted Relational Binarized HOG特徴量 – 勾配方向をシフトして大小関係により2値化 – 勾配強度の差が小さい場合でも明確な2値化が可能 – “＊”を用いた識別に有効なバイナリ選択 ? 容易に反転するバイナリを“＊”で表現 ? 今後の予定 – 効率の良いSRB-HOG特徴量の学習手法を検討 24