[CV勉強会]Active Object Localization with Deep Reinfocement Learning
6 likes6,408 views
2016/02/06に开催された颁痴勉强会＠関东「滨颁颁痴2015読み会」発表资料です。
[CV勉強会]Active Object Localization with Deep Reinfocement Learning
- 1. 第32回 CV勉強会「ICCV2015読み会」 Active Object Localization with Deep Reinforcement Learning 皆川卓也(takmin)
- 2. 自己紹介 2 テクニカル?ソリューション?アーキテクト 皆川 卓也（みながわ たくや） フリーエンジニア（ビジョン＆ITラボ） 「コンピュータビジョン勉強会＠関東」主催 博士（工学） 略歴： 1999-2003年 日本HP（後にアジレント?テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得（2014年） 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事
- 3. 紹介論文 ? Active Object Localization with Deep Reinforcement Learning ? Juan C. Caicedo, and Svetlana Lazebnik ? 物体検出のタスクにDeep Q-Networkを使用した
- 4. Deep Q-Network (DQN) ? Q Learningという強化学習のアルゴリズムに Convolutional Neural Networkを適用 ? 以下の論文で、機械にコンピュータゲームのやり方を学 習させ、3/7で人間以上のスコア ? Mnih, V., et al., “Playing Atari with Deep Reinforcement Learning”, NIPS Deep Learning Workshop, 2013 ? Mnih, V., et al., “Human-level control through deep reinforcement learning”, Nature, 518 (7540), 529–533. 2015
- 6. 強化学習とは？ エージェント 状態: ? 時間: t アクション: ? 観測方策： ?(?)
- 7. 強化学習とは？ エージェント 状態: ? 時間: t アクション: ? 観測方策： ?(?)
- 8. 強化学習とは？ エージェント 時間: t アクション: ? 方策： ?(?) 状態: ?′
- 9. 強化学習とは？ エージェント 状態: ?′ 時間: t+1 報酬: ?? 観測方策： ?(?′) 学習で求める
- 10. 強化学習とは？ ? どのような方策を学習する？ ? 以下の報酬の和の期待値が最大となるように今の行動を決 定する ?? = ?? + ???+1 + ?2 ??+2 + ? + ? ??? ? ? 報酬の和 将来の報酬 減衰率 ?? (?) = argmax ? ? ??|?? = ?, ? ? = ? 状態sの時、報酬の和が最大となりそうな行動aを選ぶ
- 11. Q Learning ?? (?, ?) ?? (?) = argmax ? ? ??|?? = ?, ? ? = ? 状態s、行動aの組み合わせの良し悪し をスコアで教えてくれる関数 状態sの時、報酬の和が最大となりそうな行動aを選ぶ 状態sで行動aをとったとき、その後最適な行動 をとり続けた時に得られる報酬の和の期待値 ?の代わりに関数Qを学習する
- 12. Q Learning ?? (?) = argmax ? ?? (?, ?) ?の代わりに関数Qを学習する 関数?のパラメータ?を 学習により求める ?(?, ?; ?? ) ??+1 = ?? ? ??? ? ?(??) 学習率 確率的勾配降下法(SGD) 損失関数
- 13. Q Learning ?(??) = 1 2 ?? (?, ?) ? ?(?, ?; ??) 2 教師信号 存在しない ? 損失関数 ??+1 = ?? ? ??? ? ?(??)
- 14. Q Learning ?? = ?? + ???+1 + ?2 ??+2 + ? + ? ??? ? ? ?? = ?? + ???+1 ?? (?, ?) = ? ??|?? = ?, ? ? = ? ?? (?, ?) = ?? + ? max ?′ ?? (?′, ?′) 報酬の和 ?によって遷 移した状態
- 15. Q Learning ?? (?, ?) = ?? + ? max ?′ ?? (?′, ?′) ? 損失関数 ?(??) = 1 2 ?? (?, ?) ? ?(?, ?; ??) 2
- 16. Q Learning ? 損失関数 = 1 2 ?? + ? max ?′ ?? (?′, ?′) ? ?(?, ?; ??) 2 ≈ 1 2 ?? + ? max ?′ ?(?′ , ?′ ; ???1) ? ?(?, ?; ??) 2 今のパラメータを 使って近似 ?(??) = 1 2 ?? (?, ?) ? ?(?, ?; ??) 2
- 17. Q Learning ? 損失関数の勾配 ?? ? ? ?? = ? ?? + ? max ?′ ?(?′, ?′; ???1) ? ?(?, ?; ??) ?? ? ?(?, ?; ??) ? ?? = 1 2 ? ? + ? max ?′ ?(?′, ?′; ???1) ? ?(?, ?; ??) 2
- 18. Deep Q-Network ? 関数 ?(?, ?; ??)を畳み込みニューラルネットワークで表 す ? 入力が状態s, 出力が各行動ごとのQの値 Deep CNN ?(?, ?1) ?(?, ? ?) ?(?, ?2) ?? ????? s
- 19. Deep Q-Networkの学習 1. 状態 ??を入力し、 ?(??, ?; ??)が最大となる行動? ?を 選択 ? ただし確率 ?でランダムに選択 Deep CNN ?(??, ?1) ?(??, ? ?) ?(??, ?2) ?? ????? ??
- 20. Deep Q-Networkの学習 2. 行動? ?によって状態??+1と報酬??を得る ? ? ?? → ??+1 エージェント 環境 ??
- 21. Deep Q-Networkの学習 3. 状態 ??+1を入力し、 max ? ?(??+1, ?; ??) を求める Deep CNN ?(??+1, ?1) ?(??+1, ? ?) ?(??+1, ?2) ?? ????? ??+1
- 22. Deep Q-Networkの学習 4. 以下を教師信号としてパラメータ ??を更新 ? ?? = ?? + γ max ? ?(??+1, ?; ??) Deep CNN ?(??, ?1) ?(??, ? ?) ?? ?? ????? ??
- 23. やっと本题
- 24. DQNで物体検出 ? エージェント： Bounding Box ? 行動a： Bounding Boxの移動/形状変化 ? 状態s： Box内の画像特徴ベクトル＋行動履歴 ? 報酬r : Ground Truthとのオーバーラップ率
- 25. DQNで物体検出 ? 行動 (x9) ? 上下左右の移動、拡大/縮小、形状変化(細 く/低く)、終了 ? 移動やサイズ変化の大きさは、Boxの大きさ に比例（α = 0.2）
- 26. DQNで物体検出 ? 状態 ? Bounding Box内の画像から画像特徴ベクトルを取得 ? 畳み込みニューラルネットワークで取得した4096次元ベ クトル ? 過去の行動履歴 ? 直近10回の行動まで ? それぞれの行動は、9次元バイナリベクトル（とった行動 を1、他0） ? 10 x 9 = 90次元ベクトル ? 4096+90 = 4186次元ベクトルをDQNへの入力とする
- 27. DQNで物体検出 ? 報酬 b g ??? ?, ? = ????(? ∩ ?) ????(? ∪ ?) ? ? ?, ?′ = ???? ??? ?′, ? ? ??? ?, ? エージェント Ground Truth 正解データとのオーバーラップ Trigger（終了）以外の行動に対する報酬 オーバーラップが大きくなったら1、小さくなったら-1
- 28. DQNで物体検出 ? 報酬 b g ??? ?, ? = ????(? ∩ ?) ????(? ∪ ?) エージェント Ground Truth 正解データとのオーバーラップ Trigger（終了）に対する報酬 オーバーラップが閾値以上なら+?、それ未満なら?? ? ? ?, ?′ = +? ?? ??? ?, ? ≥ ? ?? ?????????
- 29. ネットワーク構成 ? Bounding Box内の画像領域を224x224へリサイズ ? 特徴量抽出は笔谤别-迟谤补颈苍别诲のネットワークを使用
- 30. エージェントの学習 ? ε-greedyアルゴリズム ? 確率εでランダムに行動を選ぶ ? それ以外は最もQ値が高い行動 ? 本手法では、学習時に正解データがわ かっているので、報酬がプラスになる行動 の中からランダムに選ぶ ? εは学習が進むにつれて小さくしていく
- 31. エージェントの学習 ? Experience Replay ? 過去の(??, ? ?, ??, ??+1)をreplay-memoryに保 存 ? DQNの学習時、保存したreplay-memoryか らランダムに選んでミニバッチにして再学習
- 32. エージェントによる物体検出 Trigger? DQN ? ? Restart 40 steps over? total 200 steps over? 25% smaller start box size Put it on an image corner Do Action Y Y Y N N N
- 33. 実験 (Pascal VOC2007) ? Pascal VOC 2007
- 34. 搁别肠补濒濒の评価
- 35. 物体検出までのステップ数の分布
- 36. 行动履歴の例
- 37. 复数物体検出の例
- 38. 検出失败の例
- 39. Sensitivity Analysis ? 物体の見え方(Occlusion, Truncation, Size, Aspect Ratio, Viewpoint of Objects, Visibility of parts)に対する頑健さ
- 40. Runtime ?K-40 GPU 一台 ?CNNによる特徴抽出 (4.5 ms) ?Q-network (3.2 ms) ?平均 1.54sec/image
- 41. 結論 ? 強化学習を用いて、Top-Downで物体検出を 行う手法を提案 ? 一つのオブジェクトに対し11から25くらいの領 域しか見ていなくても検出できた ? 将来的には ? もう少しカテゴリを増やしてみたい ? ネットワークを深くしてみたい ? Pre-trainedなモデルではなくend-to-endで画像特 徴量を学習したい