ArtTrack: Articulated Multi-Person Tracking in the Wild : CV勉強会関東
?
3 likes?1,998 views
第41回 コンピュータビジョン勉強会＠関東 CVPR2017読み会(後編)
![Articulated Multi-Person Tracking
Max Planck Institute for Informatics
project : http://pose.mpi-inf.mpg.de/art-track/
demo : https://youtu.be/eYtn13fzGGo
CVPR : https://youtu.be/kdV2sdZ9TWg
code : https://github.com/eldar/pose-tensorflow
[pdf] [supp] [arXiv]
2
単眼RGB動画で、複数人の人物検出?姿勢推定?追跡](https://image.slidesharecdn.com/20170819cvarttrack-170819023151/85/ArtTrack-Articulated-Multi-Person-Tracking-in-the-Wild-CV-2-320.jpg){kind=tracking}
![Evaluation : Single frame 他手法比較
22
on MPII Multi Person Test
[Cao, et al. CVPR2017] (Bottom-Up) 75.6 0.005 (含CNN)
-> 効率的なCNNで少ない候補点を出す方が高速高精度 ?](https://image.slidesharecdn.com/20170819cvarttrack-170819023151/85/ArtTrack-Articulated-Multi-Person-Tracking-in-the-Wild-CV-22-320.jpg){kind=tracking}
ArtTrack: Articulated Multi-Person Tracking in the Wild : CV勉強会関東
- 1. 第41回 コンピュータビジョン勉強会＠関東 CVPR2017読み会(後編) 2017.8.19 ArtTrack: Articulated Multi-person Tracking in the Wild Eldar Insafutdinov, Mykhaylo Andriluka, Leonid Pishchulin, Siyu Tang, Evgeny Levinkov, Bjoern Andres, Bernt Schiele Yukiyoshi Sasao @poyy 1
- 2. Articulated Multi-Person Tracking Max Planck Institute for Informatics project : http://pose.mpi-inf.mpg.de/art-track/ demo : https://youtu.be/eYtn13fzGGo CVPR : https://youtu.be/kdV2sdZ9TWg code : https://github.com/eldar/pose-tensorflow [pdf] [supp] [arXiv] 2 単眼RGB動画で、複数人の人物検出?姿勢推定?追跡
- 3. Related Work : Human Pose Estimation Joint Training of a Convolutional Network and a Graphical Model for Human Pose Estimation, Jonathan Tompson, et al. NIPS2014 Stacked Hourglass Networks for Human Pose Estimation, Alejandro Newell, et al. ECCV2016 Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields, Zhe Cao, et al. CVPR2017 3 一人 複数人
- 4. Related Work : Multi Target Tracking 4 Continuous Energy Minimization for Multitarget Tracking, PAMI2014, Anton Milan, et al. PAMI2014 Near-Online Multi-target Tracking with Aggregated Local Flow Descriptor, Wongun Choi, et al. ICCV2015 Multiple People Tracking by Lifted Multicut and Person Re-identification, Siyu Tang, et al. CVPR2017 MOT Challenge : https://motchallenge.net/ BoundingBoxが対象 ほぼ道を歩いているシーン
- 5. Related Work : Human Pose Tracking 5 Flowing ConvNets for Human Pose Estimation in Videos, Tomas Pfister, et al. ICCV2015 Chained Predictions Using Convolutional Neural Networks, Georgia Gkioxari, et al. ECCV2016 Thin-Slicing Network: A Deep Structured Model for Pose Estimation in Videos, Jie Song, et al. CVPR 2017 対象一人、事前に位置は与えられる
- 6. 本手法 : 3 task を複数人でこなす初めての試み 6 CVPR2017で同じ問題設定: PoseTrack: Joint Multi-Person Pose Estimation and Tracking, Umar Iqbal, et al.
- 7. MPII history 7 CVPR2016 DeepCut ECCV 2016 DeeperCut CVPR2017 ArtTrack -> 時間方向に拡張 CVPR2014 MPII Human Pose Dataset
- 9. Formulation 9 Minimum Cost Subgraph Multicut Problem node: unary cost edge: pairwise cost 時間方向 空間方向 Subgraph Decomposition for Multi-Target Tracking, Tang, et al. CVPR2015
- 10. Formulation 10 unary cost pairwise cost {0,1} {0,1} 制約1: 一貫性 制約2: 移行性 OK NG 線形計画問題
- 11. Solver ?Joint Graph Decomposition & Node Labeling: Problem, Algorithms, Applications, Levinkov, et al. CVPR2017. ?KL (Kernighan Lin) based. (node 項 を無視できる場合 ) 11
- 12. Part-Detection : Bottom-Up (従来) 12 CNNで各パーツのHeatmapを出力 NMS (Non-Maximum-Suppression) でPeak値を候補点として出力 unary cost は Heatmap の値を用いるCNNにはResNet-101を利用
- 13. Part-Detection : Top-Down 13 検出精度の高いパーツ(頭部) を基準に他のパーツを探すことで、精度良く少量の候补点を検出
- 14. Top-Down / Bottom-Up prediction 14
- 16. Spatial Pairwise (従来法) 16 DeeperCut: A Deeper, Stronger, and Faster Multi-Person Pose Estimation Model, Insafutdinov, et al. ECCV2016 これらを特徴量としたロジスティック回帰 -> pairwise cost あるパーツからの相対位置を回帰(CNN?)で求め、 実際の候補パーツとの差(位置,角度) をΔ,θとする.
- 18. attractive-repulsive edge (付けるか離すか) 18 attractive-repulsive edge : 同じタイプのパーツを接続 必要性: NMS時点で, 近い位置にある2人分の頭部を1つの 候補点にしてしまうことを避けたい -> 距離に反比例するCost 3タイプのedge
- 19. spatial connectivity 19 Person Node (root node) Bottom-Up full接続 Bottom-Up Sparse Top-Down 長距離は低信頼性
- 20. Temporal Pairwise (matching) 20 特徴量 ロジスティック回帰 補完関係にある3つの特徴量 L2 : 位置が近いか : スローモーションで有効 . Deep Matching : 合致した点の割合を特徴量とする , 2画像の比較なら通常は最も有効 . SIFT : 回転に強い. DeepFlow/DeepMatching Revaud, et al. ICCV2013.
- 21. Evaluation : Single frame 21 on MPII Multi Person Val
- 22. Evaluation : Single frame 他手法比較 22 on MPII Multi Person Test [Cao, et al. CVPR2017] (Bottom-Up) 75.6 0.005 (含CNN) -> 効率的なCNNで少ない候補点を出す方が高速高精度 ?
- 23. Evaluation : Pose Tracking 23 on MPII Video Pose (今回作成したdataset)
- 24. Result : Single frame 24
- 26. Result : 失敗例 (Single frame) 26 BU, TD/BU ともに失敗: scaleを考慮していないため TD/BU のみ失敗: 明示的にパーツの位置関係をモデル化していないため
- 27. まとめ ● Minimum Cost Subgraph Multicut Problemを解くことで、Spatial-Temporal な grouping を実現. ● Top-Down モデルによって, 高精度化, 処理量削減. ● 新たに“MPII Video Pose” dataset を作成, 公開 (見当たらない) ● 新たなベンチマークとして, PoseTrack.net を公開. https://posetrack.net/ ICCV2017 Workshop 500 video sequence, 20K frames, 120K body pose annotations, 3 challenge 27