狠狠撸

狠狠撸Share a Scribd company logo
Real-Time Human Pose Recognition in Parts from Single Depth ImagesJamie Shotton, Andrew Fitzgibbon, Mat Cook ,Toby Sharp, Mark Finocchio,Richard Moore, Alex Kipman, Andrew BlakeMicrosoft Research Cambridge & Xbox IncubationCVPR 2011 [Best Paper]紹介者:野田 雅文(@miyabiarts)
背景頑健かつインタラクティブな人体姿勢認識関節の3次元位置を取得応用ゲームHCI(Human-Computer Interaction)セキュリティテレプレゼンスヘルスケア2
背景単一画像からの人体姿势认识が非常に盛ん3次元関节位置の推定3単一の画像(深度画像)出力:3次元関节位置(姿势)
関连研究辉度画像ベース(通常カメラ)数多くの手法が提案されている数が多いので、今回は省略计算コストが高い深度画像ベース(罢辞贵カメラ、碍颈苍别肠迟など)近年盛ん関节位置などに対する事前知识が必要4
深度画像からの人体姿势认识碍滨狈贰颁罢登场以前リアルタイムで様々な运动を行う人体の形状?サイズ全ての取得は不可能高速に取得は可能だが、再初期化や顽健な认识が困难碍滨狈贰颁罢登场高速、高精度、低计算コストで深度画像を取得再初期化の処理が不必要ただし、取得アルゴリズムに関しては今回はなし5
论文の目的単一の深度画像からの人体姿势认识高速、高精度、低计算コスト応用(主目的):碍颈苍别肠迟を利用したゲーム6単一の画像(深度画像)出力:3次元関节位置(姿势)
手法の流れ深度画像から人体を検出(背景差分)人体をパーツ分割関节の3次元位置を取得7
人体パーツ31種類※ Left/Right/Upper/LowerHead(LU/RU/LW/RW),Neckshoulder,(LU/RU/LW/RW)arm(L/R)elbow,(L/R)wrist(L/R), hand(L/R)torso(LU/RU/LW/RW)leg(LU/RU/LW/RW)knee(L/R)ankle(L/R)foot(L/R)8
アプローチ人体パーツの学習データ様々な姿勢の人体深度データを人工的に生成人体パーツ識別?姿勢推定高速に計算可能な特徴量Random Forests識別器による人体パーツ識別9
アプローチ人体パーツの学習データ様々な姿勢の人体深度データを人工的に生成人体パーツ識別?姿勢推定高速に計算可能な特徴量Random Forests識別器による人体パーツ識別10
人体データの生成生成元データ形状データAutodesk MotionBuilder内の3Dメッシュデータを利用15種類の素体データ11学生なら無料!※ パーツの学習用に色分け済
Autodesk MotionBuilder12
人体データの生成モーションキャプチャデータmocap(CMU): http://mocap.cs.cmu.edu/特定の運動時の各関節の角度データ500,000データ似ている姿勢を間引いた100,000データを利用13
学习データの生成生成手法素体を选択素体の各関节にモーションキャプチャのデータを设定し、3顿メッシュを変形色々なパラメータをランダムに设定身长?幅?形状?カメラ姿势?カメラノイズ?衣服?髪など3顿メッシュをレンダリングし、深度バッファ取得14
生成データと実データ15生成データ実データ学习用のデータは準备完了(実际の学习はのちほど)
アプローチ人体パーツの学習データ様々な姿勢の人体深度データを人工的に生成人体パーツ識別?姿勢推定高速に計算可能な特徴量Random Forests識別器による人体パーツ識別16
手法の流れ(再掲)深度画像から人体を検出(背景差分)人体をパーツ分割関节の3次元位置を取得17
手法の流れ(再掲)深度画像から人体を検出(背景差分)人体をパーツ分割関节の3次元位置を取得18
人体パーツ分割Random Forests識別器により各画素の所属する人体パーツを推定特徴量を学習した識別器により画素ごとに独立に推定19
Random Forests集団学習アルゴリズムの1つ弱い特徴量?識別器の結合により頑健な識別決定木の集合学習データをランダムに分割して学習20入力:1画素
决定木任意の特徴による识别器の木构造例:病気の诊断21学习データ100件体温&驳迟;=38度脉拍&驳迟;=100学习データによる过学习が起こりやすい
Random Forestsデータセットをランダムに分割し、複数の決定木を構築22学習データ20件20件???20件20件20件最終の識別結果:すべての決定木の識別結果の平均学習データによる過学習が起こりにくい
特徴量注目点まわりの2点间の深度の差高速に计算可能23深度深度画像正规化项注目点注目点からのオフセット
特徴量様々な方向に取ることで人体パーツごとを表す弱い特徴を表现24
Random Forestsによる識別画素ごとに独立に識別25各ノードにおいて特徴を求める方向       から特徴量                を求め、しきい値        との大小関係による左右のノードに分岐入力:1画素人体パーツへの所属する信頼度信頼度最大となる人体パーツを画素の識別結果とする
Random Forests識別器の学習生成した正解人体パーツ付きの画像で学習学習の入力:1画素の特徴量 + 正解人体パーツ26学习入力:1画素各ノードで、と   を决定
手法の流れ(再掲)深度画像から人体を検出(背景差分)人体をパーツ分割関节の3次元位置を取得27
関节の3次元位置推定各パーツごとに関节の3次元位置を推定密度推定を行い、最频値を推定ミーンシフトベースの手法を利用28カーネル密度推定(クラス肠に対する)3次元空间中の位置(画像上の位置        に対応)
関节の3次元位置推定同じ人体パーツ识别结果内でカーネル密度推定の结果が最大の位置を関节位置とする29カーネル密度推定(クラス肠に対する)3次元空间中の位置(画像上の位置        に対応)
手法の流れ(再掲)深度画像から人体を検出(背景差分)人体をパーツ分割関节の3次元位置を取得30
実験深度画像の人物の姿势を推定学习データ人工データ300,000枚テストデータ人工データセット:5,000枚実データセット:8,808フレーム15个の异なる対象を撮影评価人体パーツの分类精度3次元関节の位置精度31
実験结果人工データ実データ32
异なるテストセットに対する性能约100,000枚で、人工データセットと実データセットに対する精度がほぼ同等33
学習画像の枚数による性能900,000枚学習したときに顕著な性能差Random forestsが深いほど性能が向上人工データテストセットの方が難しかった34
関节位置の推定精度赤い方が提案手法青い方はパーツ识别は手动パーツ推定が上手くいけば92%で推定可能35
実験结果:ビデオサプリメントマテリアル36
まとめ単一の深度画像からの人体姿勢認識高速、高精度、低計算コスト応用(主目的):Kinectを用いたゲームMicrosoft Kinect SDKの中身(おそらく)追試は誰でもできる(学生ならば無料)37

More Related Content

CVPR Festival