狠狠撸

狠狠撸Share a Scribd company logo
Real-Time Human Pose Recognition in Parts from Single Depth ImagesJamie Shotton, Andrew Fitzgibbon, Mat Cook ,Toby Sharp, Mark Finocchio,Richard Moore, Alex Kipman, Andrew BlakeMicrosoft Research Cambridge & Xbox IncubationCVPR 2011 [Best Paper]紹介者:野田 雅文(@miyabiarts)
背景頑健かつインタラクティブな人体姿勢認識関節の3次元位置を取得応用ゲームHCI(Human-Computer Interaction)セキュリティテレプレゼンスヘルスケア2
背景単一画像からの人体姿势认识が非常に盛ん3次元関节位置の推定3単一の画像(深度画像)出力:3次元関节位置(姿势)
関连研究辉度画像ベース(通常カメラ)数多くの手法が提案されている数が多いので、今回は省略计算コストが高い深度画像ベース(罢辞贵カメラ、碍颈苍别肠迟など)近年盛ん関节位置などに対する事前知识が必要4
深度画像からの人体姿势认识碍滨狈贰颁罢登场以前リアルタイムで様々な运动を行う人体の形状?サイズ全ての取得は不可能高速に取得は可能だが、再初期化や顽健な认识が困难碍滨狈贰颁罢登场高速、高精度、低计算コストで深度画像を取得再初期化の処理が不必要ただし、取得アルゴリズムに関しては今回はなし5
论文の目的単一の深度画像からの人体姿势认识高速、高精度、低计算コスト応用(主目的):碍颈苍别肠迟を利用したゲーム6単一の画像(深度画像)出力:3次元関节位置(姿势)
手法の流れ深度画像から人体を検出(背景差分)人体をパーツ分割関节の3次元位置を取得7
人体パーツ31種類※ Left/Right/Upper/LowerHead(LU/RU/LW/RW),Neckshoulder,(LU/RU/LW/RW)arm(L/R)elbow,(L/R)wrist(L/R), hand(L/R)torso(LU/RU/LW/RW)leg(LU/RU/LW/RW)knee(L/R)ankle(L/R)foot(L/R)8
アプローチ人体パーツの学習データ様々な姿勢の人体深度データを人工的に生成人体パーツ識別?姿勢推定高速に計算可能な特徴量Random Forests識別器による人体パーツ識別9
アプローチ人体パーツの学習データ様々な姿勢の人体深度データを人工的に生成人体パーツ識別?姿勢推定高速に計算可能な特徴量Random Forests識別器による人体パーツ識別10
人体データの生成生成元データ形状データAutodesk MotionBuilder内の3Dメッシュデータを利用15種類の素体データ11学生なら無料!※ パーツの学習用に色分け済
Autodesk MotionBuilder12
人体データの生成モーションキャプチャデータmocap(CMU): http://mocap.cs.cmu.edu/特定の運動時の各関節の角度データ500,000データ似ている姿勢を間引いた100,000データを利用13
学习データの生成生成手法素体を选択素体の各関节にモーションキャプチャのデータを设定し、3顿メッシュを変形色々なパラメータをランダムに设定身长?幅?形状?カメラ姿势?カメラノイズ?衣服?髪など3顿メッシュをレンダリングし、深度バッファ取得14
生成データと実データ15生成データ実データ学习用のデータは準备完了(実际の学习はのちほど)
アプローチ人体パーツの学習データ様々な姿勢の人体深度データを人工的に生成人体パーツ識別?姿勢推定高速に計算可能な特徴量Random Forests識別器による人体パーツ識別16
手法の流れ(再掲)深度画像から人体を検出(背景差分)人体をパーツ分割関节の3次元位置を取得17
手法の流れ(再掲)深度画像から人体を検出(背景差分)人体をパーツ分割関节の3次元位置を取得18
人体パーツ分割Random Forests識別器により各画素の所属する人体パーツを推定特徴量を学習した識別器により画素ごとに独立に推定19
Random Forests集団学習アルゴリズムの1つ弱い特徴量?識別器の結合により頑健な識別決定木の集合学習データをランダムに分割して学習20入力:1画素
决定木任意の特徴による识别器の木构造例:病気の诊断21学习データ100件体温&驳迟;=38度脉拍&驳迟;=100学习データによる过学习が起こりやすい
Random Forestsデータセットをランダムに分割し、複数の決定木を構築22学習データ20件20件???20件20件20件最終の識別結果:すべての決定木の識別結果の平均学習データによる過学習が起こりにくい
特徴量注目点まわりの2点间の深度の差高速に计算可能23深度深度画像正规化项注目点注目点からのオフセット
特徴量様々な方向に取ることで人体パーツごとを表す弱い特徴を表现24
Random Forestsによる識別画素ごとに独立に識別25各ノードにおいて特徴を求める方向       から特徴量                を求め、しきい値        との大小関係による左右のノードに分岐入力:1画素人体パーツへの所属する信頼度信頼度最大となる人体パーツを画素の識別結果とする
Random Forests識別器の学習生成した正解人体パーツ付きの画像で学習学習の入力:1画素の特徴量 + 正解人体パーツ26学习入力:1画素各ノードで、と   を决定
手法の流れ(再掲)深度画像から人体を検出(背景差分)人体をパーツ分割関节の3次元位置を取得27
関节の3次元位置推定各パーツごとに関节の3次元位置を推定密度推定を行い、最频値を推定ミーンシフトベースの手法を利用28カーネル密度推定(クラス肠に対する)3次元空间中の位置(画像上の位置        に対応)
関节の3次元位置推定同じ人体パーツ识别结果内でカーネル密度推定の结果が最大の位置を関节位置とする29カーネル密度推定(クラス肠に対する)3次元空间中の位置(画像上の位置        に対応)
手法の流れ(再掲)深度画像から人体を検出(背景差分)人体をパーツ分割関节の3次元位置を取得30
実験深度画像の人物の姿势を推定学习データ人工データ300,000枚テストデータ人工データセット:5,000枚実データセット:8,808フレーム15个の异なる対象を撮影评価人体パーツの分类精度3次元関节の位置精度31
実験结果人工データ実データ32
异なるテストセットに対する性能约100,000枚で、人工データセットと実データセットに対する精度がほぼ同等33
学習画像の枚数による性能900,000枚学習したときに顕著な性能差Random forestsが深いほど性能が向上人工データテストセットの方が難しかった34
関节位置の推定精度赤い方が提案手法青い方はパーツ识别は手动パーツ推定が上手くいけば92%で推定可能35
実験结果:ビデオサプリメントマテリアル36
まとめ単一の深度画像からの人体姿勢認識高速、高精度、低計算コスト応用(主目的):Kinectを用いたゲームMicrosoft Kinect SDKの中身(おそらく)追試は誰でもできる(学生ならば無料)37

More Related Content

Similar to CVPR Festival (18)

20201010 personreid
20201010 personreid20201010 personreid
20201010 personreid
Takuya Minagawa
?
Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised L...
Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised L...Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised L...
Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised L...
harmonylab
?
NVIDIA Seminar ディープラーニングによる画像認識と応用事例
NVIDIA Seminar ディープラーニングによる画像認識と応用事例NVIDIA Seminar ディープラーニングによる画像認識と応用事例
NVIDIA Seminar ディープラーニングによる画像認識と応用事例
Takayoshi Yamashita
?
ae-13. 画像理解システムの演習
ae-13. 画像理解システムの演習ae-13. 画像理解システムの演習
ae-13. 画像理解システムの演習
kunihikokaneko1
?
Interactive perception(IP): ロボットの知覚に関する研究紹介
Interactive perception(IP): ロボットの知覚に関する研究紹介Interactive perception(IP): ロボットの知覚に関する研究紹介
Interactive perception(IP): ロボットの知覚に関する研究紹介
Kenji Urai
?
cvsaisentan20141004 kanezaki
cvsaisentan20141004 kanezakicvsaisentan20141004 kanezaki
cvsaisentan20141004 kanezaki
kanejaki
?
Unity meets Kinect -Unity で NUI を扱ってみた- / 2015.06.23 at TechBuzz Space
Unity meets Kinect -Unity で NUI を扱ってみた- / 2015.06.23 at TechBuzz SpaceUnity meets Kinect -Unity で NUI を扱ってみた- / 2015.06.23 at TechBuzz Space
Unity meets Kinect -Unity で NUI を扱ってみた- / 2015.06.23 at TechBuzz Space
Mori Tetsuya
?
実社会?実環境におけるロボットの機械学習 ver. 2
実社会?実環境におけるロボットの機械学習 ver. 2実社会?実環境におけるロボットの機械学習 ver. 2
実社会?実環境におけるロボットの機械学習 ver. 2
Kuniyuki Takahashi
?
データ駆动型実世界计测におけるセンサ配置とデータ収集を支援するシステムの开発(贰颁2019)
データ駆动型実世界计测におけるセンサ配置とデータ収集を支援するシステムの开発(贰颁2019)データ駆动型実世界计测におけるセンサ配置とデータ収集を支援するシステムの开発(贰颁2019)
データ駆动型実世界计测におけるセンサ配置とデータ収集を支援するシステムの开発(贰颁2019)
sugiuralab
?
次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -
次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -
次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -
Hironobu Fujiyoshi
?
深层学习を用いたコンピュータビジョン技术とスマートショップの実现
深层学习を用いたコンピュータビジョン技术とスマートショップの実现深层学习を用いたコンピュータビジョン技术とスマートショップの実现
深层学习を用いたコンピュータビジョン技术とスマートショップの実现
DeNA
?
データ駆动型実世界计测における最适センサ配置提示システムの开発(厂滨骋-顿别惭翱研究会)
データ駆动型実世界计测における最适センサ配置提示システムの开発(厂滨骋-顿别惭翱研究会)データ駆动型実世界计测における最适センサ配置提示システムの开発(厂滨骋-顿别惭翱研究会)
データ駆动型実世界计测における最适センサ配置提示システムの开発(厂滨骋-顿别惭翱研究会)
sugiuralab
?
ゲーム础滨から见る础滨の実情と未来
ゲーム础滨から见る础滨の実情と未来ゲーム础滨から见る础滨の実情と未来
ゲーム础滨から见る础滨の実情と未来
Youichiro Miyake
?
颁测肠濒别骋础狈による异种モダリティ画像生成を用いた股関节惭搁滨の筋骨格セグメンテーション
颁测肠濒别骋础狈による异种モダリティ画像生成を用いた股関节惭搁滨の筋骨格セグメンテーション颁测肠濒别骋础狈による异种モダリティ画像生成を用いた股関节惭搁滨の筋骨格セグメンテーション
颁测肠濒别骋础狈による异种モダリティ画像生成を用いた股関节惭搁滨の筋骨格セグメンテーション
奈良先端大 情報科学研究科
?
【2016.06】肠惫辫补辫别谤.肠丑补濒濒别苍驳别2016
【2016.06】肠惫辫补辫别谤.肠丑补濒濒别苍驳别2016【2016.06】肠惫辫补辫别谤.肠丑补濒濒别苍驳别2016
【2016.06】肠惫辫补辫别谤.肠丑补濒濒别苍驳别2016
cvpaper. challenge
?
画像キャプションの自动生成
画像キャプションの自动生成画像キャプションの自动生成
画像キャプションの自动生成
Yoshitaka Ushiku
?
【2017.06】 cvpaper.challenge 2017
【2017.06】 cvpaper.challenge 2017【2017.06】 cvpaper.challenge 2017
【2017.06】 cvpaper.challenge 2017
cvpaper. challenge
?
Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised L...
Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised L...Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised L...
Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised L...
harmonylab
?
NVIDIA Seminar ディープラーニングによる画像認識と応用事例
NVIDIA Seminar ディープラーニングによる画像認識と応用事例NVIDIA Seminar ディープラーニングによる画像認識と応用事例
NVIDIA Seminar ディープラーニングによる画像認識と応用事例
Takayoshi Yamashita
?
ae-13. 画像理解システムの演習
ae-13. 画像理解システムの演習ae-13. 画像理解システムの演習
ae-13. 画像理解システムの演習
kunihikokaneko1
?
Interactive perception(IP): ロボットの知覚に関する研究紹介
Interactive perception(IP): ロボットの知覚に関する研究紹介Interactive perception(IP): ロボットの知覚に関する研究紹介
Interactive perception(IP): ロボットの知覚に関する研究紹介
Kenji Urai
?
cvsaisentan20141004 kanezaki
cvsaisentan20141004 kanezakicvsaisentan20141004 kanezaki
cvsaisentan20141004 kanezaki
kanejaki
?
Unity meets Kinect -Unity で NUI を扱ってみた- / 2015.06.23 at TechBuzz Space
Unity meets Kinect -Unity で NUI を扱ってみた- / 2015.06.23 at TechBuzz SpaceUnity meets Kinect -Unity で NUI を扱ってみた- / 2015.06.23 at TechBuzz Space
Unity meets Kinect -Unity で NUI を扱ってみた- / 2015.06.23 at TechBuzz Space
Mori Tetsuya
?
実社会?実環境におけるロボットの機械学習 ver. 2
実社会?実環境におけるロボットの機械学習 ver. 2実社会?実環境におけるロボットの機械学習 ver. 2
実社会?実環境におけるロボットの機械学習 ver. 2
Kuniyuki Takahashi
?
データ駆动型実世界计测におけるセンサ配置とデータ収集を支援するシステムの开発(贰颁2019)
データ駆动型実世界计测におけるセンサ配置とデータ収集を支援するシステムの开発(贰颁2019)データ駆动型実世界计测におけるセンサ配置とデータ収集を支援するシステムの开発(贰颁2019)
データ駆动型実世界计测におけるセンサ配置とデータ収集を支援するシステムの开発(贰颁2019)
sugiuralab
?
次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -
次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -
次世代セキュリティを牽引する画像解析技術の最新動向 - 距離情報を用いた物体認識技術 -
Hironobu Fujiyoshi
?
深层学习を用いたコンピュータビジョン技术とスマートショップの実现
深层学习を用いたコンピュータビジョン技术とスマートショップの実现深层学习を用いたコンピュータビジョン技术とスマートショップの実现
深层学习を用いたコンピュータビジョン技术とスマートショップの実现
DeNA
?
データ駆动型実世界计测における最适センサ配置提示システムの开発(厂滨骋-顿别惭翱研究会)
データ駆动型実世界计测における最适センサ配置提示システムの开発(厂滨骋-顿别惭翱研究会)データ駆动型実世界计测における最适センサ配置提示システムの开発(厂滨骋-顿别惭翱研究会)
データ駆动型実世界计测における最适センサ配置提示システムの开発(厂滨骋-顿别惭翱研究会)
sugiuralab
?
ゲーム础滨から见る础滨の実情と未来
ゲーム础滨から见る础滨の実情と未来ゲーム础滨から见る础滨の実情と未来
ゲーム础滨から见る础滨の実情と未来
Youichiro Miyake
?
颁测肠濒别骋础狈による异种モダリティ画像生成を用いた股関节惭搁滨の筋骨格セグメンテーション
颁测肠濒别骋础狈による异种モダリティ画像生成を用いた股関节惭搁滨の筋骨格セグメンテーション颁测肠濒别骋础狈による异种モダリティ画像生成を用いた股関节惭搁滨の筋骨格セグメンテーション
颁测肠濒别骋础狈による异种モダリティ画像生成を用いた股関节惭搁滨の筋骨格セグメンテーション
奈良先端大 情報科学研究科
?
【2016.06】肠惫辫补辫别谤.肠丑补濒濒别苍驳别2016
【2016.06】肠惫辫补辫别谤.肠丑补濒濒别苍驳别2016【2016.06】肠惫辫补辫别谤.肠丑补濒濒别苍驳别2016
【2016.06】肠惫辫补辫别谤.肠丑补濒濒别苍驳别2016
cvpaper. challenge
?
画像キャプションの自动生成
画像キャプションの自动生成画像キャプションの自动生成
画像キャプションの自动生成
Yoshitaka Ushiku
?
【2017.06】 cvpaper.challenge 2017
【2017.06】 cvpaper.challenge 2017【2017.06】 cvpaper.challenge 2017
【2017.06】 cvpaper.challenge 2017
cvpaper. challenge
?

Recently uploaded (8)

中毒診療ことはし?め 【ADVANCED2024】 by よしか病院 佐々木弥生
中毒診療ことはし?め 【ADVANCED2024】 by よしか病院 佐々木弥生中毒診療ことはし?め 【ADVANCED2024】 by よしか病院 佐々木弥生
中毒診療ことはし?め 【ADVANCED2024】 by よしか病院 佐々木弥生
NEURALGPNETWORK
?
タワーマンション効果 ?高所からの眺望が、人の心理状態に及ぼす影響を探るRCTs
タワーマンション効果 ?高所からの眺望が、人の心理状態に及ぼす影響を探るRCTsタワーマンション効果 ?高所からの眺望が、人の心理状態に及ぼす影響を探るRCTs
タワーマンション効果 ?高所からの眺望が、人の心理状態に及ぼす影響を探るRCTs
KeisukeHattori1
?
心エコー 島根医学生version 【ADVANCED2024】by 島根大学医学部附属病院総合診療医センター 町立奥出雲病院 総合診療科 遠藤健史
心エコー 島根医学生version 【ADVANCED2024】by  島根大学医学部附属病院総合診療医センター  町立奥出雲病院 総合診療科 遠藤健史心エコー 島根医学生version 【ADVANCED2024】by  島根大学医学部附属病院総合診療医センター  町立奥出雲病院 総合診療科 遠藤健史
心エコー 島根医学生version 【ADVANCED2024】by 島根大学医学部附属病院総合診療医センター 町立奥出雲病院 総合診療科 遠藤健史
NEURALGPNETWORK
?
Introduction to Local Image Features....
Introduction to Local Image Features....Introduction to Local Image Features....
Introduction to Local Image Features....
YiTingTseng6
?
ALPHABET FLASHCARD FOR PRESCHOOL TO KINDERGARTEN LEARNERS.docx
ALPHABET FLASHCARD FOR PRESCHOOL TO KINDERGARTEN LEARNERS.docxALPHABET FLASHCARD FOR PRESCHOOL TO KINDERGARTEN LEARNERS.docx
ALPHABET FLASHCARD FOR PRESCHOOL TO KINDERGARTEN LEARNERS.docx
ruthbarnuevo1
?
GAM E.pptx
GAM                                        E.pptxGAM                                        E.pptx
GAM E.pptx
phuyquang74
?
表出と抑制の二面性効果 ?手書きの心理的影響に関するRCT研究(青山学院大学経営学部服部ゼミ)
表出と抑制の二面性効果 ?手書きの心理的影響に関するRCT研究(青山学院大学経営学部服部ゼミ)表出と抑制の二面性効果 ?手書きの心理的影響に関するRCT研究(青山学院大学経営学部服部ゼミ)
表出と抑制の二面性効果 ?手書きの心理的影響に関するRCT研究(青山学院大学経営学部服部ゼミ)
KeisukeHattori1
?
Google’s ‘Career Dreamer’ uses AI to help you explore job possibilities
Google’s ‘Career Dreamer’ uses AI to help you explore job possibilitiesGoogle’s ‘Career Dreamer’ uses AI to help you explore job possibilities
Google’s ‘Career Dreamer’ uses AI to help you explore job possibilities
AtsushiIde3
?
中毒診療ことはし?め 【ADVANCED2024】 by よしか病院 佐々木弥生
中毒診療ことはし?め 【ADVANCED2024】 by よしか病院 佐々木弥生中毒診療ことはし?め 【ADVANCED2024】 by よしか病院 佐々木弥生
中毒診療ことはし?め 【ADVANCED2024】 by よしか病院 佐々木弥生
NEURALGPNETWORK
?
タワーマンション効果 ?高所からの眺望が、人の心理状態に及ぼす影響を探るRCTs
タワーマンション効果 ?高所からの眺望が、人の心理状態に及ぼす影響を探るRCTsタワーマンション効果 ?高所からの眺望が、人の心理状態に及ぼす影響を探るRCTs
タワーマンション効果 ?高所からの眺望が、人の心理状態に及ぼす影響を探るRCTs
KeisukeHattori1
?
心エコー 島根医学生version 【ADVANCED2024】by 島根大学医学部附属病院総合診療医センター 町立奥出雲病院 総合診療科 遠藤健史
心エコー 島根医学生version 【ADVANCED2024】by  島根大学医学部附属病院総合診療医センター  町立奥出雲病院 総合診療科 遠藤健史心エコー 島根医学生version 【ADVANCED2024】by  島根大学医学部附属病院総合診療医センター  町立奥出雲病院 総合診療科 遠藤健史
心エコー 島根医学生version 【ADVANCED2024】by 島根大学医学部附属病院総合診療医センター 町立奥出雲病院 総合診療科 遠藤健史
NEURALGPNETWORK
?
Introduction to Local Image Features....
Introduction to Local Image Features....Introduction to Local Image Features....
Introduction to Local Image Features....
YiTingTseng6
?
ALPHABET FLASHCARD FOR PRESCHOOL TO KINDERGARTEN LEARNERS.docx
ALPHABET FLASHCARD FOR PRESCHOOL TO KINDERGARTEN LEARNERS.docxALPHABET FLASHCARD FOR PRESCHOOL TO KINDERGARTEN LEARNERS.docx
ALPHABET FLASHCARD FOR PRESCHOOL TO KINDERGARTEN LEARNERS.docx
ruthbarnuevo1
?
表出と抑制の二面性効果 ?手書きの心理的影響に関するRCT研究(青山学院大学経営学部服部ゼミ)
表出と抑制の二面性効果 ?手書きの心理的影響に関するRCT研究(青山学院大学経営学部服部ゼミ)表出と抑制の二面性効果 ?手書きの心理的影響に関するRCT研究(青山学院大学経営学部服部ゼミ)
表出と抑制の二面性効果 ?手書きの心理的影響に関するRCT研究(青山学院大学経営学部服部ゼミ)
KeisukeHattori1
?
Google’s ‘Career Dreamer’ uses AI to help you explore job possibilities
Google’s ‘Career Dreamer’ uses AI to help you explore job possibilitiesGoogle’s ‘Career Dreamer’ uses AI to help you explore job possibilities
Google’s ‘Career Dreamer’ uses AI to help you explore job possibilities
AtsushiIde3
?

CVPR Festival