痴搁とモーショントラッキング
?
0 likes?286 views
2019/04/20に行われた「AR/VR」 × 「AI/ML」 Kick Off Meetupでした発表の資料です。
痴搁とモーショントラッキング
- 1. 痴搁とモーショントラッキング 「AR/VR」 × 「AI/ML」 Kick Off Meetup 2019/04/20 @iiou16_tech
- 2. 自己紹介 ? Twitter：@iiou16_tech ? お仕事 – カメラメーカーで機械学習の技術を使った画像認 識系の開発を10年ほど ? 趣味 – VR – VRChatやclusterにたまに 出没してる
- 3. ソーシャルなVR空間 ? オンラインでコミュニケーションを取るVR空間 「ソーシャルVR」のサービスが多数リリースさ れている – Cluster – VRChat – Ambr – AltspaceVR ? １対１から大人数まで自宅から集まることが でき、様々なイベントが開催されている
- 4. VR空間での生活 ? 飲み会 ? 花火大会 ? 展示会 ? ラジオ体操 ? 寝る ? etcetc お花見(阿烈牙電波放送局) ライブ(Kaguya Luna Official) フリーマーケット(HIKKY Officials)
- 5. モーショントラッキングが個人でも お手軽にできる時代に ? 体にトラッカーをつけるだけでトラッキングが できる ? ３つ(両足+腰)→７点(両膝+両肘)→１０点(両 手+頭部) HTC Vive Tracker
- 9. 映像からのトラッキング ? １台あるいは複数台のカメラの映像から姿勢 推定、トラッキングを行う研究が盛ん ? 映像からのトラッキングの利点 – トラッカーを装着する必要がない – トラッカーでやるよりも多数の関節点を出力でき るので、より自然になる – ハイスペックVR HMDはもともとトラッキング用の センサの設置が必要なので、そこにカメラを足す だけ(自宅環境であれば、設置作業は最初の1回 だけ！)
- 10. End-to-end Recovery of Human Shape and Pose＠CVPR2018
- 11. End-to-end Recovery of Human Shape and Pose＠CVPR2018
- 12. End-to-end Recovery of Human Shape and Pose＠CVPR2018 ? Githubで著者の方がソースコード＆学習済み モデルを公開してくださっています ? https://github.com/akanazawa/hmr
- 13. やってみました
- 14. 手順 1. ウェブカメラで撮影 2. 撮影した動画をリアルタイムに学習モデルに 入力 3. 出力結果の3D関節位置情報をCGアバター に反映
- 16. 手順 1. ウェブカメラで撮影 2. 撮影した動画をリアルタイムに学習モデルに 入力 – 画像に分解してオフラインでモデルに入力 3. 出力結果の3D関節位置情報をCGアバター に反映 ここまでいきませんでした…m(_ _)m
- 20. 所感 ? 今の精度でCGアバター動かしたらかなりの頻度 で骨折しそう ? ただ、撮影条件がちょっと悪かったので、もう ちょっと整備すれば性能上がりそう – 服の色と背景 – 暗い – 足が切れてて全身写ってない – カメラの位置(もっと正面からがいい) ? 激しく手を振ってるとこはぶれてるので30fpsでは 足りないかもしれない
- 21. まとめ ? VR空間でもっと自由に手軽に動けるように なりたい！ ? Webカメラを使ってお手軽姿勢推定やって みた – 精度はまだまだ ? Unity使ってアバターに動きを反映する後半 戦はこれからやります(すいません)