第５回若手交流会资料
- 2. 本日は ? 過去にSIGGRAPHで発表された代表的な顔画像合成技術の紹介 フェイシャルアニメーションの分野にフォーカス ? ここ数年の技術トレンド： ブレンドシェイプ and/or パフォーマンスキャプチャ
- 3. 過去10年のSIGGRAPH に見る合成技術の変遷 2009 “Digital Emily Project” O. Alexander et al 2010 “High-Quality Single-Shot Capture of Facial Geometry” T. Beeler et al, ETH/DRZ “Example-Based Facial Rigging” H. Lit et al, ETH/Zurich/EPFL 2011 “Interactive Region-Based Linear 3D Face Models” J. R. Tena et al, DRP “Realtime Performance-Based Facial Animation” T. Weise et al, EPFL 2012 “Lightweight Binocular Facial Performance Capture under Uncontrolled Lighting” L. Valgaerts et al, MPI 2013 “Realtime Facial Animation with On-the-fly Correctives” H. Li et al, ILM 2014 “Facial Performance Enahncement using Dynamic Shape Space” A. H. Bermano et al, ETH/DRZ “Automatic Determination of Facial Muscle Activations From Sparse Motion Capture Marker Data” E. Sifakis et al, Stanford 2005 2004 “Universal Capture: Image-based Facial Animation and Rendering for the Matrix sequels” G. borshukov et al, Stanford “Spacetime Expression Cloning for Blendshapes” Y. Seol et al, KAIST/WETA Digital https://www.youtube.co m/watch?v=Eb7zzrtgdEE
- 4. ブレンドシェイプ Blendshape ?1 × + ?2 × + ?3 × … = 表情の基本となるシェイプ（ターゲットシェイプ）をそれぞれ 重みを付けて足し合わせることにより任意の表情を合成する手法 ターゲットシェイプの基準としてFACSにより定義される表情を使うことが多い Image from http://download.autodesk.com/global/docs/maya2013/ja_jp/index.html?url =files/Blend_Shape_deformer.htm,topicNumber=d30e319104
- 5. Image from SIGGRAPH2005 Digital Face Cloning Course Note. 専用のシェイプを追加すればこんな激しい表情を作り出すことも可能 演出の自由度が高く各シェイプの意味を直観的に理解しやすい点が優れている ブレンドシェイプの利点
- 6. この表情は標準的なシェイプの組み合わせだけでは到底作り出せない シーンを表現するための専用のシェイプを追加しなければならない → シェイプ数の爆発が起こる可能性がある ブレンドシェイプの欠点 Image from SIGGRAPH2005 Digital Face Cloning Course Note.
- 7. シェイプ数の爆発が起こると… １．モデラがキャラクタごとに100以上のもの ターゲットシェイプを用意しなければならない。 ２．アニメータが100以上ものパラメータ (スライダ)をコントロールしなければならない 頭の痛い問題 （映像のクオリティが コストと制作期間に依存する） Images from J. P. Lewis and K. Anjyo, “Direct-Manipluation Blendshapes”, IEEE Computer Graphics and Applications Special Issues: Digital Human Facs, 30(4), 2010, p.42-59
- 8. ブレンドシェイプの問題を要約すると ?1 × + ?2 × + ?3 × … = １．キャラクタ毎にターゲットシェイプを作るのが大変 ２．100を超えるシェイプの各フレームの重みを定義するのが大変 ３．どんな表情も表現しうる汎用的なターゲットシェイプの組が分からない
- 9. ブレンドシェイプの問題を要約すると ?1 × + ?2 × + ?3 × … = １．キャラクタ毎にターゲットシェイプを作るのが大変 ２．100を超えるシェイプの各フレームの重みを定義するのが大変 ３．どんな表情も表現しうる汎用的なターゲットシェイプの組が分からない
- 11. パフォーマンスキャプチャ Performance Capture アクターの演技 Apeの演技アバターの演技 アクターの演技 Avatar, Lightstrom Entertainment (2009) Rise of the Planet of the Apes, WETA Digital (2011) 変換 変換 演者（アクタ）の演技時の表情を取り込み?変換しキャラクタの表情づけを行う技術
- 13. “Interactive Region-Based Linear 3D Face Models” J. R. Tena, F. De la Torre and I. Mathews, SIGGRAPH2011 アニメーション作成のための面倒なブレンド率設定をスライダではなく 顔表面上の点を掴んで移動させるような直観的UIで対話的操作により実現する手法 顔を領域分けすることにより少ないターゲットシェイプの組しかない状態でも 変形の自由度を確保している点が優れている Demo movie is available on http://www.disneyresearch.com/project/interactive-region-based-linear-3d-face-models/
- 14. “Interactive Region-Based Linear 3D Face Models” J. R. Tena, F. De la Torre and I. Mathews, SIGGRAPH2011 ?ユーザがピン＆ドラッグして移動した点に一致するような、 キャラクタのターゲットシェイプの組み合わせ（重み）を領域ごとに推定する。 ?領域間での動きの不整合が起きないように領域間の境界部分の位置が 同じになるような制約をつけて問題を解いている点が肝
- 15. “Realtime Performance-Based Facial Animation”, T. Weise, S. Bouaziz, H. Li and M. Pauly, SIGGRAPH2011 ユーザ自身の演技によりリアルタイムでキャラクタの顔表情をコントロールする マーカレスなパフォーマンスベースのキャラクタアニメーションシステム 入力は３Ｄセンサー(Microsoft Kinect など)で撮影されたユーザの表情 FaceShift (http://www.faceshift.com/) として最低 ＄800/年から利用可能 ユーザＡ ユーザＢ ユーザＡの キャプチャされた表情 ユーザＡの表情が 写されたキャラクタの表情 3Dセンサー
- 16. “Realtime Performance-Based Facial Animation”, T. Weise, S. Bouaziz, H. Li and M. Pauly, SIGGRAPH2011 ?Kinect等の低品質な色?奥行き情報から個人特有のターゲットシェイプの組を作る 奥行きと色の積層 ＋ テンプレートのフィッティング ＋ Example-based Facial Rigging (15表情→39表情) ?登録時に記録した顔のアニメーションを事前知識として、 テクスチャと形状双方の位置合わせによる顔のトラッキング
- 17. オンライン処理： データ獲得?前処理?位置合わせ?表示：5ms 以下 非剛体位置合わせ：45ms/frame Intel i7 2.8GHz with 8GB MEM オフライン処理： 各表情に対する特徴点指定：2分/表情 ユーザ入力に対する表情モデルの計算：10分以下 アニメーションの事前知識計算：10～20分 Demo movie is available on is available on Youtube; https://www.youtube.com/watch?v=8kbPhG3y8ts
- 18. “Realtime Facial Animation with On-the-fly Correctives”, H. Li, J. Yu, Y. Ye, and C. Bregler, SIGGRAPH2013 Kinectのようなデプスセンサを使って特別なセットアップ無しに 無表情顔を入力するだけでリアルタイムでのパフォーマンスキャプチャができる 撮影したアクターの表情へ適応するように初期のターゲットシェイプの組 （FACSに基づくテンプレートモデルから成る）をオンライン学習により更新する 顔のトラッキング性能の改善だけでなく転写先のキャラクタの表情をより豊かに Demo movie is available on is available on Youtube; https://www.youtube.com/watch?v=X7y2RZdyZK0
- 19. “Realtime Facial Animation with On-the-fly Correctives”, H. Li, J. Yu, Y. Ye, and C. Bregler, SIGGRAPH2013 ?デプスセンサの入力から個人の23個のFACSに基づくターゲットシェイプの組を生成 ?入力の各フレームに対してブレンドシェイプをフィッティングすることで顔を追跡 ?フィッティング性能を改善するための7個の矯正用のシェイプを学習していく
- 20. “High-Quality Single Shot Capture of Facial Geometry”, T. Beeler, B. Bickel, P. Beardsley, B. Sumner and M Gross, SIGGRAPH2010 ステレオカメラを使って標準的な照明環境下で顔の3次元形状を計測するシステム サブミリメートル精度で映画産業で要求される品質を持つ（細かさ毛穴レベル） プロ用のカメラ構成でも一般向けの3Dデジカメでも撮影可（将来的にはスマホも？） 細かいスケールの形状をステレオ法の改善が肝 7台の1眼カメラで撮影 １台の３Dデジカメで撮影 Demo movie is available on is available on Youtube; https://www.youtube.com/watch?v=JX5stsU6xfE
- 21. “High-Quality Passive Facial Performance Capture using Anchor Frames”, T. Beeler, F. Hahn, D. Bradley, B. Bickel, P. Beardsley, C. Gotsman, B. Sumner and M Gross, SIGGRAPH2011, 特に光を当てたりしないマーカレスなフェイシャルパフォーマンスキャプチャ技術 参照表情として選んだ表情と似た顔表情を含むフレームを Anchor frame と定義 参照表情から全てのAnchor Frame 画像間のピクセルをマッチさせる ロバストなトラッキング手法を導入（これにより対応が取られて行く） 演技全体を単一の三角形メッシュで高精度に表現することができる （結果のメッシュはすべて頂点毎の対応が取れているため分析がし易い） Demo movie is available on http://graphics.ethz.ch/publications/papers/paperBee11.php
- 22. まとめ ? 2010年辺りからの顔画像合成技術の進歩が目覚ましい ? フェイシャルアニメーション、特にパフォーマンスキャプチャ （演者の演技をそのままキャラクタに転写する）は ほぼ全てがリアルタイム処理の時代に ? ブレンドシェイプに基づくパフォーマンスキャプチャは、テンプレートモ デルをうまく利用することで、特別な計測機器を使わずに演者 の表情を反映したCGキャラクタのアニメーション可能に ? パフォーマンスキャプチャのためのスキャナも比較的安価な構成で 毛穴レベルの細かい皺を有する形状が計測可能に ? EPFL/ETH Zurich, Disney Research の研究者らが凄い！！
- 23. References 1. J. R. Tena, F. De la Torre and I. Mathews, “Interactive Region-Based Linear 3D Face Models”, Proc. of ACM SIGGRAPH2011,Vol. 30, Issue 4, Article No. 76, 2011 2. H. Li, T. Weise and M. Pauly, “Example-Based Facial Rigging”, Proc. of ACM SIGGRAPH2010,Vol. 29, Issue 4, Article No. 32, 2010 3. T. Weise, S. Bouaziz, H. Li and M. Pauly, “Realtime Performance-Based Facial Animation”, Proc. of ACM SIGGRAPH2011,Vol. 30, Issue 4, Article No. 77, 2011 4. H. Li, J. Yu, Y. Ye, and C. Bregler, “Realtime Facial Animation with On-the-fly Correctives”, Proc. of ACM SIGGRAPH2013, Vol. 32, Issue 4, Article No. 42, 2013 5. T. Beeler, B. Bickel, P. Beardsley, B. Sumner and M Gross, “High-Quality Single Shot Capture of Facial Geometry”, Proc. of ACM SIGGRAPH2010, Vol. 29, Issue 4, Article No. 40, 2010 6. T. Beeler, F. Hahn, D. Bradley, B. Bickel, P. Beardsley, C. Gotsman, B. Sumner and M Gross, “High-Quality Passive Facial Performance Capture using Anchor Frames”, Proc. of ACM SIGGRAPH2011, Vol. 30, Issue 4, Article No. 75, 2011
- 25. 内容 ? 今ここにいるみなさんの平均顔を作ってみましょう。 ? お持ちいただいた画像から平均顔を作ってみましょう。 ? 作った平均颜の印象をみなさんで评価してみましょう。
- 27. サンプル: A サンプル: B