37. 過去10年のSIGGRAPH
に見る合成技術の変遷
2009
“Digital Emily Project”
O. Alexander et al
2010
“High-Quality Single-Shot
Capture of Facial Geometry”
T. Beeler et al, ETH/DRZ
“Example-Based Facial Rigging”
H. Lit et al, ETH/Zurich/EPFL
2011
“Interactive Region-Based
Linear 3D Face Models”
J. R. Tena et al, DRP
“Realtime Performance-Based
Facial Animation”
T. Weise et al, EPFL
2012
“Lightweight Binocular Facial
Performance Capture under
Uncontrolled Lighting”
L. Valgaerts et al, MPI
2013
“Realtime Facial Animation
with On-the-fly Correctives”
H. Li et al, ILM
2014
“Facial Performance
Enahncement using
Dynamic Shape Space”
A. H. Bermano et al, ETH/DRZ
“Automatic Determination of
Facial Muscle Activations
From Sparse Motion
Capture Marker Data”
E. Sifakis et al, Stanford
2005
2004
“Universal Capture:
Image-based Facial
Animation and Rendering
for the Matrix sequels”
G. borshukov et al, Stanford
“Spacetime Expression Cloning
for Blendshapes”
Y. Seol et al, KAIST/WETA Digital
https://www.youtube.co
m/watch?v=Eb7zzrtgdEE
38. 過去10年のSIGGRAPH
に見る合成技術の変遷
2009
“Digital Emily Project”
O. Alexander et al
2010
“High-Quality Single-Shot
Capture of Facial Geometry”
T. Beeler et al, ETH/DRZ
“Example-Based Facial Rigging”
H. Lit et al, ETH/Zurich/EPFL
2011
“Interactive Region-Based
Linear 3D Face Models”
J. R. Tena et al, DRP
“Realtime Performance-Based
Facial Animation”
T. Weise et al, EPFL
2012
“Lightweight Binocular Facial
Performance Capture under
Uncontrolled Lighting”
L. Valgaerts et al, MPI
2013
“Realtime Facial Animation
with On-the-fly Correctives”
H. Li et al, ILM
2014
“Facial Performance
Enahncement using
Dynamic Shape Space”
A. H. Bermano et al, ETH/DRZ
“Automatic Determination of
Facial Muscle Activations
From Sparse Motion
Capture Marker Data”
E. Sifakis et al, Stanford
2005
2004
“Universal Capture:
Image-based Facial
Animation and Rendering
for the Matrix sequels”
G. borshukov et al, Stanford
“Spacetime Expression Cloning
for Blendshapes”
Y. Seol et al, KAIST/WETA Digital
41. “Realtime Performance-Based Facial Animation”,
T. Weise, S. Bouaziz, H. Li and M. Pauly, SIGGRAPH2011
ユーザ自身の演技によりリアルタイムでキャラクタの顔表情をコントロールする
マーカレスなパフォーマンスベースのキャラクタアニメーションシステム
入力は3Dセンサー(Microsoft Kinect など)で撮影されたユーザの表情
FaceShift (http://www.faceshift.com/) として最低 $800/年から利用可能
ユーザA
ユーザB
ユーザAの
キャプチャされた表情
ユーザAの表情が
写されたキャラクタの表情
3Dセンサー
42. “Realtime Performance-Based Facial Animation”,
T. Weise, S. Bouaziz, H. Li and M. Pauly, SIGGRAPH2011
?Kinect等の低品質な色?奥行き情報から個人特有のターゲットシェイプの組を作る
奥行きと色の積層 + テンプレートのフィッティング
+ Example-based Facial Rigging (15表情→39表情)
?登録時に記録した顔のアニメーションを事前知識として、
テクスチャと形状双方の位置合わせによる顔のトラッキング