痴迟耻产别谤のイベント出演を効率化する技术ワークフロー
?
8 likes?8,103 views
痴迟耻产别谤などのキャラクタをイベントや生放送に出演させる际に必要な技术とその选択について
痴迟耻产别谤のイベント出演を効率化する技术ワークフロー
- 1. VTuber のイベント出演を効率化する技術ワークフロー 株式会社バーチャルキャスト 開発部 基盤技術開発セクション 角 真宇 <SUMI Masataka> 1 2019 年 10 月 5 日
- 2. - VTuber などのキャラクタをイベントや生放送に出演させる 際に必要な技術とその選択について - イベントや生放送ならではのよくある課題 - バーチャルキャスト社の取組事例 このセッションは？ 2
- 3. 昨今の VTuber の急速な盛り上がりをうけて、今後の VR 市場の 世界的な成長を見据え、株式会社インフィニットループと 株式会社ドワンゴが 2018 年に設立した、本社札幌の会社です 株式会社バーチャルキャスト とは 3
- 4. VRライブ?コミュニケーションサービス「バーチャルキャスト」 - バーチャルキャラクターになりきって VR 空間のスタジオで リアルタイムにコミュニケーション 株式会社バーチャルキャスト とは 4
- 5. VR アプリだけの会社？ いえ、じつは様々な技術の研究開発を行い、実践しています - VR 向け 3D アバターフォーマット「VRM」の開発主導 - VTuber の音楽ライブイベントにおける 3D 演出制作 株式会社バーチャルキャスト とは 5
- 6. 名前：角 真宇 （さんたーP） 分野：リアルタイム3DCG の プログラマ & モデラ 過去：3DCG モデル Web 共有サービスの開発 ex. 3DCGArts, ニコニ立体, THE SEED ONLINE PSVR アプリ「超歌舞伎VR」の開発 仕事：リアルタイム 3DCG キャラクタに関するすべて フォーマット (VRM), 表現 (MToon), モーキャプ (MotionHub), イベント演出 (Unity), etc 自己紹介 6 アバター
- 7. VTuber を出演させるイベントをしたい！ - 来場者に楽しんでもらいたい！（大切） イベントにおける問題と制約 - どういう出力形式（ex. ディスプレイ）で表示させよう？ - リアルタイムで行うのか？事前に収録するのか？ - どういう風にキャラクタに動きをつけよう？ - モーションキャプチャ機器は？ - アクタの演じ方は？ - 運用はどうすればいい？ VTuber のイベント出演 7
- 8. イベントごとに要件（やりたいこと?やれないこと）は違う - 出演者はたくさん - 指はワキワキ動かしたい - ゲーム実況で Wii や VR ゲームをプレイしたい - 歌ったり踊ったりしたい - 用意できるスペースは 2m x 2m - 小道具を持ったり置いたりしたい - ピアノを弾きたい - リハーサルで用意された検証時間は 1 時間 - え、来週ですか？ イベントにおける問題?制約 8 キャプチャ方法？ 赤外線干渉？ 物理的スペース？ どうやる？ 時間……
- 9. 要件に応じた多様な出力システム ● バーチャルキャスト ● 自社開発 AR 撮影システム Polaris ● イベント用レンダリングシステム ○ ネットワーク非依存 ○ 特殊な出力ディスプレイ ○ 多重化?冗長性 イベントにおける問題?制約 9 要件に応じた最適な出力システムを選択 最近のバーチャルキャストって こんな絵作れるんですよ（余談） イベント用 レンダリングシステム
- 10. モーション入力機材にまつわるリアルの制約 ● 時間 ○ タイムスケジュールは規定の時間を厳守 ○ モーションキャプチャのセットアップ時間は変動大 ● 空間 ○ WiFi や Bluetooth の電波干渉 ○ ゲーム機?照明との赤外線干渉 ○ 大音量スピーカーによる振動 イベントにおける問題?制約 10 制約に応じて最適な機材を取捨選択 電波ヨシ！
- 11. 具体的にどういったモーションキャプチャ機器が使われる？ - HTC Vive Tracker → 安い！ - Perception Neuron → 個人でも買える値段！ - Xsens MVN → 個人では買えない値段 - OptiTrack → 個人では買えない値段 - VICON → 個人では無理な値段 HTC Vive Tracker だけはソフトウェアが無いので、自分で作るか FinalIK や IKINEMA Orion などを使う必要アリ モーションキャプチャ機器の選択 11
- 12. 光学式 - HTC Vive Tracker - OptiTrack - VICON 慣性?磁気センサ式 - Perception Neuron - Xsens MVN モーションキャプチャ機器の選択 12 技術的な仕組みから、２通りに大別できる
- 13. 光学式 - キャプチャエリアを明確に 決定し、センサを設置 - キャプチャエリアの中で のみ動くことができる 慣性?磁気センサ式 - アクタにのみセンサを装着 - 場所に固定されず、比較的 自由に動き回れる モーションキャプチャ機器の選択 13 キャプチャできる場所の違い
- 14. 光学式 - キャプチャエリアの中での 絶対的な位置を取得 - 時間の経過で位置がズレる ことはない （センサがズレない限り） 慣性?磁気センサ式 - 最初の位置からの 相対的な位置を取得 - 時間が経つにつれ、実際の 位置からズレてくる モーションキャプチャ機器の選択 14 データの違い
- 15. 光学式 - アクタはマーカと呼ばれる 物体を装着する必要がある - 身体に精密機器を装着する 必要は無い (Vive Tracker 除く) 慣性?磁気センサ式 - 身体の全体に精密機器の センサを装着する必要 - センサを厳密に固定する 必要から、身体は 締め付けられる モーションキャプチャ機器の選択 15 モーションアクタへの負担の違い
- 17. 光学式での比較 - HTC Vive Tracker - コンシューマ用なのでとにかく安い - 無線だけでなく有線接続もできる安心 - 機器が大きいので固定しづらい - キャプチャスペースが不安定 - OptiTrack - VICON よりは安価に、それでいて精度良く - VICON - 価格が高いから精度も最高！業界老舗のデファクトスタンダード モーションキャプチャ機器の選択 17
- 18. 慣性?磁気式での比較 - Perception Neuron - 個人で届く価格帯 - 指をトラッキングできる - 磁場の影響を受けやすいため特に都会だと狂いがち - Xsens MVN - 慣性センサのみで行っているとは思えない高い精度 - 指はトラッキングできない（追加のグローブを購入する必要あり） - 磁場の影響を受けないためいろいろな場所で安定して使える モーションキャプチャ機器の選択 18
- 19. - 高い機器ほど良い、という単純さは無い - 高い機器ほど熟練したスタッフ、土地、金が必要 - 高い機器ほどバックアップの用意が困難 - コンシューマ向けの機器はイベントで使えない可能性も高い - オフィスでは起きないこと (ex. 電波干渉) がイベント現場で起きる - 基本はトレードオフ - 手軽か？正確か？ - 安定性？コスト？ - あえて安い機材を使う場合もある モーションキャプチャ機器の選択 19 モーションキャプチャ機器の銀の弾丸は今は無い
- 20. 多種多様な入力と出力の組み合わせ 問題?制約に対する解決 1/4 20 VICON OptiTrack Xsens MVN Perception Neuron MotionBuilder Facial Control HTC Vive Tracker Finger Tracking Fixed AnimationFile LED/画面出力 来場者参加イベント インターネット番組 音楽ライブイベント トークイベント 透過 OLED 出力 AR 出力 VirtualCast
- 21. 多種多様な入力と出力の組み合わせを毎度実装…… 問題?制約に対する解決 2/4 21 VICON OptiTrack Xsens MVN Perception Neuron MotionBuilder Facial Control HTC Vive Tracker Finger Tracking Fixed AnimationFile LED/画面出力 来場者参加イベント インターネット番組 音楽ライブイベント トークイベント 透過 OLED 出力 AR 出力 VirtualCast Program A Program B Program C Program D
- 22. 多種多様な入力と出力の組み合わせ 問題?制約に対する解決 3/4 22 VICON OptiTrack Xsens MVN Perception Neuron MotionBuilder Facial Control HTC Vive Tracker Finger Tracking Fixed AnimationFile LED/画面出力 来場者参加イベント インターネット番組 音楽ライブイベント トークイベント 透過 OLED 出力 AR 出力 VirtualCast Program A Program B Program C Program D 保守性の低さ?新規開発へのハードルの高さ
- 23. 一元化して再利用性と保守性、拡張性を高める MotionHub 問題?制約に対する解決 4/4 23 VICON OptiTrack Xsens MVN Perception Neuron MotionBuilder Facial Control HTC Vive Tracker Finger Tracking Fixed AnimationFile LED/画面出力 来場者参加イベント インターネット番組 音楽ライブイベント トークイベント 透過 OLED 出力 AR 出力 VirtualCast MotionHub Supported by 保守性、拡張性を高める MotionHub
- 24. 機能概要 - 入力：多種モーション機器からの入力を組み合わせ - 出力：多種レンダリング App にモーション出力 - 単独 App - VRM モデル Import - 独自リターゲティング実装 - 複数人の入出力対応 - モーション記録 MotionHub <VC社モーションキャプチャ基盤> 24
- 25. MotionHub 機能トピック ● Xsens MVN の精度向上 ○ 独自ドライバ書き起こしにより、純正プラグインよりも精度向上 ○ 足滑りをほぼゼロに ● 冗長構成 ○ MotionHub 自体を複数の PC で起動 ○ ダウンタイムを最小限 ● 案件に合わせた迅速な拡張 ○ 既存実装を使いまわしての素早い 新規デバイス対応 MotionHub <VC社モーションキャプチャ基盤> 25
- 26. MotionHub 実例 入力: Xsens MVN 出力: VirtualCast MotionHub <VC社モーションキャプチャ基盤> 26 VirtualCast MotionHub モーションを送信
- 28. 事例：2018 年 2 月 けもみみおーこく国営公式生放送 MotionHub <VC社モーションキャプチャ基盤> 28 VICON OptiTrack Perception Neuron LED/画面出力 来場者参加イベント インターネット番組 音楽ライブイベント トークイベント 透過 OLED 出力 AR 撮影システム VirtualCast Finger Tracking Fixed AnimationFile MotionBuilder Facial Control HTC Vive Tracker MotionHub Supported by Xsens MVN
- 29. 事例：2018 年 2 月 けもみみおーこく国営公式生放送 入力：OptiTrack 出力：VirtualStudio（VC社イベント基盤） VRM ワークフロー第 1 弾 初の VRM モデルはみここでした MotionHub <VC社モーションキャプチャ基盤> 29https://live.nicovideo.jp/watch/lv310636122
- 30. 事例：2018 年 2 月 けもみみおーこく国営公式生放送 MotionHub <VC社モーションキャプチャ基盤> 30 リアルタイムで自由なカメラワーク お絵かきソフト演出
- 31. 事例：2018 年 4 月 月ノ美兎の放課後ニコ生放送局 MotionHub <VC社モーションキャプチャ基盤> 31 VICON OptiTrack Xsens MVN Perception Neuron HTC Vive Tracker LED/画面出力 来場者参加イベント インターネット番組 音楽ライブイベント トークイベント 透過 OLED 出力 AR 撮影システム VirtualCast Finger Tracking Fixed AnimationFile MotionHub MotionBuilder Facial Control Supported by
- 32. 事例：2018 年 4 月 月ノ美兎の放課後ニコ生放送局 入力：Xsens MVN + HTC Vive Tracker 出力：VirtualStudio（VC社イベント基盤） VRM ワークフロー第 2 弾 MVN の欠点位置ズレを Tracker の 絶対位置で補正 MotionHub <VC社モーションキャプチャ基盤> 32https://live.nicovideo.jp/watch/lv312205115
- 33. 事例：2018 年 4 月 月ノ美兎の放課後ニコ生放送局 MotionHub <VC社モーションキャプチャ基盤> 33 視聴者とのインタラクション VR ゲームの中に入ったかのような演出
- 34. 事例：2018 年 4 月 ニコニコ超会議 バーチャルYouTu”BAR” MotionHub <VC社モーションキャプチャ基盤> 34 VICON OptiTrack Perception Neuron LED/画面出力 来場者参加イベント 音楽ライブイベント トークイベント 透過 OLED 出力 AR 撮影システム VirtualCast Xsens MVN HTC Vive Tracker インターネット番組 Finger Tracking Fixed AnimationFile MotionHub MotionBuilder Facial Control Supported by
- 35. 事例：2018 年 9 月 『ときのそら』デビュー1周年 超おめでとう記念公式生放送 MotionHub <VC社モーションキャプチャ基盤> 35 VICON OptiTrack Perception Neuron 来場者参加イベント トークイベント 透過 OLED 出力 AR 撮影システム VirtualCast HTC Vive Tracker インターネット番組 Finger Tracking Fixed AnimationFile MotionBuilder LED/画面出力 Xsens MVN Facial Control 音楽ライブイベント MotionHub Supported by
- 36. 事例：2018 年 9 月 『ときのそら』デビュー1周年 超おめでとう記念公式生放送 入力：OptiTrack ピアノ MIDI 信号 出力：VirtualStudio (VC 社イベント基盤) 本人の手元の指の動きを映像に反映させた ピアノ演奏を実現 MotionHub <VC社モーションキャプチャ基盤> 36 https://dwango.co.jp/pi/ns/2018/0914/index3.html
- 37. 事例：2018 年 9 月 『ときのそら』デビュー1周年 超おめでとう記念公式生放送 MotionHub <VC社モーションキャプチャ基盤> 37
- 38. 事例：2019 年 3 月 第 4 期叡王戦 七番勝負 発表会 ひふみちゃん MotionHub <VC社モーションキャプチャ基盤> 38 VICON OptiTrack Perception Neuron 音楽ライブイベント トークイベント 透過 OLED 出力 VirtualCast Xsens MVN HTC Vive Tracker インターネット番組 Finger Tracking Fixed AnimationFile 来場者参加イベント MotionBuilder Facial Control AR 撮影システム LED/画面出力 MotionHub Supported by
- 39. 事例：2019 年 3 月 第 4 期叡王戦 七番勝負 発表会 ひふみちゃん ● モーショントラッキング ○ HTC Vive Tracker x3 ● レンダリング ○ バーチャルキャスト バーチャルアイドルひふみちゃんは 高貴な方なのでセットアップを 1 分で完了させる必要があった MotionHub <VC社モーションキャプチャ基盤> 39
- 40. 事例：2019 年 1 月 Kaede Higuchi 1st Live “KANA-DERO” MotionHub <VC社モーションキャプチャ基盤> 40 VICON OptiTrack Perception Neuron LED/画面出力 来場者参加イベント 音楽ライブイベント トークイベント 透過 OLED 出力 AR 撮影システム VirtualCast Xsens MVN HTC Vive Tracker インターネット番組 Finger Tracking Fixed AnimationFile MotionHub MotionBuilder Facial Control Supported by
- 41. 2019 年 1 月 Kaede Higuchi 1st Live “KANA-DERO” ● 3D 担当 ● モデルセットアップ ○ VRM ● モーションキャプチャ ○ Xsens MVN ● レンダリング ○ Unity MotionHub <VC社モーションキャプチャ基盤> 41
- 42. 事例：2019 年 1 月 Kaede Higuchi 1st Live “KANA-DERO” MotionHub <VC社モーションキャプチャ基盤> 42 https://www.youtube.com/watch?v=H6esydXvoFY
- 43. 事例：Polaris 【VC 社配信用 AR システム】 出演：アメノセイ MotionHub <VC社モーションキャプチャ基盤> 43 VICON Perception Neuron 来場者参加イベント トークイベント 透過 OLED 出力 AR 撮影システム VirtualCast HTC Vive Tracker Fixed AnimationFile MotionBuilder LED/画面出力 Xsens MVN 音楽ライブイベント OptiTrack インターネット番組 Finger Tracking Facial Control MotionHub Supported by
- 44. 事例：Polaris 【VC 社配信用 AR システム】 出演：アメノセイ MotionHub <VC社モーションキャプチャ基盤> 44
- 45. 事例：Polaris 【VC 社配信用 AR システム】 MotionHub <VC社モーションキャプチャ基盤> 45 ? Unity Technologies Japan/UCL https://virtualcast.jp/blog/2019/07/wfle/
- 47. 一元化して再利用性と保守性、拡張性を高める MotionHub ワークフローにおける VRM フォーマット 47 VICON OptiTrack Xsens MVN Perception Neuron MotionBuilder Facial Control HTC Vive Tracker Finger Tracking Fixed AnimationFile LED/画面出力 来場者参加イベント インターネット番組 音楽ライブイベント トークイベント 透過 OLED 出力 AR 出力 VirtualCast MotionHub Supported by ワークフローの構築の根幹を成すのは VRM フォーマット
- 48. VRM とは？ - 「人型 3D アバター」における細かなデータの差異を吸収し アプリケーションにおける取り扱いを簡単にする プラットフォーム非依存で横断型の 3D アバターファイルフォーマット （シェーダは私が策定しました） ワークフローにおける VRM フォーマット 48
- 49. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 49
- 50. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 50 キャラごとにボーン構成が 違いすぎて(Aポーズ?Tポーズ) プログラムで扱いづらい……
- 51. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 51 このキャラクタ、どういう 表情が正解だっけ……？
- 52. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 52 ボーンがスケールしている せいでプログラムがめっちゃ バグる……
- 53. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 53 指のボーンの向きがバラバラで 透過的に扱えない……
- 54. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 54 他社 IP なので見た目の正解を やりとりするために何往復も……
- 55. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 55 モデルの数だけ演出システムを特殊化して実装する必要… 他社 IP なので見た目の正解を やりとりするために何往復も…… 指のボーンの向きがバラバラで 透過的に扱えない…… ボーンがスケールしている せいでプログラムがめっちゃ バグる…… このキャラクタ、どういう 表情が正解だっけ……？ キャラごとにボーン構成が 違いすぎて(Aポーズ?Tポーズ) プログラムで扱いづらい……
- 56. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ → glTF の定義 - ボーン → glTF の定義と VRM の人体定義 - スキニング → glTF の定義 - マテリアル → glTF の PBR 定義と VRM の NPR 定義 - 物理演算 → VRM の定義 - 表情 → VRM の定義 ワークフローにおける VRM フォーマット 56 モデルデータと演出システムを分離、疎結合
- 57. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 57 キャラごとにボーン構成が 違いすぎて(Aポーズ?Tポーズ) プログラムで扱いづらい…… VRM は T ポーズで ボーンが正規化されているので 扱いやすい！
- 58. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 58 このキャラクタ、どういう 表情が正解だっけ……？ Blendshape と Material を ラップした抽象レイヤの 表情をモデラが定義、利用できる
- 59. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 59 ボーンがスケールしている せいでプログラムがめっちゃ バグる…… VRM は T ポーズで ボーンが正規化されているので ボーンのスケールは 1
- 60. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 60 指のボーンの向きがバラバラで 透過的に扱えない…… VRM は T ポーズで ボーンが正規化されているので 扱いやすい！
- 61. キャラクタの 3D モデルはさまざまな表現を持つ - 3D メッシュ - ボーン - スキニング - マテリアル - 物理演算 - 表情 ワークフローにおける VRM フォーマット 61 他社 IP なので見た目の正解を やりとりするために何往復も…… VRM ファイルの制作と確認は モデラが行うことができる！
- 62. VRM をワークフローに敷くことで - モデル製作 - モーション適用（MotionHub） - 表情適用 - レンダリングシステム （ex. VirtualCast） を横断して、分業を促進し、システムの再利用性を高める ワークフローにおける VRM フォーマット 62 VRM によりバーチャルキャラクタの演出を一般化
- 63. ワークフローにおける VRM フォーマット 63 VRM はいいぞ！
- 64. ● 開発?運用事例 ● イベントにおける問題?制約 ○ さまざまなシステムを横断する必要性 ○ 多種多様な要件?制約に対して適切な機器を取捨選択する必要性 ● 問題?制約に対する解決 ○ VRM をワークフローに敷くことでシステムの再利用性を高める ○ 特に共通化できるモーション適用システム MotionHub の開発 まとめ?質疑応答 64
- 65. 65