CEDEC 2018 バーチャルキャラクターをリアルイベントへ召還する技術
?
4 likes?4,444 views
CEDEC 2018 「一万人規模音楽ライブからトークイベントまで バーチャルキャラクターをリアルイベントへ召還する技術」 講演資料
CEDEC 2018 バーチャルキャラクターをリアルイベントへ召還する技術
- 4. というわけで… ? 現株式会社バーチャルキャスト CTO ? これまでドワンゴでイベント演出? AR?VRの開発全般を担当 ? 個人では「携帯動画変換君」という フリーウェアの作者として（一部 で）知られています 岩城 進之介 （ハンドル：MIRO / @MobileHackerz）
- 8. 超歌舞伎 (2016～)
- 19. 体の動き（モーション）のキャプチャ HTC ViveなどのVR機器利用 （HTC Vive, Oculus Rift） Kinectや画像処理など （Kinect, iPhone X, Live2D, 贵补肠别搁颈驳…） ジャイロ?加速度センサ式 モーションキャプチャ （Perception Neuron, Xsens MVN） 光学式モーションキャプチャ （OptiTrack, VICON） モーションキャプチャに銀の弾丸はまだない 技術によって一長一短。場面によって適したものを選ぶ おもに手軽さと正確性、コストと安定性のトレードオフ。 民生品は「会社では動いたがイベント現場では動かない」と いうことが普通に発生する。逆に高価な機材を持っていても、 現場設営環境に適応するためあえて安い機材を使うことも。
- 20. 表情（フェイシャル）の実現 画像処理によるキャプチャ （iPhone X, 贵补肠别搁颈驳…） 声や動きによる自動適応 コントローラによる 外部オペレータ操作 （Xbox, nanoKontrol, StreamDeck…） コントローラによる 出演者自身による操作 アニメ調キャラクタの場合はコントローラ操作が現状最適解 フェイシャルキャプチャは、そのために作られたモデルに対 してはうまくいくが、極端な?多彩な表情を持つアニメ調 キャラクタへはそのまま適用できない 外部オペレータが表情を操作する場合は、該当出演者の既存 （慣れた）システムにいかに近づけるか、を考慮する
- 22. リアルタイムなのか事前収録なのか ? 「バーチャルキャラクターをリアルイベントへ召喚する」のであれ ば、できればすべてをリアルタイムに処理し、イベントとしてキャ ラクターと来場者の間のコミュニケーションを成立させたい ? しかしリアルタイムだけではできないことをしたい場合、事前に収 録した「完パケ」の動きを用意することもある ? 「完パケ」は映像完パケ（動画として用意し、尺の調整などもまっ たくない場合）とモーション完パケ（モーションのみ用意し、レン ダリングはその場で行う）とどちらのパターンもありえる ? モーション完パケの場合は、リアルタイム（キャプチャ）と完パケ パートを途中モーションブレンドして行き来することも可能 ? 「決め」のポーズをきめておいて、そのポーズですっと事前収録データに移 行する（正確には「決めのポーズに移ろうとしている最中」にするとよい）
- 26. 透過表示 透過スクリーン＋プロジェクター （DILADボード, アミッド, ポリッド…） 透過ディスプレイ表示 （透明有機EL, 透過液晶, 透過LED） ハーフミラー／ペッパーズゴースト （Eyelinerなど） 透過表示にも銀の弾丸はない。透過スクリーンが汎用性大 透過スクリーンは選択肢も多いがリアプロジェクション必須 （のものが多い）でスクリーン背後に別の演者が入れないな どの制約もある。ハーフミラー式は設置位置に奥行きが必要 でコストも高く、透過ディスプレイはそれぞれ一長一短があ りステージの条件によって手段を選択する必要がある。
- 29. 召喚の世界観をどうつくるか ? キャラクターを表示する、のではなく、そのキャラクターはそこに「存在する」。 あらゆる技術は「その存在を生身では知覚できないあわれな 我々が、存在を感じ取れるようにするための手段」である。 ? 技術選択は冷徹に現場の条件から判断する必要があるが、技術の上に構築する 「世界観」は上記の心構えが大事。 ? 表示は等身大なのか、それよりディティールを見せるのか。ディスプレイの背景 はどうするのか。キャラクターと同じレイヤ（奥行き）に別の演出は表示するの かしないのか。演者の出ハケ（登場と退出）は演出するのか、それとも生身とし て立ち去るのか、など。 ? 足はきちんと地面に接しているか、影は、照明は？「そこに存在する」というの はどういうことなのか？
- 31. Voca Nico Night Live Stage in nicofarre (2012)
- 32. koyori (電ポルP) Live「World on Color」(2013)
- 33. IA生誕3周年LIVE We gotta run | IAxJumicchi (2015)
- 37. ボイスアクターとモーションアクター ? ボイスアクターとモーションアクターは同一か、それとも分担され ているか。分担されている場合はおたがいの意思疎通は大丈夫か。 モーションアクターのうごきを見て声をあてるのか、声にモーショ ンアクターがうごきをつけるのか。どちらがどちらを見ている状態 が良いのか（配置の問題） ? 表情はだれがつけるのか、ボイスアクターが話す内容（アドリブ） はアクターが決めるのかほかに指示者が必要なのか、指示者とボイ スアクターはどう（マイクに声が入らないよう）連絡するのか ? 舞台監督、進行、ディレクターからの指示はどこから誰へ？ ? など「意思が流れる経路」を意識して現場の配置を行う必要がある
- 38. キャラクターの動きや会場の様子 ? リアルタイムにキャラクターと来場者のコミュニケーションが 行われる場合は、会場の様子をアクターに伝える必要がある ? そのために「客席を撮影するためのカメラ」を増設する必要が あるかもしれないことに注意 ? アクターからは、キャラクターの動きを常時確認できるモニタ （左右反転）?会場の様子を確認できるモニタ? 番組があれば そのスイッチングアウト?カンペといった情報を返す ? アクターが混乱しないよう、必要なものは左右反転（鏡表示） して提示する。そのためにレンダラに左右反転出力モードをつ けたり、カメラ用左右反転機材を用意するなどが必要
- 39. 会場内か遠隔出演か ? 会場へ光学式モーションキャプチャなど大規模な機材を設営す る時間的?空間的余裕があるか ? アクターが会場の雰囲気を肌で感じ取る必要があるか ? 高度に同期した演目（生バンドにあわせて歌うなど）があるか ? 安定し高速なネット回線が手配できるか ? アクターのスケジュールは、会場の地理的問題はあるか ? 遠隔の場合、舞台進行にかかわるスタッフなども手配できるか
- 41. それはどういうイベントなのか？ ? バーチャルキャラクターを出演させる「だけ」なのか ? ほかの演目との兼ね合いがあると難易度が上がる ? 舞台上機材の出ハケの問題 ? リハーサルや設営などの段取りの問題 ? 照明などの制約が増える ? 機材構成が複雑化する（映像や音声の経路など） ? 事前にステージ進行にあわせて綿密に指示系統?映像?音声の経路を確認する ? イベントの要件によって技術を妥協することも大事 ? 設営スケジュールの制約により「1点トラッキング」で実施した事例 ? 観客にとって新鮮なおどろきが提供できれば正義。技術視点はいったん忘れよう
- 42. 最適な技術は条件によって違う ? 放送（配信）をメインに見せたいのか？それとも会場にいる観 客が満足することが最優先なのか？ ? キャラクターの何を見せたいのか？ ? 実在感？世界観？ ? ひとつの技術で解決しない場合はハイブリッドで拡張する ? LED＋AR ? 透過スクリーン＋AR ? LED＋単純合成 ? 加速度センサ?ジャイロ式モーションキャプチャ＋Tracker
- 43. イベントにはイベントの設計がある ? 映像?音響?照明?ステージ進行それぞれ専門職のプロがいる ? どれも大規模な会場では繊細な調整が必要、専門の機材もある ? ソフトウェアエンジニア視点ではPCで代替可能に見えることも 多いが、やはりプロ向け機材はたいへんよくできている ?餅は餅屋、現場ではそれぞれプロにまかせよう
- 44. 「プロにまかせる」とは ? 映像?音響?照明?ステージ進行など、舞台のプロたちはお互 いに共通言語と仕事のプロトコルを持っているので意思疎通が とてもはやい ? 素人が無理にプロにあわせる必要はない。が、何をしたいのか、 何が必要なのかは正確に過不足なく伝える努力をしよう ? その上で、プロの判断?調整にはあまり細かく口を挟まないこ とをおすすめ（プロはプロなりの経験をもとに考えている） ? 演出や構成で「どうしても譲れない一線」は決めて、そこだけ はプロに理解?妥協してもらうのがよい ? IT業界的には「SIerとユーザー企業」のようなイメージ
- 45. イベント会場は魔物！ ? 赤外線式のトラッキング ? 赤外線ワイヤレスマイク、西日、窓ガラスや壁の反射など ? 磁気?加速度センサ?ジャイロ式のトラッキング ? 電源ケーブルやトラスなどの構造材、鉄筋などと干渉 ? WiFi, Bluetooth ? 2.4GHz帯の無線はまず繋がらないものだとおもったほうがよい ? 5GHz帯も最近は結構混んでいる ? ケーブル ? 抜ける。ちぎれる。断線する。 バックアッププランは必ず用意しよう！
- 51. にじさんじの部屋～でろ～んとおしゃべり編！～ in ニコぶくろスタジオ (2018) 視点用カメラ 透過有機ELディスプレイは裏側からは透けて見えるので 演者が「正しく自分から見た視点」を得られる
- 52. Reload / IA & ONE (2017)
- 56. イベント演出基盤の汎用化 ? モデルデータフォーマットを定義（VRM）することで、モデル データと演出システムの分離?一般化が可能になった ? イベントに活用できる基盤の汎用化 ? 「バーチャルキャストを使った」イベントだけでなく、イベン トの演出基盤としてバーチャルキャストを利用する、という手 段も選択できるように ? イベント現場で必要な機能の拡張も随時進めていきます ? 「VRM」でキャラクターモデルにポータビリティができた ? 他キャラクターとのコラボレーションなど「システム間の移動」が促 進される