プラネタリウムでリアルタイム映像
?Download as PPTX, PDF?
1 like?4,562 views
鲍苍颈迟测で作成したリアルタイム映像を使ってプラネタリウムでコンサートを行ってきました
Convert to study guideBETA
Transform any presentation into a summarized study guide, highlighting the most important points and key insights.
プラネタリウムでリアルタイム映像
- 3. なぜリアルタイム？ ? コンサートの曲にあわせて映像を投影したい →即興演奏があるので尺がきっちり決まっていない ? 演奏者の演奏をダイレクトに映像化したい → MIDIで演奏信号を拾えるので活用したい ? ナレーター、観客との掛け合いで映像を変化させたい →ムービーより自由度の高い演出がしたい
- 5. プラネタリウムで投影できるもの(2) (施設によって異なります) 全天球フレーム(非リアルタイム) ? Dome Master形式のPNG画 像 ? ～4K ? アルファ抜き可能 ? 基本的には固定で使用
- 6. プラネタリウムで投影できるもの(3) (施設によって異なります) 全天球フレーム(非リアルタイム) ? Equirectangular形式のPNG 画像 ? ～4K ? アルファ抜き可能 ? 左右回転可能
- 7. プラネタリウムで投影できるもの(3) (施設によって異なります) パーツ(非リアルタイム) ? 適当なサイズの.png画像 ? アルファ抜き可能 ? プラネタリウム施設の機能 （スクリプト）を用いて、 テクスチャに張り付けて雪 のように降らせたりするこ とが可能
- 8. リアルタイム映像は？ ? プラネタリウムの設備ではHDMI出力 をそのまま投影できなかったので、持 ち込みプロジェクター＋ワイドコン バージョンレンズで投影 ? プロジェクターは民生用のプロジェク ター（プラネタリウム自体が暗いので 業務用の輝度は不要） ? 映像は画角60°程度の通常映像、また は一部ドームマスターに変換した映像 を使用 Projector Planetarium
- 9. 音声との同期、映像出力はUnityで ? 音声はMIDIおよびマイク入力 ? リアルタイム入力要素としてキー入力を使 用（bluetooth キーボード可） ? 全天球映像用にシェーダーを作成 ? ４K映像用にキャプチャスクリプトを作成 ? キャプチャ画像のムービー化にはFFmpeg を使用 ? フレーム画像はカメラの背景を透明にして キャプチャ
- 10. 全体構成 ? プラネタリウム設備側と歩調を 合わせて投影 ? キーボード?ドラムからは MIDI信号を直接入力して映像 に反映 ? ベースはピックアップマイク経 由で得た音をFFT解析して映像 に反映 ? ナレーションや観客の反応に合 わせてキー入力を行い映像に反 映 MIDI MIC ムービー再生 フレーム表示 ナレーション進行 星座表示等（スクリプト） プラネタリウム施設側 キー入力 周波数解析(FFT) 映像出力 持ち込み機材側
- 11. 開演 ? 事前に用意した進行表に合わせ て進行 ? 演奏は時間が若干前後するので 星の解説ナレーション等で調節 ? プラネタリウム（光学）投影時 は持ち込みプロジェクターを暗 転させていても光が漏れるので 都度シャッターOFF
- 12. 演奏と同期 ? ピアノ奏者の指の動 きと映像のキーボー ドの動きが同期 ? ドラム奏者の演奏と 映像のドラムが同期 ? ベース奏者の演奏 (音程)と映像が同期
- 13. 演奏と同期 ? イントロで海を表示 ? Aパート開始で後方 から帆船出現 ? 演奏曲目（ドルフィ ンダンス）開始でイ ルカ出現
- 14. ナレーション/観客と同期 ? 「おや、おサルさん が何かを探している みたいですよ？」で キョロキョロ ? 左右の観客の「バナ ナ投げてー！」の声 に合わせてバナナを 左右に投げる（キー 入力）
- 16. まとめ ? プラネタリウムでリアルタイム映像を投影できた ? 生演奏や観客の反応に合わせてリアルタイムに映像を 変化、投影できた ? 提案からテスト、開催にいたるまで、プラネタリウム 施設側のご尽力のおかげです。とても良い経験ができ ました。
- 17. ありがとうございました！