生成础滨が切り拓く新しいゲームの创り方?游び方
- 1. 下斗米 貴之 KLab株式会社 機械学習G 市川 恵津子 サウンドG Dreamtonics株式会社 山田 雅史 2023-07-27 AWS Startup Loft Tokyo 生成AIが切り拓く新しいゲー ムの創り方?遊び方 事例① 生成AIで制作フローを加速 事例② 全社員のAI活用を加速させるAIタスクフォース 事例③ 未来のゲーム体験を開拓するAIチャットゲーム
- 2. 2 サウンドアセットの制作?実装?管理全般を担当 近年はサウンドでより面白い体験を創出するため、機会学習グループや社 内ゲームAIコミュニティと連携 市川 恵津子 グループリーダー / サウンドディレクター クリエイティブ部 サウンドグループ 人工知能学会正会員?人工知能学会大会優秀賞受賞(2022) 下斗米 貴之 博士（工学） エンジニアリング本部 機械学習グループ グループリーダー KLab株式会社 KLab株式会社 画像 グループリーダーとして、機械学習を活用した部署横断の業務効率化や大学と の共同研究の業務を推進
- 6. 6 KLab機械学習グループの活動 未来を見据え，最新の技術で開発現場の今に応える BERTによる迷惑チャットの検出 (Google Cloud Day: Digital ’22 等) 画像認識によるUIテストの自動化 (JSAI2022全国大会優秀賞 ) 自己教師ありViTによる3Dモーション検索 (IBIS2022) 深層生成モデルによるリズムゲームの譜面制作支援 (CEDEC2021, SIGGRAPH Asia 2021 , AAAI-23等) などなど…
- 7. 7 ● 削減効果＞機械学習コスト？ ● 削減効果よりも手間がかかることも多い → 横展開?汎用化?共同研究 コ ス ト 案件A 機 械 学 習 削 減 効 果 業務効率化：削減効果 × 適用件数 案件B 案件C
- 10. 10 譜面生成AI 楽曲の音声データやゲームの難易度などを入力すること により、楽曲のリズムにあわせた適切な難易度の譜面を 生成する 既存手法では生成譜面の品質が不十分 だったため、KLab独自の生成AIを開発 Takada, A., Yamazaki, D., Yoshida, Y., Ganbat, N., Shimotomai, T., Hamada, N., Likun, L., Yamamoto, T. & Sakurai, D. (2023 June). GenéLive! Generating Rhythm Actions in Love Live!. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 37, No. 4, pp. 5266-5275).
- 11. 11 Takada, A., Yamazaki, D., Yoshida, Y., Ganbat, N., Shimotomai, T., Hamada, N., Likun, L., Yamamoto, T. & Sakurai, D. (2023 June). GenéLive! Generating Rhythm Actions in Love Live!. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 37, No. 4, pp. 5266-5275). 九州大学との共同研究 2021年3月 九州大学と共同研究を開始 譜面生成AIを研究 2023年2月 アメリカ人工知能学会AAAI-23で発表(WashingtonDC)
- 12. 12 研究開発体制 ResDevOps = Research Sprint + DevOps (MLOps)
- 14. 14 ● 生成モデルによる譜面制作支援システムを開発 ● 制作支援システムで譜面制作スピードを2倍に 成功の秘訣： 人が手直ししやすいコンテンツに適用 複数タイトルへ展開する。 共同研究?研究スプリントで研究開発効率化 まとめ ①生成础滨で制作フローを加速
- 16. 社内での対応 ● AIタスクフォースの立ち上げ ● 生成AIガイドライン整備 ● API提供 ● チャットボット ○ 社内向けAPI提供 ○ チャットボットを社内提供 ○ 業務Q＆Aボットを社内提供 … ● AI賞新設！ 16
- 17. 社内API提供 ● 目的： ○ 利用促進?業務効率化 ● 方法： ○ Azure OpenAI Service API(Microsoft社) を利用 ■ メリット ● モデルをデプロイ（漏洩しない?学習に使われない） ● ファインチューニング（微調整） → 今回はしない ● エンタープライズ契約 ○ KLab OpenAI Proxy 実装 ■ 認証付きproxy ■ 個人毎使用量管理 申請受付 → エンジニアだけでなくクリエイターも利用 17
- 18. チャットボットを社内提供 目的： 利用促進?業務効率化 方法： Slack上で使えるチャットボッ トを社内へ提供 ただし、社内情報は答えら れない → 気軽に利用 → 文章?コード改善 → コツの共有 18
- 19. 業務Q＆Aボット開発 業務の問い合わせ 課題： 〇〇はどのコード番号をつけたらいいのか？そもそも誰に聞けば？ ● 分散したExcel?マニュアル?議事録?仕様書 ● 検索しても見つからない?「検索ワード」のコツがいる ● 問い合わせにフォーム?Excel入力、謎の障壁 → 必要な情報を業務専用のAIボットで問い合わせしてもらう 19 マニュア ル Excel ? 仕様書 ?
- 20. 業務Q＆Aボット開発 しかし、生成AIは独自データに関する情報については回答してくれない ● 方法： ○ プロンプトエンジニアリング ■ In context learning 説明?入出力例から回答させる ○ 社内での利用ルールの策定 → 業務効率化 → LLM利用の技術的な蓄積 20 業務Q＆Aボット マニュア ル Excel 仕様書
- 21. プロンプトエンジニアリング - 文脈情報 - データ（検索結果?DB?文書） - 社内文書DB ナレッジストア vector store - 制約事項 - 回答例／出力形式 あの人ってどこの部署だっけ？ （組織情報文書） （前の文脈） LLM API プロンプト＝AIに渡す入力文 マニュア ル Excel 仕様書 21
- 22. 社内文書DB ナレッジストア VectorStore + ChatGPTによる質問応答 回答の精度は、テキスト、検索、ChatGPTの三者に依存する。 ● 適切なテキストを準備できたか? ● VectorStore 検索で適切な箇所をピックアップできたか? ● ChatGPTの回答が質問にあっているか? プロンプトのコツ： ●ハルシネーション（尤もらしい嘘）対策 かなり試行錯誤やノウハウが必要。
- 23. 第１部まとめ：「ゲームでAI/MLって何に使えるの？」 ● 業務支援をお勧めします ○ ただし、横展開の視点を忘れずに ○ うまく共同研究で技術?リソースを補うことも可能 ● AIチャットボットを社内展開 ○ チャットボット?API提供?AI賞 → 利用促進 ○ 社内での利用ルールの策定 → 共通認識 → AI関連の社内情報共有/勉強会 急増 （エンジニア＆クリエイター） 23
- 26. 26 なぜチャットゲームの研究開発をするのか？ - ゲームのキャラクターと自由におしゃべりがしたい！ - そのゲームキャラが登場人物のストーリーであれば、よりゲーム世界にの めりこめるはず！ - 自由会話 ? KLab機械学習G - 感情表現 ? KLab機械学習G - リアルタイム音声応答 ? AHS様/Dreamtonics様のSyllaflow 会社や立場は違えど、 リアリティのある会話が色んなキャラクターと出来るようになったら面白そう！ ３社で共同デモ制作へ
- 27. 27 どぶろく制度 どぶろく制度で進行?リスクを抑えつつ果敢に挑戦 ● 培った技術を実際のプロジェクトに展開 ● 事前検証しておくことでリスクを低減できる ● エンジニアに限らず社員が興味のあることを自由に研究出来る！ ※どぶろく制度＝KLabの独自ルール10%の業務時間を自由に使える
- 28. confidential Copyright KLab Inc. All rights reserved. マイページ画面では ユーザーが 自由入力 チャットのストーリーを踏まえての会話が 展開 マイページでAIキャラとおしゃべり（自由音声会話） したり マイぺのキャラとチャットでストーリーを進められるゲームです チャット画面では マイページで仲良くなったキャラと ストーリーを展開 「AI?チャットノベル」とは？
- 29. ● 新技術「エモーショナル(??＞?＜?)。??AI」が生み出す自然で多彩なコミュニケーション confidential Copyright KLab Inc. All rights reserved. ゲームの特徴 29 複数の生成AIをパイプライン化して セリフ?音声?表情?モーションを生成 話しかけるたびに 異なるリアクション チャットAIで 感情やストーリーを認識 感情＝うれしい 感情＝ちょっと憂うつ 子猫を拾ったよ！ ふふっ 優しいですね 話題選択 STRIPS 会話生成 ChatGPT 音声合成 Syllaflow 表情合成 Live2D 会話理解 ChatGPT 感情変化 Russellの円環
- 30. 30
- 31. 音声合成エンジン『Syllaflow』 31 Syllaflow はDreamtonics社が開発した高品質なAI音声合成エンジンです。 AHSとDreamtonicsで共同開発したVOICEPEAKという音声合成ソフトにも採用されています。 Syllaflow はオフラインで動作することができ、サーバーにつながなくても、 高品質な音声合成を実現できます。 Syllaflow とは？ Syllaflow が 実現 する 未来 あらゆる『モノ』が人と区別できないほどリアルに、感情を伴って話す世界 人と区別がつかないほどリアルに リアルタイムで いつでも、どんなデバイスでも ● 深層学習による音声合成 ● 複雑な感情も表現 ● ストリーム処理による リアルタイム合成 ● Raspberry Pi 4 でも ● Windows/macOS/ Android/iOS/Linuxに対応 ● スタンドアロンで動作 AI音声合成 ×
- 33. 33 終