生成础滨时代を支えるプラットフォームー狈痴滨顿滨础/エンタープライズ事业本部事业本部长/井﨑武士
0 likes201 views
生成础滨颁辞苍蹿别谤别苍肠别での登坛资料です
生成础滨时代を支えるプラットフォームー狈痴滨顿滨础/エンタープライズ事业本部事业本部长/井﨑武士
- 1. 生成AI時代を支えるプラットフォーム - NVIDIA エンタープライズ事業本部 事業本部長 井﨑 武士
- 2. ? 1993 年創業 ? 創業者及び CEO ジェンスン フアン ? 従業員 29,600 人 ? 2024会計年度売上高 609億ドル ? 時価総額 3.3兆ドル Accelerated Computing Platform Company
- 3. NVIDIA の事業領域 グラフィックス AI ゲーミング デザイン レンダリング AI 学習 ロボティクス HPC スーパー コンピューター AI 推論
- 4. NVIDIA のプラットフォーム戦略 データセンタースケール コンピューティング フルスタック 単一アーキテクチャ エンド?ツー?エンド 4 つのコアコンピタンス Networking Compute Acceleration Development クラウド データセンター エッジ GPU DPU CPU 性能 ++ 開発者 ++ CUDA Everywhere インストール ベース ++ NVIDIA アプリケーション フレームワーク NVIDIA HPC NVIDIA AI NVIDIA Omniverse DPU CPU GPU NVIDIA アクセラレーテッドコンピューティング インフラ NVIDIA プラットフォーム ソフトウェア ライブラリ 開発者数: 400万人 / 利用企業: 4万社 / アプリケーション数: 3500超/ スタートアップ: 23,000社
- 5. 生成AIの新時代 かつてないレベルの生産性を実現 コンテンツ制作 カスタマー?エクスペリエンス パーソナライゼーション ドメイン別要約 顧客セルフサービスのエージェント体験 ソフトウェア工学 コーディング?アシスタント 製品研究開発 デザインの強化 シミュレーションとテスト “… 生成AIは、産業全体で2兆6000億ドルから4兆4000億ドルの価値を生み出す可能性がある” — McKinsey Digital, “The Economic Potential of Generative AI: The Next Productivity Frontier” 2023
- 6. 生成AIをどのように使えばいいのか？ ? Gen AI as a Service – p-tuning.inference ? Fine-tuning/customization – ? Custom/building models from scratch - 生成AIのカスタム化 利用者数 最小限のカスタム化 生成AIサービスを利用する - ChatGPT, Google Bard, Amazon Bedrockなどの既存サービス サービス利用に応じたコンサンプションモデル 早期の市場投入が可能 中間のカスタム化 事前学習モデルのファインチューニング インフラやリソースに数億の投資が必要 数週間から数ヵ月の開発期間 広範囲なカスタム化 独自の基盤モデル構築もしくは広範囲なファイン チューニング インフラやリソースに数十億の投資が必要 半年以上の開発期間
- 7. エンタープライズ向けの生成 AI アプリケーションの構築 生成 AI モデルを構築、カスタマイズ、展開するためのエンドツーエンドのクラウドネイティブ フレームワーク データ キュレーション 事前学習 モデルの カスタマイズ 推論 ガードレール データ 収集 情報検索 … 展開 トレーニングとカスタマイズ データの準備
- 8. NVIDIA NeMo AI ファウンドリーを実行してカスタム LLM アプリケーションを作成するためのソフトウェアと API 最先端の事前学習済みモデル カスタマイズ、最適化、 展開のためのフレームワーク どこでも実行できる マイクロサービスと API 次世代の検索およびチャットボット のための 検索拡張生成 (RAG) データ キュレーション 分散学習 モデルのカスタマイズ 情報検索 高速化された推論 ガードレール API NVIDIA Nemotron モデル Falcon Llama MPT データ キュレーション 事前学習 カスタマイズ 情報検索 推論 ガードレール LLM & NVIDIA テキスト埋め込み ベクトル検索 – GPU による高速化
- 9. エンタープライズ向け 生成 AI アプリケーションの構築 NVIDIA NeMo を使用して生成 AI モデルを構築、カスタマイズ、展開 展開 トレーニングとカスタマイズ データの準備 NeMo Curator NeMo Customizer … NVIDIA NIM NeMo Evaluator NeMo Retriever NeMo Guardrails API Gateway NVIDIA DGX Cloud
- 11. 生成 AI の展開 オプション 企業による生成 AI アプリケーションの検証 データとプロンプトは 外部と共有 マネージド型生成 AI サービス オープンソース型の展開 継続的なメンテナンスと アップデート 各種インフラストラクチャー に合わせたチューニングが 必要 マネージド環境に制限された インフラストラクチャー 限定的な制御を 生成 AI 戦略全体に行う データ センターとクラウド のどこでも実行可能 API やファインチューニング されたモデル用のカスタム コード 使いやすい 開発用 API AI を使い始めるための 近道 企業が管理する環境 企業が管理する環境 セルフ ホスト環境で データを安全に管理 API
- 12. NVIDIA NIM:最大5倍の実行速度を発揮する最適化されたAIモデル コミュニティモデル - パートナーモデル - NVIDIAモデル NVIDIA INFERENCE MICROSERVICE コンピュータ?ビ ジョン バイオロジー ビジョン? ランゲージ RAG スピーチ シミュレーション 地域言語 デジタルヒューマ ン 言語 学習済みAIモデル パッケージ化され最適化されている CUDAインストールベース
- 13. NVIDIA Blueprint build.nvidia.comで入手可能 リファレンス アプリケーション サンプルデータ リファレンスコード アーキテクチャー カスタマイゼーション ツール オーケストレーション ツール 創薬向け生成バーチャル スクリーニング エンタープライズRAGのための マルチモーダルPDFデータ抽出 コンテナセキュリティの 脆弱性分析 カスタマーサービス向けAI バーチャルアシスタント 顧客サービスのための デジタルヒューマン ビデオ検索と要約のための ビジュアルAIエージェント
- 14. 3D Animation Pipeline Web Front End 顧客サービスのためのデジタルヒューマン デジタル?ヒューマン?エコノミー市場は2035年までに125億ドル規模と推定される 恩恵 ? ユーザー向けアプリケーショ ンのエンゲージメントと満足 度の向上 ? 正確な肌、髪、アニメーショ ン、発話を持つ、本物そっく りの3Dデジタル人間を作成 します。 ? 企業のアプリケーションや データとの自然な会話を可能 にする Audio Pipeline Audio/Video Streaming Video Audio Feedback Data Omniverse Renderer Animation Graph Audio2Face Riva ASR ElevenLabs TTS RAG Application ACE Agent Animation Data Audio In Audio Out User Feedback On Response Digital Human AV Out Text Prompt Text Response Audio In Text Response Text Audio User
- 16. LLM NIMs ビデオ検索と要約 のためのNVIDIA AI Blueprint VLM NIMs CV NIMs API RAG NIMs Summarization Q&A Alerts Video Search and Summarization ビジュアル?エージェント ベクター DB グラフ DB 画像/映像アーカイブ ストリーミング? ビデオ エージェントに仕事を与える どの ような洞察が欲しいのか、それをど のように共有するのかを説明
- 18. NVIDIA Blackwell プラットフォーム Grace Blackwell MGX Node NVLink Switch Quantum Switch Spectrum-X Switch Chips Purpose-Built for AI Supercomputing GPU | CPU | DPU | NIC | NVLink Switch | IB Switch | Enet Switch CUDA ? DOCA ? NCCL Cluster-Scale Software System Software Chip Software CUDA-X Libraries NIM CUDA-Accelerated Agentic AI Libraries Omniverse CUDA-Accelerated Physical AI Libraries Accelerated Software Stack GB200 NVL72 SuperPOD