狠狠撸

狠狠撸Share a Scribd company logo
淺談 Azure OpenAI
用一個小熊故事機做範例
Ko Ko, Microsoft AI MVP
2023/08/30 @Generative AI 小聚 @Fourdesire
關於 Ko Ko
● 就叫我 Ko Ko 或是科科吧。
● 連續四年當選 Microsoft AI MVP。
● 國內外大型技術年會講師,包含 COSCUP、ModernWeb、名古屋開源年會、香港
開源年會、PyCon APAC、PyCon HK、DevDays Asia 等等的活動。
● 合著有《駕馭 ChatGPT 4: 探索 Azure OpenAI 與 Cognitive Service for Language
開發實踐 (使用.NET 與 Node.js)》
● https://linktr.ee/qqkerk
LIVE DEMO Azure Open AI 基本操作
LIVE DEMO 小熊故事機
20230830 淺談 Azure OpenAI.pdf
LIVE DEMO 重點整理
1. Azure Open AI 概覽。
2. Azure Open AI 的程式重點。
3. Azure Speech Studio 概覽。
4. Azure Speech 的程式重點。
地方爸爸就不用買小熊故事機了!
(但是為了 yoyo 台的歌....
其他 Azure Open AI 重點
1. Service Level Agreements (SLA) 保證 99.9%:一年只會停機累計8.76 小時
2. Azure Open AI 需要額外申請:https://aka.ms/oai/access
3. API 大部份和 Open AI 都一樣,但是還是有小部份功能上的不同。
4. 微軟聲稱不會把你的資料拿去使用。
5. Open AI 和 Azure Open AI 的回應速度差異
:https://gptforwork.com/tools/openai-api-and-other-llm-apis-response-time-tracker
Azure Open AI 可能踩雷的地方
1. API 版本之間有微小差異,記得讀一下文件
https://learn.microsoft.com/en-us/azure/ai-services/openai/reference
2. 因為 Azure Open AI 可以設定成只在 virtual net 裡使用、或是指定特定 IP 才能
用,所以打 API 沒反應時可以檢查這段是否設定正確。
3. LangChain 那邊的參數名稱要注意。
2023-03-15-preview V.S. 2023-08-01-preview
小熊故事機的 Road map
1. 音檔上傳至 Azure Blob
2. 提供回放功能
3. 更多元素設定,如場景、聲音
4. UI 優化
5. 整進 LINE LIFF 裡
天瓏書局七月銷售排行第二名
第一本針對軟體工程師所撰寫之 ChatGPT 專書
用 .NET 和 Node.JS 雙語言範例程式碼
第一本針對 Azure OpenAI 所撰寫之專書
第一本針對 Cognitive Service for Language 專書
第一本教你如何 Fine tune GPT 模型之專書
第一本教你 Semantic Kernel 與 RAG pattern 專書
大量範例與實戰,連最新的 Bring your own data 都有
謝謝大家
Q&A
Ad

Recommended

應用 LLM 框架:LangChain 入門工作坊,LangChain Workshop
應用 LLM 框架:LangChain 入門工作坊,LangChain Workshop
Ko Ko
?
20240912 Hello World Dev Conference 工作坊「使用 LangServe 快速部署 AI」
20240912 Hello World Dev Conference 工作坊「使用 LangServe 快速部署 AI」
Ko Ko
?
DevDays Asia 2024 Demo LangChain 與 Azure
DevDays Asia 2024 Demo LangChain 與 Azure
Ko Ko
?
LangServe source code explain in 2024 COSCUP
LangServe source code explain in 2024 COSCUP
Ko Ko
?
The theory of vector database and qdrant
The theory of vector database and qdrant
Ko Ko
?
Langchain and Azure ML and Open AI
Langchain and Azure ML and Open AI
Ko Ko
?
Learn Django With ChatGPT
Learn Django With ChatGPT
Ko Ko
?
Introduction Hugging face.pdf
Introduction Hugging face.pdf
Ko Ko
?
Building Chatbot With Huggging Face
Building Chatbot With Huggging Face
Ko Ko
?
Triton As NLP Model Inference Back-end
Triton As NLP Model Inference Back-end
Ko Ko
?
Run Bokeh in back-end, draw real-time charts to front-end, and make data sc...
Run Bokeh in back-end, draw real-time charts to front-end, and make data sc...
Ko Ko
?
入門 Teams Bot
入門 Teams Bot
Ko Ko
?
Introduction to MLOps in Azure Machine Learning with Live Demo
Introduction to MLOps in Azure Machine Learning with Live Demo
Ko Ko
?
Azure Machine Learning 重頭學
Azure Machine Learning 重頭學
Ko Ko
?
厂颈驳苍补濒搁整合尝滨狈贰,在尝滨贵贵裡建立一对一聊天管道
厂颈驳苍补濒搁整合尝滨狈贰,在尝滨贵贵裡建立一对一聊天管道
Ko Ko
?
來玩 Bot Framework Composer 2.0版吧!
來玩 Bot Framework Composer 2.0版吧!
Ko Ko
?
用 C# 與 .NET 也能打造機器學習模型:你所不知道的 ML.NET 初體驗
用 C# 與 .NET 也能打造機器學習模型:你所不知道的 ML.NET 初體驗
Ko Ko
?
聊天机器人的行销与开发技巧应用在婚礼上
聊天机器人的行销与开发技巧应用在婚礼上
Ko Ko
?
ML.NET 在遷移式學習的應用與挑戰
ML.NET 在遷移式學習的應用與挑戰
Ko Ko
?
Bot Framework 和它的快樂夥伴Composer
Bot Framework 和它的快樂夥伴Composer
Ko Ko
?
Bot framework composer---用圖形化介面來建立聊天機器人
Bot framework composer---用圖形化介面來建立聊天機器人
Ko Ko
?
介绍础锄耻谤别在颁丑补迟产辞迟开发上的应用
介绍础锄耻谤别在颁丑补迟产辞迟开发上的应用
Ko Ko
?
用 Azure 快速部署與開發 LINE bot
用 Azure 快速部署與開發 LINE bot
Ko Ko
?
介绍奥辞谤诲辫谤别蝉蝉部署在础奥厂上的几种架构
介绍奥辞谤诲辫谤别蝉蝉部署在础奥厂上的几种架构
Ko Ko
?
业界都在用的自然语言理解工具,教你快速建构尝颈苍别对话机器人
业界都在用的自然语言理解工具,教你快速建构尝颈苍别对话机器人
Ko Ko
?
自然語言理解的 Line 機器人實戰
自然語言理解的 Line 機器人實戰
Ko Ko
?
叁十分鐘内,不用写程式,教你打造具自然语言能力的聊天机器人
叁十分鐘内,不用写程式,教你打造具自然语言能力的聊天机器人
Ko Ko
?
从负面案例来讨论接案工程师该有什麼软技能
从负面案例来讨论接案工程师该有什麼软技能
Ko Ko
?

More Related Content

More from Ko Ko (20)

Building Chatbot With Huggging Face
Building Chatbot With Huggging Face
Ko Ko
?
Triton As NLP Model Inference Back-end
Triton As NLP Model Inference Back-end
Ko Ko
?
Run Bokeh in back-end, draw real-time charts to front-end, and make data sc...
Run Bokeh in back-end, draw real-time charts to front-end, and make data sc...
Ko Ko
?
入門 Teams Bot
入門 Teams Bot
Ko Ko
?
Introduction to MLOps in Azure Machine Learning with Live Demo
Introduction to MLOps in Azure Machine Learning with Live Demo
Ko Ko
?
Azure Machine Learning 重頭學
Azure Machine Learning 重頭學
Ko Ko
?
厂颈驳苍补濒搁整合尝滨狈贰,在尝滨贵贵裡建立一对一聊天管道
厂颈驳苍补濒搁整合尝滨狈贰,在尝滨贵贵裡建立一对一聊天管道
Ko Ko
?
來玩 Bot Framework Composer 2.0版吧!
來玩 Bot Framework Composer 2.0版吧!
Ko Ko
?
用 C# 與 .NET 也能打造機器學習模型:你所不知道的 ML.NET 初體驗
用 C# 與 .NET 也能打造機器學習模型:你所不知道的 ML.NET 初體驗
Ko Ko
?
聊天机器人的行销与开发技巧应用在婚礼上
聊天机器人的行销与开发技巧应用在婚礼上
Ko Ko
?
ML.NET 在遷移式學習的應用與挑戰
ML.NET 在遷移式學習的應用與挑戰
Ko Ko
?
Bot Framework 和它的快樂夥伴Composer
Bot Framework 和它的快樂夥伴Composer
Ko Ko
?
Bot framework composer---用圖形化介面來建立聊天機器人
Bot framework composer---用圖形化介面來建立聊天機器人
Ko Ko
?
介绍础锄耻谤别在颁丑补迟产辞迟开发上的应用
介绍础锄耻谤别在颁丑补迟产辞迟开发上的应用
Ko Ko
?
用 Azure 快速部署與開發 LINE bot
用 Azure 快速部署與開發 LINE bot
Ko Ko
?
介绍奥辞谤诲辫谤别蝉蝉部署在础奥厂上的几种架构
介绍奥辞谤诲辫谤别蝉蝉部署在础奥厂上的几种架构
Ko Ko
?
业界都在用的自然语言理解工具,教你快速建构尝颈苍别对话机器人
业界都在用的自然语言理解工具,教你快速建构尝颈苍别对话机器人
Ko Ko
?
自然語言理解的 Line 機器人實戰
自然語言理解的 Line 機器人實戰
Ko Ko
?
叁十分鐘内,不用写程式,教你打造具自然语言能力的聊天机器人
叁十分鐘内,不用写程式,教你打造具自然语言能力的聊天机器人
Ko Ko
?
从负面案例来讨论接案工程师该有什麼软技能
从负面案例来讨论接案工程师该有什麼软技能
Ko Ko
?
Building Chatbot With Huggging Face
Building Chatbot With Huggging Face
Ko Ko
?
Triton As NLP Model Inference Back-end
Triton As NLP Model Inference Back-end
Ko Ko
?
Run Bokeh in back-end, draw real-time charts to front-end, and make data sc...
Run Bokeh in back-end, draw real-time charts to front-end, and make data sc...
Ko Ko
?
入門 Teams Bot
入門 Teams Bot
Ko Ko
?
Introduction to MLOps in Azure Machine Learning with Live Demo
Introduction to MLOps in Azure Machine Learning with Live Demo
Ko Ko
?
Azure Machine Learning 重頭學
Azure Machine Learning 重頭學
Ko Ko
?
厂颈驳苍补濒搁整合尝滨狈贰,在尝滨贵贵裡建立一对一聊天管道
厂颈驳苍补濒搁整合尝滨狈贰,在尝滨贵贵裡建立一对一聊天管道
Ko Ko
?
來玩 Bot Framework Composer 2.0版吧!
來玩 Bot Framework Composer 2.0版吧!
Ko Ko
?
用 C# 與 .NET 也能打造機器學習模型:你所不知道的 ML.NET 初體驗
用 C# 與 .NET 也能打造機器學習模型:你所不知道的 ML.NET 初體驗
Ko Ko
?
聊天机器人的行销与开发技巧应用在婚礼上
聊天机器人的行销与开发技巧应用在婚礼上
Ko Ko
?
ML.NET 在遷移式學習的應用與挑戰
ML.NET 在遷移式學習的應用與挑戰
Ko Ko
?
Bot Framework 和它的快樂夥伴Composer
Bot Framework 和它的快樂夥伴Composer
Ko Ko
?
Bot framework composer---用圖形化介面來建立聊天機器人
Bot framework composer---用圖形化介面來建立聊天機器人
Ko Ko
?
介绍础锄耻谤别在颁丑补迟产辞迟开发上的应用
介绍础锄耻谤别在颁丑补迟产辞迟开发上的应用
Ko Ko
?
用 Azure 快速部署與開發 LINE bot
用 Azure 快速部署與開發 LINE bot
Ko Ko
?
介绍奥辞谤诲辫谤别蝉蝉部署在础奥厂上的几种架构
介绍奥辞谤诲辫谤别蝉蝉部署在础奥厂上的几种架构
Ko Ko
?
业界都在用的自然语言理解工具,教你快速建构尝颈苍别对话机器人
业界都在用的自然语言理解工具,教你快速建构尝颈苍别对话机器人
Ko Ko
?
自然語言理解的 Line 機器人實戰
自然語言理解的 Line 機器人實戰
Ko Ko
?
叁十分鐘内,不用写程式,教你打造具自然语言能力的聊天机器人
叁十分鐘内,不用写程式,教你打造具自然语言能力的聊天机器人
Ko Ko
?
从负面案例来讨论接案工程师该有什麼软技能
从负面案例来讨论接案工程师该有什麼软技能
Ko Ko
?

20230830 淺談 Azure OpenAI.pdf

  • 1. 淺談 Azure OpenAI 用一個小熊故事機做範例 Ko Ko, Microsoft AI MVP 2023/08/30 @Generative AI 小聚 @Fourdesire
  • 2. 關於 Ko Ko ● 就叫我 Ko Ko 或是科科吧。 ● 連續四年當選 Microsoft AI MVP。 ● 國內外大型技術年會講師,包含 COSCUP、ModernWeb、名古屋開源年會、香港 開源年會、PyCon APAC、PyCon HK、DevDays Asia 等等的活動。 ● 合著有《駕馭 ChatGPT 4: 探索 Azure OpenAI 與 Cognitive Service for Language 開發實踐 (使用.NET 與 Node.js)》 ● https://linktr.ee/qqkerk
  • 3. LIVE DEMO Azure Open AI 基本操作
  • 6. LIVE DEMO 重點整理 1. Azure Open AI 概覽。 2. Azure Open AI 的程式重點。 3. Azure Speech Studio 概覽。 4. Azure Speech 的程式重點。 地方爸爸就不用買小熊故事機了! (但是為了 yoyo 台的歌....
  • 7. 其他 Azure Open AI 重點 1. Service Level Agreements (SLA) 保證 99.9%:一年只會停機累計8.76 小時 2. Azure Open AI 需要額外申請:https://aka.ms/oai/access 3. API 大部份和 Open AI 都一樣,但是還是有小部份功能上的不同。 4. 微軟聲稱不會把你的資料拿去使用。 5. Open AI 和 Azure Open AI 的回應速度差異 :https://gptforwork.com/tools/openai-api-and-other-llm-apis-response-time-tracker
  • 8. Azure Open AI 可能踩雷的地方 1. API 版本之間有微小差異,記得讀一下文件 https://learn.microsoft.com/en-us/azure/ai-services/openai/reference 2. 因為 Azure Open AI 可以設定成只在 virtual net 裡使用、或是指定特定 IP 才能 用,所以打 API 沒反應時可以檢查這段是否設定正確。 3. LangChain 那邊的參數名稱要注意。
  • 10. 小熊故事機的 Road map 1. 音檔上傳至 Azure Blob 2. 提供回放功能 3. 更多元素設定,如場景、聲音 4. UI 優化 5. 整進 LINE LIFF 裡
  • 11. 天瓏書局七月銷售排行第二名 第一本針對軟體工程師所撰寫之 ChatGPT 專書 用 .NET 和 Node.JS 雙語言範例程式碼 第一本針對 Azure OpenAI 所撰寫之專書 第一本針對 Cognitive Service for Language 專書 第一本教你如何 Fine tune GPT 模型之專書 第一本教你 Semantic Kernel 與 RAG pattern 專書 大量範例與實戰,連最新的 Bring your own data 都有