本文介绍了对于LangChain框架的工作坊,由连续五年当选Microsoft AI MVP的讲师Koko进行讲解。内容包含LangChain基本概念、向量数据库原理及其与Azure OpenAI的整合,并提供了多种开发示例和实战经验。文档还提到了最新的版本更新及成本管理选项,适合软件工程师及AI开发者学习和应用。
本次活动由微软 AI MVP Ko Ko 主讲,涵盖了 Azure OpenAI、Langchain 和 Azure Machine Learning 的介绍及实战演示。重点包括大模型的训练和部署方法,以及如何通过 Langchain 快速整合大型语言模型。活动还探讨了 RAG 模式和最新的 Langchain 功能,并介绍了 Ko Ko 的专业成果与著作。
本次演讲介绍了 Hugging Face 平台及其在自然语言处理(NLP)中的应用,强调了其模型的易用性和开源特性。讲师 ko ko 通过现场演示,展示了如何在 Azure Machine Learning 上快速部署 Hugging Face 模型,并使用 LINE 聊天机器人接口进行集成。文档还提供了相关资源和未来学习路线图,适合希望深入了解 NLP 技术的开发者。
The document discusses the NVIDIA Triton Inference Server, focusing on its structure, features, and model management. It highlights Triton's capabilities for deploying AI models, addressing concurrency issues, and supporting multiple AI frameworks through flexible configuration. Practical examples of NLP model deployment and integration with Azure are also included.
Run Bokeh in back-end, draw real-time charts to front-end, and make data sc...Ko Ko
?
The document presents a presentation by Ko Ko, a Microsoft AI MVP, detailing the use of Bokeh for creating interactive charts for data scientists. It covers the installation, backend integration, and security for Bokeh applications, while comparing it to other libraries like D3.js. The conclusion emphasizes using Bokeh for interactive chart generation and its integration into existing websites.
本文件是關於 Azure Machine Learning 的介紹,涵蓋了基本概念、實際操作示範及實戰經驗。作者 Kō Kō 是 Microsoft AI MVP,分享了在製造業應用 AI 的經驗及其在技術會議上的講者身份。文件還討論了機器學習的區別與 MLOps 的重要性,並提出在 AI 專案中面臨的挑戰及團隊角色分工。
本文介紹了 Microsoft Bot Framework Composer 2.0 的新功能,包括內建的對話模擬器和改進的用戶界面。還提供了關於如何部署聊天機器人至 Line 平台的實時演示,並闡述了一些常見的開發挑戰,如對話流程的複雜性和自然語言處理的整合。作者是科技年會的講者,活動旨在提升開發者對聊天機器人開發工具的理解和應用。
本次演讲介绍了 Hugging Face 平台及其在自然语言处理(NLP)中的应用,强调了其模型的易用性和开源特性。讲师 ko ko 通过现场演示,展示了如何在 Azure Machine Learning 上快速部署 Hugging Face 模型,并使用 LINE 聊天机器人接口进行集成。文档还提供了相关资源和未来学习路线图,适合希望深入了解 NLP 技术的开发者。
The document discusses the NVIDIA Triton Inference Server, focusing on its structure, features, and model management. It highlights Triton's capabilities for deploying AI models, addressing concurrency issues, and supporting multiple AI frameworks through flexible configuration. Practical examples of NLP model deployment and integration with Azure are also included.
Run Bokeh in back-end, draw real-time charts to front-end, and make data sc...Ko Ko
?
The document presents a presentation by Ko Ko, a Microsoft AI MVP, detailing the use of Bokeh for creating interactive charts for data scientists. It covers the installation, backend integration, and security for Bokeh applications, while comparing it to other libraries like D3.js. The conclusion emphasizes using Bokeh for interactive chart generation and its integration into existing websites.
本文件是關於 Azure Machine Learning 的介紹,涵蓋了基本概念、實際操作示範及實戰經驗。作者 Kō Kō 是 Microsoft AI MVP,分享了在製造業應用 AI 的經驗及其在技術會議上的講者身份。文件還討論了機器學習的區別與 MLOps 的重要性,並提出在 AI 專案中面臨的挑戰及團隊角色分工。
本文介紹了 Microsoft Bot Framework Composer 2.0 的新功能,包括內建的對話模擬器和改進的用戶界面。還提供了關於如何部署聊天機器人至 Line 平台的實時演示,並闡述了一些常見的開發挑戰,如對話流程的複雜性和自然語言處理的整合。作者是科技年會的講者,活動旨在提升開發者對聊天機器人開發工具的理解和應用。
2. 關於 Ko Ko
● 就叫我 Ko Ko 或是科科吧。
● 連續四年當選 Microsoft AI MVP。
● 國內外大型技術年會講師,包含 COSCUP、ModernWeb、名古屋開源年會、香港
開源年會、PyCon APAC、PyCon HK、DevDays Asia 等等的活動。
● 合著有《駕馭 ChatGPT 4: 探索 Azure OpenAI 與 Cognitive Service for Language
開發實踐 (使用.NET 與 Node.js)》
● https://linktr.ee/qqkerk
6. LIVE DEMO 重點整理
1. Azure Open AI 概覽。
2. Azure Open AI 的程式重點。
3. Azure Speech Studio 概覽。
4. Azure Speech 的程式重點。
地方爸爸就不用買小熊故事機了!
(但是為了 yoyo 台的歌....
7. 其他 Azure Open AI 重點
1. Service Level Agreements (SLA) 保證 99.9%:一年只會停機累計8.76 小時
2. Azure Open AI 需要額外申請:https://aka.ms/oai/access
3. API 大部份和 Open AI 都一樣,但是還是有小部份功能上的不同。
4. 微軟聲稱不會把你的資料拿去使用。
5. Open AI 和 Azure Open AI 的回應速度差異
:https://gptforwork.com/tools/openai-api-and-other-llm-apis-response-time-tracker
8. Azure Open AI 可能踩雷的地方
1. API 版本之間有微小差異,記得讀一下文件
https://learn.microsoft.com/en-us/azure/ai-services/openai/reference
2. 因為 Azure Open AI 可以設定成只在 virtual net 裡使用、或是指定特定 IP 才能
用,所以打 API 沒反應時可以檢查這段是否設定正確。
3. LangChain 那邊的參數名稱要注意。