大型語言模型在工業領域的潛力 - 2. 大型語言模型的應用 / Applications of Large Language Models
0 likes16 views
這份投影片將對話機器人和進階的大型語言模型相關應用分成四個類別來介紹。首先，我從對話機器人最基本的技術「關鍵字觸發與檢索」開始，展示如何使用對話機器人來訓練海運貨櫃操作員。另一份研究著重於將供應鏈採購階段的研究結果彙整，以此訓練對話機器人來供人諮詢供應商的相關資訊，包括了採購指標與價格資訊等。 接著，我們從基礎的關鍵字技術繼續升級，進階到了「Transformer 應用」。 Transformer 架構捕捉語意的能力不僅僅只是用於對話，還能將它用於蛋白質結構生成，甚至是利用自然語言的輸入來生成建築材料的3D 模型草稿。 第三部分則是講述應用Transformer架構最令人印象深刻的成功結果，也就是大型語言模型在「設計與製造」的案例。這部分我介紹了研究是如何將大型語言模型整合到機器人的設計流程之中。從設計流程到細節實作，研究者確實可以跟大型語言模型共同建構出有效的機器人方案。接著我們更進一步地看到研究是如何訓練大型語言模型來解決電腦設計與製造（CDaM）領域的問題。在電腦設計與製造所必須經歷的設計呈現、設計空間呈現、為製造而設計（DfM）、效能預測與最佳化等階段中，大型語言模型確實能夠解決部分問題，但在精確的數值計算和空間推理上也出現了不可忽視的侷限。 最後一部分我將重點放在現在大型語言模型熱門的檢索增強生成(Retrieval-Augmented Generation, RAG)議題上，也就是「知識轉移」的相關應用。我介紹了化學研究如何應用大型語言模型作為代理者(agent)來完成自動化的化學實驗，整個 Coscientist 的實驗規劃、執行與評估都能夠由大型語言模型來完成，令人印象深刻。另一份研究提出了製造業的大型語言模型應用框架 FILLIS，說明如何整合工廠的各種資料，並透過 LLM 提供即時資訊與協助，而這也更符合許多產業對於大型語言模型和RAG的需求。
![12
語意向量的 產生
月色真美
[-.04, -.05, .05, 0.05, 0,
……
.06 , -0.04, -.05, .03, .06]](https://image.slidesharecdn.com/2-241227130840-797b250b/85/2-Applications-of-Large-Language-Models-12-320.jpg)
![13
簡化版語意向量的例子 (1/2)
文字
語意向量
維度0 維度1
德國 [1, 3]
法國 [2, 2]
星期一 [9, 2]
星期二 [10, 1]](https://image.slidesharecdn.com/2-241227130840-797b250b/85/2-Applications-of-Large-Language-Models-13-320.jpg)
![[台灣人工智慧學校] 工業 4.0 與智慧製造的發展趨勢與挑戰](https://cdn.slidesharecdn.com/ss_thumbnails/20190316jyh-horngchou-190315170336-thumbnail.jpg?width=560&fit=bounds)
More Related Content
Similar to 大型語言模型在工業領域的潛力 - 2. 大型語言模型的應用 / Applications of Large Language Models (20)
More from Yung-Ting Chen (20)
大型語言模型在工業領域的潛力 - 2. 大型語言模型的應用 / Applications of Large Language Models
- 1. 中華民國圖書館學會 資訊科技委員 陳勇汀 blog@pulipuli.info 2024 https://l.pulipuli.info/24/nkust 大型語言模型 在工業領域的潛力 ── 2. 大型語言模型的應用 ──
- 2. 政大圖檔 112-2 2 大型語言模型在工業領域的潛力 1. 工業與聊天機器人 2. 大型語言模型的應用 3. 檢索增強生成的實作 4. 大型語言模型應用框架
- 4. 4
- 5. 5 關鍵字觸發與檢索
- 6. 海運貨櫃操作員的訓練和協助聊天機器人 Popeye (1/2) 6 (Colabianchi et al., 2022)
- 7. 1. 使用者喚醒Popeye，Popeye首先詢問使用 者所在位置和需要執行的任務。 2. 確認操作內容後，Popeye會確認使用者是否 穿戴了適當的個人防護裝備。 ○ 如果使用者不清楚所需的個人防護裝備， 可以要求更多資訊。 3. 接著，Popeye會要求使用者提供貨櫃的詳細 資訊，可透過口述代碼或掃描提供。 4. 了解貨櫃尺寸和重量後，Popeye會告知適當 的安全程序，以檢查貨櫃底部。 5. Popeye會與使用者確認是否有骨架式拖車 和牽引車。 ○ 如果使用者不熟悉這些工具，可以向 Popeye請求語音、影片或圖像形式的額 外說明，並顯示在使用者的手機上。 海運貨櫃操作員的訓練和協助聊天機器人 Popeye (2/2) 7 (Colabianchi et al., 2022)
- 8. 供應鏈採購階段 聊天機器人建構 (1/2) 8 (Sai et al., 2022) 供應商偏好 調查問卷 各種類型 製造業公司 問卷統計 因素分析
- 9. 供應鏈採購階段 聊天機器人建構 (2/2) 9 (Sai et al., 2022) 根據必要文件，機器人將提供 ● 採購指標的詳細資訊 ● 回答常見問題 ● 價格資訊 ● 合約細節 ● 可用的折扣資訊 分析結果 供應商 資訊
- 10. 10 Transformer應用
- 11. 11 ● 利用Transformer架構編碼 器捕捉語意向量 ○ 不同的文字 ○ 文字的前後順序 (雙向) ? 文法 ● 句子的語意向量 (sentence embedding)以多維度的向 量呈現 Transformer架構 的學習 編碼器 Encoder 解碼器 Decoder
- 12. 12 語意向量的 產生 月色真美 [-.04, -.05, .05, 0.05, 0, …… .06 , -0.04, -.05, .03, .06]
- 13. 13 簡化版語意向量的例子 (1/2) 文字 語意向量 維度0 維度1 德國 [1, 3] 法國 [2, 2] 星期一 [9, 2] 星期二 [10, 1]
- 15. 1. 將參考配體(Reference ligand)進行編碼後建立模型， 進而計算出潛在向量。 2. GraphVF模型的編碼取得結構 的常態分佈，以此控制蛋白質 結構的變化範圍。 可控制的蛋白質結構生成 (1/2) GraphVF 15 (Sun et al., 2023) 1 2
- 16. 3. 根據結合點位(binding site)的原子和鏈結，透 過自迴歸生成得到 4 的 結果。 可控制的蛋白質結構生成 (2/2) GraphVF 16 (Sun et al., 2023) 4 3
- 17. 用自然語言輸入 生成3D建築材料 (1/2) 17 (Hsu et al., 2022) hexagonal lattice: X | hollow circles: (1-X) X=1 偏向六方晶格體 X=0 偏向空心圓
- 18. 1. 輸入文字「hexagonal lattice」(六方晶格體) 2. 產生圖片 3. 圖片前處理：循環化 (讓 單張圖片轉變成可立體 延伸的模型) 4. 產生3D模型 5. 3D列印 6. 材料分析與成果 用自然語言輸入 生成3D建築材料 (2/2) 18 (Hsu et al., 2022)
- 19. 19 設計與製造
- 20. 「我要用機器人拯救世界！」 結合大型語言模型到 機器人設計 (1/3) 20 (Stella et al., 2023) 補充資訊 Step A. 設計流程 Step B. 細節實作
- 21. 結合大型語言模型到機器人設計 (2/3) A. 設計流程 21 (Stella et al., 2023) 人類 提問 LLM 回覆 設計 空間 人類 選擇 人類與LLM共同 決定技術細節
- 22. 結合大型語言模型到機器人設計 (3/3) B. 細節實作 22 (Stella et al., 2023) LLM的技術 細節建議 實作結果
- 23. 電腦設計與生產(Computional Design and Manufacturing, CDaM)領域包含了五個階段： 1. 設計呈現 (Design Representations)：電腦設計的基石是能夠用數位化的形式 呈現並根據特定目的操控設計，例如幾何形狀、關節連結、材質組成 等等。 2. 設計空間呈現 (Design Space Representations)：表示設計的各種變化，以便讓 人探索、客製化、調整性能。現今主流的做法是用參數化來控制設 計。 3. 為製造而設計 (Design for Manufacturing, DfM)：規劃如何以最大效率和最低 成本來製造設計。 4. 性能預測 (Preformance Prediction)：在生產設計之前先瞭解產品的預期性能 ，例如汽車的效率、安全性與美觀。 5. 性能最佳化 (Performance Optimization)：在給定設計空間和性能預測的情況 下，找尋最佳的設計方案。 大型語言模型 應用於電腦設計與生 產流程 (1/8) 23 (Makatura et al., 2024)
- 24. 大型語言模型 應用於電腦設計與生 產流程 (2/8) 24 (Makatura et al., 2024) 作者提供 OpenJSCAD 提示
- 25. GTP-4的櫥櫃設計過程 25 (Makatura et al., 2024)
- 26. 但GPT-4的空間理解能力不足 ，難以產生合理的幾何形狀... 齒輪的設計空間呈現 26 (Makatura et al., 2024) 預設設計的齒輪 ，能有什麼變化 呢？ 如果能用參數 「gear_thinkness」來產生多種 齒輪變化就太好了！
- 27. GPT-4作為DfM專家 27 (Makatura et al., 2024) 如何支撐 層版？
- 28. GPT-4以分數來做效能評分 28 (Makatura et al., 2024) GPT依賴變項名稱來理解和評估設計。變項特徵分解 更小、更量化時較能評估。但空間推理評估能力不佳 (例如重心或穩定度)。
- 29. 用GPT-4完成單一目標最佳化 (最低成本) 29 (Makatura et al., 2024) GPT-4用Python scipy.optimize 計算出答案
- 30. ● 空間推理不足：難以準確處理物件放置、重心等空間問題， 依賴語義線索。 ● 可擴展性差 ：僅能一次處理一到兩個問題，難以應處理工業 設計上需要同時考慮多種問題的複雜設計。 ● 參數建議不準確 ：受限於語義理解，設計空間裡可調整的 參數和固定的約束可能不合適。 ● 難以產生製造用的程式碼 ：比起直接產生程式碼，讓 GPT-4產生生成程式碼的腳本會更準確。 ● 主觀評估不足：需將主觀特徵分解為具體可量化部分才能 評估。 ● 混淆參數與指標：可能將設計參數與性能指標混為一談， 導致錯誤建議。 大型語言模型應用於電腦設計與生產流程 (8/8) GPT-4的限制 30 (Makatura et al., 2024)
- 32. 整合大型語言模型的自動化化學研究 (1/5) Coscientist 32 (Boiko et al., 2023) 目標 實驗規劃 網路搜尋 程式執行 文件搜尋 實驗結果
- 33. 整合大型語言模型的自動化化學研究 (2/5) 由Coscients設計反應實驗 : 1. 準備 33 (Boiko et al., 2023)
- 34. 整合大型語言模型的自動化化學研究 (2/5) 由Coscients設計反應實驗 : 2. 規 劃 34 (Boiko et al., 2023) Planner
- 35. 整合大型語言模型的自動化化學研究 (4/5) 由Coscients設計反應實驗 : 3. 評估 35 (Boiko et al., 2023)
- 36. 整合大型語言模型的自動化化學研究 (5/5) 由Coscients設計反應實驗 : 4. 結果 36 (Boiko et al., 2023)
- 37. 製造業的大型語言模型應用框架 (1/5) FILLIS 工廠整合邏輯和語言介面系 統 37 (Garcia et al., 2024) Factory Integrated Logic and Language Interface System 長期記憶 文件資料
- 38. 製造業的大型語言模型應用框架 (2/5) 資料來源 38 (Garcia et al., 2024) ● 會計：薪資文件、預算資訊、應收/應付帳款、發票 ● 工程：產品保固資料、設備保固資料、使用者與維護手冊 ● 行政管理：公司資訊 ● 設施管理：設備維護日誌、設施維護日誌 ● 人力資源：員工資訊 ● 製造現場：庫存日誌、製程流程資料、即時感測器資料、感 測器日誌、標準作業程序、品質資料、製程控制資料、即時 機械控制程式碼 ● 採購：材料價格資料、材料訂單合約、原材料訂單資訊 ● 銷售：銷售合約、訂單日誌、銷售資料 ● 運輸與物流 ：運輸和物流資訊
- 39. HAAS Desktop Mill手冊 ● 頁數：187 ● 檔案大小：18.5MB 匯入到LLM助手FILLIS ● GPT 3.5 API ● LangChain 製造業的大型語言模型應用框架 (3/5) 銑床案例研究 39 (Garcia et al., 2024) 這手冊 也太厚了吧...
- 40. ● 問題1 & 問題2（可根據手冊回答）：有關 HAAS 銑床的操作 步驟或功能使用說明的具體問題 ○ 如何啟動HASS銑床？ ○ 如果要將主軸以逆時針旋轉並定速1500RPM，我該下什麼 Gcode指令？ ● 問題3（無法僅根據手冊回答）： ○ 要如何移除HASS銑床的主軸？ ● 問題4（翻譯問題）： ○ 將HASS銑床的啟動步驟翻譯成西班牙文 製造業的大型語言模型應用框架 (4/5) 提問設計 40
- 41. ● 測試結果顯示FILLIS表現良好。 ○ 對於能夠回答的問題，它提供了準確的資訊。 ○ 對於不應該回答的問題，它告知使用者它沒有足夠的資訊來 回答該問題，並將使用者導向正確的來源以查找資訊。 ● 大型語言模型的強大之處在於 FILLIS 以簡潔易讀的方式 提供了非常重要的資訊。 ○ 對於第一個詢問啟動程序的問題，FILLIS 整合了第 77、95、 184 頁等散落在超過100頁多個不同章節的說明。 ● 對於翻譯請求，模型提供了幾乎完美的翻譯，而無需使用請 求語言的手冊版本。 製造業的大型語言模型應用框架 (5/5) 結果與評估 41
- 42. 42 我也做得到嗎？ 好想要！
- 45. 參考資料 (1/2) 45 ● Colabianchi, S., Bernabei, M., & Costantino, F. (2022). Chatbot for training and assisting operators in inspecting containers in seaports. Transportation Research Procedia, 64, 6–13. https://doi.org/10.1016/j.trpro.2022.09.002 ● Sai, B., Thanigaivelu, S., N, S., C S, S. B., & A, R. (2022). Integration of Chatbots in the Procurement Stage of a Supply Chain. 2022 6th International Conference on Computation System and Information Technology for Sustainable Solutions (CSITSS), 1–5. https://doi.org/10.1109/CSITSS57437.2022.10026367 ● Sun, F., Zhan, Z., Guo, H., Zhang, M., & Tang, J. (2023). GraphVF: Controllable Protein-Speci?c 3D Molecule Generation with Variational Flow (No. arXiv:2304.12825). arXiv. https://doi.org/10.48550/arXiv.2304.12825 ● Hsu, Y.-C., Yang, Z., & Buehler, M. J. (2022). Generative design, manufacturing, and molecular modeling of 3D architected materials based on natural language input. APL Materials, 10(4), 041107. https://doi.org/10.1063/5.0082338
- 46. 參考資料 (2/2) 46 ● Stella, F., Della Santina, C., & Hughes, J. (2023). How can LLMs transform the robotic design process? Nature Machine Intelligence, 5(6), 561–564. https://doi.org/10.1038/s42256-023-00669-7 ● Makatura, L., Foshey, M., Wang, B., H?hnlein, F., Ma, P., Deng, B., Tjandrasuwita, M., Spielberg, A., Owens, C., Chen, P. Y., Zhao, A., Zhu, A., Norton, W., Gu, E., Jacob, J., Li, Y., Schulz, A., & Matusik, W. (2024). How Can Large Language Models Help Humans in Design and Manufacturing? Part 1: Elements of the LLM-Enabled Computational Design and Manufacturing Pipeline. Harvard Data Science Review, Special Issue 5. https://doi.org/10.1162/99608f92.cc80fe30 ● Boiko, D. A., MacKnight, R., Kline, B., & Gomes, G. (2023). Autonomous chemical research with large language models. Nature, 624(7992), 570–578. https://doi.org/10.1038/s41586-023-06792-0 ● Garcia, C. I., DiBattista, M. A., Letelier, T. A., Halloran, H. D., & Camelio, J. A. (2024). Framework for LLM applications in manufacturing. Manufacturing Letters, 41, 253–263. https://doi.org/10.1016/j.mfglet.2024.09.030