![[2019 臺灣雲端大會]使用雲端技術打造快速的 AI 服務上線](https://cdn.slidesharecdn.com/ss_thumbnails/01-190516061350-thumbnail.jpg?width=560&fit=bounds)
More Related Content
Similar to 2020 MLaaS 產業介紹.pdf (20)
More from 家弘 周 (16)
2020 MLaaS 產業介紹.pdf
- 1. MLaaS 產業介紹 Machine Learning as a Service sj@toright.com http://blog.toright.com
- 2. AI / ML SaaS 市場規模 ● AI software and platforms will reach $97.9 billion in 2023. ● The compound annual growth rate (CAGR) for the 2018-2023 forecast period will be 28.4%. ○ 資料來源 https://www.idc.com/getdoc.jsp?containerId=prUS45481219
- 3. MLaaS market is expected to post a CAGR of over 38% The global machine learning-as-a-service (MLaaS) market is expected to post a CAGR of over 38% during the period 2019-2023, according to the latest market research report by Technavio. ○ 資料來源 https://www.technavio.com/report/global-machine-learning-as-a-service-mlaas-market-industry-analysis
- 4. AI / ML SaaS 市場規模 ● 台灣公有雲服務支出則預計於2023年達到11.22億美元，預計五年複合成長率達 11.83%。 ● 亞太市場 ○ IaaS 佔 50.2％、SaaS 佔 39.03％、PaaS 佔 10.7％ ○ 中國、澳洲及印度將是亞太區公有雲發展主要市場 ● 台灣市場 ○ IaaS 佔 46.4％、SaaS 佔 46.7％、PaaS 佔 7.0％ ○ 離散製造，專業服務和銀行業是台灣公有雲市場主要三大應用 產業 ○ 資料來源 https://www.idc.com/getdoc.jsp?containerId=prAP45576519
- 5. 四巨頭 MLaaS ● Google Cloud AI ● Amazon SageMaker ● IBM Watson ● Microsoft Azure AI
- 6. Google Trend「品牌 + 產品關鍵字」搜尋熱度比較 https://trends.google.com.tw/trends/explore?date=today%205-y&q=Amazon%20SageMaker,Google%20AutoML,Azure%20Machin e%20Learning,IBM%20Watson
- 8. Google Cloud AI by Shime
- 9. Google Cloud AI ● AI Hub ○ 隨插即用 AI 元件的託管存放區 ○ 端對端 AI 管道、立即可用的演算法、 kube?ow工作管線、Jupyter Notebooks以及TensorFlow模 組 ○ 重用人工智慧資源 ● AI Building Blocks ○ 可讓開發人員輕鬆地將 視覺內容、語言、對話和結構化資料加入應用程 式中。 ○ 建構模塊有兩種：AutoML 用於自訂模型，API 用於預先訓練的模型。 ● AI Platform ○ 是以程式碼為基礎的數據資料學開發環境，可協助機器學習開發人員和數據資料學家，縮短從 構思專案到投入部署的時程。 ○ 一個端到端的開發平臺，團隊可以使用共享介面，準備、建置、執行以及管理機器學習專案，各 種角色都能參與其中。
- 10. AI Building Blocks ● 視覺 ○ Vision AI ■ AutoML Vision ■ Vision API ○ Video AI ■ AutoML Video Intelligence ■ Video Intelligence API ● 對話 ○ Dialog?ow ■ 打造對話體驗 ○ Cloud Text-to-Speech API ■ 採用機器學習，將文字轉換成語音 ○ Cloud Speech-to-Text API ■ 採用機器學習，將語音轉換為文字 ● 語言 ○ 翻譯 ■ AutoML Translation ■ Translation API ○ Natural Language ■ AutoML Natural Language ■ Natural Language API ● 結構化資料 ○ AutoML Tables ■ 利用機器學習，快速處理大量的結構 化資料 ○ Recommendations AI ■ 為客戶提供更多他們感興趣的內容 ○ Cloud Inference API ■ 針對已分類的時間序列資料集，快速 執行大規模的關聯性運算。
- 11. Vision AI
- 12. Vision AI
- 13. Vision AI - API
- 14. Video AI
- 15. Video AI - API
- 18. AutoML Tables ● 輕鬆將結構化資料建模與佈署 ● 利用机器学习，快速处理大量的结构化资料
- 20. Amazon SageMaker 四項產品主線 標籤 ● Amazon SageMaker Ground Truth 建立 ● Amazon SageMaker Studio ● Amazon SageMaker Notebook ● Amazon SageMaker Autopilot 訓練與調整 ● Amazon SageMaker Experiments ● Amazon SageMaker Debugger 佈署與管理 ● Amazon SageMaker Model Monitor ● Amazon Augmented AI ● Amazon Elastic Inference ● Kubernetes - Kube?ow Amazon 透過自家的 AWS 搭建 Machine Learning 服務，功能完整橫跨的 AI 產品發展生命週期，這一類型 的產品服務 TA 為有資料科學背景的使用者、企業與 AI 產品開發相關市場。Amazon 提供的產品服務主要區 分以下四項：
- 21. 標籤 - Amazon SageMaker Ground Truth ● 透過 AI 輔助標記，減少標記資料 70% ● 整合 Amazon Mechanical Turk 提供 500,000 名標籤人員 ● 標記人員計分機制，確保品質
- 22. 建立機器學習模型 - Amazon SageMaker Studio ● Web IDE 整合 Machine Learn 開發工具 ● 上傳資料，創建新的筆記本、訓練和調整模型、模型部署
- 23. 建立機器學習模型 - Amazon SageMaker Notebook ● 等同 Jupyter 筆記本、提供協作編輯功能 ● 可在 AWS Marketplace 中獲得數百種可用的演算法和經過預先訓練的模型
- 24. 註：Machine learning solutions in AWS Marketplace https://aws.amazon.com/marketplace
- 25. 建立機器學習模型 - Amazon SageMaker Autopilot ● SageMaker Autopilot 與 Amazon SageMaker Studio 整合 ● 多達 50 種由 SageMaker Autopilot 自動產生的不同模型
- 26. 訓練機器學習模型 - Amazon SageMaker Experiments ● 協助您組織和追蹤機器學習模型的反覆執行 ● 自動擷取輸入參數、組態和結果，以視覺化方式比較實驗結果。
- 27. 訓練機器學習模型 - Amazon SageMaker Debugger ● 訓練過程中自動擷取即時指標，例如訓練和驗證、混淆矩陣和學習梯度，來協助 提高模型準確性。 ● 對異常情況進行分析和偵錯。例如，若確定梯度消失，訓練將會停止。可識別逐 漸消失的梯度，因此您可以在影響培訓之前進行補救。
- 28. 部署機器學習模型 - Amazon SageMaker Model Monitor ● Amazon SageMaker 一鍵佈署，自動建立 HTTPS API，自動拓展 ● 自動偵測部署模型中的概念漂移，並提供詳細的提醒，以協助確定問題的根源
- 29. 部署機器學習模型 ● Amazon Augmented AI ○ 建立機器學習預測人工審 查所需的工作流程，可以在模型無法做出高信賴度預測時，允許人工審 查 者介入。 ● Amazon Elastic Inference ○ 推斷加速，可讓您在任何 Amazon EC2、Amazon SageMaker 執行個體類型或 Amazon ECS 任務上 附加適當的 GPU 支援推斷加速數量。 ● Kubernetes - Kube?ow ○ 使用 Kubernetes 運算子和管道，在 SageMaker 中訓練和部署模型。 Kubernetes 使用者可透過 Kube?ow，在本機存取 SageMaker 的所有功能。
- 30. IBM Watson by JJ
- 31. Watson 服務 - AI管理工具 ● Watson Studio ○ 建置與訓練 AI 模型，並在單一整合環境中準備與分析資料 ● Watson Machine Learning ○ 使用自動化協同作業工作流程來建立、訓練與部署自學模型 ● Watson OpenScale ○ 追蹤及測量 AI 的成果，並調整及控管 AI 以因應變化的商業狀況 ● Watson Knowledge Catalog ○ 運用智慧型資料和分析資 產探索、編目與控管，來推動 AI 應用程式
- 32. AI管理工具 - Watson Studio ● 建置、部署、測試、重新訓練和監視預測性機器學習模型
- 33. AI管理工具 - Watson Studio ● 資料準備 ○ 利用「資料精製」工具（提供 內建資料清理及轉換）來發掘資料當中的隱藏洞察。存取表格化的資 料檢視，包括視覺化和描述統計，以協助您藉由向資料提出正確的商業問題來發掘隱藏的洞察。
- 34. AI管理工具 - Watson Studio ● 資料探索 ○ 使用內含的儀表板服務，即時直接從您的資料 產生驚人的視覺化。這可為您 啟發先前不明的模 式、關係或其他可據以採取行動的發現結果，並輕鬆地與您的團隊共享。
- 35. AI管理工具 - Watson Studio ● 模型開發 ○ 使用可隨工作流程增減的自訂運算環境來測試與部署模型。從 Anaconda、Apache Spark 及 GPU 環境的各種容量選項進行挑選。
- 36. AI管理工具 - Watson Studio ● 模型部署 ○ 一旦您的模型準備就緒，即可使用 Watson? Machine Learning 服務來進行部署與評分。 ● 模型管理 ○ 運用深度學習實驗，輕鬆比較執行作業與執行模型超參數優化。
- 37. AI管理工具 - Watson Studio ● 模型評估 ○ 透過使用 IBM SPSS? Modeler 的模型視覺化功能，將模型與資料之間的適配性視覺化，藉此改 善您的模型效能。
- 38. AI管理工具 - Watson Knowledge Catalog ● 可協助商業使用者快速探索、策劃、分類與共用資料資產、資料集、分析模型，以 及他們與組織當中其他成員的關係。
- 39. Watson 服務 - Watson 應用程序 ● Watson Assistant ○ 建置與部署會談機器人及虛擬助理。 ● Watson Discovery ○ 結合自動化汲取和進階 AI 功能來發現資料當中的連結。 ● Watson Speech to Text ○ 輕鬆將影音轉換成文字。 ● Watson Natural Language Understanding ○ 分析文字以從內容（例如概念、實體和觀感）擷取 meta 資料。
- 40. Watson 服務 - Watson APIs ● Watson Visual Recognition ○ 使用深度學習演算法來分析場景、物件、臉部及其他 內容的影像。 ● Watson Text to Speech ○ 從文之a生類似人聲的音訊，使用多國語言和各種聲調與使用者互動。 ● Watson Language Translator ○ 語言翻譯程式會將一種語言的文字轉換成另一種語言。 ● Watson Natural Language Classi?er ○ 瞭解文字背後的意圖，並傳回對應分類以及填入信任評分，再根據分類結果更新訓練資料，並使 用更新的訓練資料來建立及訓練分類器。 ● Watson Personality Insights ○ 透過文字來預測人格特徵、需求和價 值。大規模瞭解客戶個別層面的習慣和喜好。 ● Watson Tone Analyzer ○ 使用語言分析來偵測文字中的情緒和語氣。
- 42. AI + 機器學習服務 ● 機器學習 ○ Azure Machine Learning ○ Azure Databricks ● 知識發掘 ○ Azure 認知搜尋 ● AI 應用程式和代理程式 ○ 認知服務 ○ Azure Bot Service
- 43. 機器學習 - Azure Machine Learning ● 使用自動機器學習可簡單地建立模型，輕鬆擴展調整模型 ● 可使用任何的python open source frameworks & tools ● 使用MLOps (DevOps for ML) 管理工作流程 ● 輕鬆在雲端和邊緣部署和管理
- 44. 機器學習 - Azure Machine Learning ● 以 Python 或 R 建置 ML 模型 ○ Azure Machine Learning Python SDK 或 R SDK，開始訓練您的本機電腦。然後可以 擴充至雲端 ● 使用無程式碼的工具建置 ML 模型 ○ Azure Machine Learning 設計工具 ○ 自動化機器學習UI
- 45. 機器學習 - Azure Machine Learning MLOps (DevOps for ML)：模型管理、部署和監視 ● 建立可重現的 ML 管線 (ML pipelines) ○ 管線可讓您針對資料準備、定型和評分程式，定義可重複且可重複使用的步驟。 ● 從任何地方註冊、封裝和部署模型 ○ 追蹤使用模型所需的相關中繼資料。 ● 捕捉捕獲端對端ML 生命週期所需的治理資料 ○ 包括正在發佈模型的物件、變更的原因，以及模型部署或用於生 產環境中的時間。 ● 通知和警示 ML 生命週期中的事件 ○ 例如實驗完成、模型註冊、模型部署和資料漂移偵測。 ● 監視 ml 應用程式的操作和ml 相關問題。 ○ 比較定型和推斷之間的模型輸入、探索模型特定計量，以及提供 ML 基礎結構的監視和警示。 ● 使用 Azure Machine Learning 和 Azure DevOps 自動化端對端 ML 生命週期 ○ 以便經常更新模型、測試新模型，以及持續推出新的 ml 模型以及其他應用程式和服務。
- 46. 機器學習 - Azure Machine Learning ● ML pipelines ○ 定義可重複使用的機器學習服務工作流程，以作為您機器學習服務案例的範本 ○ 自動執行、異構計算、再使用性、追蹤和版本控制、模組、共同作業 ○ Python SDK、Azure Machine Learning 設計工具
- 47. 機器學習 - Azure Machine Learning ● 建置介紹 ○ Azure Machine Learning 設計工具 ○ Python SDK
- 48. 機器學習 - Azure Databricks 針對 Microsoft Azure 雲端服務平台進行最佳化的 Apache Spark 分析平台
- 49. 知識發掘 - Azure 認知搜尋 ● Azure 認知搜尋是一個搜尋即服務雲端解決方案 ○ 內建 AI 功能的雲端搜尋服務，來發掘您 內容中的模式和關係、了解情感、擷取關鍵片語等等
- 50. AI 應用程式和代理程式 - 認知服務 ● 決策 ○ Anomaly Detector ○ 內容仲裁 ○ 個人化工具 ● 語言 ○ 沈浸式閱讀程式 ○ 語言理解 ○ 製作問與答的人員 ○ 文字分析 ○ Translator Text ● 語音 ○ 語音轉換文字 ○ 文字轉換語音 ○ 語音翻譯 ○ 說話者辨識 ● 辨識 ○ Computer Vision ○ 自訂視覺 ○ 臉部 ○ 表單辨識器 ○ 筆跡辨識器 ○ 影片索引器 ● 網路內容搜尋 ○ Bing Web 搜尋 ○ Bing 自訂搜尋 ○ Bing 自動建議 ○ Bing 拼字檢查 ○ Bing 新聞搜尋 ○ Bing 圖像式搜尋 ○ Bing 實體搜尋 ○ Bing 影片搜尋 ○ Bing 影像搜尋
- 51. AI 應用程式和代理程式 - Azure Bot Service ● 專門建置的 Bot 開發環境，包含現成可用的範本，可供您快速開始使用 ○ Bot Framework SDK
- 52. 市面 AI SaaS 相关产物
- 53. AI 四個領域 SaaS 工具 1. 資料：已標記資料提供者 (平台) 2. 標記：標記工具 / 媒合標記工作 3. 訓練：提供 GPU / 訓練工具 4. 推論：API / 應用 MLaaS 相關文章 ● 機器學習即服務（MLaaS）：Google、Azure和AWS如何使AI民主化 ● 2019年AI趨勢：MLaaS，人工智慧機器人過程自動化和大數據預測 ● 谷歌、微軟與亞馬遜搶奪企業AI的商機
- 54. 資料集 SaaS ● Kaggle Dataset ○ 可以在 Kaggle 內建的 Web Notebook 直接新增 Kaggle 上公開的資料疾病進行訓練 ● Labelme (有標記工具與Dataset) ○ A large dataset created by the MIT Computer Science and Arti?cial Intelligence Laboratory (CSAIL) containing 187,240 images, 62,197 annotated images, and 658,992 labeled objects. ● Google: Youtube-8M ○ 資料集包含 8,000,000 萬個 YouTube 視訊連結，這些視訊集進行了 video-level（視訊層級） 的標 註，標註為 4800 種 Knowledge Graph entities（知識圖譜實體）。 ● CelebFaces ○ Face dataset with more than 200,000 celebrity images, each with 40 attribute annotations. ● Google Dataset Search ○ 提供免費資料集下載與搜尋
- 55. 資料集 SaaS ● Places ○ Scene-centric database with 205 scene categories and 2.5 million images with a category label. ● Stanford Dogs Dataset ○ Contains 20,580 images and 120 di?erent dog breed categories, with about 150 images per class. ● Visual Genome ○ Visual Genome is a dataset and knowledge base created in an e?ort to connect structured image concepts to language. The database features detailed visual knowledge base with captioning of 108,077 images. ● DensePose ○ Dense human pose estimation aims at mapping all human pixels of an RGB image to the 3D surface of the human body.
- 56. 標記 SaaS ● LabelMe, the open annotation tool. ○ The goal of LabelMe is to provide an online annotation tool to build image databases for computer vision research. You can contribute to the database by visiting the annotation tool. ● 魁達智慧 - ezLabel ○ 影片連續標記工具 ● Annotorious ○ Open Source Web 標記工具 ● Handl ○ AI 輔助標記服務，80% AI 標 + 20% 人工標 ● LabelBox ○ 線上標記, 協同標記，目前看到最好用的線上標記工具
- 57. 訓練 SaaS ● Kaggle - Notebook ○ 功能近似 Jupyter Notebook，免費版速度慢常常開不起來，可以直接掛載 Kaggle 線上訓練 ● Google - Colab ○ 功能近似 Jupyter Notebook，免費 ○ 可以選擇 GPU/TPU 進行訓練加速, 提供 Ram 12G, Disk 68 GB ● Imagga: Custom Model Training ○ 圖片模型自動訓練， Analyze speci?c visual data by building custom models. ● MonkeyLearn ○ 文字分類與模型訓練服務，提供 API, Email, Chatbot, Phone 進行整合 ● ?oydhub ○ 提供 Jupyter Notebook 與 CLI，直接在雲端的機器執行運算 Job 來訓練模型 ● Nvidia AI Clara ○ 醫療影像相關的 Machine Learning 服務，提供 Docker SDK 來 Train Model 與推論，功能相當精 簡
- 58. 推論 SaaS ● KKBOX-AI 自動優化影片 ○ BlendVision 首先將推出「BlendVision Video Streaming」，結合「按主題編碼技術（ Per-Title Encoding, PTE）」，利用 AI 自動辨別不同位元速率（ Bitrate）進行影片壓縮轉檔，大幅減少傳輸頻 寬、節省儲存空間，有效降低 OTT 平台業者的營運成本。 ● 日本德勤用AI雲端推新創支援媒合服務 ○ 新創企業只要在這套系統上輸入公司的事業範疇以及商業型態，而大型企業則是輸入公司所遭 遇的難題，在經由 AI 人工智慧進行分析比對後，就會將適合進行合作的新創企業，介紹給利用 該服務的大型企業用 戶。 ● Imagga: Image Tagging API ○ Automate Your Image Tagging Process. ● AI Clare 語音助理 ○ 提供多種語系的 AI 語音助理，沒有看到相關 SaaS 服務，算是提供 AI 技術服務的商業模式 ● AI Market ○ 包含各種 API 與應用程式