狠狠撸

サイバーエージェントの
機械学習エンジニアが
体験したGoogle I/O 2018
株式会社サイバーエージェント數見拓朗
1

自己紹介
數見拓朗（経済学博士）
業務
? メディア、広告事業のデータ分析や機械学習システムの開発?運用
2

概要
5/6-5/9 Google I/O 2018で紹介された
ML/AIに関連する製品?OSS?技術を紹介
今さら
3

目次
1
2
3
Google I/O 2018概要
ML/AIセッションの概要
ML/AIを製品に組み込むために必要な製品?OSS?技術の紹介
4

目次
1
2
3
5

Googleが主催する開発者向けカンファレンス
? Android開発者向けセッションが多数
? KeyNoteで新製品の発表
弊社からは、15人程度参加
? https://cyberagent.connpass.com/event/84233/
セッション、展示ブース、コードラボなど様々な施設が開設
ナイトパーティーの開催
6

Smart Compose
9
https://www.youtube.com/watch?v=ogfYd705cRsより引用

Google Duplex
10
https://ai.googleblog.com/2018/05/duplex-ai-system-for-natural-conversation.htmlより引用

目次
1
2
3
11

セッショントピック一覧
? TPU3.0
? AllReduce型分散学習
1.モデルの学習
? TensorFlow Lite
2.モデルの圧縮
? TensorFlow.js
? ML Kit
? 機械学習講座
3.機械学習の
民主化
? データの変換?分析
? モデルの分析?管理
? サービング
4.機械学習処理
パイプライン
5.事例集
? 天文学とTensorFlow
? Magenta
? 心疾患リスク予測
12

ML/AIセッション数の変化
5
88
18
2017 2018
13

目次
1
2
3 ML/AIを製品に組み込むために必要な製品?OSS?技術の紹介
14

セッショントピック一覧（再掲）
? TPU3.0
? TensorFlow Lite
? TensorFlow.js
? ML Kit
? 機械学習講座
3.機械学習の
民主化
? サービング
パイプライン
5.事例集
? 天文学とTensorFlow
? Magenta
? 心疾患リスク予測
15

ML/AI技術を製品に組み込むために必要な製品?OSS?技術
1.モデルの学習 2.モデルの圧縮
3.機械学習の
民主化
パイプライン
5.事例集
Distributed TensorFlow training
16

同期型AllReduceによる勾配共有法
17
https://www.youtube.com/watch?v=bRMGoPqsn20より引用

パイプライン
5.事例集
? TensorFlow Lite
3.機械学習の
民主化
TensorFlow Lite for mobile developers
18

TensorFlow Lite
for mobile developers
19https://www.youtube.com/watch?v=ByJnpbDd-zcより引用

パイプライン
5.事例集
モデルの学習 2.モデルの圧縮
? ML Kit
3.機械学習の
民主化
ML Kit: Machine Learning SDK for mobile developers
20

モバイル開発者向け機械学習ツール
学習済みモデルの提供
? テキスト認識?顔認識などの学習済みモデル
? モバイル内で再訓練可能
Dynamic feature modules
? アプリのアップデートをユーザが行う際に、変更のあった（必要な）モジュールのみ
をダウンロードし、ダウンロード容量を削減
機械学習モデルの更新
? 機械学習モジュールを分離しておけば、更新したモジュールのみをアップデート可能
? Firebaseと連携し、介入群にのみA/Bテストを容易に実行可能
21

1.モデルの学習 2.モデルの圧縮
3.機械学習の
民主化
TensorFlow in production: TF Extended, TF Hub, and TF Serving
? サービング
パイプライン
5.事例集
22

ML
Core
Data
Collection
Configuration
Data
Verification
Monitoring
Feature Extraction
Analysis Tool
Process
Management
Tool
Machine
Resource
Management
Serving
Infrastructure
Sculley, D., et al. “Hidden technical debt in machine learning systems.” Advances in neural information processing systems. 2015. より作成
TFXの挑戦:
MLを実環境へ適用する際の障壁
23

TFXが解決する問題
24
データの分析特徴量変換モデルの学習モデルの分析
モデル
サービング
TensorFlow/Transform TensorFlow/Model Analysis
TensorFlow/Servingfacets

25
https://www.tensorflow.org/tfx/より引用

26
Modules
TensorFlow Hub
https://www.youtube.com/watch?v=CxUc5FJF_9wより引用
モデルが依存する要素
アルゴリズムデータ計算資源ノウハウ

27丑迟迟辫蝉://飞飞飞.迟别苍蝉辞谤蹿濒辞飞.辞谤驳/丑耻产/尘辞诲耻濒别蝉/より引用様々なモジュールの公开

28
TensorFlow Hub
モデル作成者
ドメインモデル名
モデルバージョン

29论文の再现性を担保するために利用

30
TensorFlow Hub

Google I/O 2018に参加をして
1.機械学習アルゴリズムとその周辺システムのOSSに積極的
? ML KitやTFXなど機械学習の様々なステップが簡略化され、非機械学習エンジニア
が機械学習を容易にできる環境へ
? 特に、ML Kit、Firebase、TF Liteなどにより、iOS/Android開発者向けの機能が充
実
2.製品化につながる部品に注目
? 効率的に学習を行うための分散学習機能
? モデルを圧縮するTensorFlow Lite
? データの前処理、モデルの管理などを担当するTFX
? Android/iOS向けツールのML Kit
31

ML/AIセッション一行要約
[Day1][モデルの学習] Effective machine learning using Cloud TPUs
? TPU3.0のリリース
[Day2][機械学習の民主化] Getting started with TensorFlow high-level APIs
? tf.keras、tf.data、Eager Executionで学ぶTensorFlow
[Day2] [機械学習の民主化] Building the future of artificial intelligence for everyone
? Human-Centric AI
[Day2] [機械学習の民主化] TensorFlow for JavaScript
? サーバサイドJSからTensorFlowを利用
[Day2] [機械学習の民主化] Introduction AIY: Do-it-yourself Artificial Intelligence
? 作って学ぶAI
[Day2][機械学習の民主化] ML Kit: Machine Learning SDK for mobile developers
? ML Kitを利用した、圧縮された学習済みモデルのモバイルへのデプロイ
34

ML/AIセッション一行要約
[Day2][機械学習周辺システム] TensorFlow in production: TF Extended, TF Hub, and TF Serving
? 機械学習を実プロダクトに適用する周辺システムについて
[Day3][モデルの圧縮] TensorFlow Lite for mobile developers
? モデル圧縮技術を利用したデバイスへの機械学習モデルのデプロイ
[Day3][機械学習の民主化] TensorFlow and deep reinforcement learning, without PhD
? 初学者向け強化学習講座
[Day3][機械学習の民主化] Opportunities, challenges, and strategies to develop AI for everyone
? 様々なステークホルダーが参加するAIプロジェクトの進め方
[Day3][事例集] Advanced in machine learning and TensorFlow
? 様々な分野で活用されるTensorFlow
[Day3][モデルの学習] Distributed TensorFlow training
? 同期型AllReduceによる勾配学習法のリリース
35

狠狠撸

サイバーエージェントの機械学習エンジニアが体験したGoogle I/O 2018

More Related Content

サイバーエージェントの機械学習エンジニアが体験したGoogle I/O 2018