狠狠撸

1
Proprietary and Confidential ?2017 JapanTaxi, Inc. All Rights Reserved
MLOps NYC 19
&
Strata Data Conference 2019 New York
注目セッションまとめ
2019/12/4
JapanTaxi
次世代モビリティ事業部
渡部徹太郎

2
2
自己紹介
ID : fetaro
名前：渡部徹太郎
研究：東京工業大学でデータベースと情報検索の研究(@日本データベース学会)
前職：
- 大手SIer: オンライントレードシステム基盤
- 大手SIer: オープンソース技術部隊 (MongoDB等)
- リクルートテクノロジーズ: ビッグデータ分析基盤 (EMR, Hortonworks, BigQuery, Oracle Exadata)
現職：
- JapanTaxi: データエンジニア
エディタ：
- emacs派 → InteliJ派
趣味:
- 自宅サーバ
日本AWSユーザ会(JAWS)
ビッグデータ支部

3
3
? MLOps NYC 2019
o カンファレンスの概要
o Netflix社事例
oWalmart社事例
目次
? Strata Data Conference 2019 NewYork
o カンファレンスの概要
oSurvey Monkey 社事例
o Geotab社 / Google 社事例
o おまけ
? EXPO
? 求人ボード

4
Proprietary and Confidential ?2017 JapanTaxi, Inc. All Rights ReservedProprietary and Confidential ?2017 JapanTaxi, Inc. All Rights Reserved
ML Ops NYC 2019
カンファレンスの概要

5
5
ML Ops NYC 2019の様子
? MLOps（機械学習の本番化や運用）をテーマにしたカンファレンス
? 著名なStrata Data Conferenceの初日(Dev Day)に近くの会場で開催されたカンファレンス
o 間違いなくStrataの参加者を取り込もうと狙っている
? セッションは１並列だが、著名な企業の発表が多く内容の濃いカンファレンスだった
? 参加費は約$300

6
Netflix社
A Human Friendly Approach to
MLOps

7
7
? MLのプロジェクト
o データ探索（?２週間）
o プロトタイピング（６?８週間）
o 本番化（１２?１４週間）
o リリース後のモデル更新（?８週間）
? 課題
o プロトタイピング、本番化、リリース後のモデル更新に時間がかかる
? 解決法
o 独自フレームワーク「Metaflow」の導入
o Metaflowは以下の開発スタック全体をラッピングしてくれる
Netflix
Metaflow

8
8
? MetaflowではPythonのデコレータ（@で始まる関数修飾子）を駆使する
o データサイエンティストはローカルでPythonを書くだけで良い
o ローカルで開発することができ、そのままクラスタ上で分散処理させることが可能
Netflix
DAG(データアローダイアグラム）の生成各ステップの結果の永続化

9
9
Netflix
計算リソースの確保 forループで並列処理

10
10
Netflix
オンライン推論エンドポイントの作成
https://blog.japantaxi.co.jp/2019/11/20/5133詳細な説明：JapanTaxiブログ：
DAGの中間状態をNotebookでデバッグ
https://www.youtube.com/watch?v=fOSZuONmLbA#action=share動画：
? 結果
o サイエンティストからは「本番デプロイの複雑さを軽減してくれた」と好評を得ている
o 最初のモデルの本番化であれば、１週間未満で実現できているプロジェクトが最も多くなった
o ?100のアクティブユーザ

11
Walmart社
Data as the Enabler of Digital
Transformation

12
12
? MLプロジェクトの60%?80%がプロダクションにならずに頓挫している
o 連携不足
? IT担当、エンジニア、データ、そしてデータサイエンスのチームの連携不足
? データサイエンティストがエンジニアリングの知識不足
o ビジネスの理解を得られない
? データの品質が不明瞭
? ビジネスとの握りが曖昧
? ビジネスへの説明不足
o MLのOps(運用)の難しさ
? データサイエンティストが書いたコードは本番には採用できない
? データのETLにかなり苦労する
Walmart

13
13
? Walmartでのアプローチ
o MLプロジェクトで３つのゴールデンルールを作り、これを説明することを徹底した
1. なぜ重要なのか？
? だれかがそれに金を払うか
? 「Cool」なプロダクトはいらない
2. 説明できるか？
? ビジネスの言葉で説明できるか
3. 実装できるか？
? 本番化する計画は明瞭か
? MLOpsの実践
o 「人」「プロセス」「技術」の３つを常に考える
? 自動化を推進する
? プロセスは包括的になるようにする
? フィードバックループを回す
? ビジネスユーザフレンドリーにする
Walmart

14
14
? MLソリューションの全体像
Walmart

15
Strata Data Conference 2019 NewYork
カンファレンスの概要

16
16
Strata Data Conference 2019 NeyWorkの概要
? O’REILLY社主催のデータ系カンファレンス
? Hadoop全盛期はHadoopの事例が多く発表されたが、近年は機械学習やHadoop以外のデータ系ソリューションの
話題にシフトしてきている
? 参加費は約$1000

17
Survey Monkey 社
Your cloud, your ML,
but more and more scale?
How Survery Monkey did it

18
18
? MLの進化
o Phase1: アドホックML
? jupyter nootbookやExcelなどを用いたアドホックな機械学習
o Phase2: ML as a Service (2017)
? 予測モデルごとにサービスを作っていった
? Nginx → pyramid → 予測モデルという組み合わせを何個も作った
? 良かった点
? いろいろなMLライブラリを使える
? リソースが分離されている
? 悪かった点
? 複数のSDKが存在し管理が大変
? A/Bテストが存在しない
? 特徴量の共有がない
? 同期的な推論しかできない
Survey Monkey

19
19
? MLの進化
o Phase3: ML as Platform
? 一つのエンドポイントを用意し、
リクエストをルーティング
? A/Bテスト
? 非同期の推論のサポート
? 特徴量のシェア
? リソースの最適配分
? スケーラビリティの確保
? モデル?学習データの標準化
? AWS / kong(API) / Clipper(推論サービス) /
Tensorflowで作った
o Phase3の結果
? リリースが8週間から2週間に
? 50%のコスト削減
? 20倍のサービング容量
? ただし、デバッグは大変になった
Survey Monkey

20
Geotab社 / Google社
Turning petabytes of data
from millions of vehicles
into open data with Geotab

21
21
? 扱うデータ
o 180万のコネクティッド車両
o 1日に409億のデータポイント
o 5ペタのデータをBigQueryに格納
? データの用途
o 交通?安全
? 交差点の調査、危険エリア、速度、タイヤの空気圧
o 効率的なコミュニケーション
? ライドシェア、メンテナンス
o 環境
? 天気、大気の品質管理、ガスの排気量のモデリング、
EVの充電場所
? どうやってデータを取るか
o 自前のセンサを付ける
GeoTAB / Google

22
22
? GeoTABのデータ分析の遷移
o データはアプリケーションに依存してバラバ
ラだった
o 部署ごとにバラバラの値をレポートしていた
o 会社が小さく、誰に聞けばよいかがわかった
o データも小さく、レポートを作る過程でデー
タを浄化すればよかった
o Google Sheetでコラボレーションしていた
GeoTAB / Google
o BigQueryにデータを統合した
o 全ての物事をBigQueryに格納した
o GSuiteを使っていたから、簡単にBigQueryを使
い始めることができた
o 標準SQLが多くの開発者にとって使いやすかった
o WebUIベースで多くのツールを付け足す形で進化
していった
2014年 2019年
? まとめ
o BigQueryとともに成長してきた。
o BigQueryは180万の車両になった今も、40万の車両だったときと同じパフォーマンスを出して
いる
o GISクエリ、BQ ML、スピードの改善、パーティショニングなど日々進化している
o 完全にマネージドなデータウェアハウスなので、価値の提供に集中できる

23
おまけ

24
24
? Expoにブース出店していた割合 ※私が話を聞いた２９社中の割合
o データベース（グラフDBなど）：５社
o データガバナンス：４社
o ETL：４社
o 機械学習製品：３社
o データカタログ：３社
o データレイク（オブジェクトストレージなど）：３社
o データウェアハウスサービス：２社
o データテストソリューション：１社
o その他（BI、 SIer、ワークフロー）：４社
? 所感
o 実際にデータ分析を進めていくと苦労する領域である、「データガバナンス」や「データカ
タログ」の会社が増えてきた
Strata Expoブースの傾向

25
25
? データサイエンティストと同じぐらいデータエンジニアの求人が多い
Strata 求人ボード

狠狠撸

ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ

More Related Content

ML Ops NYC 19 & Strata Data Conference 2019 NewYork 注目セッションまとめ