狠狠撸

狠狠撸Share a Scribd company logo
2018/07/19
NTT ソフトウェアイノベーションセンタ
大嶋悠司
KubeFlow
Machine Learning on k8s
自己紹介
大嶋 悠司 @overs_5121
NTT ソフトウェアイノベーションセンタ
OSS活動が主な業務
? GoBGP(ソフトウェアBGPルータ)
? Docker
? Docker/Infrakit (メンテナ)
? KubeFlow/Katib (オーナー)
2018 07-19dist
What is KubeFlow?
Kubernetes上で機械学習タスクを管理するOSSプロジェクト
? KubeCon2017NAにてGoogleが発表
? 6月末にv0.2がリリース
? Kubecon2018NA(12/16)にv1.0リリース予定
? 参加企業(一部)
? Google
? Intel
? Cisco
? Alibaba
? PFN
? NTT などなど..
コミュニティでの注目度
@KubeCon2018EU
https://schd.ws/hosted_files/kccnceu18/d4/Kubeflow_Deep_Dive.pdf
コミュニティでの注目度
@KubeCon2018EU
https://schd.ws/hosted_files/kccnceu18/d4/Kubeflow_Deep_Dive.pdf
何故,KubeFlow?
個々を解決するツールは存在するが,それらだけで解決する問題でない
自分ですべてをカバーするシステムを設計?メンテするのは容易ではない
SageMaker? CloudML? Machine Learning Studio?
SageMaker? CloudML? Machine Learning Studio?
いいや,僕らにはKubernetesがある!
MLをCloud Nativeに!
Composability
Portability
Scalability
Concept of KubeFlow
Composability
Roll-out Serving Monitering Logging
Data
Ingestion
Data
Analysis
Data
Transform
-ation
Data
Validation
Data
Splitting
Trainer
Building
a
Model
Model
Validation
Training
At Scale
ML Platform
Composability
Roll-out Serving Monitering Logging
Data
Ingestion
Data
Analysis
Data
Transform
-ation
Data
Validation
Data
Splitting
Trainer
Building
a
Model
Model
Validation
Training
At Scale
ML Platform
TF/Pytorch/Chainer Operator
Katib
Portability
各コンポーネントはk8s前提,k8sにのみ依存
k8sさえあればどこにでもデプロイ可能
Google
GKE
AKS
on-premise
Scalability
? TensorFlow
? Pytorch
? ChainerMN
多くのフレームワークで分散学習がサポートされるが使い勝手はそれ
ぞれ
CRDを用いたオペレータで隠蔽,自然に分散学習を利用可能に
今後の期待
分析基盤系ツールは乱立状態
KubeFlowがMLプラットフォームのデファクトを作り
各ツールの位置,連携の整理を期待
参考:CAの青山さんが素敵な発表をされてます
https://speakerdeck.com/masayaaoyama/introduction-to-kubeflow-0-dot-1-and-future-at-cloud-native-meetup-tokyo-number-2

More Related Content

2018 07-19dist