Reactive Workflow Argo Eventsの紹介
Download as PPTX, PDF2 likes1,792 views
Kubernetes Meetup Tokyo #17にて自身も開発に参加しているArgo Eventsを紹介しました。
More Related Content
What's hot (20)
Similar to Reactive Workflow Argo Eventsの紹介 (20)
Recently uploaded (11)
Reactive Workflow Argo Eventsの紹介
- 1. Reactive Workflow Argo Eventsの紹介 Daisuke Taniwaki, Engineer Preferred Networks, Inc. 2019/3/18 Kubernetes Meetup Tokyo #17 1
- 2. 自己紹介 谷脇 大輔 (Daisuke Taniwaki) 職歴 2008~2012 Trend Micro - 未知の脅威を発見するWebクローラ 2012~2014 Kakaku.com - Tabelog USの立ち上げ 2014~2017 Kaizen Platform - Kaizen Optimization Platform 2017~現在 Preferred Networks - ジョブスケジューラやクラスター向けツール 技術領域 dtaniwaki dtaniwaki 2
- 3. Argoとは - KubernetesネイティブなOSSワークフローエンジン - ステップごとにPodや任意のリソースを定義 - DAGの形成、条件分岐、パラメータ実行 - Argo UIでワークフローの結果?進捗も可視化 - Intuitを中心に開発 - CI/CDのサイドプロジェクトもある 3
- 4. PFNでの利用例 - サーバの設定反映のフロー制御 - データセットの前処理をCPUノードで実行した後に、 GPUノードで深層学習を実行 - 実行環境のDocker imageをCPUノードでビルドした後に 、GPUノードで深層学習を実行 4
- 5. Argo Eventsとは - Kubernetesのためのイベントベース依存関係管理システ ム - 様々なイベントソースによる依存関係の管理 - イベントの依存関係の解決ロジックをカスタマイズできる - 独自のイベントソースに対して拡張可能 - CloudEvents準拠 - GatewayとSensorのCRDからなる - もともとはBlackRockが開発、 Argo projectに合流 5
- 7. サポートされているGateway - Calendar - Webhooks - Kubernetes Resources - Artifacts (S3, Minio) - Streams - NATS - MQTT - Kafka - AMQP (Apache ActiveMQ, Apache Qpid, StormMQ, RabbitMQ) 7 - Community - Github - Gitlab - HDFS - Trello - Slack - GCP Pub/Sub - AWS SQS, SNS - etc.
- 8. PFNでの利用想定 - HDFS上のファイルを監視し、前処理したデータセットが アップロードされたら、作成されたデータに応じてワー クフローを実行 - Kubernetes Resourceを監視し、Kuberetes上でDockerイ メージがビルドされたら、作成されたイメージに応じて ワークフローを実行 8 現在、導入準備中！
Editor's Notes
- #3: 1 min. - 1/15 min.