Spring Cloud Data Flow の紹介 #streamctjp
4 likes3,559 views
https://connpass.com/event/61546/
More Related Content
What's hot (20)
Similar to Spring Cloud Data Flow の紹介 #streamctjp (20)
More from 驰补丑辞辞!デベロッパーネットワーク (20)
Recently uploaded (11)
Spring Cloud Data Flow の紹介 #streamctjp
- 1. Spring Cloud Data Flow の紹介 http://www.yahoo.co.jp/ ヤフー株式会社 浅沼 孝信 2017年7月27日
- 2. 自己紹介 ? 名前 ? 浅沼 孝信 ? 業務履歴 ? 2012年新卒入社 ? Hadoop周りの業務（HDFS ECの開発など） ? 最近はデータフロー Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用?転載禁止 2
- 3. 目次 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用?転載禁止 3 ? Spring Cloud Data Flow とは ? 開発された動機 ? ステート管理 ? まとめ
- 4. 目次 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用?転載禁止 4 ? Spring Cloud Data Flow とは ? 開発された動機 ? ステート管理 ? まとめ
- 5. Spring Cloud Data Flow とは ? ストリーム処理とバッチ処理に関する Springアプリケーションの統合デプロイメント Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用?転載禁止 5 Spring Cloud Data Flow Spring Cloud Stream Spring Cloud Task Spring Integration Spring Boot Spring Batch BatchStreaming deploy use use
- 6. Spring Cloud Data Flow とは ? データフローの作成 - Web UI - UNIXプログラミング風のDSL（シェル） Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用?転載禁止 6 http --port=12345 | filter | hdfs
- 7. Spring Cloud Data Flow とは ? データフローの作成 - Web UI - UNIXプログラミング風のDSL（シェル） 各プロセスはSpring Bootアプリケーションとして起動 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用?転載禁止 7 http --port=12345 | filter | hdfs
- 8. Spring Cloud Data Flow とは ? デプロイメント さまざまなモダンなプラットフォームに対する SPI実装が用意されている - Cloud Foundry - Kubernetes - YARN - Mesos - local（開発用） Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用?転載禁止 8
- 9. Spring Cloud Data Flow とは Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用?転載禁止 9 SCDF Server REST-API Deployer SPI deploy RDBMS Data Source Data Source Web UI Shell
- 10. 目次 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用?転載禁止 10 ? Spring Cloud Data Flow とは ? 開発された動機 ? ステート管理 ? まとめ
- 11. 開発された動機 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用?転載禁止 11 SCDF Server REST-API Deployer SPI Spring XD Spring Cloud Data Flow ? Spring Cloud Data Flowの前身 ? 普通のサーバー上で動く ? モノリシックな設計 ? Spring XDの課題を踏まえて再設計 ? マイクロサービスの思想 ? コンテナプラットフォームに最適化 ? 2016年7月に1.0 GAがリリース XD Admin ZooKeeper XD Container XD Container M M M M
- 12. 目次 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用?転載禁止 12 ? Spring Cloud Data Flow とは ? 開発された動機 ? ステート管理 ? まとめ
- 13. ステート管理 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用?転載禁止 13 ? The Twelve-Factor App – Herokuの中の人たちが作成 – クラウドネイティブなアプリケーションを 作るのに必要な規則?指針 VI. プロセス アプリケーションを1つもしくは複数の ステートレスなプロセスとして実行する
- 14. ステート管理 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用?転載禁止 14 SCDF Server REST-API Deployer SPI deploy RDBMS Stateless ? Spring Cloud Data Flowが生成するSpring Bootは ステートレスなアプリケーション
- 15. ステート管理 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用?転載禁止 15 SCDF Server REST-API Deployer SPI deploy RDBMS Stateful ? ステートが発生する部分はコンテナプラットフォームの 外で管理する データフローの定義など データフローの解析 Spring Boot間のメッセージング Stateless
- 16. 目次 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用?転載禁止 16 ? Spring Cloud Data Flow とは ? 開発された動機 ? ステート管理 ? まとめ
- 17. まとめ ? Spring Cloud Data Flow とは ストリーム処理とバッチ処理の統合デプロイメント ? マイクロサービスの思想でSpring XDを再設計 クラウドネイティブなプラットフォームに最適化されている ? コンテナプラットフォームの中では ステートレスなアプリケーションが稼働している ステートが発生する部分は外で管理する Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用?転載禁止 17