[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう！ 2018年9月13日 放送
3 likes3,289 views
これまでのセッションではデータ分析サービスを紹介して来ましたが、今回は Cloud Pub/Sub、Cloud Dataflow を利用したストリーミングデータ処理基盤のアーキテクチャーと構築プロセスを解説します。
![Cloud OnAir
デモの手順
# 6 [demos] という BigQuery のデータセットを作成
# 7. Dataflow パイプラインのプログラムのダウンロード
$ cd ~
$ git clone
https://github.com/GoogleCloudPlatform/training-data-analyst
$ cd ~/training-data-analyst/courses/streaming/process/sandiego
# 8. Dataflow パイプラインの実行コマンドを確認 (パラメータの確認 )
$ nano run_oncloud.sh
# 9. Pub/Sub からメッセージを読み取り、 BigQuery へ送信
$ cd ~/training-data-analyst/courses/streaming/process/sandiego
$ ./run_oncloud.sh YOUR-PROJECT-ID gs://[YOUR_BUCKET_NAME] AverageSpeeds
# 10. BigQuery にて下記のクエリを発行し結果を確認
SELECT * FROM [<PROJECTID>:demos.average_speeds]
ORDER BY timestamp DESC
LIMIT 100](https://image.slidesharecdn.com/oooooo-180913090941/85/Cloud-OnAir-GCP-2018-9-13-38-320.jpg)
![[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな](https://cdn.slidesharecdn.com/ss_thumbnails/awsxon18howfarstepfunctionsgo-211124111849-thumbnail.jpg?width=560&fit=bounds)
![[GKE & Spanner 勉強会] Cloud Spanner の技術概要](https://cdn.slidesharecdn.com/ss_thumbnails/gke02-200121091040-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] Bigtable に迫る！基本機能も含めユースケースまで丸ごと紹介 2018年8月30日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/1111111-180830075720-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/dddddd-180906091548-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] オンプレミスにあるデータを GCP で分析する前に知っておきたいアーキテクチャ 2019年5月30日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0530-190530103406-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Similar to [Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう！ 2018年9月13日 放送 (20)
![[Cloud OnAir] BigQuery へデータを読み込む 2019年3月14日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0314-190314100128-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] そのデータ、今すぐ分析したくありませんか？ クラウドを活用したリアルタイムなデータ分析の方法をお教えします (e-Learni...](https://cdn.slidesharecdn.com/ss_thumbnails/aa-180517084320-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] Google Kubernetes Engine と Cloud Spanner の紹介 2020 年 1 月 30 日放送](https://cdn.slidesharecdn.com/ss_thumbnails/0130-200131031138-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] Google Networking Deep Dive ! その技術と設計の紹介 2018年8月9日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/iiiiiii-180809090612-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] ケーススタディから学ぶ GCP で行うデータ エンジニアリング 2019年6月6日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0606-2-190612124949-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] Google Cloud へのデータ移行 2019年1月24日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/124-190124123019-thumbnail.jpg?width=560&fit=bounds)
More from Google Cloud Platform - Japan (20)
![[External] 2021.12.15 コンテナ移行の前に知っておきたいこと @ gcpug 湘南](https://cdn.slidesharecdn.com/ss_thumbnails/external2021-211216025522-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] 事例紹介 : 株式会社マーケティングアプリケーションズ ?クラウドへのマイグレーションとその後? 2020年12月17日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/ppp-201221033858-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] 【実演】Google Cloud VMware Engine と VMware ソリューションを組み合わせたハイブリッド環境の...](https://cdn.slidesharecdn.com/ss_thumbnails/pta-201210085248-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] Google Workspace でできる データ分析と業務自動化のご紹介 2020年12月3日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/ol-201203090835-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] Google Cloud へのマイグレーション ツールの紹介 2020年11月26日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/ii-201126090801-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] Google Cloud における RDBMS の運用パターン 2020年11月19日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/yy-201119084816-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] 事例紹介: 株式会社オープンハウス ?Google サービスを活用したオープンハウスの AI の取り組み? 2020年11月1...](https://cdn.slidesharecdn.com/ss_thumbnails/h-201112061942-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] 【Anthos 演習】 解説を聞きながら Anthos を体験しよう 2020年11月5日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/ab-201105085037-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] 【Google Kubernetes Engine 演習】解説を聞きながら GKE を体験しよう 2020年10月29日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/bb-201029090440-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] Google Cloud の AI / IoT 最新事例紹介 2020年10月22日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/aa-201022092013-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] Google Cloud Next '20: OnAir 特別編 ?世界で人気のあったセッション特集? 2020年9月24日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/ooo-200924094839-thumbnail.jpg?width=560&fit=bounds)
![[Cloud OnAir] Talks by DevRel Vol.5 アプリケーションのモダナイゼーション 2020年9月3日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/ffffffffffffffff-200903090943-thumbnail.jpg?width=560&fit=bounds)
Recently uploaded (8)
![ElasticsearchでSPLADEする [Search Engineering Tech Talk 2025 Winter]](https://cdn.slidesharecdn.com/ss_thumbnails/searchtech-250228102455-ddc5ce09-thumbnail.jpg?width=560&fit=bounds)
[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう！ 2018年9月13日 放送
- 1. Cloud Onr Cloud OnAir Cloud OnAir GCP上でストリーミング データ処理基盤を構築してみよう！ 2018 年 9 月 13 日 放送
- 2. Agenda Cloud OnAir 1 3 2 4 Googleが考えるストリームデータ処理 Cloud Dataflow Cloud Pub/Sub Pub/Sub と Dataflow でストリーミング処理を行う
- 7. Cloud OnAir ...無限まで大きい... ストリーミングデータ 9:008:00 14:0013:0012:0011:0010:00
- 8. Cloud OnAir ストリーミングデータ 9:008:00 14:0013:0012:0011:0010:00 8:00 8:008:00 処理時刻 (Processing Time) イベント時刻 (Event Time)
- 9. Cloud OnAir 13:00 14:008:00 9:00 10:00 11:00 12:00 Processing Time ∑ ∑ ∑ ∑ ∑ ∑ ∑8:00 8:00 処理時刻によるデータのグルーピング
- 10. Cloud OnAir 処理時刻 (Processing Time) 11:0010:00 15:0014:0013:0012:00 イベント時刻 (Event Time) 11:0010:00 15:0014:0013:0012:00 インプット アウトプット ∑ ∑ ∑ ∑ ∑ ∑ イベント時刻によるデータのグルーピング
- 11. Cloud OnAir ● Watermark イベント時刻ベースでどこまで処理が完了したか ● Trigger ウィンドウ集計結果をどのタイミングで出力するか ● Accumulation 集計結果出力時の累積計算方式 ○ 破棄モード(Discarding) ○ 累算モード(Accumulating) ○ 累算＆後退モード(Accumulating & Retracting) 問題を解決する ３ つの要素
- 14. Cloud OnAir Dataflow モデルと Cloud Dataflow ● バッチ / ストリーミングデータ処 理の共通モデル ● パイプラインを構築するための SDK のコレクション 並列化データ処理 パイプラインを実行するための フルマネージドサービス Cloud DataflowApache Beam
- 15. Cloud OnAir GCP 上のストリーミングデータ処理 Ingest Pipelines Standard Devices HTTPS Gateway Analytics Cloud Pub/Sub Cloud Dataflow BigQuery ストリーミング処理に利用する主なサービス
- 16. Cloud OnAir Cloud OnAir Cloud Dataflow
- 17. Cloud OnAir Cloud Dataflow の特徴 Deploy Schedule & Monitor ジョブのオートスケーリング フルマネージドで自動構成 最適な実行パスのための自動グラフ最適化 ジョブの動的な負荷のリバランシング 1 2 3 4
- 18. Cloud OnAir Cloud Dataflow の特徴 ジョブのオートスケーリング フルマネージドで自動構成 最適な実行パスのための自動グラフ最適化 ジョブの動的な負荷のリバランシング 1 2 3 4 C D C+D C C+D A GBK + A+ GBK +
- 19. Cloud OnAir ジョブのオートスケーリング フルマネージドで自動構成 最適な実行パスのための自動グラフ最適化 ジョブの動的な負荷のリバランシング 1 2 3 4 800 RPS 1200 RPS Cloud Dataflow の特徴
- 20. Cloud OnAir ジョブのオートスケーリング フルマネージドで自動構成 最適な実行パスのための自動グラフ最適化 ジョブの動的な負荷のリバランシング 1 2 3 4 100 mins. vs. Cloud Dataflow の特徴
- 21. Cloud OnAir ワークロードによる動的なスケーリング 少ないワーカーでスタート 10 分 3 日 必要に応じてワーカーを追加し、 既存ワークロードを自動的にリバ ランス アイドル ワーカーが必要以上にある場合は自動的に ワーカーの数を削減
- 22. Cloud OnAir パイプラインの基本コンセプト ● PipelineIO：外部データリポジトリにデータを読み書きする ● PCollection：データを保持する内部データタイプ ● PTransformation：インプットを変換する機能 ● パイプライン：PipelineIO と PTransformationからなるデータフロー Pipeline IO (インプット) Pipeline IO (アウトプット) PTransform PTransform PTransform PCollection (データ) パイプライン Data Input Data Result
- 23. Cloud OnAir ● テキストファイルの単語のカウントパイプライン PTransform PTransform PipelineIO (Text) PipelineIO (Text) Cloud Storage PTransform Cloud Storage 単語のカウント単語の抽出 結果の整形ファイルの読み取り ファイルへ の書込み パイプラインの基本コンセプト
- 24. Cloud OnAir ● “Hello my daddy” を読み取り、処理する PipelineIO (Text)Hello my daddy Hellomydaddy PTransform PTransform Hello:1 my : 1 daddy :1 Hello my baby Hellomybaby PTransform PTransform Hello:2 my : 2 daddy :1 baby : 1 PipelineIO (Text) PTransform PipelineIO (Text) Cloud Storage Cloud Storage PTransform PipelineIO (Text) Cloud Storage Cloud Storage ● “Hello my baby” を読み取り、処理する 単語のカウント単語の抽出 結果の整形 単語のカウント単語の抽出 結果の整形 パイプラインの基本コンセプト
- 25. Cloud OnAir ● 全ての単語をカウントし終わりましたら、ファイルへ書き込む PTransform PTransform PipelineIO (Text) PipelineIO (Text) Cloud Storage PTransform Cloud Storage Hello:2 my : 2 daddy :1 baby : 1 “Hello:2” “my : 2” “daddy :1” “baby : 1” 単語のカウント単語の抽出 結果の整形ファイルの読み取り ファイルへ の書込み パイプラインの基本コンセプト
- 26. Cloud OnAir サンプルコード：単語のカウント処理 PTransform Pipeline IO (Text) Cloud Storage PTransform PTransform Pipeline IO (Text) Cloud Storage 単語のカウント 単語の抽出 結果の整形 ファイルの読み取り ファイルへの書込み
- 27. Cloud OnAir Dataflow パイプラインのコードサンプル Group 1 Filter 2 Transform 1 Write Read Filter 1 Input Output Pipeline p = Pipeline.create(); p. p.run(); .apply(ParDo.of(new Filter1())) .apply(new Transform1()) .apply(new Group1()) .apply(ParDo.of(new Filter2()) .apply(TextIO.Write.to(“gs://…”)); .apply(PubSubIO.Read.from(pubsub_topic)) class Filter1 extends DoFn<...> { public void processElement(ProcessContext c) { ... = c.element(); ... c.output(...); } 並列タスク(ランタイムによる自 動スケール) Dataflow 以外のランタイム でも実行可能 ストリーミング処理の場合 Cloud Pub/Sub からデータを 読み取る
- 28. Cloud OnAir Apache Beam の処理操作について バッチ ストリーム プリミティブ型の変換とカスタム 変換の組み合わせ フィルター フィルターとグループ フィルターとグループとウィンドウ
- 29. Cloud OnAir Pub/Sub から BigQuery への書き込み Dataflow テンプレートによるストリーミング処理 Ingest Cloud Pub/Sub Pipelines Cloud Dataflow Analytics BigQuery Cloud Console を使用してテンプレート ジョブを起動 適切なテンプレートを選択 このデモは下記 Qwiklab に基づいて作成しております。 https://qwiklabs.com/focuses/1099?parent=catalog
- 30. Cloud OnAir Cloud OnAir Cloud Pub/Sub
- 31. Cloud OnAir at-least-once 配信 プロビジョニング不要の自動処理 グローバルにデザインされた高い可用性 信頼性の高いリアルタイムのメッセージング Cloud Pub/Sub
- 34. Cloud OnAir エンドポイントは API 呼び出しを行えるサーバー もしくはデバイス メッセージ配信は Subscriber のタイミング エンドポイントは Webhook を受け付ける HTTPS サー バーのみ イベントが発生した直後に配 信される Push と Pull の比較
- 35. Cloud OnAir Cloud OnAir Pub/Sub と Dataflow で ストリーミング処理を行う
- 36. Cloud OnAir このデモの構成と概要 Cloud Pub/Sub Cloud Dataflow BigQueryCompute Engine このデモでは、シミュレートされたトラフィックセンサーからトラフィックイベントを Cloud Pub/Sub へ送信します。Dataflow を使用し、 レーンごとの平均スピードを求める パイプラインを実行し、後で分析するためにデータを BigQuery に保存します。
- 37. Cloud OnAir デモの手順 # 1.トピックの作成 $ gcloud beta pubsub topics create sandiego # 2.トラフィック センサー シミュレータプログラムのダウンロード $ cd ~ $ git clone https://github.com/GoogleCloudPlatform/training-data-analyst $ cd ~/training-data-analyst/courses/streaming/publish 3.データのダウンロード $ ./download_data.sh # 4.ユーザ認証 $ gcloud auth application-default login # 5.トピックにメッセージのパブリッシュ $ ./send_sensor_data.py --speedFactor=60 --project=YOUR-PROJECT-ID 1. トピックの作成 2. サブスクリプションの作成 3. トラフィックセンサーを シミュレートし、生成した データを Cloud Pub/Sub に送信
- 38. Cloud OnAir デモの手順 # 6 [demos] という BigQuery のデータセットを作成 # 7. Dataflow パイプラインのプログラムのダウンロード $ cd ~ $ git clone https://github.com/GoogleCloudPlatform/training-data-analyst $ cd ~/training-data-analyst/courses/streaming/process/sandiego # 8. Dataflow パイプラインの実行コマンドを確認 (パラメータの確認 ) $ nano run_oncloud.sh # 9. Pub/Sub からメッセージを読み取り、 BigQuery へ送信 $ cd ~/training-data-analyst/courses/streaming/process/sandiego $ ./run_oncloud.sh YOUR-PROJECT-ID gs://[YOUR_BUCKET_NAME] AverageSpeeds # 10. BigQuery にて下記のクエリを発行し結果を確認 SELECT * FROM [<PROJECTID>:demos.average_speeds] ORDER BY timestamp DESC LIMIT 100
- 40. Cloud OnAir Dataflow モデルと Cloud Dataflow ● バッチ / ストリーミングデータ処 理の共通モデル ● パイプラインを構築するための SDK のコレクション 並列化データ処理 パイプラインを実行するための フルマネージドサービス Cloud DataflowApache Beam