SORACOM Conference Discovery 2017 | E4. IoTにおけるビッグデータとリアルタイム処理
0 likes1,603 views
スピーカー 株式会社ソラコム ソリューションアーキテクト 今井 雄太 セッション概要 IoTではデバイス上でのデータ活用、クラウドへの転送と集約、ビッグデータとして可視化やAIへの活用、リアルタイムデータとしてデバイスへのフィードバックへの活用など、あらゆるところでデータと向き合うことが求められます。このセッションでは、各ポイントにおける設計や考え方のプラクティスや最新のトレンドをお届けます。
![Beamは、転送するリクエストに対してIMSIやIMEI、
タイムスタンプの他、事前共有鍵を使った署名を
付与してくれる
sha256(
事前共有鍵 +
[“x-soracom-imei=IMEI” +]
“x-soracom-imsi=IMSI” +
“x-soracom-timestamp=TS”
)
※プロトコルごとに一部差があり
Air
Beam
暗号化,
IMSI, IMEI,
TIMESTAMP,
署名を付与
SORACOM Beamのデータフォーマット](https://image.slidesharecdn.com/e4bigdata-170710034050/85/SORACOM-Conference-Discovery-2017-E4-IoT-24-320.jpg)
SORACOM Conference Discovery 2017 | E4. IoTにおけるビッグデータとリアルタイム処理
- 1. 2017 July 5th IoTにおけるビッグデータとリアルタイム処理 株式会社ソラコム ソリューションアーキテクト 今井雄太
- 2. Platinum Gold Silver Thanks to our Sponsors LPWA
- 4. ?今井雄太（いまいゆうた） ?11月にSORACOMにジョイン ?ソリューションアーキテクト ?技術的には↓のへんをフォローし てます ? ビッグデータ ? ストリーム処理 ?機械学習 自己紹介
- 8. SORACOMのグローバルなインフラ 120以上の国?地域で利用可能 ライブラリ & SDKs CLI, Ruby, Swift Web インターフェース User Console データ転送支援 SORACOM Beam クラウドアダプタ SORACOM Funnel データ収集?蓄積 SORACOM Harvest プライベート接続 SORACOM Canal デバイスLAN SORACOM Gate IoT向けデータ通信 SORACOM Air Cellular (2G, 3G, LTE) / LPWA (LoRaWAN, Sigfox) 専用線接続 SORACOM Direct 仮想専用線 SORACOM Door API Web API, Sandbox IoT通信プラットフォーム SORACOM データ通信 ネットワーク アプリケーション インターフェース 認証サービス SORACOM Endorse デバイス管理 SORACOM Inventory 透過型 トラフィック処理 SORACOM Junction
- 9. 今回の登場人物たち SORACOM Beam - 暗号化/プロトコル変換 SORACOM Funnel - クラウドアダプタ SORACOM Inventory - デバイス管理
- 10. SORACOM Beam – データ転送支援 専用線 インターネット サービス サーバA サーバB クラウドの潤沢な リソースで 暗号化?変換 転送 HTTP->HTTPS MQTT->MQTTS TCP -> TCPS/HTTP/HTTPS UDP -> HTTP/HTTPS … 交換局モノ 基地局
- 11. SORACOM Funnel 各種クラウドサービスへセキュアかつ容易にデータを投入 AWS API AWS API Azure API SORACOM Funnel エンドポイント Amazon Kinesis Streams Amazon Kinesis Firehose Microsoft Azure EventHubs AWS API AWS IoT カスタムAPI パートナーの クラウドサービス SORACOMが開発して提供 ロジック
- 12. ?OMA LightweightM2M(LwM2M)をベースにした、デ バイス管理のためのフレームワークを提供するサー ビス ?SORACOM Airと連携した、デバイスの自動登録機 能を提供 SORACOM Inventory Inventory クライアント Inventory サーバ LwM2M
- 13. 滨辞罢におけるデータ活用シーン
- 17. ? 機械 ? 温度がしきい値を越えたら運転を一時停止 ? 作業状況の進捗を関し、終わったら通知 ? 発電 ? 発電量が0だったらアラート ? 農業 ? 日照量や温度、湿度を監視、条件によって散水したり 遠隔監視とは？
- 18. IoTにおけるデータ処理 データをあつめる イベントを検出 対処 ? センサーからデータ を読み出す ? デバイスからデータ をクラウドへ送信 ? 生データとして記録 ? しきい値オーバーや 外れ値の発生の監視。 画像からの人物やテ キストの抽出。 ? イベントの発生を記 録 ? アラートやデバイス へのフィードバック などを実行。
- 19. アーキテクチャ全体像
- 20. IoT（Internet of Things） モノ Funnel Beam Stream Batch Amazon Athena Amazon S3 AWS Lambda Amazon Redshift BigQuery Feedback model Pipeline Processing Time series DB Machine Learning Ad-hoc queries Metrics Inventory Feedback Event リアルタイムな イベント検出 ダッシュボード BI 機械学習 データレイク Feedback rule デバイス側での イベント検出 Google Cloud Storage
- 21. アプリケーションを设计してみよう
- 23. 送信方法の選択肢 サーバーへのデータ送信 SORACOM Beam SORACOM Funnel プロトコル変換 + リバースプロキシ HTTP,TCP,UDP->HTTP(S) TCP->TCP(S) MQTT->MQTT(S) クラウドアダプタ AWS: Kinesis, AWS IoT Google: Google PubSub Azure: Event Hubs
- 24. Beamは、転送するリクエストに対してIMSIやIMEI、 タイムスタンプの他、事前共有鍵を使った署名を 付与してくれる sha256( 事前共有鍵 + [“x-soracom-imei=IMEI” +] “x-soracom-imsi=IMSI” + “x-soracom-timestamp=TS” ) ※プロトコルごとに一部差があり Air Beam 暗号化, IMSI, IMEI, TIMESTAMP, 署名を付与 SORACOM Beamのデータフォーマット
- 27. レシピ1: まずはKibanaで可視化する モノ SORACOM Funnel Amazon Kinesis Firehose Amazon Elasticsearch Service curl -H “Content-Type:application/json” -d ’{“temperature”:12.2,…. }’ funnel.soracom.io
- 28. ? ほぼすべてのIoTアプリケーションが時系列データを取り扱う。 ? 時間をキーにしたジョインや古いデータのロープアップなど時系 列データを取り扱うことのできる時系列DB。OpenTSDB、 influxdb、RRDTools等、実装がある。 ? Apache Druidなど、時系列が得意なOLAP的なアプローチもある。 ? 時系列DBではないが、現時点で一番情報量が多く、取り扱いやす いのはelasticsearch+kibana。 ダッシュボードには時系列データの取扱に 適したDBを使おう
- 30. レシピ2: しきい値を超えたら通知する モノ SORACOM Funnel AWS IoT Amazon Elasticsearch Service Amazon SQSAWS Cloudwatch Alarm AWS IoTはデータを複数のルートに分岐できる しきい値はダッシュボードの情報を 利用して「ルール」として策定
- 33. レシピ3: デバイスへのフィードバック モノ SORACOM Funnel AWS IoT Amazon Elasticsearch Service SORACOM Inventory AWS Lambda しきい値判定
- 34. レシピ3’: デバイスへのフィードバック (SORACOM Beam + MQTT編) モノ SORACOM Beam AWS IoT Amazon Elasticsearch Service AWS IoT
- 35. ? ここまでのしきい値判定は、単純に1つの値がしきい値を 超えたかどうかという判定を想定してきた。 ? 時系列データ処理にはウィンドウという、一定の範囲の 時間をひとつの単位として扱う手法もよくある。 ? こういった処理を行いたい場合、Apache SparkやKinesis Stream Analyticsのようなソフトウェアやサービスを使う と簡単に実現できる。 ウィンドウ処理
- 36. ?デバイスへフィードバックが送れるようになり、自 動的にスプリンクラーを起動できるようになりまし た！ ?こんどは??? しきい値の設定を自動化した く???なりませんか？ 実装してみよう: 遠隔監視
- 37. レシピ4: 機械学習によるClassification モノ SORACOM Funnel AWS IoT Amazon Elastic MapReduce Amazon S3 AWS Deep Learning AMI Amazon S3 SORACOM Inventory AWS Lambda 学習済みモデル 推論 学習 Amazon Elastic MapReduce
- 39. レシピ5: エッジコンピューティング モノ SORACOM Funnel AWS IoT Amazon Elastic MapReduce Amazon S3 AWS Deep Learning AMI Amazon S3 SORACOM Inventory学習済みモデル 推論 学習 Amazon Elastic MapReduce
- 42. レシピ6: データレイク化 モノ SORACOM Funnel AWS IoT Amazon S3 Amazon Athena Amazon Redshift Amazon Elastic MapReduce BI/アドホック BI/アドホック プログラマ ティック Amazon Elastic MapReduce
- 43. IoT（Internet of Things） モノ Funnel Beam Stream Batch Amazon Athena Amazon S3 AWS Lambda Amazon Redshift BigQuery Feedback model Pipeline Processing Time series DB Machine Learning Ad-hoc queries Metrics Inventory Feedback Event リアルタイムな イベント検出 ダッシュボード BI 機械学習 データレイク Feedback rule デバイス側での イベント検出 Google Cloud Storage
- 44. ?まずは解決すべき問題を知ろう ? 今回のケース: 散水のタイミングを知りたい/自動化したい ?集めるべきデータと処理を知ろう ? 今回のケース: 気温 ?アーキテクチャを設計する - 巨人の肩に乗ろう ? レシピのパターンは実はそれほど多くありません。今回ご 紹介したレシピ群が必ずどこかに当てはまるはずです。 IoTアプリケーションの設計：まとめ
- 45. 今回の登場人物たち – まとめ SORACOM Beam プロトコル変換 + リバースプロキシ。データ転送時にタイムスタンプや回線情報、署名の付 与もしてくれる。MQTTやTCPソケットも取り扱えるので双方向通信も実現可能。 SORACOM Funnel クラウドアダプタ。よく使われるクラウドサービスへのデータ投入を容易に実現。こちらも データ転送時にタイムスタンプや回線情報を付与してくれる。 SORACOM Inventory デバイス管理サービス。デバイスへのコンフィグ値の書き込みやコマンドの発行を行うこと が出来る。