谤别:滨苍惫别苍迟の振り返りで学ぶ础奥厂を利用したデータ活用戦略と、サバカン屋の新作缶づめ戦略
?
0 likes?911 views
2016年12月13日、大阪にて开催した谤别:滨苍惫别苍迟报告会『谤别:笔辞谤迟』での神津の発表资料です。
Convert to study materialsBETA
Transform any presentation into ready-made study material—select from outputs like summaries, definitions, and practice questions.
谤别:滨苍惫别苍迟の振り返りで学ぶ础奥厂を利用したデータ活用戦略と、サバカン屋の新作缶づめ戦略
- 2. あなたの側で、あなた以上に考える。Agenda 1. 自己紹介 /会社紹介 2. 弊社IoT/データ活? 事例 1. 社内事例 - パンデミック防?のための温度?湿度 可視化事例 2. IoT 概念実証 - ?阪の企業様との実証例 実証で出てきた課題点 3. re:Inventで発表された新サービスで課題点の解決 モダンデータアーキテクチャ サーバレスで?量のデータ処理/整形/解析が可能に Amazon Athena / AWS Glue 4. re:Inventで配布された Amazon Echo Dotで学ぶLambda 5. まとめ 2
- 3. あなたの側で、あなた以上に考える。自己紹介 20年程前 電??作少年 N88-BASIC パラレルポート経由でLチカ、ラジコンを動かしたり… 現在 前職：不動産ASPの開発PHPプログラマ＋Linuxサーバ管理者＋情シス 現職：様々な角度から?々のサーバ管理業務にまつわる 業務効率化、自動化、新規サービス開発に取り組んでおります。 趣味：Raspberry PiでLチカ、R2D2をJuliusで?本語対応させて動かした り… 株式会社スカイアーチネットワークス 運用自動化責任者 神津 崇士 (こうづ たかし） tktk19 http://kouzu.info
- 10. あなたの側で、あなた以上に考える。Agenda 1. 自己紹介 /会社紹介 2. 弊社IoT/データ活? 事例 1. 社内事例 - パンデミック防?のための温度?湿度 可視化事例 2. IoT 概念実証 - ?阪の企業様との実証例 実証で出てきた課題点 3. re:Inventで発表された新サービスで課題点の解決 モダンデータアーキテクチャ サーバレスで?量のデータ処理/整形/解析が可能に Amazon Athena / AWS Glue 4. re:Inventで配布された Amazon Echo Dotで学ぶLambda 5. まとめ 10
- 11. あなたの側で、あなた以上に考える。 11 社内事例 - パンデミック防?のための温度?湿度 可視化事例 ▼ 背景 ここ２，３年 インフルエンザ等パンデミックが起きて しまっている ▼ 対策 1. マスク?手洗いの徹底 2. 湿度が５０%を切らないようにする (ウイルスの活動しにくい環境作り) ▼ 実施した事 社内にセンサをばらまき、?える化
- 12. あなたの側で、あなた以上に考える。社内事例 - パンデミック防?のための温度?湿度 可視化事例 12 年初めに作成したRaspberry Piサイネージ活?
- 13. あなたの側で、あなた以上に考える。社内事例 - パンデミック防?のための温度?湿度 可視化事例 15秒おきに 8個のセンサから温度?湿度取得 TWE-Lite(ZigBee) + Raspberry Pi で送信 → Dashboardフレームワークで見やすく表示 13
- 14. あなたの側で、あなた以上に考える。社内事例 - パンデミック防?のための温度?湿度 可視化事例 MongoDBに蓄えられた 現時点5009万件の温度?湿度?場所データ
- 15. あなたの側で、あなた以上に考える。 15 社内事例 - パンデミック防?のための温度?湿度 可視化事例 パンデミック防?の観点で 残念ながら負け 若手を中?に 約10名程のインフルエンザ感染が発生 ? 夜間サーバ監視や、コンビニ飯で不摂生している若手エンジニアが多い 同じ寮に住んでいても、自炊をしている?は掛かっていない ? 加湿器への水補給が追いつかず、50%以上は維持するのが難しい → 加湿器の水切れを?きく通知しなければ注意を引けない ? 場所によって温度が最?で3度程、湿度も30％の違いがあった → サーキュレーターの効果的な設置場所を?極める必要がある？ ? 作成したシステム パンデミックの起きた事もあり、今後より使われそうなシステムとなった データ解析ツール?ち上げのためにサーバ構築せねばで?変 データ連携には自前でコンバート等せねばならない、、、 → 予算とってクラウドに置けば良かった
- 16. あなたの側で、あなた以上に考える。社内事例 - パンデミック防?のための温度?湿度 可視化事例 16 半年に2台ペースで SDカードが昇天、電源により不安定な事も → 安定動作するデバイスが欲しい Raspberry Pi 2 Model B を利用
- 17. あなたの側で、あなた以上に考える。Agenda 1. 自己紹介 /会社紹介 2. 弊社IoT/データ活? 事例 1. 社内事例 - パンデミック防?のための温度?湿度 可視化事例 2. IoT 概念実証 - ?阪の企業様との実証例 実証で出てきた課題点 3. re:Inventで発表された新サービスで課題点の解決 モダンデータアーキテクチャ サーバレスで?量のデータ処理/整形/解析が可能に Amazon Athena / AWS Glue 4. re:Inventで配布された Amazon Echo Dotで学ぶLambda 5. まとめ 17
- 18. あなたの側で、あなた以上に考える。IoT 概念実証 - ?阪の企業様との実証例 18
- 19. あなたの側で、あなた以上に考える。IoT 概念実証 - ?阪の企業様との実証例 19 or ? CONPROSYSとは WebUI上でタスクスクリプティング&モニタリング ? AWSサービスへ接続を弊社で実証 センサ接続
- 20. あなたの側で、あなた以上に考える。IoT 概念実証 - ?阪の企業様との実証例 20 SensorTag モータの振動を検知！ 9種類のセンサを内蔵 S3 Conprosys PC LabVIEW Cloudberry カメラ画像 モータ電圧?マイク音量 各種センサ値を可視化して見える化 Raspberry Pi EC2 PLC
- 21. あなたの側で、あなた以上に考える。IoT 概念実証 - センサの動作テスト 21 貧乏ゆすりの酷い事で有名な弊社エンジニアの振動
- 22. あなたの側で、あなた以上に考える。 22 IoT 概念実証で出てきた課題点 PoCフェイズのため センサ値取得→UPしたいデータやフォーマットが常に増える?変わるを繰り返す ? このセンサ?機器からのデータを取得してみたい ? 取得出来た！が別機器のほうがサンプリングレートが良いため こちらで実施したい、追加でこちらの機器のデータも取り込みたい ? データアップロード?コンバート形式の新規作成?変更 フォルダ構成案、ローテーションの再検討 → 仕様変更と吐き出されるCSVフォーマットの変更に追従していく必要がある
- 23. あなたの側で、あなた以上に考える。Agenda 1. 自己紹介 /会社紹介 2. 弊社IoT/データ活? 事例 1. 社内事例 - パンデミック防?のための温度?湿度 可視化事例 2. IoT 概念実証 - ?阪の企業様との実証例 実証で出てきた課題点 3. re:Inventで発表された新サービスで課題点の解決 モダンデータアーキテクチャ サーバレスで?量のデータ処理/整形/解析が可能に Amazon Athena / AWS Glue 4. re:Inventで配布された Amazon Echo Dotで学ぶLambda 5. まとめ 23
- 25. あなたの側で、あなた以上に考える。Amazon Athena 25 Amazon S3 内のデータを SQL を使用して簡単に分析可能に 裏では、クエリを並列化して何百、何千コアに分散し数秒で結果が帰る サーバレスで動作するため、インフラストラクチャ管理コスト無し
- 28. あなたの側で、あなた以上に考える。AWS Glue 28 Step 1. データカタログの構築 JSON、CSV、Parquet(パーケイ)など、多くの一般的なデータタイプに対し て、あらかじめ作成された分類子を使用してデータカタログを構築
- 29. あなたの側で、あなた以上に考える。AWS Glue 29 Step 2. データ変換ルールをコードで記載 データソースとターゲットを選択すると、AWS GlueはPythonコードを生 成してソースからデータを抽出、データを変換行いターゲットにロード します
- 30. あなたの側で、あなた以上に考える。AWS Glue 30 Step 3. スケジュールの作成?実行 定期的にトリガに応じて、フローを実行できます。データ量が増えるに つれて実行時間が一定に保たれるように、ジョブの実行を適切な順序で 調整し、失敗したジョブを自動的に再試行します。必要なインフラスト ラクチャをスケーラブルに拡張します。
- 31. あなたの側で、あなた以上に考える。Agenda 1. 自己紹介 /会社紹介 2. 弊社IoT/データ活? 事例 1. 社内事例 - パンデミック防?のための温度?湿度 可視化事例 2. IoT 概念実証 - ?阪の企業様との実証例 実証で出てきた課題点 3. re:Inventで発表された新サービスで課題点の解決 モダンデータアーキテクチャ サーバレスで?量のデータ処理/整形/解析が可能に Amazon Athena / AWS Glue 4. re:Inventで配布された Amazon Echo Dotで学ぶLambda 5. まとめ 31
- 32. あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda 32 参加者全員に配布されました！！
- 33. あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda 33 このデバイスでLambda実?できるプログラムを開発！
- 34. あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda 34 Lambdaとは https://aws.amazon.com/jp/lambda/
- 35. あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda 35 Skillという概念で?々な機能を追加出 来ます （iPhoneのアプリのような概念） ※英語Only、国内利用不可 ? 音楽を再生する ? SmartHome連携機能の呼び出し ? 天気予報を読み上げる ? ニュースサイトのニュースを読む … ? 雷の音を再生して ? 猫にまつわるウンチクを教えて ? 私を奮い?たせる名?を教えて
- 36. あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda 36 本?のブログ投稿数を教えてくれるSkillを作成する事に
- 37. あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda 37 Lambda実?時のイベントにAlexa Skills Kitを指定
- 38. あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda 38 詳細は弊社ブログまで！ Amazon Echoの応答
- 39. あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda 39
- 40. あなたの側で、あなた以上に考える。 まとめ 1. データ分析?変換系の新サービス データをよりシームレスに繋ぐ事の出来るサービスが次々と出ており、デー タ分析までに必要な時間が劇的に短縮される 特にS3に上げておくだけでも解析が出来るようになる！ 2. ?口知能系の新サービス AWSのサービスと直結出来るインターフェースを持った Amazon Echo等の製品で、データさえAWSに上げておけば 様々な処理、結果取得を音声だけで出来る未来はすぐそこにある 3. サーバー管理会社はお客さまにどのようなサービスを提供すべきか 様々なAWSのサービスに精通しつつ、構成案から提案をし サバ缶だけでなく、Lambdaも缶づめのように提供する必要がある 40
- 42. ご清聴ありがとうございました。