![[DI15] Build 2017 Updates ～ Azure Database for MySQL/PostgreSQL 最速紹介](https://cdn.slidesharecdn.com/ss_thumbnails/di15-170614044001-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Similar to クラウド运用のためのストリームマイニング (20)
![[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎](https://cdn.slidesharecdn.com/ss_thumbnails/dbtstokyo2014d33presto-141120012543-conversion-gate01-thumbnail.jpg?width=560&fit=bounds)
![[Japanese Content] Lance Riedel_The App Server, The Hive in Tokyo_Aug29](https://cdn.slidesharecdn.com/ss_thumbnails/lanceriedelappserver-thehiveaug29-130920154018-phpapp01-thumbnail.jpg?width=560&fit=bounds)
More from Shin Matsumoto (7)
Recently uploaded (11)
クラウド运用のためのストリームマイニング
- 2. 柗本 真佑 themes ソフトウェア工学 データマイニング SOA クラウド interested in ○ 設計?開発?テスト △ 要求?運用?保守
- 3. 概要 ? データという観点からクラウド運用を考える ? 思考?調査のあしあと ? まとまりなし，結論なし ? 議論の種?思考の種に 2
- 4. クラウドとWeb API ? システムの機能をAPIとして公開 ? ? ? ? Web経由で プラットフォームに依らず ソフトウェアから （自動的に） 単純な手続きで，利用できる ?launchVM() ?attachVolume() ?tweet() ?listTweets() IaaS API API PaaS/SaaS 3
- 5. 運用?保守のためのWeb API ? システムの機能（ 本質 ? 計測 ? 運用 ）をAPIとして公開 ? ? ? ? Web経由で プラットフォームに依らず ソフトウェアから （自動的に） 単純な手続きで，利用できる Functional API Measuring API Management API IaaS Functional API Measuring API PaaS/SaaS Management API 4
- 6. 何を計測するか？ Functional API ? IaaS ? ? ? ? ? # of running VMs CPU usage Disk usage Memory swap rate I/O latency ? Common Measuring API Management API ? # of API calls ? Avg/Max response time ? # of timed out requests ? PaaS/SaaS ? # of registered users ? # of active users ? # of transactions （# of tweets, # of photos, …） 5
- 7. 何を計測するか？ Functional API ? IaaS ? ? ? ? ? # of running VMs CPU usage Disk usage Memory swap rate I/O latency ? Common Measuring API Management API ? # of API calls ? Avg/Max response time ? # of timed out requests ? PaaS/SaaS ? # of registered users ? # of active users ? # of transactions 何を計測するか？ 何のために計測するか？ （# of tweets, # of photos, …） 6
- 8. 何のために計測するか？ Past Present Future ? What ? 現状分析，異常検出，障害究明，アクセス集中??? ? How リクエスト数 レスポンス時間 ? 基本的な統計分析，見える化，外れ値検出??? リクエスト 時間 7
- 9. 何のために計測するか？ Past Present Future ? What ? 予測保守，障害予測，デマンド予測，API先読み実行??? ? How ? パターン検出，機械学習，共起関係分析，予測??? リクエスト数 月 火 水 木 金 土 日 API Y API X others 8
- 11. 何のために計測するか？ Past Present Future ? 米Amazonの“Anticipatory shipping” Personalized ユーザレベルでのきめ細やかな 運用?保守 Personalized O&M http://blogs.wsj.com/digits/2014/01/17/amazon-wants-to-ship-your-package-before-you-buy-it/ 10
- 12. 何のために計測するか？ Past Present Future ? 米Amazonの“Anticipatory shipping” Personalized ユーザレベルでのきめ細やかな 運用?保守 Personalized O&M 計測データをどう役立てるか？ 可視化より強力な方法は？ http://blogs.wsj.com/digits/2014/01/17/amazon-wants-to-ship-your-package-before-you-buy-it/ 11
- 13. 計測データ活用のためには？ ? 詳細な計測 高度なデータマイニング 高度な運用?保守，品質改善 ? 技術的にどうやって？ How？ 詳細な計測 運用?保守への適用 要件1: 大量のデータを MapReduce 要件2: リアルタイムに 時系列データ 要件3: 高度なデータマイニング 12
- 14. ストリームマイニング （SM） ? データストリームをマイニングする手法?アルゴリズム ? データストリーム： 時間的に変化しながら終わりなく到着するデータ （取引履歴，通信ログ，ニュース，???） 通常のデータマイニング ストリームマイニング data streams mine store knowledge t mine knowledge 13
- 15. ストリームマイニング概要 ? 膨大なデータストリームに対し， ? 利用者の要求に即応して， ? 小さな計算機資源で， ? 近似解を返す，手法?アルゴリズムのこと* ? 特定の手法を指す言葉ではない ? One-path制約付きのデータマイニング手段の総称 ? （基本的には） 厳密な解を求めない ? 粗視化?データ要約?確率計算など ? マイニング目的に応じて興味のない部分を捨てる ※ 最近では厳密解を求められる方法も登場しつつある *有村 博紀, 喜田 拓也, “データストリームのためのマイニング技術”, 情報処理, 2005, vol.46, no.1 14
- 16. SMで何ができるか？ ? 基本的な統計量 ? 集計，平均，分散 ? クラスタリング ? 機械学習 ? トレンド分析 ? 一般的なデータマイニングと同等 15
- 17. SMの実現手段は？ ? Apache S4 （Simple Scalable Streaming System） S4 is a general-purpose, distributed, scalable, fault-tolerant, pluggable platform that allows programmers to easily develop applications for processing continuous unbounded streams of data. http://incubator.apache.org/s4/ ? 処理の流れ key: null val: “#s4, a distributed #stream processing” ? twitterのハッシュカウント key: topic=“s4” val: count=1 PE key: topic=“stream” val: count=1 PE PE PE: Processing Element val: topic=“s4”, count=4 PE http://oss.infoscience.co.jp/s4/docs.s4.io/examples/ twitter_topic_counter.html 16
- 18. 他にも色々 ? Storm Storm is a free and open source distributed realtime computation system. http://storm-project.net/ ? Storm + Hadoop ? Lambda architecture* Speed layer (Storm) Stream processing New data stream Realtime view Batch layer (Hadoop) All data Precompute views query Batch view Batch view *Big Data: Principles and best practices of scalable realtime data systems, Manning Publications Co, 2012 17
- 19. 運用?保守へどう適用するか？ ? S4, Storm ＝ 汎用リアルタイム処理フレームワーク ? 「リアルタイムMapReduce」 「ストリーミングMapReduce」 ? 運用?保守に特化させたクラウドシステムへ ? PaaS型，Cloud Ops. as a Service Wikipedia, Image:060428-bagger288-garzweiler.jpg; Bearbeitung von Snorky 18
- 20. 運用?保守へどう適用するか？ ? S4, Storm ＝ 汎用リアルタイム処理フレームワーク ? 「リアルタイムMapReduce」 「ストリーミングMapReduce」 ? 運用?保守に特化させたクラウドシステムへ ? PaaS型，Cloud Ops. as a Service 発掘技術 （How） は豊富 何をするか （What） が重要 Wikipedia, Image:060428-bagger288-garzweiler.jpg; Bearbeitung von Snorky 19
- 21. * 「捨てる技術」 *長尾 ? データは際限なく増える ? googleは10，20年後どうなるか？ ? 供給電力の問題も 真, “捨てる技術”, 情報処理, 2014, vol.55, no.1 ストレージ 生産速度 情報 生産速度 ? 捨てる技術 ? 20年～30年使われなかったデータが本当に必要か？ ? 必要なデータだけを残す技術が必要になるのでは？ レスポンス時間 レスポンス時間 ? 実例は捨てる．パラメタだけを残す． リクエスト リクエスト 20
- 22. * 「捨てる技術」 *長尾 ? データは際限なく増える ? googleは10，20年後どうなるか？ ? 供給電力の問題も 真, “捨てる技術”, 情報処理, 2014, vol.55, no.1 ストレージ 生産速度 情報 生産速度 ? 捨てる技術 ? 20年～30年使われなかったデータが本当に必要か？ ? 必要なデータだけを残す技術が必要になるのでは？ ? 実例は捨てる．パラメタだけを残す． レスポンス時間 レスポンス時間 「必要なデータ」とは？ ゴミ山か？ 金鉱か？ 本当に捨てて良いのか？ リクエスト リクエスト 21
- 23. 何を計測するか？ Past 何のために計測するか？ Present Functional API ? IaaS ? ? ? ? ? ? Common Future Measuring API ? 米Amazonの“Anticipatory shipping” Management API ? # of API calls ? Avg/Max response time ? # of timed out requests # of running VMs CPU usage Disk usage Memory swap rate I/O latency Personalized ユーザレベルでのきめ細やかな 運用?保守 Personalized O&M ? PaaS/SaaS ? # of registered users ? # of active users ? # of transactions 何を計測するか？ 何のために計測するか？ 計測データをどう役立てるか？ 可視化より強力な方法は？ （# of tweets, # of photos, …） 12 「捨てる技術」* 運用?保守へどう適用するか？ *長尾 ? S4, Storm ＝ 汎用リアルタイム処理フレームワーク ? 「リアルタイムMapReduce」 「ストリーミングMapReduce」 ? 運用?保守に特化させたクラウドシステムへ ? PaaS型，Cloud Ops. as a Service 22 http://blogs.wsj.com/digits/2014/01/17/amazon-wants-to-ship-your-package-before-you-buy-it/ ? データは際限なく増える ? googleは10，20年後どうなるか？ ? 供給電力の問題も 真, “捨てる技術”, 情報処理, 2014, vol.55, no.1 ストレージ 生産速度 情報 生産速度 ? 捨てる技術 ? 20年～30年使われなかったデータが本当に必要か？ ? 必要なデータだけを残す技術が必要になるのでは？ ? 実例は捨てる．パラメタだけを残す． Wikipedia, Image:060428-bagger288-garzweiler.jpg; Bearbeitung von Snorky 38 レスポンス時間 「必要なデータ」とは？ ゴミ山か？ 金鉱か？ 本当に捨てて良いのか？ レスポンス時間 発掘技術 （How） は豊富 何をするか （What） が重要 リクエスト リクエスト 42 22