More Related Content
Viewers also liked (20)
Similar to 础飞蝉と谤耻产测で作るビッグデータ解析の里侧 (20)
础飞蝉と谤耻产测で作るビッグデータ解析の里侧
- 1. AWSとRUBYで作る ビッグデータ解析の裏側 @srockstyle / Shohei Kobayashi ! Twitter : https://twitter.com/srockstyle Facebook : https://www.facebook.com/srockstyle Github : https://github.com/srockstyle
- 4. Shohei Kobayashi Mind Palette.co.ltd. Backend ServerSide Engineer 仕事はAWS,Ruby漬け 家ではPHP,Swift漬け
- 6. SNAPEEEって？ ? 写真共有アプリから新しいメディアへ と進化しているF1層の女性向けスマホ アプリ。 ? iOS版とAndroid版があるよ。 ? この世に生を受けて四年目。 ? 「カワイイを世界に届ける」がテーマ！
- 9. データ解析周りの用語 ? データウェアハウス：集めたデータを 入れておくところ ? データマート：解析結果をいれておく ところ ? MapReduce：たくさんのコンピュータで 巨大なデータを解析するプログラミン グモデル。
- 10. 見ての通りAWSばっかりだよ！ AWS万歳！ヽ(‘ ?‘ )ノ AWS万歳！ヽ(‘ ?‘ )ノ AWS万歳！ヽ(‘ ?‘ )ノ
- 11. 解析基盘で础奥厂を选んだ理由
- 12. ? 解析結果の格納?検索はRedshiftが超速い ? Hadoopクラスタとジョブの追加?構築?増 減がAPI経由で楽に可能 ? 础笔滨経由でログの送信?解析?収纳まで可能
- 13. それでこうなった
- 14. AWSまみれ AWS様々
- 15. 司令塔サーバの話 ○こいつ
- 16. RUBY ON RAILS AND AWS-SDK FOR RUBY
- 17. なんでRUBYを選んだか？ ? 書いてて楽しいから ? Java、PHPもみんな書けたけど、JavaとPHPは書いてて数ヶ月 で飽きたから（弊社エンジニア陣の主観 ? Rails使っての開発効率の高さ！ ? 全社でJavaからRubyへの移行を進めており、サーバ構築に Chefの導入もあって言語の統一化を進めていきたかったから
- 18. ちょっと待った！ ○あれっ……
- 21. AWSで HADOOP-STREAMING！ ? AWS-SDKからJob-Flowスクリプト流し込めばHadoop- Streamingでデータ解析が可能。 ? S3上にログの設置→Job実行までをRails内のバッチ処 理で自動化。 ? 標準入力/標準出力でHadoopとやりとりすればよい のでMapper＆Reducerも全部Rubyスクリプト。
- 22. 流れ
- 23. JOB FLOW設定
- 24. 集計後データは…… ? S3の結果ファイルをRedShiftへ投入 ? ダウンロードしたファイルをRで解析 ? RedShift上のデータを別バッチで再利用＆フ ロントエンドでRailsのActive Recordで呼び出 してグラフ化！
- 25. おまけ