Hadoop Streamingを使って お好きな言語でMap☆Reduce!
Download as PPTX, PDF2 likes1,789 views
SW LT大会 発表時の資料です。 Hadoopを敬遠している方にオススメしたいHadoop Streamingの紹介程度のゆるい資料です。
More Related Content
Similar to Hadoop Streamingを使って お好きな言語でMap☆Reduce! (20)
Hadoop Streamingを使って お好きな言語でMap☆Reduce!
- 2. ? 氏名：田地 将也(@otajisan) ? 所属：某中小SIer -> 某Web企業 ? 役職：エンジニア兼スクラムマスター ? 趣味：酒、バンド、スノボー、モンハン ? よく使う言語：PHP, Perl, JavaScript ? 「アジャイルひよこくらぶ」というコミュニティの幹事メンバーやってます ? 最近ハマっていること！：スクラムによる現場改善、 Python x Hadoop Streaming x Deep Learning 自己紹介
- 4. Hadoopとは？ ? Hadoopはデータを複数のサーバに分散し、 並列して処理するミドルウェア ? 要は、1台で捌き切れないような大量のデータを、 並列バッチ処理で効率よく捌けるソリューション
- 5. Hadoopって ? なんか難しそう ? なんとなく敬遠 ? Javaかよ！ みたいな
- 6. そんなあなたに
- 8. Hadoop Streamingとは？ ? HadoopのMap/Reduce処理は 基本的にJavaで書く ? Hadoopに標準で組み込まれている 「Hadoop Streaming」という機能を使うと、 Unixの標準入出力を受け付けることができる
- 10. 本LTでは、 Hadoop Streamingは 色んな言語でMap/Reduce書けるよ、 という様子をご紹介し、 Hadoop ??????- という感覚を持って いただけることを目的とします。
- 15. WordCout aaa bbb ccc aaa bbb ddd bbb ccc ddd Map Reduce Map Map Reduce Reduce shuffle aaa 2 bbb 3 ccc 2 ddd 2
- 16. WordCout aaa bbb ccc aaa bbb ddd bbb ccc ddd Map Reduce Map Map Reduce Reduce shuffle aaa 2 bbb 3 ccc 2 ddd 2 ワードの出現回数を カウントする
- 17. WordCout aaa bbb ccc aaa bbb ddd bbb ccc ddd Map Reduce Map Map Reduce Reduce shuffle aaa 2 bbb 3 ccc 2 ddd 2 この、Map / Reduce処理を担う、「 Mapper」と「Reducer」を 色々な言語で書くことができます！
- 18. 书いてみた
- 19. python
- 25. WordCountReducer.py ここでMapperからの入力を 受け付けて 渡ってきた key: aaa value: 1 といった文字列を、 key毎にvalueを加算する
- 26. 実行
- 29. 結果 ファイルが出力されて
- 30. 結果 中身を見ると
- 32. php
- 39. 结果は一绪なので割爱
- 40. perl
- 46. まとめ ? Hadoop Streamingを使えば、 色んな言語でMap/Reduceを書ける (jsとかもできるらしい) ? お好きな言语で快适な贬补诲辞辞辫ライフを！