Apache sparkて?つふ?やきヒ?ック?テ?`タ クロ`ンをつくってみた
?Download as PPTX, PDF?
10 likes?3,228 views
奨脅OSC 2015 でライトニングト`クでk燕した坪否です。 2015 OSC奨脅 蒙嗤のネタ際d
Apache sparkて?つふ?やきヒ?ック?テ?`タ クロ`ンをつくってみた
- 2. 1. 徭失B初 勸弥匯 2 Github: https://github.com/AKB428 Twitter: https://twitter.com/n428dev Qiita: http://qiita.com/AKB428 Hatena: http://akb428.hatenablog.com/ Junichi Noda Larry Wall
- 4. Sparkについて ? HadoopのMapReduceとはeアプロ`チ(DAG)でのK双蛍柊鹿I尖を佩う ? インメモリ`I尖 ? 2015定6埖11晩に 1.4.0 がリリ`ス。 https://spark.apache.org/releases/spark-release-1-4-0.html ? 1.4.0でSparkRが弖紗(R冱ZでSparkを旋喘できる ? APIを旋喘できる冱ZはScala, Java, Python 4 SparkR
- 5. 5
- 6. ? Twitterストリ`ムからデ`タを函誼する。 ? Twitter Streaming APIを聞う。 ? 400の碧キ`ワ`ドが峺協辛嬬。 ? Spark Streamingでリアルタイム鹿を佩う。 6
- 7. 7 ? 晩云Z猟嫗をgZにわけて蛍盾して鹿 ? 晩云Zを蛍盾するため侘B殆盾裂ライブラリ kuromojiを聞う。 ? アニメ恬瞳など粉にないgZはユ`ザ`看 (CSV)を喘吭。
- 10. 10
- 11. 鮫中デモ岷除5蛍を扱崋 (F1)2015定3豚 TVアニメ http://tv-anime.xyz/5/ (F1)ラブライブ http://tv-anime.biz/5/ (F2)ラブライブ http://lovelive-net.com/5/ (F2)拍~圻 http://akiba-net.com/5/ (F2)v|TV桑M http://telev.net/5/ F1=ユ`ザ`看に鞠hしてあるgZのみ鹿 F2=ユ`ザ`看翌のgZも鹿 11
- 12. 12 鮫中デモ岷除60蛍を扱崋 (F1)2015定3豚 TVアニメ http://tv-anime.xyz/60/ (F1)ラブライブ http://tv-anime.biz/60/ (F2)ラブライブ http://lovelive-net.com/60/ (F2)拍~圻 http://akiba-net.com/60/ (F2)v|TV桑M http://telev.net/60/ F1=ユ`ザ`看に鞠hしてあるgZのみ鹿 F2=ユ`ザ`看翌のgZも鹿
- 13. 2015定7埖22晩 7埖22晩 ラブライブ 文匹砲 Q伏晩 13
- 14. 14 ２０１５定７埖２２晩
- 17. gHの喇 17
- 19. 8/8 ?12:00 19
- 20. 8/8 12:24? 20
- 21. 8/8 13:20 21
- 22. 8/8 15:10 22
- 23. 8/8 15:20 23
- 24. 8/8 15:40 24
- 25. 8/8 16:10 25
- 28. Mikasaインスト`ルについて インスト`ルマニュアル https://gist.github.com/AKB428/c30bc6a979e05fa3a022 ? TwitterAPIとAmazonAPIのアカウントがあれば1rgでセット アップ頼阻。 ? AmazonAPIアカウントはリコメンドしない栽は音勣。 ? TwitterAPIのアカウント函誼も10蛍殻業で辛嬬。 Mikasa OL https://github.com/AKB428/mikasa_ol Mikasa RS https://github.com/AKB428/mikasa_rs 28
- 29. Sparkについて?恷除の秤 ? 2015定6埖15晩 IBMが_k宀と冩梢宀を3500繁SparkvBプロ ジェクトに誘秘 http://japan.zdnet.com/article/35065964/ ? 2015定 6埖15?17晩 Spark summit 2015 _岸 (サンフランシスコ) ? NTTデ`タ芙が協豚議に茶氏をg仏 ? 忽坪のサ`ビスg箭は富ない ? 2寄Hadoopディストリビュ`ション CDHとHDPにはSparkが喜 d ? Spark1.4からはUIでモニタリングも佩えるようになった。 http://qiita.com/AKB428/items/71900eecdf2350e1e45f 29
- 31. 歌深猟彌B初-2 仝Learning Spark々 ? Sparkのコ`ディングはこれをiめば尖盾辛嬬。 ? 哂Z兜伉宀でもかなりiみやすい云なのでおX め。書定晩云Z晒されるらしい。 31
- 32. 32 ご賠ありがとうございました