Spark Streamingで恬る、つぶやきビッグデ`タのクロ`ン 2015-11.10井
?
4 likes?1,860 views
晩云Hadoopユ`ザ`氏麼岸の Cloudera World Tokyo 2015 ライトニングト`クセッション でk燕した仝Spark Streamingで恬る、つぶやきビッグデ`タのクロ`ン々のY創です
Spark Streamingで恬る、つぶやきビッグデ`タのクロ`ン 2015-11.10井
- 3. 1. 徭失B初 勸弥匯 ＊Y念 Java2EEによるI侫ペレ`ションシステム ＊ちょっと念 Perl/Rubyでソ`シャルゲ`ム フレ`ムワ` ク_k ＊恷除 Hadoopでアドテク Github: https://github.com/AKB428 Twitter: @n428dev Qiita: http://qiita.com/AKB428 Hatena: http://akb428.hatenablog.com/ 云何: http://akibalab.info/ Junichi Noda Larry Wall
- 4. ? Sparkについて富し鵡Pしました ? 仝Software Design 2015定11埖催々 ? ConoHaを聞ったHadoopクラスタの撹箭と SparkSQLをつかったデ`タI尖のg箭がd。
- 6. 3. Spark Streaming について ? Sparkサブシステムの匯つでファイルからでなくリアルタイ ムに送れてくるストリ`ムソ`スにしての鹿を鵑箸 ている。 ? 岷除1rgのツイ`ト方を扱崋する、岷除3rgでアクセ スが謹いIPを鹿する??などのウィンドウ鹿が辛嬬。
- 7. 3. Spark Streaming ゛デ`タソ`スについて その麿、ssc.socketTextStream(" localhost", 7777) とするとロ`カルポ`トをソ`スにできるのでサ`バ`のログを送 しzんでリアルタイムにエラ`、クラックIPの鹿などが辛嬬。
- 13. ? Twitterストリ`ムからデ`タを函誼する。 ? Twitter Streaming APIを聞う。 ? 400の碧キ`ワ`ドが峺協辛嬬。 ? Spark Stremingでリアルタイム鹿を佩う。
- 14. ? 晩云Z猟嫗をgZにわけて蛍盾して鹿 ? 晩云Zを蛍盾するため侘B殆盾裂ライブラリ kuromojiを聞う。 ? アニメ恬瞳など粉にないgZはユ`ザ`看 (CSV)を喘吭。
- 16. ユ`ザ`看慕の駅勣來について
- 20. 鮫中デモ岷除5蛍を扱崋 (F1)2015定2豚 TVアニメ http://tv-anime.xyz/5/ (F1)ラブライブ http://tv-anime.biz/5/ (F2)ラブライブ http://lovelive-net.com/5/ (F2)拍~圻 http://akiba-net.com/5/ (F2)v|TV桑M http://telev.net/5/ F1=ユ`ザ`看に鞠hしてあるgZのみ鹿 F2=ユ`ザ`看翌のgZも鹿
- 21. 鮫中デモ岷除60蛍を扱崋 (F1)2015定2豚 TVアニメ http://tv-anime.xyz/60/ (F1)ラブライブ http://tv-anime.biz/60/ (F2)ラブライブ http://lovelive-net.com/60/ (F2)拍~圻 http://akiba-net.com/60/ (F2)v|TV桑M http://telev.net/60/ F1=ユ`ザ`看に鞠hしてあるgZのみ鹿 F2=ユ`ザ`看翌のgZも鹿
- 22. 鮫中デモ ^肇の堕sキャプチャ
- 24. 2015定7埖22晩 7埖22晩 ラブライブ 文匹砲 Q伏晩 24
- 25. 25 ２０１５定７埖２２晩
- 27. gHの喇 27
- 30. ユ`ザ`悶Yデモ岷除5蛍鹿亊｡でアクセス! (F1)2015定2豚 TVアニメ http://tv-anime.xyz/5/ (F1)ラブライブ http://tv-anime.biz/5/ (F2)ラブライブ http://lovelive-net.com/5/ (F2)拍~圻 http://akiba-net.com/5/ (F2)v|TV桑M http://telev.net/5/ F1=ユ`ザ`看に鞠hしてあるgZのみ鹿 F2=ユ`ザ`看翌のgZも鹿
- 31. ユ`ザ`悶Yデモ岷除60蛍鹿亊｡でアクセス (F1)2015定2豚 TVアニメ http://tv-anime.xyz/60/ (F1)ラブライブ http://tv-anime.biz/60/ (F2)ラブライブ http://lovelive-net.com/60/ (F2)拍~圻 http://akiba-net.com/60/ (F2)v|TV桑M http://telev.net/60/ F1=ユ`ザ`看に鞠hしてあるgZのみ鹿 F2=ユ`ザ`看翌のgZも鹿
- 32. コミケやモ`タ`ショ`のようなイベントの寄侏モ ニタに婢幣するのが匯桑森議です。 ¢光Nイベントの巷慌モニタに戻工嶄 オ`プンソ`スカンファレンス2015 Tokushima (11埖14晩) 嚠協 オ`プンソ`スカンファレンス2015 Hiroshima (9埖19晩)? オ`プンソ`スカンファレンス2015 Shimane (8埖22晩)?
- 33. 4. Spark Streaming ゛ソ`スコ`ドa怎 ? TwitterUtilはg悶はJavaのTwitterライブラリで あるtwitter4j ? Twitter盾裂にはTwitterAPI蒙嗤のAPIレ`トリ ミット、g匯IPによる互塞rのアクセス崙 泙あるので廣吭 ? Twitter_k宀アカウントには桑催が駅 になったので毫Xに_kはできなくなりつつ ある。
- 34. Mikasaインスト`ルについて インスト`ルマニュアル https://gist.github.com/AKB428/c30bc6a979e05fa3a022 ? TwitterAPIとAmazonAPIのアカウントがあれば1rgでセット アップ頼阻。 ? AmazonAPIはリコメンドしない栽は音勣。 ? TwitterAPIのアカウント函誼も10蛍殻業で辛嬬。 Mikasa OL https://github.com/AKB428/mikasa_ol Mikasa RS https://github.com/AKB428/mikasa_rs
- 35. ? 10. まとめ ? Twitterストリ`ムのリアルタイムな鹿にSpark Streamingは恷mだった。SQLだとデ`タを匯業DB に鯉{し晩原狼のLいSQLを嬉つ駅勣がある。 ? 晩云Zデ`タを盾裂するためには侘B殆盾裂ライブラ リの聞い圭の委燐、ユ`ザ`看のチュ`ニング、デ` タクレンジングが嶷勣で、ある殻業はrgがかかる。 ? Hadoop順晢のトレンドはg`いなくSpark。クラスタ Oをする栽はメモリにvしてはgに喘吭する駅 勣はある。??が函りQい嫌が寄きくないならスタン ドアロンでも噴蛍。
- 37. ご賠ありがとうございました