機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステム ver 1.1
?Download as PPTX, PDF?
1 like?1,316 views
2016年3月22日 サイバーエージェントで行われた「これからはじめるHadoop/Spark」のLT資料です http://hadoop.connpass.com/event/27345/
機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステム ver 1.1
- 10. Anime APIの必要性について Anime API で今期のアニメのタイトル名、タイト ル略称、ハッシュタグなどを取得 今期の人気アニメを解析、統計、レポート出力 １０秒
- 11. ? HadoopのMapReduceとは別アプローチ(DAG)での並列分 散集計処理を行う ? インメモリー処理 ? Hadoopエコシステムの一部として扱われるがHadoopと直 接的な関係はない ? APIを利用できる言語はScala, Java, Python Sparkについて
- 12. ? 機械学習用のSparkライブラリ ? 協調フィルタリングやAssociation Ruleなどが簡単に使える ようになっている。 ? Sparkクラスタを構築し実行することでビッグデータに対し て機械学習演算を処理できるようになる。 Spark MLlibについて
- 14. UserName Tweet tanaka おそ松さん面白い mika ガンダム面白い tanaka おそ松最高 daken ガンダム面白い mika ラブライブ見る UserID Product Rate 1 1 2 2 2 1 2 3 1 3 2 1 ? 協調フィルタリングに読み込ませるため右表のフォーマットに BigQueryで加工する。(AmazonMLもAzureMLなどもこの形式） ? SparkMLlibがUserIDがIntでないといけないという制限があるため TwitterIDは内部的にシーケンスな番号を付ける。 データの加工
- 15. Spark MLlib code
- 18. Sparkクラスタで実行 ./bin/spark-submit --master spark://managerhost:7077 --executor-memory 25G --conf spark.driver.memory=4G anime_collaborative_filtering_assembly-1.0.jar /var/data/anime.csv
- 19. Spark WEB UI
- 20. 80万Twitterユーザー x 43 (2015年冬期アニメ作品数) 3440万レコードが推薦データとしてMySQLに格納 されている MLlibで処理した結果 UserID ProductID Rate 354796 242 1.8322849817902473 354796 243 -2.5666437672644378 354796 244 0.385125554296764 354796 245 0.9550722901486512
- 21. 実演
- 22. 実演 補足