第２回 NIPS+読み会?関西 発表資料 山本
1 like1,035 views
Coevolutionary Latent Feature Processes for Continuous-Time User-Item Interaction
![最小化アルゴリム
Generalized Conditional Gradient Algorithm
34
? 最新の一般化された条件付き勾配アルゴリズム [9]
? 収束は?(
?
?
+
?
??
) を保証 (tはイテレーション回数）
? 核ノルム制約が存在しない場合、 ?(
?
??
) で収束
? 非負数制約が存在しない場合、 ?(
?
?
)で収束
? １イテレーションは?(???) ?ユーザ数、?アイテム数、?イベント
数/ユーザ?アイテム
[9] N. Du, Y. Wang, N. He, and L. Song. Time sensitive
recommendation from recurrent user activities. In NIPS, 2015.](https://image.slidesharecdn.com/nipskansaiyasuoyamamotocoevolutionarylatentfeatureprocessesforcontinuous-timeuser-iteminteractions-161227080002/85/NIPS-34-320.jpg)
第２回 NIPS+読み会?関西 発表資料 山本
- 1. 1 2016-12-26 Yasuo Yamamoto Coevolutionary Latent Feature Processes for Continuous-Time User-Item Interactions NIPS+読み会?関西
- 2. 自己紹介 山本 康生 (Yasuo Yamamoto) 所属：データ＆サイエンス サイエンス本部＠大阪オフィス 担当：広告サイエンス 経歴： ? 今年の８月からYahoo! JAPANに在籍 ? 京阪奈地区で研究開発(NICT, ATRなど） ? KaggleでTop10%入賞とか Airbnb(143rd/1462)、HomeDept(85th/2125) 2
- 3. Table of Contents Motivation Experimental details Highlight data Summary 3
- 4. Motivation
- 5. 著者について About Authors ジョージア工科大学のLe Songさん研究室 ? Yichen Wangさん ? Nan Duさん ? Rakshit Trivediさん 5
- 7. 今回のタイトル Today’s Title Coevolutionary Latent Feature Processes for Continuous-Time User-Item Interactions 7
- 8. 大事なところ Topics Coevolutionary Latent Feature Processes for Continuous-Time User-Item Interactions 8
- 11. 本研究の課題 Subjects ? 利用者とアイテムは共進化する ? 利用者の行動時間はぞれぞれに異なる ? 利用者の興味関心は行動に表れる ? 利用者?アイテム行列の最適化 11
- 12. 本研究の提案 Proposals 提案：Coevolutinary Latent Feature Process ? 利用者とアイテムは共進化する ? 利用者の行動時間はぞれぞれに異なる ? 利用者の興味関心は行動に表れる 提案：A novel low rank space sharing constrains ? 利用者?アイテム行列の最適化 12
- 14. イベントの定義 Event Representation 14 Given ? users and ? items All of user’s history events: ?= {? ?} ? ?= (? ?, ? ?, ? ?, ? ?) ? ?: user feature ? ?: item feature ? ?: time ? ?: interaction feature
- 15. ユーザ潜在変数 A user‘s latent feature 15 (item->user): どのアイテムとインタラクションしたかで決まる
- 16. アイテム潜在変数 A item‘s latent feature 16 (user->item): どのユーザからインタラクションされたかで決まる
- 17. 点過程について Background on Temporal Point Process 17 {??} with ? ∈ ?+ イベントの時間 ?(?): ?までに観測したイベント件数 ?(?): 条件付き強度関数(intensity function) ? これまでに起こったイベントによって決まる、次イベントの確率モデル ? 強度関数は興味関心のモデルとして使われる ?, ? + ?? : An event in small window ? ? : The history ? ? ?? ? ? ????? ?? ?, ? + ?? ?(?)} = ? {?? ? |? ? } In a small window of size dt, i.e., ?? ? ∈ {?, ?}
- 18. 点過程モデル Representation of a simple point process 18 Ioane Muni Toke, An Introduction to Hawkes Processes with Applications to Finance
- 19. 強度関数 Intensity Function 19 Hawkes Processを強度関数?(?)として使う ???(???) : an exponential triggering kernel ?: baseline intensity independent of the history (? ≥ ?) The kernel ?? and the weight ? (? ≥ ?) depend on the history
- 20. １次元ホークス型モデル Hawkes Process: Sample path of 1D-Hawkes Process 20 Ioane Muni Toke, An Introduction to Hawkes Processes with Applications to Finance
- 21. 潜在変数過程 Latent Feature Process 21 ユーザ潜在変数 ? ?(?) ∈ ? ? ???? ?? ? ???? ?, ???? ?? ?? ?????? ? アイテム潜在変数 ??(?) ∈ ? ? ???? ?? ? ???? ?, ???? ?? ?? ?????? ? インタラクション強度の平均 アイテム強度の平均 ユーザ強度の平均インタラクション強度の平均
- 22. 高次元パラメータ The high-dimensional feature A, B, C and D 22 ユーザ潜在変数 ? ?(?) ∈ ? ? ???? ?? ? ???? ?, ???? ?? ?? ?????? ? アイテム潜在変数 ??(?) ∈ ? ? ???? ?? ? ???? ?, ???? ?? ?? ?????? ? 未知のパラメータA, B 未知のパラメータC, D ?, ?, ?, ? ∈ ? ?×? (???? ?? ? ? ????????)
- 23. ベース属性 Drift of base features 23 ユーザ潜在変数 ? ?(?) ∈ ? ? ???? ?? ? ???? ?, ???? ?? ?? ?????? ? アイテム潜在変数 ??(?) ∈ ? ? ???? ?? ? ???? ?, ???? ?? ?? ?????? ? ? ?(?)：ユーザの自己プロフィールなど ??(?)：アイテムのカテゴリや説明など
- 24. ホークス型モデルの効果 Evolution with Hawkes interaction feature averaging processes 24 User’s and item’s features can evolve and be influenced by the characteristics of their interactions. … We choose the exponential kernel ?? ? = ???(???) to reduce the influence of each past event. In other words, only the most recent interaction events will have bigger influences.
- 25. 共進化とホースク型モデル平均 Coevolution with Hawkes feature averaging process 25 ある時刻? ?のユーザ潜在変数? ?(? ?) とアイテム潜在変数 ??(? ?)を、??と定義して(1), (2)を展開する
- 26. 共進化とホースク型モデル平均 Coevolution with Hawkes feature averaging process 26 ある時刻? ?のユーザ潜在変数? ?(? ?)とアイテム潜在変数 ??(? ?)を、 ??と定義して(1), (2)を展開する ユーザ強度 * ユーザ base drift ユーザ強度 * インタラクション強度 ユーザ強度 * アイテム base drift ユーザ強度 * インタラクション強度あるユーザuの ユーザ潜在変数
- 27. 共進化とホースク型モデル平均 Coevolution with Hawkes feature averaging process 27 外的要因と内的要因を一つのモデルとして定義 base driftに従った外的要因 インタラクションに従った内的要因
- 28. 点過程ユーザ?アイテム?インタラクション User-Item Interactions as Temporal Point Processes 28 ユーザ?アイテムの強度関数 ? = (? ?,? ): base preference matrix 何を使うべきか書かれていないが利点は、 ? インタラクションの異質性を軽減する ? ユーザの長期的な趣向を確保する ? short-term preferenceが瞬間的な特徴に左右される ? 強度関数の正の値を保証する ユーザ潜在変数とアイテム潜在変数の内積
- 29. パラメータ推定 Parameter Estimation 29 イベントの集合?、時間幅 [?, ?) のとき 最尤推定でパラメータを推定 負の対数尤度 ? The objective function is non-convex in variables {A, B, C, D} due to the inner product term in (3)
- 30. 凸目的関数 Convex Objective Function 30 式(3)は、? ?(?) には?, ?が含まれ、??(?)には?, ?が含まれる
- 31. 凸目的関数 Convex Objective Function 31 式(3)を展開すると、内積項から?が表れる この?を ??として式(3)を強度関数? ? = ? ?,? (?) に 書き換える ??の係数??(?) は算出が可能 強度関数?は??に対して凸
- 32. 低ランク行列 The row rank space sharing 32 ?を左右対象のブロック行列にする ?? などが共通空間が存在するので低ランクにすることが可能 低ランクどうしの内積は低ランクとなる ?の核型ノルム(nuclear norm)を最小限に抑えることで、すべて の低ランクの空間共有の制約が保証される。
- 33. 目的関数 Objective function 33 新しい変数Xを用いた最小化すべき目的関数 ?: 対数尤度関数(4) ∥?∥ ?: フロベニウスノルム(Frobenius norm) ?, ?, ? : 制約のトレード?オフを調整する 目的関数から求まったパラメータを用いて強度関数?(?)算出して予 測問題を解く
- 34. 最小化アルゴリム Generalized Conditional Gradient Algorithm 34 ? 最新の一般化された条件付き勾配アルゴリズム [9] ? 収束は?( ? ? + ? ?? ) を保証 (tはイテレーション回数） ? 核ノルム制約が存在しない場合、 ?( ? ?? ) で収束 ? 非負数制約が存在しない場合、 ?( ? ? )で収束 ? １イテレーションは?(???) ?ユーザ数、?アイテム数、?イベント 数/ユーザ?アイテム [9] N. Du, Y. Wang, N. He, and L. Song. Time sensitive recommendation from recurrent user activities. In NIPS, 2015.
- 35. Highlight Data
- 36. 予測と評価 Predictions and metrics 36 a. アイテム?レコメンデーション ? ある時刻tにおけるユーザの生存確率Sui(t)を算出 ? Sui(t)を昇順に並べてアイテムをレコメンド ? 評価はMean Average Rank(MAR) b. 時刻予測 ? 次イベントの確率密度f(t)を算出 ? 評価はMean Absolute Error(MAE)
- 37. 比較 competitors 37 ? TimeSVD++: the classic matrix factoraization ? FIP: a static low rank latent factor model ? STIC: a semi-hidden markov model (時刻予測のみ） ? Poisson Tensor: Poisson Regression ? Dynamic Poisson: the Poisson factorization with a Kalman filter（アイテム?レコメンドのみ） ? Low Rank Hawkes: a Hawkes Process based model epock based models
- 38. 人工データでの性能評価と結果 Experiments on Synthetic Data and Results 38 1,000ユーザ 1,000アイテム 10,000イベント を生成
- 39. 実世界データでの性能評価 Experiments on Real-World Data 39 ? IPTV: TVストリーミング?サービス ? 7,100ユーザ視聴履歴、436プログラム、2,392,010イベント、 1,420映像属性 ? Reddit: 掲示板サイト ? 2014年１月?、1,000ユーザ、1,403グループ、10,000イベント ? Yelp:ローカルビジネスレビューサイト ? 2004年10月?2015年12月、100ユーザ、17,213ビジネス、約 95,000レビュー
- 40. 実世界データの属性 Features 40 Item base feature User base feature Interaction feature IPTV 1,420 movie features N/A N/A Reddit N/A N/A Comment (bag-of-words) Yelp Business description N/A Review (bag-of-words)
- 43. 実世界データでの結果 Results - Yelp 43 LOW RANK HAWKES might be good at differentiating the rank of intensity better than COEVOLVE . However, it may not be able to learn the actual value of the intensity function accurately. Hence our method has the order of magnitude improvement in the time prediction task.
- 44. 実世界データでのユーザの時間的遷移 Time-varying in IPTV and Reddit 44 AppleがSamsung に勝訴したとき
- 45. Summary
- 46. まとめ Conclusion 46 ? ユーザ?アイテムの潜在変数の共進化を効率よくモデリング ? 大規模なデータセットに対しても優れた予測精度を達成 ? 将来的にはソーシャル?グラフの動的モデリングやQ&Aサイトの ユーザ行動の理解などに応用する