![推薦システムの（ビジネス上の）目的
? ECサイト：
購入数増加→売上増加
? 動画/音楽視聴サービス：
視聴数増加→エンゲージメント向上
[Jannach ‘19] Measuring the Business Value of Recommender System
購入や視聴などのユーザー行動を
増やしたい
5](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-6-320.jpg)
![推薦有無の行動の場合分け
推薦したとき
の行動
推薦しなかったとき
の行動 行動変化
+1
0
0
?1
8
A
C
D
B
アイテム
? 推薦有無の行動で４タイプに分かれる
（ユーザーの行動を購入/視聴の有無で二値化）
? Aタイプの推薦は従来評価だと「成功」だが行動増えない
? Bタイプのアイテムを推薦したい
[Sato ‘19] Uplift-based Evaluation and Optimization of Recommenders](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-9-320.jpg)
![推薦有無の行動の場合分け
推薦したとき
の行動
推薦しなかったとき
の行動 行動変化
+1
0
0
?1
9
A
C
D
B
アイテム
? 推薦してない状況下の行動履歴から学習すると（従来手法の
大半）、AとDを推薦してしまう
? 推薦アイテムの行動履歴から学習した場合（bandit学習やoff-
policy学習）は、AとBを推薦してしまう
[Sato ‘19] Uplift-based Evaluation and Optimization of Recommenders](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-10-320.jpg)
![? 因果推論の枠組みで考える
? Bタイプのアイテム＝因果効果の大きいアイテムを推薦したい
推薦有無の行動の場合分け
+1
0
0
?1
10
A
C
D
B
アイテム
Causal effect
Potential outcomes
[Sato ‘19] Uplift-based Evaluation and Optimization of Recommenders](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-11-320.jpg)
![セレンディピティとの関連
? ユーザー視点だと、セレンディピティを目指した推薦に近い
? セレンディピティはユーザー満足度につながる [Kotkov ‘18]
13
Serendipity = Relevance & Novelty & Unexpectedness
The user would not have
found this item on their own
(without recommendation)
[Kotkov ‘18] Investigating Serendipity in Recommender Systems Based on Real User Feedback
推薦したとき
の行動
推薦しなかったとき
の行動 行動変化
+1
B
アイテム](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-14-320.jpg)
![推薦の因果効果は現実的に重要？
? 実際にAタイプ（推薦有無に関わらず行動）はありうるのか？
→Amazonのオススメのクリックの75%以上は、
オススメしなくてもクリックされる（という分析報告）
14
[Sharma ‘15] Estimating the Causal Impact of Recommendation Systems from Observational Data](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-15-320.jpg)
![推薦の因果効果は現実的に重要？
? 行動率が高いアイテムを推薦すれば行動増加も大きい？
→購入率が高い商品と、購入増加が大きい商品は異なる
推薦なしの購入率（予測）
推薦したときの購入率
（実測）
推薦による伸び
15
[Sato ‘16] Modeling Individual Users‘ Responsiveness to Maximize Recommendation Impact](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-16-320.jpg)
![評価指標
? ランキング評価指標の因果効果版
19
ランキング順位
モデルの出力スコア
ランキング順に依存した重み
行動有無 因果効果
[Sato ‘20] Unbiased Learning for the Causal Effect of Recommendation
↓ AUCにほぼ比例
↑ normalizeしていないNDCG](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-20-320.jpg)
![アプローチ1
? 推薦有無のPotential outcomesをそれぞれ推定し、その差分
を因果効果の推定値としてランキング
? [Bodapati ‘08]: 推薦するとexposureが100%になるexposure model
? RecResp [Sato’16]: 推薦の影響度変数をユーザー/アイテムごとに
? CUBN/CIBN [Sato ‘21]: (あとで紹介)
? CausCF [Xie ‘21]: 推薦の影響をpairwise tensor factorizationで表現
20
[Bodapati ‘08] Recommendation Systems with Purchase Data
[Sato ‘16] Modeling Individual Users‘ Responsiveness to Maximize Recommendation Impact
[Sato ‘21] Causality-Aware Neighborhood Methods for Recommender Systems
[Xie ‘21] CausCF: Causal Collaborative Filtering for Recommendation Effect Estimation](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-21-320.jpg)
![アプローチ2
? 因果効果順のランキングになるようなスコアを学習(ランキン
グ学習）
? ULBPR/ULRMF [Sato ‘19]: ユーザー行動を4つにわけ、それぞれが
タイプA~Dのどれを含むかをもとに学習データサンプリング
? DLCE [Sato ‘20]: (あとで紹介)
? DRUL [Xiao ‘22]: doubly robustで因果効果を推定してCausal DCG
を最適化
21
[Sato ‘19] Uplift-based Evaluation and Optimization of Recommenders
[Sato ‘20] Unbiased Learning for the Causal Effect of Recommendation
[Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-22-320.jpg)
![? 推薦有無( )とpotential outcomes( , )の両方が、ユー
ザーやアイテムの特性( , )に依存するため、confounding
biasが生じる。
因果効果推定の難しさ：Confounding Bias
23
[Sato ‘20] Unbiased Learning for the Causal Effect of Recommendation](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-24-320.jpg)
![バイアス除去の方法
? 因果推論の不偏推定の手法が用いられる
? CUBN/CIBN [Sato ‘21] <- Matching estimator
? DLCE [Sato ‘20] <- Inverse propensity scoring (IPS) estimator
? DRUL [Xiao ‘22] <- Doubly robust (DR) estimator
24
[Sato ‘21] Causality-Aware Neighborhood Methods for Recommender Systems
[Sato ‘20] Unbiased Learning for the Causal Effect of Recommendation
[Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-25-320.jpg)
![バイアス除去の方法
? 因果推論の不偏推定の手法が用いられる
? CUBN/CIBN [Sato ‘21] <- Matching estimator
? DLCE [Sato ‘20] <- Inverse propensity scoring (IPS) estimator
? DRUL [Xiao ‘22] <- Doubly robust (DR) estimator
25
[Sato ‘21] Causality-Aware Neighborhood Methods for Recommender Systems
[Sato ‘20] Unbiased Learning for the Causal Effect of Recommendation
[Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-26-320.jpg)
![バイアス除去の方法
? 因果推論の不偏推定の手法が用いられる
? CUBN/CIBN [Sato ‘21] <- Matching estimator
? DLCE [Sato ‘20] <- Inverse propensity scoring (IPS) estimator
? DRUL [Xiao ‘22] <- Doubly robust (DR) estimator
33
[Sato ‘21] Causality-Aware Neighborhood Methods for Recommender Systems
[Sato ‘20] Unbiased Learning for the Causal Effect of Recommendation
[Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-34-320.jpg)
![どの手法がよい？
? オフライン評価の結果からは概ね以下の通り
? [Bodapati ‘08] < RecResp [Sato’16] < ULBPR [Sato ‘19]
< DLCE [Sato ‘20] < CUBN [Sato ‘21] / DRUL [Xiao ‘22]
(CUBNとDRULの比較評価はまだない）
? しかしground truthがないため、評価自体もestimatorの性能
に依存
? シミュレートデータだとground truthがあるが、シミュレーター
の現実再現度に依存
? オンライン評価が必要
41](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-42-320.jpg)
![? インターリービング：複数リストから交互挿入したリストを生成
し、生成リストをユーザーに提示して結果を集計
? 因果効果評価に必要な条件を満たすようにリストを生成し、非
推薦アイテムも観測
因果効果評価用のインターリービング手法
46
通常のイン
ターリービング
因果効果用のイ
ンターリービング
Do the above satisfying
(conditional) independence
and positivity
Only items in
interleaved list
( のみ観測)
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Also items not in
interleaved list
( も観測)
リスト生成 結果の集計
[Sato ‘21] Online Evaluation Methods for the Causal Effect of Recommendations](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-47-320.jpg)
![? 以下のindependenceを満たすようにリスト生成
? ただし全アイテムに対してではなく、リストA,Bの和集合内のア
イテムに対して満たせばよい
提案手法１：EPI (Equal Probability
Interleaving) - RCT
47
[Sato ‘21] Online Evaluation Methods for the Causal Effect of Recommendations
Select n items with
equal probability
Simply takes the difference in average
outcomes of and
as in randomized controlled trials (RCT)
リスト生成 結果の集計](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-48-320.jpg)
![? propensityはリスト生成方法に依存するが既知
? 以下のconditional independenceが成り立つ
? あとはリストA,Bの和集合内でpositivityが成り立てばよい
提案手法２：CBI (Causal Balanced
Interleaving) - IPS
48
[Sato ‘21] Online Evaluation Methods for the Causal Effect of Recommendations
Select n items satisfying positivity Unbiased estimates by inverse
propensity scoring (IPS)
リスト生成 結果の集計
この研究ではリストA,Bから
バランスよく選択](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-49-320.jpg)
![? 評価に必要なユーザー数は、ABテストの約1/30
（ただしシミュレーションによる検証）
オンライン評価効率の検証実験
49
[Sato ‘21] Online Evaluation Methods for the Causal Effect of Recommendations
モデルの優劣を誤
判断する確率
AB-total: パターン2の推薦して
いないアイテムも含めてトータル
のインタラクション数を比較](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-50-320.jpg)
![よく推薦されるアイテムの傾向
54
[Sato ‘19] Uplift-based Evaluation and Optimization of Recommenders](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-55-320.jpg)
![よく推薦されるアイテムの傾向
55
[Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-56-320.jpg)
![Performance Comparison
58
[Sato ‘21] Causality-Aware Neighborhood Methods for Recommender Systems](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-59-320.jpg)
![Performance Comparison
59
提案手法
精度重視の手法
因果効果ランキ
ングの従来手法
[Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-60-320.jpg)
![Off-Policy Evaluation Performance
60
[Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems](https://image.slidesharecdn.com/cfmllearningsato-220702072133-87d19568/85/CFML_learning_sato-pdf-61-320.jpg)
CFML_learning_sato.pdf
- 2. 自己紹介 ? 2013年くらいから情報推薦技術の研究 ? 最近はバイオや医療関連も ? 家に犬がいます 1
- 3. これまでの主な研究 ? Modeling Individual Users‘ Responsiveness to Maximize Recommendation Impact (UMAP ‘16) <- 推薦に対する反応の個人化と購入率の伸び（＝因果効果）の最大化 ? Explaining Recommendations Using Contexts (IUI ‘18) <- 行動誘発（＝因果効果）につながるコンテキストを用いた推薦説明 ? Uplift-based Evaluation and Optimization of Recommenders (RecSys ‘19) <- 推薦による伸び（＝アップリフト＝因果効果）の評価とモデル最適化 ? Unbiased Learning for the Causal Effect of Recommendation (RecSys ‘20) <- 推薦の因果効果をIPSで推定してランキング学習 ? Causality-Aware Neighborhood Methods for Recommender Systems (ECIR ‘21) <- 推薦の因果効果をMatching estimatorで推定してランキング ? Online Evaluation Methods for the Causal Effect of Recommendations (RecSys ‘21) <- 推薦の因果効果のオンライン評価方法 2
- 4. アウトライン ? なぜ因果効果？（10分） ? ランキング手法（15分） ? オンライン評価手法（5分） 3
- 5. なぜ因果効果？ 4
- 6. 推薦システムの（ビジネス上の）目的 ? ECサイト： 購入数増加→売上増加 ? 動画/音楽視聴サービス： 視聴数増加→エンゲージメント向上 [Jannach ‘19] Measuring the Business Value of Recommender System 購入や視聴などのユーザー行動を 増やしたい 5
- 7. 一般的な推薦システム 1. ユーザーの嗜好（行動傾向）を学習 2. ユーザーの行動（購入/視聴）を予測 3. 購入/視聴の確率が高いアイテムを推薦 4. 推薦したアイテムを購入/視聴したら成功 6
- 8. 一般的な推薦システム 1. ユーザーの嗜好（行動傾向）を学習 2. ユーザーの行動（購入/視聴）を予測 3. 購入/視聴の確率が高いアイテムを推薦 4. 推薦したアイテムを購入/視聴したら成功 推薦しなくても購入/視聴してたかも？ 推薦したからこその購入/視聴でないと、 ユーザー行動は増えない。 7
- 9. 推薦有無の行動の場合分け 推薦したとき の行動 推薦しなかったとき の行動 行動変化 +1 0 0 ?1 8 A C D B アイテム ? 推薦有無の行動で４タイプに分かれる （ユーザーの行動を購入/視聴の有無で二値化） ? Aタイプの推薦は従来評価だと「成功」だが行動増えない ? Bタイプのアイテムを推薦したい [Sato ‘19] Uplift-based Evaluation and Optimization of Recommenders
- 10. 推薦有無の行動の場合分け 推薦したとき の行動 推薦しなかったとき の行動 行動変化 +1 0 0 ?1 9 A C D B アイテム ? 推薦してない状況下の行動履歴から学習すると（従来手法の 大半）、AとDを推薦してしまう ? 推薦アイテムの行動履歴から学習した場合（bandit学習やoff- policy学習）は、AとBを推薦してしまう [Sato ‘19] Uplift-based Evaluation and Optimization of Recommenders
- 11. ? 因果推論の枠組みで考える ? Bタイプのアイテム＝因果効果の大きいアイテムを推薦したい 推薦有無の行動の場合分け +1 0 0 ?1 10 A C D B アイテム Causal effect Potential outcomes [Sato ‘19] Uplift-based Evaluation and Optimization of Recommenders
- 12. 問題設定 ? ユーザーの商品購入や動画視聴を増やす ? 因果効果 で推薦リストをランキング、評価する 11
- 13. Aタイプの想定事例 ? ECサイト： すでに買いたいものが決まっている →オススメされなくても検索して自分で見つけて買う ? 動画視聴サービス： ある映画監督のファンで作品はすべて把握している →オススメしなくてもその監督の新作は視聴する ? 論文のレコメンド： メジャーな国際会議や代表的な研究者はチェックしている →上記の範囲で関連論文があれば自分で見つけて読む 12
- 14. セレンディピティとの関連 ? ユーザー視点だと、セレンディピティを目指した推薦に近い ? セレンディピティはユーザー満足度につながる [Kotkov ‘18] 13 Serendipity = Relevance & Novelty & Unexpectedness The user would not have found this item on their own (without recommendation) [Kotkov ‘18] Investigating Serendipity in Recommender Systems Based on Real User Feedback 推薦したとき の行動 推薦しなかったとき の行動 行動変化 +1 B アイテム
- 15. 推薦の因果効果は現実的に重要？ ? 実際にAタイプ（推薦有無に関わらず行動）はありうるのか？ →Amazonのオススメのクリックの75%以上は、 オススメしなくてもクリックされる（という分析報告） 14 [Sharma ‘15] Estimating the Causal Impact of Recommendation Systems from Observational Data
- 16. 推薦の因果効果は現実的に重要？ ? 行動率が高いアイテムを推薦すれば行動増加も大きい？ →購入率が高い商品と、購入増加が大きい商品は異なる 推薦なしの購入率（予測） 推薦したときの購入率 （実測） 推薦による伸び 15 [Sato ‘16] Modeling Individual Users‘ Responsiveness to Maximize Recommendation Impact
- 18. ランキング手法 17
- 20. 評価指標 ? ランキング評価指標の因果効果版 19 ランキング順位 モデルの出力スコア ランキング順に依存した重み 行動有無 因果効果 [Sato ‘20] Unbiased Learning for the Causal Effect of Recommendation ↓ AUCにほぼ比例 ↑ normalizeしていないNDCG
- 21. アプローチ1 ? 推薦有無のPotential outcomesをそれぞれ推定し、その差分 を因果効果の推定値としてランキング ? [Bodapati ‘08]: 推薦するとexposureが100%になるexposure model ? RecResp [Sato’16]: 推薦の影響度変数をユーザー/アイテムごとに ? CUBN/CIBN [Sato ‘21]: (あとで紹介) ? CausCF [Xie ‘21]: 推薦の影響をpairwise tensor factorizationで表現 20 [Bodapati ‘08] Recommendation Systems with Purchase Data [Sato ‘16] Modeling Individual Users‘ Responsiveness to Maximize Recommendation Impact [Sato ‘21] Causality-Aware Neighborhood Methods for Recommender Systems [Xie ‘21] CausCF: Causal Collaborative Filtering for Recommendation Effect Estimation
- 22. アプローチ2 ? 因果効果順のランキングになるようなスコアを学習(ランキン グ学習） ? ULBPR/ULRMF [Sato ‘19]: ユーザー行動を4つにわけ、それぞれが タイプA~Dのどれを含むかをもとに学習データサンプリング ? DLCE [Sato ‘20]: (あとで紹介) ? DRUL [Xiao ‘22]: doubly robustで因果効果を推定してCausal DCG を最適化 21 [Sato ‘19] Uplift-based Evaluation and Optimization of Recommenders [Sato ‘20] Unbiased Learning for the Causal Effect of Recommendation [Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems
- 23. ? 個々のuser-itemペアに対するground truthが得られない！ 評価?学習の難しさ： Unobservable Nature 推薦したとき の行動 推薦なしでの 行動 どちらか一方しか観測 できない！ 両方わからないと算出 できない 22
- 24. ? 推薦有無( )とpotential outcomes( , )の両方が、ユー ザーやアイテムの特性( , )に依存するため、confounding biasが生じる。 因果効果推定の難しさ：Confounding Bias 23 [Sato ‘20] Unbiased Learning for the Causal Effect of Recommendation
- 25. バイアス除去の方法 ? 因果推論の不偏推定の手法が用いられる ? CUBN/CIBN [Sato ‘21] <- Matching estimator ? DLCE [Sato ‘20] <- Inverse propensity scoring (IPS) estimator ? DRUL [Xiao ‘22] <- Doubly robust (DR) estimator 24 [Sato ‘21] Causality-Aware Neighborhood Methods for Recommender Systems [Sato ‘20] Unbiased Learning for the Causal Effect of Recommendation [Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems
- 26. バイアス除去の方法 ? 因果推論の不偏推定の手法が用いられる ? CUBN/CIBN [Sato ‘21] <- Matching estimator ? DLCE [Sato ‘20] <- Inverse propensity scoring (IPS) estimator ? DRUL [Xiao ‘22] <- Doubly robust (DR) estimator 25 [Sato ‘21] Causality-Aware Neighborhood Methods for Recommender Systems [Sato ‘20] Unbiased Learning for the Causal Effect of Recommendation [Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems
- 27. IPS-based Unbiased Estimator 評価指標の IPS-based estimator 観測不可能 観測可能 推薦の 有無 推薦される確率 (=“propensity”) 購入/視聴 26
- 30. Unbiased Learning for Causal AR ? ランキング指標は微分不可なのでupper boundを導出 この２つの項に対してSGDで学習 29
- 31. (11,331 items) Performance Comparison (Dunnhumby data) 従来 手法 提案手法 Biased not 学習手法の比較なので、モデル は統一して Matrix factorization
- 33. Robustness to Miss-specified Propensity Category-Original Product-Original 推定誤差の程度 提案手法にはPropensityが必要 ->propensityのログなかったら推定必要 ->推定誤差があっても大丈夫？ 推定誤差の程度 1.0だと propensityは 一様と予測
- 34. バイアス除去の方法 ? 因果推論の不偏推定の手法が用いられる ? CUBN/CIBN [Sato ‘21] <- Matching estimator ? DLCE [Sato ‘20] <- Inverse propensity scoring (IPS) estimator ? DRUL [Xiao ‘22] <- Doubly robust (DR) estimator 33 [Sato ‘21] Causality-Aware Neighborhood Methods for Recommender Systems [Sato ‘20] Unbiased Learning for the Causal Effect of Recommendation [Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems
- 35. Matching Estimator for Causal Inference ? 対象と類似したsubjectsをコントロール群から選んで（マッチさ せて）、outcomeの差分から因果効果を推定する 34 Subject n (treated) Other untreated subjects (control) ?
- 36. Neighborhood method for Recommenders ? 類似ユーザーの行動から推定する（推薦技術の伝統的手法） 35 User u Other users User-Based Neighborhood (UBN)
- 37. Causality-aware UBN ? 両者の考え方を合わせた手法 ? 類似ユーザーからpotential outcomesを推定 36 indicator of recommendation (=1, if recommended) (=1, if Not recommended) when u-i is recommended in logged data when u-i is not recommended in logged data
- 38. Similarityの算出方法 ? User similarity by outcomes (CUBN-O) インタラクションするアイテムが似ているとsimilarとみなす ? User similarity by treatment assignments (CUBN-T) 推薦されているアイテムが似ているとsimilarとみなす 37
- 39. Shrinkage parameterの導入 ? 近傍ユーザーが少なかったり、近傍ユーザーとの類似度が小 さいと、potential outcomesの推定誤差が大きくなる ? 推定誤差の大きいアイテムがたまたま上位にランキングされ ると困る ? 類似度の和が小さいときは推定値が0に縮退するように補正 38
- 40. Performance Comparison (MovieLens) 39 Proposed Methods Previous Methods for this problem or related problem -O: similarity by -T: similarity by
- 41. Robustness to Propensity Unevenness IPSはpropensityが極端に小さかったり大き い場合にvarianceが大きくなる。 CUBNはその影響を受けにくいことを実証。
- 42. どの手法がよい？ ? オフライン評価の結果からは概ね以下の通り ? [Bodapati ‘08] < RecResp [Sato’16] < ULBPR [Sato ‘19] < DLCE [Sato ‘20] < CUBN [Sato ‘21] / DRUL [Xiao ‘22] (CUBNとDRULの比較評価はまだない） ? しかしground truthがないため、評価自体もestimatorの性能 に依存 ? シミュレートデータだとground truthがあるが、シミュレーター の現実再現度に依存 ? オンライン評価が必要 41
- 43. オンライン評価手法 42
- 44. ２パターンのABテスト ? パターン1）推薦リスト内の平均インタ ラクション数を比較 → YTを評価しており、因果効果を評 価できていない ? パターン2)推薦していないアイテムも 含めてトータルのインタラクション数を 比較 →因果効果を評価できるが、評価ば らつきが大きい →多くのユーザーで評価する必要 （非効率！） 43 Item Item Item Item Item Item Item Item User in A group User in B group Item Item Item Item Item Item Item Item Item Item Item User in A group User in B group … Item Item Item … 推薦 アイテム (大量の) 非推薦 アイテム
- 45. 非効率なオンライン評価の弊害 ? モデルの優劣を判断するのに時間がかかる ? 評価したモデルが性能低かったときの悪影響が大きくなる 44 多くのユーザーの不満 売上低下による事業ダメージ Boring! Boring!
- 46. 非効率なオンライン評価の弊害 ? モデルの優劣を判断するのに時間がかかる ? 評価したモデルが性能低かったときの悪影響が大きくなる 45 多くのユーザーの不満 売上低下による事業ダメージ Boring! Boring! 推薦の因果効果に対する効率的 なオンライン評価手法が必要
- 47. ? インターリービング：複数リストから交互挿入したリストを生成 し、生成リストをユーザーに提示して結果を集計 ? 因果効果評価に必要な条件を満たすようにリストを生成し、非 推薦アイテムも観測 因果効果評価用のインターリービング手法 46 通常のイン ターリービング 因果効果用のイ ンターリービング Do the above satisfying (conditional) independence and positivity Only items in interleaved list ( のみ観測) Item Item Item Item Item Item Item Item Item Item Item Item Item Item Item Item Item Item Item Item Also items not in interleaved list ( も観測) リスト生成 結果の集計 [Sato ‘21] Online Evaluation Methods for the Causal Effect of Recommendations
- 48. ? 以下のindependenceを満たすようにリスト生成 ? ただし全アイテムに対してではなく、リストA,Bの和集合内のア イテムに対して満たせばよい 提案手法１：EPI (Equal Probability Interleaving) - RCT 47 [Sato ‘21] Online Evaluation Methods for the Causal Effect of Recommendations Select n items with equal probability Simply takes the difference in average outcomes of and as in randomized controlled trials (RCT) リスト生成 結果の集計
- 49. ? propensityはリスト生成方法に依存するが既知 ? 以下のconditional independenceが成り立つ ? あとはリストA,Bの和集合内でpositivityが成り立てばよい 提案手法２：CBI (Causal Balanced Interleaving) - IPS 48 [Sato ‘21] Online Evaluation Methods for the Causal Effect of Recommendations Select n items satisfying positivity Unbiased estimates by inverse propensity scoring (IPS) リスト生成 結果の集計 この研究ではリストA,Bから バランスよく選択
- 50. ? 評価に必要なユーザー数は、ABテストの約1/30 （ただしシミュレーションによる検証） オンライン評価効率の検証実験 49 [Sato ‘21] Online Evaluation Methods for the Causal Effect of Recommendations モデルの優劣を誤 判断する確率 AB-total: パターン2の推薦して いないアイテムも含めてトータル のインタラクション数を比較
- 51. まとめ 50
- 52. ? 推薦の因果効果は売上やエンゲージメント向上のために重要 ? 因果効果順にアイテムをランキングする手法 ? アプローチA: 推薦有無のPotential outcomesをそれぞれ推定し、その 差分を因果効果の推定値としてランキング ? アプローチB:因果効果順のランキングになるようなスコアを学習(ランキ ング学習） ? confounding biasに対処するためにIPSやmatching estimator ? 推薦システムの因果効果のオンライン比較評価手法 ? 因果効果評価用のインターリービング まとめ 51
- 53. ? オフライン評価の精度はまだまだ低い (doubly robustでも） ? 推薦リスト内のアイテム間の独立性を仮定（no interference） ? 表示位置等に関わらず同じ推薦と仮定(no multiple versions) ? （同じアイテムの）リピート購入や繰り返し推薦の扱い ? 本当のオンライン評価は未実施 ? ユーザー満足度の評価も未実施 Limitation (Future Work) 52
- 54. APPENDIX 53
- 55. よく推薦されるアイテムの傾向 54 [Sato ‘19] Uplift-based Evaluation and Optimization of Recommenders
- 56. よく推薦されるアイテムの傾向 55 [Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems
- 59. Performance Comparison 58 [Sato ‘21] Causality-Aware Neighborhood Methods for Recommender Systems
- 60. Performance Comparison 59 提案手法 精度重視の手法 因果効果ランキ ングの従来手法 [Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems
- 61. Off-Policy Evaluation Performance 60 [Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems