![研究背景とか
? ニュースのトピックを各時刻ごとに検出し，モニタリングしたい
? トピックの進化?出現?消失に対応しつつモニタリング
? 今までにそういう研究なかった？
? モニタリングなので，異なる時刻のトピックを「明示的に」リンクさせたい
（i.e., 前のどのトピックが現在のどのトピックに繋がっているのか）
? それに対応してるのが今のところTM-LDA[Wang, KDD12]ぐらいらしい
? TM-LDA: トピック遷移行列を作成（i.e., このトピックが出たら次にこのトピックが出やすい）
? これまでの傾向を学習するのみ，突発的な災害等のトピックはすぐには追えない
? もっと現時点のデータからダイレクトにトピック遷移を発見したい！
4 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学）
A Time-Based Collective Factorization for Topic Discovery and Monitoring in News
トピックの現れ方
いろいろ（論文より）](https://image.slidesharecdn.com/www14-r16-140721224644-phpapp02/85/WWW2014-Session-16-Content-Analysis-2-Topics-4-320.jpg)
![提案手法
? Joint Past Present (JPP)分解
? NMF(Non-negative Matrix Factorization)で文書-単語行列 ? を
文書-トピック行列 ? とトピック-単語行列 ? に分解( ? は時刻)
? さらにトピック遷移行列 ? を用いてこれを表現
? この二つをそれぞれ制約とし，正則化項入れて解く
? ? は凸ではないが，ある程度いい局所解が得られる[Lee, Nature99]
? 無理に ?(?)
?(??1)
を ?(?)
に一致させたりはしない（過去に引っ張られてしまうため？）
5 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学）
A Time-Based Collective Factorization for Topic Discovery and Monitoring in News
ひとつ前の時刻の ? に
遷移行列 ? をかけたら
今の時刻の ? になる的な
? → ∞ にすれば
過去指向
? → 0 にすれば
現在指向
X W H イメージ図](https://image.slidesharecdn.com/www14-r16-140721224644-phpapp02/85/WWW2014-Session-16-Content-Analysis-2-Topics-5-320.jpg)
![評価 – トピックトラッキング
? 時間的にトピックのつながりを追っかけたいって話でしたね
? 過去のトピック-単語行列 ? を用いて現在の文書-トピック行列 ? を予測
→ 既知のトピックが未来の各時刻でどの文書に出てくるかを見る
? Online-NMF (ONML)[Cao, IJCAI07]とのみ比較 （やはり比較されないTM-LDA…）
8 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学）
A Time-Based Collective Factorization for Topic Discovery and Monitoring in News
評価結果
（論文より）
Online NMFにはなんとか勝ってるがこれでいいのか！？](https://image.slidesharecdn.com/www14-r16-140721224644-phpapp02/85/WWW2014-Session-16-Content-Analysis-2-Topics-8-320.jpg)
![研究背景とか
? ツイートなどの短文にも強いトピックモデルを作りたい
? 短文では語の共起がスパースなので通常のLDAだと性能落ちる
? 今まで改善策あったのでは？
? ヒューリスティックな方法でLDAを改善する研究がある
? Document pooling [Mehrotra, SIGIR13], Contextualization [Tang, KDD13]
? ツイート投稿者など，テキスト以外のAdditionalな情報が必要
? Sparsity-Enhanced Topic Modelと呼ばれる研究もある
? “sparsity-enhanced topic models ... [27, 8, 29, 23, 30, 1, 32, 14, 28, 17].”
? めっちゃあるやないか！
? 有力候補1：STC (Sparse Topical Coding) [Zhu, UAI11]
欠点：文書のスパースなトピック表現（1文書は少数のトピックのみを持つ）ができてない
? 有力候補2：IBP-LDA [Archambeau, NIPS Workshop 11] (IBP: Indian Buffet Process)
欠点：複雑なので大規模な文書集合には適用できない
10 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学）
The Dual-Sparse Topic Model: Mining Focused Topics and Focused Terms in Short Text
多いので論文中の引用番号のみ
実際の短文はこの性質があるらしく，上記を実現したほうが性能が良くなる](https://image.slidesharecdn.com/www14-r16-140721224644-phpapp02/85/WWW2014-Session-16-Content-Analysis-2-Topics-10-320.jpg)
![提案手法
? Spike and Slab prior [Ishwaran, The Annals of Statistics 05]を入れる
? 「1文書は少数のトピックのみを持ち，1トピックは少数の単語のみを持つ」
という（特に短文に当てはまる）性質を表すのに適したprior（事前分布）
? 弱いスムージングprior（＝より頻度主義に近くなる）でこれを表現しようと
しても，短文の疎な部分がそのまま出てくるだけ[Wang, NIPS09]
? なのでSpikeとSlabのトピックそれぞれに別々のスムージングをかける
→ Spikeで一部のトピックを際立たせつつ，Slabで滑らかに！
11 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学）
The Dual-Sparse Topic Model: Mining Focused Topics and Focused Terms in Short Text
グラフィカルモデル
（論文より）
SpikeとSlabの和で表された
ハイパーパラメータで
トピックと単語それぞれの
ディリクレ分布を生成
/
/](https://image.slidesharecdn.com/www14-r16-140721224644-phpapp02/85/WWW2014-Session-16-Content-Analysis-2-Topics-11-320.jpg)
![LDAの更新式
? Zero-Order Collapsed Variational Bayes Inference (CVB0)
[Asuncion, UAI09]
? Zero-Order：更新式のテイラー展開の0番目のオーダのみで近似
? 理論的に安定していることが証明されている [Sato, ICML12]
? Collapsed Gibbs Sampling [Griffiths, PNAS04]やCollapsed Variational
Bayes Inference (CVB) [Teh, NIPS06]より性能良い
? 処理時間も短縮できるので，大規模なデータに向いている
12 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学）
The Dual-Sparse Topic Model: Mining Focused Topics and Focused Terms in Short Text
LDAの更新式は今のところCVB0使っとけば良さげ
（私の個人的な感想です）](https://image.slidesharecdn.com/www14-r16-140721224644-phpapp02/85/WWW2014-Session-16-Content-Analysis-2-Topics-12-320.jpg)
![評価
? DBLP, 20 Newsgroups, Twitterの3種類のデータ
13 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学）
The Dual-Sparse Topic Model: Mining Focused Topics and Focused Terms in Short Text
評価結果（論文より）
ユーザごとに
ツイートを
まとめたもの
データセット（論文より）
20 Newsgroupsの文書長を短くした
場合でも提案手法（DSPTM）が安定
提案手法（DsparseTM）が全般的に良い
Twitterだとほぼ1ツイート1トピックらしく，
Mixture of unigrams[Blei, JMLR03]がベスト
だが，それでも提案手法は結構良い](https://image.slidesharecdn.com/www14-r16-140721224644-phpapp02/85/WWW2014-Session-16-Content-Analysis-2-Topics-13-320.jpg)
![評価 – 規模
? 2012年5月の英語版Wikipediaで評価
? 2億のWebページ（N-gramモデル）と10億の検索クエリを補助的に利用
? Rw: Wikipediaカテゴリ（クラス）のラベル
RG∩￢W: 提案手法で得られたクラスのラベル（Wikipediaカテゴリ除く）
RQ: 検索クエリに含まれるラベル
RS: 拡張された検索クエリ（1250億）に含まれるラベル[Pa?ca, CIKM11]
17 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学）
Acquisition of Open-Domain Classes via Intersective Semantics
得られたクラスのラベル数（論文より）
ラベル数めっちゃ増える
クエリの制約を入れると
だいぶ減るが，それでも
結構増える
/
N-gramモデル使って疑似的に
似たようなクエリめっちゃ生成する](https://image.slidesharecdn.com/www14-r16-140721224644-phpapp02/85/WWW2014-Session-16-Content-Analysis-2-Topics-17-320.jpg)
WWW2014 Session 16: Content Analysis 2 - Topics
- 1. Session 16: Content Analysis 2 – Topics 担当： 白川（大阪大学） 【WWW2014勉強会】 2014年7月20日（日）
- 2. Session 16: Content Analysis 2 – Topics の論文 p527.pdf A Time-Based Collective Factorization for Topic Discovery and Monitoring in News Carmen Vaca (Politecnico di Milano & Escuela Superior Politecnica del Litoral), Amin Mantrach (Yahoo! Labs), Alejandro Jaimes (Yahoo! Labs), Marco Saerens (Université de Louvain) P539.pdf The Dual-Sparse Topic Model: Mining Focused Topics and Focused Terms in Short Text Tianyi Lin (The Chinese University of Hong Kong), Wentao Tian (The Chinese University of Hong Kong), Qiaozhu Mei (University of Michigan), Hong Cheng (The Chinese University of Hong Kong) P551.pdf Acquisition of Open-Domain Classes via Intersective Semantics Marius Pa?ca (Google Inc.) 2
- 3. Session 16: Content Analysis 2 – Topics の論文 p527.pdf A Time-Based Collective Factorization for Topic Discovery and Monitoring in News Carmen Vaca (Politecnico di Milano & Escuela Superior Politecnica del Litoral), Amin Mantrach (Yahoo! Labs), Alejandro Jaimes (Yahoo! Labs), Marco Saerens (Université de Louvain) P539.pdf The Dual-Sparse Topic Model: Mining Focused Topics and Focused Terms in Short Text Tianyi Lin (The Chinese University of Hong Kong), Wentao Tian (The Chinese University of Hong Kong), Qiaozhu Mei (University of Michigan), Hong Cheng (The Chinese University of Hong Kong) P551.pdf Acquisition of Open-Domain Classes via Intersective Semantics Marius Pa?ca (Google Inc.) 3
- 4. 研究背景とか ? ニュースのトピックを各時刻ごとに検出し，モニタリングしたい ? トピックの進化?出現?消失に対応しつつモニタリング ? 今までにそういう研究なかった？ ? モニタリングなので，異なる時刻のトピックを「明示的に」リンクさせたい （i.e., 前のどのトピックが現在のどのトピックに繋がっているのか） ? それに対応してるのが今のところTM-LDA[Wang, KDD12]ぐらいらしい ? TM-LDA: トピック遷移行列を作成（i.e., このトピックが出たら次にこのトピックが出やすい） ? これまでの傾向を学習するのみ，突発的な災害等のトピックはすぐには追えない ? もっと現時点のデータからダイレクトにトピック遷移を発見したい！ 4 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学） A Time-Based Collective Factorization for Topic Discovery and Monitoring in News トピックの現れ方 いろいろ（論文より）
- 5. 提案手法 ? Joint Past Present (JPP)分解 ? NMF(Non-negative Matrix Factorization)で文書-単語行列 ? を 文書-トピック行列 ? とトピック-単語行列 ? に分解( ? は時刻) ? さらにトピック遷移行列 ? を用いてこれを表現 ? この二つをそれぞれ制約とし，正則化項入れて解く ? ? は凸ではないが，ある程度いい局所解が得られる[Lee, Nature99] ? 無理に ?(?) ?(??1) を ?(?) に一致させたりはしない（過去に引っ張られてしまうため？） 5 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学） A Time-Based Collective Factorization for Topic Discovery and Monitoring in News ひとつ前の時刻の ? に 遷移行列 ? をかけたら 今の時刻の ? になる的な ? → ∞ にすれば 過去指向 ? → 0 にすれば 現在指向 X W H イメージ図
- 6. アルゴリズム ? 割と短い，行列計算ライブラリ使えば簡単に実装できるかも 6 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学） A Time-Based Collective Factorization for Topic Discovery and Monitoring in News JPP分解アルゴリズム （論文より）
- 7. 評価 – トピック検出 ? リアルデータと人工データの両方で評価 ? リアル：Yahoo News，13,319記事，76種類のカテゴリタグ ? 人工：TDT2データをMix, Burst, Overlapping, Periodic用に改造，6トピック ? 比較手法 ? NMFのいろんな バリエーション （TM-LDAとは 比較しないのか…） 7 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学） A Time-Based Collective Factorization for Topic Discovery and Monitoring in News 評価結果（論文より） 人工データでは結構強い ? が大きいとPeriodicで 性能低下 リアルデータではトピック数が 多い（15以上）場合に有効 ? が大きい（過去の情報を 参考にする）ほうが良さげ
- 8. 評価 – トピックトラッキング ? 時間的にトピックのつながりを追っかけたいって話でしたね ? 過去のトピック-単語行列 ? を用いて現在の文書-トピック行列 ? を予測 → 既知のトピックが未来の各時刻でどの文書に出てくるかを見る ? Online-NMF (ONML)[Cao, IJCAI07]とのみ比較 （やはり比較されないTM-LDA…） 8 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学） A Time-Based Collective Factorization for Topic Discovery and Monitoring in News 評価結果 （論文より） Online NMFにはなんとか勝ってるがこれでいいのか！？
- 9. Session 16: Content Analysis 2 – Topics の論文 p527.pdf A Time-Based Collective Factorization for Topic Discovery and Monitoring in News Carmen Vaca (Politecnico di Milano & Escuela Superior Politecnica del Litoral), Amin Mantrach (Yahoo! Labs), Alejandro Jaimes (Yahoo! Labs), Marco Saerens (Université de Louvain) P539.pdf The Dual-Sparse Topic Model: Mining Focused Topics and Focused Terms in Short Text Tianyi Lin (The Chinese University of Hong Kong), Wentao Tian (The Chinese University of Hong Kong), Qiaozhu Mei (University of Michigan), Hong Cheng (The Chinese University of Hong Kong) P551.pdf Acquisition of Open-Domain Classes via Intersective Semantics Marius Pa?ca (Google Inc.) 9
- 10. 研究背景とか ? ツイートなどの短文にも強いトピックモデルを作りたい ? 短文では語の共起がスパースなので通常のLDAだと性能落ちる ? 今まで改善策あったのでは？ ? ヒューリスティックな方法でLDAを改善する研究がある ? Document pooling [Mehrotra, SIGIR13], Contextualization [Tang, KDD13] ? ツイート投稿者など，テキスト以外のAdditionalな情報が必要 ? Sparsity-Enhanced Topic Modelと呼ばれる研究もある ? “sparsity-enhanced topic models ... [27, 8, 29, 23, 30, 1, 32, 14, 28, 17].” ? めっちゃあるやないか！ ? 有力候補1：STC (Sparse Topical Coding) [Zhu, UAI11] 欠点：文書のスパースなトピック表現（1文書は少数のトピックのみを持つ）ができてない ? 有力候補2：IBP-LDA [Archambeau, NIPS Workshop 11] (IBP: Indian Buffet Process) 欠点：複雑なので大規模な文書集合には適用できない 10 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学） The Dual-Sparse Topic Model: Mining Focused Topics and Focused Terms in Short Text 多いので論文中の引用番号のみ 実際の短文はこの性質があるらしく，上記を実現したほうが性能が良くなる
- 11. 提案手法 ? Spike and Slab prior [Ishwaran, The Annals of Statistics 05]を入れる ? 「1文書は少数のトピックのみを持ち，1トピックは少数の単語のみを持つ」 という（特に短文に当てはまる）性質を表すのに適したprior（事前分布） ? 弱いスムージングprior（＝より頻度主義に近くなる）でこれを表現しようと しても，短文の疎な部分がそのまま出てくるだけ[Wang, NIPS09] ? なのでSpikeとSlabのトピックそれぞれに別々のスムージングをかける → Spikeで一部のトピックを際立たせつつ，Slabで滑らかに！ 11 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学） The Dual-Sparse Topic Model: Mining Focused Topics and Focused Terms in Short Text グラフィカルモデル （論文より） SpikeとSlabの和で表された ハイパーパラメータで トピックと単語それぞれの ディリクレ分布を生成 / /
- 12. LDAの更新式 ? Zero-Order Collapsed Variational Bayes Inference (CVB0) [Asuncion, UAI09] ? Zero-Order：更新式のテイラー展開の0番目のオーダのみで近似 ? 理論的に安定していることが証明されている [Sato, ICML12] ? Collapsed Gibbs Sampling [Griffiths, PNAS04]やCollapsed Variational Bayes Inference (CVB) [Teh, NIPS06]より性能良い ? 処理時間も短縮できるので，大規模なデータに向いている 12 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学） The Dual-Sparse Topic Model: Mining Focused Topics and Focused Terms in Short Text LDAの更新式は今のところCVB0使っとけば良さげ （私の個人的な感想です）
- 13. 評価 ? DBLP, 20 Newsgroups, Twitterの3種類のデータ 13 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学） The Dual-Sparse Topic Model: Mining Focused Topics and Focused Terms in Short Text 評価結果（論文より） ユーザごとに ツイートを まとめたもの データセット（論文より） 20 Newsgroupsの文書長を短くした 場合でも提案手法（DSPTM）が安定 提案手法（DsparseTM）が全般的に良い Twitterだとほぼ1ツイート1トピックらしく， Mixture of unigrams[Blei, JMLR03]がベスト だが，それでも提案手法は結構良い
- 14. Session 16: Content Analysis 2 – Topics の論文 p527.pdf A Time-Based Collective Factorization for Topic Discovery and Monitoring in News Carmen Vaca (Politecnico di Milano & Escuela Superior Politecnica del Litoral), Amin Mantrach (Yahoo! Labs), Alejandro Jaimes (Yahoo! Labs), Marco Saerens (Université de Louvain) P539.pdf The Dual-Sparse Topic Model: Mining Focused Topics and Focused Terms in Short Text Tianyi Lin (The Chinese University of Hong Kong), Wentao Tian (The Chinese University of Hong Kong), Qiaozhu Mei (University of Michigan), Hong Cheng (The Chinese University of Hong Kong) P551.pdf Acquisition of Open-Domain Classes via Intersective Semantics Marius Pa?ca (Google Inc.) 14
- 15. 研究背景とか ? ドメイン非依存で細粒度なクラスを獲得したい ? クラス獲得タスクでは，クラスのラベル名を獲得するだけでなく， クラス（例：tech company）とインスタンス（例：Google）の紐づけも必要 ? よくある手法：「such as」の前後に出現する語をWebのテキストから抽出 ? 問題：詳細なクラスだとテキストに直接現れることがレア ? 例： 「gold mining companies listed on the toronto stock exchange」 ? 上のクエリでのGoogle検索結果※：3件（うち1件はこの論文） ? クラスと紐づけされるインスタンスが同時に出現することはさらに激レア 15 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学） Acquisition of Open-Domain Classes via Intersective Semantics ※ 2014年7月11日時点 つまり，細粒度なクラスに関する情報はデータ量に 頼った方法（＝Webテキスト全走査）でも得られない 天下のGoogleさんが言うんだから間違いない Hearst patternと呼ばれる
- 16. 提案手法 ? 二つのクラスを組み合わせてより詳細なクラスを生成する ? 「gold mining companies」 ＋「companies listed on the toronto stock exchange」 ＝「gold mining companies listed on the toronto stock exchange」 ? あるインスタンスが二つのクラスに属する場合，このインスタンスは 組み合わさったクラスにも属する ? 組み合わさったクラスのラベルが クエリログに含まれていれば採用 16 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学） Acquisition of Open-Domain Classes via Intersective Semantics Wikipediaに適用した場合（論文より） 共通するヘッドワードを 軸に組み合わせる 情報検索への 応用を意識
- 17. 評価 – 規模 ? 2012年5月の英語版Wikipediaで評価 ? 2億のWebページ（N-gramモデル）と10億の検索クエリを補助的に利用 ? Rw: Wikipediaカテゴリ（クラス）のラベル RG∩￢W: 提案手法で得られたクラスのラベル（Wikipediaカテゴリ除く） RQ: 検索クエリに含まれるラベル RS: 拡張された検索クエリ（1250億）に含まれるラベル[Pa?ca, CIKM11] 17 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学） Acquisition of Open-Domain Classes via Intersective Semantics 得られたクラスのラベル数（論文より） ラベル数めっちゃ増える クエリの制約を入れると だいぶ減るが，それでも 結構増える / N-gramモデル使って疑似的に 似たようなクエリめっちゃ生成する
- 18. 評価 – 精度 ? ランダムにサンプルとって人手で評価（この分野，今のところこれがベストな評価方法） ? クエリの制約入れると9割ぐらいの精度出る 18 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学） Acquisition of Open-Domain Classes via Intersective Semantics 精度評価（論文より）
- 19. 評価 – その他 ? 他にもいろいろ評価している（評価メインの論文） ? すでにWikipediaにあるインスタンス（正解）がちゃんと取れてるか？ ? Wikipediaで定義されていないクラス-インスタンス間の関係を 新たにどれだけ取れるか？ ? 規模や精度についての様々な観点での評価 ? エラーについての考察 ? などなど 19 Session 16: Content Analysis 2 - Topics 担当：白川（大阪大学） Acquisition of Open-Domain Classes via Intersective Semantics この先はぜひ自分の目で確かめてほしい！