「トピックモデルによる統計的潜在意味解析」読書会 4章前半
?
2 likes?2,223 views
4章「潜在意味空間における回帰と識別」 4.1:背景 4.2:潜在意味空間における回帰問題
「トピックモデルによる統計的潜在意味解析」読書会 4章前半
- 1. 2015/09/17 @_kobacky 株式会社 ALBERT セミナールーム トピックモデルによる統計的潜在意味解析 読書会 4章「潜在意味空間における回帰と識識別」 前半：4.1?～4.2
- 2. 4章の内容 ? 教師データが与えられた場合の潜在意味解析 ? 背景 (4.1節) ? 回帰問題 (4.2節) ? 識識別問題 (4.3節)
- 3. 4.1 背景 ? 教師あり学習：?入?力力と出?力力の関係をモデル化 ? 出?力力が数値なら回帰、出?力力がカテゴリなどの記号なら識識別 ? ?文書データが?入?力力の場合は、通常、単語ベクトルで表現する 【評価値】4.5 ?"##$,&,???, ?"##$,' ? ? ?)*$,&,???, ?)*$,' ? ? ?+#,-*,.$,&,???, ?+#,-*,.$,' ? ? ?文書 (?入?力力) 単語ベクトル (?入?力力の表現) モデル 【評価値】1.2 学習 【評価値】3.8 評判分析の イメージ 評価値 (出?力力) ?$,/は?文書 d ?における i 番?目の単語の出現頻度度 (教科書中の?$,/とは意 味合いが違うので注意) 予測 (?入?力力=単語)
- 4. 4.1 背景 ? 潜在意味解析によって得られる潜在トピックは、?文書の 潜在的意味を反映した?文書データ?入?力力表現と?言える ? 潜在意味解析は表現学習の?一種 【評価値】4.5 ?"##$,&, ???, ?"##$,6 ? ? ?)*$,&,???, ?)*$,6 ? ? ?+#,-*,.$,&,???, ?+#,-*,.$,6 ? ? ?文書 (?入?力力) 潜在トピックベクトル (?入?力力の表現) モデル 【評価値】1.2 学習 【評価値】3.8 評判分析の イメージ 評価値 (出?力力) ?$,/は?文書 d ?における i 番?目のトピックの出現頻度度 (教科書中の?$,/とは意味合い が違うので注意) 予測 (?入?力力=潜在トピック)
- 5. 4.1 背景 ? 4章では潜在トピックの学習に対して教師情報を利利?用する ?方法を説明する。 ? 半教師あり学習にも応?用できる。(本書では扱わない。) ? 「教師情報のある?小規模の?文書データ」と「教師情報のない?大規 模の?文書データ」に対して学習することで、情報量量の豊富な?入?力力 の表現を学習しつつ、?入?力力と出?力力の関係も学習する。
- 6. 4.2 潜在意味空間における回帰問題 ? 4.2.1 正規回帰モデル ? 4.2.2 LDA+正規回帰モデル ? 4.2.3 LDA+正規回帰モデルの学習アルゴリズム ? 4.2.4 ?一般化線形モデル ? 4.2.5 LDA+?一般化線形モデル ? 4.2.6 LDA+ポアソン回帰モデル (の学習アルゴリズム)
- 7. 4.2.1 正規回帰モデル ? ?入?力力：V ?次元の実ベクトル ? ? ?、出?力力：1次元の実数? ? 線形回帰モデルでは V 次元のモデルパラメータ?を?用い、 ? = ? ? ? = ∑ ?A ?A C AD& として?入出?力力関係をモデル化 ? 実際のデータには誤差が?生じる ? ?個のデータ ?/, ?/ ? = 1,2, ??, ? の?入出?力力関係を正規分 布?を?用いてモデル化 ? ?/ ?~ ? ? ?J ?/,?L ? ?生成モデル的に?と?を学習する ?J ?/ ? (4.1)
- 8. 4.2.2 LDA+正規回帰モデル ?～?入?力力の表現?～ ?$,/：?文書 ? の ? 番?目の単語のトピック ??$,/ : ?$,/ のベクトル表現 ?PQ = 1 ?$ R ?$,/ 'S /D& ?PQ : ?文書 ? の潜在トピックによる表現 word1 word2 word3 word4 1 3 1 4 ?文書 ? ?$,/?$,/ ?$,/ = 3 ??$,/ = 0,0,1,0,0 J ?PQ = 1 4 2,0,1,1,0 J ?$：?文書 ? の単語数 K(潜在トピック数)=5の場合 (4.2)
- 9. 4.2.2 LDA+正規回帰モデル ?～?生成過程?～ M K ? ??Z?$,/?$,/?$ ?$ ?$ ? ? _ ?$~Dir ? ? ? ? ? ? = 1, ???, ? , ?Z~Dir ? ? ? ? ? ? = 1, ???, ? . ?$,/~Multi ?$ , ?$,/~Multi ?jS,k ? ? ? ? ? = 1, ???, ?$ ?$ ?~ ? ? ?J ?P$, ?L (4.3) (4.4) (4.5) ※?赤い部分が通常のLDAに?比べて追加された部分
- 10. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム M K ? ??Z?$,/?$,/?$ ?$ ?$ ? ? ? LDAの学習に対する変更更点 ? 追加された?, ?の推定 ? ?$, ?, ?と条件付き独?立立でない ?$,/ の推定 ? その他の学習についてはLDAの学習と変わらない
- 11. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム M K ? ??Z?$,/?$,/?$ ?$ ?$ ? ? ? ?, ?, ?, ?, ? ?, ?, ?, ?L = ? ? ?, ?, ?L ? ? ?, ? ? ? ? ? ? ? ? ? ? (4.6) 結合分布をベイズの定理理により分解 ? ?, ? ?, ?, ?, ?L ≧ ?opq + ?t ? log ? ? ?, ?, ?L (4.7) 変分下限はLDAの変分下限に ?t ? log ? ? ?, ?, ?L を追加した値となる。 log ? ? ?, ?, ?L = log x ? ?$ ?$, ?, ?L = R log ? ?$ ?$, ?, ?L y $D& y $D&
- 12. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム (3.82)?～(3.84)を参考に変分下限(4.7)を導出 log ? ?, ? ?, ?, ?, ?L = logz R ? ?, ?, ?, ?, ? ?, ?, ?, ?L ? ???? = log zR ? ?, ?, ? ? ?, ?, ?, ?, ? ?, ?, ?, ?L ? ?, ?, ? ? ???? ≧ z R ? ?, ?, ? log ? ?, ?, ?, ?, ? ?, ?, ?, ?L ? ?, ?, ? ? ???? = z R ? ?, ?, ? log ? ? ?, ? ? ? ? ? ? ? ? ? ? ? ?, ?, ? + log ? ? ?, ?, ?L ? ???? = ?opq + z R ? ? ? ? ? ? log ? ? ?, ?, ?L ? ???? = ?opq + R ? ? log ? ? ?, ?, ?L ? z ? ? ? ? ???? = ?opq + ?t ? log ? ? ?, ?, ?L (4.6)より 周辺化された確率率率変数の結合分布 変数事後分布を分?母分?子に導?入 イエンセンの不不等式で下限求める (3.82)(3.83)より
- 13. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム ? ?$ ?$, ?, ?L = 1 2??L exp ? ?$ ? ?J ?P$ L 2?L ? ?$ ?$, ?, ?L は正規分布を仮定している( ?$ ?~ ? ? ?J ?P$, ?L ) ので、 ?t ?S log ? ?$ ?$, ?, ?L = ? 1 2 log 2??L ? ?t ?S 1 2?L ?$ ? ?J ?P$ L = ? 1 2 log 2??L ? 1 2?L ?$ L ? 2?$ ?J ?t jS ?P$ + ?J ?t jS ?P$ ?P$ J ? 対数の期待値を計算 (4.8) (4.9)
- 14. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム ?$,/ = ?$,/,&, ?$,/,L,???, ?$,/,6 , ?$,/,Z = ? ?$,/ = ? として ?t ?S ?P$ = 1 ?$ R ? ??$,/ = 'S /D& 1 ?$ R ?$,/ 'S /D& ?t ?S ?P$ ?P$ J ? = ?t ?S 1 ?$ R ??$,/ 'S /D& 1 ?$ R ??$,/? J 'S /?D& = ?t ?S 1 ?$ L R R ??$,/ ??$,/? J 'S /?D& 'S /D& = 1 ?$ L R diag ?$,/ + R ?$,/ 'S /??/ ?$,/? J 'S /D& (4.10) (4.11) ? ??$,/ = ? ?$,/ = 1 1,0, ???, 0 J + ??? +? ?$,/ = ? 0, ???, 0,1 J = ?$,/ 対称?行行列列となることに注意。 (4.13)の導出で?用いる。
- 15. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム ?t ?S R R ??$,/ ??$,/? J 'S /?D& 'S /D& = R diag ?$,/ + R ?$,/ ?$,/? J 'S /??/ 'S /D& R R ??$,/ ??$,/? J 'S /?D& 'S /D& = ??$,& ??$,& ? J + ??? + ??$,& ??$,/? J + ??? + ??$,& ??$,'S ? J +??? +??$,/ ??$,& ? J + ??? + ??$,/ ??$,/? J + ??? + ??$,/ ??$,'S ? J +??? +??$,'S ??$,& ? J + ??? + ??$,'S ??$,/? J + ??? + ??$,'S ??$,'S ? J ?t ?S R R ??$,/ ??$,/? J 'S /?D& 'S /D& = ? ?$,/ = 1 ? 0 ? ? ? 0 ? ? ?$,/ = ? = diag ?$,/ ???(? = ??) ? ?$,/ = 1 ? ?$,/? = 1 ? ? ?$,/ = 1 ? ?$,/? = ? ? ? ? ? ?$,/ = ? ? ?$,/? = 1 ? ? ?$,/ = ? ? ?$,/? = ? = ?$,/ ?$,/? J ???(? ≠ ??) の考え?方
- 16. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム ?～?, ?L の推定(準備)?～ (4.7)の変分下限のうち、?, ?L に関係のある?t ? log ? ? ?, ?, ?L のみに注?目 ?t ? log ? ? ?, ?, ?L = ?? 1 2 log 2??L ? 1 2?L R ?$ L y $D& ? 2?J R ?$ ?t jS ?P$ y $D& + ?J R ?t jS ?P$ ?P$ J y $D& ? = R ?t ?S log ? ?$ ?$, ?, ?L y $D& (4.9)より (4.12)
- 17. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム ?～ ? ? の推定?～ ?2 R ?$ ?t jS ?P$ y $D& + 2 R ?t jS ?P$ ?P$ J y $D& ? = ? ? = R ?t jS ?P$ ?P$ J y $D& ?& R ?$ ?t jS ?P$ y $D& ??t ? log ? ? ?, ?, ?L ?? = 0 付録 A.9 式変形 ? ?? ?J ? = ? ?? ??J = ? ? ?? ?J ?? = ? + ?J ? ?? 1 2 log 2??L ? 1 2?L R ?$ L y $D& ? 2?J R ?$ ?t jS ?P$ y $D& + ?J R ?t jS ?P$ ?P$ J y $D& ? (4.13) (4.14) ?が対称?行行列列 なら2??
- 18. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム ?～ ? ?L ?の推定?～ ??t ? log ? ? ?, ?, ?L ??L = 0 ?L = 1 ? R ?$ L y $D& ? 2?J R ?$ ? ?P$ y $D& + ?J R ? ?P$ ?P$ J y $D& ? ?? 1 2 log 2??L ? 1 2?L R ?$ L y $D& ? 2?J R ?$ ?t jS ?P$ y $D& + ?J R ?t jS ?P$ ?P$ J y $D& ? = 1 ? R ?$ L y $D& ? ?J R ?$ ? ?P$ y $D& (4.14)の?を代?入して整理理 偏微分して式変形 (4.15) (4.16)
- 19. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム ?～ ? ? ?$,/ = ? ?の推定?～ ?J ? ?P$ = 1 ?$ R ?J ?$,/ 'S /D& = 1 ?$ R R ?Z ? ?$,/ = ? 6 ZD& 'S /D& ??J ? ?P$ ?? ?$,/ = ? = 1 ?$ ?Z ?J ? ?P$ ?P$ J ? = 1 ?$ L R ?J diag ?$,/ ? + R ?J ?$,/ ?$,/? J ? 'S /??/ 'S /D& ??J ? ?P$ ?P$ J ?? ?$,/ = ? = 1 ?$ L ?Z L + 2?Z R ?$,/? J ? 'S /??/ = 1 ?$ L R R ?Z L ? ?$,/ = ? 6 ZD& + R ?Z ? ?$,/ = ? 6 ZD& R ?$,/? J ? 'S /??/ 'S /D& (4.10)より (4.11)より (4.17) (4.18) (4.19) (4.20) ? ?と ?? の?二重ループにより? ?$,/ に関する同?一項が2回出てくるため。次スライド参照。
- 20. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム ?～ ? ? ?$,/ = ? ?の推定?～ ? ?? ?$,/ = ? R R ?Z ? ?$,/ = ? 6 ZD& R ?$,/? J ? 'S /??/ 'S /D& = 2?Z R ?$,/? J ? 'S /??/ ?& ? ?$,& = 1 +?L ? ?$,& = 2 ?$,L ? J ” ?& ?L + ?$,? ? J ” ?& ?L ?& ? ?$,L = 1 +?L ? ?$,L = 2 ?$,& ? J ” ?& ?L + ?$,? ? J ” ?& ?L ?& ? ?$,? = 1 +?L ? ?$,? = 2 ?$,& ? J ” ?& ?L + ?$,L ? J ” ?& ?L ?& ?$,L ? J ” ?& ?L + ?$,? ? J ” ?& ?L + 0 0 + ?& ? ?$,L = 1 +?L ? ?$,L = 2 ?& 0 + ?& ? ?$,? = 1 +?L ? ?$,? = 2 ?& + + の考え?方 + + ? ?$,& = 1 で微分 ?$ = 3, ? = 2として、 ? ?$,& = 1 で微分すると どうなるか？ ?& R ?$,/? J ? ? /??&
- 21. 4.2.3 LDA+正規回帰モデルの学習アルゴ リズム ?～ ? ? ?$,/ = ? ?の推定?～ ?– ? ?$,/ ?? ? ?$,/ ?? ?$,/ = ? = 0 ? ?$,/ = ? ∝ exp z ? ?Z log ?Z,?S,k ??Z exp z ? ?$ log ?$,Z ? ??$ exp ?$ ?Z ?L ?$ ? 1 2?L ?$ L ?Z L + 2?Z R ?$,/? J ? 'S /??/ = R ? ?$,/ = ? 6 ZD& z ? ?Z ? ?$ log ? ?$,/ ?Z ? ?$,/ = ? ?$ ??Z ??$ ? R ? ?$,/ = ? log ? ?$,/ = ? 6 ZD& + 1 2?L 2?$ ?J ? ?P$ ? ?J ? ?P$ ?P$ J ? LDA部分の変分下限(3.97)と正規回帰部分の変分下限(4.9)から ? ?$,/ に関係ある項を抜き出した項 (4.21) (4.22) から (4.18) (4.20)より ※(3.99)と同様の演算
- 22. 4.2.4 ?一般化線形モデル ?～確率率率分布の定義?～ ? ? ?, ?, ? ? = ? ?, ? exp ??J ? ? ? ?J ? ? ?入?力力?、パラメータ?、? > 0 として、1次元の出?力力?に対する確率率率分布を定義 ? ?, ? 、? ?J ? を決めることで特定の確率率率分布が表現される 【例例】正規回帰モデルの場合 ? ? ?, ?, ?L ? = 1 2??L exp ? ? ? ?J ? L 2?L = 1 2??L exp ? ?L 2?L exp ??J ? ? ?J ??J ?/2 ?L よって、? = ?L 、? ?, ? = & L??? exp ? ? L?? 、? ?J ? = ?J ??J ?/2 に対応 (4.23) (4.24)
- 23. 4.2.4 ?一般化線形モデル ?～線形モデルと確率率率分布の関係?～ ? ? ?, ? ? = ? ?, ? exp ?? ? ? ? ? ? ? ?, ?L = 1 2??L exp ? ? ? ? L 2?L = 1 2??L exp ? ?L 2?L exp ?? ? ?L /2 ?L ここで、平均?、分散?L の正規分布を? ? ?, ? ? に対応する形に変形する。 ? = ?J ?として(4.23)を変形 ? = ?J ?とすると 正規回帰モデルの式となる ? ? ?, ? ? で表される確率率率分布を考え、 ? = ?J ? を代?入すると、 対応する線形モデルができる。 (4.25) (4.26)
- 24. 4.2.4 ?一般化線形モデル ?～ポアソン回帰モデル?～ ? ? ? ? = 1 ?! ? exp ?? = 1 ?! exp ? log ? ? ? ポアソン分布 ? = log ? ? ? = exp ? と置くと ? ? ? = 1 ?! exp ?? ? exp ? ポアソン回帰モデル ? ? ?, ?, ? ? = 1 ?! exp ??J ? ? exp ?J ? ? = ?J ?を代?入 ? = 1 ? ?, ? = & ! ? ?J ? = exp ?J ? (4.27) (4.28)
- 25. 4.2.5 LDA+?一般化線形モデル ? ?$ ?$, ?, ? ? = ? ?$, ? exp ?$ ?J ?P$ ? ? ?J ?P$ ? ? ?, ? ?, ?, ?, ? ≧ ?opq + ?t ? log ? ? ?, ?, ? ?t ? ? log ? ?$ ?$, ?, ? LDAと組み合わせる場合は、?入?力力は潜在変数 ?P$ とする = log ? ?$, ? + ?$ ?J ?t ? ? ?P$ ? ?t ? ? ? ?J ?P$ ? LDA+?一般化線形モデルの変分下限 (4.29) (4.30) (4.31)
- 26. 4.2.6 LDA+ポアソン回帰モデル ?～ ? の推定?～ ?方針 ? ?§¨???? ? ?-? ? ? ?, ?, ? ?? = ??? ? ?-?? ? ?, ?, ? ?? = 0 となる ? を求める ? ?$ ?$, ? ? = 1 ?! exp ?$ ?J ?P$ ? exp ?J ?P$ ?t ?S exp ?J ?P$ を解析的に計算できる必要があるので?? (4.32) ? = 1 のポアソン回帰モデル
- 27. 4.2.6 LDA+ポアソン回帰モデル ?～ ? の推定?～ ?t ? ? exp ?J ?P$ = ?t ? ? exp 1 ?$ R ?J ??$,/ 'S /D& = ?t ? ? x exp 1 ?$ ?J ??$,/ 'S /D& = x ?t ? ?,? exp 1 ?$ ?J ??$,/ 'S /D& = x R ? ?$,/ = ? exp 1 ?$ ?Z 6 ZD& 'S /D& 期待値の計算。?$,/ = ?の時、?J ??$,/=?Z より。 ?t ? ? ?/ exp ?J ?P$ = x R ? ?$,/? = ? exp 1 ?$ ?Z 6 ZD& 'S /??/ ? ??Z ?t ? ? exp ?J ?P$ = R ? ?$,/ ? = ? ?$ 'S /D& exp ?Z ?$ ?t ? ? ?/ exp ?J ?P$ (4.33) (4.34) (4.35) (4.33)代?入、Σ?Πを展開後、 $?”?”? $? = $? $? ” ? ” ? + ? ” $? $? ” ? + $? $? ” ? ” ?を?用いて整理理
- 28. 4.2.6 LDA+ポアソン回帰モデル ?～ ? の推定?～ ? ?? ? log ? ? ?, ?, ? ? = 1 ? R ?$ y $D& ? ?P$ ? ? ?? ?t ? ? exp ?J ?P$ (4.35)を?用いて演算 (4.31)より ?? log ? ? ?, ?, ? /?? = 0は解析的に解けないため、(共役)勾配法を?用い て ? ? を求める。 付録(A.4)
- 29. 4.2.6 LDA+ポアソン回帰モデル ?～? ?$,/ ? = ? の推定?～ ??t ? ? exp ?J ?P$ ?? ?$,/ ? = ? = exp ?Z ?$ ?t ? ? ?/ exp ?J ?P$ ?? log ? ? ? ? ?, ? ?? ?$,/ ? = ? = ? ? ?Z ?$ ? ? ?? ?$,/ ? = ? ?t ? ? exp ?J ?P$ ? ?$,/ = ? ∝ exp z ? ?Z log ?Z,?S,k ??Z exp z ? ?$ log ?$,Z ? ??$ exp ? ?? ?$,/ ? = ? ? log ? ? ? ? ?, ? (4.37) (4.38) (4.39) (4.32)より (4.33)より
- 30. ありがとうございました！！