![変分事後分布の推定(1)
? ?を最大化する? ? , ?(?)をラグランジュの
未定乗数法を用いて計算すると以下のようにな
る.
?生成過程から同時確率は以下の式で表せる.
11
?(?) ∝ exp(? ? ? [log ?(?, ?, ?)])
?(?) ∝ exp(? ? ? [log ?(?, ?, ?)])
(3.13)
(3.15)
? ?, ?, ? = p ? ? p ? ? p ? ?, ? p(?|?) (3.16)](https://image.slidesharecdn.com/3-150627120414-lva1-app6892/85/3-12-320.jpg)
トピックモデル3章后半
- 1. トピックモデル 3章後半 S5 研究室 M1 叁原秀司
- 2. 3章後半の内容 ?3.1 混合ユニグラムモデル ?3.2 混合モデル ?3.3 EMアルゴリズム ?3.4 変分ベイズ推定 (pp.40-48) ?3.5 ギブスサンプリング(pp.49-54) 1 パラメータ推定手法
- 4. 混合ユニグラムモデルの定式化 記号 意味 ? 各トピックの生起確率を表すカテゴリ分布 ? ? トピック?における単語の生起確率を表すカテゴリ分布 ? 全トピックの単語の生起確率の集合 3 ?, ? ? はカテゴリ分布の共役事前分布によって生成され る. パラメータ(母数)である?, ? を調べることで 文章集合の特徴がわかる！ どんなトピックがよく出てくる？ どんな単語が同じトピックに属する？
- 5. パラメータの推定法 ? 2章で扱ったもの ? 最尤推定 ? 最大事後確率推定 ? ベイズ推定 ? 本章で扱うもの ? EMアルゴリズム ? 変分ベイズ法 ? ギブスサンプリング (MCMCの一種) 4 点推定 分布推定
- 8. 変分ベイズ推定のアルゴリズムの概要 7 推定するもの 変分事後分布 ? ?? = ? ? ? = ? 詳しいアルゴリズムはp45 図3.2を参照 ハイパーパラメータ ?, ?を更新 変分事後分布 ? ??を更新 終了条件を満たす まで繰り返し
- 9. 周辺尤度 ? 文書毎のトピックの集合を? = {?1, ?2, … , ? ?} ? パラメータをまとめたものを? = {?, ?}として ? 文書集合?の生起確率? ? をパラメータ?, 隠れ変数? に関して積分消去した周辺尤度の最大化を考える. ? ? = ? ? ?, ?, ? ?? 8
- 10. 変分事後分布と変分下限 ?変分事後分布 ? ?, ? ?変分下限? (3.10)式により導かれる対数周辺尤度の下限 9 計算を簡単化するために因子分解 ? ?, ? = ? ? ?(?) log ? ? ≥ ? ≡ ? ? ?, ? log ? ?, ?, ? ? ?, ? ?? (3.11)
- 11. 変分ベイズ推定の原理 ? 対数周辺尤度log ?(?)と変分下限Fの差は変分事後分 布? ?, ? と真の事後分布p ?, ?|? のKLダイバー ジェンスとなる. (p.41 下部) ? 従って, 変分下限Fを最大化することで変分事後分布と 真の事後分布とのKLダイバージェンスが最小となる. 10 KLダイバージェンス : 2つの確率密度関数がどれだけ違うかの指標 ＝ 変分事後分布が真の事後分布の近似となる
- 12. 変分事後分布の推定(1) ? ?を最大化する? ? , ?(?)をラグランジュの 未定乗数法を用いて計算すると以下のようにな る. ?生成過程から同時確率は以下の式で表せる. 11 ?(?) ∝ exp(? ? ? [log ?(?, ?, ?)]) ?(?) ∝ exp(? ? ? [log ?(?, ?, ?)]) (3.13) (3.15) ? ?, ?, ? = p ? ? p ? ? p ? ?, ? p(?|?) (3.16)
- 13. 変分事後分布の推定(2) 12 それぞれのパラメータに対しての変分事後分布を計算する ? ? ∝ ?????????(?|?1, … , ? ?) (? ? = ? + ?=1 ? ? ??) ? Φ = ?=1 ? ?????????(? ?|? ?1, … , ? ??) (? ? = ? + ?=1 ? ? ?? ???) (3.19) (3.20) ハイパーパラメータの更新式
- 14. 変分事後分布の推定（3） 13 ? ?? ∝ exp(Ψ ? ? ? Ψ ?′=1 ? ? ?′ + ?=1 ? ??? Ψ ? ?? ? ??Ψ( ?=1 ? ? ??)) (3.22) トピックの変分事後分布をもとに文書dのトピックがk である確率 ? ??を計算
- 15. 変分下限とモデルエビデンス 14 また, モデル空間での周辺尤度を考えることにより, モデル 選択が可能(2.8節) 実際には周辺尤度の計算は困難なため周辺尤度の近似とし て変分下限を用いる. モデルエビデンス 変分下限は変分事後分布の計算の際に減少しないため, 変 分下限を計算することで変分ベイズのアルゴリズムが適 切に動作しているかを確認可能
- 16. 変分ベイズ推定のアルゴリズムの概要(再 掲) 15 推定するもの 変分事後分布 ? ?? = ? ? ? = ? 詳しいアルゴリズムはp45 図3.2を参照 ハイパーパラメータ ?, ?を更新 変分事後分布 ? ??を更新 終了条件を満たす まで繰り返し
- 17. MCMC(マルコフ連鎖モンテカルロ法) 16 一般的に事後分布は解析的に求まらない 計算資源が無限にあれば, 真の事後分布 からのサンプリングは可能 サンプリング事例から経験分布および期待値を計算
- 18. ギブスサンプリング 17 MCMCの一種 文書のトピックの系列? = ?1, ?2, … , ? ? のうち? ?を? ?以 外の変数がわかったもとでの条件付き確率でサンプリン グすることを全ての?について行い, サンプリングしたト ピックの系列からパラメータを推定 本章では, パラメータ?, Φを積分消去する 崩壊型ギブスサンプリングを考える
- 21. 崩壊型ギブスサンプリングのアルゴリズムの 概要 20 推定するもの 事後分布からのサンプリング系列?(s) 詳しいアルゴリズムはp53 アルゴリズム3.3を参照 ハイパーパラメータ ?, ?を更新 終了条件を満たす まで繰り返し サンプリング確率を更新し, トピックをサンプリング カウント? ?, ???, ??を更新
- 23. サンプリング 22 ? = ?1, ?2, … , ? ? サンプリングする変数 ?1~? ?1 |?2, … , ? ?, ? 3.5.3節で導出 ? = 1の例 ?を増やして, 全ての文書のトピックをサンプリング
- 24. 周辺化した因子ごとの計算 23 ? ?, ?, ?, ? = ? ? ?)?(?|?, ?) ←生成モデルによる分解 ? ? ? = ? ? ? ? ? ? ?? = Γ ?? Γ ? ? ?=1 ? Γ(? ? + ?) Γ(? + ??) ?(?|?, ?) = ?(?|?, ?) ? ? ? ?Φ = Γ ?? ? Γ ? ?? ?=1 ? ?=1 ? Γ(??? + ?) Γ(?? + ??) ? ?: トピックが?の文書数 ???: トピックが?中の語彙?の出現回数 ??: トピックが?の単語数
- 25. サンプリング式 24 ? ? ? = ?|?, ?|?, ?, ? ∝ ? ?|? + ? Γ ??|? + ?? Γ ??|? + ?? ? ?? ?:? ??>0 Γ ???|? + ??? + ? Γ ???|? + ? (3.27) ※ |? は文書dを除いた時の値を表す.
- 26. ハイパーパラメータの更新 25 ? ??? = ? ?=1 ? Ψ ? ? + ? ? ?Ψ(?) ?Ψ ? + ?? ? ?Ψ(??) (3.28) ? ??? = ?=1 ? ?=1 ? Ψ ??? + ? ? ?VΨ(?) V ?=1 ? Ψ ?? + ?? ? ??Ψ(??) (3.29) ? ?, ??, ???をトピックのサンプリング分布から計算し, (3.28), (3.29)式について, 不動点反復法を用いて計算
- 27. 不動点反復法 26 2? ? 3?2 = 0 ? ? = ?3?(? ? 1)
- 28. ギブスサンプリングのアルゴリズムの概要 (再掲) 27 推定するもの 事後分布からのサンプリング系列?(s) 詳しいアルゴリズムはp53 アルゴリズム3.3を参照 ハイパーパラメータ ?, ?を更新 終了条件を満たす まで繰り返し サンプリング確率を更新し, トピックをサンプリング カウント? ?, ???, ??を更新
- 29. 積分消去したパラメータの計算 28 ? ? = ? ? + ? ? + ?? ? ?? = ??? + ? ?? + ?? 積分消去したパラメータは以下のようにカウントから計算される.
- 30. さまざまなパラメータ推定手法 ? 崩壊型変分ベイズ法 ? 確率的EMアルゴリズム ? ハードEMアルゴリズム ? 全パラメータを推定するMCMC 29 トピック? ? トピック分布? 単語分布? EMアルゴリズム 分布推定 点推定 点推定 変分ベイズ推定 分布推定 分布推定 分布推定 崩壊型 ギブスサンプリング サンプリング 積分消去 積分消去 その他のパラメータ推定手法
- 31. 参考図書 アルゴリズムの導出全般 ?佐藤一誠 奥村学 ”トピックモデルによる統計的潜在意味解析” 変分ベイズ ?PRML10章 変分推論法 ?上田修功 “ベイズ学習” 電子情報通信学会誌 No85 (CiNiiから閲覧可) ?持橋大地 “自然言語処理のための変分ベイズ法” ギブスサンプリング(MCMC) ?PRML11章 サンプリング法 ?久保拓弥 “データ解析のための統計モデリング” 30
- 32. 文書モデルを表現するためのパラメータ 記号 説明 ? 文書インデックス (1 ≤ ? ≤ ?) D : 文書数 ? ? 文書dの文書長(=含まれる単語数) ? 文書集合 ? = {?1, ?2, … , ? ?} ? ? 文書?の単語集号 ? ?? 文書?の?番目の単語 (1 ≤ ? ≤ ? ?) ? 語彙インデックス (1 ≤ ? ≤ ?) V : 語彙数 ? 単語インデックス (1 ≤ ? ≤ ?) N : 単語数 ? ? ?全体での語彙?の出現回数 ? ?? 文書?における語彙?の出現回数 ? トピックインデックス (1 ≤ ? ≤ ?) K : トピック数 ? ? 文書?のトピック 31
- 33. 図3.2の例だと… 32
Editor's Notes
- まず3章の内容に関して, 全体の流れをもう1度確認しておきますと, 3章まず最初に文章のトピックを考慮できる混合ユニグラムモデルというモデルが登場しました。 混合ユニグラムモデルについても, トピック毎の単語の正規確率などを調べるためにモデルのパラメータを推定を行いたいのですが, 2章で紹介されていた単純な最尤推定や事後分布を解析的に求める手法では計算がうまくできないということで, 近似的にパラメータや事後分布を求める手法である, EMアルゴリズム, 変分ベイズ推定, ギブスサンプリングと呼ばれる手法について紹介しています.
- アルファ, ベータ: ハイパーパラメータ ファイ, シータ: パラメータ z:
- ここまでが前にやってたことの復习
- ユニグラムモデルでは単语の生起确率ファイだけだったが混合ユニグラムモデルではトピック毎の単语の生起确率やトピックの生起确率のパラメータも考える
- 同时确率と周辺确率を比较
- p42 3.4.2 生成過程による同時確率の変形はグラフィカルモデルを見るとわかりやすい. 因子分解について、3.15に3.16を代入, 指数法則によって分解した3.17式よりthetaの成分とphiの成分に分解できている
- アルファ, ベータ: ハイパーパラメータ ファイ, シータ: パラメータ z:
- アルファ, ベータ: ハイパーパラメータ ファイ, シータ: パラメータ z:
- これがサンプリングの1STEP サンプリングでした文書トピックをもとにハイパーパラメータを計算 再びサンプリングという流れを繰り返す
- 导出は2.9节と同様