More Related Content
What's hot (9)
PRML9.3
- 2. 2 目次 前回の復習 9.3 EMアルゴリズムのもう一つの解釈（一般化） 9.3.1 混合ガウス分布再訪 9.3.2 K-meansとの関連 9.3.3 混合ベルヌーイ分布 9.3.4 ベイズ線形回帰に関するEMアルゴリズム
- 3. 3 前回の復習 ? 混合ガウス分布 ? データ集合 ? = ?1 ? ? ? ? ? に対する尤度関数 ? 対数尤度関数 logがexpに直接作用していない
- 4. 4 前回の復習 ? 対数尤度関数を最大にするパラメータをEMアルゴリズムで求める 1. 平均? ?，分散? ?，混合係数? ?を初期化，対数尤度の初期値を計算 2. 現在のパラメータ値で負担率を計算（更新）（Eステップ） 3. 負担率からパラメータ値を計算（更新）（Mステップ） 4. 更新したパラメータから対数尤度を計算，終了条件を満たしていれば終了
- 5. 5 EMアルゴリズムのもう一つの解釈（一般化） ? EMアルゴリズムとは 潜在変数を含むモデルの学習を行う（最尤解を求める）ための最適化 アルゴリズム ? 具体的な目標：(対数)尤度関数? ? ?)の最大化 実際には完全データ集合{X,Z}は与えられない ? 代わりに事後分布? ? ?, ? ??? )を計算（Eステップ）して期待値をとる ＊不完全データ集合の場合の最大化は困難（2ページ前） 完全データ対数尤度関数の最大化は簡単であると仮定する
- 6. 6 EMアルゴリズムの解釈（一般化） ? 目標： (対数)尤度関数? ? ?)の最大化 ? 条件付き期待値 の最大化 ? Mステップで関数?を?について最大化 Σがlogの外 関数?の最大化は妥当？ ? 9.4節で証明
- 7. 7 一般的なEMアルゴリズム 1. パラメータ? ???を初期化 2. ? ? ?, ? ??? ) （負担率）を計算（Eステップ） 3. パラメータ? ??? の更新 4. 更新したパラメータから対数尤度を計算，終了条件を満たしていれば終了 ? 同時分布? ?, ? ?) は与えられている
- 9. 9 混合ガウス分布への適用 ? 完全データ対数尤度の期待値を計算 ? 潜在変数? ?の事后分布（ベイズの定理より）
- 12. 12 まとめ 1. パラメータ? ???， ? ???， ? ???を初期化 2. 負担率を計算（Eステップ） 3. パラメータ? ??? ， ? ??? ， ? ??? の更新 4. 更新したパラメータから対数尤度を計算，終了条件を満たしていれば終了 一般EMアルゴリズムの目標：完全データ対数尤度の最大化
- 13. 13 K-meansとの関連 ? K-means 二値変数???によるハード割り当て ? 混合ガウス分布 負担率γ(? ??)によるソフト割り当て 混合ガウス分布に関するEMアルゴリズムのある極限としてK-meansを導 出できる
- 14. 14 K-meansとの関連 ? 各ガウス要素の共分散行列が??（?は単位行列）で与えられる場合の混合ガウ スモデルを考える ? 負担率（潜在変数の事後確率）を計算する ε → ∞の極限で， γ(? ??)と???が一致する
- 15. 15 K-meansとの関連 ? ? ? ? ? 2 が最小になる?を??とおく（ ? ? ?? = 1，すなわち? ?? = 1 ） ε → ∞の極限で， γ(? ??)と???が一致する
- 16. 16 K-meansとの関連 ? Mステップにおける? ?の更新式 ? 完全データ対数尤度の期待値
- 18. 18 混合ベルヌーイ分布 混合ベルヌーイ分布に対してEMアルゴリズムを適用した学習を考える ? D個の二値変数??は以下のベルヌーイ分布に従うと仮定 ? 有限混合ベルヌーイ分布 ? 対数尤度関数
- 19. 19 EMアルゴリズムの導出 観測変数?に付随する潜在変数? = (?1, ?2, ? ? ?) ? を導入する ? 観測変数?の条件付き確率 ? 潜在変数の事前分布 ? ?と?の同時分布（尤度関数）
- 20. 20 EMアルゴリズムの導出 ? データ集合? = {? ?}，? = {? ?}に対する完全データ対数尤度関数 ? データ集合? = {? ?}，? = {? ?}に対する完全データ尤度関数
- 23. 23 EMアルゴリズムの導出 ? 完全データ対数尤度を最大にする各パラメータを求める（Mステップ） ? パラメータ? ?，? ?で微分して解を求める
- 24. 24 ? ?の直感的理解 例：手書き数字の分類に混合ベルヌーイ分布を利用 ピクセル数がDの手書き数字をD個の二値変数を要素に持つベクトルを ? = (?1, ?2, ? ? ?) ? として与える ? 観測変数：? ? 潜在変数： ? = (?1, ?2, ? ? ?) ? ? 完全データ対数尤度の期待値が最大となるパラメータを求める
- 26. 26 ベイズ線形回帰に関するEMアルゴリズム 目標：周辺尤度? ? ?, ?)のα，βに関する最大化にEMアルゴリズムを利用 パラメータ?は周辺化により消去されるため，潜在変数とみなす ? 完全データ対数尤度 尤度 ?の事前分布