More Related Content
What's hot (20)
Viewers also liked (8)
Similar to 入门パターン认识と机械学习15章 (17)
入门パターン认识と机械学习15章
- 2. 混合正規モデル 2
- 3. 混合正規モデルについて K個の正規分布を重み付き平均したモデル データのクラスタリングなどに用いられる 3 ?? ?? ? ? ?? ? ? ? ?? K k k k k k x wxf 1 2 2 2 2 )( exp 2 1 )( ? ? ?? 混合数 重み 1? 2? )(xp ???15.2式
- 5. 学習方法（2/3） データ??がkに属する確率を? ? ? として与えられてるとする そうすると、各正規分布の平均、分散（パラメータ）が求まる →これをもとに、データの所属確率を更新する 5 ?? ? n i i kkn 1 ?各正規分布に属する （重み付き）データ数 ???15.4式 各正規分布の （重み付き）平均 i n i i k k k x n ?? ? 1 1 ? ?? ???15.5式 各正規分布の （重み付き）分散 ? ?2 1 2 ? 1 ? ki n i i k k k x n ??? ?? ?? ???15.6式
- 6. 学習方法（3/3） データの所属確率を更新 同様にして、 ? ? ? を使って平均と分散を再度求める 所属確率が一定値に収束するまで繰り返す （混合ガウス分布に対する贰惭アルゴリズム） 6 各正規分布の重み n n w k k ?? ???15.7式 各データの所属確率 ?? ? K k ikk ikk k xpw xpw 1 )(?? )(?? ?? ???15.9式
- 7. 対数尤度の下限をJensenの不等式を使って求める つまり、次式が成り立つ 先の手順は対数尤度の下限を最大化していたことと等価 ???ΣをΣ???に書き換えて計算を簡単化 尤度最大化の原理 7 )( ~ log 2 )( exp 2 1 log 2 )( exp 2 1 log)(log 1 1 2 2 2 2 2 1 1 2 ? ? ? ??? ? ? ? ?? ? L xw x wL n i K k k ki i k ki k k ki n i K k k ? ?? ? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ?? ?? ? ? ? ? ? ? ???15.12式 ???15.13式 )( ~ log)(log ?? LL ? ???15.17式 所属確率
- 9. トピックモデル 9
- 10. 多項分布 多項分布とはサイコロの目の出やすさ等を表す確率分布 10 １ ２ ３ ４ ５ ６ )( ?xp ) 12 3 , 12 3 , 12 2 , 12 1 , 12 2 , 12 1 (?? 四五六賽（逆境無頼カイジ破戒録編より） 班長が使ったイカサマのサイコロ ?? ? 6 1 )( v y v n v xp ?? サイコロを複数回投げた場合の確率 ???15.31式 目の数 各目の出た回数
- 11. ディリクレ分布 ディリクレ分布もサイコロの目の出やすさ等を表す確率分布 ただし、連続分布でなめらかに表現されている 例：コインの場合のディリクレ分布 11 １ ２ ３ ４ ５ ６ )( ??p ) 6 1 , 6 1 , 6 1 , 6 1 , 6 1 , 6 1 (?? θの出る確率が6次元の 起伏で表される )( ??p ) 6 1 , 6 5 (?? 表 裏 つまり、コインの表裏の出やすさθが パラメータαによって決まる →2次元の場合はベータ分布になる
- 12. 確率分布の関係 多項分布の共役事前分布がディリクレ分布 ベルヌーイ分布の共役事前分布がベータ分布 事前分布がディリクレ分布なのはベイズ更新がしやすいから 意味的にもパラメータがサイコロの出やすさを調整している 12 条件付き確率 事前分布 ２次元 ベルヌーイ分布 ベータ分布 多次元 多項分布 ディリクレ分布 サイコロの目の出やすさの重み コインの表裏の出やすさの重み 実際に出たサイコロの目 実際に出たコインの表裏
- 14. 混合Polya分布（2/2） ディリクレ分布と多項分布の積は共役なため簡単に計算可 隠れ変数を積分消去すれば贰惭アルゴリズムで推定可能 14 θ ?? ? サイコロの目の出やすさを制御する ハイパーパラメータ どのサイコロか ?普通の賽 ?四五六賽 ?ピンゾロ賽 投げた 回数 サイコロの目 nサイコロの目の 出やすさ トピック ? ? ? ? kkkD K k V v yk vk n dPwxP v ????? ??? ? ? 1 1 )( ???15.34式重み 混合正規分布では 積分内が正規分布だった