狠狠撸

知的学習論研究室(ES-5)
M1三原秀司
ベイズ学習勉強会
第１回統計的学習の基礎
(特にEMアルゴリズムについて)

使用テキスト
1
上田修功."ベイズ学習[Ⅰ]-[Ⅳ]"電子情報通信学会誌85,2002
(CiNiiから閲覧可能)
I. 統計的学習の基礎
II. ベイズ学習の基礎
III.変分ベイズ学習
IV.変分ベイズ学習の適用例

参考テキスト
2
?PRML10章変分推論法
?持橋大地
“自然言語処理のための変分ベイズ法”
(Web上に上がってる)
?佐藤一誠奥村学
”トピックモデルによる統計的潜在意味解析”

Index 3
1. 講座の概要紹介
2. 統計的学習とは?
3. 最尤学習
4. EMアルゴリズム
5. 一般化EMアルゴリズム

Index 4
1.講座の概要紹介
3. 最尤学習

ベイズ学習(詳しい枠組みは第二回で紹介)
5
パラメータを確定値ではなく,ベイズ主義的な確率分布
(=事後分布)で予測
(Ex.平均5の確率が20%,6の確率が50%,7の確率が30%)
? ?
頻度主義による学習
(点推定)
ベイズ学習
(区間推定)

ベイズ学習のメリット
6
? 学習対象に関する事前知識を，事前分布として学習に利用できる．
? 学習データ数が少ない場合，他の学習法に比べ，より汎化能力の高い
学習機械が構成できる. (過学習が避けられる！)
? 予測値の信頼性をも評価可能である．
? 学習機械の構造（モデル選択）の自動決定も可能である
期待値計算が困難(高次元の積分計算)
But! ? ? ? ? ?
∫ ? ? ? ? ?
事後確率の式
正規化項
(こいつのせい)
◎メリット
MCMC, 変分ベイズなどの工夫が必要

事後確率の計算に近似を導入し, 計算量を減らす.
計算式が解析的に導け, 計算コストが少ない,
but精度は損なわれる.
理論上, 任意の精度での計算が可能. but計算コスト大
MCMCと変分ベイズ
7
大抵の計算問題では正確さと計算量はトレードオフ
MCMC(マルコフ連鎖モンテカルロ法)
VB法(Variational Bayes, 変分ベイズ法)
大規模問題への適用が困難!

Euler-Lagrange
方程式
Jensenの不等式
VB法の難しさ
8
? 問題に応じて, 適切な確率モデルや事前分布を設定する
必要がある.
? 近似計算に煩雑な机上計算を要する.
平均場近似

講座の概要(再掲)
9
I. 統計的学習の基礎
II. ベイズ学習の基礎
III.変分ベイズ学習
IV.変分ベイズ学習の適用例
→最尤法, 特にEMについての解説
→最尤法とベイズ学習の比較
→合わせて計算テクニックも紹介

Index 10
2.統計的学習とは?
3. 最尤学習

統計的学習とは?
(教師なし学習と教師あり学習) 11
教師なし学習
入力?のみが学習データとして与えられる.
代表的な問題はクラスタリング
教師あり学習
入力?と教師信号?が学習データとして与えられる.
代表的な問題は回帰問題
いずれの場合もパラメータ推定が主な問題となる.

教師なし学習の例
(混合正規分布推定問題) 12
? ? ? =
?=1
?
?? ?(?: ??, Σi)
??: 混合比
??: 平均値, ??: 分散
混合ガウス分布
パラメータ ?

教師あり学習の例
(関数近似問題=回帰問題) 13
多項式線形回帰問題
? =
?=1
?
? ? ? ?
? ?: 基底関数の重み
パラメータ ?

Index 14
3.最尤学習

最尤学習(Maximam Likelihood)
15
前節で述べたように統計的学習の多くの問題はパラメータ推定
の問題に帰着される.
最尤学習
パラメータ推定手法の1つ, 尤度が最も大きくなるパラメータ
を真のパラメータであるとして推定
? = arg max
?
ln ? ?; ?
対数尤度

尤度(Likelihood)
16
与えたパラメータがどれだけよく入力データを表現するかの尺度
入力? = ?? ?に対して, 以下の式で定式化される．
? ?; ? = ? ? ? =
?
? ?? ?
通常は最大化するため微分しやすいように以下の対数尤度が用いられる
尤度
ln ? ?; ? =
?
ln ?(??|?)

1次元正規分布での最尤学習
17
? ? =
1
2??2
exp[ ? ? ? 2
]

最小二乗法と最尤学習
19

Index 20
3. 最尤学習
4.EMアルゴリズム

混合正規分布での最尤推定
21

Index 22
3. 最尤学習
5.一般化EMアルゴリズム

狠狠撸

ベイズ学習勉強会 EMアルゴリズム (作成途中)

More Related Content

ベイズ学習勉強会 EMアルゴリズム (作成途中)