狠狠撸

狠狠撸Share a Scribd company logo
1 
最尤推定法 
Kobe.R #8 
2014.08.30 
@florets1
2 
やりたいこと 
観測データに確率分布をあてはめたい。 
得られたデータは例えばポアソン分布に従っていそうだ。
3 
ポアソン分布とは 
単位時間あたりに平均λ回起きる事象が 
単位時間内にy回発生する確率 
exp( ) 
! 
( | ) 
y 
p y 
y ? ? 
? 
? 
? 
y 
p 
ポアソン分布はパラメーターλによって姿を変えます。
4 
やりたいこと 
あてはまりの良いポアソン分布のパラメーターλを 
観测データから推定したい。
5 
尤度とは 
あてはまりの良さを表す統計量 
例えば50個の観測データがあります。 
観測値1、観測値2、…観測値50 
観測データはポアソン分布に従っているものとします。 
尤度(パラメーター) = 
観測値1が発生する確率× 
観測値2が発生する確率× 
観測値3が発生する確率× 
… × 
観測値50が発生する確率
6 
尤度とは 
?? 
数式で表すと 
i L(? ) p( y |? ) 
i 
尤度 
パラメーター 
番目の観測値 
L 
: 
? 
: 
y i 
i :
7 
最尤推定法 
あてはまりの良さ(尤度)を最大にするパラメーターを探そう。 
尤度L 
パラメーターλ
8 
尤度の対数をとる 
掛け算が足し算になるので計算しやすい。 
?? 
i L(? ) p( y |? ) 
i 
?? 
i log L(? ) log p( y |? ) 
i 
両辺の対数をとると
9 
ポアソン分布の対数尤度 
? i ? 
?? 
exp( ) 
p y 
? 
i log L(? ) log p( y |? ) 
i 
! 
( | ) 
i 
y 
i y 
? 
? 
? 
? 
? ? ? ? 
? 
? ? 
? ? ? 
? 
i 
y 
k 
i 
i 
y log? ? log k 
ポアソン分布 
ポアソン分布の対数尤度
10 
最尤推定する 
? 
? 
y 
i 
? ? ? ? 
? 
? ? 
log L(?) ? y log? ? ? ? 
log k 
? 
i 
k 
i 
対数尤度の最大値を求めましょう。 
対数尤度をパラメーターλで偏微分してゼロとします。 
? 
1 0 
i L y 
? ? 
log ( ) 
? ? 
? 
? 
? ? 
? 
? 
? 
? 
? 
i 
? 
これを解くと 
1 
? ? ? i 
:データ数 
N 
y 
N i
11 
実は 
1 
? ? ? y 
i 
N i 
:データ数 
N 
この式をよく見ると、データの平均を計算しています。 
つまりポアソン分布の場合 
最尤推定量λはデータの平均に等しくなります。
12 
結果 
尤度(観測データに対するあてはまりの良さを表す統計量) 
を最大にするパラメーターλを无事に求めることができました。
13 
参考文献 
C.M.ビショップパターン認識と機械学習上 
平岡和幸?堀玄プログラミングのための確率統計 
久保拓弥データ解析のための統計モデリング入門

More Related Content

Mle kobe.r8