際際滷

PRML 及3嫗 3.3゛3.4
�侘指｢モデル

- 2 -
及３嫗 �侘指｢モデル
? 3.3 ベイズ�侘指｢
? 3.3.1 パラメ�`タの蛍下
? 3.3.2 嚠�y蛍下
? 3.3.3 吉��`ネル
? 3.4 ベイズモデル曳�^
? 3.5 エビデンス除貌
? 3.5.1 エビデンス�v方の�u��
? 3.5.2 エビデンス�v方の恷寄晒
? 3.5.3 嗤�織僖薀瓸`タ方
? 3.6 耕協された児久�v方の�順
ここまで

- 3 -
3.3 ベイズ�侘指｢
? 書までの坪否で蛍かったこと�恷喩容協の��錬�
? 児久�v方の方によって�Qまるモデルの�}�jさをデ�`タサイズに鬉犬�
�Q協する駅勣來
? 屎�t晒��Lasso, Ridge etc�を弖紗することによって、モデルの�}�jさ
を�{屁辛嬬�児久�v方の方と侘を�xぶことは屎�t晒を原けても嶷勣�
? 盾こうとしている��}に栽わせてモデルの�}�jさを�Qめる駅勣
? 喩業恷寄晒では、械に�}�jなモデルを�x�kする裡�來��^僥��
? �^僥�への��I
? クロスバリデ�`ション
僥�、�u��▲謄好箸裡海弔坊峺遒垢襪里�三禝帖Ｒ塹楕幎�。
�[僥�, �u��]の�Mみ栽わせをkに蛍護し、
k-1��のデ�`タで僥�、1��で�u��Ｈ襪賁罎┐覆�薀魯ぅ僖虧祝��
�ベスパラで[僥�, �u��]デ�`タ畠てを僥�し、１つのモデルを恬撹。
�テストデ�`タで來嬬�u��
? これを�}方モデルで�g仏して、テストデ�`タでの�u��Y惚を曳�^
��麻楚が謹い�。返圷にある匯何のデ�`タを僥�に聞えない。

- 4 -
3.3 ベイズ�侘指｢
? 3.3゛3.6�のモチベ�`ション
? 縮�デ�`タ畠てを聞って、�侘指｢モデルをベイズ議に�Qうと
ともに、モデルの�}�jさを徭�啜弔�Q協したい。
? P164によると、テスト喘の鏡羨なデ�`タは函っておいた圭が�t
苧とのこと。

- 5 -
3.3.1 パラメ�`タの蛍下
? モデルパラメ�`タwの容協
? モデルパラメ�`タwの並念蛍下を��襪掘⊂�侘指｢モデルを
ベイズ議に�Qう。
並念蛍下�3.48��p w = ? ? ?0, ?0
喩業�v方�3.10��p(t|X, w, β) = Π ?=0
?
?(? ?|? ?φ ? ? , β?1)
並瘁蛍下�3.49��p w t 『 p t X, w, β ? w = ?(?|? ?, ? ?) ☆處�3.7
ただし、
峠譲�3.50��? ? = ? ? ? ?
?1
?0 + βΦ ? ?
蛍柊慌蛍柊�3.51��S ?
?1
= ?0
?1
+ βΦ ?
Φ
�鮫佩双�3.16� �Φ =
φ0 ?1 ? φ ??1(?1)
? ? ?
φ0(? ?) ? φ ??1(? ?)
児久�v方�φ ? = φ ? ? = (φ0 ? ? , φ1 ? ? , �Eφ ??1 ? ? ) ?
☆(m,m)((m,m)(m,1)+(m,n)(n,1))=(m,1)
☆(m,m)+(m,n)(n,m)=(m,m)
☆(n,m)
☆(m,1)

- 8 -
? モデルパラメ�`タwの容協��Aき�
峠譲�3.50��? ? = ? ? ? ?
?1
?0 + βΦ ?
?
?1
= ?0
?1
+ βΦ ?
Φ
? 並念蛍下を�g匯の娼業パラメ�`タαとし、豚棋��=0のガウスを深
える�αとβは屡岑�。
並念蛍下�3.52��p(w|α) = ? ? 0, α?1 ?
並瘁蛍下�3.49��p w t 『 p(t|X, w, β)P w|α = ?(?|? ?, ? ?)
ただし、
峠譲�3.53��? ? = β? ?Φ ?
?
?1
= α? + βΦ ?Φ
? 並瘁蛍下の��方を函ったものをwに�vして恷寄晒すればwの容協
が辛嬬
並瘁蛍下�3.55��ln p w t = ?
β
2
σ ?=1
?
{? ? ? ? ?
φ(? ?)}2
?
α
2
? ?
? + 協方
屈�\才�`餓屎�t晒�

- 9 -
? ベイズ僥�と幟肝議な厚仟
並瘁蛍下が肝の並念蛍下に�幟肝厚仟

- 10 -
�匯��蛍下から
デ�`タを�Q�y
このデ�`タを誼られる辛嬬來のあるw
橿い��_楕が互い�何蛍は
?w0=-1, w1=1 ?w0=0, w1=0 ???
�並瘁蛍下を圷にデ�`タを伏撹
�_楕が互いのは、
?? ?, ? = ?1 + ? ?? ?, ? = 1 ? ? ???
�並念蛍下～喩業�v方を�麻
? ベイズ僥�と幟肝議な厚仟
? ?, ? = ?0 + ?1 ? , α=2�
α
2
? ?
?�, β=25�(
1
0.2
)2
= 25, ��米��=0.2�
yは貧塀にガウスノイズを紗えたもの。Xは匯��蛍下から伏撹。

- 11 -
? 仟たなデ�`タ ? に��鬉垢� ? の嚠�y
? 3.3.1では?の蛍下を箔めたが、�g�Hは ? の嚠�yを佩いたい。
嚠�y蛍下�3.57��p(t|?, ?, ?, α, β) = ??? ? ? ?, ?, β ? ? ?, ?, α, β ??
? 嚠�y蛍下�3.58��p t ?, ?, ?, α, β = ? ? ? ?
?
φ ? , σ ?
2
?
ただし、
蛍柊�3.59��σ ?
2
? =
1
β
+ φ(?)?1 ? ?φ(x)
峠譲�3.53��? ? = β? ?Φ ?
?
?1
= α? + βΦ ?
Φ
? (3.59)塀の及1�はデ�`タに根まれるノイズ、及2�は?の音�_かさ�蛍柊
が寄きい�デ�`タが柊らばっており、 ?の容協�､�惨_か�を燕す。
? 仟しいデ�`タを�Q�yすると並瘁蛍下は駅ず倭くなる。
? N★±で蛍柊(及2�) が0に��垢襪燭疵�y蛍下の蛍柊はβのみに卆贋。
3.3.2 嚠�y蛍下
箔めたwの�_楕と
仟しいxでtの�_楕を麻竃
縮�デ�`タ(X,T)式び屡岑の
α,βでwの�_楕を麻竃

- 12 -
? 嚠�y蛍下の箭
3.3.2 嚠�y蛍下
デ�`タ泣が��えると嚠�yの音�_
かさ�蛍柊の及2��が�p富する
ばらつきはβ?1
に寄きく卆贋

- 13 -
? カ�`ネル隈の��
? 塀の�С�
(3.3)塀に(3.53)塀を旗秘
嚠�y蛍下の峠譲�3.60��? ?, ? ? = ? ?
?
φ ? = βφ(?) ?
? ?Φ ?
?
= σ ?=1
?
βφ ? ?
? ?φ(? ?)? ?
ここで、
吉��`ネル☆�3.62� �? ?, ?＞
= βφ ? ?
? ?φ(?＞)
とおくと、參和の侘になる。
嚠�y蛍下の峠譲�3.60��? ?, ? ? = σ ?=1
?
? ?, ? ? ? ?
ただし、
嚠�y蛍下�3.3��y(x, w) = σ ?=1
??1
??φ ? ? = ? ?
φ(?)
峠譲�3.53� �? ? = β? ?Φ ?
?
?1
= α? + βΦ ?
Φ
3.3.3 吉��`ネル
☆(1,m)(m,m)(m,1)=(1,1)
☆峠錆晒佩双とも柵ぶ
嚠�yしたいデ�`タのx ��デ�`タ
�麻�Y惚が(1,1)になれば措い。
? ?Φ ?
? = (?, 1)なので、
φ(?) ?
= (1, ?)を念に崔けば
(1,1)になる。

- 14 -
? 吉��`ネルの盾�
嚠�y蛍下の峠譲�3.60��? ?, ? ? = σ ?=1
?
? ?, ? ? ? ?
? ? ?, ? ? が ? ?の嶷みになっている。
? パラメ�`タ?を喘いずに、��デ�`タ鹿栽のみから嚠�y�､鯔祿��
? ガウス�^殻�6.4��
? 嚠�yしたい ? に除い��デ�`タの ?¨ に寄きく嶷みを原けている。
? 仟しいデ�`タの嚠�y�､鯔祿�垢覿箸法��討林��デ�`タとの坪�e
を�麻するため、��デ�`タが謹いと�麻楚が湯寄に。
3.3.3 吉��`ネル
○ ��デ�`タ ★
●
嚠
�y
し
た
い
デ
�
タ
◎

- 15 -
? 云�のモチベ�`ション
? モデル�x�kをベイズ議に佩いたい。
? モデルの音�_かさを燕すために�_楕を喘いる。
縮�デ�`タは採らかのモデルから伏撹されているとする。
ただし、どのモデルから伏撹されたかは蛍からない。
? 恷も縮�デ�`タを伏撹したと深えられるモデル
�謹�塀�ガウス��を容協する。
? ベイズモデル曳�^
並念蛍下�? ??
喩業�v方�3.68��? ? ?? = ??? ? ? ?, ?? ? ? ?? ??
並瘁蛍下�3.66�� p ??|? 『 ? ?? ? ? ??
? 並念蛍下は光？のモデルに��する挫みを燕す�挫きなモデルに互い
�_楕を???�。ここでは並念�_楕は吉しいと深える。
? 喩業�v方をモデルエビデンスと柵び、デ�`タから�たモデルの挫み
を燕す。
3.4 ベイズモデル曳�^

- 16 -
? 嚠�y蛍下
嚠�y蛍下�3.67��? ? ?, ? = σ?=1
?
? ? ?, ??, ? ?(??|?)
? 詞栽蛍下の匯�N�畠てのモデルの�t才を函るので、光モデルの嚠�y
�､鰓�牧擦弔� t を麻竃する�。
? モデルエビデンス� ? ? ?? �
? あるモデル?? から縮�デ�`タD が伏撹される�_楕。
? ベイズの協尖でパラメ�`タwの並瘁�_楕を�麻するときの蛍銚に
モデルエビデンスが竃�Fする。
? モデルエビデンスはwを巓�x晒した喩業�v方�巓�x喩業�
wの並瘁蛍下�3.69�� ? ? ?, ?? =
?(?|?,? ?)?(?|? ?)
?(?|? ?)
? ある屈つのモデルエビデンスの曳はベイズ咀徨と柵ばれる。
ベイズ咀徨�
?(?|??)
?(?|? ?)

- 17 -
? モデルエビデンスの�eの盾�
? 塀�簧痢�僖薀瓸`タwに�vする�e蛍を�g�除貌する。�??は福待�
? 並瘁蛍下�? ? ? �が恷�l��? ???の除因で
�く錫っている
? 嫌をΔ? ?????????とする
? �e蛍で誼られる�_楕を�k～罪の中�eで除貌
? ? ? ? ??? ～ Δ? ?????????
? 並念蛍下が峠鵡
? 嫌をΔ? ?????とする。あるｗが
�xばれる�_楕は吉しいので並念�_楕
? ? は
1
Δ? ?????
となる。
? �3.70��? ? = ??? ? ? ? ? ? ?? ? ?(?|? ???)
Δ? ?????????
Δ? ?????
? ��方を函ると、
�3.71�� ln ? ? ? ln ? ? ? ??? + ln(
Δ? ?????????
Δ? ?????
)

- 18 -
? モデルエビデンスの�eの盾��Aき�
�3.71�� ln ? ? ? ln ? ? ? ??? + ln(
Δ? ?????????
Δ? ?????
)
? Δ? ????????? < Δ? ????? なので、ペナルティ�は械に�。
Δ? ????? に��して Δ? ????????? が弌さい�嫌が倭く�なると
ペナルティが�くなる��の�､�鵑④�覆襭��
? 嫌がせまい��^僥��モデルが�}�j�の辛嬬來がある。
? モデルがM��のパラメ�`タを根む��
�3.72�� ln ? ? ? ln ? ? ? ??? + ? ln(
Δ? ?????????
Δ? ?????
)
? パラメ�`タが謹いとペナルティ寄。
? バランスの措いモデルが�x�kされる。
デ�`タへのフィッティング業ペナルティ�
AIC�あるモデルを�x�kした�rに、�h苧�篳�諒�縫撻淵襯謄�
BIC�あるモデルを�x�kした�rに、��デ�`タ方にペナルティ
モデルエビデンス�いくつかのモデルがあった�rに、そのモデルの�}�jさにペナルティ

- 19 -
? モデルエビデンスの�eの盾��Aき�
罪�S�蒙協のデ�`タ鹿栽D
�k�S�Dが伏撹される�_楕?(?)
モデル��}�jさが�g�{��紗するモデル?1, ?2, ?3
この��譴離禰`タDはモデル
?1から伏撹された�_楕が互い
?デ�`タの�}�j業は詰い
この��譴離禰`タDはモデル
?2から伏撹された�_楕が互い
?デ�`タの�}�j業は嶄殻業
?デ�`タの�}�j業に鬉犬董▲丱薀鵐�
の措いモデルが�x�kされる

- 20 -
? 屎しいモデルを�x�k
? ベイズモデル曳�^では、深えているモデル鹿栽の嶄にデ�`タが伏撹される
寔の蛍下が根まれていることを圧に��─�
? この��┐��靴韻譴弌▲戰ぅ坤皀妊覬否^によって峠譲議に
屎しいモデルが�x�kされる。�屎しいモデルが�x�kされる�_楕互�
? 2つのモデル�?1, ?2�のうち、?1が屎しいモデルだと��┐垢襦�
? ベイズ咀徨の豚棋�､鰉�麻。
豚棋ベイズ咀徨 �3.73��??? ? ? ?1 ln
?(?|?1)
?(?|?2)
??
�?1が�x�kされた�rのデ�`タDが伏撹される�_楕～ ?1に�vするベイズ咀徨
における畠デ�`タの�e蛍�｣�
? この塀はKLダイバ�`ジェンスと揖じ
KLダイバ�`ジェンス�??(?| ? ? ??? ? ? ln
?(?)
?(?)
??
? KLダイバ�`ジェンスは械に屎。
つまり、械に?(?|?1)> ?(?|?2)であることが豚棋できる。
☆KL???????????:Kullback�CLeibler divergence

際際滷

永檎珂晦及3嫗喝3.3-3.4

More Related Content

What's hot (20)

Similar to 永檎珂晦及3嫗喝3.3-3.4 (20)

Recently uploaded (9)

永檎珂晦及3嫗喝3.3-3.4