狠狠撸

Doing Bayesian Data Analysis?
Chapter 4: Bayes’ Rule
東京大学松尾研究室修士２年"
飯塚修平@tushuhei
2013/08/04 1

導入
?? あの子がオレのことを見て微笑んだ"
?? もしかしてオレに気がある！？"
?? 残念ながら p(?|J?) ≠ p(?|?)."
–? p(?|?): あの子が微笑んだ時に、あなたに好意がある確率"
–? p(?|?): あの子があなたに好意があるときに、微笑む確率"
?? ベイズの定理によると p(?|?) = p(?|?)p(?)/p(?)"
–? p(?) = Σp(J?|θ)p(θ): あなたのことが好きで微笑んだ、あなたが純粋に
面白い顔をしていた、たまたま昨日のお笑い番組を思い出した etc. す
べての和であることに注意"
–? とりあえず、p(?)（あの子があなたに好意がある確率）はどれくらい
だと思う？（事前確率）"
2013/08/04 2

ベイズの定理
2013/08/04 5
モデル自体も
?M
?としてパラメタに組み込むと、ベイズの定理は、
p( |D, M) = p(D| , M) p( |M)/p(D|M)
p(M1|D) = p(D|M1)p(M1)/p(D)
p(M2|D) = p(D|M2)p(M2)/p(D)
p(M1|D)
p(M2|D)
=
p(D|M1)
p(D|M2)
M1
M2
p( |D, M) = p(D| , M) p( |M)/p(D|M)
p(M1|D) = p(D|M1)p(M1)/p(D)
p(M2|D) = p(D|M2)p(M2)/p(D)
p(M1|D)
p(M2|D)
=
p(D|M1)
p(D|M2)
M1
M2
なので、
すなわち、事後確率の比は、証拠の比と事前確率の比の積で表される。
?
この事前確率の比を Bayers
?Factor
?と呼ぶ。
p( |D, M) = p(D| , M) p( |M)/p(D|M)
p(M1|D) = p(D|M1)p(M1)/p(D)
p(M2|D) = p(D|M2)p(M2)/p(D)
p(M1|D)
p(M2|D)
=
p(D|M1)
p(D|M2)
p(M1)
p(M2)
Bayes
?Factor
と表せる。ここで、

ベイズの定理
2013/08/04 6
出現する証拠はモデルのパラメタθにしかよらないので、
?
p(D | , D) = p(D | )
p( |D , D) =
p(D | , D)p( |D)
d p(D | , D)p( |D)
=
p(D | )p( |D)
d p(D | )p( |D)
したがって、
再度テストを行うなど、複数回にわたってデータをサンプリングするときに使える
【複数の証拠
?D,
?D’
?がある場合】
?

コイントスの例
?? あなたのコインは公平？それともインチキ？"
2013/08/04 7
H : head, T : tail
= p(H)
H : head, T : tail
= p(H)
p( ) =
0.25 ( = 0.25, 0.75)
0.5 ( = 0.5)
0 (otherwise)
→下記のように
?Prior
?(事前確率)
?を設定
おそらくちゃんと作
られてるから θ=0.5 "
だけど"
もしかしたら偽物で
偏ってるかも？
↑
?
A君の頭のなかの
?
モデル

2013/08/04 8
p( ) =
0.25 ( = 0.25, 0.75)
0.5 ( = 0.5)
0 (otherwise)
Prior (事前確率)
D = 3H, 9T のときLikelihood (尤度)
p(D| ) = 3
(1 )9
=
1.2 10 3
( = 0.25)
2.4 10 4
( = 0.50)
1.6 10 6
( = 0.75)
0 (otherwise)
データの当てはまり具合

2013/08/04 9
Posterior (事後確率) ベイズの定理より、
p( |D) =
p(D| )p( )
p(D| )p( )
0.71 ( = 0.25)
0.29 ( = 0.50)
9.0 10 4
( = 0.75)
0 (otherwise)
合計=1となることに注目。

?? 事前確率がもう少し複雑な例を考える"
?? ベイズならモデルの比較も簡単！"
コイントスの例２
2013/08/04 10
VS
simple complex

コイントスの例２
p(D|M) simple complex
D = 3H, 9T 0.000416 0.000392
D = 1H, 11T 0.00276 0.00366
2013/08/04 11
モデルMからデータDが
?
生じる確率

日常に潜むベイズの考え方
?? 「ワトソン君、何度言ったら分かるんだ。起こり得ないことをすべ
て取り除いてそれが残ったんだったら、どんなに可能性が低くても、
それが真実なんだよ。」
2013/08/04 12
?? 屋根からなんか落ちてきた→「猫かな？」?
今隣の家に子供が遊びにきたらしい→「あ、そっちだね」"
屋根からなんか落ちてきた→ cat かな？
p(D| child) が大きいらしい→ p(D| i) = Const.( i = j) であっても、
p( child|D) が小さくなる
「ワトソン君、何度言ったら分かるんだ。p(D| i) = 0( i = j) なら
どんなに p( j) > 0 が小さくても p( j|D) = 1 なんだよ。」

Exercise 4.2
?? ある病気と検査の話（条件付き確率あるある）"
?? 病気の確率変数 θ = J?, L?（事象「かからない」or「かかる」）"
?? p(θ=L?) = 0.001: 罹患率は 0.1%"
?? 検査の結果の確率変数 D=＋（陽性）, ー（陰性）"
?? p(D=＋| θ=L?) = 0.99: 的中率 99%"
?? p(D=＋| θ=J?) = 0.05: エラー率 5%"
?? 運悪く、あなたは最初の検査で陽性反応が出てしまいました。"
?? 不安になってもう一度検査を受けたところ、陰性反応が出ました。"
?? さて、このときあなたが病気にかかっている確率は？"
?? すなわち、p(θ=L? | D1=＋, D2=ー) は？"
2013/08/04 13

Exercise 4.2
2013/08/04 14
p( =):|D1 = +, D2 = )
=
p(D2 = +| =
):
, D1 = +)p( =
p(D2 = +| =
):
, D1 = +)p( =
):
|D1 = +) + p(D2 =
=
p(D2 = +| =
):
)p( =
):
|D1 = +)
p(D2 = +| =):)p( =
):
|D1 = +) + p(D2 = +| =
p( =
):
|D1 = +, D2 = )
=
p(D2 = +| =
):
, D1 = +)p( =
):
|D1 = +)
p(D2 = +| =
):
, D1 = +)p( =
):
|D1 = +) + p(D2 = +| =
(:
, D1 = +)p( =
(:
|D1 = +)
=
p(D2 = +| =):)p( =
):
|D1 = +)
p(D2 = +| =
):
)p( =
):
|D1 = +) + p(D2 = +| =
(:
)p( =
(:
|D1 = +)
θ=L?
?と D2
?についてベイズの定理を適用して
p( =
):
|D1 = +, D2 = )
=
p(D2 = +| =
):
, D1 = +)p( =
):
|D1 = +)
p(D2 = +| =
):
, D1 = +)p( =):|D1 = +) + p(D2 = +| =
(:
, D1 = +)p
=
p(D2 = +| =
):
)p( =
):
|D1 = +)
p(D2 = +| =
):
)p( =
):
|D1 = +) + p(D2 = +| =
(:
)p( =
(:
|D1 = +)
D2
?の結果は
?D1
?とは無関係なので（スライド
?p6
?参照）
あとは各項の値を求める。 = 2.1*10^{-4} = 0.021%

狠狠撸

【DBDA 勉強会 2013 夏】Doing Bayesian Data Analysis Chapter 4: Bayes’ Rule

Recommended

More Related Content

Viewers also liked (10)

More from Shuhei Iitsuka (20)

Recently uploaded (6)

【DBDA 勉強会 2013 夏】Doing Bayesian Data Analysis Chapter 4: Bayes’ Rule