狠狠撸

『パターン認識と機械学習』
Pattern Recognition and Machine Learning
2.3.1-2.3.3
@tokky_cpp
1
?2.3.1 条件付きガウス分布
?2.3.2 周辺ガウス分布
?2.3.3 ガウス分布に対するベイズの定理

PRML
p.82 ～ p.90
2

3
新しく得られた事実
既知の事実の再掲

?導入
? 公式をいくつか確認
? ガウス分布の復習
4

?導入
5

公式を確認
?演習2.22
対称行列の逆行列も対称行列になる
6
1 1
( )? ?
? ? ?T T
A A A A
? T
A A
1 1? ?
? T
A A A A
1
( )?
? T T
I A A
1
( ) ( )?
? T T T
I A A
1
( )?
? T
I A A
両辺に左からをかける
両辺の転置をとる
1?
A
( )T T T
?ab b a

公式を確認
7
T T T
?a Ab b A a
T
i ij j
i j
? ??a Ab a A b
( )T
j ji i
i j
? ??b A a
T T
? b A a

公式を確認
8
T T T
?a Ab b A a
1 1T T? ?
?a A b b A a
1 1
( )? ?
? ? ?T T
A A A A
今回はこの形でも使われる

?導入
9

（復習）ガウス分布
?1次元の場合
?多次元（D次元）の場合
10
2 2
2 1/2 2
1 1
( | , ) exp ( )
(2 ) 2
N x x? ? ?
?? ?
? ?
? ? ?? ?
? ?
1
1/2/2
1 1
( | , ) exp ( ) ( )
2(2 )
T
D
N
?
?? ?
? ? ? ?? ?
? ?
x μ Σ x μ Σ x μ
Σ
( )? μ
( )? Σ
：平均（ベクトル）
：分散（共分散行列）
2つのパラメータで特性が決まる

PRML
11

2.3.1 条件付きガウス分布
?条件付き確率
?1次元の場合
?多次元の場合
12
( | )a bp x x が与えられた下でを取る確率
( | )a bp x x
axbx
が与えられた下でを取る確率axbx

?分割
13
M行
D-M行
M列 D-M列
a
b
? ?
? ? ?
? ?
μ
μ
μ
a
b
? ?
? ? ?
? ?
x
x
x
aa ab
ba bb
? ?
? ? ?
? ?
Σ Σ
Σ
Σ Σ
( | )a bp x x

14
aa ab
ba bb
? ?
? ? ?
? ?
Σ Σ
Σ
Σ Σ T
ab ba?Σ Σ
1?
?Λ Σ精度行列
共分散行列
aa ab
ba bb
? ?
? ? ?
? ?
Λ Λ
Λ Λ
対称行列の逆行列も対称行列
T
bb bb?Σ Σ
T
aa aa?Σ Σ
T
aa aa?Λ Λ
T
bb bb?Λ Λ
T
ab ba?Λ Λ

?条件付きガウス分布
15
( | )a bp x x の表現を考える
既知（定数として見る）
1
1/2/2
1 1
( | , ) exp ( ) ( )
2(2 )
T
D
N
?
?? ?
? ? ? ?? ?
? ?
Σ
ガウス分布の指数部分について考える

?方針
① を定数として、ガウス分布の指数部分を
見る。
② について、次数ごとに整理する。
③ 共分散行列、平均を求める。
16
ガウス分布はとで特性が完全に決まる。
bx
ax
Σ μ
Σ μ
( | )a bp x x

17
1
1/2/2
1 1
( | , ) exp ( ) ( )
2(2 )
T
D
N
?
?? ?
? ? ? ?? ?
? ?
Σ
1
1 1
1 1
1
( ) ( )
2
1 1
( ) ( ) ( ) ( )
2 2
1 1
( ) ( ) ( ) ( )
2 2
T
T T
a a aa a a a a ab b b
T T
b b ba a a b b bb b b
?
? ?
? ?
? ? ?
? ? ? ? ? ? ?
? ? ? ? ? ?
x μ Σ x μ
x μ Λ x μ x μ Λ x μ
① を定数として、ガウス分布の指数部分を見る。bx
a
b
? ?
? ? ?
? ?
μ
μ
μ
a
b
? ?
? ? ?
? ?
x
x
x
1 aa ab
ba bb
? ? ?
? ? ? ?
? ?
Λ Λ
Σ Λ
Λ Λ

18
② について、次数ごとに整理する。ax
一般のガウス分布の場合
1
1 1 1 1
1 1
1
( ) ( )
2
1 1 1 1
2 2 2 2
1
.
2
T
T T T T
T T
const
?
? ? ? ?
? ?
? ? ?
? ? ? ? ?
? ? ? ?
x μ Σ x μ
x Σ x x Σ μ μ Σ x μ Σ μ
x Σ x x Σ μ 1 1 1
( )T T T T? ? ?
? ?μ Σ x x Σ μ x Σ μ
1 1
( )T? ?
?Σ Σ
に依存しない項x

19
一般のガウス分布の場合
1?
Σ
1?
Σ μ
2次の項の係数行列
1次（線形）の項の係数ベクトル

20
分割されたガウス分布の場合
11
( ) ( )
2
1 1
( ) ( ) ( ) ( )
2 2
1 1
( ) ( ) ( ) ( )
2 2
T
T T
T T
?
? ? ?
? ? ? ? ? ? ?
? ? ? ? ? ?
x μ Σ x μ

21
1
2
T
a aa a? x Λ x
2次の項
1
|a b aa
?
?Σ Λ 1?
Σ
1?
Σ μ

22
? ?
? ?
? ?
1
2
1
2
( )
T T T T T T
a aa a a aa a a ab b a ab b b ba a b ba a
T T T T T T
a aa a a aa a a ab b a ab b a ab b a ab b
T
a aa a ab b b
? ? ? ? ? ?
? ? ? ? ? ? ?
? ? ?
x Λ μ μ Λ x x Λ x x Λ μ x Λ x μ Λ x
x Λ μ x Λ μ x Λ x x Λ μ x Λ x x Λ μ
x Λ μ Λ x μ
1次の項
T T T
?a Ab b A a
T
aa aa?Λ Λ
T
ab ba?Λ Λ

23
? ?( )T
a aa a ab b b? ?x Λ μ Λ x μ
1次の項
? ?
1
| |
| |
1
|
( )
( )
( )
a b a b aa a ab b b
a b a b aa a ab b b
a b a aa ab b b
?
?
? ? ?
? ? ?
? ? ?
Σ μ Λ μ Λ x μ
μ Σ Λ μ Λ x μ
μ μ Λ Λ x μ
1?
Σ
1?
Σ μ
1
|a b aa
?
?Σ Λ

24
1
| ( )a b a aa ab b b
?
? ? ?μ μ Λ Λ x μ
1
|a b aa
?
?Σ Λ
Q.精度行列ではなく、共分散行列を使って表すとどうなる？
Λ Σ

25
1
aa ab aa ab
ba bb ba bb
?
? ? ? ?
?? ? ? ?
? ? ? ?
Σ Σ Λ Λ
Σ Σ Λ Λ
共分散行列精度行列
それぞれの分割が単純に対応しているわけではない

?分割した行列の逆行列
26
1 1
1 1 1 1
? ?
? ? ? ?
? ??? ?
? ?? ?
? ?? ? ? ?
A B M MBD
=
C D D CM D D CMBD
1 1
( )? ?
? ?M A BD C

演習2.24
27
1 1
1 1 1 1
? ?
? ? ? ?
? ??? ?
? ?? ?
? ?? ? ? ?
A B M MBD
=
C D D CM D D CMBD
1 1
( )? ?
? ?M A BD C
1
1 1 1 1
1 1 1 1 1
1 1
1 1 1 1
1 1 1 1
( ) ( )
?
? ? ? ?
? ? ? ? ?
? ?
? ? ? ?
? ? ? ?
? ??? ?
? ?? ?
? ?? ?? ?
? ?? ? ? ?
? ? ?
? ? ? ?? ?
? ?? ? ?
? ? ?
? ?
? ??
? ? ?
? ?
? ?
? ? ?
? ?
A B M MBD
C D D CM D D CMBD
AM BD CM AMBD BD BD CMBD
CM CM CMBD I CMBD
A BD C M BD A BD C MBD
0 I
M M BD M MBD
0 I
I 0
0 I
両辺に左からをかける
? ?
? ?
? ?
A B
C D

?分割した行列の逆行列
28
1 1
1 1 1 1
? ?
? ? ? ?
? ??? ?
? ?? ?
? ?? ? ? ?
A B M MBD
=
C D D CM D D CMBD
1 1
( )? ?
? ?M A BD C
1
|
1
( )
( )
a b a aa ab b b
a ab bb b b
?
?
? ? ?
? ? ?
μ μ Λ Λ x μ
μ Σ Σ x μ
1
|
1
a b aa
aa ab bb ba
?
?
?
? ?
Σ Λ
Σ Σ Σ Σ
1
aa ab aa ab
ba bb ba bb
?
? ? ? ?
?? ? ? ?
? ? ? ?
Σ Σ Λ Λ
Σ Σ Λ Λ

?共分散行列表現
?精度行列表現
29
1
| ( )a b a ab bb b b
?
? ? ?μ μ Σ Σ x μ
1
|a b aa ab bb ba
?
? ?Σ Σ Σ Σ Σ
1
?
? ? ?μ μ Λ Λ x μ
1
|a b aa
?
?Σ Λ
簡潔！

PRML
30

2.3.2 周辺ガウス分布
31
?周辺ガウス分布
( ) ( , )a a b bp p d? ?x x x x

32
?方針
① 同時ガウス分布の指数部分に注目する。
② を積分消去して、にのみ依存する関
数とする。
③ 以下条件付きガウス分布と同様。
axbx
( ) ( , )a a b bp p d? ?x x x x

33
1
1 1
1 1
1
( ) ( )
2
1 1
( ) ( ) ( ) ( )
2 2
1 1
( ) ( ) ( ) ( )
2 2
T
T T
T T
?
? ?
? ?
? ? ?
? ? ? ? ? ? ?
? ? ? ? ? ?
x μ Σ x μ
? 3種類に展開可能
1. を含む項（の2次、1次の項）
2. を含まず、に依存する項（の2次、1次の項）
3. を含まない項（定数項）
ax
bx
bx ax
,a bx x
bx

34
２．を含まず、に依存する項（の2次、1次の項）
そのままのみの関数として見ることができる。
axbx ax
ax
1
( )
2
T T
a aa a a aa a ab b? ? ?x Λ x x Λ μ Λ μ

35
３．を含まない項（定数項）
共分散行列、平均ベクトルの計算には影響しない。
,a bx x
const

36
1. を含む項（の2次、1次の項）bx bx
?平方完成によって
? 2次の項
? 定数項（は含む）
に分けられる。
ax
? ?( )bb b ba a a? ? ?m Λ μ Λ x μ
1
2
T
b bb b b? ?x Λ x x m

37
1 1 1
1
2
1 1
( ) ( )
2 2
T
b bb b b
T T
b bb bb b bb bb
? ? ?
? ?
? ? ? ? ?
x Λ x x m
x Λ m Λ x Λ m m Λ m
2次の項定数項

38
1 11
( ) ( )
2
T
b bb bb b bb
? ?
? ? ?x Λ m Λ x Λ m
2次の項
1 11
exp ( ) ( )
2
T
b bb bb b bb bd? ?? ?
? ? ?? ?
? ?
? x Λ m Λ x Λ m x
積分消去すると……
1
1/2/2
1 1
( | , ) exp ( ) ( )
2(2 )
T
D
N
?
?? ?
? ? ? ?? ?
? ?
Σ
共分散行列の行列式にのみ依存
ガウス分布は積分すると１

39
11
2
T
bb
?
m Λ m
定数項
? ?( )bb b ba a a? ? ?m Λ μ Λ x μ
? ? ? ?11
( ) ( )
2
T
bb b ba a a bb bb b ba a a
?
? ? ? ? ?Λ μ Λ x μ Λ Λ μ Λ x μ

40
1
1 1
1 1
1
( ) ( )
2
1 1
( ) ( ) ( ) ( )
2 2
1 1
( ) ( ) ( ) ( )
2 2
T
T T
T T
?
? ?
? ?
? ? ?
? ? ? ? ? ? ?
? ? ? ? ? ?
x μ Σ x μ
? 3種類に展開可能
1. を含む項（の2次、1次の項）
2. を含まず、に依存する項（の2次、1次の項）
3. を含まない項（定数項）
ax
bx
bx ax
,a bx x
bx

41
? 共分散行列、平均ベクトルを求める
? ? ? ?11
( ) ( )
2
T
bb b ba a a bb bb b ba a a
?
? ? ? ?Λ μ Λ x μ Λ Λ μ Λ x μ
1
( )
2
T T
a aa a a aa a ab b? ? ?x Λ x x Λ μ Λ μ
1 11
( ) ( )
2
T T
a aa ab bb ba a a aa ab bb ba a
? ?
? ? ? ? ?x Λ Λ Λ Λ x x Λ Λ Λ Λ μ
1?
Σ
1?
Σ μ

42
1 11
( ) ( )
2
T T
? ?
? ? ? ? ?x Λ Λ Λ Λ x x Λ Λ Λ Λ μ
1?
Σ
1?
Σ μ
1 1
( )a aa ab bb ba
? ?
? ?Σ Λ Λ Λ Λ
1 1
( )a aa ab bb ba
? ?
? ?Σ Λ Λ Λ Λ

43
1 11
( ) ( )
2
T T
? ?
? ? ? ?x Λ Λ Λ Λ x x Λ Λ Λ Λ μ
1?
Σ
1?
Σ μ
1 1
( )a aa ab bb ba
? ?
? ?Σ Λ Λ Λ Λ
1 1
1
( )
( )
aa ab bb ba a a a
a aa ab bb ba a a
? ?
?
? ?
? ?
Λ Λ Λ Λ μ Σ μ
Σ Λ Λ Λ Λ μ μ

44
1 1
( )a aa ab bb ba
aa
? ?
? ?
?
Σ Λ Λ Λ Λ
Σ
1 1
1 1 1 1
? ?
? ? ? ?
? ??? ?
? ?? ?
? ?? ? ? ?
A B M MBD
=
C D D CM D D CMBD
1 1
( )? ?
? ?M A BD C
1
aa ab aa ab
ba bb ba bb
?
? ? ? ?
?? ? ? ?
? ? ? ?
Σ Σ Λ Λ
Σ Σ Λ Λ

45
? 周辺ガウス分布の平均と共分散
? ?cov a aa?x Σ
? ?a aaE ?x μ
( )ap x

PRML
46

2.3.3 ガウス分布に対するベイズの定理
47
1
( ) ( | , )p N ?
?x x μ Λ
1
( | ) ( | , )p N ?
? ?y x y Ax b L
が与えられている下での
( )p y
( | )p x y
を求める。

48
? 方針
( )p x ( | )p y x
( )p y ( | )p x y
( ) ( , )p p?z x y
? ?
? ? ?
? ?
x
z
y とおく

49
( , ) ( ) ( | )
ln ( , ) ln ( ) ln ( | )
p p p
p p p
?
? ?
x y x y x
x y x y x
1
( ) ( )
2
1
( ) ( )
2
T
T
const
? ? ? ?
? ? ? ? ? ?
x μ A x μ
y Ax b L y Ax b

50
1 1
( ) ( ) ( ) ( )
2 2
T T
const? ? ? ? ? ? ? ? ?x μ A x μ y Ax b L y Ax b
? 精度行列を求める
2次の項だけを抜き出す
1
2
T T T
? ?? ?? ? ? ?
? ? ?? ? ? ?
?? ? ? ?? ?
x xΛ A LA A L
y yLA L
T T
? ?? ?
? ? ?
?? ?
Λ A LA A L
R
LA L
( , )p x y
1?
Σ
1?
Σ μ

51
? 精度行列から共分散行列を求める
T T
? ?? ?
? ? ?
?? ?
Λ A LA A L
R
LA L
1 1
1
1 1 1
cov[ ]
T
T
? ?
?
? ? ?
? ?
? ? ? ?
?? ?
Λ Λ A
z R
AΛ L AΛ A
1 1
1 1 1 1
? ?
? ? ? ?
? ??? ?
? ?? ?
? ?? ? ? ?
A B M MBD
=
C D D CM D D CMBD
1 1
( )? ?
? ?M A BD C
( , )p x y

52
1 1
( ) ( ) ( ) ( )
2 2
T T
const? ? ? ? ? ? ? ? ?x μ A x μ y Ax b L y Ax b
? 平均を求める
1次の項だけを抜き出す
T T
? ??? ?
? ?? ?
? ? ? ?
x Λμ A Lb
y Lb
1
[ ]
[ ]
T
E
E
? ? ??
? ? ?
? ?
? ?
? ? ?
?? ?
Λμ A Lb
z R
Lb
μ
z
Aμ b
( , )p x y
1?
Σ
1?
Σ μ

53
( )p x ( | )p y x
( )p y ( | )p x y
完了！
( ) ( , )p p?z x y

54
? 周辺分布
分割された「共分散行列」で簡潔に表現できる。
( )p y
? ?cov a aa?x Σ
? ?a aaE ?x μ
1 1
1 1 1
cov[ ]
T
T
? ?
? ? ?
? ?
? ? ?
?? ?
Λ Λ A
z
AΛ L AΛ A
[ ]E
? ?
? ? ?
?? ?
μ
z
Aμ b
1 1
cov[ ] T? ?
? ?y L AΛ A
[ ]E ? ?y Aμ b

55
( )p x ( | )p y x
( )p y ( | )p x y
完了！
完了！
( ) ( , )p p?z x y

56
? 条件付き分布
分割された「精度行列」で簡潔に表現できる。
( | )p x y
1
?
? ? ?μ μ Λ Λ x μ
1
|a b aa
?
?Σ Λ
T T
? ?? ?
? ? ?
?? ?
Λ A LA A L
R
LA L
1
cov[ | ] ( )T ?
? ?x y Λ A LA
? ?1
[ | ] ( ) ( )T T
E ?
? ? ?x y Λ A LA A L y b Λμ

57
( )p x ( | )p y x
( )p y ( | )p x y
完了！
完了！
完了！
( ) ( , )p p?z x y

狠狠撸

PRML2.3.1-2.3.3

More Related Content

PRML2.3.1-2.3.3