![Dirichlet分布 期待値導出
log θ 期待値
θ ～ Dir (θ | α) , 関数 Ψ (x) = d log Γ(x)
dx 用
,
Ep
(
θ|α
)[log θk] = Ψ (αk) ? Ψ
?
??????
K∑
k=1
αk
?
??????
LDA 変分 、q (z) 導出 用
@ksmzn 第 3 章 変分近似法 July 30, 2015 6 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-6-320.jpg)
![変分 法 要点
目的
? KL[q (z, θ, ?) || p (z, θ, ? | w, α, β)] 最小
q (z, θ, ?) 求 .
手法
? 対数周辺尤度 log p (w | α, β) 変分下限
F[q (z, θ, ?)] 求 、 最大 q (z, θ, ?)
変分法 求 .
? q (z, θ, ?) 対 因子分解仮定 , q (z), q (θ),
q (?) 順 繰 返 更新 .
@ksmzn 第 3 章 変分近似法 July 30, 2015 9 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-9-320.jpg)
![変分下限 導出
log p (w | α, β) = log
∫ ∑
z
p (w, z, θ, ? | α, β) d?dθ
= log
∫ ∑
z
q (z, θ, ?)
p (w, z, θ, ? | α, β)
q (z, θ, ?)
d?dθ
≥
∫ ∑
z
q (z, θ, ?) log
p (w, z, θ, ? | α, β)
q (z, θ, ?)
d?dθ
≡ F
[
q (z, θ, ?)
]
@ksmzn 第 3 章 変分近似法 July 30, 2015 11 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-11-320.jpg)
![変分下限 導出
、変分下限 ,
F
[
q (z, θ, ?)
]
=
∫ ∑
z
q (z) q (θ) q (?) log p (w | z, θ) p (z | θ) d?dθ
?
∑
z
q (z) log q (z)
+
∫
q (θ) log
p (θ | α)
q (θ)
dθ
+
∫
q (?) log
p (? | β)
q (?)
d?
@ksmzn 第 3 章 変分近似法 July 30, 2015 13 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-13-320.jpg)
![変分下限 最大
変分下限 F
[
q (z, θ, ?)
]
最大 .
→ q (z, θ, ?) 因子分解仮定 置 ,
F z, θ, ? 関 部分 抜 出 ,
最大 q
(
zd,i
)
, q (θd) , q
(
?k
)
求
.
@ksmzn 第 3 章 変分近似法 July 30, 2015 15 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-15-320.jpg)
![q (θd) 求
変分下限 F , q (θd) 関係 項 抜 出
?F
[
q (θd)
]
,
?F
[
q (θd)
]
=
∫
q (θd)
∑
z
q (z)
nd∑
i=1
log p
(
zd,i | θd
)
dθd
?
∫
q (θd) log
q (θd)
p (θd | α)
dθd
@ksmzn 第 3 章 変分近似法 July 30, 2015 16 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-16-320.jpg)
![q (θd) 求
q (θd) ∝ p (θd | α) exp
?
???????
∑
z
q (z)
nd∑
i=1
log p
(
zd,i | θd
)
?
???????
∝
K∏
k=1
θαk?1
d,k exp
?
???????
∑
z
q (z)
nd∑
i=1
K∑
k=1
δ
(
zd,i = k
)
log θd,k
?
???????
= exp
?
??????
K∑
k=1
(αk ? 1) log θd,k
?
?????? exp
?
??????
K∑
k=1
nd∑
i=1
q
(
zd,i = k
)
log θd,k
?
??????
= exp
?
??????
K∑
k=1
(αk ? 1) log θd,k
?
?????? exp
?
??????
K∑
k=1
Eq(zd)
[
nd,k
]
log θd,k
?
??????
= exp
?
??????
K∑
k=1
(
Eq(zd)
[
nd,k
]
+ αk ? 1
)
log θd,k
?
??????
=
K∏
k=1
θ
Eq(zd)[nd,k]+αk?1
d,k
@ksmzn 第 3 章 変分近似法 July 30, 2015 18 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-18-320.jpg)
![q (θd) 求
ξθ
d,k = Eq(zd)
[
nd,k
]
+ αk,
ξθ
d
=
(
ξθ
d,1, ξθ
d,2, · · · , ξθ
d,K
)
, q (θd) ξθ
d
Dirichlet 分布 q
(
θd | ξθ
d
)
, 正規化項 計算 ,
q
(
θd | ξθ
d
)
=
Γ
(∑K
k=1 ξθ
d,k
)
∏K
k=1 Γ
(
ξθ
d,k
)
K∏
k=1
θ
ξθ
d,k
?1
d,k
.
@ksmzn 第 3 章 変分近似法 July 30, 2015 19 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-19-320.jpg)
![q
(
?k
)
求
同様 ,
ξ?
k,v = Eq(z)
[
nk,v
]
+ βv,
ξ
?
k
=
(
ξ?
k,1, ξ?
k,2, · · · , ξ?
k,v
)
, q
(
?k
)
ξ
?
k
Dirichlet 分布 q
(
?k | ξ
?
k
)
, 正規化項 計算 ,
q
(
?k | ξ
?
k
)
=
Γ
(∑V
v=1 ξ?
k,v
)
∏V
v=1 Γ
(
ξ?
k,v
)
V∏
v=1
?
ξ
?
k,v
?1
k,v
.
@ksmzn 第 3 章 変分近似法 July 30, 2015 20 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-20-320.jpg)
![q
(
zd,i
)
求
最後 , q
(
zd,i
)
,
q
(
zd,i = k
)
∝
exp
[
Ψ
(
ξ?
k,wd,i
)]
exp
[
Ψ
(∑V
v′=1 ξ?
k,v′
)]
exp
[
Ψ
(
ξθ
d,k
)]
exp
[
Ψ
(∑K
k′=1 ξθ
d,k′
)]
.
@ksmzn 第 3 章 変分近似法 July 30, 2015 21 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-21-320.jpg)
![CVB 変分下限 導出
基本的 変分 法 同様
1. 周辺化 確率変数 z 結合分布 積分形
表示
2. 変分事後分布 分子分母 形 導
入
3. 不等式 下限 求
log p (w | α, β) = log
∑
z
p (w, z | α, β) = log
∑
z
q (z)
p (w, z | α, β)
q (z)
≥
∑
z
q (z) log
p (w, z | α, β)
q (z)
≡ FCVB
[
q (z)
]
@ksmzn 第 3 章 変分近似法 July 30, 2015 29 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-29-320.jpg)
![VB 変分下限 CVB 変分下限
変分 法 (VB) 変分下限 CVB 変分下限 次
関係 成 立 .
F
[
q (z, θ, θ)
]
≤ FCVB
[
q (z)
]
CVB , VB 既 大 変分下限 最大化
, 効率的 .
→学習 必要 反復回数 少 済 ！
@ksmzn 第 3 章 変分近似法 July 30, 2015 30 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-30-320.jpg)
![変分下限 最大化
周辺化変分 法 , 以下 最適化問題 解
q?
(z) = argmax
q(z)
FCVB
[
q (z)
]
@ksmzn 第 3 章 変分近似法 July 30, 2015 31 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-31-320.jpg)
![変分下限 最大化
VB 同様 ,
FCVB
[
q (z)
]
=
∑
z
q (z) log
p (w, z | α, β)
q (z)
=
∑
z
q
(
zd,i
)
q
(
zd,i
)
log
p
(
wd,i, zd,i | wd,i
, zd,i
, α, β
)
p
(
wd,i
, zd,i
| α, β
)
q
(
zd,i
)
q
(
zd,i
)
, q
(
zd,i
)
関係 項 抜 出
?FCVB
[
q
(
zd,i
)]
=
∑
z
q
(
zd,i
)
q
(
zd,i
)
log
p
(
wd,i, zd,i | wd,i
, zd,i
, α, β
)
q
(
zd,i
)
@ksmzn 第 3 章 変分近似法 July 30, 2015 32 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-32-320.jpg)
![q
(
zd,i = k
)
求
変分下限 ?FCVB
[
q
(
zd,i
)]
, q
(
zd,i = k
)
微分 0
, q
(
zd,i = k
)
解 ,
q
(
zd,i = k
)
∝ exp
?
???????
∑
z
q
(
zd,i
)
log p
(
wd,i, zd,i | wd,i
, zd,i
, α, β
)
?
???????
= exp Eq(zd,i
)
[
log p
(
wd,i, zd,i | wd,i
, zd,i
, α, β
)]
∝ exp Eq(zd,i
)
?
???????log
nd,i
k,v + βv
nd,i
k,. + β.
(
nd,i
d,k + αk
)
?
???????
=
exp Eq(zd,i
)
[
log nd,i
k,v + βv
]
exp Eq(zd,i
)
[∑V
v′=1 log nd,i
k,v′ + β′
v
]exp Eq(zd,i
)
[
log
(
nd,i
d,k + αk
)]
@ksmzn 第 3 章 変分近似法 July 30, 2015 35 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-35-320.jpg)
![展開 近似
a = E [x] ,
E
[
log x
]
≈ log E [x] +
V [x]
2E [x]2
, nd,i
d,k + αk 周 展開 近似
,
E
[
log
(
nd,i
d,k + αk
)]
≈ log
(
E
[
nd,i
d,k
]
+ αk
)
?
V
[
nd,i
d,k
]
2
(
E
[
nd,i
d,k
]
+ αk
)2
@ksmzn 第 3 章 変分近似法 July 30, 2015 37 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-37-320.jpg)
![展開 近似
,
E
[
nd,i
d,k
]
=
∑
i′ i
q
(
zd,i′ = k
)
V
[
nd,i
d,k
]
=
∑
i′ i
q
(
zd,i′ = k
) (
1 ? q
(
zd,i′ = k
))
E
[
nd,i
k,v
]
=
M∑
d=1
∑
i′
q
(
zd,i′ = k
)
I
(
wd,i′ = k
)
E
[
nd,i
k,.
]
=
V∑
v=1
E
[
nd,i
k,v
]
V
[
nd,i
k,v
]
=
M∑
d=1
∑
i′
q
(
zd,i′ = k
) (
1 ? q
(
zd,i′ = k
))
I
(
wd,i′ = k
)2
V
[
nd,i
k,.
]
=
V∑
v=1
V
[
nd,i
k,v
]
用 ,
@ksmzn 第 3 章 変分近似法 July 30, 2015 38 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-38-320.jpg)
![展開 近似
近似 ,
q
(
zd,i = k
)
∝
E
[
nd,i
k,v
]
+ βv
∑V
v′=1 E
[
nd,i
k,v′
]
+ β′
v
E
[
nd,i
d,k
]
+ αk
× exp
?
?????????
?
V
[
nd,i
k,v
]
2
(
E
[
nd,i
k,v
]
+ βv
)2
?
V
[
nd,i
d,k
]
2
(
E
[
nd,i
d,k
]
+ αk
)2
?
?????????
× exp
?
?????????
V
[
nd,i
k,.
]
2
(∑V
v=1 E
[
nd,i
k,v′
]
+ βv′
)2
?
?????????
@ksmzn 第 3 章 変分近似法 July 30, 2015 39 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-39-320.jpg)
![CVB0
? LDA , 2 次近似 ,
0 次近似 方 予測性能 良 知
(CVB0).
q
(
zd,i = k
)
∝
E
[
nd,i
k,v
]
+ βv
∑V
v′=1 E
[
nd,i
k,v′
]
+ β′
v
E
[
nd,i
d,k
]
+ αk
? 以外 (計算 等) 同等 , LDA 2
次近似 使 理由 ( ?)
? 詳細 , 著者 佐藤先生 論文 .
@ksmzn 第 3 章 変分近似法 July 30, 2015 40 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-40-320.jpg)
![References
[1] 佐藤一誠 (2015) 『 統計的潜
在意味解析』 (自然言語処理 ) 社
[2] 岩田具治 (2015) 『 』(機械学習
),
[3] CVB0 ！ - Bag of ML Words
http://dr-kayai.hatenablog.com/entry/
2013/12/22/003011
@ksmzn 第 3 章 変分近似法 July 30, 2015 42 / 43](https://image.slidesharecdn.com/topicmodel-150730111157-lva1-app6891/85/3-LDA-42-320.jpg)
第3章 変分近似法 LDAにおける変分ベイズ法?周辺化変分ベイズ法
- 1. 第3章 変分近似法 第 4 回「 統計的潜在意味解析」 読書会 @ksmzn 会場:株式会社 ALBERT 西新宿 July 30, 2015 @ksmzn 第 3 章 変分近似法 July 30, 2015 1 / 43
- 2. 自己紹介 Koshi @ksmzn 某大学 M2 → 社会人一年目 法 研究 @ksmzn 第 3 章 変分近似法 July 30, 2015 2 / 43
- 3. @ksmzn 第 3 章 変分近似法 July 30, 2015 3 / 43
- 4. 目次 1 3.3.4 LDA 変分 法 (準備) 2 3.3.5 LDA 変分 法 (1) 3 3.3.6 LDA 変分 法 (2) 4 3.3.7 LDA 変分 法 (3) 5 3.3.8 LDA 周辺化変分 法 6 References @ksmzn 第 3 章 変分近似法 July 30, 2015 4 / 43
- 5. 目次 1 3.3.4 LDA 変分 法 (準備) 2 3.3.5 LDA 変分 法 (1) 3 3.3.6 LDA 変分 法 (2) 4 3.3.7 LDA 変分 法 (3) 5 3.3.8 LDA 周辺化変分 法 6 References @ksmzn 第 3 章 変分近似法 July 30, 2015 5 / 43
- 6. Dirichlet分布 期待値導出 log θ 期待値 θ ～ Dir (θ | α) , 関数 Ψ (x) = d log Γ(x) dx 用 , Ep ( θ|α )[log θk] = Ψ (αk) ? Ψ ? ?????? K∑ k=1 αk ? ?????? LDA 変分 、q (z) 導出 用 @ksmzn 第 3 章 変分近似法 July 30, 2015 6 / 43
- 7. 目次 1 3.3.4 LDA 変分 法 (準備) 2 3.3.5 LDA 変分 法 (1) 3 3.3.6 LDA 変分 法 (2) 4 3.3.7 LDA 変分 法 (3) 5 3.3.8 LDA 周辺化変分 法 6 References @ksmzn 第 3 章 変分近似法 July 30, 2015 7 / 43
- 8. LDA 引用: http: //ni66ling.hatenadiary.jp/entry/2015/05/04/163958 @ksmzn 第 3 章 変分近似法 July 30, 2015 8 / 43
- 9. 変分 法 要点 目的 ? KL[q (z, θ, ?) || p (z, θ, ? | w, α, β)] 最小 q (z, θ, ?) 求 . 手法 ? 対数周辺尤度 log p (w | α, β) 変分下限 F[q (z, θ, ?)] 求 、 最大 q (z, θ, ?) 変分法 求 . ? q (z, θ, ?) 対 因子分解仮定 , q (z), q (θ), q (?) 順 繰 返 更新 . @ksmzn 第 3 章 変分近似法 July 30, 2015 9 / 43
- 10. 変分下限 導出 変分下限 導出 1. 周辺化 確率変数 z, θ, ? 結合分布 積 分形 表示 2. 変分事後分布 分子分母 形 導 入 3. 不等式 下限 求 @ksmzn 第 3 章 変分近似法 July 30, 2015 10 / 43
- 11. 変分下限 導出 log p (w | α, β) = log ∫ ∑ z p (w, z, θ, ? | α, β) d?dθ = log ∫ ∑ z q (z, θ, ?) p (w, z, θ, ? | α, β) q (z, θ, ?) d?dθ ≥ ∫ ∑ z q (z, θ, ?) log p (w, z, θ, ? | α, β) q (z, θ, ?) d?dθ ≡ F [ q (z, θ, ?) ] @ksmzn 第 3 章 変分近似法 July 30, 2015 11 / 43
- 12. 因子分解仮定 q (z, θ, ?) 対 因子分解仮定 . q (z, θ, ?) = ? ?????? M∏ d=1 nd∏ i=1 q ( zd,i ) ? ?????? ? ?????? M∏ d=1 q (θd) ? ?????? ? ?????? K∏ k=1 q ( ?k ) ? ?????? 、結合分布 展開 . p (w, z, θ, ? | α, β) = p (w | z, ?) p (z | θ) p (? | β) p (θ | α) = ? ?????? M∏ d=1 nd∏ i=1 p ( wd,i | ?zd,i ) p ( zd,i | θd ) ? ?????? ? ?????? K∏ k=1 p ( ?k | β ) ? ?????? ? ?????? M∏ d=1 p (θd | α) ? ?????? @ksmzn 第 3 章 変分近似法 July 30, 2015 12 / 43
- 13. 変分下限 導出 、変分下限 , F [ q (z, θ, ?) ] = ∫ ∑ z q (z) q (θ) q (?) log p (w | z, θ) p (z | θ) d?dθ ? ∑ z q (z) log q (z) + ∫ q (θ) log p (θ | α) q (θ) dθ + ∫ q (?) log p (? | β) q (?) d? @ksmzn 第 3 章 変分近似法 July 30, 2015 13 / 43
- 14. 変分下限 導出 (続 ) = ∫ M∑ d=1 nd∑ i=1 q ( zd,i ) q (θd) q (?) log p ( wd,i | zd,i, ? ) p ( zd,i | θd ) d?dθ ? M∑ d=1 nd∑ i=1 K∑ k=1 q ( zd,i = k ) log q ( zd,i = k ) + M∑ d=1 ? ∫ q (θd) log p (θd | α) q (θd) dθd + K∑ k=1 ? ∫ q ( ?k ) log p ( ?k | β ) q ( ?k ) d?k @ksmzn 第 3 章 変分近似法 July 30, 2015 14 / 43
- 15. 変分下限 最大 変分下限 F [ q (z, θ, ?) ] 最大 . → q (z, θ, ?) 因子分解仮定 置 , F z, θ, ? 関 部分 抜 出 , 最大 q ( zd,i ) , q (θd) , q ( ?k ) 求 . @ksmzn 第 3 章 変分近似法 July 30, 2015 15 / 43
- 16. q (θd) 求 変分下限 F , q (θd) 関係 項 抜 出 ?F [ q (θd) ] , ?F [ q (θd) ] = ∫ q (θd) ∑ z q (z) nd∑ i=1 log p ( zd,i | θd ) dθd ? ∫ q (θd) log q (θd) p (θd | α) dθd @ksmzn 第 3 章 変分近似法 July 30, 2015 16 / 43
- 17. q (θd) 求 最大化 , 変分法 , ? f ( θd,q ( θd )) ?q ( θd ) = 0 q (θd) 求 ? f (θd, q (θd)) ?q (θd) = ∑ z q (z) nd∑ i=1 log p ( zd,i | θd ) ? log q (θd) p (θd | α) ? 1 = 0 q (θd) 解 . @ksmzn 第 3 章 変分近似法 July 30, 2015 17 / 43
- 18. q (θd) 求 q (θd) ∝ p (θd | α) exp ? ??????? ∑ z q (z) nd∑ i=1 log p ( zd,i | θd ) ? ??????? ∝ K∏ k=1 θαk?1 d,k exp ? ??????? ∑ z q (z) nd∑ i=1 K∑ k=1 δ ( zd,i = k ) log θd,k ? ??????? = exp ? ?????? K∑ k=1 (αk ? 1) log θd,k ? ?????? exp ? ?????? K∑ k=1 nd∑ i=1 q ( zd,i = k ) log θd,k ? ?????? = exp ? ?????? K∑ k=1 (αk ? 1) log θd,k ? ?????? exp ? ?????? K∑ k=1 Eq(zd) [ nd,k ] log θd,k ? ?????? = exp ? ?????? K∑ k=1 ( Eq(zd) [ nd,k ] + αk ? 1 ) log θd,k ? ?????? = K∏ k=1 θ Eq(zd)[nd,k]+αk?1 d,k @ksmzn 第 3 章 変分近似法 July 30, 2015 18 / 43
- 19. q (θd) 求 ξθ d,k = Eq(zd) [ nd,k ] + αk, ξθ d = ( ξθ d,1, ξθ d,2, · · · , ξθ d,K ) , q (θd) ξθ d Dirichlet 分布 q ( θd | ξθ d ) , 正規化項 計算 , q ( θd | ξθ d ) = Γ (∑K k=1 ξθ d,k ) ∏K k=1 Γ ( ξθ d,k ) K∏ k=1 θ ξθ d,k ?1 d,k . @ksmzn 第 3 章 変分近似法 July 30, 2015 19 / 43
- 20. q ( ?k ) 求 同様 , ξ? k,v = Eq(z) [ nk,v ] + βv, ξ ? k = ( ξ? k,1, ξ? k,2, · · · , ξ? k,v ) , q ( ?k ) ξ ? k Dirichlet 分布 q ( ?k | ξ ? k ) , 正規化項 計算 , q ( ?k | ξ ? k ) = Γ (∑V v=1 ξ? k,v ) ∏V v=1 Γ ( ξ? k,v ) V∏ v=1 ? ξ ? k,v ?1 k,v . @ksmzn 第 3 章 変分近似法 July 30, 2015 20 / 43
- 21. q ( zd,i ) 求 最後 , q ( zd,i ) , q ( zd,i = k ) ∝ exp [ Ψ ( ξ? k,wd,i )] exp [ Ψ (∑V v′=1 ξ? k,v′ )] exp [ Ψ ( ξθ d,k )] exp [ Ψ (∑K k′=1 ξθ d,k′ )] . @ksmzn 第 3 章 変分近似法 July 30, 2015 21 / 43
- 22. TIPS 1. 後, 全 k, d, i 評価 行 2. α, β 推定 関 , 3.6 節 参照 3. 因子分解仮定 誤差 大 ( ) →周辺化変分 法!! @ksmzn 第 3 章 変分近似法 July 30, 2015 22 / 43
- 23. 目次 1 3.3.4 LDA 変分 法 (準備) 2 3.3.5 LDA 変分 法 (1) 3 3.3.6 LDA 変分 法 (2) 4 3.3.7 LDA 変分 法 (3) 5 3.3.8 LDA 周辺化変分 法 6 References @ksmzn 第 3 章 変分近似法 July 30, 2015 23 / 43
- 24. 共役性 利用 場合 ? 近似事後分布 対 何 分布 条件 置 →多項分布 Dirichlet 分布 共役性 ? 近似事後分布 形 仮定 , 推 定 方法 ? LDA 共役性 用 , 必要 @ksmzn 第 3 章 変分近似法 July 30, 2015 24 / 43
- 25. 目次 1 3.3.4 LDA 変分 法 (準備) 2 3.3.5 LDA 変分 法 (1) 3 3.3.6 LDA 変分 法 (2) 4 3.3.7 LDA 変分 法 (3) 5 3.3.8 LDA 周辺化変分 法 6 References @ksmzn 第 3 章 変分近似法 July 30, 2015 25 / 43
- 26. ? 点推定 ? 原論文 , ? 点推定 行 ? 変分下限 ? 関 部分 抜 出 , q ( ?k,v ) ?k,v 微分 求 . @ksmzn 第 3 章 変分近似法 July 30, 2015 26 / 43
- 27. 目次 1 3.3.4 LDA 変分 法 (準備) 2 3.3.5 LDA 変分 法 (1) 3 3.3.6 LDA 変分 法 (2) 4 3.3.7 LDA 変分 法 (3) 5 3.3.8 LDA 周辺化変分 法 6 References @ksmzn 第 3 章 変分近似法 July 30, 2015 27 / 43
- 28. 周辺化変分 法 (CVB) 周辺化変分 法 Collapsed Variational Bayes (CVB) 周辺化 同様 , θd ?k 周 辺化（積分消去） , 近似事後分布 q (z) 求 . q (z) 因子分解仮定 . q (z) = M∏ d=1 nd∏ i=1 q ( zd,i ) θ, ? z 依存関係 保持 学習 @ksmzn 第 3 章 変分近似法 July 30, 2015 28 / 43
- 29. CVB 変分下限 導出 基本的 変分 法 同様 1. 周辺化 確率変数 z 結合分布 積分形 表示 2. 変分事後分布 分子分母 形 導 入 3. 不等式 下限 求 log p (w | α, β) = log ∑ z p (w, z | α, β) = log ∑ z q (z) p (w, z | α, β) q (z) ≥ ∑ z q (z) log p (w, z | α, β) q (z) ≡ FCVB [ q (z) ] @ksmzn 第 3 章 変分近似法 July 30, 2015 29 / 43
- 30. VB 変分下限 CVB 変分下限 変分 法 (VB) 変分下限 CVB 変分下限 次 関係 成 立 . F [ q (z, θ, θ) ] ≤ FCVB [ q (z) ] CVB , VB 既 大 変分下限 最大化 , 効率的 . →学習 必要 反復回数 少 済 ！ @ksmzn 第 3 章 変分近似法 July 30, 2015 30 / 43
- 31. 変分下限 最大化 周辺化変分 法 , 以下 最適化問題 解 q? (z) = argmax q(z) FCVB [ q (z) ] @ksmzn 第 3 章 変分近似法 July 30, 2015 31 / 43
- 32. 変分下限 最大化 VB 同様 , FCVB [ q (z) ] = ∑ z q (z) log p (w, z | α, β) q (z) = ∑ z q ( zd,i ) q ( zd,i ) log p ( wd,i, zd,i | wd,i , zd,i , α, β ) p ( wd,i , zd,i | α, β ) q ( zd,i ) q ( zd,i ) , q ( zd,i ) 関係 項 抜 出 ?FCVB [ q ( zd,i )] = ∑ z q ( zd,i ) q ( zd,i ) log p ( wd,i, zd,i | wd,i , zd,i , α, β ) q ( zd,i ) @ksmzn 第 3 章 変分近似法 July 30, 2015 32 / 43
- 33. CVB 用 統計量 (P55) nd,k nd,k = ∑nd i=1 δ ( zd,i = k ) 文書 d k 現 回数 nk,v nk,v = ∑M d=1 ∑nd i=1 δ ( wd,i = v, zd,i = k ) 全文書 , k 単語 v 対 推定 回数 @ksmzn 第 3 章 変分近似法 July 30, 2015 33 / 43
- 34. CVB 用 統計量 p ( wd,i = v, zd,i = k | wd,i , zd,i , α, β ) = p ( wd,i = v | zd,i = k, wd,i , zd,i , β ) p ( zd,i = k | zd,i , α ) = nd,i k,v + βv nd,i k,. + β. × nd,i d,k + αk nd,i d,. + α. (Dirichlet 分布 期待値計算 , 式 (2.10) 参照) @ksmzn 第 3 章 変分近似法 July 30, 2015 34 / 43
- 35. q ( zd,i = k ) 求 変分下限 ?FCVB [ q ( zd,i )] , q ( zd,i = k ) 微分 0 , q ( zd,i = k ) 解 , q ( zd,i = k ) ∝ exp ? ??????? ∑ z q ( zd,i ) log p ( wd,i, zd,i | wd,i , zd,i , α, β ) ? ??????? = exp Eq(zd,i ) [ log p ( wd,i, zd,i | wd,i , zd,i , α, β )] ∝ exp Eq(zd,i ) ? ???????log nd,i k,v + βv nd,i k,. + β. ( nd,i d,k + αk ) ? ??????? = exp Eq(zd,i ) [ log nd,i k,v + βv ] exp Eq(zd,i ) [∑V v′=1 log nd,i k,v′ + β′ v ]exp Eq(zd,i ) [ log ( nd,i d,k + αk )] @ksmzn 第 3 章 変分近似法 July 30, 2015 35 / 43
- 36. 展開 近似 前 式 期待値部分 解析的 計算 , 展開 近似 行 . 展開 対数関数 a 周 2 次 展開 , log x ≈ log a + 1 a (x ? a) ? 1 2a2 (x ? a)2 @ksmzn 第 3 章 変分近似法 July 30, 2015 36 / 43
- 37. 展開 近似 a = E [x] , E [ log x ] ≈ log E [x] + V [x] 2E [x]2 , nd,i d,k + αk 周 展開 近似 , E [ log ( nd,i d,k + αk )] ≈ log ( E [ nd,i d,k ] + αk ) ? V [ nd,i d,k ] 2 ( E [ nd,i d,k ] + αk )2 @ksmzn 第 3 章 変分近似法 July 30, 2015 37 / 43
- 38. 展開 近似 , E [ nd,i d,k ] = ∑ i′ i q ( zd,i′ = k ) V [ nd,i d,k ] = ∑ i′ i q ( zd,i′ = k ) ( 1 ? q ( zd,i′ = k )) E [ nd,i k,v ] = M∑ d=1 ∑ i′ q ( zd,i′ = k ) I ( wd,i′ = k ) E [ nd,i k,. ] = V∑ v=1 E [ nd,i k,v ] V [ nd,i k,v ] = M∑ d=1 ∑ i′ q ( zd,i′ = k ) ( 1 ? q ( zd,i′ = k )) I ( wd,i′ = k )2 V [ nd,i k,. ] = V∑ v=1 V [ nd,i k,v ] 用 , @ksmzn 第 3 章 変分近似法 July 30, 2015 38 / 43
- 39. 展開 近似 近似 , q ( zd,i = k ) ∝ E [ nd,i k,v ] + βv ∑V v′=1 E [ nd,i k,v′ ] + β′ v E [ nd,i d,k ] + αk × exp ? ????????? ? V [ nd,i k,v ] 2 ( E [ nd,i k,v ] + βv )2 ? V [ nd,i d,k ] 2 ( E [ nd,i d,k ] + αk )2 ? ????????? × exp ? ????????? V [ nd,i k,. ] 2 (∑V v=1 E [ nd,i k,v′ ] + βv′ )2 ? ????????? @ksmzn 第 3 章 変分近似法 July 30, 2015 39 / 43
- 40. CVB0 ? LDA , 2 次近似 , 0 次近似 方 予測性能 良 知 (CVB0). q ( zd,i = k ) ∝ E [ nd,i k,v ] + βv ∑V v′=1 E [ nd,i k,v′ ] + β′ v E [ nd,i d,k ] + αk ? 以外 (計算 等) 同等 , LDA 2 次近似 使 理由 ( ?) ? 詳細 , 著者 佐藤先生 論文 . @ksmzn 第 3 章 変分近似法 July 30, 2015 40 / 43
- 41. 1. LDA 変分 法 適用 2. LDA 周辺化変分 法 適用 3. 0 次近似 (CVB0) 方 2 次近似 汎化能力 高 @ksmzn 第 3 章 変分近似法 July 30, 2015 41 / 43
- 42. References [1] 佐藤一誠 (2015) 『 統計的潜 在意味解析』 (自然言語処理 ) 社 [2] 岩田具治 (2015) 『 』(機械学習 ), [3] CVB0 ！ - Bag of ML Words http://dr-kayai.hatenablog.com/entry/ 2013/12/22/003011 @ksmzn 第 3 章 変分近似法 July 30, 2015 42 / 43
- 43. 清聴 . @ksmzn 第 3 章 変分近似法 July 30, 2015 43 / 43