狠狠撸

第5章時系列
補助情報考慮
第 7 回「統計的潜在意味解析」
読書会
@ksmzn
会場:株式会社 ALBERT 西新宿
December 17, 2015
@ksmzn 第 5 章時系列補助情報考慮 December 17, 2015 1 / 39

自己紹介
Koshi @ksmzn
分析仕事。
法研究
最近 Python

目次
1 5.3.1
2 5.3.2 基礎
3 5.3.3 学習
4 DTM
5 5.4 補助情報考慮
6 References

目次
1 5.3.1
2 5.3.2 基礎
3 5.3.3 学習
4 DTM
6 References

必要要件
? 対象性質
? 時系列的変化
? 時間的近接文書集合
類似共有
? 情報抽出
? 各単語出現確率 ?k 変化
例：
? 記事考
? 十年前政治今年政治
変化

DTM
? Dynamic Topic Model (Blei [2008])
? LDA 状態空間組合
? 各時刻 k 単語分布 ?(1:T)
k 考
?(1:T)
k =
(
?(1)
k , ?(2)
k , . . . , ?(T)
k
)
? 時刻 t t ? 1 間依存関係仮定
? ?(t)
k ～ N
(
?(t?1)
k , σ2
I
)
生成、
確率化 ?(t)
k

DTM

目次
1 5.3.1
2 5.3.2 基礎
3 5.3.3 学習
4 DTM
6 References

章
? 状態空間、全条件付分布、
対角行列分散持正規分布証明
? 事前分布事後分布間 KL 情報量計算
? 事後分布情報計算

状態空間
y(t)
～ N
(
x(t)
, ρ2
I
)
, x(t)
～ N
(
x(t?1)
, σ2
I
)
隠状態推定値、?x(t)
考

事後確率期待値求
? 観測 y(1:T)
与下条件付平均二乗誤
差最小 ?x(t)
、本書 (5.44) 式
?x(t)
= E[x(t)
|y(1:T)
]
? 、観測 y(1:T)
与下、
隠状態 x(t)
事後確率 p
(
x(t)
|y(1:T)
)
推定、
期待値求

事後確率変形
先式 t 減向再帰的構造
、p
(
x(T)
|y(1:T)
, σ2
, ρ2
)
正規分布、
p
(
x(t)
|y(1:T)
, σ2
, ρ2
)
正規分布。

目次
1 5.3.1
2 5.3.2 基礎
3 5.3.3 学習
4 DTM
6 References

再掲：DTM

LDA+状態空間
? 各時刻 k 単語分布 ?(1:T)
k
?(t)
k,v =
exp
(
?k,v
(t)
)
∑V
v′=1 exp
(
?(t)
k,v′
), ?(t)
k ～ N
(
?(t?1)
k , σ2
I
)
? 単語、、分布、
w(t)
d,i ～ Multi
(
?(t)
d
)
, z(t)
d,i ～ Multi
(
θ(t)
d
)
, θ(t)
d ～ Dir
(
α(t)
)

変分法
目的
? KL[q (z, θ, ?) || p (z, θ, ? | w, α, β)] 最小
q (z, θ, ?) 求 .
手法
? 対数周辺尤度 log p (w | α, β) 変分下限
F[q (z, θ, ?)] 求、最大 q (z, θ, ?)
変分法求 .
? q (z, θ, ?) 対因子分解仮定 , q (z), q (θ),
q (?) 順繰返更新 .

DTM 近似事後分布
、近似事後分布以下仮定
q
(
?(1:T)
, θ(1:T)
, z(1:T)
)
=
K∏
k=1
q
(
?(1:T)
k
) T∏
t=1
M(t)
∏
d=1
q
(
θ(t)
d
)
q
(
z(t)
d
)
? μ 時系列関係壊仮定
? 、仮定
、学章最大
（気）

q
(
?(1:T)
k
)
導出
? 仮想的観測 ??(1:T)
k 。
? 値大小現実現象何表 …
。仮想的？
? ??(1:T)
k 選、変分下限最大

q
(
?(1:T)
k
)
導出
??(1:T)
k 導入、q
(
?(t)
k
)
以下
q
(
?(t)
k |??(1:T)
k
)
= N
(
?(t)
k | ?m(t)
k , ?ν(t)2
k I
)
、??(1:T)
k 値推定

変分下限導出
p207-208 、変分下限
logp
(
w(1:T)
)
≥ ?F
[
q
(
?(1:T)
)]
+
(
q
(
θ(t)
d
)
q
(
z(t)
d
)
関係項
)
≥ ?L
[
q
(
?(1:T)
)]
+
(
q
(
θ(t)
d
)
q
(
z(t)
d
)
関係項
)
、(具体的式本書参照)
?L
[
q
(
?(1:T)
)]
最大 q
(
?(t)
k |??(1:T)
k
)
求。
q
(
θ(t)
d
)
, q
(
z(t)
d
)
関解析的求。

目次
1 5.3.1
2 5.3.2 基礎
3 5.3.3 学習
4 DTM
6 References

DTM 何
Science 解析
? 1881～1999 年 120 年間 15955 単語
? 20 時系列変化考
? 「」単語変化

他記事
「太宰治文学変化 Topic Model 分析
」
? 太宰治私生活変化、時系列変化
連動
? 公開？
「用 Web小説
?流行分析」
? 各流行廃変化推察
? 「異世界転生」人気急上昇

DTM
? R 見当。
? gensim
https:
//radimrehurek.com/gensim/models/dtmmodel.html
? Sean M Gerrish C++実装
https://code.google.com/p/
princeton-statistical-learning/downloads/detail?
name=dtm_release-0.8.tgz
? berobero11 Stan 例
http:
//heartruptcy.blog.fc2.com/blog-entry-138.html

目次
1 5.3.1
2 5.3.2 基礎
3 5.3.3 学習
4 DTM
6 References

補助情報考慮
補助情報
? 分析対象付加情報
? 論文場合、著者情報?参照文献
? 購入履歴場合、属性
? 情報推定役立！
要件
1. 文書付加補助情報推定
用
2. 補助情報関係明示的抽出

補助情報 LDA 組込
文書- 分布θd 補助情報
? θd ～ Dir (α) 補助情報入
? α 補助情報、文書変化
補助情報
? 補助情報 xd =
(
xd,1, xd,2, . . . , xd,C
)
? 著者名補助情報、C 文書全体著
者数
? 文書 d 著者 a 名前場合、xd = 1,
場合 xd = 0
? xd 用 αk 文書変化

補助情報 LDA 組込
Mimno 方法
? 「αk xd 関数」
? 線形回帰 f (xd) = λT
k xd
? λk 要素、寄与情報重要度
? Dirichlet 分布、
αk = exp
(
λT
k xd
)
Dirichlet多項回帰
λk ～ N
(
0, σ2
I
)
θd ～ Dir
(
exp
(
λT
1 xd
)
, exp
(
λT
2 xd
)
, . . . , exp
(
λT
k xd
))

学習
? 周辺化用、zd,i
? 基本的 αk exp
(
λT
k xd
)
置換
? z 与上、勾配法用 λ 対数尤
度最大化

論文著者情報組込例

References
[1] 佐藤一誠 (2015) 『統計的潜在意味解析』 (自然言語処理 )
社
[2] Blei, D.M. and Lafferty, J.D. (2006) Dynamic Topic Models. Proceedings of the 23rd
international Conference on Machine Learning. 113-120.
[3] Mimno, D.M. and McCallum, A. (2008) Topic Models Conditioned on Arbitrary Features with
Dirichlet-multinomial Regression. in UAI. 411-418.
[4] 太宰治文学変化 Topic Model 分析 - NAOKI ORII’S BLOG
http://mrorii.github.io/blog/2013/12/27/
analyzing-dazai-osamu-literature-using-topic-models/
[5] 用 Web 小説 ?流行分析 - #kichi-memo
http://seikichi.hatenablog.com/entry/2013/04/29/013608

清聴 .

狠狠撸

第5章時系列データのモデリング, 補助情報を考慮したモデリング

More Related Content

第5章時系列データのモデリング, 補助情報を考慮したモデリング

狠狠撸

第5章 時系列データのモデリング, 補助情報を考慮したモデリング

More Related Content

第5章 時系列データのモデリング, 補助情報を考慮したモデリング

第5章時系列データのモデリング, 補助情報を考慮したモデリング

第5章時系列データのモデリング, 補助情報を考慮したモデリング