狠狠撸

第1章統計的潜在意味解析
第 1 回「統計的潜在意味解析」
読書会
@ksmzn
会場:株式会社 ALBERT 西新宿
June 4, 2015
@ksmzn 第 1 章統計的潜在意味解析 June 4, 2015 1 / 34

自己紹介
Koshi @ksmzn
某大学 M2 → 社会人一年目
法研究
SQL 日々

https://speakerdeck.com/yamano357/tokyowebmining46th
先日 TokyoWebmining 資料参考
、見！！

目次
1 1.1 潜在的意味? 潜在的共起性
2 1.2 潜在意味解析歴史
3 1.4 確率的潜在変数
4 1.5 確率的生成

潜在的意味? 潜在的共起性
潜在的意味
? 「音楽」「」単語無
、単語群見想起
? 複数単語共起性創発情報
? 潜在的意味呼
→「単語共起性数学的化？」

潜在意味解析歴史
? 行列分解 (1988)
Latent Semantic Indexing/Analysis (LSI/LSA)
? 確率 (1998)
Probabilistic LSI/LSA (PLSI/PLSA)
? 階層 (2003)
Latent Dirichlet Allocation (LDA)
? 拡張多数 (2004 )
? 大規模高速化 (2007)

特異値分解
特異値分解
? 単語文書行列 X 3 行列分解
X =US VT
? U, S, V 各列特異値大順 K
個用、 ?U, ?S , ?V 作、 K 低
近似行列 ?X 得
?X = ?U ?S ?VT

特異値分解

特異値分解潜在意味解析
文書含単語抽出、頻度
単語文書行列 X 作成
? 「car」検索、文書 1 発見
? 「automobile」、文書 2 発見
→単語持潜在的意味考
→特異値分解

特異値分解結果
文書 1?2 、「car」「automobile」頻度 0
！
→「drive」共起性、潜在的意味抽出

?V 情報
各列、複数単語共起性表。
→潜在

?U 情報
各列、文書共起性表
。
→間接的、文書単語共起性抽出

LSI 問題点
? ?U, ?S 解釈難
? 特異値分解性質、軸互
直交、対非常強制約
→ PLSI, 階層 , etc...

確率的潜在変数
確率的潜在変数
1
観測潜在変数仮定数理
2
潜在変数推定、間
類似性意味解析

例：間類似性
? x = {x1, x2, . . . , xn} : 観測変数
? z = {z1, z2, . . . , zn} : 潜在変数
? ? = {?1, ?2, . . . , ?K} :
類似表確率変数
z1 = z2 = k ?
x1 x2 ?k 意味類似

確率的生成
確率的生成
生成過程確率表現数理
確率的生成視覚的表現

生成過程
確率変数 xi(x = 1, . . . , n) 確率分布 p(xi|?) 従
,
xi ～ p(xi|?) (i = 1, . . . , n)
記述。
↓
確率変数 xi 値 , 確率分布 p(xi|?) 生成
示。

考
K 個目出 n 回振出目
生成考

? 確率変数間条件付依存構造表現
? 生成 π zi 関係
以下表

定理条件付独立性
、定理条件付独立
性同時確率展開役立。
定理
p (x|y) =
p (y|x) p (x)
p (y)
条件付独立性
z 与下 x y 条件付確率分布 p(x|z), p(y|z)
, (x, y) 条件付同時分布 p(x, y|z) 。
、 x, y 対 p(x, y|z) = p(x|z)p(y|z) 成立
、「z 与下 x y 条件付独立」、
x y|z 表

tail-to-tail型
tail-to-tail 型
条件付独立性:a b|c
? p(a, b|c) = p(a|c)p(b|c)
対応同時分布
p(a, b, c) = p(a|c)p(b|c)p(c)

head-to-tail型
head-to-tail 型
条件付独立性:a b|c
? p(a, b|c) = p(a|c)p(b|c)
対応同時分布
p(a, b, c) = p(b|c)p(c|a)p(a)

生成同時分布
同時分布 p(x, z, π, ?, η) 展開
? π 生成確率 p(π)
? η 生成確率 p(η)
? π 与下 z
tail-to-tail 型、
p(z|π) =
n∏
i=1
p(zi|π)
? η 与下 ?
tail-to-tail 型、
p(?|η) =
K∏
k=1
p(?k|η)

生成条件付分布1
条件付分布 p(z|x, π, ?, η) 計算
? π x z 繋
依存関係
? x 与、
? z 対独立
(head-to-head 型)
? ? 与、
η x 条件付独立
(head-to-tail 型)。従、
η z 条件付独立
? 、
p(z|x, π, ?, η) = p(z|x, π, ?)

生成条件付分布2
条件付分布 p(?|x, π, z, η) 計算
? η x ? 繋
依存関係
? x 与、
? z 対独立
(head-to-head 型)
? z 与、
π x 条件付独立
(head-to-tail 型)。従、
π ? 条件付独立
? 、
p(?|x, z, π, η) = p(?|x, z, η)

1. 潜在的意味呼
2. 特異値分解行、文書潜在的意味解析
3. 書、同時分布展
開容易

清聴 .

狠狠撸

「トピックモデルによる統計的潜在意味解析」読書会「第1章統計的潜在意味解析とは」

More Related Content

「トピックモデルによる統計的潜在意味解析」読書会「第1章統計的潜在意味解析とは」

狠狠撸

「トピックモデルによる統計的潜在意味解析」読書会「第1章 統計的潜在意味解析とは」

More Related Content

「トピックモデルによる統計的潜在意味解析」読書会「第1章 統計的潜在意味解析とは」

「トピックモデルによる統計的潜在意味解析」読書会「第1章統計的潜在意味解析とは」

「トピックモデルによる統計的潜在意味解析」読書会「第1章統計的潜在意味解析とは」