狠狠撸

PYDATA TOKYO
2015-05-22
LDA IN PYTHON
1
Wednesday, June 3, 15

WHO
? バクフー株式会社?柏野雄太
? 大規模リアルタイムデータのPPPP (P4)
? preprocess /process /persistence /providing

WHAT IS LDA
? Latent Dirichlet Allocation
? 文章群から教師なしで「トピック」を探し出す
? トピック：複数単語のまとまり
? トピックは単語の分布関数を持つ
? 文章はトピックの分布関数を持つ
w
w
w
w
w
w
w1 w2 w3 w4
k
k1
トピック毎単語分布
z1 z2 z3
w
w
w
w
w
w
z1
z2
?d
ドキュメント毎トピック分布

WHAT IS LDA
? グラフィカルモデル
?d zd,i wd,i k
N K
M
zd,i ? Multi(?d)
wd,i ? Multi( zd,i
) k ? Dirichlet( )
?
?d ? Dirichlet(?)
z1 z2 z3
w
w
w
w
w
w
w
w
w
w
z1
z2
?d
w
w
w
w
w
w
w1 w2 w3 w4
k
k1

WHAT IS LDA
? 何をするの？
w1 w2
w3 w4
w5 w6
w7 w8...
LDA
w
w
w
w
w
w
w
w
w
w
w
w w
w
w
w
w
w
w
w
w
w
w w
w
w
w
w w
w
w
w
w
w
w
w
w
w
w1 w2 w3 w4
k
k1
k2
k1
k3k4
z1 z2 z3
w
w
w
w
w
w
w
w
w
w
w
z1
z2
?d
単語をトピック別にクラスタリング
ドキュメント群

WHAT IS LDA
? パイプライン
w1 w2
w3 w4
w5 w6
w7 w8...
LDA
w
w
w
w
w
w
w
w
w
w
w
w w
w
w
w
w
w
w
w
w
w
w w
w
w
w
w w
w
w
w
w
w
w
w
w
w
w1 w2 w3 w4
k
k1
k2
k1
k3k4
z1 z2 z3
w
w
w
w
w
w
w
w
w
w
w
z1
z2
?d
単語をトピック別にクラスタリング
ドキュメント群
tokenize vectorizing modeling
word
dictionary
corpus BoW
Variational
Bayes
Gibbs
sampling
word id: word
1: 政治
2: 自民
3: 総理
[(word id, freq)…]
[(1, 2), (3, 2), …]
[(1, 19), (4, 1), …]
...

LDA IN PYTHON 1/7
? lda-c Blei et al. 2003
? https://www.cs.princeton.edu/~blei/lda-c/
index.html
? 実装: C
? モデル: 変分ベイズ
? 全ての始まり?コーパス固定/辞書固定

LDA IN PYTHON 2/7
? onlineldavb.py Hoffman et al. 2010
? http://www.cs.princeton.edu/~blei/
downloads/onlineldavb.tar
? model: 変分ベイズEM
? オンラインLDA
? メモリ効率はいいが，遅い．

LDA IN PYTHON 3/7
? gensim
? http://radimrehurek.com/gensim/
? Hoffman+のpython版オンラインLDAをラッピン
グ, LSIも実装している
? Pyroによる分散処理が可能
? 基本遅い．辞書?コーパスを更新できない

LDA IN PYTHON 4/7
? Vowpal_Wabbit /w pyvw
? Hoffman自身がonlineldavb.pyをC++で実装
? 激速い
? pyvw経由でpythonから使える
? ただin/outのファイルが特殊

LDA IN PYTHON 5/7
? lda
? http://pythonhosted.org/lda/
? scikit-learnライクなインタフェース
? collapsed Gibbsサンプリング
? 野良LDA的…

LDA IN PYTHON 6/7
? dato graphlab
? https://dato.com/products/create/docs/
generated/graphlab.topic_model.create.html
? C++ /w pythonインタフェース
? collapesed Gibbsサンプリング
? graphlabの仕組みで並列化できる

LDA IN PYTHON 7/7
? 大量の野良実装
? 自分も辞書?コーパスを更新できるオンラインLDA
を実装
? https://bitbucket.org/yutakashino/nhkssf4w/
src/cd1ffc7f46ce/streamlda/?at=master

LDA IN X
? MALLET (Java): 階層LDAもある
? Stanford Topic Modeling Toolbox (scala): LDA
and Labeled LDA, Excelから使える
? Wang&Blei 2009 class-slda (c++)
? GibbsLDA ++ (c++)
? Multithreaded LDA (c)
? ...

狠狠撸

PyDataTokyo201-05-22

More Related Content

PyDataTokyo201-05-22