20160611 pymc3-latent
?
1 like?886 views
Google I/O Extended 報告会 2016 in 関西のLTで使用したスライドです。
![28 x 28 = 784次元
[Kingma and Welling 2014]
784次元
2次元
エンコーダ
MLP
デコーダ
MLP
? X -> （エンコード） -> Z -> （デコード） -> X’
? XとZ：確率変数（Xは既知の画像、Zは未知の潜在表現）
? X’がXと近い?Zは画像の情報を保持している！
‘](https://image.slidesharecdn.com/20160611-pymc3-latent-160611234540/85/20160611-pymc3-latent-4-320.jpg)
![? トピックモデル：文書をトピックの確率的な合
成で表現する確率モデル。
? トピック：テーマに沿った単語の確率分布。
https://www.cs.princeton.edu/~blei/topicmodeling.html
[Blei et al., 2003]
遺伝
生物
神経
IT](https://image.slidesharecdn.com/20160611-pymc3-latent-160611234540/85/20160611-pymc3-latent-7-320.jpg)
![各文書のトピックの分布
各トピックの単語の分布
各文書の単語の分布
? 各文書の潜在表現
? PyMC3で（上記のような）確率モデルを記述す
ると、自動的に未知変数（トピック分布と単語
分布）が推定されます。
– 推定方法：自動微分変分ベイズ（ADVI;
[Kucukelbir et al., 2015]）
? 多くの場合で実用的な精度、かつ（MCMCと比べて）高
速](https://image.slidesharecdn.com/20160611-pymc3-latent-160611234540/85/20160611-pymc3-latent-11-320.jpg)
20160611 pymc3-latent
- 2. ? 言いたいこと：PyMC3を使うと確率モデルに基 づくデータの潜在表現を自動的に推定できま す。 ? PyMC3：ベイズ推定を自動的に実行できる Pythonのライブラリ ? 本発表で扱う确率モデルの例：トピックモデル
- 3. ? 言いたいこと：PyMC3を使うと確率モデルに基 づくデータの潜在表現を自動的に推定できま す。 ? PyMC3：ベイズ推定を自動的に実行できる Pythonのライブラリ ? 本発表で扱う确率モデルの例：トピックモデル
- 4. 28 x 28 = 784次元 [Kingma and Welling 2014] 784次元 2次元 エンコーダ MLP デコーダ MLP ? X -> （エンコード） -> Z -> （デコード） -> X’ ? XとZ：確率変数（Xは既知の画像、Zは未知の潜在表現） ? X’がXと近い?Zは画像の情報を保持している！ ‘
- 6. ? 言いたいこと：PyMC3を使うと確率モデルに基 づくデータの潜在表現を自動的に推定できま す。 ? PyMC3：ベイズ推定を自動的に実行できる Pythonのライブラリ ? 本発表で扱う确率モデルの例：トピックモデル
- 7. ? トピックモデル：文書をトピックの確率的な合 成で表現する確率モデル。 ? トピック：テーマに沿った単語の確率分布。 https://www.cs.princeton.edu/~blei/topicmodeling.html [Blei et al., 2003] 遺伝 生物 神経 IT
- 10. ? 言いたいこと：PyMC3を使うと確率モデルに基 づくデータの潜在表現を自動的に推定できま す。 ? PyMC3：ベイズ推定を自動的に実行できる Pythonのライブラリ ? 本発表で扱う确率モデルの例：トピックモデル
- 11. 各文書のトピックの分布 各トピックの単語の分布 各文書の単語の分布 ? 各文書の潜在表現 ? PyMC3で（上記のような）確率モデルを記述す ると、自動的に未知変数（トピック分布と単語 分布）が推定されます。 – 推定方法：自動微分変分ベイズ（ADVI; [Kucukelbir et al., 2015]） ? 多くの場合で実用的な精度、かつ（MCMCと比べて）高 速
- 13. Evidence Lower Bound (ELBO) 変分ベイズの目的関数 Topic #0: york mr year years wm pl st won working ma Topic #1: 00 10 new 25 12 20 15 16 30 edu Topic #2: year team game play win games players season hockey league Topic #3: god jesus people does believe word christian say think bible Topic #4: don think just like know people right going ve say Topic #5: key chip use encryption clipper government keys security law public Topic #6: edu space use program available information file com mail ftp Topic #7: people government years state said armenian gun armenians war world Topic #8: car good like new used work just years use power Topic #9: windows thanks drive use does dos card problem scsi using
- 14. ? 現時点ではエンコーダ部分はPyMC3にマージ されていません（ADVIは実装済みです）。 ? ドキュメントとテストを書いてからPRを送る予 定です（できれば今月中）。 – https://github.com/pymc-devs/pymc3 ご清聴ありがとうございました。