![混合ガウス分布：変分下限の各項（2）
? 変分下限の各項を展開する
- H[q(Λk)] はウィシャート分布のエントロピー
- 分布 q の対数の期待値を含む項は、
-∫q(Z) ln q(Z) dZ という形をしており
単にそれらの分布の負のエントロピーを表す
- 理解を容易にするよう別々の項として記述されており、
足し合わせてこれらの項を簡単にしたりまとめたりできる
#TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 18](https://image.slidesharecdn.com/infernetwk77110613-1523-110613012710-phpapp01/85/Infer-net-wk77_110613-1523-18-320.jpg)
![導出された分解を有向分離により見つける (1)
? 導出された分解は、有向分離 (§ 8.2.2, pp.90-91)
に基づくグラフィカルなテストで簡単に見つけられる
- 潜在変数を 3 つの別々なグループ A, B ,C に分け、
C と残りの項が分解されると仮定する
- 一般的な結果
および確率の乗法定理を用いると、q(A, B)の最適解は
? EC[ln p(X,C)] は A, B に依存せず正規化定数に含まれる
#TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 23](https://image.slidesharecdn.com/infernetwk77110613-1523-110613012710-phpapp01/85/Infer-net-wk77_110613-1523-23-320.jpg)
More Related Content
What's hot (20)
Similar to Infer net wk77_110613-1523 (20)
Recently uploaded (11)
Infer net wk77_110613-1523
- 1. #TokyoWebmining Infer.NET でグラフィカルモデルを計算する C. M. Bishop: “Pattern Recognition and Machine Learning”, Springer (2006) “Infer.NET 2.4β User Guide and Code Documentation (Infer.chm)”, Microsoft の内容紹介 Twitter: @wk77 #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 1
- 2. なぜグラフィカルモデルを計算するのか ? 現代的な手法によって機械学習を実現するには、 現実の現象を確率を用いて表現することが有用である - 観測データから、それを生成する真の確率分布を推論する - 分類、予測、回帰といったどのような複雑なタスクでも、 確率モデルによって表現されている限り、確率の計算、 すなわち和と積の適用の繰返しで計算できる ? 確率的グラフィカルモデルによる表現 - 学習のタスクや観測データの確率モデルを、図で表現する - シンプルな記述なので、確率変数間の関係が理解しやすく 新しい確率モデルの設計も容易となる - 変分近似(後述)でも役立つ、条件つき独立性という性質を、 グラフの構造自体を精査するだけで得ることができる #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 2
- 3. ある同時分布を様々なグラフにより表現する A B A B A B A B C C C C D E D E D E D E 有向グラフ 無向グラフ 因子グラフ ハイパグラフ - 有向グラフ：条件つき分布の積による表現を意識し、対応関係を矢印で表す ? p(A, B, C, D, E) = p(A) p(B) p(C|A, B) p(D|C) p(E|C) - 無向グラフ：独立でない確率変数同士をエッジで結合したもの ? p(A, B, C, D, E) = p(A, B, C) p(C, D) p(C, E) - 因子グラフ：因子（■で記述）への分解を表現する。様々な分解がありうる ? p(A, B, C, D, E) = f(A) f(B) f(A, B, C) f(C, D) f(C, E) - ハイパグラフ：結合分布部分をハイパエッジで表現する。確率伝搬法で有用 ? p(A, B, C, D, E) = f(A, B, C) f(C, D) f(C, E) #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 3
- 4. ベイズの定理と推論 ? 事前分布 p(A) と条件つき分布 p(B|A) が既知のとき 観測データ B=b' から事後分布 p(A|B=b') を推論する - p(A)を、教授が御機嫌(A=1)か不機嫌(A=0)かの事前分布とする - p(B|A) を、教授の機嫌が決定した（条件づけ）ときの、 秘書が御機嫌(B=1)か不機嫌(B=0)かの条件つき分布とする ? 同時分布 p(A,B) = p(B|A)p(A) や 周辺分布 p(B) = p(A=1,B) + p(A=0,B) も既知となる - 秘書の機嫌を観測することで (B=b')、 教授の機嫌の事後分布 p(A|B=b') を推論できる ? 秘書が御機嫌と観測されたとき、教授が御機嫌な確率は p(A=1|B=1) = p(B=1|A=1)p(A=1) / p(B=1) - B が特定の値 b' でなく分布 p(B) であれば p(A|B) が求まる ? p(A|B) = p(B|A)p(A) / p(B) (p(A)とp(A|B)は別物！) #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 4
- 5. ベイズの定理とグラフィカルモデル A B p(A, B)=p(A)p(B|A) と分解可能である - A, B は確率変数で、p(A), p(B|A), p(A, B) の存在を表現する - p(A) と p(B|A) は任意の関数であり、未知でも良いが、 事前分布 p(A) と尤度関数 p(B|A) を与えれば p(A, B) も求まる - p(A, B) が周辺化できれば p(A) や p(B) も求まる A B p(A)p(B|A) で A が観測される - A=a' と観測 → p(A=a', B)=p(A=a')p(B|A=a') - A による条件づけ p(A=a', B)/p(A=a')=p(B|A=a') を表現する A B p(A)p(B|A) で B が観測される - B=b' と観測 → p(A), p(B|A) が既知なら、ベイズの定理で 事後分布 p(A|B=b') を推論でき、矢印反転して次のグラフになる A B p(A|B)p(B) で B が観測される - B=b' と観測 → p(A, B=b')/p(B=b')=p(A|B=b') で整合性がある #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 5
- 6. ベイズ多項式回帰をグラフで表現する（１） ? 目的変数 t を多項式 y(x, w) = ∑j wj xj で回帰する - p(t, w) = p(w) Πn p(tn|y(xn, w)) w:パラメータ x:入力変数 w tn w t1 tN N PRML本 fig 1.3 プレートによる表現 - ハイパパラメータ α, β と入力変数 xn を追記する xn α - p(t, w|x, α, β) = p(w|α) Πn p(tn|w, xn, β) - p(w|α) = N(w|0, α-1I) tn w β - p(tn|w, xn, β) = N N(tn|y(xn, w), β-1) #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 6
- 7. ベイズ多項式回帰をグラフで表現する（２） ? 事後分布 p(w|t) を推論し、最大確率となる w を決定する - 最大事後確率推定（MAP 推定）と呼ぶ tn w 事前分布 p(w) と尤度関数 Πn p(tn|w) は既知 p(t, w) = p(w) Πn p(tn|w) N tn w tn で条件づけると事後分布 p(w|t) が求まる p(w|t) ∝ p(w) Πn p(tn|w) N - 入力 xn は固定。最も尤もらしく t を表す w を最適化計算 - 対数尤度関数 ln Πn p(tn|w) = Σn ln N(tn|y(xn, w), β-1) ? w で微分すれば w が求まる ? w を固定して β で微分すれば β の点推定となる - 事前分布 p(w|α) の対数を加え最適化すれば正則化も可能 α は固定。データ数 n が増えると ln p(w|α) は相対的に小さくなる #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 7
- 8. 予測分布を表現するグラフィカルモデル（１） ? 学習が完了して w と β を推定したところで、 新たな入力 x が与えられたときに、 その未知の目標値 t を分布 p(t) として予測したい - p(t|w, x, β) は p(t|w, x, β) と同じ分布なので、 予測分布のグラフィカルモデルは左下図となる - α, β 固定で単純化し、ベイズの定理を反映したのが右下図 xn α xn tn w tn w N N x x β t t #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 8
- 9. 予測分布を表現するグラフィカルモデル（２） ? 前ページの右下図と同じグラフ tn w t xn x N - p(t|x, w)p(w|x, t) となっていることがわかる ? 求めたい予測分布は、上記で w を周辺化したもの p(t|x, x, t) = ∫ p(t|x, w) p(w|x, t) dw ? 先に述べた結果から、ベイズの定理によって p(t, w|x) = p(w) Πn p(tn|w, xn) ∴ p(w|x, t) ∝ p(w) Πn p(tn|w, xn) ? したがって予測分布は、次の式で与えられる p(t|x, x, t) ∝ ∫ p(t|x, w) p(w) Πn p(tn|w, xn) dw #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 9
- 10. ナイーブベイズによる分類 ? ナイーブベイズは、クラス分類のための一手法である - 観測変数は D 次元ベクトルで、観測値 x を K 個のクラスのうちの一つに対応させるとする - クラスに関する複数の項目が、独立に得られると仮定する p(x1, x2|Ck) = p(x1|Ck)p(x2|Ck) - x1 は離散変数、x2 は連続変数というように、 p(x1|Ck) と p(x2|Ck) のモデルが異なる種類のものでも良い - x1 と x2 の両方のデータが得られたときの事後確率は xi p(Ck|x1, x2) ∝ p(x1, x2|Ck)p(Ck) z ∝ p(x1|Ck)p(x2|Ck)p(Ck) D ∝ p(Ck|x1)p(Ck|x2) / p(Ck) - 事前確率 p(Ck) は、各クラスに含まれる データ点の個数から容易に推定可能 #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 10
- 11. 条件つき独立性 ? ３変数 a, b, c についての条件つき独立性 - c で条件づけられた a が、b と独立であると仮定する p(a|b,c) = p(a|c) - このとき、c で条件づけられた a と b の同時分布は、 p(a, b|c) = p(a|b, c)p(b|c) = p(a|c)p(b|c) となり、a の周辺分布と b の周辺分布の積に分解できる - このことを a || b | c と表す - c がどのような値でも、a と b が独立となることが重要 ? 「条件つき独立性の概念は重要である」(PRML 8.2) - パターン認識に用いる確率モデルを簡略化したり、 推論や学習に必要な計算を効率化する際に重要 - 変分ベイズ法や期待値伝搬法における近似の根拠 - 条件つき独立性がグラフの形から判定できることが利点 #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 11
- 12. ３つのグラフについて条件つき独立性を考える ? c が未観測: p(a,b)=Σc p(a,b,c)=p(a)p(b) なら独立 ? c が観測: p(a,b|c)=p(a|c)p(b|c) なら条件つき独立 ? tail-to-tail a c b a c b - p(a,b)= Σc p(a|c)p(b|c)p(c)≠p(a)p(b) 独立でない - p(a,b|c)=p(a,b,c)/p(c)=p(a|c)p(b|c) 条件つき独立 ? head-to-tail a c b a c b - p(a,b)=p(a) Σc p(c|a)p(b|c)=p(a)p(b|a) 独立でない - p(a,b|c)=p(a)p(c|a)p(b|c)/p(c)=p(a|c)p(b|c) 条件つき独立 ? head-to-head a c b a c b - p(a,b)= Σc p(a)p(b)p(c|a,b)=p(a)p(b) 独立 - p(a,b|c)=p(a)p(b)p(c|a,b)/p(c)≠p(a|c)p(b|c) 条件つき独立でない #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 12
- 13. 有向分離性（d-separation） ? tail-to-tail や head-to-tail となるノード c について 未観測時は独立でなく、観測時は条件つき独立となる - c の観測により、a と b を結ぶ経路が遮断されると言う ? head-to-head であるノード c か a b c c の子孫のノードが観測されると、 a と b は独立ではなくなる d - 左図の例では p(a,b|d) ≠ p(a|d)p(b|d) となる - 観測により、a と b の遮断が解かれると言う ? 重複しない、ノードの部分集合 A, B, C について、 A と B を結ぶ全ての経路が C で遮断 → A || B | C - パラメータや訓練データ入力値など、小さな円のノードは 観測済みノードと同様の振る舞いをし、影響を与えない #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 13
- 14. 有向分離性の性質 ? １変数ガウス分布で平均の事後分布を求める μ ? μ が与えられたとき、観測値は独立 - p(D|μ) = Πn p(xn|μ) - xi→μ→xj(≠i) の経路は tail-to-tail xn ? μ を潜在変数とみなし周辺化→観測値は非独立 N - p(D) = ∫p(D|μ)p(μ)dμ ≠ Πn p(xn) ? ベイズ線形回帰の予測分布について考える tn w t xn x N - w の観測で t と t を結ぶ全経路は遮断 → t || t | w - すなわち学習によって w を決定（＝観測）した後では t と t が独立なので、 t の分布の計算に t は必要ない - 学習の過程と、予測分布を求める過程とを分離できる #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 14
- 15. （参考）無向グラフと周辺化（確率伝搬法…） ? 確率変数同士に何らかの関係が存在する、 すなわち独立ではないとき、エッジで結んで表現する - A が a 個、B が b 個の状態をとり、表で表せる分布とする - A と B が独立ではない場合 A B p(A, B) ≠ p(A)p(B) ? p(A, B) を表すのに必要なパラメータ数は a × b - A と B が独立な場合 A B p(A, B) = p(A)p(B) ? p(A, B) を表すのに必要なパラメータ数は a + b ? ある変数についての周辺化を、次のように表す A B p(A) = ∑B p(A, B) A B p(B) = ∑A p(A, B) #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 15
- 16. 変分ベイズ法の更新則を求める（変分ＭＰ…） ? 混合ガウス分布の変分ベイズ法の更新則を求める - グラフィカルモデルの構成要素から、下限の式を得る - 下限の式を最適化すると、変分ベイズ法の更新則が求まる ? 混合ガウス分布の変分ベイズ法での、下限を求める - 1 行目は変分ベイズ法での下限の定義 ? 離散変数 Z は和をとり、連続変数 π, μ, Λ は積分する - 3 行目は混合ガウス分布のモデルと q の近似に基づく分解 - 分布 q の上付き添字 * と、期待値 E の下付き添字は省略 #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 16
- 17. 混合ガウス分布：変分下限の各項（1） ? 変分下限の各項を展開する - D は x の次元。C(α) は (B.23)、B(W, ν) は (B.79) で定義 #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 17
- 18. 混合ガウス分布：変分下限の各項（2） ? 変分下限の各項を展開する - H[q(Λk)] はウィシャート分布のエントロピー - 分布 q の対数の期待値を含む項は、 -∫q(Z) ln q(Z) dZ という形をしており 単にそれらの分布の負のエントロピーを表す - 理解を容易にするよう別々の項として記述されており、 足し合わせてこれらの項を簡単にしたりまとめたりできる #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 18
- 19. 変分下限の各項を展開する準備（1） ? 前述の混合ガウス分布の式から p を分解 - パラメータの事前分布に共役事前分布を用いることで、 事後分布の関数形が既知になり、計算が容易になる - 混合比 π の事前分布にはディリクレ分布を用いる - 混合要素の事前分布にはガウス-ウィシャート分布を用いる #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 19
- 20. 変分下限の各項を展開する準備（2） ? 変分近似の式 (10.42) と計算の結果から q を分解 - 混合ガウス分布の変分ベイズ法において、 実際に計算可能な解を得る上で必要な唯一の仮定 (10.42) - さらなる分解 (10.55) は、(10.9) を用いて実際に式を展開して、式 (10.54) を導くか、後述するグラフィカルなテストで確認できる #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 20
- 21. § 10.2.5 導出された分解 ? 混合ガウス分布の変分ベイズ法の更新式を導く過程で 変分事後分布を q(Z)q(π, μ, Λ) に分解できると仮定 ? しかし実際には、各因子の最適解はさらに分解される - 各観測値 (の添字) n について znk の和が 1 になるので、 k についてこれ以上は分解できないことに注意する ? 「導出された分解」(induced factorization) - 変分事後分布を分解する仮定と、 真の同時分布のもつ条件つき独立性の、 相互作用から導出されるので、こう呼ぶ - 図 10.5 の有向グラフが、真の分布の条件つき独立性を表す #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 21
- 22. 導出された分解を考慮する理由 ? 変分ベイズ法の数値解を求める実装を行う際には、 こうした導出された分解を考慮することが重要である ? ガウス分布の精度行列(共分散の逆行列)を例に考える - 求める最適な分布の精度行列が常に対角行列ならば、 各確率変数は独立であり、各変数について分解できる - この場合、精度行列を完全な形で保っておくことは、 対角成分だけを保存しておくことに比べて、 メモリの使用量も計算量も、極めて非効率的である #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 22
- 23. 導出された分解を有向分離により見つける (1) ? 導出された分解は、有向分離 (§ 8.2.2, pp.90-91) に基づくグラフィカルなテストで簡単に見つけられる - 潜在変数を 3 つの別々なグループ A, B ,C に分け、 C と残りの項が分解されると仮定する - 一般的な結果 および確率の乗法定理を用いると、q(A, B)の最適解は ? EC[ln p(X,C)] は A, B に依存せず正規化定数に含まれる #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 23
- 24. 導出された分解を有向分離により見つける (2) ? 前項の解が A と B に分解できるか、言い換えれば q*(A, B) = q*(A)q*(B) となるかどうかを確かめる ? ln p(A,B|X,C) = ln p(A|X,C) + ln p(B|X,C) となる場合だけ、つまり条件つき独立の関係 が満たされる時だけ、上記の分解が成立する ? この関係が本当に成り立っているかを確認するには、 A と B の全ての要素について、 グラフィカルモデル上で有向分離基準を適用する #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 24
- 25. ベイズ混合ガウス分布モデルについて確認する ? パラメータの変分事後分布 q(π, μ, Λ) が、 さらに q(π) と q(μ, Λ) に分けられることを 混合ガウス分布のグラフィカルモデルで確認する - C={zn}, A={π}, B={μ, Λ} として、 A と B をつなぎうる全ての経路が 遮断されているかどうかを確認する - 経路の各構成要素(3ノード)を見ていく - π→zn→xn の経路(全ての n)を見れば C について head-to-tail であるという p.91 の条件 (a) を zn が満たすので、 経路が遮断されていることがわかる ? したがって、 が成立する #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 25
- 26. 演習 10.16 (10.71)(10.72) を確かめる (1) ? 実際に下限の項を求める - (10.38) 式 の対数をとって、期待値を計算する #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 26
- 27. 演習 10.16 (10.71)(10.72) を確かめる (2) ? 期待値 の各項の計算は (10.64)(10.65) (演習10.14) ? 結果として次の式が得られる #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 27
- 28. 演習 10.16 (10.71)(10.72) を確かめる (3) ? 混合要素の変分事後分布と、 そのパラメータの定義を求める 演習 10.13 の結果に、 観測データの負担率から計算できる統計量を代入する #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 28
- 29. 演習 10.16 (10.71)(10.72) を確かめる (4) ? p(Z|π) に対応する変分下限の項について - 式 (10.37) の対数の期待値をとる - ディリクレ分布の標準的な性質（付録B）から 式 (10.66) から得られるので、ここでもそれを使えばよい #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 29
- 30. 混合ガウス分布の変分ベイズの再推定式 ? 変分下限を用いることで、10.2.1 節で得られた 変分ベイズ法の再推定式を、別の方法で求められる - モデルが共役事前分布を持っているため、 変分事後分布の関数形は既知である - Z は離散分布、π はディリクレ分布、 (μk, Λk) はガウス-ウィシャート分布 であることを利用する ? 変分下限をパラメータの関数として求め、式を微分し 最大化することで、変分ベイズの更新則を求める ? 手計算でもよいが、Infer.NET を使えば この面倒な過程を意識せず、自動で計算してくれる！ #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 30
- 31. Infer.NET の概要（Infer.chm より）(1) ? Infer.NET は、グラフィカルモデルにおいて ベイズ推論を行うためのフレームワークである - 最新のメッセージパッシングアルゴリズムと、 様々なアプリ内での推論に必要な統計ルーチンを提供する ? 強力なグラフィカルモデリング言語 - 連続と離散両方の、単変量変数と多変量変数をサポート - 算術演算子、線形代数、範囲変数と許容解の制約表現、 ブール演算、ディリクレ離散、ガウス過程、他多数の因子 ? 複数のベイズ推論アルゴリズム - 期待値伝搬法（Expectation Propagation。以下 EP と略） - 確率伝搬法（Belief Propagation。BP と略） - 変分メッセージパッシング（VMP。EM 法や変分ベイズ法） - ギブスサンプリング（MCMC の一手法） #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 31
- 32. Infer.NET の概要（Infer.chm より）(2) ? 大規模な推論のために設計されている - Infer.NET は高速な推論を実現するために、モデル記述を コンパイルして、推論を行うC#のソースコードを生成する - 必要に応じて変更を加え、素直にビルド＆デバッグできる - アプリ実行中に、モデルからの動的コード生成も可能 - 全ての条件つき分布が共役事前分布の構造を持つ 指数型分布族の形で書けるモデルで書ける場合（中略）、 変分ベイズ法の更新式は局所的な メッセージパッシングとして表せる（PRML本下巻 p.207） ? ユーザーによる拡張可能性 - 確率分布、因子、メッセージ操作、推論アルゴリズムを、 必要に応じてユーザーが追加しやすく設計されている - C#, VB, F#, IronPython, Mono などから利用可能 #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 32
- 33. Infer.NET 2.4β のダウンロードとインストール ? Infer.NET の公式サイトから、msi パッケージの ファイルをダウンロード＆実行し、インストールする - My DocumentsInfer.NET 2.4 以下に、一部のバイナリとサンプルプログラムが格納 - Program FilesMicrosoft ResearchInfer.NET 2.4 Beta 以下に、全てのバイナリ、ヘルプ文書、一部のソース ? バイナリは Infer.Compiler.dll, Infer.Runtime.dll, 他 ? スタートメニューからヘルプ文書を参照できる - “User Guide and Code Documentation” (Infer.chm) ? サンプルプログラムのソリューションファイルを Visual Studio で開いて実行する - 無料で使える Visual C# 2010 Express Edition で実行可 #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 33
- 34. Infer.NET 2.4β サンプルプログラム一覧 ? Tutorials - ２枚のコイン、切断されたガウシアン、 ガウシアン分布を学習する、ベイズポイントマシン、 クリニカルトライアル（医薬品の効果）、混合ガウス分布 ? Examples - 潜在的ディリクレ配分法 (LDA)。標準LDA。共通変数LDA - 多クラス分類。（疎な）ベイズポイントマシン - ガウス過程による分類 - クリックスルーモデル（実際的なモデルの利用） - クリックモデル - BUGS（MCMC 計算アプリ）の Rats example - 画像分類タスク - モンティ?ホール問題 #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 34
- 35. Infer.NET のコンポーネントとアーキテクチャ “Infer.NET 2.4β User Guide and Code Documentation (Infer.chm)” から転載 #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 35
- 36. Infer.NET の動作 “Infer.NET 2.4β User Guide and Code Documentation (Infer.chm)” から転載 - ユーザがモデルと推論クエリを与える ? モデルやクエリを得る API を利用する ? C# などによる、内部 DSL 相当の記述となる - モデルコンパイラが、推論の計算を行う C# ソースを生成 - C# コンパイラが、その C# ソースをコンパイルする - 推論エンジンのパラメータや、観測データを与える - 推論クエリにもとづき、値や分布が返される #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 36
- 37. Infer.NET で扱える分布の因子（１） ? 離散変数に関する分布 “Infer.NET 2.4β User Guide and Code Documentation (Infer.chm)” から転載 #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 37
- 38. Infer.NET で扱える分布の因子（２） ? 連続変数に関する分布 ? 多変量分布 “Infer.NET 2.4β User Guide and Code Documentation (Infer.chm)” から転載 #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 38
- 39. Infer.NET のファーストサンプルプログラム ? 実際の問題にどう適用できるかはこのあとで！ @tsubosaka 先生お願いします！＞＜ #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 39
- 40. 参考文献 ? C. M. Bishop: "Pattern Recognition and Machine Learning", Springer (2006) ? C. M. ビショップ, 元田浩, 栗田多喜夫, 樋口知之, 松本裕治, 村田昇: "パター ン認識と機械学習 上 / 下 - ベイズ理論による統計的予測", シュプリンガー?ジャ パン (2007-2008) ? "Infer.NET 2.4β User Guide and Code Documentation (Infer.chm)", Microsoft ? S. S. J. Wang and M. P. Wand: "Using Infer.NET for Statistical Analyses", Working Paper at Centre for Statistical and Survey Methodology, 06-10 (2010) ? 田中和之: "ベイジアンネットワークの統計的推論の数理", コロナ社 (2009) ? 伊庭幸人: "ベイズ統計と統計物理", 岩波書店 (2003) ? 汪金芳, 手塚集, 上田修功, 田栗正章, 樺島祥介: "計算統計Ⅰ", 岩波書店 (2003) ? 竹村彰通, 谷口正信: "統計学の基礎Ⅰ", 岩波書店 (2003) #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 40
- 41. TODO: ? 結局自分がグラフについてもっと理解したいだけ… - 確率伝搬法（BP）による周辺分布の計算 - 周辺分布と事後分布の使い分け - 回帰?予測?分類などのタスクの分類とグラフ構造の差異 - EM, GEM, VB を統一的に説明（計算統計Ⅰ） - 局所的変分メッセージパッシングのイメージ - EP 法の丁寧な解説。BP との対応 - MCMC（計算統計Ⅱ）と、VB などの最適化手法の比較 - 実際のアプリでどんな推論クエリが必要になるか ? もっと Infer.NET についてコードを増やして説明 - LDA、クリックスルー、多クラス画像分類のサンプル解説 #TokyoWebmining Infer.NET でグラフィカルモデルを計算する by @wk77 p. 41