![参考文献 59/60
[1] 韓太舜?小林欣吾 (1999). 情報と符号化の数理, 培風館.
[2] 渡辺澄夫 (2012). ベイズ統計の理論と方法, コロナ社.
[3] 小西貞則?北側源四郎 (2004). 情報量基準(予測と発見の科学), 朝倉書店.
[4] 坂元慶行?石黒真木夫?北川源四郎 (1983). 情報量統計学(情報科学講座 A?5?4), 共立出版.
[5] 赤池弘次?甘利俊一?北川源四郎?樺島祥介?下平英寿 (2007).
赤池情報量基準AIC(モデリング?予測?知識発見), 共立出版.
[6] 渡辺澄夫 (2014). ラフ?ラスとフィッシャーから荒野へ,
電子情報通信学会 情報?システムソサイエティ, 18, 4, 17-18.](https://image.slidesharecdn.com/sdm-190601-informationcriteria-enomoto-sakai-part2-190601115035/85/model-selection-and-information-criteria-part-2-59-320.jpg)
![参考文献 60/60
[7] 山西健司 (2017). 記述長最小原理の進化(基礎から最新の展開).
電子情報通信学会 基礎?境界ソサイエティ, 10, 3, 186-194.
[8] Pelleg, D., & Moore, A. W. (2000, June).
X-means: extending k-means with efficient estimation of the number of clusters.
In Icml (Vol. 1, pp. 727-734).
[9] Burnham, K. P., & Anderson, D. R. (2004).
Multimodel inference: understanding AIC and BIC in model selection.
Sociological methods & research, 33(2), 261-304.
[10] 渡辺澄夫, Sumio Watanabe Home Page,
<http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/index-j.html>,
2019年6月1日アクセス.](https://image.slidesharecdn.com/sdm-190601-informationcriteria-enomoto-sakai-part2-190601115035/85/model-selection-and-information-criteria-part-2-60-320.jpg)
model selection and information criteria part 2
- 1. モデル選択 part 2 6/1/2019 榎本昌文 酒井一徳 Kwansei Gakuin Univ. Okadome Lab.
- 2. 目次 2/60 1. はじめに 2. AIC, BIC, ABIC, PIC, MDL 3. WAIC, WBIC
- 3. BIC (Bayesian Information Criterion)
- 5. BICによるモデル比較の理念 5/60 ? m個の確率モデル を用意。 ? データ についてモデルごとの周辺尤度、 はそのモデルからデータ が得られる尤もらしさ。
- 6. BICによるモデル比較の理念 6/60 ? i番目のモデルの生起確率を として、その事後分布 はデータ が観測された時、i番目のモデルから生起する確率。 ? とすれば周辺尤度が最大のモデルの選択をすれば良い。
- 8. を最小にする について以下が成立。 ? ? 行列 が正定値。 BICの導出 8/60 仮定: パラメータの事後分布が正規分布で近似可能。 仮定から言える。
- 12. BICと事前分布 12/60 ? 事前分布に超パラメータを導入しても、 BICは超パラメータに依らない。 尤度関数のみ ならば事前分布の影響もあるんじゃないか？ ? 叠滨颁では超パラメータの决定はできない。
- 16. BICの適用例 (x-means) 16/60 ? あるクラスタ について、 モデル１: モデル２: ハード割り当て
- 17. ABIC (Akaike’s Bayesian information criterion) 17/60
- 18. ABIC (Akaike’s Bayesian information criterion) 18/60 ? 超パラメータを周辺尤度最大化で決定しよう。 事前分布 を導入する。 周辺尤度: を予測分布とし、汎化性能を測りたい→ として
- 19. ABIC (Akaike’s Bayesian information criterion) 19/60 AICのモデル(尤度関数)に周辺尤度を入れたもの。 予測分布の汎化損失を測る意図。
- 20. ABIC (Akaike’s Bayesian information criterion) 20/60 そもそもこれは周辺尤度 どのモデルがデータをより説明するか、の指標とも取れる。 ? そも周辺尤度計算できるの？ ? 近似。 それでいいのか
- 21. PIC (predictive information criterion) 21/60
- 22. 統計的モデルを作る目的 (再掲) 22/60 予測分布 ? 最尤推測 の作り方 ? MAP推測 ? 平均プラグイン推測 ? ベイズ推測
- 23. 超パラメータ を導入した事前分布 による予測分布 PIC (predictive information criterion) 23/60 ? 予測分布の良さは汎化損失で測る。 事後分布
- 24. 不偏推定量 (再掲) 24/60 ? 最尤推測による予測分布 の汎化損失は 学習とは別サンプルを用いて、 は、 (不偏推定量) ? ベイズ推測による予測分布 においても 別サンプルを評価に使えば問題ない。 でもサンプルは節約したい バイアス補正しよう
- 26. PIC (predictive information criterion) 26/60 バイアス ただし、 解析的に計算は困難
- 27. バイアス計算 (解析的に計算できる例) 27/60 ? 線形ガウス。 尤度関数: 事前分布: 予測分布: 事後もガウス
- 31. MDL (minimum description length) 31/60
- 32. 可逆圧縮と鳩の巣理論 32/60 ? 復元可能な範囲で情報圧縮、 N 個の椅子に N+1 人は座れない。 可逆圧縮は一対一対応。 出現確率の高いパターンに短い符号を 出現確率の低いパターンに長い符号を わりあてよう。
- 35. 真の分布がわかる場合の可逆圧縮 35/60 abc 01011 頻度 符号 符号長 a 5/10 0 1 b 3/10 10 2 c 2/10 11 2 データ列 の符号長関数 がクラフトの不等式、 を満たす時、その符号長の語頭符号が 存在する。(証明略) 発生確率 が既知ならば、 により満たすことができる(シャノンの情報理論)。
- 36. 真の分布がわからない場合の可逆圧縮 36/60 abc ???????.... 頻度 符号 符号長 a ? ? ? b ? ? ? c ? ? ? ? 近似分布 を定義。 ? 平均符号長は、 冗長度 冗長度を最小化するモデルが 最小平均符号長を達成する。 未知の分布
- 37. Rissanen の２段階符号化 37/60 MDL (Minimum Description Length): ? 符号長は2つからなる モデルの記述長 モデルを用いた データの記述長
- 38. ? パラメータ で指定されるモデル を定義。 ? データ列 から最尤推定量 を計算。 ? 推定量を適当な符号長 を用いて語頭符号化。 ? モデル を用いてデータを符号化。 ２段階符号化からMDL基準の導出 38/60 全体の符号長は、 手順:
- 39. の各軸方向に の幅を持つセルに分割。 このままでは 量子化 39/60 (実数値の符号化には無限桁必要) パラメータ空間 を微小なセルに分割し、 の値を代表値(有限桁) に置きかえよう。
- 40. 量子化 40/60 パラメータ空間 上の任意の事前分布 を定めると、 を含むセルの生起確率( の生起確率)はおよそ、 であるからその符号長は、 よって全符号長は、 注意
- 42. ? を の周りで展開。 量子化 42/60 より、 ここで行列 は、 が正則の場合、 において に収束する。 以後、上記で置き換えて最小化を考える。
- 46. 3 WAIC, WBIC
- 47. 正則モデルとは 47/60 パラメータの事後分布が正規分布で近似可能。 必要条件 KL距離 の最適値 が一つだけ →1つだけじゃないときはどうするねん パラメータ空間の特異点を考えざるをえない
- 49. 非正則な場合の挙動 49/60 KL距離: 上の関数に値をとる確率変数パラメータ集合 は が特異点をもつときに, どのような挙動をもつだろうか → 特異点解消定理(平中)を用いる. 代数幾何の世界へ…
- 51. 3.1 WAIC
- 53. WAICの定義 53/60 WAIC (Widely Applicable Information Criterion): 経験損失: 汎関数損失:
- 54. WAICの定義 54/60
- 55. 3.2 WBIC
- 57. WBICの定義 57/60 WBIC (Widely Applicable Bayesian Information Criterion): ただし 事後分布: 経験対数損失:
- 58. 参考文献
- 59. 参考文献 59/60 [1] 韓太舜?小林欣吾 (1999). 情報と符号化の数理, 培風館. [2] 渡辺澄夫 (2012). ベイズ統計の理論と方法, コロナ社. [3] 小西貞則?北側源四郎 (2004). 情報量基準(予測と発見の科学), 朝倉書店. [4] 坂元慶行?石黒真木夫?北川源四郎 (1983). 情報量統計学(情報科学講座 A?5?4), 共立出版. [5] 赤池弘次?甘利俊一?北川源四郎?樺島祥介?下平英寿 (2007). 赤池情報量基準AIC(モデリング?予測?知識発見), 共立出版. [6] 渡辺澄夫 (2014). ラフ?ラスとフィッシャーから荒野へ, 電子情報通信学会 情報?システムソサイエティ, 18, 4, 17-18.
- 60. 参考文献 60/60 [7] 山西健司 (2017). 記述長最小原理の進化(基礎から最新の展開). 電子情報通信学会 基礎?境界ソサイエティ, 10, 3, 186-194. [8] Pelleg, D., & Moore, A. W. (2000, June). X-means: extending k-means with efficient estimation of the number of clusters. In Icml (Vol. 1, pp. 727-734). [9] Burnham, K. P., & Anderson, D. R. (2004). Multimodel inference: understanding AIC and BIC in model selection. Sociological methods & research, 33(2), 261-304. [10] 渡辺澄夫, Sumio Watanabe Home Page, <http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/index-j.html>, 2019年6月1日アクセス.