More Related Content
What's hot (20)
Similar to PRML6.4 (9)
PRML6.4
- 2. 目次 2/30 ?次 2/30 ? ガウス過程回帰をざっくり振り返る ? 超パラメータの学習 ? 関連度自動決定 ? ガウス過程識別モデル ? ラプラス近似 ? ニューラルネットワークとの関連
- 3. ガウス過程回帰をざっくり振り返る 3/30 目標 訓練データ集合? = ? ?, ? ? ( ? ? = (?1, … , ? ?), ? ? = ?1, … , ? ? ) が与えられてい る時に，新しい入力ベクトル ? ?+1 に対する目標変数 ? ?+1 を予測したい つまり ? ? ?+1 ? ?, ? ?+1) が知りたい！ ? ?+1 = (?1, … , ? ?, ? ?+1) 観測される目標変数に，ガウス分布に従うノイズが含まれていることを仮定 関数値 関数値が与えられた下での目標変数 ? の同時分布 等方的なガウス分布 関数値の同時分布はガウス過程の定義 Kは正定値行列
- 4. ガウス過程回帰をざっくり振り返る 4/30 ? ? ?+1 ? ?, ? ?+1)を知るには? ? ?+1 ? ?+1) が必要
- 5. ガウス過程回帰をざっくり振り返る 5/30 目標 訓練データ集合? = ? ?, ? ? ( ? ? = (?1, … , ? ?), ? ? = ?1, … , ? ? ) が与えられてい る時に，新しい入力ベクトル ? ?+1 に対する目標変数 ? ?+1 を予測したい つまり ? ? ?+1 ? ?, ? ?+1) が知りたい！ ? ?+1 = (?1, … , ? ?, ? ?+1) 2章の議論より したがって
- 8. 超パラメータ最適化の諸々 8/30 求めた勾配を使って対数尤度最大化を行う ?ガウス過程ではSCG(Scaled Conjugate Gradient)法などが良く使われる 一般に対数尤度は非凸関数 ?局所最適解に陥りやすい → 解決策の一つにMCMC 対数事後分布を最大化する方法もあり ?周辺化の近似が必要 ノイズが異分散モデルに従う場合，ノイズ自身が入力ベクトルに依存 ?ノイズもガウス過程でモデル化する
- 9. 関連度自動決定(Automatic Relevance Determination) 9/30 超パラメータを最尤推定で最適化することは，入力ベクトル間の相対的 な重要度をデータから決定すること（らしい） これはARDを用いて理解することができる 関連度自動決定(ARD) 目的：予測に対する入力変数間の相対的な重要度を決定する （重要度：予測に影響する度合い） → 予测分布に寄与しない入力成分を取り除ける
- 12. 関連度自動決定 12/30
- 14. ガウス過程識別モデル 14/30 クラス分類でも我々が知りたいのはやっぱり? ? ?+1 ? ?, ? ?+1) 2クラス分類では特に? ? ?+1 = 1 ? ?, ? ?+1) 訓練データのラベルが全て正しいならノイズ(誤差)項は不要 しかし，共分散行列の正定値性を保証するために加えておくと便利 半正定値
- 15. ガウス過程識別モデルの注意点 15/30 ＝ ガウス分布じゃねえ 上の積分は解析的に無理 → 無理なら近似しちゃえば？ ? サンプリングで近似 ? シグモイド関数とガウス分布の畳み込み近似が使える の訓練データ点の増加により漸近的にガウス分布に近づく （中心極限定理）
- 16. ガウス分布による近似手法 16/30 ? 変分推論（10章） ? EP法（10章） ? ラプラス近似（今からやる）
- 17. ラプラス近似 17/30 複雑な確率分布をガウス分布で近似するフレームワーク 上式を正規化すると，多変量ガウス分布で近似できる 精度行列Aが正定値行列であれば，上の確率分布を適切にガウス分布として定義
- 21. モードを求める 21/30 シグモイド関数は? ?の非線形関数なので，単純にイコールゼロとできない → 反復再重み付け最小二乗法（IRLS）で繰り返し計算を行いモードを求める IRLSの更新式 ヘッセ行列は以下で与えられる 正定値行列 ?正定値行列の和は正定値行列 したがって，事後分布の対数 は狭義凸関数 → 単峰で大域的最適解を持つ
- 27. 27/30
- 28. 28/30 = 0
- 29. 29/30 より
- 31. ニューラルネットワークとの関連 31/30 2層ニューラルネットワークの隠れ層の数? → ∞ の極限でガウス過程と等価 入力 出力 入力に対する出力の分布を考える
- 32. ニューラルネットワークとの関連 32/30 より， ? → ∞ の極限で中心極限定理より yの分布は に近づく ここで と定義しなおせば 入力が多次元ベクトルであるとき出力は平均ゼロ，共分散 のガウス過程に従う