深層学習 勉強会 第１回資料(作成途中)
- 1. 深層学習 Chapter1 はじめに Chapter2 順伝播型ネットワーク S5 lab. M1 Shuji Mihara
- 3. 深層学習(Deep Learning)とは？ 2 ? 多層のニューラルネットワーク(以下NN)を用いた学習法の総称. ? 畳込みNN (Convolutional Neural Network, CNN) →主に画像処理分野で使用 ? 再帰型NN (Recurrent Neural Network, RNN) →主に自然言語処理や音声認識で使用 (Example)
- 4. 深層学習(Deep Learning)とは？ 3 ? 多層のニューラルネットワーク(以下NN)を用いた学習法の総称. ? 畳込みNN (Convolutional Neural Network, CNN) →主に画像処理分野で使用 ? 再帰型NN (Recurrent Neural Network, RNN) →主に自然言語処理や音声認識で使用 (Example) ←6章 ←7章 ↑2章
- 5. 4 ? 深層学習の基礎となったテクニック ? 確率的勾配効果法(Stochastic Gradient Descent, SGD) ? 誤差逆伝播法(Back Propagation) ? 自己符号化器(Auto Encoder) ? 制約ボルツマンマシン(Restricted Boltzmann Machine, RBM)
- 6. 5 ? 深層学習の基礎となったテクニック ? 確率的勾配効果法(Stochastic Gradient Descent, SGD) ? 誤差逆伝播法(Back Propagation) ? 自己符号化器(Auto Encoder) ? 制約ボルツマンマシン(Restricted Boltzmann Machine, RBM) ←3章 ←4章 ←5章 ←8章
- 9. 参考文献?関連論文など 8 ? PRML5章 ニューラルネットワーク ? 人工知能学会誌 連載解説 「Deep Learning(深層学習)」 ? IBIS 2013 企画セッション2 Deep Learning ? データサイエンティスト養成読本 機械学習入門編 特集 「深層学習最前線」 ? 人工知能は人間を超えるか? –ディープラーニングの先 にあるもの Oreillyからも11月後半にも本がでるみたいです.
- 10. 実装のためのライブラリ 9 Caffe, Theano, Torch7, Pylearn2, Chainerなど Chainerが一番日本語資料が充実している印象. 開発元のPreferred Infrastructureが狠狠撸Shareにたくさん スライドを上げてくれてる.
- 11. 関連して興味ある論文 10 ベイズ学習に深層学習の手法取り入れる方法はおもしろそうです. (まだちゃんと読めてない) Gu, Shixiang, Richard E. Turner, and Zoubin Ghahramani. "Neural Adaptive Sequential Monte Carlo." arXiv preprint arXiv:1506.03338 (2015). Gal, Yarin, and Zoubin Ghahramani. "Dropout as a Bayesian approximation: Insights and applications." Deep Learning Workshop, ICML. 2015. Patel, Ankit B., Tan Nguyen, and Richard G. Baraniuk. "A Probabilistic Theory of Deep Learning." arXiv preprint arXiv:1504.00641 (2015).
- 12. 11
- 14. 順伝播型ネットワーク(feedforward network)13 ユニットが隣接層間でのみ結合した構造を持ち, 情報が入力側から出力 側へ1方向のみに伝搬するNN. 以下ではfNNと略する. (隠れ層)
- 18. ユニットの構造(≒パーセプトロン) 17 ? ? ?1 ?2 ?3 ?4 ? 前の層からの入力 次の層への出力 ? = ?1 ?1 + ? + ?4 ?4 + ? ? = ?(?) ?: 非線形関数 (活性化関数と呼ばれる)
- 19. fNNの層の構造 18 ?2 ?2 ?1 ?2 ?3 ?4 ?2 ?3 ?3 ?1 ?1 ?1 ?3 前の層からの入力 次の層への出力 ? = ?? + ? ? = ?(?)
- 20. 活性化関数 19 問題設定によって適切な活性化関数を選択する必要がある. ＜典型的な活性化関数＞ ロジスティックシグモイド関数 双曲線正接関数 正規化線形関数 ソフトマックス関数 マックスアウト関数
- 21. 多層ネットワークの表記 20 ?1 ?2 ?3 ?4 ?1 ?2 ? = 1 2 3 ?(?+1) = ?(?+1) ?(?) +?(?+1) ?(?+1) = ?(?(?+1)) パラメータは 結合重み ?(?)とバイアス ?(?) まとめて列ベクトル?で表すと ネットワークを表現する関数は ? ?; ? とかける.
- 22. 学習の枠組み 21 fNNは誤差関数を最小化するパラメータを求める教師あり学習 ( ? ?, ? ? ) データ 望ましい出力(教師信号) 必要に応じて手作業でラベリング 誤差関数や出力層の活性化関数は問題の種別により異なる. 問題の種別 出力層の活性化関数 誤差関数 回帰 恒等写像 二乗誤差 式(2.6) 二値分類 ロジスティック関数 式(2.8) 多値分類 ソフトマックス関数 交差エントロピー 式 (2.11)
- 23. NNを使った回帰学習 22
- 24. NNを使った2値分類学習 23