![47 深層学習のための正則化
weight decay
過学習は大きな重みパラメータによる
→ペナルティを課す 後ほど詳しく説明．．
?L2ノルム
?L1ノルム
とりあえずイメージ
[*]ゼロから作るディープラーニング
[*]](https://image.slidesharecdn.com/mlzemi20180615-180621131738/85/2018-06-15-4-320.jpg)
![5
Dropout
とりあえずイメージ
大規模なニューラルネットワーク
モテ??ルの訓練 や評価は実行時間とメモリの点て??コストか??かかる
ニューロンをランダムに消去
7 深層学習のための正則化
[*]ゼロから作るディープラーニング
[*]](https://image.slidesharecdn.com/mlzemi20180615-180621131738/85/2018-06-15-5-320.jpg)
![77 深層学習のための正則化
バイアス バリアンス
[*]https://sourabhbajaj.com/blog/2017/03/16/so-you-built-a-machine-learning-model/
[*]
より大きいモデル
より多い訓練データ
バイアス
バリアンス
汎化や過剰適合，過少適合といった概念を形式的に に特徴つ??けるのに有効
5.4節より](https://image.slidesharecdn.com/mlzemi20180615-180621131738/85/2018-06-15-7-320.jpg)
![13
ヤコヒ??行列とヘッセ行列
学部1年生へ
[*]https://ja.wikipedia.org/wiki/ヘッセ行列
[*]
7.11 L2正則化](https://image.slidesharecdn.com/mlzemi20180615-180621131738/85/2018-06-15-13-320.jpg)
![[論文略説]Stochastic Thermodynamics Interpretation of Information Geometry](https://cdn.slidesharecdn.com/ss_thumbnails/aa-180330124241-thumbnail.jpg?width=560&fit=bounds)
More Related Content
More from KCS Keio Computer Society (20)
機械学習ゼミ2018 06 15
- 2. 2イントロダクション 前回まで 「ゼロから作るディープラーニング」 2章 パーセプトロン 3章 ニューラルネットワーク 4章 ニューラルネットワークの学習 5章 誤差逆伝播法 「深層学習」 6章 コスト関数 出力ユニット 隠れユニット 機械学習で有名な定理 「小野ゆうい」 テンソル代数 今回 「深層学習」 7章 深層学習のための正則化 7.1 パラメータノルムペナルティ 7.11 L2正則化 7.12 L1正則化 7.2 条件付き最適化としてのノルム ペナルティ 他から
- 4. 47 深層学習のための正則化 weight decay 過学習は大きな重みパラメータによる →ペナルティを課す 後ほど詳しく説明．． ?L2ノルム ?L1ノルム とりあえずイメージ [*]ゼロから作るディープラーニング [*]
- 7. 77 深層学習のための正則化 バイアス バリアンス [*]https://sourabhbajaj.com/blog/2017/03/16/so-you-built-a-machine-learning-model/ [*] より大きいモデル より多い訓練データ バイアス バリアンス 汎化や過剰適合，過少適合といった概念を形式的に に特徴つ??けるのに有効 5.4節より
- 9. 97.11 L2正則化 weight decay 目的関数に正則化項 を加え，原点に近づける
- 10. 107.11 L2正則化 で評価される に関する のヘッセ行列 は最小値 勾配がない→1次の項なし は半正定値であることがわかる
- 11. 117.11 L2正則化 半正定値 学部1年生へ n × n 実対称行列 M が正定値であるとは、n 個の実数を成分に持つ零ベクトルで ない任意の列ベクトル z に対して，zT Mz が必ず正となるとき 正定値 →負定値，半正定値，半負定値 ヘッセ行列が正定値→極小 ヘッセ行列が不定値→極大 固有値との関係 Mの固有値 に対して， 全て正 →Mは正定値 全て負 →Mは負定値 全て非負→Mは半正定値 全て非正→Mは半負定値 ヘッセ行列において
- 12. 127.11 L2正則化 ヤコヒ??行列とヘッセ行列 学部1年生へ4.3.1節より について のヤコビ行列 は 勾配 曲率 について のヘッセ行列 は
- 14. 147.11 L2正則化
- 15. 157.11 L2正則化 α が 0 に近づくと，正則化された解 は に近づく は実対称行列なので でスケーリングされる
- 16. 167.11 L2正則化
- 20. 207.11 L2正則化
- 22. 227.2 条件付き最適化としてのノルムヘ??ナルティ 元の目的関数にヘ??ナルティ集合を加えて構成される一般化ラク??ランシ??ュ関数 を構築することて??，制約のある関数を最小化て??きる カルー シュ?クーン?タッカー(碍碍罢)乗数を用いる カルーシュ?クーン?タッカー(KKT)乗数 4.31 4.4節より? 制約付き最適化 例題 制約条件
- 27. 277.2 条件付き最適化としてのノルムヘ??ナルティ ?ペナルティではなく明示的な制約や再射影を利用する場合がある． ?極小値に陥ってしまう可能性を回避 ?ｋに対応する を探索する労力の削減 ?安定性がある 元の目的関数にヘ??ナルティ集合を加えて構成される一般化ラク??ランシ??ュ関数 を構築することて??，制約のある関数を最小化て??きる カルー シュ?クーン?タッカー(碍碍罢)乗数を用いる
- 28. 28 まとめ 7章 深層学習のための正則化 7.1 パラメータノルムペナルティ 7.11 L2正則化 7.12 L1正則化 7.2 条件付き最適化としてのノルム ペナルティ 今回拾えなかった部分 PCA (主成分分析) ベイズ推定