![学習率と正則化
最後の式の右辺の第１項は全データに対する勾配
第２項はSGDがミニバッチとしてランダムにデータを選択することにより
発生するノイズ項。
データは一様にサンプルされるため、ノイズ項の期待値はE[第二項]=0
→誤差にバイアスはかからないが、通常はノイズが発生する。
↓これは、x=y+(x?y)の変形と似たような変形。](https://image.slidesharecdn.com/batchnormalizationeffectiveness20190206-190206123046/85/Batch-normalization-effectiveness_20190206-16-320.jpg)
Batch normalization effectiveness_20190206
- 2. バッチ正规化が学习に効果的な理由の検証 Understanding Batch Normalization なぜバッチ正規化（Batch Normalization）が学習に効果的なのか を実証的なアプローチで検証した論文
- 3. 論文まとめ ● 学習率について バッチ正規化によって設定可能になる高い学習率は、SGDのノイズを増加させる 原因となるため、正則化の効果と精度が向上する。 ● チャンネルの平均と分散 正規化なしでは、層が深くなるにつれてチャンネルの平均と分散が指数関数的に増加するが、 バッチ正規化によって一定に保つことが可能となる。 ● 出力層?畳込み層の勾配 チャンネル?ユニットの値の平均値に偏りがある場合、出力層?畳み込み層の勾配の大きさが 入力依存ではなくなるが、バッチ正規化によって偏りが緩和され、勾配が 入力に高い依存性を持つようになる。
- 4. 論文まとめ ● 出力の正規化 高い学習率を設定した場合、正規化なしでは学習が進むにつれて出力層側での誤差が発散す るが、バッチ正規化によって各層の出力が正規化されるため、誤差が発散 しなくなる。 ● 畳み込みの重みの更新量 正規化されていない場合、畳み込み層の重みの更新量は一貫して小さくなる場合 があるが、バッチ正規化によってその現象を抑えることが出来る。 ＝更新量が一貫して小さくならず学習が進む ● 重みの初期化 重みの初期化は、各チャンネルの分散が一定であるべきという考えから設計されて いるが、実際は層が深くなるにつれて分散が大きくなる。バッチ正規化はこの 重みの初期化の影响を緩和する。
- 7. バッチ正則化とは バッチ正規化とは、ニューラルネットワークの各層への入力を正規化する手法。 これによって、 ● 高い学習率を設定可能になる ● 正則化がかかる ● 精度を向上させる ● 収束が早くなる などの効果があります。 バッチ正規化では、正規化を行うために バッチ内の要素（チャンネルやユニット）ごとに平均と標準偏差 を求めます。このとき要素とは、 ?畳み込み層のときはチャンネル ?全結合層のときはユニットとなります。
- 8. バッチ正則化とは 畳み込み層の場合の平均と標準偏差の求め方 チャンネルごとにバッチ × x座標 × y座標の要素の平均と標準偏差を求める。 バッチ正規化では、 （正確には違いますがざっくりいうと） 各チャンネルの値を対応する チャンネルの平均で引き、標準偏差で割 ることで、 正規化を行っている。
- 9. バッチ正則化とは このとき、バッチ正規化の入力と出力はそれぞれ４次元テンソル （バッチ、チャンネル、x座標、y座標）で表現することが出来ます。 ここで、チャンネルの次元を特徴次元、各座標の次元を空間次元と呼びます。 畳み込み層でのバッチ正規化を数式で表すと、以下のようになります。 ● INPUT(b,c,x,y)：入力 (バッチ, チャンネル, x座標, y座標) ● OUTPUT(b,c,x,y)：出力 (バッチ, チャンネル, x座標, y座標) ● μc ：各チャンネルの平均値 ● σc ：各チャンネルの標準偏差 ● ε：0で割らないための補正項 ● γc ,βc ：アフィン変換のパラメータ
- 11. 参考：アフィン変換 x を Ax+b に対応させるような変換のこと アフィン写像ともいう。 → アフィン変換は、一次変換に平行移動を加えたもの。 １次関数 y=ax+b を一般化したもの ２次元のアフィン変換は「拡大?縮小」「回転」「平行移動」「せん断」 という４つの基本的なアフィン変換の合成で表すことができる。
- 13. バッチ正則化の利点 ● bn-orig-lr：学習率 0.1, バッチ正規化あり ● bn-med-lr：学習率 0.003, バッチ正規化あり ● bn-small-lr：学習率 0.0001, バッチ正規化あり ● unnorm：学習率 0.0001, バッチ正規化なし
- 19. 勾配と活性化の大きさ 左：正規化あり 右：正規化なし スケールが２桁異なる！ For the unnormalized network, the gradients are distributed with heavy tails, whereas for the normalized networks the gradients are concentrated around the mean. (Note that we have to use different scales for the two plots because the gradients for the unnormalized network are almost two orders of magnitude larger than for the normalized on.)
- 26. 畳込み层における勾配 正規化されていないネットワークの畳込み層の勾配が大きい理由を説明 することが出来る。 最初の２つの次元が入出力チャンネルに対応し、後の２つが空間次元 （x座標, y座標）に対応する畳み込み層の重み K(co ,ci ,i,j) を考える。 また、3×3の畳み込みを行うために、空間次元 S=?1,0,1×?1,0,1 を付与。 ここで、畳み込み処理を以下のように表現することが可能。
- 27. 畳込み层における勾配
- 28. 畳込み层における勾配
- 36. 重みの初期化の影响
- 39. dropoutとの併用 Understanding the Disharmony between Dropout and Batch Normalization by Variance Shift https://arxiv.org/abs/1801.05134 正則化の手法としてよく使われるDropoutとBatch Normalizationは、併用すると パフォーマンスの悪化が起こることがあるが、その原因について検証した研究。 悪化の理由として、Dropoutを行うことで学習時と評価時で分散が変わってしまう一方、 Batch Normalizationは学習で得られた分散を評価時もキープしてしまうため齟齬が 生じることが原因と指摘された。
- 40. dropoutとの併用 Theoretically, we find that Dropout would shift the variance of a specific neural unit when we transfer the state of that network from train to test. However, BN would maintain its statistical variance, which is accumulated from the entire learning procedure, in the test phase. The inconsistency of that variance (we name this scheme as "variance shift") causes the unstable numerical behavior in inference that leads to more erroneous predictions finally, when applying Dropout before BN. ドロップアウトによって特定のニューラルユニットの分散がシフトすることが わかりました。 ただし、BNはテスト段階で学習手順全体から累積される統計的分散を維持します。 その分散の不一致（この方式を"分散シフト"と呼びます）は、BNの前に ドロップアウトを適用するとき、推論において不安定な数値的振る舞いを 引き起こします。
- 42. 参考文献 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift https://arxiv.org/pdf/1502.03167.pdf Understanding Batch Normalization https://arxiv.org/abs/1806.02375 Batch Normalizationが有効である理由 深層学習のいろんな教科書にも共変量シフトが抑えられるからだっていう説明があるけど、そうでは なく、lossが安定するから。 https://arxiv.org/abs/1805.11604
- 43. 参考文献 Understanding the Disharmony between Dropout and Batch Normalization by Variance Shift https://arxiv.org/pdf/1801.05134.pdf