![論文
Inverting Convolutional Networks
with Convolutional Networks
Alexey Dosovitskiy Thomas Brox
Department of Computer Science University of Freiburg, Germany
Quote [1]](https://image.slidesharecdn.com/151128pd-151130013917-lva1-app6892/85/-2-320.jpg)
![論文概要
畳み込みニューラルネット
＜課題＞
なぜうまくいくのか？
内部でどう学習している？
不明点がある
画像情報入力
出力
注）結合は一部省略
Quote from
[1]
物体認識などのタスクで
従来手法に比べ
高い精度を実現
[2, 3, 1, ……2, 3, 4]
[5, 6, 2, ……0, 1, 3]
……](https://image.slidesharecdn.com/151128pd-151130013917-lva1-app6892/85/-4-320.jpg)
![論文概要
入力
注）結合は一部省略
各層に特徴量
[0, 2, 1, ……0, 4, 2]
[9, 3, 7, ……2, 1, 5]
目的：ネットワーク内部の状態を知りたい
出力
[4, 2, 6, ……3, 0, 8]
逆変換された画像から
各層の学習過程がわかる
解決法：画像に逆変換
（要するに各層の出力）
Quote from
[1]
Quote from
[1]](https://image.slidesharecdn.com/151128pd-151130013917-lva1-app6892/85/-5-320.jpg)
![画像に逆変換する手法
本手法：元画像と逆変換画像を
比較して逆変換を学習させる
入力逆変換
元画像 逆変換画像
元特徴量誤差を最小にする
学習した重み
従来：出力された特徴量が
できるだけ近くなる
画像入力を探す
Quote from [1]](https://image.slidesharecdn.com/151128pd-151130013917-lva1-app6892/85/-6-320.jpg)
![ネットワーク構成
畳み込み５層
全結合層３層
maxプーリング
活性化関数：Relu
畳み込みニューラルネット (refer[1]のAlexNet)
逆変換ニューラルネット（最終層逆変換の場合）
全結合層３層
逆畳み込み５層
活性化関数：leaky Relu
入力
逆変換
ネット
生成
注）結合は一部省略](https://image.slidesharecdn.com/151128pd-151130013917-lva1-app6892/85/-7-320.jpg)
![ネットワーク構成
畳み込み５層
全結合層３層
maxプーリング
活性化関数：Relu
畳み込みニューラルネット (refer[1]のAlexNet)
逆変換ニューラルネット（最終層逆変換の場合）
全結合層３層
逆畳み込み５層
活性化関数：leaky Relu
入力
逆変換
ネット
生成
注）結合は一部省略
r(x)＝x （x 0のとき）
r(x)＝0.3?x （x<0のとき）
後は勾配降下法で学習](https://image.slidesharecdn.com/151128pd-151130013917-lva1-app6892/85/-9-320.jpg)
![結果：逆変換画像
元画像
本論文
AE
[3]
refer
FC８Conv1 深い層
?Conv5→FC6で不明瞭さが増している
?従来手法[3]に比べて色?位置情報が改善
Quote
from [1]](https://image.slidesharecdn.com/151128pd-151130013917-lva1-app6892/85/-10-320.jpg)
![画像復元誤差
?Conv5→FC6で誤差が増している
?Autoencoderが誤差が小さい
[1]より引用
正規化復元誤差
本論文
Auto
encoder
refer
[3]](https://image.slidesharecdn.com/151128pd-151130013917-lva1-app6892/85/-11-320.jpg)
![Autoencoder学習
⒈?Alexnetで特徴量抽出
２．逆変換ネットワークで画像生成
本論文
＋AE
[3]
refer
Alexnetのパラメータを
Autoencoderでさらに学習
＜追加＞
Quote from
[1]](https://image.slidesharecdn.com/151128pd-151130013917-lva1-app6892/85/-12-320.jpg)
![色と位置情報の保存
?色を変えて分類
?分類結果の
?top5以外を
?0に変えて逆変換
?top5以外の情報が
?色?位置の
?復元に重要
Quote from [1]](https://image.slidesharecdn.com/151128pd-151130013917-lva1-app6892/85/-13-320.jpg)
![色と位置情報の保存
?位置に情報が大まかに保存されている
?特にFC8では対称に情報が保存
(反転に強い可能性)
Quote from
[1]](https://image.slidesharecdn.com/151128pd-151130013917-lva1-app6892/85/-14-320.jpg)
![特徴量ロバスト性の確認
１．バイナリ化
２．５０％ドロップアウト
定数で置き換える[0, 2, 1, 0, 4, 2]（例）
[0, a, a, 0, a, a]
特徴量ベクトル
ネットワークの特徴量を操作したとき
復元画像に変化があるのか？
（例） ランダムに選んだ
半分の要素を０にする
[0, 2, 1, 0, 4, 2]
[0, 0, 1b, 0, 0, 2b]
ベクトルのノルムは
変わらないように操作](https://image.slidesharecdn.com/151128pd-151130013917-lva1-app6892/85/-15-320.jpg)
![特徴量ロバスト性の確認
バイ
ナリ
ドロップ
アウト
操作
なし
Quote from
[1]](https://image.slidesharecdn.com/151128pd-151130013917-lva1-app6892/85/-16-320.jpg)
![?バイナリ化するより
?ドロップアウトの方が誤差が大きい
正規化復元誤差
バイナリ
ドロップ
アウト
操作なし
特徴量ロバスト性の確認
Quote from
[1]](https://image.slidesharecdn.com/151128pd-151130013917-lva1-app6892/85/-17-320.jpg)
![特徴量ベクトル合成
２つの特徴量ベクトルを合成すると
FCレイヤから画像としても合成されている
Quote from
[1]](https://image.slidesharecdn.com/151128pd-151130013917-lva1-app6892/85/-18-320.jpg)
![ランダムベクトルからの復元
FCレイヤの画像は元画像らしくなっており
ネットワークが学習できている根拠となる
各層の特徴量をヒストグラムにする
→それを基本にランダム特徴量ベクトル生成
Quote from
[1]](https://image.slidesharecdn.com/151128pd-151130013917-lva1-app6892/85/-19-320.jpg)
![[DL輪読会]Control as Inferenceと発展](https://cdn.slidesharecdn.com/ss_thumbnails/20191004-191204055019-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...](https://cdn.slidesharecdn.com/ss_thumbnails/dl20220318dlfin-220322065433-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing](https://cdn.slidesharecdn.com/ss_thumbnails/glide2-220107030326-thumbnail.jpg?width=560&fit=bounds)
![[DeepLearning論文読み会] Dataset Distillation](https://cdn.slidesharecdn.com/ss_thumbnails/datasetdistillation-181114165952-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Viewers also liked (20)
Similar to 畳み込みニューラルネットワークが なぜうまくいくのか？についての手がかり (8)
畳み込みニューラルネットワークが なぜうまくいくのか？についての手がかり
- 2. 論文 Inverting Convolutional Networks with Convolutional Networks Alexey Dosovitskiy Thomas Brox Department of Computer Science University of Freiburg, Germany Quote [1]
- 3. 留意事項 =引用に関して著作権上の問題がある場合 はご連絡ください ?内容の信憑性を ?必ずしも保証していません ?If there is any issue about copyright about quotation, e-mail me, please. e-mail tomohiro.furukawa (atmark) nextremer.com
- 4. 論文概要 畳み込みニューラルネット ＜課題＞ なぜうまくいくのか？ 内部でどう学習している？ 不明点がある 画像情報入力 出力 注）結合は一部省略 Quote from [1] 物体認識などのタスクで 従来手法に比べ 高い精度を実現 [2, 3, 1, ……2, 3, 4] [5, 6, 2, ……0, 1, 3] ……
- 5. 論文概要 入力 注）結合は一部省略 各層に特徴量 [0, 2, 1, ……0, 4, 2] [9, 3, 7, ……2, 1, 5] 目的：ネットワーク内部の状態を知りたい 出力 [4, 2, 6, ……3, 0, 8] 逆変換された画像から 各層の学習過程がわかる 解決法：画像に逆変換 （要するに各層の出力） Quote from [1] Quote from [1]
- 8. 逆変換ネットワーク 逆畳み込み層とは…１と２を行う １．逆プーリング ２．畳み込み p 0 0 0p q r s q 0 0 0 r 0 0 0 s 0 0 0 p 0 0 0 q 0 0 0 r 0 0 0 s 0 0 0 h11 h13h12 h21 h23h22 h31 h33h32 ?チャネル数? フィルタ 残りを ０で 埋める
- 9. ネットワーク構成 畳み込み５層 全結合層３層 maxプーリング 活性化関数：Relu 畳み込みニューラルネット (refer[1]のAlexNet) 逆変換ニューラルネット（最終層逆変換の場合） 全結合層３層 逆畳み込み５層 活性化関数：leaky Relu 入力 逆変換 ネット 生成 注）結合は一部省略 r(x)＝x （x 0のとき） r(x)＝0.3?x （x<0のとき） 後は勾配降下法で学習
- 15. 特徴量ロバスト性の確認 １．バイナリ化 ２．５０％ドロップアウト 定数で置き換える[0, 2, 1, 0, 4, 2]（例） [0, a, a, 0, a, a] 特徴量ベクトル ネットワークの特徴量を操作したとき 復元画像に変化があるのか？ （例） ランダムに選んだ 半分の要素を０にする [0, 2, 1, 0, 4, 2] [0, 0, 1b, 0, 0, 2b] ベクトルのノルムは 変わらないように操作