![理想的な識別機
理想的には
となり、損失関数
の正解ラベルがそれぞれの分布から抽出される
ことに注意して
と変換したものに代?すると
pdata(x)
D(x)
ED(x) = (t log y + (1 t) log(1 y))
D(x) =
pdata(x)
pdata(x) + pg(x)
pg(x)
(Epdata(x)[ln D(x)] + Epg(x)[ln(1 D(x))])
17](https://image.slidesharecdn.com/gan-200731075603/85/GAN-17-320.jpg)
![Z
pdata ln
pdata
ddata + pg
dx
Z
pdata ln
pg
ddata + pg
dx
Z
pdata ln
2pdata
ddata + pg
dx +
Z
pdata ln 2dx
Z
pdata ln
2pg
ddata + pg
dx +
Z
pg ln 2dx
2DJS[pdata||pg] + 2 ln 2
と変換することができ、識別機の?的は訓練データ集合の従う分布と、
?成されたデータ集合の従う分布のJSダイバージェンスを求めることに
対応していることがわかります。
18](https://image.slidesharecdn.com/gan-200731075603/85/GAN-18-320.jpg)
![理想的な?成機
理想的な識別機の働きについて確認したらそれに敵対する?成機
の学習内容を考えることは簡単です。識別器が適切に分布間距離
を求めることで損失関数を最?化しようとしているのに対し、
?成機は を に近づけることで、識別機の損失関数を
最?化しようとします
2DJS[pdata||pg] + 2 ln 2
pg pdata
19](https://image.slidesharecdn.com/gan-200731075603/85/GAN-19-320.jpg)
![[DL輪読会]Temporal DifferenceVariationalAuto-Encoder](https://cdn.slidesharecdn.com/ss_thumbnails/20181130new-190205051636-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (8)
Similar to 骋础狈の基本 (20)
骋础狈の基本
- 1. GAN １
- 5. （今回の）?成モデル??で 任意の分布を何かしらのデータを?成する真の分布に変換する関数 任意の分布 真の分布 学習 観測データ p?(x) = Z p?(x|z)p(z)dz ?成モデルp(z) pdata(x) = p?(x) 変換前のベクトル?は 出?の特徴を表すことから 潜在変数と呼ばれる 5
- 11. GANを??で ?成ネットワークGと識別ネットワークDの騙し合いゲーム イメージ 贋作を作る ?成機G ?成 贋作 本物 真贋?分ける 識別機D (Fate/grand order) vs 11
- 12. ?成ネットワークGの?的 ?成 ?に?分の?成した出?が本物であると誤認させたい ??: 潜在変数 ? 出?: 偽データ ?!"#$ ロス: ?が?!"#$を受け取って出?する偽物への確信度 1 ? ? ? = 1 ?!"#$ インスピレーション ?? 評価 12
- 13. 識別ネットワークDの?的 ?の作った贋作なのか本物なのかを識別したい ??: とあるデータ? (本物 ?%"&" or 贋作 ?!"#$) 出?: 本物への確信度 ?(? = 1|?) ロス: 出?と正解ラベルとの誤差 正解ラベル 誤差関数 評価 ?? 誤差 13
- 14. 数式に落とし込む 潜在変数 ? 訓練データ ?-./. ?成データ ?0.12 = ?(?) 識別機の出? ? = ?(?) 識別機の損失関数 ?成機の損失関数 ED(x) = (t log y + (1 t) log(1 y)) G G(z) xfake D D(x) Eg(z) = log(1 D(G(z)) 14
- 15. ?成モデル??で 任意の分布を何かしらのデータを?成する真の分布に変換する関数 任意の分布 真の分布 学習 観測データ p?(x) = Z p?(x|z)p(z)dz ?成モデルp(z) pdata(x) = p?(x) 変換前のベクトル?は 出?の特徴を表すことから 潜在変数と呼ばれる 15
- 17. 理想的な識別機 理想的には となり、損失関数 の正解ラベルがそれぞれの分布から抽出される ことに注意して と変換したものに代?すると pdata(x) D(x) ED(x) = (t log y + (1 t) log(1 y)) D(x) = pdata(x) pdata(x) + pg(x) pg(x) (Epdata(x)[ln D(x)] + Epg(x)[ln(1 D(x))]) 17
- 18. Z pdata ln pdata ddata + pg dx Z pdata ln pg ddata + pg dx Z pdata ln 2pdata ddata + pg dx + Z pdata ln 2dx Z pdata ln 2pg ddata + pg dx + Z pg ln 2dx 2DJS[pdata||pg] + 2 ln 2 と変換することができ、識別機の?的は訓練データ集合の従う分布と、 ?成されたデータ集合の従う分布のJSダイバージェンスを求めることに 対応していることがわかります。 18
- 19. 理想的な?成機 理想的な識別機の働きについて確認したらそれに敵対する?成機 の学習内容を考えることは簡単です。識別器が適切に分布間距離 を求めることで損失関数を最?化しようとしているのに対し、 ?成機は を に近づけることで、識別機の損失関数を 最?化しようとします 2DJS[pdata||pg] + 2 ln 2 pg pdata 19
- 20. 実験 実際にデータが?成されていく様?を?ていく 潜在変数 p(z) = N(0, 1) 20
- 23. 実験 識別機の構造 ● ● ● 10ノード sigmoid x p(C = 1|x) LeakyReLU 23
- 24. 実験 学習データ数 10000 1度の学習に使?するデータ数 1024(ランダム抽出) 学習回数 1000回 100回ごとに?成機からの出?をサンプリング 24
- 25. 結果 真の分布（からのサンプリング） 100 200 300 400 500 600 700 800 900 1000 モード崩壊の始まり 25
- 29. 再実験 先ほどのネットワークが （??層, 中間層, 出?層）=(1, 10, 1)と 構成されていたのに対して今回はD, Gそれぞれ （??層, 中間層*2, 出?層）=(1, 100, 100, 1)と 層とノードを増やすことで表現?の向上を図った 他の条件は先ほどと同じ 29
- 30. 結果 真の分布（からのサンプリング） 100 200 300 400 500 600 700 800 900 1000 先ほどよりも真の分布に近そう 30
- 34. GANの発展 A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications written by Jie Gui, Zhenan Sun, Yonggang Wen, Dacheng Tao, Jieping Ye (Submitted on 20 Jan 2020) 34