![SRGAN
GANをMみzんだ階盾顱SRGAN々
これまでCNNベ`スの返隈が嶄伉でしたが、r旗の送れもありGenerative Adversarial
NetworksGANをMみzんだ階盾駟峽┐痢SRGAN々
(Super-Resolution Using GAN)が戻宛された。2016定9埖
1. ResNetによるかいエラ`を俐屎する侮いネットワ`ク
2. Style Tranferにも聞われているContent Lossを深]することで
愔瓦臨醫ゞ\`餓を喘いたものよりも、"麼Q議"な階盾颪鯰个
3. GANを秘しAdversarial Lossを深]してさらに麼Q議なuを佩う
4. Deconvolutionの旗わりにPixel Shuffle Layerを秘し互堀かつ_な
鮫颪鯢撹する](https://image.slidesharecdn.com/perception-distortion-tradeoff20181128-181205231019/85/Perception-distortion-tradeoff-20181128-21-320.jpg)
![The Perception-Distortion Tradeoff
貧の}に彭朕し、この岑瞳|とPNSRのvS來を協楚議にuした
猟が和
[1711.06077] The Perception-Distortion Tradeoff
勣泣
?階盾颪砲いて岑瞳|と浴みにはトレ`ドオフがある
★岑瞳|と浴みの娼業をお札いに互めることはできない](https://image.slidesharecdn.com/perception-distortion-tradeoff20181128-181205231019/85/Perception-distortion-tradeoff-20181128-37-320.jpg)
Perception distortion-tradeoff 20181128
- 4. 階盾颪箸
- 5. 階盾颪箸 まずは階盾颪砲弔い畽。 嘔イメ`ジのように詰盾颪了颪 互盾颪了颪Qする圭隈を 階盾顳Super Resolutionと柵ぶ。 嘔の鮫颪 waifu2x で階盾颪鯰个辰討 る。 では、どのように階盾颪鯰个辰討い襪里 というと、ベ`スはSRCNNという Convolutional Neural Netoworkを聞った 階盾駟峽─
- 7. SRCNN
- 8. 鮫嵎得
- 9. 浴みを燕す峺 Full-Reference Metric頼畠歌孚メトリック 頼畠歌孚アルゴリズムでは秘薦イメ`ジと、浴みのない兜豚の歌孚イメ`ジ を曳^します。 ピクセルg了や吭龍g了などに卆贋するメトリック 旗燕箭 ?MSEMean Square Error再従屈\`餓 ?PSNRPeak Signal-to-Noise Ratio坤圦`ク佚催j咄曳 ?SSIMStructural SIMilarity夛議貌來峺方
- 10. 浴みを燕す峺烹PSNR PSNRPeak Signal-to-Noise Ratio坤圦`ク佚催j咄曳 峠譲屈\`餓からСされ、浴みのパワ`にする恷寄ピクセル業の曳を 燕します。 和のようなシンプルな方塀で燕す。 MAXI 沙颪函りうる恷寄ピクセル MSE 叉予睿颪了颪噺濬睿颪了颪砲弔い謄團セルごとのデ`タにしてMSEを 麻
- 12. 浴みを燕す峺烹SSIM ここで、μx , μy は峠譲、σx , σy は米餓、σxy は慌蛍柊。 c1やc2は徭喇にQめることができますが、8ビット鮫颪栽 c1=(0.01 * 255)2 , c2=(0.03 * 255)2 を喘いることが謹い。
- 13. 岑瞳|の峺 No-Reference Metric┠撚燐侫瓮肇螢奪 掲歌孚アルゴリズムでは秘薦イメ`ジのy議な蒙翮燭函徭隼に函誼された イメ`ジの寄ﾄデ`タベ`スによる僥gみモデルを曳^します。 岑瞳|をy協するためには、掲歌孚メトリックを聞喘する。 旗燕箭 ?BRISQUEBlind/Referenceless Image Spatial Quality Evaluator ?NIQENatural Image Quality Evaluator
- 14. 岑瞳|の峺烹NIQE NIQENatural Image Quality Evaluator モデルを僥させるために聞喘されるイメ`ジデ`タベ`スから函誼された蒙罿y協 したいイメ`ジから麻されたNSSNatural Scene Statisticベ`スの 蒙罿礼gの鉦xをy協します。
- 15. 鮫颪寄
- 20. SRGANと鮫嵎得
- 21. SRGAN GANをMみzんだ階盾顱SRGAN々 これまでCNNベ`スの返隈が嶄伉でしたが、r旗の送れもありGenerative Adversarial NetworksGANをMみzんだ階盾駟峽┐痢SRGAN々 (Super-Resolution Using GAN)が戻宛された。2016定9埖 1. ResNetによるかいエラ`を俐屎する侮いネットワ`ク 2. Style Tranferにも聞われているContent Lossを深]することで 愔瓦臨醫ゞ\`餓を喘いたものよりも、"麼Q議"な階盾颪鯰个 3. GANを秘しAdversarial Lossを深]してさらに麼Q議なuを佩う 4. Deconvolutionの旗わりにPixel Shuffle Layerを秘し互堀かつ_な 鮫颪鯢撹する
- 22. 皆檎赫粥鰻のネットワ`ク
- 23. 皆檎赫粥鰻のネットワ`ク
- 24. ResNetの旋喘 convolutionを宥る/宥らないの2つのパスがあるResidual夛 圻猟は "Deep Residual Learning for Image Recognition" MSRAからk燕され、2015/12の鮫騁JRコンペテ値璃 を尅るったネットワ`クの猟 ネットワ`クを侮くするときに、駅ずしもその弖紗蛍のレ イヤ`を聞わず、バイパスするル`トも Oけることで、gなネットワ`クから侮いネットワ`クに 錆らかに篁するもの。
- 28. Content Loss秘の嘘尚 そこで、まず秘したのが、ピクセルg了でo尖やり栽わせようとすることを やめて、もっとざっくりした蒙罿魃蹐靴討れるContent Lossを旋喘する ということ。 ここでいうContent Lossというのは、鮫騁JRのためにトレ`ニングされた eのネットワ`クに、階盾颪噺濬睿颪裡欧弔了颪鰺┐靴吹瓩痢 嶄g嗟平の屈\`餓を峺す。 Content Lossの恷弌晒}にしたことで誼られたのは、 "だいたいあってる鮫"を恬る嬬薦であり、 それだけでは頭返鯛ちで、 やはりぼやけた鮫颪砲覆辰討靴泙Α
- 31. Pixcel Shuffler Pixel Shuffler は屎塀には Sub-Pixel Convolution 秘薦蒙羀泪奪廚慮ピクセルをKべ紋えて互盾餠箸別羀泪奪廚魍薦する。 チャンネルの侮さをサイズにQする。 秘薦マップの互さを Hin 、嫌を Win とし、竃薦マップのチャネル方を Cout , 寄蔚楕を r とします。 猟の蹐砲茲襪函參和のように秘薦マップをKべ紋えて互盾颪奮薦を 誼ます。 このKべ紋えのI尖を佩うv方をPSとすると、PSは 秘薦されたCout ?r2 〜Hin 〜Win の蒙羀泪奪廚 Cout 〜rHin 〜rWin に簧里靴導薦します。 箭えば秘薦マップが8〜2〜2 蔚楕r=2 の栽、竃薦マップは2〜4〜4 となり、 2蔚に寄されたものが竃薦されます。
- 32. Pixcel Shuffler
- 36. 岑瞳嵎と浴みのトレ`ドオフ
- 37. The Perception-Distortion Tradeoff 貧の}に彭朕し、この岑瞳|とPNSRのvS來を協楚議にuした 猟が和 [1711.06077] The Perception-Distortion Tradeoff 勣泣 ?階盾颪砲いて岑瞳|と浴みにはトレ`ドオフがある ★岑瞳|と浴みの娼業をお札いに互めることはできない
- 39. uY惚 これらのメトリックにvして恷除の階盾駟峽┐砲弔いgYしたY惚 このgYでは、仝Ma et al.々という岑スコアでu ?PSNR/SSIMで互娼業が竃ているモデルEDSR NTIRE2017コンペティション のWinning Solution などは仝Ma et al.々では娼業が詰い。 ?剃にSRGANやEnhanceNetなどのモデルはPSNRの娼業は詰いものの、 仝Ma et al.々は互いことがて函れます。
- 40. uY惚 kSで和に佩くほど、 Ma et al. の峺砲互く、 岑瞳|が互い。 匯圭、罪Sで恣へ佩くほど SSIMの峺砲互く、浴みの 瞳|が互い。
- 42. Perceptual score ECCV 2018 PIRM Workshop 階盾颪離灰鵐撻謄ションにて 岑瞳|の浴みのトレ`ドオフの}を未まえて、愔瓦淋u樫業とは なり仟しいメトリックが秘された。
- 43. 歌深猟 GANによる階盾颪もたらす仟しい圭鯰圓函 The Perception-Distortion Tradeoff々の http://keiku.hatenablog.jp/entry/2018/07/22/220158 The Perception-Distortion Tradeoff https://arxiv.org/abs/1711.06077 Image Super-Resolution Using Deep Convolutional Networks 2014定12埖 https://arxiv.org/abs/1501.00092 Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network https://arxiv.org/abs/1609.04802 鮫殆の温寂Nearest neighbor,Bilinear,Bicubic http://imagingsolution.blog.fc2.com/blog-entry-142.html
- 44. 歌深猟 Learning a No-Reference Quality Metric for Single-Image Super-Resolution https://sites.google.com/site/chaoma99/sr-metric Learning a No-Reference Quality Metric for Single-Image Super-Resolution Learning a No-Reference Metric for Single-Image Super-Resolution - Chao Ma's Homepage イメ`ジ鮫|メトリクス https://jp.mathworks.com/help/images/image-quality-metrics.html#mw_f900794d-c956-452e-83bf-9b2224 a5773b Making a ｀Completely Blind¨ Image Quality Analyzer https://live.ece.utexas.edu/publications/2013/mittal2013.pdf
- 45. 歌深猟 Deconvolutionの旗わりにPixel Shufflerを聞う http://musyoku.github.io/2017/03/18/Deconvolution%E3%81%AE%E4%BB%A3%E3%82%8F%E3%82%8 A%E3%81%ABPixel-Shuffler%E3%82%92%E4%BD%BF%E3%81%86/ Deconvolution and Checkerboard Artifacts https://distill.pub/2016/deconv-checkerboard/