社内論文読み会 20180316 - Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
- 1. Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros 20180316 社内論文読み会 @ciela 1
- 3. 今日のお話：CycleGAN ● 教師データの明示的な準備を行うことなく、2ドメイン間の相互変換における復元損 失を活用した Image-to-Image ○ 前報 pix2pix の非ペア制約版 ● 既存の非ペア制約手法との優位性 ○ タスクに非依存、類似度関数定義いらず ● ICCV 2017 採択 ○ https://youtu.be/AxrKVfjSBiA pix2pix CycleGAN 3
- 4. 関連技術 ● Generative Adversarial Networks（GANs） ○ ノイズ分布から画像生成するネットワークと本物?贋作の判別ネットワークの組み合わせによる敵 対的学習によって本物っぽい画像を生成 ● Image-to-Image Translation ○ 画像ドメイン同士の差異を学習し、片側のドメインをもう一方のドメインに即する形で画像変換 ● Neural Style Transfer ○ コンテンツ画像とスタイル画像を用意し、スタイル画像の画風のみをコンテンツ画像の被写体へと 反映することでスタイル画像の画風のみを転送する 4
- 5. 概要図と損失関数 5
- 7. 敵対的損失 通常の GAN との違いは D に食わせているのが潜在ノイズデータではなく、 自ドメインからのデータおよび、もう片方のドメインからのデータを G で変換したデータ であること。 F: Y -> X についても同様。 G: X -> Y についての敵対的損失は下記のように定式化。 7
- 9. 復元損失 それぞれのドメインからのデータを相互に変換した際のオリジナルとの差異 の期待値の和。 ちなみに L1 を敵対的損失に置き換えて実験してもみたそうだが 改善には繋がらなかったとのこと。 9
- 10. 損失関数最適化 全部ひっくるめて目的関数が出来上がったのであとは変換器と判別器とで mini-max 。 それで得られる変換 G*, F* が CycleGAN による学習結果となる。 10
- 11. 実装と学習 ● 変換器（G, F）: Fast Neural Style ○ https://github.com/jcjohnson/fast-neural-style/ ● 判別器（D_X, D_Y）: PatchGAN ○ https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix ● Adam with batch size 1 ● 200 エポック ● 学習係数 ○ 前半: 0.0002 ○ 後半: 0.0002 ? 0（線形減衰） 11
- 13. 結果と評価（FCN Score） Label -> Photo: 生成画像に対して FCN で Semantic Segmentation を取り精度と IoU を算出 Photo -> Label: 一般的な Segmentation 能力としての精度と IoU を算出 13
- 15. Identity Mapping 損失 写真を変換するような場合に置いて色味の保存に 役立つ。 G, F をそれぞれ自分自身のドメインに対して 行った際に変化が起きないように損失化。 15
- 16. 失敗作 16
- 17. 応用?課題?まとめ ● 応用 ○ 画風スタイル変換 ○ 物体変換 ○ 季節変換 ○ イラストからの写真生成 ○ 写真加工 ● 課題 ○ 犬 <-> 猫みたいな外見変化の考慮 ○ pix2pix みたいな教師あり手法には勝てそうにない ● まとめ ○ まぁでも教師なしで出来るのはデータ準備の手間あまりかからないし嬉しいよね 17
- 18. おしまい 18