颁测肠濒别骋础狈で颜写真をアニメ调に変换する
?
4 likes?6,181 views
アカウント無pdf DL: https://speakerdeck.com/meow_noisy/cyclegan-selfie2anime 2019年11月13日(水)にコワーキングスペース秋葉原Weeybleにて開催された『機械学習 & Pythonもくもく会 + LT』でLTとして発表した資料です。 https://weeyble-data.connpass.com/event/155143/
![[導入]pix2pix
? 入力をノイズではなく、画像にすることで画像変換を実現
/
cvpaperchallenge/gan-133159239
GeneratorにはU-Netを使用](https://image.slidesharecdn.com/safecyclegan-191111124157/85/CycleGAN-8-320.jpg)
![[補足] CycleGANのloss
? Generatorの学習の際に、cycle-consistency lossを導入し、
変換した画像をもう一回逆変換させて、元の画像に戻す能
力を獲得するようにしていることが特徴
https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix/blob/master/models/cycle_gan_model.py
図は元論文のもの
https://arxiv.org/pdf/1703.10593.pdf](https://image.slidesharecdn.com/safecyclegan-191111124157/85/CycleGAN-13-320.jpg)
颁测肠濒别骋础狈で颜写真をアニメ调に変换する
- 1. CycleGANで顔写真を アニメ調に変換する取り組み 機械学習 & Pythonもくもく会 + LT@秋葉原Weeyble meow (id: meow_noisy) 2019/11/13(水)
- 3. おしながき ? GAN, CycleGANとは ? 公式颁测肠濒别骋础狈の使い方 ? 颁测肠濒别骋础狈を用いた蝉别濒蹿颈别2补苍颈尘别 ? 取り組み1: とりあえずやってみた編 ? 取り組み2: データを増やした編 ? 取り組み3: むりやり特定画像に特化させた編 ? 今後の取り組み
- 9. pix2pixの制約 ? pix2pixを使った画像変換を行うためには、ピクセル同士の 対応が必要 ? 下図はGoogle Mapsの航空画像とGoogle Maps地図
- 10. pix2pixの応用可能性 ? 一方の変換は楽に行えるが、その逆は難しいという時に 強力。復元過程をモデルが学習できる可能性がある タスク例 処理 入力画像 出力(生成)画像 デノイジング ノイズを付与 ノイズをまぶした 画像 元の画像 (線画)彩色 カラー → グレー (or2値) グレー(or2値)の 画像 元の(カラー)画像 超解像 画像の解像度を落 とす 解像度を落とした 画像 元の画像 画像A 画像B 処理 簡単? 復元 困難? 画像Aから画像Bをつくるだけで、 画像B→画像Aへの復元過程を獲得できるかも???!
- 13. [補足] CycleGANのloss ? Generatorの学習の際に、cycle-consistency lossを導入し、 変換した画像をもう一回逆変換させて、元の画像に戻す能 力を獲得するようにしていることが特徴 https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix/blob/master/models/cycle_gan_model.py 図は元論文のもの https://arxiv.org/pdf/1703.10593.pdf
- 14. 公式颁测肠濒别骋础狈の使い方
- 15. 必要なもの ? Linux マシン ? GPU(グラフィックボード)必須 ? Video RAMは最低限4GBはほしい ? Deep Learning 開発環境、ライブラリのインストール ? CUDA ? CuDNN ? 変換元、変換先の画像 ? 変換元の画像を1つのディレクトリにまとめておく ? 変換先の画像を1つのディレクトリにまとめておく ? お金 ? Deep Learningは電気代との相談 おそらくGoogle Colaboratoryでもできると思うが未確認
- 16. セットアップ ? 必要なら、pythonの仮想環境を作る ? githubから公式のCycle GANリポジトリをクローン ? https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix ? pythonパッケージをインストール ? $ pip install –r requirements.txt ? 自分のCUDAバージョンによっては、最新のPyTorchが入らないこ ともある。だめだったら、torch==1.0.1にしてみる
- 17. コードの微修正 ? ${repo_root}/data/image_folder.py ? 画像ディレクトリへのシンボリックリンクが使えるようにする ? 25行目のassert文をコメントアウトする ? 27行目のos.walk()のオプション引数に”followlinks=True”を追加
- 18. 画像の配置 ? ${repo_root}/dataset/<データセット名>/ ? 変換元の画像ディレクトリをtrainAという名前にする ? シンボリックリンクでもよい ? サブディレクトリがあってもよい ? 現行のコードはディレクトリ名に敏感なのでtrainAという名前は固定 ? 同じく変換先の画像ディレクトリもtrainBという名前にする ? AとBが逆につけてしまっても大丈夫 ? A→Bだけでなく、B→Aの変換のネットワークも学習してくれる ? 画像がないなら、とりあえずgoogle mapsの画像を落としてこよ う ? $ bash ${repo_root}/datasets/download_cyclegan_dataset.sh maps
- 19. 学習の実行 ? $ python ${repo_root}/train.py ? --dataroot ./datasets/<dataset_name> ? --name <任意のmodelの名前> ? --model cycle_gan ? 中間結果はhttp://localhost:8097で見れる ? lossは上下するので、学習の収束の判断基準にならない ? 一定iter(デフォルトは5,000)の後、モデルのスナップショッ トが、 ${repo_root}/checkpoints/<任意のmodelの名前>下に 吐かれる ? スナップショットを得た後、学習を中断し、再開したい場合は “—continue_train”をオプションにつける
- 20. 学習時のその他のオプション ? マシンに複数個のGPUを指しているならデータ並列の分散 学習も可能 ? 使用GPUとバッチサイズを増やすオプションをつければ 自動的に分散学習してくれる ? --gpu_ids=0,1,... ? --batch_size=2 ? デフォルトでは1。Video RAM4GBあたり1枚増やせる感じ。
- 21. 評価の実行 ? ${repo_root}/dataset/<データセット名>/testA ディレク トリを作る ? $ python ${repo_root}/test.py ? --dataroot ./datasets/<dataset_name> ? --name <任意のmodelの名前> ? --model cycle_gan ? 結果はHTMLファイルで吐かれる ? ${repo_root}/results/<任意のmodelの名前>/test_latest/index.html ? real_A: 変換元の画像 ? fake_B: real_Aを変換した画像 ? rec_A: fake_Bをさらに、変換元になる変換をしたあとの画像 ? 基本的にはreak_Aとほぼ一致しているはず
- 23. selfie2animeとは ? 顔写真をアニメ調に変換してくれるWebアプリの名前 ? https://selfie2anime.com/ ? 無料。 ? ただし、本スライドでは、この変換技術自体を、 selfie2animeと呼ぶことにする
- 25. 先行事例 ? CycleGANの事例はすでに報告がある(ただし失敗とのこと) ? CycleGANはテクスチャの変換はできるが、物体のデフォルメは難しい ? https://www.youtube.com/watch?v=UDT_2lHv8o8
- 26. 取り組み1: とりあえずやってみた編 ? 何はともあれ追試のような形でCycleGANで画像変換を やってみよう ? selfie画像: CelebA dataset ? http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html ? CUHKのmmlabが提供する顔画像データセット ? 合計約200,000枚ある ? Celebというだけあって、名の通った人(習近平主席など)が混ざっ ているので取り扱いには注意 ? アニメ画像: animeface-character-dataset ? http://www.nurs.or.jp/~nagadomi/animeface-character-dataset/ ? 約200名のアニメキャラクターの画像 ? 合計約15,000枚ある
- 27. 結果① ? 1epochだけ ? fake_Bが、確かにテクスチャは変わってる気がするが、大きな変 化はなし ? rec_Aの復元度合いが悪いのでepochが足りないのかと 思い、もう2epoch回したが進展なし
- 29. 取り組み2: データを増やした編 ? データセットに偏り ? selfie側が20万、anime側が1.5万 ? anime側のデータセットを増やしたい ? 1からアニメ画像を用意するのは大変 ? → 自動生成されたアニメ画像で代用しよう
- 30. TWDNEv2 ? “This Waifu Does Not Exist v2” ? https://www.thiswaifudoesnotexist.net/ ? Style GANで存在しないアニメキャラクターを自動生成 したものの展示サイト ? 15秒おきに画像が更新される
- 31. TWDNEv2からの画像の取得 ? zipのリンクはuploader側に消されていた ? htmlを見るに、ファイルが連番になっているので、インク リメンタルにファイルをダウンロードした ? 合計175,000枚をダウンロードした ? ダウンロード間隔を2.5秒開けたので数日かかった
- 32. 取り組み2におけるモデル学習 ? anime側にTWDNEv2を混ぜる ? また、12.5epoch回した ? 部屋がデフォルト暖房状態になった ? 翌月の電気代も500円くらい上がった気がする
- 34. CelebA datasetに対する結果 ? 理想に近い結果が出ている。輪郭に沿ってパーツが変化。 ? テクスチャしか変换できないというわけではなさそう
- 35. 自分に対しての結果 again ? train画像の埋め込みっぽさはなくなった ? 面白みが薄れた
- 37. 取り組み3: むりやり特定画像に特化させた編 ? lenna画像でうまく行かない原因と考えられること ? lenna画像とCelebA datasetのテクスチャが違うのでは ? → lenna画像だけをtrainAにしたディレクトリをつくり、 lenna画像に特化したGeneratorを学習しよう trainA
- 39. 今後の取り組み ? 顔のパーツが消える問題に対処したい ? 顔のパーツ検出器を間に挟んで、検出できなかったらlossを大きく する、的なことを考えている ? テクスチャ依存(?)問題 ? CelebAというドメインを学習してしまっているのだろうが、 どうすればいいかわかっていない ? いずれ取り組みたい
- 41. まとめ ? CycleGANの理論、実践について説明した ? CycleGANはお手軽でかつ面白い結果が出る可能性があるので オススメ ? CycleGANでselfie2animeする取り組みを説明した ? なんとかlennaの変換に成功 ? もう少し安定して結果を出せるようにしたい ? 興味ドリブン開発はいいぞ!
- 42. 参考文献 ? 敵対的生成ネットワーク（GAN）/ ?岡 裕雄 ? /cvpaperchallenge/gan-133159239 ? GANのまとめスライド ? PyTorchニューラルネットワーク 実装ハンドブック ? https://www.shuwasystem.co.jp/book/9784798055473.html