狠狠撸

狠狠撸Share a Scribd company logo

社内論文読み会 LADN: Local Adversarial Disentangling Network for Facial Makeup and De-Makeup

?
?
K
Kazuhiro Ota

ICCV 2019 採択論文 LADN: Local Adversarial Disentangling Network for Facial Makeup and De-Makeup の論文紹介スライドです。 プロジェクトサイト: https://georgegu1997.github.io/LADN-project-page/

1 of 35
Download to read offline
LADN: Local Adversarial Disentangling Network for Facial Makeup and De-Makeup [Github] [Paper] [Dataset] Qiao Gu, Guanzhi Wang, Mang Tik Chiu, Yu-Wing Tai, Chi-Keung Tang 1 Kazuhiro Ota 社内論文読み会 Paper Friday Oct. 11, 2019
メイク 2
Virtual Makeup Apps http://global.meitu.com/en/products https://www.banuba.com/facearsdk 3
Virtual Makeup 参照画像で指定したメイクを Style Transfer することでメイク画像を生成 http://liusi-group.com/projects/BeautyGAN 4
メイク落とし 5
Virtual De-Makeup 6
Detecting Photoshopped Faces by Scripting Photoshop Sheng-Yu Wang1 Oliver Wang2 Andrew Owens1 Richard Zhang2 Alexei A. Efros1 1 UC Berkeley 2 Adobe Research Code [GitHub] ICCV 2019 [Paper] Virtual De-Makeup 今年の ICCV でも Photoshop 操作の推定と元画像の復元手法が採択 7
提案手法 LADN の特徴 メイク?メイク落とし両方について複雑かつ過激なスタイルのメイクにも対応 8
提案手法 LADN の特徴 メイク?メイク落とし両方について複雑かつ過激なスタイルのメイクにも対応 9
GAN ベースの既存手法と何が違うのか 画像内の部分領域（パッチ）を複数取得して本物の画像と生成された画像を 見分ける Local Discriminators を利用し、ロスに計上している（後述します） 10
GAN ベースの既存手法と何が違うのか 画像内の部分領域（パッチ）を複数取得して本物の画像と生成された画像を 見分ける Local Discriminators を利用し、ロスに計上している（後述します） 11 顔ランドマーク検出を利用して、 目?鼻?口あたりのメイクが施されている であろう顔領域の部分画像を取得
GAN ベースの既存手法と何が違うのか 画像内の部分領域（パッチ）を複数取得して本物の画像と生成された画像を 見分ける Local Discriminators を利用し、ロスに計上している（後述します） 12 顔ランドマーク検出を利用して、 目?鼻?口あたりのメイクが施されている であろう顔領域の部分画像を取得 ココらへんが“Local”
13 入力?参照それぞれの顔画 像からスタイル特徴（メイ ク）とコンテンツ特徴（顔の 構造など）を学習するよう なエンコーダをかませて、 それぞれの特徴を交換す るように結合して画像を生 成する Generator アーキテクチャ
14 入力?参照それぞれの顔画 像からスタイル特徴（メイ ク）とコンテンツ特徴（顔の 構造など）を学習するよう なエンコーダをかませて、 それぞれの特徴を交換す るように結合して画像を生 成する Generator アーキテクチャ 入力画像のコンテンツ 参照画像のスタイル メイク画像
15 入力?参照それぞれの顔画 像からスタイル特徴（メイ ク）とコンテンツ特徴（顔の 構造など）を学習するよう なエンコーダをかませて、 それぞれの特徴を交換す るように結合して画像を生 成する Generator アーキテクチャ 入力画像のスタイル 参照画像のコンテンツ メイク落とし画像
16 入力?参照それぞれの顔画 像からスタイル特徴（メイ ク）とコンテンツ特徴（顔の 構造など）を学習するよう なエンコーダをかませて、 それぞれの特徴を交換す るように結合して画像を生 成する Generator アーキテクチャ ココらへんが “Disentangling”
Local Discriminators アーキテクチャ 参照画像、疑似 Ground Truth となるワープ画像、生成画像の 3種類を入力とし、（参照画像，ワープ画像）のパッ チ ペアは同じメイク、（参照画像，生成画像）のパッチペアは異なるメイク と判別するように学習 17 2枚のパッチそれぞれの RGB 3チャンネルを 重ねて6チャンネルにして CNN へ入力 参照画像 ワープ 画像 生成画像
ワープ画像？ 顔面ランドマーク検出結果をもとに参照画像を入力画像へと 位置合わせして合成（幾何変換 +ブレンディング） することで 生成 [Chang, 2018] 単純な合成なのでアーティファクト（ノイズなど）も多いが、生 成結果がどうなっているべきかの指針にはなる 18 上図は Paired CycleGAN [Chang, 2018] より
K 個のパッチについての Discriminator による敵対的な Sub Loss を求めて合計をとる Local Discriminators Loss Function 19 参照画像 ワープ 画像 生成画像
Other Loss Functions Adversarial Loss （入力画像，メイク落とし画像）、（参照画像，メイク画像）それぞれの同ドメインの画像ペ アにおける Global な敵対的損失の合計 （パッチではなく画像全体でもいい感じの生成がされてほしい） 20
Other Loss Functions High-Order Loss ワープ画像と生成画像のパッチに対し、ラプラシアン（2次微分）フィルタを通した際の差分 値を損失化 （同じ色味変化やエッジ構造を保持させたい） 21 ワープ 画像 生成画像 Laplacian Laplacian エッジ検出 （論文には図ないのでイメージです）
Other Loss Functions Smooth Loss メイク落とし画像のパッチに対してラプラシアンフィルタをかけて損失化 (メイク落とし画像が高周波成分を保持してほしくない） 22 Laplacian エッジ検出※実際はパッチに対し適用 （論文には図ないのでイメージです）
Other Loss FunctionsReconstruction Loss 入力画像のスタイル?コンテンツ両方共同じド メインへの Generator に入力した際に得られ る生成画像がもとの入力画像に近いこと 23 生成画像を Generator に入力して得られる生成画像がも との入力画像に近いこと
Other Loss Functions KL Loss スタイルベクトルと標準正規分布の KL-div. を損失化 （スタイルエンコーダの出力値が正規分布と近くあってほしい） 24
Other Loss Functions Total Loss 25
Experiments Data Collection ● 殆どのデータセットは認識タスク向け ○ 顔メイクのラベルとか基本ない ● メイクのための公開データセットもあるにはあるが、解像度が不十分 ○ また、商用ソフトで作成されてたりして、メイクスタイルのバリエーションが限られている よって、インターネッツから高品質なデータを集めて、独自のデータセットを構築することに 1. 顔ランドマーク検出を用いて正面を向いてる顔画像のみを抽出 2. それらの何枚かにおいて、アイシャドーと唇の領域の彩度ヒストグラムに基づいたラベル付を行い、簡単 な分類機を学習 3. 分類器を用いて残りの画像を分類 結果、333枚のメイク前画像と302枚のメイク済み画像を手に入れた 加えて、今回対象としている過激なメイクのために、手作業でそういった画像も 115枚収集し、メイク済み画像へ と追加した 26
27 メイク前
28 メイク済み
Experiments Training Details ● 画像サイズ: 512x512、パッチサイズ: 102x102 ● パッチ数 K: 12 ロス係数や学習スケジューリングについては載せるの面倒かったので論文参照してください??? 29
Experiments Local Discriminators 本論文のウリであるパッチによる Local Discriminators の効果の確認 過激なメイクを転送する上で、パッチを 増やすことが仕上がりの改善につなが ることがわかる 30
Experiments Makeup Transfer & Removal Results 31
Experiments Qualitative Comparison 既存手法との比較 32 Liao らの手法ではメイク情報が失われており、Guo らの手法はアーティファクトが発生、また顔面同士の 完全な位置合わせを必要とする LADN はラフな顔ランドマークのみを利用
Experiments Interpolated Makeup Styles 2種のメイクスタイルベクトルをアルファブレンドして利用することでメイクの補間も可能 33
Limitations メイク画像が局所的にはのっぺりしていてもパッチ間での差異が激しかったりする と Smooth Loss が効きづらくなる 34 顔の半分ごとに塗り分けられていたメイクをご丁寧に半分 ごとに落としたかのような結果に さらに Smooth Loss によってホクロが取れてしまった （まぁ過激なメイクの一部と見えんくもないが???）
LADN: Local Adversarial Disentangling Network for Facial Makeup and De-Makeup [Github] [Paper] [Dataset] Qiao Gu, Guanzhi Wang, Mang Tik Chiu, Yu-Wing Tai, Chi-Keung Tang 35 Kazuhiro Ota 社内論文読み会 Paper Friday Oct. 11, 2019 おしまい

More Related Content

社内論文読み会 LADN: Local Adversarial Disentangling Network for Facial Makeup and De-Makeup