CVPR2017勉強会 Disentangled Representation Learning GAN for Pose-Invariant Face Recognition
?
7 likes?3,010 views
CVPR2017輪読会(2017/7/8)の資料 ただ、もう新しい論文が出てるのでそっちを読みました。 Representation Learning by Rotating Your Faces
![予備知識１: 顔認証ベンチマーク
CVPR2017輪読会
8
? 最近の顔認証：MegaFace?IJB-A
– 超ワイルド顔認証用のDB
– 少し前までLFWがメジャーだったけど…
? MegaFace [Klare+, CVPR2016]
– University of Washingtonの人たちが作った
– 100万人の中からある人物を検索する顔認証ベンチマーク
? 最近、MegaFace2も出た [Nech+, CVPR2017]
? IJB-A [Kemelmacher-Shlizerman+, CVPR2015]
– NIST（アメリカ国立標準技術研究所）の人たちが作った
– 複数画像vs複数画像の顔認証ベンチマーク
? 最近、IJB-Bも出た
類似度
特徴量特徴量](https://image.slidesharecdn.com/cvpr2017-170708024442/85/CVPR2017-Disentangled-Representation-Learning-GAN-for-Pose-Invariant-Face-Recognition-8-320.jpg)
CVPR2017勉強会 Disentangled Representation Learning GAN for Pose-Invariant Face Recognition
- 1. Disentangled Representation Learning GAN for Pose-Invariant Face Recognition @51takahashi
- 2. Representation Learning by Rotating Your Faces @51takahashi
- 3. ? さのまる ? @51Takahashi ? 顔認証の研究開発やっています ? 今回の発表は所属組織と関係ありません 自己紹介 CVPR2017輪読会 3
- 4. はじめに CVPR2017輪読会 4 ? CVPR2017の顔関連の研究はどれくらい？ – 検索条件: タイトルから手動で判定 ? 783件中38件 ? 全部は読めてません（まだ読めません）
- 5. はじめに CVPR2017輪読会 5 ? CVPR2017の顔関連の研究はどれくらい？ – 検索条件: タイトルから手動で判定 ? 783件中38件 ? 全部は読めてません（まだ読めません） – 研究動向 ? 3D顔モデル推定 7件 ? 顔属性認識(表情とか) 7件 ? 顔画像処理(超解像とか) 6件 ? 顔認証 6件 ? 顔特徴点検出 4件 ? 顔検出 3件 ? 姿勢推定 2件 ? 読唇 1件 ? データセット 1件 ? カラーキャリブレーション 1件
- 6. はじめに CVPR2017輪読会 6 ? CVPR2017の顔関連の研究はどれくらい？ – 検索条件: タイトルから手動で判定 ? 783件中38件 ? 全部は読めてません（まだ読めません） – 研究動向 ? 3D顔モデル推定 7件 ? 全盛期 ? 顔属性認識(表情とか) 7件 ? ディープで殴る系 ? 顔画像処理(超解像とか) 6件 ? ディープで殴る系 ? 顔認証 6件 ? 超ワイルド顔認証が流行 ? 顔特徴点検出 4件 ? 停滞期？ ? 顔検出 3件 ? 超ワイルド顔検出が流行 ? 姿勢推定 2件 ? 停滞期？ ? 読唇 1件 ? !? ? データセット 1件 ? 毎年新しいのが出てる ? カラーキャリブレーション 1件 ? !?
- 7. 論文の概要 CVPR2017輪読会 7 ? タイトル – Disentangled Representation Learning GAN for Pose-Invariant Face Recognition – 顔向きに頑健な顔認証のための、GANによる分解表現学習 ? どこの研究？ – Michigan State Universityの人たち（この大学は顔認証で有名） ? どんな研究？ – GANで顔認証の特徴量を学習しよう！ ? どんな手法？ – 顔画像を入力して、その本人の任意の向きの顔を出力するGANを学習 ? Gで正面顔に変換して、その画像から特徴量を学習…しない！！ ? 正面顔を生成するGの中間表現が特徴量として有効 ? どんな結果？ – 正面と横顔との照合性能が高い ? IJB-AデータセットでSOTA（当時）
- 8. 予備知識１: 顔認証ベンチマーク CVPR2017輪読会 8 ? 最近の顔認証：MegaFace?IJB-A – 超ワイルド顔認証用のDB – 少し前までLFWがメジャーだったけど… ? MegaFace [Klare+, CVPR2016] – University of Washingtonの人たちが作った – 100万人の中からある人物を検索する顔認証ベンチマーク ? 最近、MegaFace2も出た [Nech+, CVPR2017] ? IJB-A [Kemelmacher-Shlizerman+, CVPR2015] – NIST（アメリカ国立標準技術研究所）の人たちが作った – 複数画像vs複数画像の顔認証ベンチマーク ? 最近、IJB-Bも出た 類似度 特徴量特徴量
- 9. 予備知識2: DeepFace?DeepID CVPR2017輪読会 9 ? ディープラーニングを使った顔認証 – 学習方法 ? n人の学習データをnクラス分類するようにネットワークを学習 – 顔認証方法 ? 最後の隠れ層の出力を特徴量として利用 ? 特徴量のコサイン類似度を計算することで顔認証の類似度になる DeepID, CVPR2014 Bottleneckとも
- 26. 面白いところ CVPR2017輪読会 26 ? 正面顔を生成してDの出力を特徴量として利用するより、Gencの出力 f(x)を利用したほうが性能がいい – IJB-Aの場合、TAR@R1で86.1% → 90.1% – Gの中間表現が、実は表現学習に有効 ? DR-GANでは、DよりGの方が支配的 – 学習が収束したら、GencをDにすり替えて再学習すると性能が上がる – 何が起こってるのかは不明
- 27. 実験結果: IJB-A CVPR2017輪読会 27 ?DR-GAN(avg.)は、Single DR-GAN＋平均類似度を利用したもの ?DR-GAN(fuse)は、Multi-image 顿搁-骋础狈を利用したもの
- 28. 論文のまとめ CVPR2017輪読会 28 ? タイトル – Disentangled Representation Learning GAN for Pose-Invariant Face Recognition – 顔向きに頑健な顔認証のための、GANによる分解表現学習 ? どこの研究？ – Michigan State Universityの人たち（この大学は顔認証で有名） ? どんな研究？ – GANで顔認証の特徴量を学習しよう！ ? どんな手法？ – 顔画像を入力して、その本人の任意の向きの顔を出力するGANを学習 ? Gで正面顔に変換して、その画像から特徴量を学習…しない！！ ? 正面顔を生成するGの中間表現が特徴量として有効 ? どんな結果？ – 正面と横顔との照合性能が高い ? IJB-AデータセットでSOTA（当時）
- 29. おつかれさまでした