狠狠撸

狠狠撸Share a Scribd company logo

JSAI2018 類似度学習を用いた敵対的訓練による 特徴表現の検閲

?Download as PPTX, PDF?
?
Yusuke Iwasawa
Yusuke Iwasawa

類似度学習を用いた敵対的訓練による 特徴表現の検閲

1 of 25
Download to read offline
[JSAI, 3A1-05] 類似度学習を用いた敵対的訓練による 特徴表現の検閲 東京大学 岩澤有祐，松尾豊
DNNと公平性?プライバシー 2 X YDNN 画像 動画 音声 テキスト 慣性センサ 入力 出力ブラックボックスな関数f Pros: 良い認識精度 ? 例：画像認識，機械翻訳 ? 大量データをもとに実用的に Cons: ブラックボックス ? 例：公平性、プライバシー ? 社会的制約をどう組み込む？
特徴表現の検閲 (Censoring Representations) ? 公平性 [Kamishima, 10; Louizos, 16] –社会システムとしてML/DLを使うことを考える –性別や思想(=S)に依存した意思決定× ? プライバシー [Edward, 16; Iwasawa, 17] –データに個人に関する情報が過剰に残る場合がある –個人に関する情報（例えば病気の有無）だけを消したい 3 = 特定の情報Sを利用しないような表現を学習する
実現方法：違反度合いに関する正則化 4 X Y 画像 動画 音声 テキスト 慣性センサ 入力 出力 + 方法1：統計的な尺度 - Maximum Mean Discrepancy - [Zemel, 13] [Louizos, 16]など 方法2：AFL ? 今回 - 敵対的訓練を利用する - 分類器で違反度合いを測る 中間層に制約
関連研究：Adversarial Feature Learning (AFL) 5 Samples E Encoder z M D X y s Discriminator Classifier 特徴量zから消したい情報Sを 識別（|s|クラス分類） Dを騙すよう にEを更新
関連研究：AFLの応用例とその問題 ? [Edward 16]：2クラスの場合にAFLを適用 ? [Xie 17, Iwasawa 17]：連続値?多クラスにAFLを適用 –公平性[Xie 17]：年齢に依存しないように –プライバシー[Iwasawa 17]：ユーザIDに表現が依存しない ように（匿名表現の学習） ? （欠点）Sが複雑だとDの精度が落ちる => 性能劣化 ? （欠点） ＋騙すのも簡単 （10クラス分類だと、9個のどれかにずらせば良い） 6
提案法：類似度学習に基づくAFL 7 Samples E Encoder E tied z1 z2 z’ M D M X1 X2 y1 g y2 tied Classifier Discriminator 2つのzが同じSに 属するかを判定 Dを騙すよう にEを更新
AFLと提案法の対比 ? 共通点：Discriminatorを騙すことでZからSを消す ? 異なる点：Discriminatorの設計 –AFL：Z->Sの分類器を作る –提案：２つのサンプルが同じSかを判定 （類似しているかを判定可?情報を持っていると判断） ? 想定される利点 –（利点、検証）Sによらず2クラス分類になり安定 ? より良くZからSを消せる （実験で検証） –（利点、未検証）GANの発展手法も素直に利用可能 8
関連研究：類似度学習 ? 2つのサンプルX1, X2が類似しているかを判定 – 顔認証 [Pharkhi 15] – Geo Localization [Lin 15, Vo 16] – 類似画像検索 [Wang 15] ? 本研究：類似度学習の応用 10 応用例：Cross View Verification [Vo 16]
類似度学習の具体的な方法 ([Vo, 16]) 11 Classification Based Euclidian Based (a) Xで分類、(b)Zで分類、(c) Zで距離、(d) Triplet損失 ※ その他にもAngular損失 [Wang 17]など [Vo 16]の結果を参考に Z上での分類するモデルを利用
（再掲）提案法：類似度学習に基づくAFL 12 Samples E Encoder E tied z1 z2 z’ M D M X1 X2 y1 g y2 tied Classifier Discriminator 2つのzが同じSに 属するかを判定 Dを騙すよう にEを更新
学習ステップ１：Discriminatorの学習 13 Samples E Encoder E tied z1 z2 z’ M D M X1 X2 y1 g y2 tied Classifier Discriminator EとMは固定してDのみ更新 Zのペアが同じs then g = 1
学習ステップ２：E+Mの更新 14 Samples E Encoder E tied z1 z2 z’ M D M X1 X2 y1 g y2 tied Classifier Discriminator Dを固定してE+Mを更新 1. Mがyを予測しやすいように 2. Dがgを予測しにくいように
E+Mの更新の定式化 最終的な最適化 Similarity Confusion Loss 15 ※λは重み付けパラメータ 別sを同sと判定 同sを別sと判定 ※輸送距離など別の損失を利用しても良い※[Goodfellow, 14]とほぼ同じ
実験：ウェアラブルセンサデータの匿名化 16 表現 行動ラベル ユーザラベル Random ? ? DNN’s feature ◎ ◎ Desired ? or ◎ ? [Iwasawa, 17] ? 入力：加速度 | ジャイロ ? 理想：行動ラベルは予測できる & ユーザラベルは予測できない ? トレードオフを評価
タスク詳細 ? データセット：USCデータセット –入力：3軸加速度センサ + ジャイロ –行動ラベル：12クラス（歩く、走るなど基本行動） –ユーザ数：14（10人を既知ユーザ、4人を未知ユーザ） ? 評価項目１（Y認識精度、Y-Acc） –既知ユーザに対する予測精度 –未知ユーザに対する予測精度 ? 評価項目２（匿名度合い、U-Acc） –外部分類器による予測精度（Lower is Better） 17
ネットワーク構造 [Iwasawa, 17] ? E：畳み込み?3＋全結合層（1600ユニット） ? M：ロジスティック回帰 ? D：800-400を中間層に持つ全結合NN 最適化 ? RMSprop(学習率 = 0.0001）、バッチサイズ=100 ? 100,000 iteration、1,000ごとにD ? E+M ? 学習サンプルは、同ドメイン、別ドメインを均等にサンプル ? λは複数比較 18
学習曲線の比較：CNN、AFL、SCT（提案） 19 未知Y 匿名度 CNN AFL SCT（提案）
学習曲線の比較：CNN、AFL、SCT（提案） 20 未知Y 匿名度 CNN AFL SCT（提案） 学習につれて U-Acc上昇
学習曲線の比較：CNN、AFL、SCT（提案） 21 未知Y 匿名度 CNN AFL SCT（提案） 学習につれて U-Acc上昇 上昇は抑制
学習曲線の比較：CNN、AFL、SCT（提案） 22 未知Y 匿名度 CNN AFL SCT（提案） 学習につれて U-Acc上昇 上昇は抑制 U-Acc減少 （より不変に）
パラメータ固定での比較 23 既知ユーザ 未知ユーザ 提案法が良い トレードオフ 提案法が良い トレードオフ U-Acc U-Acc※既知?未知Yが0.02%減少以下で最もU-Accが低いλに固定
学習曲線の比較：提案法の亜種 24 SCT LSM LSM （Learned Similarity Maximization) - 別Yは近づいてほしくない ? グループを工夫 - D：同S同Yを1、他を0 - E ：同Yを1、別Yを０ U-Acc 同Y-AccでU-Acc減
まとめ?貢献 ? 敵対的類似度学習という新たな枠組みを提案した – 類似度学習と敵対的訓練という２つの分野をつなぐ研究 => 将来的には、双方の発展手法を利用可能 （例：Tripplet損失、Wasserstein） ? 匿名表現を学習するタスクにおいて、既存手法と比較した 優位性を確認した – 従来の敵対的訓練より、優れたトレードオフを実現 ? 想定応用先： 言語不変な表現の学習、モダリティ間の共有表現 25
Appendix: Eの更新前と後の比較 26 更新前 更新後 CNN AFL SCT（提案） 不安定気味 大きく劣化 λ大きいと×

More Related Content

JSAI2018 類似度学習を用いた敵対的訓練による 特徴表現の検閲

Editor's Notes

  • #2: - 短縮URL - イントロ修正 結果追加 文字追加
  • #4: Demographic Parity、Equall Oddsに拡張する研究もある（が、yの分布は変わらないと仮定してもいい気がする）
  • #17: Also, we propose the countermeasure for this problem. To think about the countermeasure, it is important to considering the tradeoff between privacy-protection and usufulness.
AboutCopyright
? 2025 狠狠撸