![第二回ザッピングセミナー 原聡
“機械学習の説明”の有名な方法：LIME
n Why Should I Trust You?: Explaining the Predictions of
Any Classifier, KDD'16 [Python実装 LIME; R実装 LIME]
? どの特徴が予測に重要だったかを提示する。
? モデルを説明対象データの周辺で線形モデルで近似する。
- 線形モデルの係数の大小で、各特徴の重要度合いを測る。
5
Why Should I Trust You?: Explaining the Predictions of Any Classifierより引用
準備](https://image.slidesharecdn.com/zapping200830public-200830074700/85/-5-320.jpg)
![第二回ザッピングセミナー 原聡
Fairwashing: the risk of
rationalization
Ulrich A?vodji, Hiromi Arai, Olivier Fortineau,
Sébastien Gambs, Satoshi Hara, Alain Tapp
14
研究1
ICML’19
[Python実装 LaundryML]
[資料 狠狠撸 & Video]](https://image.slidesharecdn.com/zapping200830public-200830074700/85/-14-320.jpg)
![第二回ザッピングセミナー 原聡
LaundryML： 偽りの説明を生成する方法
n The idea
“説明の候補”を複数生成する。
候補の中から自己の正当化に“有用な説明” を選ぶ。
n “説明の候補”の複数生成s
? 説明モデルを列挙する。[Hara & Maehara’17; Hara & Ishihata’18]
n “有用な説明”
? 公平性の正当化の場合、demographic parity (DP)などで各説
明候補の公平性度合いを測る。
? DPが十分小さい説明を選ぶ。
18
アイディア
研究1
これらの研究の
解説資料はこちら](https://image.slidesharecdn.com/zapping200830public-200830074700/85/-18-320.jpg)
![[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets](https://cdn.slidesharecdn.com/ss_thumbnails/20220325okimura-220405024717-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]`強化学習のための状態表現学習 －より良い「世界モデル」の獲得に向けて－](https://cdn.slidesharecdn.com/ss_thumbnails/20181026staterepresenration-181127055206-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
More from Satoshi Hara (10)
Recently uploaded (11)
机械学习で嘘をつく话
- 1. 第二回ザッピングセミナー 原聡 机械学习で嘘をつく话 原 聡 大阪大学 産業科学研究所 1 第２回ザッピングセミナー, 2020/8/30
- 2. 第二回ザッピングセミナー 原聡 機械学習とは n モデル! ? 入力データを受け取り、対応する認識?予測結果を返す関数。 例. 手書き数字認識モデル 例. 言語翻訳モデル n 機械学習 ≒ データから!を“自動的”に作る方法 ? 入出力関係が単純で既知の場合は、!は人手で作れる。 ? 複雑で未知の関係を表現する!を人手で作るのは困難。 2 入力：手書き数字画像 ! 出力：数字 5 入力：日本語文 ! 出力：英語文 This is a pen.これはペンです。 準備
- 3. 第二回ザッピングセミナー 原聡 モデル!の学習（教師あり学習） n 訓練データ ? 入出力データのペア(#, %) ? データセット' = #), %) )*+ , n モデル!の学習 = 損失最小化 ? 予測! # と出力%との乖離を損失?(%, ! # )で評価する。 ? 損失（予測の乖離）が最小になるモデル!を求める。 min 1 2 )*+ , ?(%), ! #) ) 3 #, % = , 5 This is a pen.これはペンです。#, % = , 準備
- 4. 第二回ザッピングセミナー 原聡 あなた ??病 なんで？ ？？ よくわから ない … あなた ??病 なんで？ XXの数値 が高い XXの数値 が高い なる ほど “機械学習の説明” とは n 多くの機械学習モデル!は複雑な計算の塊で、出力の 理由を人間が直感的に理解することができない。 n 説明： !から+αの（人間が理解できる）情報を取り出す。 4 準備
- 5. 第二回ザッピングセミナー 原聡 “機械学習の説明”の有名な方法：LIME n Why Should I Trust You?: Explaining the Predictions of Any Classifier, KDD'16 [Python実装 LIME; R実装 LIME] ? どの特徴が予測に重要だったかを提示する。 ? モデルを説明対象データの周辺で線形モデルで近似する。 - 線形モデルの係数の大小で、各特徴の重要度合いを測る。 5 Why Should I Trust You?: Explaining the Predictions of Any Classifierより引用 準備
- 7. 第二回ザッピングセミナー 原聡 LIMEの応用例 n 画像認識の説明 n モデルのデバッグ ? 狼 vs ハスキーの分類 ? 狼画像として、雪背景 のもののみを使用。 → LIMEにより、モデルが 雪を根拠に狼を認識 していることがわかる。 7 Why Should I Trust You?: Explaining the Predictions of Any Classifier より引用 準備
- 8. 第二回ザッピングセミナー 原聡 【補足】 “機械学習の説明”の参考資料 8 /SatoshiHara3/ss-126157179 日本語まとめ資料 ? 機械学習における解釈性（私のブックマーク）, 人工知能, Vol.33, No.3, pages 366--369, 2018. ? 説明可能AI（私のブックマーク）, 人工知能, Vol.34, No.4, pages 577--582, 2019. /SatoshiHara3/ver2-225753735 準備
- 9. 第二回ザッピングセミナー 原聡 “機械学習の説明”で嘘をつく n Q. 嘘の説明って何？ A. モデル!の実態を反映していない説明。 n Q. なぜ嘘をつくの？ A. 嘘をつくと得することがあるから。 n Q. どんなときに嘘をつくと得するの？ A. お金が絡むと嘘をつくインセンティブは生まれやすい。 モデル!を過剰によく見せて売り込みたい、とか。 n Q. なぜ嘘の説明の研究するの？あなた悪い人？ A. 良い人のつもり。どんな嘘が技術的に可能か、を知らな いと対策が考えられない。セキュリティ研究に近い。 9 嘘の説明
- 10. 第二回ザッピングセミナー 原聡 嘘をついて得する代表例：公平性 n 性別や人種で差別する不公平なモデルは悪いモデル。 ? 男性と女性とで基準が異なる学力評価モデル。 ? 黒人と白人とで基準が異なるローン審査モデル。 n 大前提：著しく不公平なモデルは使われるべきではない。 n でも、もしも不公平なモデルを使ってるとバレなかったら？ ? 特定の性別の学生が高い評価を得やすくなる。 - 特定の性別の学生の士気が上がる（かもしれない）。 - 被差別側の性別の学生が少数派の場合、不満を黙殺しやすい。 ? 特定の人種の人がローンを組みやすくなる。 - 人種間で収入格差がある場合、高収入の人種を優遇した方が 金融機関としてはリスクが下がる。 10 嘘の説明
- 13. 第二回ザッピングセミナー 原聡 “機械学習の説明”で嘘をつく研究 n Q. 技術的に嘘の説明は可能か？ A. 可能。 今後、公平なモデルを装った不公平なサービスを提供す る組織が現れるかもしない。もしかしたら既に社会のどこ かで使われてるかもしれない。 n 研究紹介 ? 論文、スライドは原のホームページからアクセス可能 13 嘘の説明
- 14. 第二回ザッピングセミナー 原聡 Fairwashing: the risk of rationalization Ulrich A?vodji, Hiromi Arai, Olivier Fortineau, Sébastien Gambs, Satoshi Hara, Alain Tapp 14 研究1 ICML’19 [Python実装 LaundryML] [資料 狠狠撸 & Video]
- 15. 第二回ザッピングセミナー 原聡 “Fairwashing”： 偽りの説明による正当化 n モデルの公平性の説明 15 偽りの説明 ローン審査は、あなたの年収が低い という理由で棄却されました。 不公平なモデル ローンの可否を性別で判断 モデル 審査サービス 研究1
- 16. 第二回ザッピングセミナー 原聡 “Fairwashing”： 偽りの説明による正当化 n モデルの公平性の説明 16 偽りの説明 ローン審査は、あなたの年収が低い という理由で棄却されました。 不公平なモデル ローンの可否を性別で判断 モデル 審査サービス “Fairwashing” 悪意のある人?組織は偽りの説明により自身の モデルの正当性を詐称しうる。 “Fairwashing” 研究1 第二回ザッピングセミナー 原聡
- 17. 第二回ザッピングセミナー 原聡 “Fairwashing”： 偽りの説明による正当化 n モデルの公平性の説明 17 偽りの説明 ローン審査は、あなたの年収が低い という理由で棄却されました。 不公平なモデル ローンの可否を性別で判断 モデル 審査サービス LaundryML 偽りの説明を生成する方法 → 偽りの説明は技術的に実現可能 “Fairwashing”は現実的に起こりえる “Fairwashing” 悪意のある人?組織は偽りの説明により自身の モデルの正当性を詐称しうる。 “Fairwashing” 研究1 第二回ザッピングセミナー 原聡
- 18. 第二回ザッピングセミナー 原聡 LaundryML： 偽りの説明を生成する方法 n The idea “説明の候補”を複数生成する。 候補の中から自己の正当化に“有用な説明” を選ぶ。 n “説明の候補”の複数生成s ? 説明モデルを列挙する。[Hara & Maehara’17; Hara & Ishihata’18] n “有用な説明” ? 公平性の正当化の場合、demographic parity (DP)などで各説 明候補の公平性度合いを測る。 ? DPが十分小さい説明を選ぶ。 18 アイディア 研究1 これらの研究の 解説資料はこちら
- 19. 第二回ザッピングセミナー 原聡 結果例 n Adultデータでの結果 ? 説明における各特徴の重要度をFairMLツールにより計測 19 正直な説明 偽りの説明 gender gender 研究1 第二回ザッピングセミナー 原聡
- 20. 第二回ザッピングセミナー 原聡 結果例 n Adultデータでの結果 ? 説明における各特徴の重要度をFairMLツールにより計測 20 正直な説明 偽りの説明 gender gender If else if else if else if else if else low-income then high-income then low-income then low-income then low-income then high-income capital gain > 7056 marital = single education = HS-grad occupation = other occupation = white-colloar 偽りの説明 【補足】 LIMEでは線形モデルで近似してい たが、ここではルールリストを採用。 研究1 第二回ザッピングセミナー 原聡
- 21. 第二回ザッピングセミナー 原聡 まとめ n LaundryMLにより、偽りの説明は技術的に実現可能。 → “Fairwashing”は現実的に起こりえる問題。 n 問: どうしたら“Fairwashing”を防げるか？ ? 技術的に偽りの説明は検知可能か？ ? 制度的に防げるか？ 21 “Fairwashing” 悪意のある人?組織は偽りの説明により自身の モデルの正当性を詐称しうる。 “Fairwashing” 研究1
- 23. 第二回ザッピングセミナー 原聡 今日のまとめ n Q. 嘘の説明って何？ A. モデル!の実態を反映していない説明。 n Q. なぜ嘘をつくの？ A. 嘘をつくと得することがあるから。 n Q. どんなときに嘘をつくと得するの？ A. お金が絡むと嘘をつくインセンティブは生まれやすい。 モデル!を過剰によく見せて売り込みたい、とか。 n Q. なぜ嘘の説明の研究するの？あなた悪い人？ A. 良い人のつもり。どんな嘘が技術的に可能か、を知らな いと対策が考えられない。セキュリティ研究に近い。 23