狠狠撸

第41回IBISML研究会原聡
“機械学習の説明”の
信頼性
原聡
大阪大学産業科学研究所
1
第41回IBISML研究会, 2020/10/22

“機械学習の説明” とは
? 多くの機械学習モデル?は複雑な計算の塊で、出力の理由
を人間が直感的に理解することができない。
? 説明： ?から+αの（人間が理解できる）情報を取り出す。
2
前置き
あなた
??病
なんで？
XXの値が
高い
XXの値
が高い
なる
ほど
あなた
??病
なんで？
？？
よくわか
らない
…

“説明”の代表的手法【注目箇所のハイライト】
? 「モデルが画像のどこに注目したか」を推定して、
説明としてハイライトする方法
3
シマウマの輪郭に注目
して判断してるのか
前置き

“説明”の代表的手法【類似データの提示】
? 「テストデータの予測と類似した訓練データ」を推定して、
説明として提示する方法。
4
たしかにテストデータ
もタゲリっぽい
タゲリ
訓練データ
予測と類似した訓練データの提示
入力
予測
タゲリ
前置き

【参考】 “機械学習の説明”の資料
5
日本語まとめ資料
? 機械学習における解釈性（私のブックマーク）, 人工知能, Vol.33, No.3, 2018.
? 説明可能AI（私のブックマーク）, 人工知能, Vol.34, No.4, 2019.
前置き

“機械学習の説明”の研究の変遷
? “機械学習の説明”の
論文数は爆発的に増えた。
? 「注目箇所のハイライト」の研究の変遷
6
黎明期
2014 2016 2018 20202015 2017 2019
説明法の研究の
爆発的増加
説明の攻撃?悪用
Sanity Check
[Adebayo+,2018]
GuidedBP
[Springenberg+,2014]
DeepLIFT
[Shrikumar+,2017]
Grad-CAM
[Selvaraju+,2017]
ROAR
[Hooker+,2019]
MoRF/Deletion Metric
[Bach+,2015; Vitali+,2018]
LeRF/Insertion Metric
[Arras+,2017; Vitali+,2018]
Sensitivity
[Kindermans+,2017]
説明法の評価
Saliency
[Simonyan+,2014]
IntGrad
[Sundararajan+,2017]
SHAP
[Lundberg+,2017]
LIME
[Ribeiro+,2016]
LRP
[Bach+,2015]
Fairwashing
[Aivodji+,2019]
SmoothGrad
[Smilkov+,2017]
DeepTaylor
[Montavon+,2017]
Occlusion
[Zeiler+,2014]
CAM
[Zhou+,2016]
Manipulation
[Domobrowski+,2019]
Peeking inside the black-box:
A survey on Explainable
Artificial Intelligence (XAI)
説明の信頼性

“機械学習の説明”の研究の変遷
? “機械学習の説明”の
論文数は爆発的に増えた。
? 「注目箇所のハイライト」の研究の変遷
7
黎明期
2014 2016 2018 20202015 2017 2019
説明法の研究の
爆発的増加
説明の攻撃?悪用
Sanity Check
[Adebayo+,2018]
GuidedBP
[Springenberg+,2014]
DeepLIFT
[Shrikumar+,2017]
Grad-CAM
[Selvaraju+,2017]
ROAR
[Hooker+,2019]
MoRF/Deletion Metric
[Bach+,2015; Vitali+,2018]
LeRF/Insertion Metric
[Arras+,2017; Vitali+,2018]
Sensitivity
[Kindermans+,2017]
説明法の評価
Saliency
[Simonyan+,2014]
IntGrad
[Sundararajan+,2017]
SHAP
[Lundberg+,2017]
LIME
[Ribeiro+,2016]
LRP
[Bach+,2015]
Fairwashing
[Aivodji+,2019]
SmoothGrad
[Smilkov+,2017]
DeepTaylor
[Montavon+,2017]
Occlusion
[Zeiler+,2014]
CAM
[Zhou+,2016]
Manipulation
[Domobrowski+,2019]
説明の信頼性
説明の信頼性に関わる研究が増えてきている。
説明法は“妥当な説明”を返してくれるのか？
説明を悪用されると何が起きるのか？
Peeking inside the black-box:
A survey on Explainable
Artificial Intelligence (XAI)

「技術的な信頼性」と「社会的な信頼性」
技術的な信頼性「説明として妥当か？」
【気になること】
? 説明法は“妥当な説明”を返してくれるのか？
【研究項目例】
? 説明の妥当性をどのように評価するか？
社会的な信頼性「社会に導入しても問題ないか？」
? 社会に導入した場合に何が起こるか？
? 説明法が悪用される可能性は？
8
技術的な信頼性

説明の妥当性の評価軸：FaithfulnessとPlausibility
? Faithfulness（忠実性）[Lakkaraju+’19; Jacovi+’20]
? モデルの判断プロセスを忠実に反映した説明になっているか？
- ユーザが知りたいのは「モデルがなぜそのような判断を下したか」
? 判断プロセスを反映してない説明はアウト。
- e.g. モデルとは独立な何かを説明として返す説明法は駄目。
? Plausibility（尤もらしさ）[Lage+’19; Strout+’19]
? ユーザが見て意味のある説明になっているか？
? ユーザが見て「何だこれ？」となる説明はアウト。
- e.g. とてもnoisyな「注目箇所のハイライト」は好ましくない。
? 評価方法の研究
? Sanity Checks for Saliency Maps, NeurIPS’18.
? Evaluation Criteria for Instance-based Explanation, arXiv’20.
9
「注目箇所のハイライト」のFaithfulnessの評価
「類似データの提示」のPlausibilityの評価

「注目箇所のハイライト」の妥当性の評価
? Plausibilityについてはどの手法も最低限は大丈夫そう。
? どのハイライトもシマウマ周辺に注目している。
? Gradient, IntegratedGradはちょっとnosiy。
? Faithfulnessはどうか？
→ Sanity Checks for Saliency Maps, NeurIPS’18.
10
シマウマの輪郭に注目
して判断してるのか

問題：Faithfulnessは直接評価できない
? Faithfulness（忠実性）
? モデルの判断プロセスを忠実に反映した説明になっているか？
? 代替案「必要条件を評価する」
? 必要条件を満たさない説明はアウト。
? Q. Faithfulな説明が満たすべき必要条件は何か？
? モデルに依存した情報を説明として返すこと。
- モデルとは関係のない情報を説明として返すのは駄目。
11
未知
→ Ground Truthと説明（ハイライト）を比較して定量評価はできない。
注：必要条件を満たしても
Faithfulだと断言はできない。

Faithfulnessの必要条件の評価
Model Parameter Randomization Test
? 異なる判断プロセスを持つモデルの説明を比較する。
? Faithfulな説明 → 異なる説明が得られる。
? Faithfulでない説明 → 異なる説明が得られるとは限らない。
? 方法
? 2つのモデルを用意する。
- モデル1：学習したモデル
- モデル2：学習してないランダムなモデル
- [仮定] モデル1とモデル2は異なる判断プロセスを持つ。
? 複数のテストデータについて、モデル1とモデル2の説明を比較する。
- 「モデル1の説明」と「モデル2の説明」の類似度を測る。
- 多くのテストデータで類似度が低い
→ Faithfulな説明の必要条件を満たす。
- 多くのテストデータで類似度が高い
→ Faithfulな説明の必要条件を満たさない。
12

「注目箇所のハイライト」における
Model Parameter Randomization Testの例
? モデル2：出力側から一個ずつ重みをランダム化したNN
? Guided Backprop、Guided GradCAMは、モデル1とモデル2とで
説明（ハイライト）にほぼ変化がない。
→ これらはFaithfulな説明の必要条件を満たさない悪い手法。
13Sanity Checks for Saliency Maps より引用
モデル1
モデル2

「類似データの提示」の妥当性の評価
? Faithfulnessの必要条件はModel Randomization Testで
評価できる。
? Plausibilityはどうか？
→ Evaluation Criteria for Instance-based Explanation, arXiv’20.
14
たしかにテストデータ
もタゲリっぽい
タゲリ
訓練データ
入力
予測
タゲリ

「類似データの提示」におけるPlausibility
? 例
? 手法Bはユーザが見て「何だこれ？」となりそうな説明。
- 手法AのPlausibility > 手法BのPlausibility
15
訓練データ
frog
手法 A
訓練データ
truck
手法 B
frog
入力
予測

問題：全人類がPlausibleだと思う説明は存在しない
? ユーザによって「何だこれ？」となる基準は異なる。
? 全人類一致でPlausibleだと思う説明は存在しない。
? 代替案「必要条件を評価する」
? 必要条件を満たさない説明はアウト。
? Q. Plausibleな「類似データの提示」が満たすべき
必要条件は何か？
? 予測と同じクラスの訓練データを返すこと。
16
は猫。なぜなら類似したは猫だから。
は猫。なぜなら類似したは犬だから。
Plausibleな説明
Not Plausibleな説明

「類似データの提示」におけるIdentical Class Testの例
17
入力
内積最終層
全ての層
入力
Cos 最終層
全ての層
入力
L2距離最終層
全ての層
影響関数
相対影響関数
フィッシャーカーネル
内積
Cos
パラメータ微分の
テストデータ中で同じクラスが提示された割合
0 0.5 1.0 0 0.5 1.0
（画像分類）
CIFAR10
+ CNN
（テキスト分類）
AGNews
+ Bi-LSTM
パラメータ微分のCos類似度が
100%近い割合で同じクラスの
データを提示できた。

「技術的な信頼性」と「社会的な信頼性」
技術的な信頼性「説明として妥当か？」
? 説明法は“妥当な説明”を返してくれるのか？
? 説明の妥当性をどのように評価するか？
社会的な信頼性「社会に導入しても問題ないか？」
? 社会に導入した場合に何が起こるか？
? 説明法が悪用される可能性は？
18
社会的な信頼性

社会的な信頼「社会に導入しても問題ないか？」
? Q. 説明が悪用される可能性は？
A. ある。説明法を使って嘘をつく人?組織があらわれるかも。
? Q. なぜ嘘をつくのか？
A. 嘘をつくと得することがあるから。
? Q. どんなときに嘘をつくと得するのか？
A. お金が絡むと嘘をつくインセンティブは生まれやすい。
モデルを過剰によく見せて売り込みたい、など。
19

嘘をついて得する代表例：公平性
? 性別や人種で差別する不公平なモデルは悪いモデル。
? 男性と女性とで基準が異なる学力評価モデル。
? 黒人と白人とで基準が異なるローン審査モデル。
? 大前提：著しく不公平なモデルは使われるべきではない。
? でも、もしも不公平なモデルを使ってるとバレなかったら？
? 特定の性別の学生が高い評価を得やすくなる。
- 特定の性別の学生の士気が上がる（かもしれない）。
- 被差別側の性別の学生が少数派の場合、不満を黙殺しやすい。
? 特定の人種の人がローンを組みやすくなる。
- 人種間で収入格差がある場合、高収入の人種を優遇した方が
金融機関としてはリスクが下がる。
20

モデルの公平性に対する嘘の説明
? Fairwashing: the risk of rationalization, ICML’19.
? Faking Fairness via Stealthily Biased Sampling, AAAI’20.
? 今回はこちらの話
21

モデルの公平性を説明する方法：スコア化
? モデルの判断の公平性の度合いを定量化
? 公平性の指標や、その計算ツール多数。
- FairML, AI Fairness 360 [Bellamy+’19], Aequitas [Saleiro+’18]
22
AI Fairness 360

嘘の公平性スコア
23
悪の組織
不公平なモデル
サービス
の提供
嘘の公平性スコア
の提示
このスコアは
嘘のスコア？
スコアが適切なデータ?方法で
計算されたのかがわからない。
嘘が見抜けない。
公平性スコアだけの提示は嘘の可能性があるので信頼できない。

嘘の公平性スコアを避けるために
24
悪の組織
サービス
の提供
ベンチマークデータ
の提供
データを出してくれた。
公平そう。
ベンチマークデータ上で公平性
スコアが計算できる。
嘘をつかれる心配はない。

嘘の公平性スコアを避けるために
25
悪の組織
サービス
の提供
ベンチマークデータ
の提供
ベンチマークデータ上で公平性
スコアが計算できる。
嘘をつかれる心配はない。
実はまだ嘘をつく余地がある。
データを出してくれた。
公平そう。

嘘のベンチマークデータ
? 元のデータセット?からサンプリングしたベンチマークデータ?を
ユーザに提供する。
? “理想的な”嘘のベンチマークデータ?
? 公平性： ?で計算した公平性スコアは十分に公平。
? ステルス性： ?の分布は?の分布に近い。
26
元のデータセットベンチマークデータ
公平性
ステルス性
“公平”な分割表

参照用
データ
適合度検定
嘘のベンチマークデータ
? ?の作り方：最適化問題（最小費用流）
min ? ? ?, ? , s. t. ? ? = ? ?
? ?の性質
? 統計的検定によりベンチマークデータ?が嘘か見抜きたい。
→ 分布間距離が小さいと見抜ける確率は小さい。
KS検定で? ? ≠ ?(?′)が言える確率は ? ? ? ×
27
ステルス性
（分布間距離の最小化）
公平性
（分割表上の制約）
分布間距離

【実証実験】嘘のベンチマークデータは見抜けない
28
分割表における正例の割合分割表における正例の割合
公平性スコア（DP）
分布間距離
COMPAS （再犯予測が白人?黒人で差別的）
分割表における正例の割合分割表における正例の割合
公平性スコア（DP）
分布間距離
Adult （年収予測が男女で差別的）
ランダムサンプリング
嘘サンプリング（既存法）
嘘サンプリング（提案法）
ランダムサンプリング
嘘サンプリング（既存法）
嘘サンプリング（提案法）
嘘サンプリングはランダムサンプリ
ングよりも公平性スコアが小さい
（= 公平なフリができている）
正例の割合を適切に調整すれば、嘘サン
プリングはランダムサンプリングと同程度に
分布間距離が小さい（= 嘘がバレない）

まとめ
? “机械学习の説明”の信頼性に注目が集まっている。
? 技術的な信頼性「説明として妥当か？」
? 社会的な信頼性「社会に導入して問題ないか？」
? 技術的な信頼性
? 説明法の妥当性の評価をどのように行うか？
? どの説明法がどのような評価軸に対して良いか？
? 社会的な信頼性
? どのような場合に悪用される恐れがあるか？
? 悪用を見抜くことはできるのか？
29
まとめ

狠狠撸

“机械学习の説明”の信頼性

More Related Content

“机械学习の説明”の信頼性