狠狠撸

7/15_CVPR2020_技術報告会
0

1
自己紹介
u 教師データを使わないAIの予測精度監視！データセットシフトとドメインシフトを完全に理解しろ！
https://ai-scholar.tech/articles/domain-shift/ai-domain-shift-dataset-shfit
u より?品質な画像特徴量を獲得する?法:Supervised Contrastive Learning
https://ai-scholar.tech/articles/contrastive-learning/supervised-contrastive-learning
AI-SCHOLORさんで書かせていただいた記事
名前 : 諏訪佑介
所属 : 株式会社 GRID
職種 : リサーチャ、エンジニア、7?からプロダクトマネジャー
現在興味あるリサーチ分野 :
機械学習モデルの運?に関わるもの全て
(データシフト検知、?動アノテーション、??学習など)

2
紹介論文
論?タイトル :
Generalized ODIN: Detecting Out-of-distribution Image without Learning from Out-of-distribution Data
Yen-Chang Hsu, Yilin Shen, Hongxia Jin, Zsolt Kira. CVPR 2020
https://arxiv.org/abs/2002.11297
カテゴリ :
Out of distribution data detection. Anomaly detection.
学習したデータ既知の分布外からサンプルされたデータを検出

3
論文が解決する課題領域
モデル
ストア
データ処理モデル開発
デプロイ
データ
再利?
精度管理再学習
予測&
結果利?要求分析
?的定義
運?開発
AI開発/運?
プロセス
予測サーバ
監視
クライアント
再学習
モデル開発
データ
ストレージ
? バージョン管理
② シームレスなデプロイ
③ データシフト、OoD
④ 低レイテンシな予測
⑤ 予測が外れたときの対応
⑨ 予測の説明性
⑧ モデル評価⑦ 予測精度低下
⑥ 教師データがすぐに?に?らない
⑩ 再現性
① ?々更新されるアルゴリズム

4
モデル
ストア
データ処理モデル開発
デプロイ
データ
再利?
精度管理再学習
予測&
結果利?要求分析
?的定義
運?開発
AI開発/運?
プロセス
予測サーバ
監視
クライアント
再学習
モデル開発
データ
ストレージ
③ データシフト、OoD
論文が解決する課題領域
OoD:
Out of Distribution Data
(未知のデータ分布)

5
問題設定
1. ?般的に機械学習モデルは学習データと同じ分布からサンプルされたデータに対しては、
?い精度で予測が可能である。
機械学習
モデル
学習データの
確率分布
学習データと
異なる確率分布
予測精度
99.9 [%] !
予測精度
&4%# [%] ...
?
?
＊この例のように、そもそも??されたデータが予測対象ではない
データかもしれない。その場合、上記のように予測精度すら出せない
予測精度
85.2 [%] ?

6
問題設定
2. 本番環境では、ほぼ必ずデータ分布が常に変化している
学習データの
確率分布
冬季における
データ確率分布
お盆時期における
データ確率分布
新しい現場オペレータに
変わった後の確率分布
本番環境において確率分布が変化する要因は様々
ü 気温の変化
ü 装置の摩耗
ü オペレータの?れ替わり
ü 教師データ作成者の?れ替わり
ü 光量の変化
ü 撮像装置の換装
＊ハードウェア構成やワークフロー策定により、これらの分布変化を
極?抑えることは可能であり、今回紹介しているようなアルゴリズムに
基づくソフトな対策よりも優先度は?い

7
問題設定
3. そのため本番環境では予測対象データが
予測可能なデータなのか/予測結果を使?しても問題ないか検証する必要がある
?データ
？
？
？
このデータを予測器に??して、
正確な予測ができるのか?

8
解決策?
機械学習
モデル
予測の信頼度
低い？
予測の信頼度
?い？
Soft
max
?? 出?
0
1
0.1
0.2
0.4
0.3
A B C D
分類クラス
出?値
0
1
0.01 0.02 0.02
0.95
出?値
分類クラス
A B C D
機械学習
モデル
Soft
max
n クラス分類モデルにて、簡単に予測の信頼性を確認できるとされている?法
=> Softmax関数の出?結果の最?値を確認する

9
さらなる課題
「Softmax関数の最?出?値が閾値以上だからこの予測結果は信頼できる」
と考える?法はあまり有効ではない[参考?献: 1, 3]
True Positive Rateが
95%になるように
閾値を設定
max Softmax(x)
閾値
データ
1
0
CIFAR-10の
データ分布
CIFAR-10以外の
データ分布
①CIFAR-10で学習
したDenseNet
②CIFAR-10以外の
データも??してみる
③ある閾値以下のソフトマックス値を
出?するデータは「未知のデータ」と
仮定した場合。。。
④95%のCIFAR-10データを既知のデータと判断できるが、
34%のTinyImagenetデータをCIFAR-10のデータと判断してしまう
=> 未知のデータに対しても
?いsoftmax値が出?される

10
Softmax関数の出力値の信頼度を向上させる
Shiyu Liangらから ODIN (Out-of-DIstribution detector for Neural networks)が提案される
学習済
クラス分類
モデル
f(?)
?
Soft
max
?(?)
0
1
0.3
0.03 0.02
0.65
出?値
分類クラス
A B C D
?般的なクラス分類Neural Networkの予測フロー

11
学習済
クラス分類
モデル
f(?)
?
Soft
max
?(?; ?)
前処理
"?
!? = ? ? ? sign(??!log S"#(?; ?))
?$ ?; ? =
exp(?$(?)/?)
∑%&'
(
exp(?%(?)/?)
S!" ?; ? = max
#
?$(?; ?)
Softmaxの最?出?変数を???で微分した
「勾配の符号 x ? 」を?す。
=> つまり前処理として、Softmaxの出?値が?きくなる
ように摂動を加える.
Exp関数への??を係数 T でスケーリングする。
=> 学習時はT=1、本番環境へデプロイする前にInDとOoDデータでパ
ラメータ T を調整する。
0
1
0.01 0.02 0.02
0.95
出?値
分類クラス
A B C D
=> 既知の分布から得られたデータに対するSoftmax出?が、より?い値となるような?夫を提案

12
!? = ? ? ? sign(??!log S"#(?; ?))
?$ ?; ? =
exp(?$(?)/?)
∑%&'
( exp(?%(?)/?)
これらのハイパーパラメータを、既知データと未知データを
使って調節する必要があった。
=> 本番環境において未知データを想定することは難しい
閾値
データ
1
0
既知の分布未知の分布
しかし、

13
Yen-Chang らが、CVPRにて未知データを使わずに構築できるODINを提案
???????# ?(?) = ? ? ? =
? ?, ?
? ?
? ? ?$), ? =
?(?, ?$), ?)
?(?$), ?)
=
? ?, ?$)|? ?(?)
? ?$)|? ?(?)
=
? ?, ?$)|?
? ?$)|?
(分?)?が与えられた時に、それが既知の
確率分布から得られたもので出?がyである確率
(分?)?が与えられた時に、それが既知の
確率分布から得られたものである確率
ソフトマックス関数の出?を? ? ? とし、
「データ?が、既知の確率分布からサンプルされた」ことを表す確率変数?$%を明?的に書く
? ?, ?/0|?
? ?/0|?
考え?
既知の分布に
対する予測結果
未知の分布に
? ?, ?$%|?
分?
? ?
? ?$%|?
分?
? ?
? ? ?
Softmax出?
? ?
＊普段は?!"は普遍であると仮定
しているので、省略されている
(独?同分布仮定)
論文紹介

14
既知の分布に
未知の分布に
? ?, ?$%|?
分?
? ?
? ?$%|?
分?
? ?
? ? ?
Softmax出?
? ?
つまり Softmax値を基準に予測を検証せず、ソフトマックス関数への??を? ?, ?$%|? 、? ?$%|? と
モデリングし、その出?をよって予測の信頼度とする。
???????" ?(?) =
? ?, ?$%|?
? ?$%|?
論?の提案
予測の検証には、これらの値を確認する
論文紹介

15
① ?$
*
? = ?$
+
?, ? + ?$
② ?$
-
? = ? ?, ? ? ?$
.
③ ?$
/
? =
??
"
1#(!)
?$ 1#(!)
? ? = ?(??(?4
+ ?, ? + ?4))
学習済
クラス分類
モデル
fK
(?)
?
Soft
max
?(?)
?(?) =
?(?)
?(?)
? ?, ?$%|? 、? ?$%|? を以下のh#(x)、g(x)によってモデリングしE2Eで学習する。
論?の提案するメソドロジー
論文紹介
Decompose Confidence Scoring レイヤ
?: 学習対象重み
??: バッチ正規化関数
?: シグモイド関数
?: クラスID
?#
(?): クラス分類NNの出?
①~③の、3種類の類似性評価関数を
使ってモデリングを試みている
① ?!
$
? : 内積
② ?!
%
? : ユークリッド距離
③ ?!
&
? : コサイン距離

16
学習済
クラス分類
モデル
fK
(?)
?
Soft
max
?(?)
前処理
"?
!? = ? ? ? sign(??!log S"#(?))
S!" ? = max
#
?$(?)
0
1
0.01 0.02 0.02
0.95
出?値
分類クラス
A B C D
?(?)
?(?)
予測実?時のフロー
論文紹介
元祖ODINと同じ前処理?法を採?
＊Gen-ODINではハイパーパラメータ ? を既知データのみで
選択するため、 ? を決定する?法がODINと異なるが、今回
は割愛 ?
学習したDecomposeレイヤを使?して予測を実?
ODINではハイパーパラメータ?を?いて、f'
(?)をスケーリングしていたが、
GEN-ODINでは?(?)がスケーリング因?となる。
=> 未知データを使ってスケーリング因?を調節しなくてよくなった。

17
? 既知分布のデータ
? 未知分布のデータ
max
$
?$
&
(?)
?(?)
max
$
?$
&
?
?(?)
未知分布のデータに対して
?いスコアを出?してしまっている
データ内訳予測結果
既知分布未知分布
論文紹介

18
Yen-Chang らが、CVPRにてOoDを使わずに構築できるODINを提案
閾値
データ
1
0
閾値
データ
1
0
TRP?TRP低
論文紹介
＊TNR = 1 ? FRP

19
所感
私が感じたODINを?いるメリット：
? クラス分類モデルの学習を拡張するだけでデータ検証が可能
? データ検証?のモジュールやモデルを新たに作る必要がない
? 予測スコアに対して判断が容易
? 予測スコアの範囲は0 ~ 1で、1に近いなら信頼できる(シンプル!)
デメリット：
? クラス分類モデル(Softmax関数の使?)を前提としているので、汎?性が弱い
? 勾配を計算する必要がある
? 単純に考えて予測の計算量 2 ~ 3 倍

1. Generalized ODIN: Detecting Out-of-distribution Image without Learning from Out-of-distribution Data
Yen-Chang Hsu, Yilin Shen, Hongxia Jin, Zsolt Kira. CVPR 2020. https://arxiv.org/abs/2002.11297
2. Enhancing The Reliability of Out-of-distribution Image Detection in Neural Networks
Shiyu Liang, Yixuan Li, R. Srikant. ICLR 2018. https://arxiv.org/abs/1706.02690
3. A Baseline for Detecting Misclassified and Out-of-Distribution Examples in Neural Networks
Dan Hendrycks, Kevin Gimpel. https://arxiv.org/abs/1610.02136
4. Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images
Anh Nguyen, Jason Yosinski, Jeff Clune. https://arxiv.org/abs/1412.1897
20
参考文献

狠狠撸

机械学习をビジネスに利活用する人たちに対してモデル开発后の実运用フェーズにおける课题とその対策方法

Recommended

More Related Content

Similar to 机械学习をビジネスに利活用する人たちに対してモデル开発后の実运用フェーズにおける课题とその対策方法 (20)

More from 日本ディープラーニング协会（闯顿尝础） (14)

机械学习をビジネスに利活用する人たちに対してモデル开発后の実运用フェーズにおける课题とその対策方法