狠狠撸

Fisher線形判別分析とFisher Weight Maps
[0] 「Fisher線形判別分析」，
C.M.ビショップ，
パターン認識と学習（上），
シュプリンガー?ジャパン，2007.
[1] Y. Shinohara and N. Otsu,
“Facial Expression Recognition Using Fisher Weight Maps,”
IEEE International Conference on Automatic Face and Gesture
Recognition, 2004.
[2] T. Harada, H. Nakayama, and Y. Kuniyoshi,
“Improving Local Descriptors by Embedding Global and Local
Spatial Information,”
European Conference on Computer Vision, 2010.
2013/06/19 上智大学山中高夫

Fisher線形判別分析
C.M.ビショップ，
パターン認識と学習（上），
シュプリンガー?ジャパン，2007.

線形識別モデル
2クラスの識別多クラスの識別
?1
?2
?2
?1
?2
?1
?3
?1
?2
? ? = ? ? ? + ?0
? ? ≥ 0 ? ? ∈ ?1
? ? < 0 ? ? ∈ ?2
? ? ? = ? ?
?
? + ? ?0
?? ≠ ?, ? ? ? > ?? ? ? ? ∈ ? ?
?

2クラスの線形識別モデル
? ? = ? ? ?
? ? ≥ ??0 ? ? ∈ ?1
? ? < ??0? ? ∈ ?2
一番簡単な方法（wの決め方）は，各クラス
の中心を求め，どちらに近いかを判別する
→ 重なり合う部分が多く残る
?1 =
1
?1
? ?
?∈?1
?2
?1
?2 =
1
?2
? ?
?∈?2
?
決定境界
? ? = ? ? ? + ?0
? ? ≥ 0 ? ? ∈ ?1
? ? < 0 ? ? ∈ ?2

2クラスのFisher線形判別分析(1)
?1
?2
? Fisher判別分析
? クラス間分散とクラス内分散の比を最大にするようなwで射影する
クラス間分散
? ?&′ = ?2 ? ?1
2
&= ? ? ? ? ?
? ?
?
&= ? ? ? ? ? ? ? ? ? ? ? ?
? ?
&= ? ? ? ? ?
クラス内分散
? ?
′ &= ?? ? ?1
2
?∈?1
+ ?? ? ?2
2
?∈?2
&= ? ? ? ? ?
? ? = ? ? ? ? ? ? ? ? ? ?
?
?∈? ??=1,2
?1
?2
?
? ? = ? ? ?
? ? ≥ ??0 ? ? ∈ ?1
? ? < ??0? ? ∈ ?2

2クラスのFisher線形判別分析(2)
クラス間分散/クラス内分散
? ? =
? ?
′
? ?
′ =
? ? ? ? ?
? ? ? ? ?
?1
?2
?1
?2
? ? ? が最大となる?を求める
ため， ? ? を?で微分して0
とおき，
? ? ? ? ? ? ? ? = ? ? ? ? ? ? ? ?
? ? ?&= ? ? ? ? ? ? ? ? ? ?
? ?
&= ?2 ? ?1 ? ? ? ? ?
スカラー
スカラー
? ∝ ? ?
?1
? ? ? ? ?
? ? = ? ? ?
? ? ≥ ??0 ? ? ∈ ?1
? ? < ??0? ? ∈ ?2

多クラスのFisher線形判別分析(1)
? = ? ? ?
? =
?1
?
? ?′
&&? = ?1, ? , ? ?′
? ? = ? ? ?
? ? ≥ ??0 ? ? ∈ ?1
? ? < ??0? ? ∈ ?2
2クラスの判別
多クラスの判別
できる限りクラス分類の情報を保存する
ような次元の抽出

クラス間分散
? ?
′
= ?? ? ? ? ? ? ? ? ? ?
?
?=1
? ? =
1
??
? ?
?∈? ?
=
1
??
? ? ? ?
?∈? ?
= ? ? ? ?
?1
?2
?1
?2
?
? =
1
?
?? ? ?
?
?=1
=
1
?
?? ? ? ? ?
?
?=1
= ? ? ?
? ?
′
= ? ? ?? ? ? ? ? ? ? ? ? ?
?
?=1
? = ? ? ? ? ?
? ? = ?? ? ? ? ? ? ? ? ? ?
?
?=1

クラス内分散
? ?
′ &= ? ? ? ? ? ? ? ? ? ?
?
?∈? ?
?
?=1
&= ? ? ? ? ? ? ? ? ? ? ? ?
?
?∈? ?
?
?=1
?
&= ? ? ? ? ?
? ? = ? ? ? ? ? ? ? ? ? ?
?
?∈? ?
?
?=1
?1
?2
?1
?2
?

クラス間分散/クラス内分散の指標値
? ? = ?? ? ?
′ ?1
? ?
′
= ?? ? ? ? ? ?
?1
? ? ? ? ?
? ? が最大となる?は，? ?
?1
? ?の固有ベクトル（大きな
固有値D’個に対応する固有ベクトル）で与えられる
? = ? ? ?
? =
?1
?
? ?′
&&? = ?1, ? , ? ?′
できる限りクラス分類の情報を保存する
ような次元の抽出

Facial Expression Recognition
Using Fisher Weight Maps
Y. Shinohara and N. Otsu,
IEEE International Conference on Automatic Face
and Gesture Recognition, 2004.

背景と目的
? 顔の表情認識
? 局所特徴量ベースの手法
? 画像ベクトルベースの手法
? 局所特徴量ベースの手法例
? Gabor wavelet features
? Texture features
? HLAC (Higher-order Local Auto-Correlation) features
? 画像ベクトルベースの手法例
? Eigenfaces method (Principal Component Analysis: PCA)
? Fisherfaces method (Fisher Linear Discriminant Analysis: LDA)
? 目的
? 局所特徴量ベースと画像ベクトルベースの手法を組み合わせた手法を提案
? 手法
? 画像中の各領域の局所特徴量に対する重み付けをFisher Criterion（クラス
内?クラス間分散比）に基づいて決定

画像の表現方法
画像の局所特徴行列 (画素数? ×特徴量の種類数?)
? = ?1, ? , ? ?
? ? = ? ? 1 , ? , ? ?(?) T
? ? ? : 画素?における?種類目の局所特徴量
1 ≤ ? ≤ ?, 1 ≤ ? ≤ ?
特徴量の重み付け（各画素に対する重み Weight Map）
? = ? ? ? =
?1 1
?
? ?(1)
?
?
?1(?)
?
? ?(?)
?(1)
?
?(?)
例）Eigenfaces/Fisherfaces
? 局所特徴量の種類数を1とし，?1 ? として画素?の画素値を用いる
? 重み?を主成分分析(PCA)で決定 → Eigenfaces
? 重み?をFisher線形判別分析(LDA)で決定 → Fisherfaces

Higher-order Local Auto-Correlations
画像の局所特徴量（局所自己相関）
Higher-order Local Auto-Correlations (HLAC)
? ?1, ? , ? ? = ? ? ? ? + ?1 ? ? ? + ? ? ??
? ?1, ? , ? ? ：1枚の画像に対する特徴量， ?1, ? , ? ? の組みに対して１種類
? ? ：画素?における画素値
?1, ? , ? ? ：相関を計算するdisplacements
?：自己相関の次数
HLACの例（? = 0, 1, 2, ??を1画素
ズレ以内）: 35種類
?8 = ? ? 2 ? ? + ?1 ??
?15 = ? ? ? ? + ?4
2 ??
?1 = ? ? ??

HLACの重み付け (Weight Map)(1)
? HLACの問題点
? HLACは全画素で積分をとるので，画像全体が平等の重みで計算される
? 顔の表情認識では，目の周辺や口の周辺など認識に重要な部分と，額など
認識には不要であろう部分がある
? HLACの重み付け
? 画素毎に異なる重み?(?)で重み付けをして積分する
? ? ?1, ? , ? ? &= ?(?)? ? ? ? + ?1 ? ? ? + ? ? ??
&= ? ? ? ? ? ??
ただし，? ? ? = ? ? ? ? + ?1 ? ?(? + ? ?)は画素?の局所特徴量を表す
? ? = ? ?
?
?
? ? = ? ? 1 , ? , ? ? ? T
? = ?(1), ? , ?(?) T

HLACの重み付け (Weight Map)(2)
? ? = ? ?
?
?
? ? = ? ? 1 , ? , ? ? ? T
? = ?(1), ? , ?(?) T
1つのHLAC特徴量に対して
複数のHLAC特徴量に対して
? = ? ? ?
? =
?1(1)
?
?1(?)
?
?
? ?(1)
?&
? ?(?)
? = ?(1), ? , ?(?) T
? = ?1, ? , ? ?
T
重み付け方法：Eigen Weight Maps / Fisher Weight Maps

Eigen Weight Maps
主成分分析(PCA)で重み付けを決定
? ? &=
1
?
?? ? ? 2
?
?=1
&= ? ?
1
?
?? ? ? ?? ? ? ?
?
?=1
?
&= ? ?
1
?
?1
′
, ? , ? ?
′
?1
′
, ? , ? ?
′ ?
?
?=1
?
&= ? ?
1
?
?1
′
?1
′ ?
+ ? + ? ?
′
? ?
′ ?
?
?=1
?
&= ? ?
1
?
??? ? ? ? ??? ? ? ?
?
?
?=1
?
?=1
?
&= ? ? ? ? ?
?枚の学習画像??に対して，
? ? を? ?
? = 1の制約の
もとで最大にする?は，
以下の固有値問題の最大
固有値に対応する固有ベ
クトルで与えられる
?H ? = ??

Fisher Weight Maps (1)
Fisher線形判別分析(LDA)で重み付けを決定
?枚の学習画像??に対して，
クラス間分散/クラス内分散の指標値(Fisher Criterion)
? ? =
??? ?
??? ?
? ? =
1
?
?? ? ? ? ?? ? ? ?
?
?∈? ?
?
?=1
? ? =
1
?
?? ? ? ? ? ? ? ? ?
?
?
?=1

Fisher Weight Maps (2)
??? ? &=
1
?
?? ? ? ?
?
?? ? ? ?
?∈? ?
?
?=1
&= ? ?
1
?
?? ? ?? ?? ? ??
?
?∈? ?
?
?=1
?
&= ? ? ? ? ?
??? ? &=
1
?
?? ? ? ? ?
?
? ? ? ?
?
?=1
&= ? ?
1
?
?? ?? ? ? ?? ? ? ?
?
?=1
?
&= ? ? ? ? ?
? ? =
??? ?
??? ?
=
? ? ? ? ?
? ? ? ? ?
Fisher Criterionは
? ? ? = ?? ? ?
一般固有値問題

Fisher Weight Maps with Dimensionality Reduction (1)
? ?, ? ?は画素数? ×画素数?であり，通常非常に大きい
画像数?やクラス数?はそれよりもずっと小さく， ? ?, ? ?は
縮退している
そこで，Fisher Weight Mapsを求める前に，??の次元を
PCAにより削減する
?H ? = ??
に対して，大きい方から?個の固有値に対応する固有ベクト
ルを並べて
? = ? ?, ? , ? ?
固有値問題
とし，
??
?
= ??
?
?
とする

?? ?=1
?
に対して，Fisher Criterionは，
? ? =
? ? ? ? ? ? ? ?
? ? ? ? ? ? ? ?
? ?
? ? ? ? = ? ? ?
? ? ? ?
固有値問題
に対して，大きい方から? ? 1個の固有値に対応する固有ベ
クトルを並べると
? = ? ?, ? , ? ???
となり，
? ??? = ??
を得る（? × (? ? 1)の行列）

?(1), ? , ?(??1) = ?T ?opt
? = ? ? ?
１つの?に対して，データ?の重み付けは
で与えられるので， (? ? 1)列の? ???では ? × (? ? 1)の特徴
量行列を得る
?(?)： ?番目のFisher Wight Mapで重み付けした?次元の特徴量ベクトル
(? ? 1)個の特徴量ベクトルを連結して，
? = ? 1 ?
, ? , ? ??1 ? ?
これが画像を表現する特徴量ベクトルである

識別
画像特徴量ベクトル?&から識別を行う
SVMやKernel Fisher Discriminant Analysisなどを利用す
ることもできるが，ここではFisher線形判別分析を用いる
? = ?T ?
に対して，Fisher Criterionを最大にする行列
? ∈ ? ? ??1 × ??1
を求める
ある画像が与えられた時，それに対する?を計算し，中心が
最も近いクラスに識別する

笑顔検出実験
Fisher Weight Mapでは，笑顔検出に重要な口元や目の周囲
などに大きな重みが割り当てられた
? 96画像（12画像 x2表情 x 4人）
? 30x30画素，256段階グレースケー
ル
? 学習データ： 72画像（2表情x3人）
? テストデータ：残りの24画像
? 4回繰り返して実験

表情認識実験
? JAFFEデータベース
? 193画像（9人，7表情）
? 32x40画素，256段階グレースケー
ル
? 学習データ： 8人の画像
? テストデータ：残りの1人の画像
? 9回繰り返して実験

Improving Local Descriptors by Embedding
Global and Local Spatial Information
T. Harada, H. Nakayama, and Y. Kuniyoshi,
European Conference on Computer Vision, 2010.

背景と目的
? 一般物体認識の特徴量
? Local spatial information: Self Similarity, Geometric Blur, SIFT
? Global spatial information: HOG, GIST, BoW, PHOG, PHOW
? 目的
? 局所特徴量が与えられた時，LocalとGlobalのSpatial Informationをどの
ように特徴量表現に組み込むと，簡潔で識別性能の高い特徴量が得られる
か？
? 手法
? Local Spatial Informationを組み込むために，局所自己相関(Local Auto-
Correlation)を利用
? Global Spatial Informationを組み込むために，Fisher Weight Mapsを利
用
? 識別にNa?ve Bayes Probabilistic Linear Discriminant Analysisを利用

提案手法の概要(1)
画像を?領域に分割し，各領域から?種類の特徴量ベクトル?を
抽出（texture, shape, colorなど）
??
(?)
= ??1
? ?
, ? , ???
? ?
?
???
?
∈ ? ? ?
: 画像??の領域?から抽出した?種類目の特徴量ベクトル
画像??に対する特徴量ベクトル??は， ?種類の特徴量ベクトル
を連結して，
?? = ??
1 ?
, ? , ??
? ?
?
画像の特徴量ベクトル??を?クラス ?? ?=1
?
に分類する問題を考
える
? = arg max
?
? ??|?? &? ?? ∈ ??

ベイズの定理を利用して，事前確率が全てのクラスに対して等
しいと仮定すると，
各クラス??&において， ?種類の特徴量ベクトルを独立とすると
(Na?ve Bayse Approach)
? = arg max
?
? ??|?? &? ?? ∈ ??
? ??|?? &= ? ??
1 ?
, ? , ??
? ?
?
|??
&= ? ??
?
|??
?
?=1
ln ? ??|?? &= ln ? ??
?
|??
?
?=1
? ??
?
|?? に対してもNa?ve Bayse Approachを考えることができるが，そ
の方法では領域間の関係性を無視することになる

そこで，領域ごとの特徴量の重み付き線形結合を考える
??
?
= ??
? ?
? ? = ?1
?
??1
?
+ ? + ? ?
?
???
?
??
(?)
= ??1
? ?
, ? , ???
? ?
?
?(?) = ?1
?
, ? , ? ?
?
?
重みベクトル?(?)
は複数考えられるので，その数を?′
として
???
?
= ??
? ?
??
?
??
? ′
= ??1
? ?
, ? , ???′
? ? ?
??
? ′
をPCAで次元圧縮した特徴ベクトルを??
?
とすると，識別
ルールは，
? = arg max
?
ln ? ??
?
|??
?
?=1
&? ?? ∈ ??

Local Spatial Information
各領域から特徴量???
?
の抽出
Φ ?? =
1
??
? ?? ? ?? + ??
?
?∈?
Φ =
1
??
? ??
?∈?
1次の局所自己相関
0次の局所自己相関
Φ 0 =
1
??
? ?? ? ??
?
?∈?
特に
領域特徴量
???
?
= Φ ?, ? Φ 0
?
, ? Φ ?1
?
, ? , ? Φ ? ? ?
? ?
対称行列なので，右上部
分を連結して並べる関数
行列の全ての要素を抜き
出して連結する関数
? ?? ：位置??における
局所特徴量ベクトル
対称行列

Global Spatial Information
???
?
= ??
? ?
??
?
領域特徴量??
?
に対する重み付けベクトル??
?
を求める
→ Fisher Weight Mapsを利用
教師付き学習データ ??
?
, ??
?=1
?
からFisher Criterionを最大に
する重みベクトルを求める
? ? &=
??? ?
??? ?
&=
? ? ?B ?
? ? ?W ?
?W =
1
N
??
?
? ?? ??
?
? ??
?
?∈??
?
?=1
?B =
1
N
?? ?? ? ? ?? ? ? ?
?
?=1
? ? ? = ?? ? ?一般固有値問題
大きい固有値?′ ≤ ? ? 1に対応する固有ベクトルを??
?
とする

識別 (1)
? = arg max
?
ln ? ??
?
|??
?
?=1
&? ?? ∈ ??
識別ルール
確率密度関数? ??
?
|?? の推定にProbabilistic Linear
Discriminant Analysisを利用
学習データ： (??, ??)|?? ∈ ? ?
, ?? ∈ ?1, ? , ? ?
?=1
?
テストデータ： ?t
? = ??1 ? ? ? &&&(? ∈ ? ?×?′
, ? ∈ ? ?)
潜在変数
? ? ? ?? = ? ? ?|
?? ?
?? ? + ?
??, ? +
?
?? ? + ?

識別 (2)
?に対するFisher線形判別分析から
? ? ? = ? ? ??
の固有値を対角成分に持つ行列?及び固有ベクトルを並べた行
列?を求める（ ? ?，? ?はそれぞれ?に対するクラス間?クラ
ス内共分散行列）
? ? = ? ?
? ? ?, ? ? = ? ?
? ? ?
? ?, ? ?をそれぞれ? ?，? ?を対角化した対角行列として
?&=
1
?
??
?
?=1
?&= ???
?
? ? 1
?w
1
2
Ψ&= max 0,
? ? 1
?
?b
?w
?
1
?
? = ??1 ? ? ? &&&(? ∈ ? ?×?′
, ? ∈ ? ?)
? ? ? ?? = ? ? ?|
?? ?
?? ? + ?
??, ? +
?
?? ? + ?
潜在変数の確率密度関数

実験結果（シーン認識）
GLC: 局所自己相関と
して Φ ?, ? Φ 0
? ?
を
利用（周辺との相関を
利用しない）

実験结果（物体认识）

まとめ
? Fisher線形判別分析とFisher Weight Mapsを紹介した
? Fisher Weight Mapsは，各領域の最適な重みを求めるのに有
用である
? 局所自己相関とFisher Weight Mapsを組み合わせた手法は，
任意の局所特徴量に適用できるので，広い範囲に応用できそ
う

狠狠撸

Fisher線形判別分析とFisher Weight Maps

Recommended

More Related Content

What's hot (20)

Viewers also liked (11)

Similar to Fisher線形判別分析とFisher Weight Maps (20)

Fisher線形判別分析とFisher Weight Maps