Prml4 1-4-2
- 2. 4章 線形識別モデル 4.1 ?識別関数（判別関数） ? ?? 4.1.1 ?2クラス ? ?? 4.1.2 ?多クラス ? ?? 4.1.3 ?分類における最小二乗法 ? ?? 4.1.4-?‐4.1.6 ?フィッシャーの判別 ? ?? 4.1.7 ?パーセプトロン
- 3. 分類問題 分類の目的は、ある入力ベクトルxをK個の ? 離散クラスCkの１つに割り当てること 入力空間は決定領域に分離される 決定領域の境界を決定境界または決定面と呼ぶ 線形識別モデル 決定面が、入力ベクトル虫の线形関数であり、 D次元入力空間に対して、その決定面がD-?‐1 次元の超平面で定義される。
- 4. 目的変数 ２クラス分類 ２値表現 クラスC1をt=1、クラスC2をt=0で表現する。 t∈{0,1} 多クラス分類 1-?‐of-?‐K符号化法 例えば、K=5クラスの場合、クラス２のパターンは
- 5. 分類問題に対するアプローチ 識別関数 ?4.1章 □入力ベクトルxから直接クラスを推定する識別関数を構築する。 確率的識別モデル ?4.3章 □条件付き確率分布p(Ck|x)を直接モデル化する。 確率的生成モデル ?4.2章 □クラスに対する事前確率p(Ck)とともに、 ? ? ? ?クラスで条件付けられた確率密度p(x|Ck)を考え、 ? ? ? ?ベイズ定理より、事後確率p(Ck|x)を求める ?
- 6. 分類問題に対するアプローチ２ 一般線形化モデル 分類問題では、領域(0,1)の値をとる事後確率を予測したい ｆは活性化関数 決定面はy(x)=定数に相当し、 が定数となる。つまり、 ? 関数fが非線形でも、決定面は虫の线形関数である。 ?
- 7. 4.1.1 ?識別関数 線形識別関数 wは重みベクトル、w0はバイアスパラメータ。 ? -?‐w0はしきい値パラメータと呼ばれる。 y(x)≧0ならば、入力ベクトルxはクラスC1に割り当てられる。 ? それ以外は、クラスC2に割り当てられる。 決定境界は、y(x)=0で定義される。 D次元入力空間中のD-?‐1次元超平面に対応する。
- 9. 4.1.2 ?多クラス 1対他分類器 ある特定のクラスCkに入る点とそのクラスに 入らない点とに分類する2クラス問題を解く分 類器をK-?‐1個利用する。 緑の部分は、クラスC1とクラスC2の両方に ? 所属している。 曖昧な分類領域が出てしまう。
- 10. 4.1.2 ?多クラス 1対1分類器 すべての可能なクラスの組の２クラス識別関 数を考え、K(K-?‐1)/2個の２クラス識別関数を 利用する。 緑の部分は、 ? 「クラスC1ではなくクラスC2」 ? 「クラスC2ではなくクラスC3」 ? 「クラスC3ではなくクラスC1」 ? である。 曖昧な分類領域が出てしまう。
- 12. 4.1.2 ?多クラス 凸領域 2点xAとxBが同じ決定領域Rkにあるとき、 ? 2点xAとxBを結ぶ直線上にある任意の点も ? 決定領域Rkにある。
- 14. 識別関数のパラメータを学習する方法 ?? 最小二乗 4.1.3章 ? ?? フィッシャーの線形判別 4.1.4章 ? ?? パーセプトロンアルゴリズム 4.1.7章
- 19. 4.1.4 ?フィッシャーの線形判別 最大化 制約条件 ラグランジュの未定乗数法 よって
- 20. 4.1.4 ?フィッシャーの線形判別 クラス平均を結んだ直線上への射影 重なりあう部分が多い。 フィッシャーの方法 射影されたクラス平均間の分離度を大きくすると同 時に、各クラス内では小さな分散を与える関数を最 大化する。 フィッシャーの判別基準 ?= ?クラス间分散／クラス内分散
- 21. 4.1.4 ?フィッシャーの線形判別 クラス内分散は フィッシャーの判別基準 ?= ?クラス间分散／クラス内分散
- 22. 4.1.4 ?フィッシャーの線形判別 フィッシャーの判別基準 ?= ?クラス内分散／クラス間分散 クラス間共分散行列 総クラス内共分散行列
- 23. 4.1.4 ?フィッシャーの線形判別 最大化 ※ (Aが対称行列)
- 25. 4.1.5 ?最小二乗との関連 クラスC1に対する目的変数値をN/N1 ? クラスC2に対する目的変数値を-?‐N/N2とする。 N1はクラスC1に属するパターンの個数 ? N2はクラスC2に属するパターンの個数 ? 二乗和誤差関数 w0の導関数 wの導関数 フィッシャーの線形判別と同じ
- 26. 4.1.6 ?多クラスにおけるフィッシャーの判別 クラス内共分散 総共分散行列 クラス間共分散行列の測度と考えられる行列 総共分散行列
- 27. 4.1.6 ?多クラスにおけるフィッシャーの判別 射影後 クラス内共分散 クラス間共分散行列の測度と考えられる行列 Fukunaga,1990 クラス間共分散が大きく、クラス内共分散が小さい場合に、 大きくなるスカラーを構成。 SBのランクは高々(K-?‐1)である。(K-?‐1)個以上の線形「特徴」を 発見することができない。
- 28. 4.1.7 ?パーセプトロンアルゴリズム 入力ベクトルxを特徴ベクトルφ(x)に変換する。 一般化線形モデル 非線形活性化関数 ?f()はステップ関数 目的変数値 t∈{-?‐1,1} ならC1 ならC2 すべてのパターンは を満たす。
- 29. 4.1.7 ?パーセプトロンアルゴリズム パーセプトロン基準 正しく分類された任意のパターンに対しては誤差0 誤分類された任意のパターンに対しては 確率的最急降下アルゴリズム パターンが正しく分類されている場合には、重みベクトル に手を加えず、パターンが誤って分類された場合、 ? 誤分類されたパターンがC1の場合には、φnを加え ? 誤分類されたパターンがC2の場合には、φnを引く
- 31. 4.1.7 ?パーセプトロンアルゴリズム 一回の更新で、誤分類されたパターンの誤差は減少できる 一回の更新で、新たな誤差が生じることも 一回の更新で、総誤差関数を減少させることを保証していない パーセプトロンの収束定理 線形分離が可能な場合、パーセプトロン学習アルゴリズムは ? 有限回の繰り返しで厳密解に収束することを保証している。 収束するのに必要な繰り返し回数がかなり多い 初期値やデータの提示順に依存して様々な解に収束してしまう
- 32. 4.2 ?確率的生成モデル クラスの条件付き確率密度p(x|Ck)と ? クラスの事前確率p(Ck)をモデル化して、 ? ベイズの定理より、 ? 事後確率p(Ck|x)を計算する。 ?
- 33. 4.2 ?確率的生成モデル ２クラスの場合 ロジスティックシグモイド関数
- 34. 4.2.1 ?連続値入力 仮定 クラスの条件付き確率密度がガウス分布 すべてのクラスが同じ共分散行列を共有する クラスCkの確率密度 クラスC1の事後確率
- 35. 4.2 ?確率的生成モデル Kクラス分類 共分散を共有 → ２次の項がキャンセル 一般化線形モデル
- 37. 4.2.2 ?最尤解 仮定 条件付き確率密度がガウス分布、共通の共分散行列を持つ データ集合 {xn,tn} ? ? ? ?t∈{0,1} t=1はクラスC1を表し、t=0はクラスC2を表す。 クラスの事前確率p(C1)=π ? ?, ? ? ?p(C2)=1-?‐π 尤度関数
- 39. 4.2.2 ?最尤解 ∑に関する対数尤度の項 微分すると よって、Σ ?= ?Sとなる ※
- 40. 4.2.3 ?離散特徴 特徴が離散値xiの場合を考える。xi∈{0,1} 特徴数D個の入力がある場合、一般的な分布は各クラスに対 する2D個の要素の表に相当する。 ナイーブベイズを仮定。特徴値がクラスCkに対して条件付き独 立であるとして扱われる。 入力値xiの線形関数