![学習ベクトル －入力データ in R
library(class) ; library(mlbench)
dim <- 2 # 入力空間の次元 ; n <- 300 # 学習データ数
smpl <- mlbench.corners(n, d=dim, sd=0.25)
x <- smpl$x ; y <- smpl$classes
size <- 8 # 代表ベクトルの数 ; k <- 1 # 初期化
cd <- lvqinit(x,y, size=size, k=k) ; cd3 <- lvq3(x,y,cd)
# 学習前後の判別境界
gsize <- 100 # グリッドのサイズ
x1 <- seq(min(x[,1]), max(x[,1]), length=gsize)
x2 <- seq(min(x[,2]), max(x[,2]), length=gsize)
xtest <- as.matrix(expand.grid(x1,x2))
yest <- lvqtest(cd, xtest)
yest3 <- lvqtest(cd3, xtest)
cntr <- matrix(match(yest, levels(factor(yest))), gsize, gsize)
cntr3 <- matrix(match(yest3, levels(factor(yest3))), gsize, gsize)
plot(x, col=y, pch=20+as.numeric(y), xlab="x1", ylab="x2",
main="Initial Codebook")
# 代表ベクトル
points(cd3$x, col=cd3$cl, bg=cd$cl,
pch=20+as.numeric(cd$cl),cex=2)
16](https://image.slidesharecdn.com/9-130303234135-phpapp02/85/9-16-320.jpg)
![[DL輪読会]Deep Learning 第15章 表現学習](https://cdn.slidesharecdn.com/ss_thumbnails/deeplearning15-180601023904-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...](https://cdn.slidesharecdn.com/ss_thumbnails/220204nonakadl1-220204025334-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...](https://cdn.slidesharecdn.com/ss_thumbnails/wgan-1-170224021826-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Viewers also liked (20)
Similar to パターン認識第9章 学習ベクトル量子化 (20)
Recently uploaded (10)
パターン認識第9章 学習ベクトル量子化
- 1. 学习ベクトルの量子化 東京大学 三好雄也 1
- 3. 量子化とは ? 量子化(Quantization) ? ある連続量を、データ量削減のために、最も近い不連続値（代表ベクト ル、セントロイド）に置き換える（近似、情報圧縮）すること。（精度は落 ちます。） ? 画像圧縮に用いられたりするようです。 3
- 4. 学习ベクトルの量子化のイメージ 1 ? 入力データを代表ベクトルによって分割近似するという点で はk-meansと目的を同じくする。 ? 入力データに近い代表ベクトルによって判別を行う点ではk- 近傍法と関連がある。 ? 何はともあれ、代表ベクトルをいかに配置するかが鍵 代表ベクトルによる 入力データとラベル 入力空間の分割 4
- 5. 学习ベクトルの量子化のイメージ 2 ? 入力データに近い代表ベクトルによって判別を行う点ではk- 近傍法と関連がある。 代表ベクトルによる 入力データとラベル 入力空間の分割 5
- 6. 学习ベクトルの量子化の学習プロセス 代表データの初期値の決定プロセス 1. 学習データをk-近傍法によって判別 2. 判別の誤りのないデータからランダムで選ぶ 学習プロセス 1. 時刻tにおいて1つのデータ（テスト点）を選択 2. 代表ベクトルの更新 ? 時刻tで選ばれたデータ (x(t),y(t)) ? x：特徴量、y：ラベル ? 時刻tにおける代表データ ?1 (t) ? 代表データのラベル ? ? (t), i=1,2,…k 6
- 7. 学習アルゴリズム ? 学習アルゴリズムとしては以下のものがある 1. LVQ1 2. LVQ2.1 3. LVQ3 4. OLVQ1(Optimized-learning rate LVQ1) 7
- 8. LVQ1 -1 ? テスト点(x(t),y(t))が入力される ? テスト点から最も近い代表ベクトルを c とする c = ?????? ? ? ? ? ? ? このとき y(t)= ? ? (t) → ? ? (t+1) = ? ? (t) + α(t)(x(t)－ ? ? (t)) y(t)≠ ? ? (t) → ? ? (t+1) = ? ? (t)－α(t)(x(t)－ ? ? (t)) ただし、 0 < α(t) < 1 i≠c → ? ? (t+1) = ? ? (t) 8
- 9. LVQ1 -2 ? y(t)= ? ? (t) → ? ? (t)をx(t)に近づける ? y(t)≠ ? ? (t) → ? ? (t)をx(t)から遠ざける 9
- 10. LVQ2.1 -1 ? LVQ1は1つの代表ベクトルしか更新しなかったが、2つの代表 ベクトルに対して更新を行うアルゴリズムがLVQ2.1 更新の対象 ? ラベルが違うがテスト点から最も近い代表ベクトル ? ? (t) ? ラベルが同じでテスト点から最も近い代表ベクトル ? ? (t) 10
- 11. LVQ2.1 -2 1?? ?? ? ? ? s = とし、min( , ) > s なら、以下の更新を行う 1+? ? ? ?? ? ? (t+1) = ? ? (t)－α(t)(x(t)－ ? ? (t)) → 遠ざける ? ? (t+1) = ? ? (t) + α(t)(x(t)－ ? ? (t)) → 近づける ?? 1?? 左図の場合、 >s= となる ?? ?? 1+? ?? ?? ?? ?? ?? min( , )≦1であり、 ? ? と? ? が近 ?? ?? いほど、更新が行われやすくなる。 11
- 12. LVQ3 ? LVQ1とLVQ2.1を融合したようなもの ? テスト点から近い2つ代表ベクトルを順に? ? (t), ? ? (t)とし、以 下のどちらかの条件を満たした場合に更新を行う。 1. li (t) , lj (t)がともにy(t)と同じ ?? (t+1)= ?? (t)+εα(t)(x(t)－?? (t)) ,h=i,j →近づける 2. li (t)≠y(t), lj (t)=y(t)、かつLVQ2.1と同じ条件（テスト点が窓 に入る）の場合 ? ? (t+1) = ? ? (t)－α(t)(x(t)－ ? ? (t)) → 遠ざける ? ? (t+1) = ? ? (t) + α(t)(x(t)－ ? ? (t)) → 近づける 12
- 13. OLVQ1 -1 ? LVQ1における α(t) の最適化 → 学習の収束特性の改善 ? y(t)とli (t)との関係を示す変数を導入する +1, i=c かつ y(t) = li (t) ?i (t) = －1, i=c かつ y(t) ≠ li (t) 0, i ≠ c y(t)= ? ? (t) → ? ? (t+1) = ? ? (t) + α(t)(x(t)－ ? ? (t)) y(t)≠ ? ? (t) → ? ? (t+1) = ? ? (t)－α(t)(x(t)－ ? ? (t)) i ≠ c → ? ? (t+1) = ? ? (t) ? mi (t+1) = mi (t) + ?i (t)αi (t)(x(t)－ ? ? (t)) 13
- 14. OLVQ1 -2 mi (t+1) = mi (t) + ?i (t)αi (t)(x(t)－ ? ? (t)) = (1－?i (t)αi (t)) ? ? (t) + ?i (t)αi (t)x(t) さらに展開していくと、 mi (t+1) = (1－?i (t)αi (t))(1－? ? (t－1)αi (t－1))? ? (t) + (1－?i (t)αi (t))? ? (t－1)αi (t－1)x(t－1) + ?i (t)αi (t) x(t) ?i (t)?i (t－1)=0のとき、 x(t－1) と x(t) の係数の絶対値が等し いとし、さらに、 ?i =1, 0< α <1 を考慮すると、最終的に αi(??1) αi (?) = 1+si (?)αi (??1) 14
- 15. 問題点 1. 初期値依存 2. 学習データによる学習の順番にも結果が依存する 15
- 16. 学習ベクトル －入力データ in R library(class) ; library(mlbench) dim <- 2 # 入力空間の次元 ; n <- 300 # 学習データ数 smpl <- mlbench.corners(n, d=dim, sd=0.25) x <- smpl$x ; y <- smpl$classes size <- 8 # 代表ベクトルの数 ; k <- 1 # 初期化 cd <- lvqinit(x,y, size=size, k=k) ; cd3 <- lvq3(x,y,cd) # 学習前後の判別境界 gsize <- 100 # グリッドのサイズ x1 <- seq(min(x[,1]), max(x[,1]), length=gsize) x2 <- seq(min(x[,2]), max(x[,2]), length=gsize) xtest <- as.matrix(expand.grid(x1,x2)) yest <- lvqtest(cd, xtest) yest3 <- lvqtest(cd3, xtest) cntr <- matrix(match(yest, levels(factor(yest))), gsize, gsize) cntr3 <- matrix(match(yest3, levels(factor(yest3))), gsize, gsize) plot(x, col=y, pch=20+as.numeric(y), xlab="x1", ylab="x2", main="Initial Codebook") # 代表ベクトル points(cd3$x, col=cd3$cl, bg=cd$cl, pch=20+as.numeric(cd$cl),cex=2) 16
- 17. 学習ベクトル －学習前と学習後 # 学習前の境界を表示 # 学習後 for(i in 1:max(cntr)) contour(x1, x2, cntr==i, plot(x, col=y, pch=20+as.numeric(y), xlab="x1", levels=0.5, lwd=2, lty=1, drawlabels=F, add=TRUE) ylab="x2", main="LVQ3") points(cd3$x, col=cd3$cl, bg=cd$cl, pch=20+as.numeric(cd$cl),cex=2) for(i in 1:max(cntr3))contour(x1,x2,cntr==i,levels=0.5,l 17 wd=2,lty=1, drawlabels=F, add=TRUE)