![本輪講の構成(『入門機械学習』はほぼガン無視)
?? [1] 線形回帰とその拡張
?? [2] 過学習と正則化
?? [3] 正則化つき回帰をしてみる
?? [4] まとめ
3](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-3-320.jpg)
![[1]線形回帰とその拡張
1.? 単純な線形回帰を考える
–? 単回帰分析と重回帰分析
–? 線形回帰モデルの紹介
2.? さらに一般化してみる
–? 線形基底関数モデルの紹介
–? 基底関数
3.? 重みの決め方
–? 最小二乗法
4](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-4-320.jpg)
![単純な線形回帰を考える
[1] 線形回帰とその拡張
駅
家1
家2
家3
1.5km
6万円/月
3万円/月
8万円/月
駅からの距離で
家賃が求められるのでは？
5](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-5-320.jpg)
![単純な線形回帰を考える
[1] 線形回帰とその拡張
駅からの距離[m] 家賃[万円/月]
1000 35
1500 25
500 45
求めたい家賃をy, 駅からの距離をxとすると
と近似できそう(単回帰分析)
?yl = ax + b
表にしてみた
駅からの距離[m]
家賃[万円/月]
6](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-6-320.jpg)
![単純な線形回帰を考える
[1] 線形回帰とその拡張
駅
家1
家2
家3
1.5km
6万円/月
築8年, 面積50m2
駅からの距離と面積と築年数で
家賃が求められるのでは？
3万円/月
築10年, 面積40m2
8万円/月
築4年, 面積50m2
7](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-7-320.jpg)
![単純な線形回帰を考える
[1] 線形回帰とその拡張
駅からの距離[m] 築年数[年] 面積[m2] 家賃[万円/月]
1000 6
50 35
1500 3
40 25
500 8
50 45
求めたい家賃をy,
駅からの距離をx1, 築年数をx2, 面積をx3とおくと
と近似できそう(重回帰分析)
?yml = ax1 + bx2 +cx3 + d
表にしてみた
8](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-8-320.jpg)
![単純な線形回帰を考える
[1] 線形回帰とその拡張
?y = w0 + w1x1 + w 2 x2 +!+ wD xD
?yl = ax + b
?yml = ax1 + bx2 +cx3 + d
!
"
#
上記の2式をにらめっこすると、次のように一般化できる:
x0=1とすれば ?y = xjwj
j=0
D
∑ となる。
9](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-9-320.jpg)
![単純な線形回帰を考える
[1] 線形回帰とその拡張
?y = xjwj
j=0
D
∑
先程求めた式で表せるものを線形回帰モデルと呼ぶ。
実際の値には誤差εが乗っていて、これはN(0, σ2)に従う
y = xjwj
j=0
D
∑ +ε
y : 独立変数, 被説明変数,目的変数
wj : 重み
xj : 従属変数, 説明変数
等分散正規分布
10](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-10-320.jpg)
![単純な線形回帰を考える
[1] 線形回帰とその拡張
……入力xに対して線形ってどうなの？
先程求めた式で表せるものを線形回帰モデルと呼ぶ。
ここでyについてわかることは、
?入力xに対して線形
?重みwに対して線形
?「入力xと重みwの積」の和を計算している
?y = xjwj
j=0
D
∑
y : 独立変数, 被説明変数,目的変数
wj : 重み
xj : 従属変数, 説明変数
11](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-11-320.jpg)
![単純な線形回帰を考える
[1] 線形回帰とその拡張
これは回帰できるの？
こういうのは？
これらを扱うには
もっと一般化する必要がある… 12](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-12-320.jpg)
![さらに一般化してみる
[1] 線形回帰とその拡張
Φ(x)=x2としてyとΦ(x)をプロットしてみると…
先程は扱えなかったこのような分布、
13](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-13-320.jpg)
![さらに一般化してみる
[1] 線形回帰とその拡張
14
yはΦ(x)に対して線形になる。多項式も扱える！](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-14-320.jpg)
![さらに一般化してみる
[1] 線形回帰とその拡張
?y = φj (x)wj
j=0
D
∑
以下の式で表せるものを線形基底関数モデルと呼ぶ。
なお、Φ0(x)=1とする。
y : 独立変数, 被説明変数,目的変数
wj : 重み
xj : 従属変数, 説明変数
Φ : 基底関数, リンク関数(RD→R1)
注意! R1→R1ではない
ここでyについてわかることは、
?入力xに対して非線形
?重みwに対して線形
?「入力xをΦにかけた値と重みwの積」の和
15](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-15-320.jpg)
![さらに一般化してみる
[1] 線形回帰とその拡張
?y = φj (x)wj
j=0
D
∑
基底関数には以下の関数がよく使われる(人間が選ぶ)
Φの形 名前 用途
xj 多項式 多項式フィッティング
exp{-(x-μ)2/2s2} ガウス基底関数 非線形SVM
σ((x-μj)/2) ロジット関数
ニューラルネット
ロジスティック回帰
16](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-16-320.jpg)
![?y = φj (x)wj
j=0
D
∑
重みの決め方
[1] 線形回帰とその拡張
どうやって決めるのか？
最小二乗法による推定
最尤法による推定
今回はこちらだけ
17](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-17-320.jpg)
![重みの決め方
[1] 線形回帰とその拡張
最小二乗法による推定...の前に
?yi = φj (xi )wj
j=0
D
∑ =
φ0 (xi )
!
φD (xi )
"
#
$
$
$
$
%
&
'
'
'
'
T
w
i個目の観測データをxi、目的変数をyiとし、
w=(w0, w1, ..., wD)Tとすると
yiの予測値は以下のように表せる
18](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-18-320.jpg)
![重みの決め方
[1] 線形回帰とその拡張
最小二乗法による推定...の前に
?y = ΦT
w
n個の独立な観測データ(x1, ..., xn)があったとき、
?y =
?y1
!
?yn
!
"
#
#
#
#
$
%
&
&
&
&
,Φ =
φ0 (x1) " φ0 (xn )
! # !
φD (x1) " φD (xn )
!
"
#
#
#
#
$
%
&
&
&
&
yの予測値ベクトルは以下のように表せる
とおくと
x1 xn
19](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-19-320.jpg)
![重みの決め方
[1] 線形回帰とその拡張
最小二乗法による推定
実測値と予測値の二乗誤差を最小化する
?yi
yi
二乗誤差Ewを
以下のように定義:
ED (w) = (yi ? ?yi )2
i=1
n
∑
20](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-20-320.jpg)
![重みの決め方
[1] 線形回帰とその拡張
最小二乗法による推定
ED (w) = (yi ? ?yi )2
i=1
n
∑ これは多次元空間で下に凸
つまり「EDを最小化するw*」はこの2次関数の極値とわかる
極値は「EDを微分した結果が0になるw」なので、
?
?w
ED (w) = 0 を解くと、w*=(ΦΦT)-1ΦTyとわかる
「擬似逆行列」と呼ばれる。
多重共線性が無いと仮定すると
列が線形独立なのでこう計算できる
21](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-21-320.jpg)
![[2]過学習と正則化
1.? 過学習とは
–? 多項式回帰の例
–? 線形基底関数モデルにおける「複雑さ」とは
2.? 正則化
–? いろいろな正則化項
–? λの推定と交差検定
22](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-22-320.jpg)
![過学習とは
[2] 過学習と正則化
サンプル数が少ない状況(n=30)で、
多項式回帰の次数を上げていくと...
テストデータに
適合しなくなってきてる
訓練データに
とても適合している
このような状況を過学習という
ちなみにサンプル数が多くなると
テストデータのRMSEが上がらずに横ばいだった23](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-23-320.jpg)
![過学習とは
[2] 過学習と正則化
複雑すぎるモデルを用いると、
訓練データセットのクセ(ノイズ)を拾いすぎてしまい、
真のモデルの形から遠ざかってしまう
線形基底関数モデルにおける複雑さの定義は
以下に示すものがある(値が大きいほど複雑)
L2ノルム w
2
L1ノルム w
w0
w1
w0
w1
24](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-24-320.jpg)
![正則化
[2] 過学習と正則化
ED (w) = (yi ? ?yi )2
i=1
n
∑最小二乗法においては を最小にした。
これにモデルの複雑度を示す正則化項Ewを加え、
ED (w)+ λEW (w) を最小にするw*を求めることにする。
w0
w1
L2正則化を用いた回帰
(リッジ回帰)の最適点
ちなみに、L2正則化項のときは
w*
= (λI +ΦΦT
)?1
ΦT
y
と解析的に解ける。
25](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-25-320.jpg)
![正則化
ED (w)+ λEW (w)
[2] 過学習と正則化
パラメータλをどう決める？
交差検定を使ってみる
[1]
[2]
[3]
データ
[1]学習
[2]学習
[3]評価
[1]評価
[2]学習
[3]学習
[1]学習
[2]評価
[3]学習
λを変えながらそれぞれ試す
26](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-26-320.jpg)
![[3]正則化つき回帰をしてみる
1.? テキスト回帰
–? 紹介文の単語集合からランキングを予測する
–? この失敗から学べること
2.? ロジスティック回帰
–? ロジスティック回帰でできること
–? ロジスティック回帰は何モデル？
–? さっきの例に適用してみた
27](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-27-320.jpg)
![テキスト回帰
[3] 正則化つき回帰をしてみる
紹介文に出てくる単語の出現回数から、
売上順位が推定できないか？
?y = xjwj
j=0
D
∑
これを線形回帰モデルに当てはめると
y : 売上順位
wj : 重み
xj : 単語jの出現回数
単語は無数にあるので非常に次元が高くなる
正則化項つきでないと簡単に過学習してしまう
28](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-28-320.jpg)
![テキスト回帰
[3] 正則化つき回帰をしてみる
やってみたが...
λが大きくなるほど
RMSEが下がっている...
29
ランキングは出現単語と関係がない
モデルがおかしい](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-29-320.jpg)
![テキスト回帰
[3] 正則化つき回帰をしてみる
この様にうまくいかないこともあるので、
適切なモデルを選ぶことが大切
参考 : AIC(赤池情報量規準)
統計モデルの良さを評価するためのとてもとても有名な指標。
この値が最小のものを選ぶと良いモデルが選択できる。
ちなみにAICのあとにBICとかMDLだとかいろんな規準が
提案されているので、統計屋さんはこれらを使い分ける。
30](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-30-320.jpg)
![テキスト回帰
[3] 正則化つき回帰をしてみる
売上順位の予想をあきらめたくない
「売上順位の予測」ではなく、
「上位50以内に入るかどうか」という分類問題に切り替え
ロジスティック回帰に帰着させてみる
31](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-31-320.jpg)
![ロジスティック回帰
[3] 正則化つき回帰をしてみる
ロジスティック回帰でできること
ロジスティック回帰を使うと、数値の説明変数から
目的変数としてYES/NO(2値分類)の確率が出せる
説明変数x1(数値)
?
ロジスティック回帰 目的変数y(確率)
説明変数x2(数値)
説明変数xn(数値)
32](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-32-320.jpg)
![ロジスティック回帰
[3] 正則化つき回帰をしてみる
ロジスティック回帰は何モデル？
誤差が正規分布に従わないので実は線形モデルではない！
?y = f (w0 + w1x1 +!wD xD ) = f xT
w( )
一般化線形モデルというものに属し、以下で表せる:
ロジスティック回帰は関数fがシグモイド関数なので
?y =
1
1+ exp(?xT
w)
と表される
33](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-33-320.jpg)
![ロジスティック回帰
[3] 正則化つき回帰をしてみる
さっきの例に適用してみた(正則化つきで)
どうやら55%の確率で当たる程度にはなったらしい
34](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-34-320.jpg)
![[4]本章のまとめ
?? [1] 線形回帰とその拡張
–? 線形回帰モデルを拡張したものが線形基底関数モデル
–? 最小二乗法で重みの推定ができる
?? [2] 過学習と正則化
–? 線形基底モデルの複雑さは重みベクトルのノルム
–? 正則化項には色々な種類がある
?? [3] 正則化つき回帰をしてみる
–? 適切な問題設定をしよう
35](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-35-320.jpg)
![?? シンプル?イズ?ベター
–?過学習を防ぐため、正則化項をつけて
パラメータwを推定しよう
–?欲しい情報に合わせて問題設定を見直そう
36
[4]本に書いてあるまとめ](https://image.slidesharecdn.com/seminar06-140610025016-phpapp01/85/6-36-320.jpg)
正则化つき线形モデル(「入门机械学习第6章」より)
- 1. 第6章 正則化 : テキスト回帰 えりっくさーとる 入門機械学習 1
- 2. 6章の構成 ?? 6.1 列の非線形関係 : 直線の先にあるもの –? 6.1.1 多項式回帰の紹介 ?? 6.2 過学習を防ぐ方法 –? 6.2.1 正則化を用いて過学習を防ぐ ?? 6.3 テキスト回帰 –? 6.3.1 救いの手、ロジスティック回帰 2
- 3. 本輪講の構成(『入門機械学習』はほぼガン無視) ?? [1] 線形回帰とその拡張 ?? [2] 過学習と正則化 ?? [3] 正則化つき回帰をしてみる ?? [4] まとめ 3
- 4. [1]線形回帰とその拡張 1.? 単純な線形回帰を考える –? 単回帰分析と重回帰分析 –? 線形回帰モデルの紹介 2.? さらに一般化してみる –? 線形基底関数モデルの紹介 –? 基底関数 3.? 重みの決め方 –? 最小二乗法 4
- 6. 単純な線形回帰を考える [1] 線形回帰とその拡張 駅からの距離[m] 家賃[万円/月] 1000 35 1500 25 500 45 求めたい家賃をy, 駅からの距離をxとすると と近似できそう(単回帰分析) ?yl = ax + b 表にしてみた 駅からの距離[m] 家賃[万円/月] 6
- 7. 単純な線形回帰を考える [1] 線形回帰とその拡張 駅 家1 家2 家3 1.5km 6万円/月 築8年, 面積50m2 駅からの距離と面積と築年数で 家賃が求められるのでは？ 3万円/月 築10年, 面積40m2 8万円/月 築4年, 面積50m2 7
- 8. 単純な線形回帰を考える [1] 線形回帰とその拡張 駅からの距離[m] 築年数[年] 面積[m2] 家賃[万円/月] 1000 6 50 35 1500 3 40 25 500 8 50 45 求めたい家賃をy, 駅からの距離をx1, 築年数をx2, 面積をx3とおくと と近似できそう(重回帰分析) ?yml = ax1 + bx2 +cx3 + d 表にしてみた 8
- 9. 単純な線形回帰を考える [1] 線形回帰とその拡張 ?y = w0 + w1x1 + w 2 x2 +!+ wD xD ?yl = ax + b ?yml = ax1 + bx2 +cx3 + d ! " # 上記の2式をにらめっこすると、次のように一般化できる: x0=1とすれば ?y = xjwj j=0 D ∑ となる。 9
- 10. 単純な線形回帰を考える [1] 線形回帰とその拡張 ?y = xjwj j=0 D ∑ 先程求めた式で表せるものを線形回帰モデルと呼ぶ。 実際の値には誤差εが乗っていて、これはN(0, σ2)に従う y = xjwj j=0 D ∑ +ε y : 独立変数, 被説明変数,目的変数 wj : 重み xj : 従属変数, 説明変数 等分散正規分布 10
- 11. 単純な線形回帰を考える [1] 線形回帰とその拡張 ……入力xに対して線形ってどうなの？ 先程求めた式で表せるものを線形回帰モデルと呼ぶ。 ここでyについてわかることは、 ?入力xに対して線形 ?重みwに対して線形 ?「入力xと重みwの積」の和を計算している ?y = xjwj j=0 D ∑ y : 独立変数, 被説明変数,目的変数 wj : 重み xj : 従属変数, 説明変数 11
- 15. さらに一般化してみる [1] 線形回帰とその拡張 ?y = φj (x)wj j=0 D ∑ 以下の式で表せるものを線形基底関数モデルと呼ぶ。 なお、Φ0(x)=1とする。 y : 独立変数, 被説明変数,目的変数 wj : 重み xj : 従属変数, 説明変数 Φ : 基底関数, リンク関数(RD→R1) 注意! R1→R1ではない ここでyについてわかることは、 ?入力xに対して非線形 ?重みwに対して線形 ?「入力xをΦにかけた値と重みwの積」の和 15
- 16. さらに一般化してみる [1] 線形回帰とその拡張 ?y = φj (x)wj j=0 D ∑ 基底関数には以下の関数がよく使われる(人間が選ぶ) Φの形 名前 用途 xj 多項式 多項式フィッティング exp{-(x-μ)2/2s2} ガウス基底関数 非線形SVM σ((x-μj)/2) ロジット関数 ニューラルネット ロジスティック回帰 16
- 17. ?y = φj (x)wj j=0 D ∑ 重みの決め方 [1] 線形回帰とその拡張 どうやって決めるのか？ 最小二乗法による推定 最尤法による推定 今回はこちらだけ 17
- 18. 重みの決め方 [1] 線形回帰とその拡張 最小二乗法による推定...の前に ?yi = φj (xi )wj j=0 D ∑ = φ0 (xi ) ! φD (xi ) " # $ $ $ $ % & ' ' ' ' T w i個目の観測データをxi、目的変数をyiとし、 w=(w0, w1, ..., wD)Tとすると yiの予測値は以下のように表せる 18
- 19. 重みの決め方 [1] 線形回帰とその拡張 最小二乗法による推定...の前に ?y = ΦT w n個の独立な観測データ(x1, ..., xn)があったとき、 ?y = ?y1 ! ?yn ! " # # # # $ % & & & & ,Φ = φ0 (x1) " φ0 (xn ) ! # ! φD (x1) " φD (xn ) ! " # # # # $ % & & & & yの予測値ベクトルは以下のように表せる とおくと x1 xn 19
- 20. 重みの決め方 [1] 線形回帰とその拡張 最小二乗法による推定 実測値と予測値の二乗誤差を最小化する ?yi yi 二乗誤差Ewを 以下のように定義: ED (w) = (yi ? ?yi )2 i=1 n ∑ 20
- 21. 重みの決め方 [1] 線形回帰とその拡張 最小二乗法による推定 ED (w) = (yi ? ?yi )2 i=1 n ∑ これは多次元空間で下に凸 つまり「EDを最小化するw*」はこの2次関数の極値とわかる 極値は「EDを微分した結果が0になるw」なので、 ? ?w ED (w) = 0 を解くと、w*=(ΦΦT)-1ΦTyとわかる 「擬似逆行列」と呼ばれる。 多重共線性が無いと仮定すると 列が線形独立なのでこう計算できる 21
- 22. [2]過学習と正則化 1.? 過学習とは –? 多項式回帰の例 –? 線形基底関数モデルにおける「複雑さ」とは 2.? 正則化 –? いろいろな正則化項 –? λの推定と交差検定 22
- 24. 過学習とは [2] 過学習と正則化 複雑すぎるモデルを用いると、 訓練データセットのクセ(ノイズ)を拾いすぎてしまい、 真のモデルの形から遠ざかってしまう 線形基底関数モデルにおける複雑さの定義は 以下に示すものがある(値が大きいほど複雑) L2ノルム w 2 L1ノルム w w0 w1 w0 w1 24
- 25. 正則化 [2] 過学習と正則化 ED (w) = (yi ? ?yi )2 i=1 n ∑最小二乗法においては を最小にした。 これにモデルの複雑度を示す正則化項Ewを加え、 ED (w)+ λEW (w) を最小にするw*を求めることにする。 w0 w1 L2正則化を用いた回帰 (リッジ回帰)の最適点 ちなみに、L2正則化項のときは w* = (λI +ΦΦT )?1 ΦT y と解析的に解ける。 25
- 26. 正則化 ED (w)+ λEW (w) [2] 過学習と正則化 パラメータλをどう決める？ 交差検定を使ってみる [1] [2] [3] データ [1]学習 [2]学習 [3]評価 [1]評価 [2]学習 [3]学習 [1]学習 [2]評価 [3]学習 λを変えながらそれぞれ試す 26
- 27. [3]正則化つき回帰をしてみる 1.? テキスト回帰 –? 紹介文の単語集合からランキングを予測する –? この失敗から学べること 2.? ロジスティック回帰 –? ロジスティック回帰でできること –? ロジスティック回帰は何モデル？ –? さっきの例に適用してみた 27
- 28. テキスト回帰 [3] 正則化つき回帰をしてみる 紹介文に出てくる単語の出現回数から、 売上順位が推定できないか？ ?y = xjwj j=0 D ∑ これを線形回帰モデルに当てはめると y : 売上順位 wj : 重み xj : 単語jの出現回数 単語は無数にあるので非常に次元が高くなる 正則化項つきでないと簡単に過学習してしまう 28
- 30. テキスト回帰 [3] 正則化つき回帰をしてみる この様にうまくいかないこともあるので、 適切なモデルを選ぶことが大切 参考 : AIC(赤池情報量規準) 統計モデルの良さを評価するためのとてもとても有名な指標。 この値が最小のものを選ぶと良いモデルが選択できる。 ちなみにAICのあとにBICとかMDLだとかいろんな規準が 提案されているので、統計屋さんはこれらを使い分ける。 30
- 33. ロジスティック回帰 [3] 正則化つき回帰をしてみる ロジスティック回帰は何モデル？ 誤差が正規分布に従わないので実は線形モデルではない！ ?y = f (w0 + w1x1 +!wD xD ) = f xT w( ) 一般化線形モデルというものに属し、以下で表せる: ロジスティック回帰は関数fがシグモイド関数なので ?y = 1 1+ exp(?xT w) と表される 33
- 35. [4]本章のまとめ ?? [1] 線形回帰とその拡張 –? 線形回帰モデルを拡張したものが線形基底関数モデル –? 最小二乗法で重みの推定ができる ?? [2] 過学習と正則化 –? 線形基底モデルの複雑さは重みベクトルのノルム –? 正則化項には色々な種類がある ?? [3] 正則化つき回帰をしてみる –? 適切な問題設定をしよう 35