狠狠撸

狠狠撸Share a Scribd company logo
スパース性に基づく機械学習
~4.1 ノイズなしl1ノルム最小化問題の問題設定~
@gen_goose_gen
自己紹介と注意
● @gen_goose_gen
●
某高専 電気系学科 卒業
● 関西の某国立大の情報系学科に編入(作成時B3)
●
情報?機械学習ともに初学者
– 間違えている可能性があるので疑問がある場合は上記の
ツイッターアカウントまでご一報ください
スライドで用いる表記
●
スカラー:ローマン体
●
ベクトル:小文字のボールド体
●
行列:大文字のボールド体
●
集合:カリグラフィー文字
(特に断らない場合列ベクトルとする)
導入
現実:無数の要因が結果に関わっているおそれがある
→サンプル数が少ないと線形方程式が一意にならない
→要因が少なければ方程式が決まる
パラメータベクトルがスパースな場合、最もスパースなもの
を解とする
(考えられる要因の中で結果にかかわらない部分は無視しよう)
  探索にかかる計算量が膨大(組み合わせ爆発)
→代わりの方法が必要
l1ノルム最小化
問題設定
観測データの生成:
これを求めるのが目的
:スパースなベクトルと仮定
(観測パラメータの中に結果
への影響がないものがある)
上記の仮定のもとで
1.l1最小解が と一致することを幾何的に明らかにする
(4.2)
2.サンプルの要因がある確率分布に従ってランダムに生
成された場合に1.を満たす確率を考察する(4.3)
問題設定
観測データの生成:
これを満たす中で最もスパースなものを見つけたいが
計算量が膨大
→l1ノルムが最小になるものを代わりに探す
λ→0として計算
(2.5節)
誤差を許す
 →測定誤差(ノイズ)のある状況で使える(5章)
問題設定
観測データの生成:
これを満たす中で最もスパースなものを見つけたいが
計算量が膨大
→l1ノルムが最小になるものを代わりに探す
λ→0として計算
(2.5節)
誤差を許す
 →測定誤差(ノイズ)のある状況で使える(5章)
ありがとうございました!

More Related Content

Viewers also liked (9)

統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
Taiji Suzuki
?
岩波データサイエンス冲痴辞濒.5冲勉强会资料01
岩波データサイエンス冲痴辞濒.5冲勉强会资料01
goony0101
?
Introduction of "the alternate features search" using R
Introduction of "the alternate features search" using R
Satoshi Kato
?
Oracle property and_hdm_pkg_rigorouslasso
Oracle property and_hdm_pkg_rigorouslasso
Satoshi Kato
?
Ibis2016
Ibis2016
Taiji Suzuki
?
笔搁惭尝の线形回帰モデル(线形基底関数モデル)
笔搁惭尝の线形回帰モデル(线形基底関数モデル)
Yasunori Ozaki
?
スハ?ースモデリング入门
スハ?ースモデリング入门
Hideo Terada
?
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
Taiji Suzuki
?
岩波データサイエンス冲痴辞濒.5冲勉强会资料01
岩波データサイエンス冲痴辞濒.5冲勉强会资料01
goony0101
?
Introduction of "the alternate features search" using R
Introduction of "the alternate features search" using R
Satoshi Kato
?
Oracle property and_hdm_pkg_rigorouslasso
Oracle property and_hdm_pkg_rigorouslasso
Satoshi Kato
?
笔搁惭尝の线形回帰モデル(线形基底関数モデル)
笔搁惭尝の线形回帰モデル(线形基底関数モデル)
Yasunori Ozaki
?
スハ?ースモデリング入门
スハ?ースモデリング入门
Hideo Terada
?

Similar to スパース性に基づく機械学習 4.1 ノイズなしL1ノルム最小化問題の問題設定 (12)

Sparse models
Sparse models
Daisuke Yoneoka
?
スパースモデリング、スパースコーディングとその数理(第11回奥叠础若手の会)
スパースモデリング、スパースコーディングとその数理(第11回奥叠础若手の会)
narumikanno0918
?
ML: Sparse regression CH.13
ML: Sparse regression CH.13
Daisuke Yoneoka
?
Deep learningbook chap7
Deep learningbook chap7
Shinsaku Kono
?
東京都市大学 データ解析入門 5 スパース性と圧縮センシング 2
東京都市大学 データ解析入門 5 スパース性と圧縮センシング 2
hirokazutanaka
?
L0TV: a new method for image restoration in the presence of impulse noise
L0TV: a new method for image restoration in the presence of impulse noise
Fujimoto Keisuke
?
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 4.2節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 4.2節
Hakky St
?
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節?2.5節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節?2.5節
Hakky St
?
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 1章
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 1章
Hakky St
?
スパース推定
スパース推定
y-uti
?
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 3.3節と3.4節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 3.3節と3.4節
Hakky St
?
高次元データの统计:スパース正则化の近似误差と推定误差
高次元データの统计:スパース正则化の近似误差と推定误差
Takanori Nakai
?
スパースモデリング、スパースコーディングとその数理(第11回奥叠础若手の会)
スパースモデリング、スパースコーディングとその数理(第11回奥叠础若手の会)
narumikanno0918
?
ML: Sparse regression CH.13
ML: Sparse regression CH.13
Daisuke Yoneoka
?
Deep learningbook chap7
Deep learningbook chap7
Shinsaku Kono
?
東京都市大学 データ解析入門 5 スパース性と圧縮センシング 2
東京都市大学 データ解析入門 5 スパース性と圧縮センシング 2
hirokazutanaka
?
L0TV: a new method for image restoration in the presence of impulse noise
L0TV: a new method for image restoration in the presence of impulse noise
Fujimoto Keisuke
?
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 4.2節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 4.2節
Hakky St
?
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節?2.5節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節?2.5節
Hakky St
?
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 1章
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 1章
Hakky St
?
スパース推定
スパース推定
y-uti
?
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 3.3節と3.4節
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 3.3節と3.4節
Hakky St
?
高次元データの统计:スパース正则化の近似误差と推定误差
高次元データの统计:スパース正则化の近似误差と推定误差
Takanori Nakai
?
Ad

スパース性に基づく機械学習 4.1 ノイズなしL1ノルム最小化問題の問題設定