“确率的最适化”を読む前に知っておくといいかもしれない関数解析のこと
?
7 likes?6,094 views
Stochastic optimization http://owl-learn.connpass.com/event/28739/
“确率的最适化”を読む前に知っておくといいかもしれない関数解析のこと
- 1. “確率的最適化” を読む前に知っておくと いいかもしれない関数解析のこと 新年度！実務家が集まる春の機械学習LT大会！ 工藤 啓朗 (Gunosy Inc.) 2016/04/08
- 2. 自己紹介 くどう ひろあき (@Hmj_kd) 株式会社Gunosy データ分析部 所属 - 北海道釧路市出身, 30代, 妻子あり - 高専 : 情報工学科 - 大学 : ブラックホール, インフレーション宇宙論 - 前職 : プログラマー → Pandas データマエショリスト, データ分析 - 現在 : 3ヶ月目 - 好きな食べ物 : 中本の蒙古タンメン、二郎
- 5. 今日のお話 1. 確率的最適化を読んでみた感想 2. 上記を読む前に前提として知っておくとよいことは ?? a. 関数解析 ?? 3. まとめ
- 6. ? 教師あり学習のお話 ? 確率的勾配降下法(SGD) や AdaGrad などの理論面を理解できる。 確率的最適化を読んだ感想
- 8. 確率的最適化を読んだ感想 ? 数学の基礎的なことがわからないと読むのは辛い!! ? 凸最適化問題のエッセンスを知っている方が，理解しやすいかも ? （数学の）事前知识としてどういったことが必要かわからない
- 9. 例えば - そもそも，微分積分，ベクトル空間などがわからない - どうして，凸関数や凸集合を扱うの ? - 劣勾配，劣微分って何だ !? - なんで逐次処理なんだろう !?
- 11. 最适化问题の例
- 13. 気になること 1. 最適解が存在するか ? 2. 最適解は何個あるのか ? 3. 最適解を求めるアルゴリズムがあるか ? 4. より速く求まるアルゴリズムはあるか ? a. 計算量と収束の速さ
- 14. 凸最適化問題なら 1. 最適解が存在するか ? a. → 存在する 2. 最適解は何個あるのか ? a. → 唯一存在する 3. 最適解を求めるアルゴリズムがあるか ? a. → ある 4. より速く求まるアルゴリズムはあるか ? a. → 枠組みのなかで改良可能 !! でも トピックス - 不動点定理 - ノルムの等価性 - 凸集合と凸関数
- 15. トピックス 距離，ノルム，内積 不動点定理 ノルムの等価性 凸関数と凸集合、最小値の存在 完備な(X, d) 縮小写像 F → || F(x0 ) - F(x1 ) || ≦ k || x0 - x1 ||, k < 1 x0 x1 x2 y0 y1 y2 F F F F z = F(z) 不動点
- 16. トピックス 距離，ノルム，内積 不動点定理 ノルムの等価性 凸関数と凸集合、最小値の存在 縮小写像 F を，別のノルムで評価したらどうなるか? 収束するのか ? → 有限次元のベクトル空間では，定義可能なノルムは等価です → 等価なノルムを用いる限り「ある点に収束するかどうかの結論」は変わ りません
- 17. トピックス 距離，ノルム，内積 不動点定理 ノルムの等価性 凸関数と凸集合、最小値の存在 凸関数 閉凸集合 PC (I - η * f ’) : 縮小写像 C f PC
- 18. 凸最適化問題なら 1. 最適解が存在するか ? a. → 存在する 2. 最適解は何個あるのか ? a. → 唯一存在する 3. 最適解を求めるアルゴリズムがあるか ? a. → ある 4. より速く求まるアルゴリズムはあるか ? a. → 枠組みのなかで改良可能 !! 縮小写像を改良する 事前に知っているといいエッセンス まとめ 凸集合，凸関数の最小値の存在 縮小写像を手作りできれば， 不動点定理により最適解へ収束 !!
- 19. 1. 関数 f が，微分できないとき a. 単純には勾配法が使えない ...... → 劣勾配法 2. 非可算無限個の解をもつ問題もある a. 縮小写像の不動点定理はそのままは使えない 3. 縮小写像の勾配計算など，大規模データでは計算コストが高い a. データを分割して，部分的に最適化を解きたい 凸最適化問題で万事OK ではない... 確率的最適化，が必要だね
- 20. さいごに
- 22. メンバー募集 ? Gunosy では，データ分析エンジニアを募集して おります !! ? Webエンジニアだけど ”分析をしてみたい” という 方もぜひ !!
- 23. ご清聴 ありがとうございます