线形分类器で非线形分离+文章生成
?Download as PPTX, PDF?
1 like?2,344 views
JOI2016夏季セミナー オンライン機械学習 (機械学習プロフェッショナルシリーズ) 線形分類器の説明と非線形分離のやり方 @O_mikemike
线形分类器で非线形分离+文章生成
- 3. 線形分類器（概要） 目的関数L（ｗ）= ? ?(? ? , ? ? , ?) →誤差的なもの この値を最小化すればいい ○勾配降下法 全てのデータについて、 L（ｗ） をwの各要素で 偏微分して勾配を求め 下りの方向にwを動かす →すべてのデータに関して誤差が減っ ていく ○確率勾配降下法 一つのデータに対してそれのみ の勾配を求める →そのデータに対して誤差が減るL ｗ が凸関数なら 最後には一番最小となる点にたどり着く
- 4. 線形分類器（概要） ? (単純)パーセプトロン 目的関数: ? max(?????(?) , 0) 分離に失敗したら分離超平面までの距離を返す 偏微分すると勾配は???? →下がっているほうに更新するので +y?xで更新 ここを減らしていく
- 5. 線形分類器（概要） ? ハードマージンSVM(サポートベクトルマシン) データの境界のできるだけ中央に境界を引きたい 全て超平面で分類可能であるとして 分離超平面と最も距離の近いデータ点の距離 |???+?| ||?|| が最大に なるようにする →wはいくらでも大きくなるのでサポートベクトルについて|? ? ? + ?|=1としてよい つまりすべてのデータにおいて ? ? ? + ? ≥1の時、 ||?||を最小化したい
- 7. 線形分類器（概要） ? ソフトマージンSVM(サポートベクトルマシン) 目的関数： ? max １ ? ???? ? , 0 + ?||?||2 →分離不可能なデータについては制約を満たさない 制約の代わりにペナルティ≥ １ ? ???? ? を組み込む ?||?||2は極端なデータが与えられたとき パラメータが無限に発散してしまうのを防ぐ 同様に偏微分して勾配は 1 ? ?? ? ? ≥ 0 の時???? + 2??
- 8. 線形分類器（概要） ? ロジスティック回帰 目的関数： - ? ??? 1 1+exp(?? ? ??? ?) + ?||?||2 標準シグモイド関数 1 1+exp(?) は(0,1)の範囲で動く →xに対しyと出力される確率を表している これをできるだけ大きくしたい ←みんな100％近く正しい 方に分類されるとよい 確率が半々
- 9. 線形分類器（概要） ? ロジスティック回帰 目的関数： - ? ??? 1 1+exp(?? ? ??? ?) + ?||?||2 標準シグモイド関数 1 1+exp(?) は(0,1)の範囲で動く →xに対しyと出力される確率を表している これをできるだけ大きくしたい 対数をとって求めやすくしている 微分不可能な点がないので、偏微分して勾配は常に (1- 1 1+exp ?? ? ??? ? ) ??? + 2??
- 10. :完全に線形分離できる問題 ? ある平面で分離できる 例: C++で実装してみた パーセプトロン SVM ロジスティック回帰 ９９．９８ ９８．８２ ９５．６８ ※精度はあまり気にせず、収束判定ではなく 読み込む回数を同じにして行っています →学習できてることがわかる(当たり前)
- 11. ,そうでもない問題 ? 円データ ? n次関数っぽい パーセプトロン SVM ロジスティック回帰 ４９．４４ ５０．４８ ４９．３６ パーセプトロン SVM ロジスティック回帰 ５７．２２ ５６．７ ５２．２２
- 12. ,そうでもない問題 ? 円データ ? n次関数っぽい パーセプトロン SVM ロジスティック回帰 ４９．４４ ５０．４８ ４９．３６ パーセプトロン SVM ロジスティック回帰 ５７．２２ ５６．７ ５２．２２ ほぼ乱択
- 13. ? 円データ ? n次関数っぽい
- 16. 実装 パーセプトロン SVM ロジスティック回帰 ４９．４４ ５０．４８ ４９．３６ ９９．００ ９８．１０ ９４．３６
- 17. 実装 パーセプトロン SVM ロジスティック回帰 ５７．２２ ５６．７ ５２．２２ ８１．２０ ８２．５６ ９３．７２
- 23. 文章？生成 ? せっかくなのでなんか活用したものを作ってみただけ （突貫工事） ? Mecabで単語ごとに分けてから近くの単語同士につい て、その二つの特徴の関係を調べる。 ? 特徴は品詞?活用など ? クラス分類はほぼ品詞 ? 主語をランダムに選びそこから次の単語がどんなものに なるかを多クラス分類で求めてつなげていく
- 25. 文章？生成 ? 実行結果例（まあまあましなの） 匿名について建物が寒い 人間からさまざまに挟む ? 品詞の続き方とかだけ文っぽい ? あんまりきれいにはならなかったです… 意味も評価したいところです。（がんばります）
- 26. ありがとうございました