![MCMC
? w, vを初期化
1. w, v どちらかの feature index を1つ選ぶ
? w[id] ← w[id] + η*u; //
? パラメータ変更前と変更後の尤度計算(Lik_1,Lik_2)
? if (bernoulli(Lik2 - Lik1) { return accept; }else {return revert; }
? 1に戻る
尤度計算の式](https://image.slidesharecdn.com/gamglm-150203045735-conversion-gate01/85/Gamglm-8-320.jpg)
![[insert period joke here] Researching Menstruation Online](https://cdn.slidesharecdn.com/ss_thumbnails/finalpresentation-130705083507-phpapp02-thumbnail.jpg?width=560&fit=bounds)
More Related Content
Viewers also liked (16)
Gamglm
- 2. 今日の話 ? 独立な少数のサンプルから，サンプルの最大値を求めたい ? 極値分布とかをまじめに求める話 ? 文字列の一部を見て，単語の最大長を推定する（今日の話） ? 紹介するのはサンプルの極値がガンマ分布に従うと仮定した手法 ? ツールは公開されている ? gamglm(http://www.chasen.org/~daiti-m/dist/gamglm/)
- 3. 単語の長さの分布 0 0.1 0.2 0.3 0.4 0.5 0.6 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 日本語 中国語 タイ語 どこかにピークがあって 指数的に減衰する ガンマ分布
- 4. 単語の長さはガンマ分布 ? x：単語の長さ ? a,b: ガンマ分布のパラメータ ? こいつを回帰してやれば良い ? 実際には同一言語内でも，観測文字列毎に単語の長さは変化する ? 接尾辞が「株式会社」なら単語の最大文字列長は20とかになりそう ? 接尾辞が「が」や「を」，「に」なら単語の最大文字列長はだいたい1になる
- 6. 接尾辞毎に パラメータを変えたい ? f: 接尾辞の特徴ベクトル ? w,v: a,b を回帰するパラメータ
- 7. パラメータ推定 ? 訓練データの対数尤度を最大化したい ? 勾配法で解くと局所解にハマる ? 特徴の間に相関がある（勾配自体にも相関がある） ? パラメータが殆ど0という結果になった ? ※いまいちこの辺分かってないので説明できません ? MCMCでパラメータを推定する
- 8. MCMC ? w, vを初期化 1. w, v どちらかの feature index を1つ選ぶ ? w[id] ← w[id] + η*u; // ? パラメータ変更前と変更後の尤度計算(Lik_1,Lik_2) ? if (bernoulli(Lik2 - Lik1) { return accept; }else {return revert; } ? 1に戻る 尤度計算の式
- 9. 予測の方法 ? ガンマ分布の累積分布関数の値が閾値を超える文字列長を 最大文字列長として出力する ? 累積分布関数はGSLに実装がある ? gsl_cdf.h にある gsl_cdf_gamma_P が使える ? a, b の値は観測された接尾辞から回帰する ? 予測プログラム for (int i = 1; i < max_length; ++i){ if (gamma_cdf(i, a, 1./b) > p) return i; }
- 10. 実験 ? 特徴量 特徴 概要 w_i 位置 t - i の文字 (0 <= i <= 1) t_i 位置 t - i の文字種 (0 <= i <= 4) type 位置 t の文字種が直前で何文字続くか c 位置 t から最大8文字前までで文字種の変化した回数
- 11. 使用データ ? 日本語，中国語，タイ語 ? 日本語：BCCWJ PN 1万文（ニュース記事） ? 中国語：SIGHAN bakeoff 2005 MSR 1万文 （科学記事） ? タイ語：InterBEST 2009 novel 1万文
- 12. 予測精度 （累積分布関数の閾値0.95） 単語の長さ 日本語 中国語 タイ語 1 1.000 1.000 1.000 2 1.000 0.999 1.000 3 1.000 0.962 0.972 4 0.460 0.590 0.950 5 0.018 0.281 0.940 6 0.000 0.300 0.817 7 0.000 0.000 0.593 8 0.000 0.000 0.195 9 0.000 0.000 0.0645 10 0.000 0.000 0.250 予測した最大長に正しい単語の長さが含まれる場合を正解とする
- 13. まとめ ? 大半が短い語なので，短い単語の長さはほぼ間違いなく求めら れた ? 低頻度の長い単語になると誤りが多い ? タイ語は長い単語の頻度がそれなりにあるので，その分精度が 出ている ? 指数的に頻度が減衰するような極値を求めたい場合に使えそう な手法なので，興味ある人は使ってみてください ? ちなみに公開されているツールには学習器はgammaのa,bを回帰 するので，単語長の予測とかは別途自分で書く必要がある