スタート形态素解析
Download as KEY, PDF8 likes3,999 views
さくさくテキストマイニング第6回にて発表?形态素解析をつくってみたので解説した? https://github.com/todesking/okura
More Related Content
Viewers also liked (13)
Recently uploaded (11)
スタート形态素解析
- 2. 自己紹介 ? @todesking ? 実質2時間しか寝ていない ? Web系の会社でJavaやRubyを使っています ? レコメンドとかそのへんを少々 ? ソフトウェア開発全般に興味があります
- 4. 概要 ? 今日話すこと ? 形态素解析とは ? 辞書の構造 ? 形态素解析の仕組み ? (詳しくは)話さないこと ? 機械学習による?コーパスからの辞書の作成 ? 未知語処理 ? 高速化のためのあれこれ
- 6. 形态素 名詞,一般,*,*,*,*,形态素,ケイタイソ,ケイタイソ 解析 名詞,サ変接続,*,*,*,*,解析,カイセキ,カイセキ について 助詞,格助詞,連語,*,*,*,について,ニツイテ,ニツイテ は 助詞,係助詞,*,*,*,*,は,ハ,ワ 皆さん 名詞,一般,*,*,*,*,皆さん,ミナサン,ミナサン ご存知 名詞,一般,*,*,*,*,ご存知,ゴゾンジ,ゴゾンジ です 助動詞,*,*,*,特殊?デス,基本形,です,デス,デス ね 助詞,終助詞,*,*,*,*,ね,ネ,ネ EOS こういうやつ?
- 7. 形态素解析 ? 入力された文字列を?単語の列に分解する ? 複数の可能性がある場合?一番もっともらし いパターンを求める
- 8. 形态素解析 ? とりあえずMeCab使っとけばOK ? ブラックボックスとして扱えるくらいの性能 ? ロバスト ? しかし?たまに痛い目を見る ? 辞書に単語追加するときとか ? 中身をちゃんと知りましょう
- 11. コスト ? 一般的には?「スコア」の逆の意味です ? 低ければ低いほど良い数値 ? この数値が低いほど?もっともらしい候 補だということです
- 12. 最初に?データの構造について ? MeCabの辞書から?以下のデータを使用しま した(mecab-naistdic) ? 単語の定義 ? 連接コストの定義 ? 品詞の定義 ? 他にもあるけど?今回使ったのはこれだけ?
- 13. MeCabの辞書: 単語の定義 ? 形态素解析に必要なのは ? 表記(surface) ? 品詞ID ? 単語のコスト ? その他?追加情報が色々入ってます ? 読みとか さくさく,1358,1358,6325,名詞,一般,*,*,*,*,さくさく,サクサク,サクサク,, 反,585,585,4544,接頭詞,名詞接続,*,*,*,*,反,ハン,ハン,, ベイズ,1358,1358,2824,名詞,一般,*,*,*,*,ベイズ,ベイズ,ベイズ,, する,624,624,5744,動詞,自立,*,*,サ変?スル,基本形,する,スル,スル,,
- 14. MeCabの辞書: 連接コストの定義 ? 単語と同じくらい重要です? ? 右品詞ID ? 左品詞ID ? コスト ? 二つの品詞のつながりやすさについて 定義 0 20 -1131 0 21 -1483 0 22 -325 0 23 -254
- 15. MeCabの辞書: 品詞の定義 ? 品詞IDと名称の組み合わせが登録され てます ? 品詞ID ? 品詞名 ? なくても解析はできるけど?表示用に?
- 17. まずは辞書データの読み込み ? 辞書データ ? 単語定義 ? 連接コスト定義 ? 品詞定義 ? を?ファイルからメモリに読みます
- 18. 辞書データは大きい ? mecab-naistdicの場合?プレインテキスト で100Mバイトくらいはあります? ? 辞書のインストール時に「コンパイ ル」が必要なのは?データをバイナリ形 式に変換してロード時間とメモリ消費 量を削減するためです ? 今回はやってません
- 19. 単语定义を元に?分割の パターンを洗い出す 人,1370,1370,6623,名詞,接尾,一般,*,*,*,人,ジン,ジン,, 人,1370,1370,8219,名詞,接尾,一般,*,*,*,人,ニン,ニン,, 人,1372,1372,6611,名詞,接尾,助数詞,*,*,*,人,ニン,ニン,, 人,1358,1358,5189,名詞,一般,*,*,*,*,人,ヒト,ヒト,, 人,1370,1370,9778,名詞,接尾,一般,*,*,*,人,ヒト,ヒト,, 人間,1358,1358,3958,名詞,一般,*,*,*,*,人間,ニンゲン,ニンゲン,, が,170,170,2722,助詞,格助詞,一般,*,*,*,が,ガ,ガ,, が,322,322,4189,助詞,接続助詞,*,*,*,*,が,ガ,ガ,, が,580,580,4546,接続詞,*,*,*,*,*,が,ガ,ガ,,
- 20. 単语定义を元に?分割の パターンを洗い出す 人(接尾,一般) BOS 人(接尾,助数詞) 間(固有名詞,地域) が 人間(名詞,一般) BOS/EOS: 処理を単純にするため?文字列の始まりと終わりに ダミーの単語を入れる
- 21. こんなかんじになります 人 人 間 間 が 死 死 ぬ 人 間 間 が 死 ぬ 人間 死ぬ 死ぬ
- 22. 次に?コストが一番小さくなる つなぎかたを求めます 単語自体がもつコスト その単語の珍しさ BOS 人(接尾,一般) 間(固有名詞,地域) cost=0 cost=6623 cost=8553 BOS/EOS → 接尾,一般 品詞のつながりがもつコスト cost=70 その組み合わせの珍しさ
- 23. 求めました 人 人 間 間 が 死 死 ぬ 人 間 間 が 死 ぬ 人間 死ぬ 死ぬ 死ぬそうです?
- 24. 以上です ? よかったですね
- 25. 文字列から単语の候补をさが す方法 ? Trieでぐぐれ
- 26. 最小コストのつなぎかた ? ビタビアルゴリズム 形态素解析 とかで 検索