かな汉字変换ソフト「骋别苍箩颈」をつくってみた
?
0 likes?8,292 views
OSC京都?OSC東京秋?KOFの間に、かな漢字変換ソフト「Genji」のお試し版を作ってみました。まだまだヤッツケで開発してる部分が非常に多く、ソースコード的には無茶苦茶なのですが、アルゴリズムの土台は出来てきたかな？という状況です。 今回はそのアルゴリズムについて紹介します。
![[新提案?] n-gram × コスト最小法
コスト算出方法： ２ ? (n-gramの出現確率)
例） わたしのなまえはなかのです
– 「私の」(1.5) × 「名前は」(1.8) × 「中野です」(1.9)
＝ 5.13
– 「私の」×「名前は」×「中の」(1.8) ×「出」(1.5) ×「巣」(1)
＝ 7.29
→ 「コスト最小法」なのでコストが小さい方を選択
→ 「中野です」の出現頻度は低いのでコストは大きいが、
代わりに積算される数が減るので、結果的に選択されやすくなる
→ 勝った！！（何にだよ？）](https://image.slidesharecdn.com/20161112manyomanyogenji-161112172002/85/Genji-22-320.jpg)
かな汉字変换ソフト「骋别苍箩颈」をつくってみた
- 1. かな汉字変换ソフト「骋别苍箩颈」をつくってみた 2016/11/12 東海道らぐ＠Kansai Open Forum はしもとまさひこ
- 5. 「Genji rc phase1」の実力 ● できたこと – 当然「わたしのなまえはなかのです」は変換可能 – 「あひるやき」も変換できた ● できなかったこと – 「きょうと」が「京と」になってしまう ←致命的！！！ – 「おおさか」が「大坂」になってしまう
- 7. 確率の計算方法 ＠OSC京都 「文節の出現頻度 / 自立語の出現頻度」 例）「私の」 ※これは文節 – 「私」「の」 ←出現回数 5回 = 5 / 9 = 0.55 – 「私」「は」 ←出現回数 3回 = 3 / 9 = 0.33 – 「私」「を」 ←出現回数 1回 = 1 / 9 = 0.11 この確率に１足したものを辞書に登録。
- 8. さて、今回。。。
- 9. 確率の計算方法 @ OSC東京 「文節の出現頻度 / 自立語の出現頻度 ? / その自立語と同音異義語の出現頻度」 例）例） 「私の」 ※これは文節 – 「私」「の」 ←出現回数 5回 = 5 / 10 = 0.50 – 「私」「は」 ←出現回数 3回 = 3 / 10 = 0.30 – 「私」「を」 ←出現回数 1回 = 1 / 10 = 0.10 – 「渡し」「を」 ←出現回数 1回 = 1 / 10 = 0.10 ↑これが追加されました ※これで「おおさか」→「大坂」にはなりにくいはず！！ １週間前
- 10. 结果???
- 13. どうゆうことか？ 「私」「中野」といった名詞、動詞だけでなく 連接詞、接尾辞なども自立語に含めていた??? 例） – あひる焼き →「あひる」「焼き」 – ひよわ焼き →「ひよわ」「焼き」 – 鹿焼き →「鹿」「焼き」 →「焼き」も自立語と判定され、「焼き」が強くなりすぎて 「焼き」の確率ばかりが高くなる（焼かれてばかり） ※他にも「と」を変換すると「都」になってしまうなど。
- 14. 焼かれてばっかじゃね?か
- 18. …あった(笑)
- 19. 確率の計算方法 ＠OSC京都 「文節の出現頻度 ? 自立語の出現頻度」 例） 「私の」 ※これは文節 – 「私」「の」 ←出現回数 5回 = 5 / 9 = 0.55 – 「私」「は」 ←出現回数 3回 = 3 / 9 = 0.33 – 「私」「を」 ←出現回数 1回 = 1 / 9 = 0.11 この確率に１足したものを辞書に登録。 ちょっと前のスライドです ここに注目！！
- 21. 今まではポイント積算法でした 例）私の名前は中野です 「私の」(1.5) × 「名前は」(1.2) × 「中野です」(1.1) ＝ ポイント 1.98 「私の」 × 「名前は」 × 「中の」(1.2) × 「出」(1.5) × 「巣」(2.0) ＝ ポイント 6.48 → 負けた(笑) Genjiの辞書は「自立語」or「自立語+付属語」 という特性上、１文字の自立語が出現すると ポイントが高くなる→変換効率が極端に落ちる というのがあった…orz
- 22. [新提案?] n-gram × コスト最小法 コスト算出方法： ２ ? (n-gramの出現確率) 例） わたしのなまえはなかのです – 「私の」(1.5) × 「名前は」(1.8) × 「中野です」(1.9) ＝ 5.13 – 「私の」×「名前は」×「中の」(1.8) ×「出」(1.5) ×「巣」(1) ＝ 7.29 → 「コスト最小法」なのでコストが小さい方を選択 → 「中野です」の出現頻度は低いのでコストは大きいが、 代わりに積算される数が減るので、結果的に選択されやすくなる → 勝った！！（何にだよ？）