ホットな日本语技术の（ちょっとした）お勉强。
- 2. 簡単に自己紹介。 ● 東海道らぐ（Tokaido Linux User Group）案内人 – 東京?静岡?名古屋?京都?大阪で活動するらぐ。 – 今日は新潟ってことでおやすみ^^; ● ちびぎーこ保護者会（別名日本openSUSEユーザ会）の人 ● 大学では文学部卒ってことで 最近日本語入力についていろいろ勉強している人
- 4. Q１．日本語入力ソフトを意識して使っていますか？ １． 自分はこれしか使わない！というソフトがある （※MS-IME, ATOK, Google日本語入力等） ２． ソフトは知らないけど優れたソフトを使いたい！ ３． 特に意識したことはない 注： OSとか関係なく回答ください
- 5. Q2. OSSなOSをデスクトップで使っていますか？ １． Linux, BSD等をデスクトップで使ってます！ ２． デスクトップはMacしか使わないよ！ ３． デスクトップはWindowsに決まってるでしょ！ 注： 正直に回答ください(^^)
- 6. というわけで、本日のアジェンダ ● Linuxの日本語入力についてお勉強 – かな漢字変換システムとインプットメソッドとは？ ● 最近の日本語技術ってどうなの？ – 今時の日本語変換ソフトで使われる技術とは？ ● まとめ。 – おーぷん万葉プロジェクトについて
- 8. Q. またまた質問です^^ この中で聞いたことがある用語があったら挙手！ ● IBus （アイバス） ● Fcitx （ファイティックス） ● Anthy （アンシー） ● mozc （モズク） ● libkkc （リブカカシ） ● FreeWnn （フリーウンヌ） ←どさくさ紛れに混ぜてみたｗ
- 9. 実はこれらは??? 今時のLinuxデスクトップには必ず（？）入ってます！ ● インプットメソッド – IBus ： Redhat, Fedora, openSUSE 等 – Fcitx ： Ubuntu, VineLinux 等 ● かな漢字変換システム – Anthy ： openSUSE 等 – mozc ： Debian, Ubuntu, openSUSE 等 – libkkc ： Redhat, Fedora 等 （FreeWnnは???。 ←先月のOSC京都では知名度抜群でしたｗ）
- 10. インプットメソッドとかな漢字変換 Linuxではこんな感じで変換しています インプットメソッド かな漢字変換システム IBus, Fcitx, UIM 等 Anthy, mozc, kkc, SKK, Canna, FreeWnn 等キー入力 ひらがな, ローマ字等 変換した日本語画面出力 サーバー?クライアント型をイメージしやすい？ ※実際、ちょっと古めのかな漢字変換はサーバ型でした！ （FreeWnn, Cannaなど）
- 11. 最近の動向 ?インプットメソッド? ● ちょっと前までは、IBusが主流でした！ …が、突然の仕様変更がIBus離れを加速… ● 移行先→Fcitx – 主に中国で開発 → 日本ではUbuntu がまず採用 – これに続いて VineLinux も新バージョンから Fcitx へ が、新しいGNOME3がIBusしか受け付けない？？？
- 12. 最近の動向 ?かな漢字変換システム? ● ぶっちゃけ、 Mozc 一色！ – 対抗： Redhat系（Fedora等）で libkkc を採用 ● 結局のところベンダーに依存状態…orz – Mozc : Google が開発 – libkkc : （主に？） Redhat の方が開発 別にベンダー依存でも良くないか！？ ???てとこに事件発生！ 問題： Ibus-mozc が開発停止状態！？
- 13. Linuxな日本語入力の問題点 ● ここまでの話をまとめます！ – 新しい GNOME は Ibus しか受け付けない？ – Ibus-mozc の開発が停止してしまった！？ それってつまり… → 今後 GNOME では mozc が使えなくなる可能性があるかも！ ● そもそも開発者がいない…？ – Fcitxのメイン開発者は中国人の方 ● 日本語特有の機能は入れにくい…かな？ – かな漢字変換の方はベンダー依存状態 ● 「綱渡り」と言えるかも…
- 14. 今後のLinux日本語入力の課題 ● GNOME問題 → GNOME で mozc は諦めるべきかな？（ぇ libkkcを使えばいいのでは？ ● 今後はキーボード入力とは限らない！ – タッチパネル入力、音声入力にも対応していく必要性 ● 現状のつくりでは難しいのでは？ – 新しい仕組み、 Wayland への移行も視野に ● Maliit といった新しいOSSも活用していくべき（かも）
- 16. 今時のかな漢字変換 いろんな技術が出てきています… – Trie木 （辞書データ格納） ● ダブル配列 （Trieの実装） ● LOUDS （Trieの実装） – ビタビアルゴリズム （最短路検索） どれも難解なものばかり(？)なので、今日は簡単なものを簡単に説明します！（ぇ
- 17. １． Trie木 （辞書データ格納法） ● 通常の木構造に対し、枝にラベルがついたもの – メリット：共通接頭検索が可能になる ０ １ ２ ３ ４ ５ ６ ７ ８ か み た す び わ た し これがいわゆるラベル ラベルがついてるとTrieと呼ぶらしい ラベルをたどることで 辞書検索が可能になります →データ圧縮にもつながる
- 19. ３． LOUDS （Trieの実装） 10 1110 10 110 10 0 0 0 10 0 ０ １ ２ ３ ４ ５ ６ ７ ８ か み た す び わ た し 仮想ノード 「0」から ３つに分岐 「１」は 分岐なし 「2」から 2つに分岐 「3」は 分岐なし 「4」「5」「6」は 末端ノード 「7」は 分岐なし 「8」は 末端ノード Trieをビットで表現したもの それが「LOUDS」（らうず）です 課題として下記のようなものがあります ?ノードを動的に追加することが困難 ?Trie構築後にビットを作成しないと厳しい？
- 20. ４． ビタビアルゴリズム（最短路検索） 文 頭 私 の 名前 は 中野 ※ここでは「コスト最小法」について説明します です 文 末ので す 中 綿 市 花 課 例： 「わたしのなまえはなかのです」を変換する場合 （コストの値はテキトーです^^;） 10 30 15 30 15 10 15 40 20 50 ● 単語生起コスト： 単語の出現優先度を表したコスト ● 連接コスト： 単語と単語の結びつきやすさを表したコスト → 全て足して、合計値が最も低いルートが 候補になります 15 30 40 45 20 20 20 20 50 20 25 30 40 45 20 20 出現頻度の高い単語は 単語生起コストが低い 「名前」と「花」という単語は結びつきにくいので 連接コストは高い
- 21. オープンソースライブラリも結構あります！ ● Darts / Darts-clone – ダブル配列の実装。Mecabで採用。 ● Tx / Ux – LOUDSの実装。Ux は Tx の進化版。 ● Rx – LOUDSの実装。Mozcで採用。 ● marisa-trie – LOUDSの実装。libkkcで採用。 まずはライブラリをいろいろ触ってみましょう！
- 22. 最近の技術について参考文献 ● 「自然言語処理の基礎」 – 奥村学著 コロナ社 ● 「日本語入力を支える技術」 – 徳永拓之著 技術評論社 インターネットではこちらが参考になります ● 「アスペ日記」 takeda25 氏 簡潔データ構造 LOUDS の解説（全12回、練習問題付き） http://d.hatena.ne.jp/takeda25/20120421/1335019644
- 23. ３． まとめ。
- 25. 日本語探求プロジェクト「おーぷん万葉」とは ● 目的「オープンな日本語を手に入れよう！」 – 現在: かな漢字変換ソフト「Izumo」を開発中。 ● 現状の問題点： – ビックデータと叫ばれる時代に、開発がアクティブで オープンコミュニティーな日本語入力システムがない？？？ – インプットメソッド（UI側）も残念な状況orz → そんな現状を打破したい！てのが目的です。