奥颈办颈辫别诲颈补からの厂辞濒谤用类义语辞书の自动生成2. # 類義語知識
见出し语1, 類義語11, 類義語12
见出し语2, 類義語21, 類義語22, 類義語23
:
Copyright (c) 2012 RONDHUIT Co.,Ltd. 2
4. 自動車損害賠償責任保険, 自賠責保険
すべての運転者は、自賠責保険への加入が義務づけられています。
すべての運転者は、自動車損害賠償責任保険への加入が義務づけられています。
Copyright (c) 2012 RONDHUIT Co.,Ltd. 4
6. 见出し语(=原型语) 類義語(=略語、日本語版頭字語)
入国管理局 入管
文房具 文具
社員食堂 社食
国際連盟 国連
リポビタンD リポD
ベルサイユのばら ベルばら
木村拓哉 キムタク
Universal Serial Bus USB
(日本語における頭字語の例)
Copyright (c) 2012 RONDHUIT Co.,Ltd. 6
7. 辞书型コーパス
(见出し语,説明)× M 項目 設定ファイル
<類義語知識の獲得>
すべての见出し语に関し以下を
ループ処理
Lucene/Solr
インデックス 1. 類義語候補tBの同定
インデックス作成
2. 见出し语tAと類義語候補tBの
類似度S(tA, tB)の計算
3. 類似ならば出力
?
?
?
説見見
明出出
しし
語語
の
読 CSVファイル
み
Copyright (c) 2012 RONDHUIT Co.,Ltd. 7
12. CN なし あり あり
類似度計算 あり あり あり
min.score 0.004 0.004 0.002
抽出件数 14,065 11,219 11,282
誤りの例 国道250号, 国道2号 古代エジプト文学, コプト ビアホール, ビール
( 精度 0.40 0.58 0.79
*
2 再現率 0.80 1.00 1.00
) F値 0.53 0.73 0.88
(参考*1)
処理時間(sec) (未計測) 11,018 8,783
(*1)プログラム実行中に他の処理を並行して行っていたため、あくまでも参考値である。
(*2)こちらも、サンプル数が非常に少ないので、あくまでも参考値である。
(注)類似度計算ありの場合、特徴ベクトル算出のための各種パラメータは:
dicword.acronyms.vector.min.tf=2
dicword.acronyms.origin.vector.size=40
dicword.acronyms.user.docs.size=10
dicword.acronyms.user.vector.size=10 Wikipedia項目総数(=M):848,970
Copyright (c) 2012 RONDHUIT Co.,Ltd. 12
15. ジャンル 见出し语 類義語
生活 ファミリーマート ファミマ
ファミリーレストラン ファミレス
ミスタードーナツ ミスド
簡易保険 簡保
京浜急行電鉄 京急
セロハンテープ セロテープ
油揚げ アブラゲ
エビのチリソース エビチリ
ビーフステーキ ビフテキ, ビステキ
アメヤ横丁 アメ横
Copyright (c) 2012 RONDHUIT Co.,Ltd. 15
16. ジャンル 见出し语 類義語
文化/芸能 サンデージャポン サンジャポ
ナインティナイン ナイナイ
エレファントカシマシ エレカシ
オリエンタルラジオ オリラジ
テツandトモ テツトモ
モーニング娘。 モー娘, モー娘。
ロンドンハーツ ロンハー
プリンセス?プリンセス プリプリ
外国人タレント 外タレ
週刊少年チャンピオン 週チャン
週刊少年マガジン 週マガ
東京スポーツ 東スポ
ゴーマニズム宣言 ゴー宣
Copyright (c) 2012 RONDHUIT Co.,Ltd. 16
17. ジャンル 见出し语 類義語
人名 藤岡琢也 フジタク
柴田錬三郎 シバレン
ケンドーコバヤシ ケンコバ
木村拓哉 キムタク
浜田省吾 浜省
松本潤 松潤
堀内健 ホリケン
豊川悦司 トヨエツ
松山ケンイチ 松ケン
松平健 マツケン
ブラッド?ピット ブラピ
ジョニー?デップ ジョニデ
Copyright (c) 2012 RONDHUIT Co.,Ltd. 17
18. ジャンル 见出し语 類義語
IT File Transfer Protocol FTP
World Wide Web WWW
Document Object Model DOM
Read Only Memory ROM
Cascading Style Sheets CSS
Domain Name System DNS
Local Area Newtowk LAN
ワードプロセッサ ワープロ
フリーソフトウェア フリーウェア
OSI参照モデル OSIモデル
コピー?アンド?ペースト コピペ
ブックマーク ブクマ
スラッシュドット スラド
Copyright (c) 2012 RONDHUIT Co.,Ltd. 18
19. ジャンル 见出し语 類義語
組織名 経済産業省 経産省
農林水産省 農林省, 農水省
テレビ東京 テレ東
マツモトキヨシ マツキヨ
生活協同組合 生協
長期信用銀行 長信銀, 長銀
近畿日本ツーリスト 近ツリ, 近ツー
東京電力 東電
関西電力 関電
日本弁護士連合会 日弁連
日本体育大学 日体, 日体大
日本ペイント ニッペ
Copyright (c) 2012 RONDHUIT Co.,Ltd. 19
20. ジャンル 见出し语 類義語
サイエンス/エ 線型部分空間 線型空間
ンジニアリング
ハミルトン閉路問題 ハミルトン路問題
エネルギー保存の法則 エネルギー保存則
エンジニアリングプラスチック エンプラ
電気分解 電解
有機化合物 有機物
塩化カルシウム 塩カル
水素爆弾 水爆
Copyright (c) 2012 RONDHUIT Co.,Ltd. 20
21. ジャンル 见出し语 類義語
建築/施設 丸の内ビルディング 丸ビル
新丸の内ビルディング 新丸ビル
大阪シティドーム 大阪ドーム
ナゴヤドーム ナゴド
ゲーム ドラゴンクエスト ドラクエ
オンラインゲーム オンゲー
スーパーマリオブラザーズ スーマリ
スーパーファミコン スーファミ
NINTENDO64 N64
ウイニングイレブン ウイイレ
一気通貫 一通
Copyright (c) 2012 RONDHUIT Co.,Ltd. 21
22. ジャンル 见出し语 類義語
ビジネス 約束手形 約手
為替手形 為手
外国為替 外為
社会保険労務士 社労士
投資信託 投信
スポーツ セントラル?リーグ セ?リーグ
パシフィック?リーグ パリーグ, パ?リーグ
セレッソ大阪 セ大阪
グランドチャンピオン決定戦競走 グラチャン
日本テレビ盃 日本テレ盃
Copyright (c) 2012 RONDHUIT Co.,Ltd. 22
23. ジャンル 见出し语 類義語
表記揺れ スパゲッティ スパゲティ
葉巻きタバコ 葉巻タバコ
接ぎ木 接木
インディペンデント インデペンデント
釣り竿 釣竿
踊り子 踊子
Copyright (c) 2012 RONDHUIT Co.,Ltd. 23
24. 见出し语 獲得できない類義語 誤り抽出
スマートフォン スマホ(抽出できない)
「スマフォ」は抽出でき
た
マンチェスター?ユナイ マンU
テッドFC
酒井法子 のりピー
Mr.Children ミスチル
国際通貨基金 IMF
こちら葛飾区亀有公園前 こち亀
派出所
十六進法 十進法
キリン一番搾り生ビール キリンビール
準々決勝 準決勝
Copyright (c) 2012 RONDHUIT Co.,Ltd. 24
25. クラス名 用途
MappingCharFilter 形態素解析器
JapaneseTokenizer 见出し语の読み変換
(GosenTokenizer)
IndexReader 见出し语や類義語候補の探索
Terms 記事中のタームの出現回数のカウント
TermsEnum
BytesRef
IndexSearcher 類義語候補を含む記事の検索
Query
TopDocs
Bits Luceneドキュメントの死活確認
PriorityQueue 記事特徴ベクトルの抽出
Copyright (c) 2012 RONDHUIT Co.,Ltd. 25