![換言とクエリ拡張
Ellen Mら[1]の研究
結果が一意に決まらない単語のクエリの拡張
→WordNetの同義語、上位語、下位語が有効
換言辞書≒同義表現を集めた語彙資源
→WordNetの同義語と同様、クエリ拡張に有効
構築した換言辞書の有用性をクエリ拡張にて示す
8
[1]Ellen M、Voorhees. Query Expansion using Lexical-SemanticRelations.In 17th International Conference on Research
and development in Information Retrieval (SIGIR’94). p61-69, Springer London, 1994.1.
WordNet
プリンストン大学の認知科学研究所が開発、運営を行っている
一般に公開されている英語のシソーラス
結果が一意に決まらない単語のクエリの拡張
→WordNetの同義語、上位語、下位語が有効
Ellen Mら[1]の研究](https://image.slidesharecdn.com/14thesis-yamagata-140312004257-phpapp02/85/-8-320.jpg)
More Related Content
Viewers also liked (9)
More from 长冈技术科学大学 自然言语処理研究室 (20)
Recently uploaded (11)
普通名词换言辞书の构筑
- 4. 辞書の構築 換言対象は形態素解析器JUMANから抽出 →形態素辞書に含まれる普通名詞16,524語 ? 対象語を作業者の考えだけで言い換える ? 換言は簡易な表現を意識する ? 内容語は2~3語程度に収める 例）「折り鶴」→「紙で折った鶴」 ?多義語でない限り、換言対は1つ 4 例）「折り鶴」→「紙で折った鶴」
- 5. 辞書の構築 －作業基準－ ? 換言は付与されているカテゴリに従う ? 以下の場合は無記入とする ?換言語を思いつかない 「ストライク」「アルカリ」etc. ?元の語の意味が明確でない 「村八分」「氏神」etc. 5 作業の効率を上げる 無理な換言を行わない 例）「クラス」カテゴリ：組織?団体 →「集団」 抽象物 →「階級」 「王冠」 カテゴリ：人工物-衣服 →「王がかぶる飾り」 ×「瓶のふた」：カテゴリにそぐわない
- 6. 辞書の構築 －作業結果－ 換言対象：16,524語 換言対 ：16,153語 無記入 ：980語 ? 換言を思いつかなかった語：310語 ? 意味が分からない語：670語 多義語の場合もあるため 6 換言対象 換言対 無記入
- 7. クエリ拡張 クエリ拡張：与えられたクエリに関係するクエリの 候補を追加する処理 検索クエリ：検索のためのキーワード 7 例） 与えられたクエリ：「換言」 拡張クエリ ：「言い換え」 同義 「還元」 同音異字 「換言 意味」 共起頻度
- 8. 換言とクエリ拡張 Ellen Mら[1]の研究 結果が一意に決まらない単語のクエリの拡張 →WordNetの同義語、上位語、下位語が有効 換言辞書≒同義表現を集めた語彙資源 →WordNetの同義語と同様、クエリ拡張に有効 構築した換言辞書の有用性をクエリ拡張にて示す 8 [1]Ellen M、Voorhees. Query Expansion using Lexical-SemanticRelations.In 17th International Conference on Research and development in Information Retrieval (SIGIR’94). p61-69, Springer London, 1994.1. WordNet プリンストン大学の認知科学研究所が開発、運営を行っている 一般に公開されている英語のシソーラス 結果が一意に決まらない単語のクエリの拡張 →WordNetの同義語、上位語、下位語が有効 Ellen Mら[1]の研究
- 11. 辞書の評価 －結果－ 換言辞書は文に出現しやすい語に拡張している 11 クエリ拡張の例） 元クエリ 「負債 削減」 換言辞書 「借金 削減」「負債 減らす」 「借金 減らす」 WordNet 「借入 削減」「負債 カット」 「負い目 カット」 etc. 元クエリ 換言辞書 WordNet クエリ数 24,510個 73,530個 1,074,212個 獲得文数 140,604文 ＋110,237文 ＋110,151文
- 12. 0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 ≧0.9 ≧0.8 ≧0.7 ≧0.6 ≧0.5 ≧0.4 ≧0.3 ≧0.2 ≧0.1 ≧0.0 換言辞書 simp WordNet simp 換言辞書 Jacc WordNet Jacc 辞書の評価 －結果－ 12 Simpson係数Jaccard係数 元クエリで獲得した文と各拡張で獲得した文の類似度計算結果 内 容 近 い 違 う 元クエリで獲得した文のJaccard係数 内容が一致 内容がバラバラ Simpson係数 Jaccard係数 元 ク エ リ で 獲 得 し た 文 と 拡 張 で 獲 得 し た 文
- 13. 0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 ≧0.9 ≧0.8 ≧0.7 ≧0.6 ≧0.5 ≧0.4 ≧0.3 ≧0.2 ≧0.1 ≧0.0 換言辞書 simp WordNet simp 換言辞書 Jacc WordNet Jacc 辞書の評価 －結果－ 13 Simpson係数Jaccard係数 元クエリで獲得した文と各拡張で獲得した文の類似度計算結果 内 容 近 い 違 う 元クエリで獲得した文のJaccard係数 内容が一致 内容がバラバラ Simpson係数 Jaccard係数 元 ク エ リ で 獲 得 し た 文 と 拡 張 で 獲 得 し た 文 全てのクエリで 計算した結果
- 14. 0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 ≧0.9 ≧0.8 ≧0.7 ≧0.6 ≧0.5 ≧0.4 ≧0.3 ≧0.2 ≧0.1 ≧0.0 換言辞書 simp WordNet simp 換言辞書 Jacc WordNet Jacc 辞書の評価 －結果－ 14 Simpson係数Jaccard係数 元クエリで獲得した文と各拡張で獲得した文の類似度計算結果 内 容 近 い 違 う 元クエリで獲得した文のJaccard係数 内容が一致 内容がバラバラ Simpson係数 Jaccard係数 元 ク エ リ で 獲 得 し た 文 と 拡 張 で 獲 得 し た 文 結果が一意に決まらない
- 17. 作業結果 詳細 17 カテゴリ 換言対象 換言作成 無記入 人工物 2,610語 2,557語 72語 自然物 453語 420語 33語 場所 1,795語 1,685語 111語 組織?団体 248語 228語 20語 人 1,479語 1,419語 66語 動物 771語 724語 47語 植物 339語 316語 23語 抽象物 6,912語 6,465語 435語 時間 259語 227語 33語 数量 353語 325語 29語 形?模様 135語 120語 15語 色 88語 84語 4語 複数 825語 1,583語 92語 合計 16,267語 16,153語 980語