More Related Content
Similar to マイニング探検会 #02 (20)
More from Yoji Kiyota (20)
Recently uploaded (6)
マイニング探検会 #02
- 1. マイニング探検会 #2～検索技术を知ろう～東京大学情報基盤センター学術情報研究部門 助教清田 陽司(兼 株式会社リッテル 上席研究员)2010年5月14日＠东京大学アントレプレナープラザ会议室
- 3. 検索技術の歴史(1)1950年代H.P. Luhn＠IBMによる先駆的研究キーワード抽出アルゴリズムKWICインデックス(cf. 岩波情報科学事典)スプートニク?ショック(1957年)科学情報検索システムへの米国政府の支援強化1960年代文献目録検索システムの実用化1964年 医学文献検索システム MEDLARS (後のMEDLINE)
- 4. 検索技術の歴史(2)1970年代～1980年代全文検索システムの実用化と性能向上MEDLINEの全文検索サービスG. SaltonらによるSMARTシステムの研究ベクトル空間法、TFIDF、適合性フィードバックなどテストコレクションによる客観的精度評価新聞記事などが利用された1990年代評価型ワークショップ (新聞記事が主)TREC (Text Retrieval Conference) http://trec.nist.gov/MUC (Message Understanding Conferences)NTCIR@NII http://research.nii.ac.jp/ntcir/
- 7. マッチング逐次検索 (sequential search)検索質問が入力される毎に、すべてのドキュメントをスキャンするインデキシング不要更新は即時結果に反映される検索速度はドキュメント数に比例索引検索(index 蝉别补谤肠丑)あらかじめインデックスを作成しておき、検索実行时に利用
- 8. ベクトル空間法D1=(3,0,0,2,1,0,0)D5=(2,1,0,1,3,0,1)D6=(0,0,1,0,1,0,1)sim(D1, D5) =sim(D1, D6) =※単語どうしについても同じような計算が可能 ->関連キーワードの検索
- 9. TF?IDFキーワード重要度の経験則1つの文書の中で、たくさん出現するキーワードほど重要度が高い (Term Frequency, TF)「図書館」 x 1回, 「カレー」 x 10回 -> カレーの話題？文書集合中で偏って現れるキーワードほど重要度が高い (Document Frequency, DF)「日本」500文書、「サッカー」5文書 -> サッカー＞日本両者を掛け合わせてキーワードの重要度を計算
- 10. 転置インデックス
- 11. n-gramモデルと形態素解析モデル図書館振興財団では、図書館総合展運営委員会と共に、L-1グランプリ2010－若手ライブラリアンのためのワークショップ式登竜門を開催します。インデックスのキーワードをどうやって切り出すか？図書館, 振興, 財団, 図書館, 総合, 展, 運営, 委員会, L-1, グランプリ, 2010, 若手, ライブラリアン,ワークショップ, 式, 登竜門, 開催図書, 書館, 館振, 振興, 興財, 財団, 団で, では, は、, 、図, 図書, 書館, 館総, 総合, 合展, 展運, 運営, 営委, 委員, 員会, 会と, と共, 共に, に、 , 、L, L-, -1, 1グ, グラ, ラン, ンプ, プリ, リ2, ….形態素解析モデルn-gram (2-gram, bi-gram) モデル
- 12. 形態素解析とは自然言語で書かれた文を形態素（意味を持つ最小単位）に分割する技術日本語では単語の境界判別が大きな問題キーワード辞書を与える必要がある日本語で利用可能な主な形態素解析ツールJUMAN (京都大 黒橋研)ChaSen (奈良先端大 松本研)MeCab (工藤拓氏/京大?NTT共同研究ユニット)Yahoo!日本語形態素解析 (Web APIによる利用)
- 16. 主な検索ソフトウェアNamazu (高林哲氏)HyperEstraier(平林幹雄氏)Lucene (Apache Project)Solr(Apache Project)Senna (未来検索ブラジル)MySQLなどでの組み込み利用が可能GETA / GETAssoc (国立情報学研究所)
- 17. GETAssoc国立情報学研究所(NII)で開発された「連想検索エンジン」GETAの後継ベクトル空間法に基づく各種機能関連キーワード、関連文書の検索クラスタリングWeb APIが実装されている実用例WebcatPlus, 想-IMAGINE Book Search, BOOK TOWNじんぼう
- 20. Web検索APIGoogle AJAX Search APIhttp://code.google.com/intl/ja/apis/ajaxsearch/Yahoo! JAPAN 検索Web APIhttp://developer.yahoo.co.jp/webapi/search/開放型検索エンジン基盤TSUBAKIhttp://tsubaki.ixnlp.nii.ac.jp/api.html
- 21. For further information…北研二ほか「情報検索アルゴリズム」(共立出版, 2002年)NTCIR Project: http://research.nii.ac.jp/ntcir/TREC Conference: http://trec.nist.gov/ACM SIGIR: http://www.sigir.org/