基於语意网的搜寻引擎
- 1. 基於语意网的搜寻引擎 自動分類與索引期末報告 R96126013 洪承理 2008/01/17
- 2. 大綱 1. 序言 2. 語意網的階層架構 3. 語意網的組織 4. 傳統搜尋引擎 5. 基於语意网的搜寻引擎 6. 結論
- 3. 序言 當前的網路只是一種載體 電腦無法理解 必須發展機器可讀的結構 充分運用電腦的計算能力 (Berners-Lee, Hendler, & Lassila, 2001)
- 4. 傳統的 HTML 傳統的 HTML 有限的表達能力 Meta-tag
- 5. 傳統的 HTML
- 7. 語意網的階層架構 UNICODE ：處理當前世界上所有的語言。 URI ：標示單一資源，目前常見的 Xml+NameSpace+Xmlschema 表現資料的內容與結構 無法表達機器可理解的語意 RDF+RDFschema:RDF 描述網路資源 RDF Schema 使用一種機器可以理解的體系來定義描述資源的辭彙。
- 8. 語意網的階層 -XML XML(eXtensible Markup language) 以 xml schema 定義元素內容 優點 將樣式 (layout) 與內容 (content) 分離 使用者可以自訂標籤 缺點 標籤的結構視應用而定 無法取得標籤內的語意
- 9. 語意網的階層 -XML
- 10. 語意網的階層 -RDF RDF- Resource Description Framework 基於 XML 的資料表達模式 概念 資源 : 唯一識別物件 (URI) 性質 : 資源之間的關係 敘述 : 由資源 - 性質 - 值所構成 http://www.w3.org/Home/Lassila Ora Lassila creator
- 11. 語意網的階層 - 未經 RDF 組織的資源
- 12. 語意網的階層 - 經過 RDF 組織過後的資源
- 13. 語意網的階層 -Ontology 構成相關領域詞彙的基本術語和關係。 1. 主題內的概念及子概念 2. 概念間的關係與限制 對共享概念的顯性說明 不同標示的相通概念 功能 分類 分析領域知識的結構 統一的術語實現共享的功能
- 14. 語意網的階層 -Ontology
- 15. 傳統搜尋引擎 - 架構 Spider 搜尋及更新網路資源 Indexer 分析資訊，選擇索引詞，已倒置檔產生索引檔 Searcher 將使用者查詢與資料庫索引進行比對，並檢出相關的資訊 使用者介面 使用者與搜尋引擎間的介面 輸入查詢值 顯示檢索結果 提供相關回饋
- 16. 傳統搜尋引擎不適於語意網搜尋 關鍵字檢索的侷限性 使用者需求表達的困難 無法理解自然語言 無法理解字與字之間的關係 準確率偏低，多檢索到不相關的文獻 以字的變形做為索引詞 忽略標記 僅依賴於查詢詞與文件集的相關度
- 17. 傳統搜尋引擎不適於語意網搜尋 當前的檢索技術並不適合索引及檢索語意標記 當前的檢索技術無法利用語意標記加強文字檢索 沒有正式的標準可以處理同時擁有 HTML 語言及語意標記的文件
- 18. 基於语意网的搜寻引擎 目標 對查詢進行語意理解 對資料庫進行語意理解 功能 對於語意標記進行索引 支援檢索以及推論過程。 以單字、語意標記做為索引詞。 依賴現有的搜尋引擎 推論與檢索必須緊密結合
- 19. 基於语意网的搜寻引擎 功能 標籤檢索：提供 XML 的標籤檢索。 支援隱性資訊的查詢：傳統搜尋引擎無法處理 FLASH 、 PDF 等檔案格式的內容，基於 XML 的結構基礎可以描述任何形式的資源並檢索之。 過濾以關鍵字優化的網頁 (SEO) 。 分類顯示檢索結果
- 20. 基於语意网的搜寻引擎結構
- 21. 基於语意网的搜寻引擎結構 輸入及對映本體 將不同本體但是相關概念做連結 網路爬梳 (SPIDER) 搜尋並下載網路上的資訊 索引 將下載的資訊以字為單元做索引 本體索引 索引詞與本體中的概念連結 前端 使用者可以用關鍵字或本體概念檢索
- 22. 基於语意网的搜寻引擎 - 類型 Swangler 對傳統的 RDF 文件加注語意標記 由傳統搜索引擎索引。 Swoogle 基於 SPIDER 的檢索系統。 儲存語意網文件的元資料
- 24. 基於语意网的搜寻引擎 -Swangler 1. 提出語意查詢；提出語意編碼的查詢 2. 推論引擎運作：有限度的語意延伸， 產生用於檢索的語意標記描述 3. 將語意標記轉換成普通的文字 4. 將文字查詢傳到多個傳統網路搜尋引擎 5. 傳統搜尋引擎產生排序的網頁，並且由推論引擎作出數量上的刪減 6. 推論引擎將結果做出過濾 7. 傳回至使用者介面。
- 26. 基於语意网的搜寻引擎 -Swoogle 1. 語意網文件探索：檢索並更新潛在的語意文件 2. 後設資料建構：製作快取，並基於語法與語意描述語意網文件 3. 資料分析：以語意網文件快取以及後設資料分析語意文件，如分類、排名、索引 4. 介面：提供使用者及代理人檢索
- 27. 基於语意网的搜寻引擎 -Swoogle 檢索語意網文件 基於 GOOGLE 檢索服務的 crawler 以附檔名作為限制 ( 如 RSS 、 RDF) Focused Crawler( 專注爬梳 ) ， 以既有的語意網文件分析節點。 建構元資料： 分析文件的語言特徵、 RDF 統計、知識本體標註
- 28. 基於语意网的搜寻引擎 -Swoogle 資料分析 分析語意網文件彼此之間的關係 延伸、輸入、前一版本 給予排名 Rational Random Surfer 分析語意文件節點以及連結的關係 索引及檢索 SIRE N-gram 及單字的檢索 使用 TF/IDF 餘弦模型計算相似度
- 34. 結論 語意網文件數量與日俱增，雖然其本身擁有良好的結構，但仍必須建立檢索機制才能有效的取用。 研究成果建立在實驗室的測試集 傳統的關鍵字檢索不適於語意網檢索 利用語意網的良好結構可以有效加強檢索效能
- 35. END
- 36. 參考文獻 Berners-Lee, T., Hendler, J., & Lassila, O. (2001). The semantic Web. Scientific American, 284 (5), 28-37. Ding, L., Finin, T., Joshi, A., Pan, R., Cost, R. S., Peng, Y., et al. (2004). Swoogle: A Search and Metadata Engine for the Semantic Web. Proceedings of the Thirteenth ACM Conference on Information and Knowledge Management . Ding, L., Finin, T., Joshi, A., Peng, Y., Pan, R., & Reddivari, P. (2005). Search on the Semantic Web. Computer, 38 (10), 62-69. Finin, T., Mayfield, J., Joshi, A., Cost, R. S., & Fink, C. (2005). Information Retrieval and the Semantic Web. System Sciences, 2005. HICSS'05. Proceedings of the 38th Annual Hawaii International Conference on , 113a-113a. Grigoris Antoniou, F. v. H. (2006). 語意網技術導論 ( 初版 ed.). 台北市 : 碁峰資訊 . K?hler, J., Philippi, S., Specht, M., & Rüegg, A. (2006). Ontology based text indexing and querying for the semantic web. Knowledge-Based Systems, 19 (8), 744-754. Madalli, D. P. (2006). ONTOLOGIES AS KNOWLEDGE STRUCTURES FOR SEMANTIC RETRIEVAL. Information Studies, 12 (4), 205-212. Mayfield, J., & Finin, T. (2003). Information retrieval on the Semantic Web: Integrating inference and retrieval. SIGIR Workshop on the Semantic Web, Toronto, 1 . Shah, U., Finin, T., & Joshi, A. (2002). Information retrieval on the semantic web. Proceedings of the eleventh international conference on Information and knowledge management , 461-468. Yufei, L., Yuan, W., & Xiaotao, H. (2007). A Relation-Based Search Engine in Semantic Web, IEEE Transactions on Knowledge & Data Engineering (Vol. 19, pp. 273-281).
- 37. 參考文獻 石翌軼 , 宋自林 , & 尹康銀 . (2006). 一種基於語義的 Web 資料搜索引擎方法研究 . 山東大學學報 ( 理學版 ) (03). 江克勤 , 張玉州 , & 王一賓 . (2007). 基於語義的 Web 資訊檢索 . 電腦技術與發展 (01). 徐瑩 , 徐福緣 , & 李生琦 . (2006). 基於語義的智慧檢索在供需網中的應用 . 上海理工大學學報 (03). 曹二堂 , & 劉玉林 . (2006). 一種基於語義理解的元搜索引擎的研究 . 電腦工程 (07). 虞為 , 曹加恒 , 曾承 , 黃敏 , & 陳俊鵬 . (2007). 基於語義索引詞的語義網資訊檢索模型 . 電腦工程 (03). 竇玉萌 , & 王孟龍 . (2006). 面向語義 Web 的搜索引擎構想 . 情報探索 (07). 羅慶雲 , & 趙巾幗 . (2007). 語義化 Web 的理論基礎與技術基礎 . 甘肅聯合大學學報 ( 自然科學版 ) (05).