狠狠撸

Copyright ? Elitegroup Computer Systems. All Rights Reserved Page1
組內報告
Open Source Technologies
for Search Engine
胡崇偉 marr
2014/07/15
雲端時代的資料索引與搜尋
Case Study on ElasticSearch

組內報告 2012/10/30 2
搜尋引擎的角色
? 常見於整合式大系統裡
? 用以協助使用者快速存取需要的內容
? 提供第一線服務的搜尋服務
? 收集使用者貢獻的資料進行分析功能
? EEA 搜尋功能轉往結合 ElasticSearch
? CKAN 使用 ElasticSearch
? 圖書管理系統 Koha 使用 Lucene/Solr
? GitHub 使用 ElasticSearch
? Netflix 使用 ElasticSearch

組內報告 2012/10/30 3
解決怎樣的問題?
? 同義詞 (語意) 搜尋
? 搜尋「媽祖」回傳包括「天上聖母」的資料
? 依權重分數 (例: 使用者角色) 調整排序結果
? 依地理資訊搜尋
? 選定座標中心搜尋特定距離的資料
? 顯示額外資訊提示使用者需要的資料
? 即時分析搜尋/社群資料
? 整合視覺工具呈現統計結果
? 降低開發/訓練/管理的整體成本
? 效能延展並提供一致的開發機制 (API, 資料格式)

組內報告 2012/10/30 4
同義詞(語意)搜尋
? Analyzer 可視為斷字斷詞工具
Relational Database RDF Data Model ElasticSearch
傳統使用 Keyword 比對，
擴充 Schema / Column /
SQL 來建立關連的同義詞
需事先建立夠完整的知
識體系，再利用
SPARQL 之類的工具
利用Tokenizer, Token
Filter, Character Filter來
建立 Analyzer 進行搜尋

組內報告 2012/10/30 5
Analyzer 範例 #1
? snowball

組內報告 2012/10/30 6
Analyzer 範例 #2
? snowball

組內報告 2012/10/30 7
建立同義詞表
# This is a SOLR synonym file
台北縣 => 新北市
媽祖, 天上聖母, 天后
文山區 => 景美, 木柵

組內報告 2012/10/30 8
同義詞設定語法
{
“index”: {
“analysis”: {
“analyzer”: {
“my_names”: {
“tokenizer”: “whitespace”,
“filter”: [“my_synonym”]
}
},
“filter”: {
“my_synonym”: {
“type”: “synonym”,
“synonyms_path”: “analysis/synonym.txt”
}
}

組內報告 2012/10/30 9
依權重分數調整排序結果
? ES 給分的方式大致有四種:
? 文件的詞數 (長度)
? 詞在文件內的頻率
? 詞在索引內的頻率
? 任意指定
? 以使用者角色為例:
? 研究人員優先回傳學術著作的相關資料

組內報告 2012/10/30 10
依地理資訊搜尋
? 選定座標中心搜尋特定距離的資料
? 顯示額外資訊提示使用者需要的資料

組內報告 2012/10/30 11
即時分析搜尋/社群資料
? 利用 Logstash 即時分析搜尋結果
? 利用 Kibana 呈現事件趨勢

組內報告 2012/10/30 12
利用 Kibana 建立 Dashboard
? LinkedIn dana

組內報告 2012/10/30 13
與資料庫進行類比
? Mapping 是指可搜尋的範圍，建立 Type與Field
時就會自動產生 Mapping，預設就可搜尋
? Document 是巢狀結構，不像 RDBMS 的Row
只是二維表
? 都可以執行 CRUD 動作
Relational DB ElasticSearch
Database Index
Table Type
Row Document
Column Field
Schema Mapping
Index Everything is Indexed
SQL Query Domain-Specific Language

組內報告 2012/10/30 14
類似產品的比較
Lucene Solr ElasticSearch Zoie
Java 搜尋函
式庫
企業級搜尋
方案
重新設計過的後起
之秀
由 LinkedIn 開
發
著重底層功能著重實用性著重易用性經歷完整測試
和市場驗證
適於自行開發
產品、需要高
效能的場合
適於企業開
發環境
適於低成本的開發
環境
適於快速回應
使用者的應用
場合

組內報告 2012/10/30 15
? ElasticSearch
CMS
Database
分散式搜尋
SQL
Database

組內報告 2012/10/30 16
優勢及應用建議
? 適合跨系統整合或大量資料的搜尋和索引
? Distributed and Scalable Nodes
? 降低系統應用的學習/溝通成本
? Intuitive and Simple: JSON, REST APIs
? Interoperation with Non-Java/JVM Languages
? 降低整體開發成本
? Gateway makes Full Backup easier
? Work with Cloud Services: Hadoop, S3

組內報告 2012/10/30 17
應用限制
? 個別資料的頻繁變動會造成效能低落
? 分散系統裡的 Shard 無法有效處理變更大小的
需求
? 缺乏權限管理機制

組內報告 2012/10/30 18
報告完畢
? 档案后附参考资讯

組內報告 2012/10/30 19
發展歷史
? 1997: Lucene Developed by Doug Cutting
? 2000: Open Source under GPL
? 2001: Invited to Apache Jakarta
? 2004: Promoted to Apache TopLevelProject
? 2006: Solr Joins Lucene
? 2010: ElasticSearch Released by Shay Banon
? 2013: Search in Hadoop Platform

組內報告 2012/10/30 20
新增索引範例
curl –XPUT ‘http://localhost:9200/twitter/tweet/1’ –d ‘{
“user”: “marr”,
“post_date”: “2014-06-30T10:12:12”,
“message”: “trying out ElasticSearch”
}’
{
“_index”: “twitter”,
“_type”: “tweet”,
“_id”: “1”,
“_version”: 1,
“created”: true
}

組內報告 2012/10/30 21
Faceted View
? ElasticSearch + Faceted View
? http://centaurus-dev.eea.europa.eu/pam

狠狠撸

ElasticSearch Introduction

Recommended

More Related Content

Similar to ElasticSearch Introduction (20)

More from TsungWei Hu (20)

ElasticSearch Introduction

Editor's Notes