狠狠撸

ElasticSearch 介绍
? 构建在 Apache Lucene 之上的的搜索引擎服务，开源（ Apache2 协议）
? 分布式索引，分布式搜索，自动负载均衡
? 海量数据实时索引、实时分析
? 高可靠性，开源社区比较活跃
? JSON 格式的文档型数据
? 并非是只一个全文检索系统，正蜕变为一个完整的数据分析平台

ElasticSearch 典型用户
? Github 在 2013 年 1 月升级了他们的代码搜索， Solr->Elasticsearch
? 20TB 的数据， 13 亿的文件， 1300 亿行的代码
? 26 个索引存储节点和 8 个客户端节点（负责处理搜索请求）

Elasticsearch 与关系数据库对比
Relational DB Databases Tables Rows Columns
Elasticsearch Indices Types Documents Fields

颗粒度问题
? 最难的问题 . 颗粒度的大小很难把握
? 颗粒度越小歧义越高 , 歧义多召回率高
? 颗粒度越大 , 准确率越低 , 召回率低
? 系统不同需要的平衡点不同
? Example: 中国银行知春路分行
? NLP 语法分析 : 中国银行 / 知春路分行
? 搜索 :[ 中国 / 银行 ][ 中国银行 ][ 知春路 / 分行 ][ 知春路分行 ]

一些有趣的 case
? 他说的确实在理
? 结婚的和尚未结婚的
? 上海大学城书店
? 北京大学生前来应聘
? 学习近平和李克强将成为一种风尚
? 发展中国家庭养猪事业
? 门把手坏了 , 门把手夹了
? 两毛五一斤 . 一斤八两
? 一次性交多少钱

ElasticSearch + Logstash + Kibana 实时日志收集
、查询和分析系统
? Logstash 是一个完全开源的工具，可以对你的日志进行收集、分析，并
将其存储供以后使用。
? kibana 是一个功能强大的 elasticsearch 数据显示客户端，最新版的
kibana3 是纯 html+js 客户端，可以很方便的部署到 Apache 、 Nginx 等
Http 服务器。

ELK 日志分析与监控应用场景
? 根据关键字查询日志详情
? 监控系统的运行状况
? 统计分析，比如接口的调用次数、执行时间、成功率等
? 异常数据自动触发消息通知
? 基于日志的数据挖掘

splunk
功能强大的日志管理工具
可以用多种方式来添加日志
生产图形化报表
最厉害的是它的搜索功能 - 被称为“ Google for IT”
个人永久免费——每天最大索引量 500MB

狠狠撸

Elasticsearch

More Related Content

Elasticsearch

Editor's Notes