![计算流程 rowkey: 商务定位 [0,2] regionserver 求 SUM(alipay) 属性 属性值 笔记本尺寸 13 寸 笔记本定位 商务定位 查索引 节点 1 1, 2, 3, 4, 5, 6, 7, 8, 9 节点 2 1, 2, 3, 4, 5, 6, 7 节点 2 1, 2, 4 , 6, 7 本地 SUM 运算（ Hbase 扩展 ） 汇总计算 写入缓存](https://image.slidesharecdn.com/hbase-110727081637-phpapp01/85/Hbase-14-320.jpg)
![Q&A thanks blog : www.yiihsia.com weibo : http://weibo.com/neihan e-mail : [email_address]](https://image.slidesharecdn.com/hbase-110727081637-phpapp01/85/Hbase-22-320.jpg)
More Related Content
Similar to 基于贬产补蝉别的实时计算分享 (20)
基于贬产补蝉别的实时计算分享
- 1. 实时计算架构 北疯
- 2. 产物介绍
- 3. 产物 数据魔方全属性查询 2010.12~ 淘词 2011.6~ 淘宝指数 ( 开发中 )
- 4. prom 海量数据实时计算框架 - prom 2010.8 开始开发 2010.12 上线 通用性强，支持任何计算规则
- 5. 数据规模 T 级数据量 百万级记录实时计算分析 存储于 hbase
- 6. 特点 多维度 实时 (3s 内响应 ) 海量数据
- 7. 架构变迁
- 8. 第一版 redis + tokyocabinet 2010.12 ~ 2011.6 mget 随机读取明细
- 9. 第二版 HBase 2011.5~ 明细数据冗余 带宽瓶颈、 server 工作繁忙
- 10. 第三版 HBase 本地计算 (region 端 ) 2011.6~ 扩展 client -> region 开发、运维复杂
- 11. HBase 的使用
- 12. 定义表 两个列族 (index 和 data) index 一般保存 id 列表 data 保存 id 明细列表
- 13. 数据储存 云梯 Hbase Hbase Hbase …… 索引：交易 id 列表 属性对 交易 1 （二进制，定长） 交易 2
- 14. 计算流程 rowkey: 商务定位 [0,2] regionserver 求 SUM(alipay) 属性 属性值 笔记本尺寸 13 寸 笔记本定位 商务定位 查索引 节点 1 1, 2, 3, 4, 5, 6, 7, 8, 9 节点 2 1, 2, 3, 4, 5, 6, 7 节点 2 1, 2, 4 , 6, 7 本地 SUM 运算（ Hbase 扩展 ） 汇总计算 写入缓存
- 15. java 客户端 HTable HTablePool Get Result
- 16. java 客户端
- 17. 例子
- 18. 缓存 总结果 单日结果 集合交集偏移量 索引（内部缓存）
- 20. 总结 冗余顺序读 替代 批量随机读 通用性 vs 性能 定长、 byte
- 21. 下一步 全部采用 hbase 本地计算 抽取框架 提高性能
- 22. Q&A thanks blog : www.yiihsia.com weibo : http://weibo.com/neihan e-mail : [email_address]