基于丑产补蝉别的实时计算框架辫谤辞尘(20111114)
Download as PPT, PDF7 likes1,570 views
基于丑产补蝉别的实时计算框架辫谤辞尘，支持对静态数据的多维度计算汇总。对丑产补蝉别改造，支持本地计算
![计算流程 rowkey: 商务定位 [0,1] regionserver 求 SUM(alipay) 属性 属性值 笔记本尺寸 13 寸 笔记本定位 商务定位 查索引 节点 1 1, 2, 3, 4, 5, 6, 7, 8, 9 节点 2 1, 2, 4, 5, 6, 7 节点 2 1, 2, 4 , 6, 7 本地 SUM 运算（ Hbase 扩展 ） 汇总计算 写入缓存](https://image.slidesharecdn.com/prom20111114-111125021015-phpapp01/85/hbase-prom-20111114-12-320.jpg)
![提高性能的几个点 减少随机读 不做 join 数据定长、 byte[] 减少网络传输量 合理的缓存 更大的内存](https://image.slidesharecdn.com/prom20111114-111125021015-phpapp01/85/hbase-prom-20111114-18-320.jpg)
![Q&A thanks blog : www.yiihsia.com weibo : http://weibo.com/neihan e-mail : [email_address]](https://image.slidesharecdn.com/prom20111114-111125021015-phpapp01/85/hbase-prom-20111114-19-320.jpg)
More Related Content
What's hot (20)
Similar to 基于丑产补蝉别的实时计算框架辫谤辞尘(20111114) (20)
基于丑产补蝉别的实时计算框架辫谤辞尘(20111114)
- 1. prom- 实时计算架构 北疯 淘宝数据平台与产物部 -edp
- 2. 产物 数据魔方全属性查询 2010.12~ 淘词 2011.6~ 淘宝指数 ( 公测 ) shu.taobao.com
- 3. prom 特点 多维度 实时性 / 性能 无 join 计算规则自定义 低成本
- 4. 考虑因素 数据 储存 计算
- 5. 数据特征 T 级数据量 百万级记录实时计算分析 每天新增 100G 数据 数据不修改
- 6. DB 选型 海量数据 查询快，不因数据量而改变 易扩容，避免分库分表 高可用 灵活的数据模型 成本低，钱 & 精力
- 7. 技术要点 倒排索引 HBbase 本地计算 明细数据冗余
- 8. 表无 join 设计 NoSQL 一张表，两列族 冗余 数据自动扩容，无需 DBA
- 9. 数据格式 数据格式详情
- 10. 角色 HBase 端 存储数据， 本地计算 有状态，有限扩容 Server 端 http 服务， 求交 ，缓存 无状态，无线扩展
- 11. 拓扑图 云梯 server server server Hbase Hbase Hbase ……
- 12. 计算流程 rowkey: 商务定位 [0,1] regionserver 求 SUM(alipay) 属性 属性值 笔记本尺寸 13 寸 笔记本定位 商务定位 查索引 节点 1 1, 2, 3, 4, 5, 6, 7, 8, 9 节点 2 1, 2, 4, 5, 6, 7 节点 2 1, 2, 4 , 6, 7 本地 SUM 运算（ Hbase 扩展 ） 汇总计算 写入缓存
- 13. HBase 本地计算 概念： HBase 的存储过程 ? 利用 HBase 做分布式实时计算 优点： 降低网络的通信量 数据安全 提高 HBase 集群机器的资源利用率 减少响应时间和提高吞吐量
- 14. HBase 本地计算改造 1 、继承 HRegionServer ， HRegionInterface ，定义自己的 RegionServer 类和 RegionInterface 接口。 2 、继承 Get ，实现 Writable 接口的自定义 Get 类 (Put 同理 ) 3 、继承 Result ，实现 Writable 接口的自定义 Result 类 4 、 region 端启动时实例化自定义的 RegionServer 对象， client 端通过自定义的 RegionInterface 接口做反射代理。
- 15. HBase 本地计算注意点 Writable 接口的 write 、 readFields 方法序列化和反序列化要完全对应 ( 出现 bug 的主要原因 ) 基于最小 rowkey 定位 regionServer 。 避免相对路径 HBase region 端参数可变性
- 16. 数据难点 单条数据过大 ( 上 G) - 添加中间表保存取模数，拆分大数据 非定长数据 变长不明显：转成定长 -> 牺牲空间 变长明显：分隔符 -> 性能低，不稳定 没有 id 的数据记录 (query 记录 ) 每天自增 id ，多天归并抛弃 id
- 17. 实时计算平台化难点 数据冗余难以控制 数据多样性，通用性 VS 性能 自定义计算规则 和 hadoop 离线计算平台打通
- 18. 提高性能的几个点 减少随机读 不做 join 数据定长、 byte[] 减少网络传输量 合理的缓存 更大的内存
- 19. Q&A thanks blog : www.yiihsia.com weibo : http://weibo.com/neihan e-mail : [email_address]