开放云平台数据引擎颁尘别尘
- 1. 开放平台的数据引擎 CMEM系统介绍 腾讯云平台部 邹润谋 DTCC2012
- 2. CMEM的诞生背景 随着web2.0的快速发展,对互联网业务数据的要求越来越高 高可用 大吞吐 低延迟 热点大 平滑扩容 定点回档 为了应对以上挑战,在参考其他NoSQL技术的基础上腾讯开发 出自己的高性能NoSQL存储CMEM 在内部SNSGame和开放平台中发挥重要作用并不断发展完善 DTCC2012
- 3. 概述 什么是CMEM ? 全称为Cloud Memcache ? 高性能分布式数据存储服务,适用于Key-Value存储场景 ? 适用存放对吞吐,延迟要求苛刻,数据安全性要求较高的数据 使用CMEM的好处 ? 一键式自助申请,马上可用,开发者无需自行安装memcached ? 通过支持memcached 协议客户端和私有API均可访问 ? 主备切换后应用接入入口不变，应用层无需修改配置 ? 提供master-slave热备+流水,高可靠,支持定点回档 ? 支持应用“一键式”无损扩容,无需业务参与. DTCC2012
- 4. 一些缓存的缺点 Memcached模型 TTServer模型 MySql Memory Disk Memory 缺点 缺点 写量支持有限,数据库IO瓶颈 回写期间毛刺严重 扩容复杂,需要应用拆分 扩容复杂,需要应用拆分 死机后需要预热,恢复时间长 预热时间长,业务不可用 DTCC2012
- 5. 颁惭贰惭架构模型 CMEM 各业务管理 Master主机 业务A 业务B 备件 Access接入群（全镜像) 备件 cache存储群 备件 DTCC2012
- 6. 颁惭贰惭系统模型 CMEM模型 用户 运维 Access接入集群 Transf Dump Stop Master Stat er 集中备 策略 运维 管理中 统计 搬迁 份 执行 门户 心 中心 中心 中心 中心 Cache存储集群 数据高可靠性 并发能力,写入能力强 支持通用协议 垮IDC搬迁能力锁定业务能力 探测和预警能力 统计分析功能 支持数据淘汰 业务无感扩容 故障自动切换 DTCC2012
- 7. CMEM的高性能 大量运用zero-copy思想,数据管道传递时,编解码次数最少 网络处理逻辑运行于OS内核态,处理能力可达到35w/s(req+rsp),接近硬件极限 请求延迟一般在us级别 Client 数据长度(字节) 数据源 并发数 执行时间(s) 平均处理量(/s) 失败率(%) 100(写) 2.9355W 0.0000 1024 Client 300 200(读) 6.4016W 0.0000 100(写) 4.2W 0.0000 512 Client 300 200(读) 10.817W 0.0000 100(写) 3.6504W 0.0000 256 Client 300 200(读) 12.082W 0.0000 100(写) 4.2922W 0.0000 128 Client 300 200(读) 12.357W 0.0000 接入机型 Intel(R) Xeon(R) CPU E5504 @ 2.00GHz 千兆网卡 8G内存 存储机型 Intel(R) Xeon(R) CPU E5405 @ 2.00GHz 千兆网卡 32G内存 DTCC2012
- 8. CMEM的扩容 扩容只需增加扩容存储,瞬间完成表空间扩容 扩容时读写不受影响,业务完全无感知 并发可变速度的数据搬迁能力 接入集群 新增存储 初始存储 搬迁任务 DTCC2012
- 9. CMEM的安全保证,快速切换 热备+冷备保证单机故障快速切换 流水备份支持5分钟切片数据回档 备份中心 接入集群 主 备 Standy+流水备份 DTCC2012
- 10. 颁惭贰惭的迁移能力 IDC1 IDC2 集群A 集群B 导数据 MD5比对 补差 2T数据比对补差1.5h DTCC2012
- 11. 颁惭贰惭的业务锁定保护 主备机同时死机 查找机器所涉及的业务 只读死机涉及的所有业务 保证数据一致性 DTCC2012
- 12. 颁惭贰惭的探测和监控能力 机器自身监控告警 多点探测告警 多级别告警 定制化告警 DTCC2012
- 13. 颁惭贰惭的统计分析 DTCC2012
- 14. 颁惭贰惭现有规模 50T+ 4000+ 2000+ 50+ 存储 服务 应用 集群 数据 器 接入 DTCC2012
- 15. 谢谢! Q&A 腾讯云平台部欢迎业界精英加盟,共建云存储 runmouzou@tencent.com DTCC2012