20110625.【打造高效能的肠诲苍系统】.易统
- 1. 打造高效能的颁顿狈系统 任卿 (易统) 淘宝核心系统研发部 1
- 3. 什么是颁顿狈 内容 发 ? CDN(Content Delivery Network)内容分发 网络 简单的说就是在不同地点缓存内容 网络，简单的说就是在不同地点缓存内容 ，然后通过负载均衡等技术将用户请求定 向到最合适的缓存服务器上获取内容，提 向到最合适的缓存服务器上获取内容 提 高用户访问网站的响应速度。 ? 通过C 服务提高网站的访问性能及稳定 通过CDN服务提高网站的访问性能及稳定 性，保障网站服务品质。
- 4. 淘宝颁顿狈的一些数字 系统的规模 ? CDN系统的规模 – 500T容量的原图 + 500T容量的缩略图 – 约700亿左右的缓存图片数 平均图片大小约20KB 约700亿左右的缓存图片数，平均图片大小约20KB – 18KB以内的对象数量占总数量的80% ? CDN部署的规模 – 近100个节点，部署在网民相对密集的主要中心城市 – 每个节点目前处理能力在10G左右 – CDN部署的总处理能力800G左右 – 目前承载淘宝流量高峰时近400G流量 目前承载淘宝流量高峰时近 流量
- 5. 颁顿狈系统总览
- 6. 淘宝颁顿狈系统体系结构 淘宝 系统体系结构 Global Load Balancing Gl b l L d B l i Cache Cache Cache Cache L1-Cache L1 C h Cluster Cluster Cluster Cluster ~30T Cache Cache Cache L2-Cache Cluster Cluster Cluster ~100T Image Server Image Server Application Cluster Cluster ~200 Servers Storage 2000T Used / TFS TFS Cluster Cluster 3000T Deployed 6
- 7. 软件负载均衡节点部署架构
- 8. 颁顿狈节点逻辑架构 CDN缓存节点逻辑 用户响应 缓存服务器 Haproxy Squid q 七层负载 缓存服务 均衡 Haproxy LVS Squid q 七层负载 四层负载 缓存服务 用户请求 均衡 均衡 Haproxy p y Squid 七层负 缓存服务 载均衡
- 10. CDN系统效能优化 ? 负 负载均衡优化 衡优 ? 网络层优化 ? 存储优化
- 11. 贬补辫谤辞虫测软件优化 优 提高效率 消除短 ? hash优化，提高效率、消除短板 – servers=128 nodes=128 stdvar=3.010755e+06 stdvar/avg=0.08973 – servers=128 nodes=256 stdvar=1.974319e+06 stdvar/avg=0.05884 ? 精确的调度和数据清理 – 基于一致性哈希调度请求 – 基于调度历史做精确清理，避免全量清理操作 ? 支持Cache功能 – 将最热的内容缓存在 将最热的内容缓存在haproxy中 中 – 改善性能，应对访问的热点
- 13. Haproxy长链接支持 ? 长链接的作用 链接的作 ? 对客户端的keepalive，提高用户响应速度 ? 对服务端的keepalive，提高服务器处理能力 ? TCP拥塞控制
- 14. Haproxy长链接效果 ? 挖掘淘宝访问的业务特点，平衡系统开销和加速 效果 ? 提升用户体验，响应时间最多提升50%+
- 15. 动态内容加速 ? 针对不能被缓存的动态内容做加速 能被缓存的 态内容做加 ? 基于TCP协议原理，优化网络通讯 ? 内核协议栈调优 ? 充分利用CDN节点和中心站点之间的”高速 公路 公路”
- 17. CDN节点存储优化 ? 充分了解缓存内容特点 充 缓存内容特点 ? 充分了解存储介质特点 ? 资源合理组合配置 ? 优化缓存处理逻辑
- 18. 120.00% 120 00% CDN缓存对象的特性 累计个数比例 累计容量比例 100.00% 80.00% 60.00% 60 00% 40.00% 20.00% 0.00% 0 00% 102 105 108 111 114 117 120 123 126 0 3 6 9 12 15 18 21 24 27 30 33 36 39 42 45 48 51 54 57 60 63 66 69 72 75 78 81 84 87 90 93 96 99 ? 0 18KB的对象数量占总数量的80% 而存储量只有不到 0~18KB的对象数量占总数量的80%，而存储量只有不到 40% ? 80%被访问到的对象 其存储占用只有不到20% 80%被访问到的对象，其存储占用只有不到20% ? 访问的局部性，决定分层次的对象存储
- 19. 滨翱存储介质 内存 Sata固态硬盘 Sata机械硬盘 IO能力 6.4Gbps <10000 iops <160iops 存储容量 4~16GB 80 ~160GB 500~1000GB 单价（每G的成 150 1 0 20 2 本）
- 20. 存储系统优化思路 ? 充 利 充分利用访问局部性 性 ? 通过控制将热点内容存储在内存和SSD， 降低对Sata机械盘的访问 ? 服务器IO的瓶颈在S t 机械盘 服务器IO的瓶颈在Sata机械盘 ? 增加Sata机械硬盘提高存储能力，降低存 储成本
- 21. 存储系统优化实践 ? 改进Squid的COSS文件 ? 根据对象大小和访问特点切分，分级存储 ? 支持热点迁移的TCOSS文件系统 ? 用sendfile来发送缓存在硬盘上的对象 ? Squid内存优化， 台Squid服务器若有 Squid内存优化 一台Squid服务器若有一 千万对象，大约节省400M内存，更多的内 存可以用作Squid Memory C h 存可以用作S id M Cache
- 22. 存储系统优化效果 ? 缓存字节命中率：97%以上 缓存字 命中率 ? 缓存请求命中率：97%以上 ? 缓存响应时间：10ms以内 ? 单台服务器缓存对象数：6000万以上
- 24. CDN缓存服务特点 ? 请求-响应的服务模型 – 请求的处理 ? 基本上是通过hash(URL)对响应内容进行查询 ? 逻辑简单，消耗CPU较少 – 响应的处理 ? 命中--》磁盘--》内存缓冲--》网卡--》网络--》用户 ? 不命中 》网卡 》网络 》网卡 》内存缓冲 》网卡 》网络 不命中--》网卡--》网络--》网卡--》内存缓冲--》网卡--》网络 --》用户 ? I/O密集型服务 – CPU处理少 – 绝大部分是IO操作 – 容量越大，命中率越高，目标：98%
- 25. 为什么考虑低功耗服务器 ? 降低CPU的峰值功率比动态调整功率 ? 不断增大的CPU与IO之间的差距 使用更能减低系统能耗 – 对于IO密集型服务，硬盘、网卡是瓶颈 ? 芯片的泄露电流随频率变化很小 片的泄露电流随频率变化很小 – 在消耗<30%CPU时，硬盘IO已满 ? 性能强的CPU，外围组件（如网 卡、总线等）能力都较强，因此 耗电也相对高 ? 功耗的增加快于处理速度的增长 CPU功耗的增加快于处理速度的增长 ? 传统CPU峰值功耗高限制了IDC服务 器的密度 ? IDC中每个机柜都有额定的功率 ? 虽然空间上可以放置几十台服务 器，但是由于传统服务器的功耗 高，使得整个机架只能放置几台 高 使得整个机架只能放置几台 服务器，造成空间浪费 ? 在成本和功耗不增加的情况下，将原 有单台高性能服务器承载的流量分摊 到多台低功耗服务器上，降低单台服 务器故障带来的影响 ? 更高密度的存储能力 来源： FAWN - A Fast Array of Wimpy Nodes
- 26. 低功耗定制原则 ? 低功耗 – 单位服务器满载功耗控制在20~30Watts ? 高密度 – 单位空间放置尽可能多的服务器和存储 ? 兼容性 – 通用的硬件方案 ? 高性价比 – 单位服务能力的成本及功耗为衡量标准 – 成本包括：投入成本和运营成本 ? 可运维性
- 27. ATOM低功耗服务器 1. 2U的机箱，集成8个单独的服 务器硬件系统，每两个服务器 系统集成在 个板卡上；每个 系统集成在一个板卡上；每个 服务器间只共享电源 2. 每个服务器系统配置： ? Dual Core Intel? Atom? D525(1.8GHz D525(1 8GH 13W)processor + Intel? （背面） ICH9R Chipset ? 4GB Non-ECC DDR3 Non ECC 1333MHz SO-DIMMs (per node) support ? 3x 2.5” Hot-swap SATA HDD (RAID 0, 1) 0 ? 2GE with Intel 82574L 一个板卡集成两个服务器系统 3. 可热插拔硬盘与主板分离，共 提供 个盘位支持 提供24个盘位支持 4. 内置BMC支持IPMI 5. 720W 冗余高效金牌电源，支持PMbus （正面，24个可插拔硬盘）
- 28. 方案对比：存储IO配置对比 ? 服务器 Atom低功耗 Xeon偏低功耗 Xeon服务器 CPU Atom D525 Intel L3406 Intel E5620 -1*2 cores -1*2cores -1*4Cores - 1.80Ghz -2.26Ghz -2.66GHz - 1MB cache -4MB cache -12MB cache 内存 2*2GB 4*4GB 3*4GB SSD 1*80GB 1*160GB 2*160GB SAS NA NA 6*600GB Sata 2*500GB rpm7200 HyBrid 3*500GB rpm7200 EN NA ? 机械硬盘 机械硬盘 容量（G) 单盘IOPS Seagate SATA混合盘 500 120 SAS硬盘 600 180 SATA公司盘 500 130 ? 节点存储与IO 单机SSD 单机SATA 单机SAS Cache服 机械盘总 节点SSD总 节点硬盘总 节点总容量 数 数 数 务器数目 IOPS 容量（G） 容量（G） （G） Xeon偏低功耗 1 3 22 8580 3520 33000 36520 Atom低功耗 1 2 64 15360 5120 64000 69120 Xeon服务器 2 6 10 10800 3200 36000 39200
- 29. 服务器功耗估算对比 单位功耗（瓦） 数量 功耗小计(瓦） ATOM D525 13 1 13 西数混合盘 2.2 2 4.4 SSD 2 1 2 Atom低功耗 网卡 1.9 1 1.9 内存 2 2 4 合计 25 Intel L3406 30 1 30 西数公司盘RPM7200 3.2 3 9.6 SSD 2 1 2 Xeon低功耗 网卡 1.9 1 1.9 内存 4 4 16 合计 60 Intel E5620 80 1 80 SAS 9 6 54 SSD 2 2 4 Xeon服务器 网卡 1.9 1 1.9 内存 10 4 40 合计 180
- 30. 节点服务能力、功耗预估 机械盘 单位请求消 节点服务 机械盘总 机械盘最大 内存和SSD 估算 平均访问对 COSS命 耗机械盘 能力 IOPS 利用率 命中率 QPS 象大小（KB） 中率 IOPS数 （Gps） Atom低功耗 15360 80% ~92% 5.5% 2.14 104401 18 15.5 Xeon偏低功耗 8580 80% ~91% 5.0% 2.14 64150 18 9.5 Xeon服务器 10800 80% ~90.8% 5.2% 2.14 77642 18 11.5 缓存服务器 LVS服务器 交换机数 cahe数量 LVS数量 交换机功耗 总功耗（瓦） 功耗 功耗 量 Atom低功耗 25 64 150 2 80 2 2060 Xeon偏低功耗 60 22 58 2 80 1 1516 Xeon服务器 180 10 150 2 80 1 2180
- 31. 节点性价比与功耗比预估 服务能力性价比 存储性价比 服务能力性耗比 （kbps/元） (MB/元) （Mbps/瓦） Atom低功耗 1.72 2 7.7 Xeon偏低功耗 1 (基准值) 1 (基准值) 6.42 Xeon服务器 1.3 1.15 5.41
- 32. 低功耗CDN 级缓存节点方案 低功耗CDN一级缓存节点方案 LVS服务器 交换机 Rack 8台64个低功耗服务器 出口路由器 Internet
- 33. 节点机架布局 2U*2 低功耗服务器 1U 交换机 2U *2低功耗服务器 1U 负载均衡服务器 机架 2U*2 低功耗服务器 2U 2 1U 交换机 2U*2 低功耗服务器 1U 负载均衡服务器
- 34. 利用率 0 10 20 30 40 50 60 70 80 90 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 103 109 115 121 127 133 139 145 151 157 低功耗服务器 163 169 175 181 187 193 199 205 211 CPU, 56.8% 217 223 229 235 低功耗服务器运行状态 241 247 IOUtil 24 6% IOUtil, 24.6% 253 259 265 271 277 283 34
- 35. 颁顿狈低功耗服务器性能 3000QPS 1700QPS 非低功耗服 务器 低功耗服务 器+系统级、 1300QPS 应用级优化 低功耗服务器 +应用级优化 900QPS 低功耗服务 器优化前 35
- 36. 低功耗后续的工作计划 ? 功耗优化 功耗优 ? 成本优化 ? 性能优化 ? 定制方案开源
- 37. 低功耗项目的开源策略 开源社区 处理器和芯片 提供商 发起 主板ODM厂商 需求建议 电源机箱ODM 加入 低功耗服务器 厂商 开源项目 服务器OEM 产出 厂商 发布 其他公司用户 服务器设计 应用性能 应用优化 规范 测试 配置
- 39. 小结 ? 速度是网站的根本，CDN是优化网站速度 度 的 本 优 度 的利器 ? 系统优化是多层次的，软硬件结合 ? 用数字说话 ? 从关注性能到关注效能