阿里云贬补诲辞辞辫在云上的最佳实践
- 3. 提纲 ? 阿里巴巴Hadoop发展历程 ? 云上Hadoop的部署架构 ? 云上Hadoop的优势 ? 云上Hadoop的挑战 ? 云上Hadoop的最佳实践
- 5. Hadoop生态 ECS EMR Agent Layer HDFS YARN MapReduce/TEZ pig Hive HUE Zeppelin notebook Spark Core Tachyon Spark SQL Spark Graphx Spark Mllib Spark Streaming Hbase Other Engine eg:storm impala、 flink等其它开源 软件 EMR Web User Admin
- 6. 云上Hadoop的部署架构-经典部署 NM DN NM DN NM DN NM DN NM DN NM NM RM NN RM NN Master NodeCore Node Task Node
- 7. 云上Hadoop的部署架构-存储计算分离 NM NM NM RM OSS NM DN NM DN NM DN RM NN OSS workerworker HDFS DataNode作为Proxy来访问数据,提供HDFS语义 计算直接访问OSS Incorporate Aliyun OSS file system implementation Patch：HADOOP-12756
- 10. 云上Hadoop的部署架构-混合云模式 Oracle ERP CRM E-mapreduce ECS 线下系统 线上系统 专线 OSS VPC
- 15. 云上Hadoop的挑战-Shuffle ECS Local disk ? 添加本地磁盘，加速Shuffle ? push shuffle占用磁盘IO低，如：flink dataflow等， checkpoint采取异步做法 ? 机器学习等场景瓶颈往往是CPU ? 往往ETL一天只需要跑几个小时，可以按需运行 ? SSD与SATA混合，加速写 ECS Local disk ECS ECS W SSDR STAT
- 16. 云上Hadoop的挑战-本地化 ? 机器学习场景往往会缓存较大的数据 ? ETL一天只需要跑几个小时，可以按需运行 ? 数据压缩可以减少带宽的压力 ? 目前带宽逐渐不是稀缺资源 iops Latency ECS ECS OSS Network 10~20 Gbps 2009 2016 memory network disk 800Mbps 1200Mbps 12g 96g~192g 1Gbps 10Gbps~20Gbps 10~100倍 8~16倍 1~2倍
- 17. 云上Hadoop的挑战-自动化运维 虚拟化 Hadoop运维自动化 作业管理，任务编排 监控、报警 用户的业务 集群数多了，啥事情都有了 ? Master HA高可用 ? Master NN的元数据高可用 ? Hive元数据高可用 ? 各种日志清理等 ? 节点挂掉，自动补回 ? Datanode掉线处理 ? NodeManager掉线处理 ? Job运行监控报警 ? 负载过高监控报警 ? 节点数据均衡 ? 单节点扩容 ? 版本自动升级 ? 重要数据备份 ? Hbase等指标监控报警 ? Storm等指标监控报警 ……
- 18. 云上Hadoop的挑战-专家建议 ? 是否需要扩容 ? Hive SQL，可以给SQL评分，给出最优写法 ? 分析存储，比如：指明是否需要压缩；小文 件是否过多，是否需要合并；访问记录分析， 是否可以把冷数据归档处理 ? 分析运行时各种JOB统计信息，如：Job的map 时间是否过小，运行时reduce是否数据倾斜， 单个job是否有一些参数调整 ……
- 19. 最佳实践-混合使用节约成本 OSS 线下数据可以直接上OSS 按需成本 EMR按需 每天晚上0:00~2:00 选择CPU/高效存储的机器 共享Hive元数据 ? OSS存储，降低成本 ? 按需执行离线分析，降低成本 ? 根据作业类型（IO/CPU/Memory bound）选择机器规格 ? 选择节点少大规格的集群 ? 测试环境小规格/生产环境高规格 一部分数据 需要处理 EMR包年 运营查询 选择内存大的机器
- 22. 最佳实践-在线离线混合 RDS LogService ECS Server RDS运营/开发 包年 EMR Spark Streaming Spark Mllib 按需 EMR Spark SQL/Mllib 展示系统 OSS 节约成本 业务场景： 需要统计小时以内的各种维度的UV数据， 从A页面进入B页面的数据。方便运营同学做更 好的营销方案。 另外，一些主题小组内的页面排序，希望 根据用户的浏览情况自动排序。
- 23. 最佳实践-Hadoop相关 ? 避免小文件，OSS存储文件大小大约为1-2G ? 每个task 60s，速度大约20-30MB/s ? 数据压缩 ? 减少存储空间 ? 减少成本 ? 减少数据传输时间 ? 降低磁盘IO ? hive on tez ? 尝试使用spark等新的计算引擎 压缩算法 压缩后空间 压缩速率 解压速率 GZIP 14% 20MB/s 118MB/s LZO 20% 140MB/s 410MB/s snappy 22% 170MB/s 409MB/s