狠狠撸

淘宝海量数据产物技术

数据产物赵昆

11年11月26日星期六

WHO ?AM ?I

? 赵昆 ?(淘宝花名：空无)
? 淘宝网 ?- ?数据平台与产物部 ?- ?数据产物
? 热爱技术、热爱数据、热爱生活
? 果粉、G粉
? 微博：

@此处空无?一人


误区

? 淘宝是一家电子商务公司
? 数据越多越值钱
? 海量只是数据量更大
? 云计算只是一个概念


传统海量数据产物误区

? 只关注分析处理性能，不关注数据查询性能
? 大型商业产物更好
? Oracle/GreenPlum可以解决大多数问题
? IBM/EMC
? 开源产物更好
? Hadoop可以解决一切问题
? Hadoop成本更低
? 数据展现不重要


大纲

? 大数据在淘宝的挑战
? 分布式存储计算
? 实时计算
? 实时流处理
? 数据可视化
? 数据产物实践


大数据在淘宝的挑战


淘宝规模

PV 20亿
商品数 8亿+
用户数 4.4亿
品牌数 8万+
SPU 334万
每分钟销售商品
件数 4.8万件
高峰日成交金额 52亿元


淘宝数据特点

? 数据量大
? 内容多样
? 日志型数据
? 文本数据
? 关系型数据
? 维度丰富
? 涵盖近100个不同行业的商品维度，五级商品类目体系
? 近80000个品牌
? 商品维度+卖家维度+买家维度
? 源数据质量不高
? 非法交易
? 恶意评价
? 用于自定义属性


挑战

? 20PB ?总量
? 900TB ?每天计算扫描数据量
? 月增1.5P
? 日增0.06P
? 高峰处理数据量：30G/s
? ...


挑战

? 数据的商业模式不清楚，缺乏足够的业务支撑
? 海量数据处理的基础技术需要大量的研发投入
? 数据安全机制非常复杂，还要兼顾效率
? 开放的同时，需要防止数据被恶意爬取
? 基础设施的建设周期较长，可能赶不上业务的变化
? 数据自身变化演进，数据更新非常困难


传统的数据平台

展现 API

高性能
DB

数据同步大容量离线计算
存储


有没有完美的数据平台？


我心中的完美

展现 API

实时计算

实时传输高速访
问存储

存储


? ? ?业务系统淘宝数据应用

Open ?Hosting 数据工场
TOP ?API

Open ?DB Open ?DB
数据API 服务API

数据同步
在线计算
TOP ?API

实时
离线计算
处理

在线存储数据挖掘

数据写入API

底层存储
安全过滤层

缓冲区存储淘宝DB
实时同步


分布式存储计算


分布式存储计算

? M/R： ?
? 文本数据
? 数据挖掘
RPT RPT

? 复杂计算
? HQL： ?
?
Automa'c
中间层建设
Hive Code

? 维度转换 Framework
?

? 指标加工

M/R


使用状况

? 分布式存储和计算
? 1800+ ?Hadoop集群
? 24G+2T*12T
? 离线 ? ? ? ?
?
7:00 ?前必须处理完昨日增量计算
?
（目前每天3半点前处理完成）
? 在线
?
实时的交易跟踪，秒级别的延迟
?
实时千万级交易维度交叉计算
? 分布式数据挖掘
? 30个节点的Mahout集群
? 淘宝母婴频道推荐月底上线


? 多维数据立方体构造 ?
? 满足业务对数据分析灵活性要求
? 压缩数据处理中间过程
? 减少表间关联

? 计算时对维度抽象转换：
? 一次过程进行多粒度进行指标汇总
? 支持用户自定义


Myfox ?- ?分布式Mysql集群

? 基于Mysql ?Myisam存储引擎
? 海量数据分布式存储、非实时写入
? 提供全镜像、路由字段、记录条数、组合等数据分片规则
? 32个节点


Myfox ?- ?分布式Mysq集群

路由信息库
M

MyFOX（虚拟机）
S

热节点（MySQL）冷节点（MySQL）

15k SAS硬盘，300G * 12，8节点 7.2k SATA硬盘，1T * 12，8节点
MySQL

MySQL

MySQL

MySQL

MySQL
= = =
14


Myfox ?- ?数据查询

路 APC SQL解析
由
层缓存语义理解

查询路由字段改写

分片SQL 计算规则

查
询缓存取分片数据
层

计
算结果合并
层


挑战

? 淘宝涵盖100个行业的商品
? 属性值的条数2000W

如何获取任意多个商品属性值组
合产生的交易 ?？


实时计算


Prom

? T级数据量（7天总量hbase）
? 千万级记录实时计算分析
? 以byte[]方式存储于hbase


ClientApp

SharesMerge

Shard1 Shard2

Cache Calc

DataFetch Index

DataStorage IndexStorage

Glider

? 高性能异构数据中间层
? 统一restful数据输出接口
? 使用SQL ?Like作为配置语法
? 整合多种数据源，不同数据源之间数据可以进行SQL关联操作
? Myfox/iSearch/Prom/Andes/Mysql/Hbase/TOP ?API
? 简单的数据二次加工
? 内置二级缓存
? 单虚拟机 ?8000qps ?(4CPU/7G内存)
? 请求分优先级


挑战

? 如何获取店铺实时数据？ ?
? 不能直接主库上计算啊，主库表示压力很大。


实时流处理


银河 ?- ?实时流处理平台

? 基于Actor模型的分布式流数据实时处理和计算框架
? 底层基于开源软件AKKA实现
? 消息既数据
? 客户端3台(1.5万/s)，Hbase ?5台
? 日处理3亿数据量

前端应用
数据源实时流
实时流处理
计算
实时计算系统
数据缓存

数据反馈


银河 ?- ?技术框架

Other&PNs ZK
&

&
Data API Control & Management API
Data
Configurati
Event Status Stage ZK
PN on
Dispatche Monitor Manager
& Manager
r & Config file
Stage Container DB
&

AKKA


银河 ?- ?数据流


应用

? 实时行业总体数据
? 分类目实时商品成交排行
? 实时店铺汇总数据
? 实时店铺浏览、交易明细
? 实时用户成交排行


数据可视化


数据可视化

? 为什么要研究数据可视化？

数据大爆炸

、难懂
数据太枯燥数据
关系
太复
杂

数据背后隐藏什么?


浪淘金

? 社会化电子商务数据可视化分析工具
? 淘宝数据平台与新浪微博合作项目


可视化应用开发流程


总结

展现 API

实时计算

实时传输高速访
问存储

存储


数据产物实践


数据魔方
data.taobao.com


挑战

? 数据量巨大
? 商品更新
? 类目变化频繁
? 大单、走账
? 作弊、刷信用
? 数据安全
? 马太效应


数据魔方

? 淘宝第一个基于全量数据的数据产物
? 底层基于云计算
? 第一个成熟的、基于海量数据的商业数据产物
? 明年计划开放数据给第三方应用


数据魔方 ?- ?数据模型


淘宝数据产物架构
Cubex
? Index
? Mytaobao
? LisLng
?

Glider
? API
?

Myfox
? Prom
? Andes
? SearchEngine
? 3rd
?

KVProxy
?
MySQL
? TC
? Redis
? HBase
?

Cloud
?
47


维度和指标

维度指标

基本维度买家维度卖家维度交易指标成交店铺行为指标规模指标

时间年龄地区 GMV成交 Alipay成交搜索人数上架店铺

金额金额搜索次数上架商品
类目性别卖家信用

笔数笔数浏览人数活跃店铺
品牌地区卖家类型

人数人数浏览次数活跃商品
产物买家信用促销方式
商品数商品数收藏人数
属性购买频次
收藏次数

价格区间


淘宝指数

? 淘宝下一个重要的数据产物
? 完全免费
? 2011正式发布
? 流行趋势、消费者研究


其他数据产物

? 淘宝魔镜
? TCIF
? 母婴推荐
? 淘宝情报
? 卖家经营报告
? 商品评论分析系统
? 淘宝数据门户 ?*
? LabsEngine ?*


未来

? 开放
? 数据开放
? 平台开放
? 系统开源

? 实时 ?
? 实时计算
? 流处理


Thanks

微博: ?@此处空无一人

kongwu@taobao.com


狠狠撸

09 赵昆

Recommended

More Related Content

Viewers also liked (20)

Similar to 09 赵昆 (20)

More from 锐张 (17)

09 赵昆

狠狠撸

09 赵昆

Recommended

More Related Content

Viewers also liked (20)

Similar to 09 赵昆 (20)

More from 锐 张 (17)

09 赵昆

More from 锐张 (17)