狠狠撸

大数据,大机遇
陶波博士
EMC中国研发中心首席技术官


要实现阶段性变革、革命性变
革，需要时机、技术、人才…的
独特融合，以及对我们行业进行
重大变革的运气。这种事情不会
常常发生。

Steve Jobs，1995 年


大数据是一场革命性变革
个人计算机互联网大数据


!!! !!!
“大数据无关乎大小，
而关乎自由度”
!!!
— Techcrunch 这是 !!!

大数据
“发现：‘大数据’比卷
!!! 更卓绝”
“大数据！它真实
存在，实时提供，
时代...
— Gartner
并且正在改变您的
“总数据：比大数世界”
据更‘大’” — IDB
!!!
!!! — 451 Group !!!

EMC 大数据“堆栈”
4 协作执行
EMC Documentum xCP
？

3 实时分析
EMC Greenplum + Hadoop + Chorus

2 结构化与
非结构化

1 PB 规模存储
EMC Isilon + Atmos


大数据正在改变公司存储

EB
大数
据源

基于文件：年复合增长率 60.7% 基于数据块：年复合增长率 21.8%
至 2012 年，销售的总存储容量的 80% 将用于基于文件的数据
来源：IDC


大数据要求：
容量和性能具有极大的可扩
展性。


纵向扩展的体系结构不适合大数据
服务器

可扩展性
性能
网络

管理
可用性
成本
存储


体系结构转变 — 为大数据横向扩展
服务器

可扩展性
性能
网络

管理
可用性
成本
存储


Isilon：横向扩展 NAS 创新
巨大的可扩展性
单个文件系统中超过 15 PB
无可比拟的性能
高达 85 GB/s 的吞吐量和高于 1.2M 的 IOPS
应用程序与工作流整合
业界领先的可靠性和自我修复能力应用程序

性能
管理简便

可扩展性


核心创新...为客户提供价值
Isilon 的 OneFS 横向扩展操作系统

单一文件系统，单卷...高达 15 PB 以上
原始存储利用率超过 80%
最高的性能，完全对称的群集
易于管理和扩展
多层单一文件系统/单群集
跨所有产物的单个统一平台


File Striping: Writing a File


Isilon 解决方案适用于...

公司 IT 扩展工作公司共享基础架构高性能计算
行业解决方案
流

? 大规模主目录 ? 私有云 ? 媒体和娱乐 ? 定量财务
? 大规模文件归档 ? 第 3 层服务器虚拟化 ? 生命科学 ? 地震处理
? 灾难恢复与业务连续性 ? 存储整合 ? Internet 与 Web 2.0 ? 研究与分析
? EDA 与软件开发 ? 生命信息学


技术的聚合使大树据分析成为现实

聚合
Web （亦即“云”）

网络
创新

X86
虚拟化

存储

时间


我们还需要什么？


我们需要...

数据科学家
创新
社区
和完整的大数据分析堆栈


EMC HADOOP
非结构化。
实时。
公司就绪。


Greenplum HD 产物系列
? Greenplum HD 社区版：
– 经认证的满堆栈，100% 开源
– 虚拟机装置
– 所有核心功能开发反过来又有助于 Apache Hadoop
? Greenplum HD 公司版：
– 与众不同、混合分布、具有高级功能
– 集成、经测试、加固型
– 与 Hadoop、HBase、HDFS API 百分百兼容
? Greenplum HD Data Computing Appliance：
– 优化装置配置
– 消除复杂性，简化部署和管理
– 与 Greenplum Database 无缝集成


Greenplum HD 技术创新

可插拔 I/O 实时处理容错

? Isilon OneFS ? 低延迟读/写操作 ? 消除名称节点的单点
? 实时数据交互和分析故障
? Atmos
处理 ? 作业跟踪器及其他关
? Cassandra 键组件
? 与 Cassandra 和
? MapR MapR 集成
? 提高效率和性能


GREENPLUM HD
DATA
COMPUTING
APPLIANCE 与
Greenplum Database
Apache Hadoop 强强联合


Greenplum Chorus: 首创公司数据云平台
? 主要功能
– 自我服务式生成数据库
– 数据服务
– 合作分析
? Chorus 部署在VMware云计算平台和
Greenplum数据库上
? Chorus极大地加速从数据中提取信息的过
程


自我服务可以快速开始一个新的项目
自我服务可以快速开始一个新的项目
o 生成数据库服务器 , 单节点或多节点
o 生成数据库服务器 , 单节点或多节点
o 生成沙盒用于分析.
o 生成沙盒用于分析.
o 方便地导入数据.
o 方便地导入数据.


创建合作环境对大数据做深度分析
创建合作环境对大数据做深度分析
o 创立项目工作空间共享文档，数据和工作流程.
o 创立项目工作空间共享文档，数据和工作流程.
o 在沙盒中实施工作流程和管理相关变更.
o 在沙盒中实施工作流程和管理相关变更.
o 控制数据的权限.
o 控制数据的权限.
o 从in-database analytics functions中导入函数
o 从in-database analytics functions中导入函数


EDC 成功实例： T-Mobile

Enterprise Data Cloud

100 TB EDW
1 Petabyte EDC
Customer Challenges EDC: Greenplum Database + Chorus
– 100TB Teradata EDW focused on operational – Extracted data from EDW and others source systems
reporting and financial consolidation to quickly assemble new analytic mart
– EDW is single source of truth, under heavy – Generated a social graph from call detail records and
subscriber data
governance and control
– Within 2 weeks uncovered behavior where
– Unable to support all of the critical initiatives around “connected” subscribers where 7X more likely to
data surrounding the business churn than average user
– Customer loyalty and churn the #1 business initiative – Deployed1PB production EDC with GP to power their
analytic initiatives
from the CEO on down


构建完整的大数据分析堆栈

分析工具集
（业务分析、BI、统计等）

Greenplum Chorus
针对数据的公司协作平台

Greenplum Data Computing Appliance
专用于大数据分析

Greenplum Database Greenplum HD
公司版与社区版 Hadoop 公司版与社区版
世界上可扩展性最强的 MPP 数据库平台针对非结构化数据的公司分析平台


表彰大数据创新者
www.DataHeroAwards.com


“数据英雄奖”得主
Silver Spring Networks — 能源类


“数据英雄奖”得主
Vivek Kundra，美国首席信息官 — 远见奖


大数据 = 大机遇


了解详实EMC?Greenplum?数据计算应用
装置 (DCA)?的实际性能和功能：

请访问 www.bigdatafw.com下载ESG 白皮书，

?ESG实验室验证报告
‐EMC?Greenplum?数据计算应用装置 ?


谢谢大家


狠狠撸

Big Data World Forum

Recommended

More Related Content

What's hot (20)

Similar to Big Data World Forum (20)

Big Data World Forum