狠狠撸

云
数据库备份恢复
平台实践
--王朝阳(royalwzy)

? 任职于海?通证券股份有限公司
? 云架构师 & 数据架构师(主要负责?金金融云和数据架构?方?面的?工作)
? Oracle ACE
? [DBAplus社群]联合发起?人、ACOUG成员、ITPUB版主、YEP成员
? 10g/11g OCM、MySQL OCP
? 兴趣爱好
? 专业?方?面: 云计算、容器?化、?网络(SDN)、DevOps、数据库
? 个?人?方?面: 家庭、旅?行行、篮球、极限运动
? 个?人主?页: http://www.royalwzy.com
个?人介绍

?目录
建设难点与应对
备份恢复云实践
?方案对?比与选择
云平台建设背景

?目录
1. 云平台建设背景

海?通证券—中国境内领先的综合性证券公司
2008-2016年年，总资产、
净资产、营业收?入均排名
?行行业前?二
2008–2012年年，
2014-2015，2017年年“全
国性综合类AA级证券公司”
AA
29年年稳健经营，不不断壮?大，中国境内?二?十世纪?八?十年年代成?立的证券公司
中唯?一?一家?至今未更更名、未接受政府注资且未被收购的?大型证券公司。
境内超过337家证券及期货
经纪营业?网点
境内外逾856万零售以及机
构和?高净值客户
传统业务稳步提升，创新
业务领军?行行业
逾5600亿总资产
逾1100亿净资产
逾2.2万亿托管资产
逾1.4万亿资管规模
2014年年，收购恒信?金金融租赁
2015年年，收购海?通银?行行和吉亚公司
完成H股定向增发
1988年年，注册成?立?
上海?海?通证券公司
2012年年，于?香港联交所上市
2010年年，收购?香港?大福证券
2007年年，于上交所上市
2005年年，收购?黄海?期货，托
管?甘肃证券和兴安证券
1000万注册资本
?自营交易易证券及期货经纪投资银?行行资产管理理境外业务直接投资融资租赁

海?通证券—全?方位资本市场业务覆盖
美洲
欧洲
亚太*
港澳
境内
?代理理交易易
? 股票
? 债券
? 基?金金
? 港股
? 期货
? 贵?金金属
? 期权
?融资融券
?投资咨询
?产物销售
? 基?金金
? 保险
? 私募
? 信托
?消费?支付
?互联?网证券
?股权融资
? IPO
? 再融资
?债券融资
? 可转债
? 公司债
? 公司债
? 中?小公司私募债
? ?金金融债
? ?非?金金融公司债务融
资?工具
?并购融资
?三板业务
?结构性融资
? 资产证券化
? 质押融资
?交易易?支持
? 传统通道
? ?大宗交易易
? 交易易执?行行
? 交易易撮合
? 程序化交易易
?融资类服务
? 融资融券
? 转融通
? 约定购回
? 质押回购
?研究服务
?主经纪商
? 引资
? 设?立
? 估值
? 托管
? 清算
?集合资产管理理
? 现?金金管理理
? 分级产物
? 量量化对冲
?定向资产管理理
? 通道业务
? QDII业务
?专项资产管理理
? 资产证券化
?公募基?金金管理理
??非公募资产管理理
? 年年?金金
? 专户
? 社保
?柜台市场产物
?另类资产管理理
?QFII/RQFII
?权益部?门
? 现货交易易
? 衍?生品交易易
? 结构化产物
?FICC部?门
? 现货交易易
? 衍?生品交易易
? 结构化产物
??风险管理理解决?方案
? 利利率互换
? 权益类收益互换
? 股指期货
? 国债期货
??风险投资
?Pre-IPO投资
?并购基?金金
?PE基?金金合作
? 合作设?立基?金金
? 基?金金管理理服务
?融资租赁
? 直接租赁
? 回租赁
? 委托租赁
? 经营性租赁
零售业务
机构业务
投资银?行行机构经纪
资产管理理
销售交易易
直接投资/
融资租赁
*亚太为除?大中华地区的亚洲及太平洋地区

海?通证券信息系统运?行行架构
东莞南?方中?心
上海??广东路路数据中?心
上海?外?高桥数据中?心
两地三中?心灾备
?广东浙江福建江苏北北京上海? 湖南湖北北四川...
服务全国300多个分?支机构，1000+万客户

外有监管，内有需求
外部监管
内部需求
根据《证券期货经营机构信息系统备份能?力力标准》要求，
提?高应?用系统的数据备份能?力力和抗?风险能?力力，确保重要数
据的安全和业务的连续性，实现系统异地灾备和本地快速
恢复，满?足备份能?力力的?行行业标准
外部监管
根据《海?通证券2016-2020年年科技发展规划》要求，建设
南?方中?心为异地备份中?心，从?而实现“两地三中?心”，并以
此为契机，改进当前数据备份中存在的问题，同时落实数
据保护和容灾机制
内部需求

海?通证券应?用系统备份能?力力标准
海?通证券应?用系统备份能?力力标准及灾备实施规范
等级数据备份能?力力故障应对能?力力灾难应对能?力力重?大灾难应对能?力力
第?一A级
1.按需备份
2.备份介质应当在本地机房安全可靠存放
3.每季度?至少对数据备份进?行行?一次有效性验证
- - -
第?一B级
1.按需备份
- - -
第?二级
1.按需备份
- - -
第三级
1.按需备份
1.信息系统恢复时间?目标RTO?小于1?小时
2.信息系统恢复点?目标RPO?小于5分钟
3.备份系统具有满?足业务需求的处理理能?力力
- -
第四级
1.按需备份
1.信息系统恢复时间?目标RTO?小于5分钟
2.信息系统恢复点?目标RPO?小于30秒
- -
第五A级
1.按需备份
1.实时信息系统恢复时间?目标RTO?小于30分钟?非实时
信息系统恢复时间?目标RTO?小于1?小时
-
2.信息系统恢复点?目标RPO?小于1?小时
第五B级
1.按需备份
1.实时信息系统恢复时间?目标RTO?小于5分钟?非实时信
息系统恢复时间?目标RTO?小于1?小时
-
第六级
1.按需备份
1.实时信息系统恢复时间?目标RTO?小于5分钟?非实时信
息系统恢复时间?目标RTO?小于1?小时
1.信息系统恢复时间?目标RTO?小于7天
2.信息系统恢复点?目标RPO?小于12?小时

Oracle数据库备份架构图
SAN?网络
存储存储
Quantum DXi6802
虚拟磁带库
容灾端DXi6802
虚拟磁带库
Quantum DXi6000
物理理磁带库
归档
远程复制
备份主机数据库服务器? 数据库服务器?
通过NBU备份软件把办公?网和交易易?网的数据都备份到
Quantum DXi6802
远端放置?一台DXi6702虚拟磁带库利利?用远程复制技术(OST)，
作为主机房DXi6802的同城异地灾备虚拟磁带库
再将DXi6802的数据归档?至i6000，形成?二级备份
3
1
2
交易易?网
办公?网

亟需解决的?几个问题
备份时间窗?口紧张2
如?风控系统周末全量量备份需要10?小时，每天的增量量备份需要3~4?小时；CRM系
统周末全量量备份需要12?小时，每天的增量量备份也需要4~5?小时；备份效率太低
从?而导致备份时间窗?口紧张
1
数据备份效率低、有效
空间不不?足
数据备份涉及的系统越来越多，特别是?风控和CRM等数据库系统的数据量量达均
到了了10TB以上级别，占备份资源的70%以上，导致备份可?用空间不不?足，只能
通过减少备份应?用系统数量量、缩短保存周期来缓解
?无法验证备份的有效性3
?风控和CRM等系统的数据量量太?大，备份没有恢复平台来验证，从?而?无法确认备
份数据的有效性，数据库可恢复性差，有数据丢失的?风险
恢复数据库周期?长4 恢复时间?长达1天，且?无法恢复到任意时间点，从?而?无法满?足业务需求
缺少异地备份和容灾
虽然备份可以异地存储，但是没数据库本身没有达到异地容灾和“两地三中
?心”的要求5

数据保护相关的调查问卷
数据来源:Oracle Database and Data Protection Survey Results
http://www.dbta.com/DBTA-Downloads/ResearchReports/Oracle-Database-and-Data-Protection-Survey-Results-4331.pdf
备份太慢时间太?长
备份需要持续管理理
备份影响?生产服务
协调备份窗?口太难
备份需要持续管理理
太多核?心业务备份
备份?工具使?用太难
数据增?长过快
总成本增加
软件和硬件成本
太复杂

数据保护策略略
依据应?用系统备份能?力力
等级划分为第四、第五
级的应?用系统以实时备
份数据和完整设备?支持
为总体构架
对于使?用结构化数据
DB2、ORACLE的集中交
易易、?风控等应?用系统，
利利?用数据库?厂商?自带的
复制功能或专?用的备份
产物确保备份?方案的成
熟、可靠、完整及快速
恢复
对于?非结构化数据或标
准化应?用的系统，通过
专业的备份软件和存储
相结合的?方法，最?大限
度去满?足和实现相应的
能?力力指标要求，同时兼
顾?方案的经济性、有效
性，实现资源和恢复环
境的共享
数据保护的?目标
-业务?目标：不不丢失关
键业务数据、不不影响系
统应?用
-技术?目标：保证数据
库层的可恢复性、集中
管理理所有系统

2. ?方案对?比与选择
?目录

Oracle最?大数据库可?用性架构(MAA)
版本重定义, 在线重定义, Data Guard, GoldenGate
– 最?小化停机时间的维护、升级、迁移
Active Data Guard
– 数据保护和容灾
– 读写分离
动态复制技术
RMAN, Oracle Secure Backup,
Zero Data Loss Recovery Appliance
– 将数据备份?至磁盘、磁带或云端
Enterprise Manager Cloud
Control
– 站点保护，协同站点故障转移
Application Continuity
– 应?用交易易的?高可?用性保护
Global Data Services
– 数据库服务的失败切换和负载均衡
RAC
– 可扩展性
– 服务器?的?高可?用性
ASM
– 本地磁盘保护
本地数据保护
Flashback
– ?人为错误纠正
GoldenGate
– 双活的容灾架构
– 异构的容灾服务

应?用系统第五A级架构图
RMAN备份
?风控系统 CRM系统
Active
DataGuard
?广
东
路路
机
房
存储
南
?方
中
?心
Active
DataGuard
外
?高
桥
机
房
备份异地存储
故障应对能?力力:RTO<30M，RPO<1M
重?大灾难应对能?力力：RTO<48H，RPO<1H

ZDLRA?工作原理理介绍
增量量推送
?通过数据库访问备份数据增量量
? 对系统的最?小化影响
? 类似于Active Data Guard，实时获取最
新事务，?立即保护最新事务数据
保护数据中?心的所有数据库
? 对所有主流版本的ORACLE数据库提供PB级
保护
? 不不需要消耗资源的备份引擎
受保护的数据库
增量量存储– ?大量量的数据库更更改
? 存储验证，在ZDLRA磁盘上压缩数据库更更改
? 对时间点的数据进?行行快速增量量存储
? 以Exadata的扩展性和弹性技术为基础
? Oracle EM对备份实现端对端的管理理和监控
ZDLRA
复制到远程ZDLRA
磁带库
?自动磁带归档
? 卸载磁带复制压?力力
? 全天利利?用磁带库资源

?方案对?比1：基于Data Guard技术保护数据库
RMAN
? 通过bit-copy的?方式，只备份上次备份后改变的数据块
? 如果发?生设备损坏，最后?一次备份以来所有的事务有数
据丢失的?风险
ZDLRA
? 基于Data Guard技术连续实时传送redo，从内存缓冲
区?立即传送每?一个新的事务
Delta Push

?方案对?比2：只做增量量备份
RMAN
? 每个周期内全备+增量量备份
? 备份需要持续管理理
? ?生产性能受到影响(IO & ?网络资源)
ZDLRA
? 不不再需要全备份：只做永久(Incremental-Forever)
增量量备份
? ?大幅度降低数据库 I/O & ?网络资源占?用
Delta Push
灾难恢复
Delta Store

?方案对?比3：虚拟全备技术
Delta Push
RMAN(Recovering Image Copies)
? 使?用增量量备份来恢复镜像拷?贝
? 不不需要每次都执?行行镜像拷?贝
? ?一旦恢复，?无法还原到之前的时间点
ZDLRA
? 基于指针呈现物理理全备份
? 节省10倍存储空间，保留留更更?长久的备份数据
? 快速恢复到任意时间点
Day 0?
Full
Day 1?
Incr
Day N?
Incr
Day ‘N’ Full Backup
Day N?
Incr
Day 1 Virtual Full
Day N Virtual Full
Day 1?
Incr
Day 0?
Full
增量量备份?文件
数据?文件
镜像拷?贝
RMAN> RECOVER COPY OF?
2> DATAFILE {n|'file_name'}
“Time Machine” for
database

?方案对?比3：虚拟全备技术

?方案对?比4：端到端的数据数据验证
RMAN
? ?无法进?行行端到端的验证
? 复杂的恢复过程
ZDLRA
? 端到端的确保备份数据的可靠性
? 复制和读取磁带备份数据副本时验证
? 备份数据在远程站点的ZDLRA接收、恢复过程中和周期
性验证
Delta Push
灾难恢复
磁带归档

RMAN+ADG vs ZDLRA
消除数据丢失
ZDLRA通过类似DG的技
术，实时保存数据库事务数
据，与增量量备份配合，降低
了了数据丢失的可能性
最?小化性能影响
”?一次全备，永久增量量”?方
式，保护数据库只传输变更更
部分，所有的备份和磁带处
理理操作下移。
备份的可?用性提升
ZDLRA则通过端到端的验
证，在各个阶段保证备份数
据保存完好，可?用于数据库
恢复
Cloud-Scale保护
使?用?高可扩展性服务，可以
轻?而易易举的保护数据中?心的
所有数据库
数据丢失程度
有可能丢失从上?一次成功备
份以来的所有数据
?日常备份窗?口影响系统性能
?高性能消耗会影响业务系统
正常运?行行
可恢复性?无法保证
很多?文件被复制出去，但是
是否可以保护数据库并不不能
验证
管理理性受到挑战
?面对?日益膨胀的业务系统，
只能部署更更多备份设备

3. 备份恢复云实践
?目录

独?立的备份?网络设计
本地数据中?心
ZDLRA备份?方案需要使?用IP?网络
建设万兆的独?立IP?网络，避免备份操作影响到办公?网和交易易?网
异地数据中?心
CRM和?风控数据库归档?日志为3TB/天，需要的?网络带宽为290Mbps
两地之间的?网络总带宽2.5Gbps，且R?支持压缩，不不会影响正常业务

海?通证券双备份中?心逻辑架构图
海?通证券双备份中?心逻辑架构图
南
?方
中
?心财务系统
Portal,开户等系统
本地磁带库
ZDLRA备份云
16Gb
FC
40Gb QDR Infiniband
增量量备份
快速恢复
快速恢复
10Gb Ethernet
增量量备份
ZDLRA备份云
备份双向复制
端到端的数据校验
Active
DataGuard
40Gb QDR Infiniband
增量量备份
快速恢复
EXADATA数据库云
快速恢复
10Gb Ethernet
统?一云监控平台
其它数据库
研发测试环境
数据库
?一
体
机
?小
型
机
X86服
务
器?
上
海?
中
?心
云端备份

备份恢复云平台实施后的收益
◆端到端的数据校验，保证数据库备份的有效性
◆ 为所有数据库备份、恢复提供图形化的监控、报表界?面
◆统?一并标准化数据中?心Oracle数据库备份?方式备份窗?口每天可节省6～8?小时
◆ ZDLRA基于?日志校验的备份技术，减少或消除数据损失?风险
◆ ZDLRA实时?日志传输技术，减少传统备份窗?口带来的数据损失?风险
◆ 实现?风控、CRM等应?用系统定级要求，满?足备份能?力力的?行行业标准
◆ 实现容灾指标RTO和RPO的要求，满?足审计和监管部?门的要求
◆独?立?网络设计，?高带宽、低延时，不不影响正常业务
◆ ZDLRA只备份增量量数据，减少服务器?90～95%的备份负载
◆ 数据平均去重率达10倍，?大幅减少存储的开销
◆ ZDLRA每天传输的数据只有传统全备份的5～10%，?大幅降低对?网络带宽的需求
降低运维成本
平台稳定可靠
降低备份TCO
符合监管要求

被保护数据库的备份作业状态

4. 建设难点与应对
?目录

遇到的?几个典型问题
两台X的的集群名?一样导致?无法注册
数据库系统?无法实现实施Redo复制
某数据库系统异机恢复失败

狠狠撸

海通证券数据库备份恢复云平台实践(OTN Tour Shanghai 2017)

Recommended

More Related Content

What's hot (20)

Similar to 海通证券数据库备份恢复云平台实践(OTN Tour Shanghai 2017) (20)

More from Zhaoyang Wang (20)

海通证券数据库备份恢复云平台实践(OTN Tour Shanghai 2017)