城市商业银行双活数据中心建设方案v1.0

1、 2014 VMware Inc. All rights reserved.银行双银行双活数据中心与灾备解决方案活数据中心与灾备解决方案Active-Active Datacenter and Disaster Recovery Solutions议程议程1项目背景2建设目标3总体解决方案4实施与运维2议程议程1项目背景2建设目标3总体解决方案4实施与运维3商业银行发展状况商业银行发展状况4银监会 http:/ 商业银行资产规模继续增长。截至2012年二季度末，总资产余额达99.3万亿元，与上年末同比增长20.4%。 2012年第二季度，各类商业银行中，资产余额增长最快的是农村商业银行（增幅是

2、50.4%，部分原因是农村商业银行数量增加），其次是城市商业银行（增幅31.5%）和股份制银行（增幅27.3%）。商业银行灾备中心建设总体趋势商业银行灾备中心建设总体趋势5单纯注重信息系统灾备纯粹的灾难恢复单一的存储复制技术传统的主备架构模拟演练建立满足金融业务发展需要，确保金融服务连续性的业务持续管理体系向兼顾开发、测试、统计分析等非交易类业务方向拓展向按业务系统的灾难恢复指标要求选择多种灾备技术转变向双中心互备、双中心高可用及多中心架构转变向真实演练转变灾备和业务连续性监管要求沿革灾备和业务连续性监管要求沿革6银监会银监会 2011.12 2011.12 商业银行业务连续性监管指引商业银行

3、业务连续性监管指引银监发银监发【20112011】 （104104号）号）2010.4 2010.4 商业银行数据中心监管指引商业银行数据中心监管指引银监发银监发【20102010】 （114114号）号） 2009.6 商业银行信息科技风险管理指引 2008.4 2008.4 银行业重要信息系统突发事件应急管理规范（试行）银行业重要信息系统突发事件应急管理规范（试行）（【20082008】5353号）号）2006.8 银行业金融机构信息系统风险管理指引【2006】(63号) 人民银行人民银行 2008.2 2008.2 银行业信息系统灾难恢复管理规范银行业信息系统灾难恢复管理规范（JR/T0

4、044-2008JR/T0044-2008） 2006.4 关于进一步加强银行业金融机构信息安全保障工作的指导意见 （【2006】123号文件） 国标委国标委 2007.6 信息系统灾难恢复规范 （GB/T 209882007） 国信办国信办 2005.4 重要信息系统灾难恢复指南2004.4 关于加强信息安全保障工作的意见银行业信息系统灾难恢复标准银行业信息系统灾难恢复标准7中国人民银行中国人民银行银行业信息系统灾难恢复管理规范银行业信息系统灾难恢复管理规范（JR/T0044-2008）：）：短时间中断对国家、外部机构和社会产生重大影响或影响单位关键业务功能并造成重大经济损失的系统：RTO（

5、恢复时间目标）6小时，RPO（恢复点目标）15分钟；短时间中断会影响单位部分关键业务功能并造成较大经济损失的系统：RTO24小时，RPO120分钟；短时间中断会影响单位非关键业务功能并造成较大一定经济损失的系统：RTO7天。GB/T 209882007信息系统灾难恢复规范信息系统灾难恢复规范SHARE78国际标准国际标准灾灾备备模模式式灾灾备备层层次次1级级基本级基本级。备份介质场外存，安全保管、定期验证Tier-0无异地备份数据冷备数据级Tier-1有数据备份，无备用系统2级级备份场地支持备份场地支持。网络和业务处理系统可在预定时间内调配到备份中心Tier-2有数据备份，有备用系统3级级电子

6、传输和部分设备支持电子传输和部分设备支持。灾备中心配备部分业务处理和网络设备，具备部分通讯链路Tier-3电子链接4级级电子传输和完整设备支持电子传输和完整设备支持。数据定时批量传送，网络/系统始终就绪。Tier-4使用快照技术拷贝数据暖备/热备应用级5级级实时数据传输及完整设备支持实时数据传输及完整设备支持。采用远程复制技术，实现数据实时复制，网络具备自动或集中切换能力，业务处理系统就绪或运行中。Tier-5交易的完整性6级级数据零丢失和远程集群支持数据零丢失和远程集群支持。数据实时备份，零丢失，系统/应用远程集群，可自动切换，用户同时接入主备中心Tier-6少量或无数据丢失双活业务级商业银

7、行灾备设计目标商业银行灾备设计目标 议程议程1项目背景2建设目标3方案总体架构4子系统方案设计5实施与运维9业务连续性业务连续性(信息系统信息系统)建设体系架构建设体系架构10业务应用管理实践支撑系统系统软件硬件基础设施战略规划层，对业务进行评估，划定连续性级别对应用的逻辑关系进行梳理，确定应用的可用性指标流程的定义，配置变更与事件管理管理，安全，基础架构服务等配套系统虚拟化，操作系统，网络协议，存储服务服务器，存储设备，网络设备与链路建筑，环境，供电11确定业务的可用性需求确定业务的可用性需求RPO损失的数据量丢失数据成本宕机成本二级应用三级应用数据可用性成本系统可用性成本一级应用恢复业务所

8、需时间RTO0时间轴成本轴12解决方案Active-Active DCVM ReplicationRecovery ManagerVM ReplicationData ProtectionSLARPO5MinsRTO2HoursRPO15 MinsRTO4 HoursRPO30 MinsRTO4 Hours应用场景BC,DA,DRDA,DRDA,DR(Manually)需求条件Layer 2 Network, RTT250M，RTT100ms.可通过NSX或传统大二层网络技术实现采用存储虚拟化技术提供数据同步服务(RTT5ms)存储支持FC, iSCSI, NFS等类型如EMC VPLEX,

9、NetApp MetroCluster, HP LeftHand, IBM SVC利用VSAN实现存储的跨数据中心镜像(未发布)第三站点提供仲裁服务VMware相关产品与服务vSphere Ent+NSX网络虚拟化专业服务跨数据中心集群跨数据中心集群vCenter 1仲裁站点仲裁站点C控制器控制器双活数据中心存储解决方案的选择双活数据中心存储解决方案的选择传统虚拟化存储-镜像技术两个数据中心采用相同硬件配置，数据同步双写如EMC VPLEX, NetApp MetroCluster, HP LeftHand, IBM SVC等采用新型软件定义存储解决方案VVOL可实现存储资源的统一调度与管理V

10、SAN可极大简化存储管理，实现全面自动化LUNLUNdisk groupdisk groupdisk groupVSAN networkVSAN networkVSAN networkvsanDatastoredisk groupdisk groupVSAN networkscale upscale out城域集群对存储的要求城域集群对存储的要求ESXi管理网络支持RTT10ms同步存储复制RTT5ms存储厂商可能有不同要求兼容性指南“iSCSI Metro Cluster Storage”“FC Metro Cluster Storage”“NFS Metro Cluster Storage

11、” 24vMSC认证的存储设备城域集群中的传统存储解决方案城域集群中的传统存储解决方案25SiteASiteBDark Fiber=200 kmAggr X Plex0Aggr Y Plex1Aggr Y Plex0DWDMDWDMAggr X Plex1vSphere Metro Storage Cluster工作原理工作原理vSphere HA ClusterStretched across campus or metro areavMSC Certified StorageMetro ClusterPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1APPOS

12、APPOSAPPOSAPPOSAPPOSAPPOSArray basedsynchronousreplicationPlex0Plex0vSphere Metro Storage Cluster工作原理工作原理Standard vMotion of Virtual MachinesvMotionvMSC Certified StorageMetro ClusterPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSArray basedsynchronousreplicationPlex0vSphere H

13、A ClusterPlex0vSphere Metro Storage Cluster工作原理工作原理vSphere HA ClusterStorage takeovervMSC Certified StorageMetro ClusterPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1Plex0Plex0Plex0APPOSAPPOSAPPOSAPPOSAPPOSAPPOSSite shutdownfor maintenancevSphere Metro Storage Cluster工作原

14、理工作原理vSphere HA ClustervMSC Certified StorageMetro ClusterPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex0Plex0APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1Plex0AutomaticresyncMaintenance performed, site restoredvSphere Metro Storage Cluster工作原理工作原理vSphere HA ClustervMSC Certified S

15、torageNetApp MetroClusterPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex0Plex0APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1Plex0Standard vMotionto return VMsAccess returned选择正确的数据保护方案选择正确的数据保护方案31基于阵列的复制vSphere复制技术vSphere数据保护可实现零数据丢失存储合作伙伴解决方案RPO同步分钟小时天RPO 从15分钟到24小时基于虚拟机层，虚拟机级别RPO

16、最小1天备份数据复制可实现自动化灾难恢复自动的灾难恢复流程控制自动的灾难恢复流程控制32vSpherevCenter ServerSite RecoveryManagervCenter ServerSite RecoveryManagervSphere生产站点生产站点灾难恢复站点灾难恢复站点ServersServersArray-basedreplicationvSphereReplication解决方案描述解决方案描述要实现自动化的应用级灾难恢复，需要使用Site Recovery Manager一类的灾难恢复管理工具。主要特色为数千台虚拟机制定恢复计划不影响生产的灾难恢复测试自动化的灾难恢

17、复流程主要收益主要收益降低超过50%的灾难恢复管理开销消除手工操作的复杂性和风险实现快速、高度可预测的RTO为应用提供策略驱动的灾难恢复控制灾备中心建设灾备中心建设访问优化访问优化OTVOTV主中心同城灾备中心Storage ExtensionsLAN Extensions数据中心互连数据中心互连VN-link notificationsOTVOTV新一代同城灾备中心建设内容新一代同城灾备中心建设内容异地异地(同城同城)灾备解决方案灾备解决方案34场景描述在不限距离的两个数据中心之间构建备份关系，通过备份或复制技术实现数据保护，并借助于自动化工具实现灾难恢复计划的制定、验证和切换。方案特点跨地

18、域的业务连续性保护，包括应用迁移，灾难避免和灾难恢复等有效保障数据一致性及服务可用性，可实现较好的RPO和RTO可制定灵活且详细的灾难恢复计划与演练计划不影响生产的灾难恢复测试自动化的演练、切换与回切一对一或多对一的站点映射异地灾备异地灾备异地异地(同城同城)灾备解决方案灾备解决方案35需求条件通过二层或三层IP网络连接两个数据中心采用基于vSphere或阵列的复制技术vSphere内置复制功能免费，RPO=15分钟-24小时，文件级一致性，虚拟机级别颗粒度支持异构存储，vCenter直接管理阵列复制功能由合作伙伴提供，需额外购买支持同步或异步复制，应用级一致性，LUN级别颗粒度VMware相

19、关产品与服务vSphere Ent+vCenter Site Recovery ManagerVSAN专业服务vSpherevCenter ServerSite RecoveryManager生产站点生产站点服务器阵列复制vSphere复制vSpherevCenter ServerSite RecoveryManager灾备站点灾备站点服务器异地异地(同城同城)灾备解决方灾备解决方案案多种映射关系多种映射关系36Site C DatacenterSite C VCCluster(s)SRMSRMSite B DatacenterSite B VCCluster(s)SRMSRMSite A D

20、atacenterSite A VCCluster(s)SRMSRMSite B DatacenterROBO 1ROBO 2ROBO “N”Site B VCRemote SiteMgmt. VCCluster(s)SRMSRMSRMSite A DatacenterSite A VCCluster(s)SRM两地三中心解决方案两地三中心解决方案双活与灾备的完美集成双活与灾备的完美集成37场景描述适用于对业务连续性要求较高的应用，通过集成同城双活与异地灾备两种解决方案，既能实现数据零丢失和故障自动切换,又能抵御局部灾难的发生。方案特点同城两个站点之间的高可用提供数据零丢失的第一层保护异地数据

21、中心之间的灾备功能实现第二层保护软件定义的网络与存储可提供最大灵活性两地三中心两地三中心同城中心同城中心A异地中心同城中心同城中心B同城高可靠双中心应能够支持关键应用的灵活切换。异地容灾中心作为主数据中心及同城中心的暖备份中心。对于关键应用，同城中心应该没有任何性能降低，异地容灾中心的性能降低率不能超过20%。商业银行灾备模式商业银行灾备模式两地三两地三中心中心ApplicationApplicationApplicationApplicationApplication数据中心 2ApplicationApplicationApplicationApplicationApplicationAp

22、plicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationAppli

23、cationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicat

24、ionApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplication数据中心 12:46 p.m.45英里以外的海域发生地震2:57 p.m.IT 部门紧急反应3:55 p.m.海啸来袭！2:49 p.m.发布海啸警报39异地业务级容灾示例议程议程1项目背景2建设目标3总体方案架构4实施与运维40虚拟化平台实施方法论虚拟化平台实施

25、方法论Text1Text2Text3Text4Text5Text62.业务影响分析1.当前环境分析3.容灾方案设计4.容灾实施5.灾难恢复计划设计6.灾难恢复计划演练VVDR银行容灾建设工作内容银行容灾建设工作内容42需求设计实施演练系统关联分析确定各系统耦合关系及切换系统范围容灾切换需求明确XX银行容灾建设指标与业务部门沟通明确切换建设应用范围总体设计涵盖应用分析技术架构/网络/导航/管理设计关键技术验证识别关键技术点组织关键技术测试详细设计细化切换设计方案确定系统配置参数双中心虚拟化容灾实施根据改造方案完成虚拟化平台容灾初始化，根据详细设计，完成有关软件安装实施中心切换演练验证实施效果演练

26、方案描述演练内容方式应急预案出现意外情况时的应急指导演练剧本指导演练整体流程操作手册技术步骤操作指导应用系统调研收集整理IT系统现状切换预案确定切换场景，明确人员、组织、流程工作内容说明工作内容说明阶段阶段工作内容工作内容工作项工作项需求1.当前环境分析业务现状分析IT现状及关联高可用及备份现状当前恢复能力分析2.业务影响分析应用系统关联分析主要应用系统分析灾备建设策略灾备建设的范围及指标灾备场景应对策略灾备恢复切换策略及切换单元建议设计与实施3.容灾方案设计需求分析NFR: 有效性 可靠性 可管理性 安全性 可恢复性FR 容灾 基础设施 网络 存储 应用恢复架构概览架构逻辑设计架构物理设计

27、vCenter逻辑设计 SRM设计 SRM数据库设计 网络设计 存储设计 公有服务设计 占位虚拟机设计 命名规范设计 资源映射关系设计（资源、文件件、网络、保护组）DRP设计（启动顺序、测试网络、测试场景）工作内容说明工作内容说明(续续)阶段阶段工作内容工作内容工作项工作项4.容灾实施现有架构优化网络实施存储实施虚拟化实施SRM实施容灾验证演练5.灾难恢复计划设计切换范围切换方式参与单位组织架构及职责切换实施方案（环境准备-切换流程-业务验证-回切）切换计划切换风险分析及应急措施6.灾难恢复计划演练灾难恢复演练范围定义灾难恢复演练角色定义灾难恢复演练流程灾难恢复演练指挥灾难恢复演练操作指挥灾难

28、恢复演练功能验证演练后环境恢复流程演练后环境恢复指挥演练后环境恢复操作指挥演练总结风险分析及控制风险分析及控制示例：异地机房银行主机房结合建转运(Day 1)及日常运维(Day 2)虚拟化管理和监控规划建议规划方案规划方案规划依据多中心统一管理围绕资源服务生命周期进行管理分为云自动化管理、云运维管理、云资源管理三个部分设计特点集成平台，作为统一用户入口结合了虚拟化资源的申请、发布、上线、下线及日常管理所涉及的Day 1及Day 2操作设计优势多中心借助统一门户实现资源分配、调度、监控等管理开放平台，可以集成周边系统容量管理，预知业务对资源的需求虚拟资源统一监控架构图架构图在没有得到双方确认前，