业务连续性管理解决方案

1、业务连续性管理解决方案培训主讲人：安新亚部 门：IT基础架构解决方案部E-mail : 2009年8月单点/多点故障问题全局性业务中断怎么办呢？业务连续性管理体系业务连续性管理体系是指由于人为或者自然的原因，使信息系统突发大规模、全局性运营中断事件或者服务水平下降到不可接受的程度之后，仍有能力在可预期的时间段内，将信息系统和业务运营单元恢复至可接受程度的一种总体解决方案。业务连续性管理解决什么问题？美国911事件造成世贸大厦倒塌后，数百多家机构的信息系统被彻底破坏，相关业务无法继续运营，最后永久消失。同样位于世贸大厦25层的摩根-斯坦利公司全球营业部在第二天就恢复正常工作。BCM常用术语（1）

2、RTO（Recovery Time Objective）恢复时间目标目标业务系统从停顿状态到重新恢复至正常状态所需要的总时间RTO取值越小，表示业务连续性管理系统的业务恢复能力越强RTO也描述了重大中断事件发生之后，企业能够承当的业务运营中断时间BCM常用术语（2）RPO（ Recovery Point Objective ）恢复点目标目标业务系统发生运营中断后，系统中现存有效数据的时间戳距离业务中断时刻的时间差RPO取值越小，表示系统对数据完整性的保证能力越强RPO也描述了重大中断事件发生之后，企业能够承担的业务数据丢失量BCM常用术语（3）计划内停机是指由于操作系统系统、应用程序、中间件、

3、数据库的升级和维护，硬件设备扩容和保养，大批量补丁的安装，灾难演练以及设备搬迁等事件导致的有计划的、短时间内的业务运营中断。计划外停机是指由于区域性电力供应中断、大范围硬件设备故障、软件（固件）漏洞、计算机病毒、操作失误、人为破坏、恐怖活动、战争、自然灾害等突发性事件所导致的业务运营中断。 一个完整的业务连续性架构，通常是由本地生产中心以及一个或者多个远端备用中心所组成的完整系统。当本地生产中心发生全局性运营中断事件之后，备用中心能够按计划接管数据或者应用，从而实现支持业务连续运营。Teamsun业务连续性管理架构Teamsun业务连续性方案按照BCM对业务单元的保护程度 数据级 应用级 双活

4、级 按照BCM的抗风险半径 百公里范围内的DR系统（同城级） 千公里范围内的DR系统（异地级）我们的服务能力 Teamsun“容灾系统建设专业服务”能够按需为用户提供： 百公里范围内（同城DR） 数据级DR系统建设服务 应用级DR系统建设服务 千公里范围内（异地DR） 数据级DR系统建设服务 应用级DR系统建设服务 以及基于上述各项基本服务单元的组合服务Teamsun业务连续性方案基于weblogic和Tuxedo消息中间件技术、设计开发了“Teamsun业务连续性流程管理平台”。Teamsun业务连续性管理软件1. 流程控制中心和受控应用端2. 流程控制中心主要负责流程的 存储、启动、停止、

5、配置、查 询和管理等功能 3. 受控应用端程序则分别部署在 本地、远端两地的各台业务主 机之上。主要负责流程信息的 接收、读取、解释、执行和执 行结果反馈Teamsun业务连续性管理软件架构Teamsun业务连续性方案交付模式Teamsun业务连续性方案优势分析 和我们的下游厂家比，我们有天然的优势 BCM方案是一个超复杂的系统集成解决方案 1. 多厂商、多产品的集成和整合能力 2. 大型BCM软件的开发与定制能力 3. 周期长、投入大Teamsun业务连续性方案优势分析 和业界其他集成商比较，我们有绝对的优势 在金融行业、制造行业有设计和实施大型DR系统的成功经验 专业的DR系统设计与建设团

6、队 我们和国际大型咨询公司有合作渠道Teamsun业务连续性方案劣势我们的解决方案必须依赖于这些厂家的产品，这是我们的痛点，怎么办？Teamsun业务连续性方案交付过程 从业务单元和技术架构等多个维度确定DR建设的覆盖范围和总体目标。 分析业务和系统的运营现状，梳理业务流程以及业务单元之间的依赖关系。 识别业务和系统面临的主要风险，评估目标业务单元中断后导致的负面影 响程度。本服务内容的报价依据主要是人力和工具投入。咨询阶段Teamsun业务连续性方案交付过程 参考业务分析结果，确定RTO/RPO等关键性的DR架构设计指标。 以备用中心选址、备用中心业务部署、主备中心数据复制模式、两地网络 切

7、换、切换场景定义等内容为设计重点，制定出DR总体架构。本服务内容的报价依据主要是人力和工具投入。规划和设计阶段Teamsun业务连续性方案交付过程 按需选用合适的产品和技术，实现DR策略。 开发计划内切换（回切）流程、计划外切换（回切）流程，紧急情况下的应 急响应流程以及在DR框架下的主、备中心日常运维流程。 开发与部署DR流程管理软件（可选服务项）。 定义DR框架下的组织管理结构。本服务内容的报价依据主要是软、硬件投入以及人力投入。工程实施阶段 专业的DR系统设计和实施团队 设计和实施大型DR项目的成功经验 与客户及其应用系统提供商协同合作的能力 一级系统集成资质 多厂商、多产品的集成和整合

8、能力 大型软件的开发与定制能力Teamsun在业务连续性领域的独特优势市场分析数据来源：IDC中国业务连续性与灾难恢复市场2008年-2013年预测与分析 2008年中国容灾解决方案市场（软件及服务）规模已经达到亿美 元，比2007年增长了29.9%。 IDC还预测，未来几年内，中国容灾市场容量仍将保持不断增长态势。 从2008至2013年的复合增长率将会达到20.7%。需求背景分析 容灾系统建设服务具有较强的行业特性。 银行、保险、证券、电信等信息化程度较高的领域就是容灾服务市场的 最大需求方。 中国保监会2008年印发了保险业信息系统灾难恢复管理指引行业标 准，该标准明确要求保险机构信息系

9、统应统筹规划容灾系统。 随着信息安全技术信息系统灾难恢复规范等国家标准的颁布， 政府、交通、能源、制造、军工、科研等行业对容灾系统建设专业服务也 会逐步呈现出越来越大的需求。案例介绍 中国银联基于“两城三地”、跨越1200公里的应用级DR建设项目 长春一汽PDM系统厂区间应用级DR建设项目 中国人寿短险业务南、北中心DR规划、设计项目业务模式 中国银联是经中国人民银行批准的、由八十多家国内金融机构共同发起 而设立的股份制金融服务机构，主要负责向各大银行（入网机构）提供： 银行卡跨行支付业务 POS机交易业务 资金清分、清算业务 其他先进的电子化支付业务主要业务单元主要的业务处理流程业务运行参数

10、 关键业务指标 业务系统数据容量引入DR之前的总体架构（1） 中国银联生产中心部署在上海浦东金融开发区，主要承担日常全部的生产运营工作。主机: IBM p系列服务器网络: Cisco千兆以太网存储: Brocade 存储交换机 + IBM Shark ESS800 + HDS9980 存储安全:加密机（56所、30所）-操作系统:AIX数据库: DB2中间件: Tuxedo和WebLogic其他软件：C、Java、LDAP、 Brio等开发、报表等工具。 引入DR之前的总体架构（2） 主要工作 存储产品选型 异构存储整合 异构SAN存储交换机替换 同城同步数据级DR架构的设计与实现 异地异步应

11、用级DR架构的设计与实现 DR切换流程的设计与编写 DR流程管理软件的设计与部署 京、沪两地切换演练 运维阶段 项目实施周期 从2005年4月份开始-2008年1月完成第1次异地切换演练为止，项目历时近3年。 目前为止已经完成了5次切换演练，现在进入了全面的维护期。DR项目实施过程要点回顾（1） 存储性能POC IBM Shark 存储（16000笔/秒） EMC存储（17000笔/秒） Sun HDS存储（20000笔/秒）DR项目实施过程要点回顾（2）DR总体架构设计（1）1.采用了“两城三地”或者“两地三中心”的总体DR架构设计 生产中心部署在上海浦东金融开发区，在距离中国银联浦东生产中

12、心30公里之外的 中国电信IDC机房，设计部署了数据级备用中心。 在1200公里之外的北京中关村软件园设计部署了应用级备用中心。DR总体架构设计（2）2.采用“同城同步 + 异地异步”的数据复制模式实现两城三地业务数据的 一致性和完整性 上海浦东生产中心与浦西数据中心之间采用同步复制模式，两地数据完全相同， 无任何差异。 浦西数据中心与北京应用级备用中心之间采用异步复制模式，两地数据存在秒级差异。DR总体架构设计（3）3.北京备用中心的系统和应用处于启动/待命状态，可以按需随时对外提供服务 北京应用级备用中心运行数据一致性检查等日常流程DR总体架构设计（4）DR总体架构设计（5）4.采用web

13、logic和Tuxedo消息中间件技术、设计开发了“中国银联流程管理 平台”。上海生产中心的服务器约为60台 北京备用中心的服务器约为30台 两地存储容量配置基本相同 北京备用中心的峰值处理能力约为上海生产中心峰值处理能力的25% 上海中心共计200人左右 北京中心共计60人左右DR总体架构设计（6） RTO/RPO实际演练效果 计划内情况下，能够使中国银联核心转接业务在5-10分钟之内从上海生产中心切换到北京备用中心，并按需实现当日快速回切或者隔日回切，而且不会引起任何金融交易数据的丢失。DR总体架构设计（7）DR数据复制总体设计（1）复制数据分类设计（2）I类数据：LDAP目录服务类数据数

14、据特点：主要存放用户认证类数据，数据量小、数据变化量也比较小复制模式：采用LDAP软件本身的IP广域网数据同步功能实现上海、北京两地用户数据的 一致性和完整性复制数据分类设计（3）II类数据：交易类数据数据特点：是支撑业务运营的、OLTP类型的数据库，数据库总容量和变化量均较大 （与每秒交易笔数相关）复制模式：统一采用同城同步复制、异地异步数据复制的模式，来保证三地数据的 一致性和完整性复制数据分类设计（4）III类数据：安全、配置类数据库数据特点：支撑业务运营的参数类数据，数据库总容量和变化量均较小复制模式：统一采用同城同步复制、异地异步数据复制并结合严格的变更管理流程来保 证三地数据的一致

15、性和完整性复制数据分类设计（5）IV类数据：历史库数据数据特点：批量生成，数据量巨大，而且数据变化量巨大，采用传统的数据复制方 式，带宽及技术实现成本相当高复制模式：采用同城同步复制、异地流程生成的方式保证三地数据的一致性和完整性。历史数据库海量数据复制设计（6） 采用Veritas Storage Foundation VXVM 软件镜像技术，实现同城同步 数据复制。DR同城同步数据复制设计（1） VXVM 镜像技术的采用，使得来自服务器端的每次I/O操作，将会分别写入浦东、浦西两地存储，而且，只有每一次I/O操作都正常写入两地存储之后，才会发起下一次I/O操作，从而保证两地数据的一致性和完

16、整性。 高可靠性和高性能数据通道实现（1）DR同城同步数据复制设计（2） 服务器和存储均通过两条光纤链路分别连接到两台思科9500存储交换机。 任意一块主机HBA卡、任意一台存储交换机、任意一个光纤模块的故障，均不会导 致主机端与存储端之间的通讯中断。 服务器和存储之间的两条光纤链路之间采用了负载均衡（Load Balance） 机制，使得主机和存储之间的数据传输量得到了成倍的提高。 高可靠性和高性能数据通道实现（2）DR同城同步数据复制设计（3） 在浦东生产中心和浦西数据级备用中心之间，租用了中国电信长度分别为32公里和 57公里的裸光纤实现同城互连。 裸光纤两端采用DWDM密集波分复用设备

17、，在每条裸光纤上均配置了4条虚链路， 这4条数据通道之间也采用负载均衡设计，这样浦东、浦西两地中心之间就形成了8 条用于同城数据复制的通道，数据复制总带宽从而达到16GB/秒（实际数据复制量 40MB/s） 同时，两条物理链路之间也采用了高可用设计，使任何一条物理光纤中断都不会对 另外一条光纤上的4条数据链路产生影响。 高可靠性和高性能数据通道实现（3）DR同城同步数据复制设计（4） 在浦西数据级备用中心和北京应用级备用中心之间租用了两条40Mbps带宽的ATM 链路作为异步数据复制链路，链路两端的SAN FCIP 设备具有数据压缩功能，所 以每条ATM链路的实际带宽可以达到12MB/s 同时

18、，两条ATM链路之间也采用了高可用设计，使任何一条ATM链路的中断都不会 另外一条通道产生影响 性能影响函数P：P=f（L1,L2,Q,B）其中， P：对目标业务系统的性能影响程度 L1：远距离数据复制链路导致的时延L2：中间设备和协议转换导致的时延 Q：数据复制流量 B：代表数据复制链路带宽 光电信号在光纤中以光速传播速度，导致约为每公里5s的额外数据传输时延。同时每次写入操作需要往返两次，因此，实际时延为每公里20s。 采用基于冗余流量的性能优化技术，降低远距离同步数据复制对业务运营的 影响程度同城同步数据复制设计的难点（1）同城同步数据复制设计的难点（2）DR异地异步数据复制设计（1）

19、采用HDS Truecopy和shadowimage快照技术实现数据从浦西到北京的数 据复制以及相关的数据验证。模块1：一致性组卷对建立（create）模块，负责异地异步数据复制卷对的初始化模块2：一致性组卷对分离（split）模块，负责在必要时分离卷对模块3：一致性组卷对重新同步（resync）模块，负责在卷对分离或者异常中断后，重新发起数据同步模块4：反向数据复制（swap）模块，负责在必要时把备份中心的数据库恢复回生产中心模块5：一致性组卷对状态监控(monitor)模块，负责自动监控卷对的各种运行状态；当发生诸如物理链路中断等异常情况时，该模块能够通过获取卷对状态关键字的方法，及时捕获

20、到这种异常，同时向CCI控制台发出警告信息；而且，还能够根据需要，在物理链路恢复正常后，采取手动或者自动方式，重新恢复异地异步数据复制模块6：存储的CACHE SIDEFILE利用率监控模块；负责在异地异步数据复制过程中，自动监控CACHE SIDEFILE的利用率；当CACHE SIDEFILE利用率将要达到预定义的水位线时，能够及时向CCI控制台发出预警信号并采取主动分离异地异步数据复制等操作，以避免影响到主机端在线交易DR异地异步数据复制设计（2） 采用HDS Truecopy和shadowimage快照技术实现数据从浦西到北京的数 据复制以及相关的数据验证。模块7：一致性组卷对建立（c

21、reate）模块，负责快照卷对的初始化模块8：一致性组卷对分离（split）模块，负责在必要时分离快照卷对模块9：一致性组卷对重新同步（resync）模块，负责在卷对分离后重新发起数据同步模块10：反向数据复制（swap）模块，负责在必要时，利用快照进行快速的数据恢复DR切换类流程设计（1） 计划内切换、当日回切流程 计划内切换、隔日回切流程 计划外切换流程 计划外回切流程DR切换流程设计（1）计划内切换流程设计：1.在北京中心获取最新的快照数据-12.基于最新数据，启动北京备用中心应用3.将联机交易网络从上海中心切换至北京备用中心4.在北京中心进行联机交易5.启动从上海中心到北京中心的交易日志追补程序6.完成计划内切换DR切换流程设计（2）计划内回切流程设计：1.将联机交易网络从北京备用中心回切至上海中心2.重新恢复上海中心联机交易3.启动从北京中心到上海中心的交易数据追补程序4.完成计划内回切DR非切换类流程设计（2） 北京备用中心历史库数据每日生成流程 京、沪两地数据一致性验证流程 北京备用中心数据可用性验证流程 切换演练期间数据追补流程DR组织架构设计（1）DR指挥组定义演练总指挥：负责统一指挥和管理整个流程的演练和执行过程。演练副总指挥：辅助总指挥完成每次切换演练。应急决策组：在紧急情况下，迅速形成有效的应急处理方案。DR流程执行组 两地系统支持组：负责对两