新大陆BOSS容灾经验交流.ppt

1、,BOSS系统容灾建设经验交流 无锡，江苏,关键业务识别和 容灾目标分析,系统设计和预算,测试和演习,容灾规划的维护,今日提要,一、BOSS系统容灾技术分析 二、新大陆BOSS容灾管理系统 三、BOSS容灾系统持续性建设思路,第一部分 BOSS容灾技术分析,容灾设计关键点,数据复制 灾难恢复流程设计,数据复制技术分析,RTO、RPO目标要求 业务模式复杂度考虑 IO吞吐量情况 管理复杂度考虑 技术分险考虑,10公里技术分析 百公里以上技术分析,重要的 BC/DR 指标,Recovery Time Objective (RTO) 可接受的最长的,由灾难发生到业务恢复所经历的时间. RTO 包括两

2、部分 明确灾难的时间 执行灾难恢复流程所消耗的时间 Recovery Point Objective (RPO) 为恢复业务正常运行,可接受的最远的业务数据恢复点.,业务模式复杂度考虑,对应用透,明的方案,与应用相,关的方案,磁盘卷管理器,复制,TP Monitors,应用日志队列,适用于复杂OLTP系统,适用于批量数据处理系统,技术风险 实施周期 可靠性,数据库技术,存储系统,应用软件,业务模式复杂度考虑,业务实时度 是否直接面对用户的实时响应 业务复杂度 是否只是简单数据转换或数据查询,业务模式杂度考虑,实时复杂系统,实时简单系统,非实时复杂系统,非实时简单系统,营业帐务系统,简单查询系统

3、,计费、结算、统计分析系统,重点考虑采用系统手段实现数据容灾,IO吞吐量情况,图例：营业帐务存储系统的写磁盘I/O情况,18：20分写IO尖峰值 9136 iops,15：20分写IO尖峰值 7422 iops,管理复杂度和技术风险考虑,后备数据库技术,基于数据库技术的产品软件（SharePlex）,距离影响,一个I/O通过远程链路写到异地系统，涉及到4个技术参数： 带宽 距离 协议转换的时延 数据写入存储阵列所需时间,10公里条件下：同步数据复制/异步数据复制 百公里条件下：异步数据复制/同步异步结合的多跳方案,第二部分 新大陆BOSS容灾管理系统,容灾管理软件设计考量 操作性功能 维护支持

4、性功能 容灾切换演习和系统维护,对容灾管理软件而言，最关键功能是什么？,能够在灾难发生时，通过对管理软件的操作，顺利完成系统切换。,容灾管理软件功能介绍-切换导航,一、人性化的切换导航 系统支持多个角色共同操作完成（1个总负责人、多个操作人员）。 各类角色可以根据提示一步步操作 可以配置各步骤的依赖关系，实现操作人员的互相协作 切换进程可视化，各个参与角色都能看到切换到什么地步。 最大化自动化操作，对系统状况的检测（主机、数据库、网络）、应用软件的启动/停止、中间件的启动/停止，都通过操作界面来驱动相应的接口引擎来执行。 管理外部接口的联系人方式管理,为了能够在关键时刻进行切换，除了切换导航，

5、还要容灾管理软件做什么？,支持经常性、多层次的演练功能。 支持操作人员培训和学习、知识库的累积。 对生产软件进行管理，确保灾备中心和生产中心的软件版本相同。,容灾管理软件功能介绍(续1),切换导航 切换演习 模拟演示（自动演示、手工演示）,切换导航： 用于灾难发生时实际切换。 少了应用停止过程，比切换演习简单,切换演习： 按照 DRP要求做练习 和切换导航相比，多了应用停止过程 会对系统产生实际的影响,模拟演示： 分成自动演示和手工演示 自动演示是把切换演习的过程录制下来 手工演习过程和切换演习完全相同， 对系统不会产生实际影响。,容灾管理软件功能结构,二、容灾切换演习和系统维护,切换演习目的

6、,检验操作流程 检验容灾系统RTO、RPO指标 检验容灾变更管理的质量 训练灾难恢复团队的工作协调性,切换演习过程,切换演习准备 组织切换团队 从DRP选取切换过程(切换过程、切换失败过程、切换回切过程、回切失败过程），分配操作人员 流程图 检查表 步骤 切换过程评审 演习前检查和预演 执行切换演习 业务测试 切换结果检查（数据一致性、应用状况）,回切 业务测试 业务恢复 切换总结,切换演习准备,每次切换要准备切换过程、切换失败恢复过程、回切过程、回切失败恢复过程。 对于演习过程，由于多了很多检查过程，又想对生产影响最小，制定严密的演习计划是必不可少的。 通过计划工具的一些特性，例如“关键路径

7、”，可以找到对于缩短过程最有价值的步骤。 每次演习都要准备很多检查表,总负责人启动导航 总负责人根据本次切换切换分配角色 相关角色负责人会收到短信通知 角色负责人进入系统，签到 总负责人通过界面可以看到各个角色的签到情况和任务执行状态。 角色负责人如果遇到某个步骤执行失败，可以选择强制跳过该步骤，不会影响整个切换。 总负责人可以选择是否中止切换导航。,执行切换演习,切换过程监控,各个角色可以看到 各个角色登陆情况 切换步骤完成情况 总流程图 操作员可以看到自己已经完成的步骤、可以执行的步骤、等待别人完成的步骤。 切换完成后生成切换报告,容灾系统运行维护,日常监控/维护 主机/操作系统/数据库等

8、运行正常 数据库定时启动停止 清单转发、入库是否正常 同步、稽核告警的处理 日志清理 变更管理 清单库表结构 IT架构/系统参数同步 切换步骤的更新 组织架构 根据演习计划进行演习,第三部分 BOSS容灾系统持续建设思路,系统总体持有成本,运营成本,投资成本,竞争态势,设备投资、使用空间成本 设备利用率成本 高端技术架构成本 设备消耗、维护成本 人员技术培训成本 系统运营管理成本 系统结构变化灵活度，资源调度灵活度 应用系统的开发和投产速度 灾难备份没有部署到所有环节,支撑系统建设原则,综合化,集中化,标准化,安全性,平滑性,将原有业务支撑系统的客户管理和服务功能剥离出来，并对流程、应用和数据

9、进行全面整合，强化对个人大客户、集团客户、营销服务渠道、合作伙伴的个性化服务，以及对产品、资源、门户的综合化管理。,继续保持统一平台、统一数据库的架构体系，持续提升系统准确性、灵活性、实时性和快速业务开发能力的服务优势。,建立符合国际标准的中国移动企业级业务支撑网标准，实现以客户为核心的相关模型、基本系统功能、关键业务流程和对外接口的标准化，逐步完成业务支撑系统的网络化和产品化，加强对新业务的支撑能力。,充分利用现有资源，保证原有业务和近期将开展的业务不受影响，强调规模与效益并重，分阶段构架和完善业务支撑网。,业务支撑网的建设要求达到电信级的安全标准，对CRM系统的一些关键要素进行监控，同时为

10、容灾系统的建设奠定基础。,灾备系统的持续发展思路,两种双中心 不对等双中心 对等双中心 两个瘦身计划 生产系统瘦身 灾备系统瘦身,双中心,双中心的出发点 提高两个系统资源的生产利用率 降低灾难影响面 强调资源利用率，建立“不对等双中心” 提高资源利用率并不意味着两个中心的所有资源100利用才能满足生产的需求。 区别操作型、分析型，业务复杂度不同的生产应用，对于主机、存储、网络资源可以提出不同的资源利用率要求 强调降低灾难影响面，建立“对等双中心”,不对等双中心,接入平台,接入平台,生产中心1,SAN,数据平台,业务平台,接入平台,接入平台,SAN,灾备数据平台,补充业务平台,外部系统,外部系统

11、,业务状态数据的复制,业务处理能力的冗余,接入平台的冗余和切换,接入平台的冗余和切换,补充数据平台,灾备中心1/生产中心2,对等双中心,接入平台,接入平台,生产/灾备,SAN,灾备数据平台,业务平台,接入平台,接入平台,生产/灾备,SAN,生产数据平台,业务平台,外部系统,业务状态数据的复制,业务处理能力的冗余,接入平台的冗余和切换,接入平台的冗余和切换,接入平台的冗余和切换,业务处理能力的冗余,接入平台的冗余和切换,生产数据平台,灾备数据平台,生产系统瘦身,剥离活跃数据、静态数据，对活跃数据容灾，对静态数据备份。 多个系统共用活跃数据容灾平台。 提高已实施数据容灾的存储系统的利用率。,灾备系统瘦身,RTO,RPO,5级：可恢复，但无时间要求 4级：1天恢复 3级：8小时内恢复 2级：4小时内恢复 1级：30分钟内恢复,尽量完整,以降低TCO的要求来精化RTO、RPO,容灾应急中心,接入平台,接入平台,生产,SAN,业务平台,接入平台,接入平台,冗余/应急,SAN,灾备数据平台,业务平台 应急管理平台,外部系统,最小集合业务状态数据的复制,业务处理能力的冗余,接入平台的冗余和切换,接入平台的冗余和切换,接入平台的冗余和切换,业务处理能力的冗余,接入平台的冗余和切