互联网下的灾备体系探讨

1、 国内重大事故国内重大事故 1 2 3 4 5 6 5.28 携程与艺龙官网 瘫痪 12小时恢复 6.6 青云机房雷击事 件 3小时后恢复 9.1 阿里云盾事件 5.1 网易大火事件 （骨干网攻击） 2014.3.30 腾讯深圳数据中 心主供电线路中 断 无中断 5.27 支付宝光纤挖断 事情 2小时恢复 影响 *W/天天 费费 用用 无法评估无法评估 形形 象象 无法评估无法评估 数数 据据 无法评估无法评估 体体 验验 项目分类 高可用性关键因素 级别级别SLA年当机年当机 天当机天当机能力集能力集 190.0000%36.5天2.4时流程 299.0000%3.65天14分运气 399.

2、9000%8.76时86秒运气+堆人（3班倒） 499.9900%52.6分8.6秒服务自愈 599.9990%5.25分0.86秒 架构的容灾、容错、灾备 系统 699.9999%31.5秒 8.6毫秒自治 高可用性关键因素 MTBF故障发生机率 MTTR故障恢复时间 高可用性关键因素 业务层业务层 高可用性业务层 降级服务降级服务 客户分级客户分级 功能分级功能分级 高可用性服务层 服务层服务层 MTBF服务状态 可用性7级表 级别级别名称名称解决办法解决办法 第一级数据完全崩溃损坏 数据存放在内存中的服务，内存数据 库， 第二级新增加的数据损坏正常服务 第三级数据没有丢失系统与硬件各种C

3、ache. 第四级没有数据丢失，服务能力降低异常数据处理与高级流控系统。 第五级有部分服务，服务质量不降多业务跑在一个实例上。 第六级故障转移时，用户有感知业务能恢复，恢复比较慢 第七级故障转移，用户无感知业务完全无影响 服务模块服务模块SLA等级等级 平台架构平台架构数据落地数据落地 文件 流控系统 高可用性资源层 资源层资源层 高可用性资源层 资源 硬件 机房带宽 多运营商多地同城 网络设备 光纤 服务器 品牌机 安全设备 软件 第三方服 务 域名证书 基础组件 DOCKERKVM 辅助分析 服务 OMMELK 支付宝的灾备进程支付宝的灾备进程 多活数据 中心-失败 同城多活 +异地数 据

4、灾备 异地多活 -2013 同城多活同城多活+异地灾备要点异地灾备要点 1. 同城数据中心：同城数据中心之间用裸纤连接，之间距离不大于40KM，延时在一个局域网内。 2. 数据库分库分表，数据保护模式由集中存储变成“三副本”，每个副本分布在不同的数据中心，一主二从，由应 用进行数据的复制和一致性的保证。 3. 应用层面实现的同城多活：数据库实现分布式，同城应用可以跨机房写数据库，应用层的多活就实现了。在强化 应用层面的容错和故障处置手段之后，在主数据库故障时，应用可快速把主数据库切换至其他机房的从数据库。 这种机制下，不单可以实现数据库的多活，而且进一步实现数据中心层面的同城多活，理论上任何一

5、个数据中心 中断都不会导致业务中断，切换过程也非常简单。 4. 异地远程数据备份：在相隔1000公里的远程机房，由应用程序进行数据的备份，通常只需要把关键的账务数据增 量同步过去，由于不用备份应用系统，实现起来较为简单。 支付宝支付宝异地多活探索异地多活探索 异地多活的难点 跨中心数据交互 网络延时 解决办法 单元化：保障每个单元之中的基础设施、应用系统、数据库都齐备，大部分业务处理都可以在本单元之中完 成； 服务治理：梳理业务之间的耦合关系，尽量减少和降低跨单元之间的数据交互； 异地数据交互优化：则是降低异地数据交互的频率、提高异地之间数据交互的效率，使业务系统可以适应异 地的网络延时。 基

6、础级基础级逻辑示意图逻辑示意图 设备级设备级 核心节点核心节点-同城双活同城双活 平时状态同等集群运行 费用 涉及模块 网络互联费用 厂商选择*区域内的机房均可 解决问题1. 机房级故障，例机房或机柜掉电、核心设备出问题，服务器硬件故障。2. 机房级IDC设 备故障。3. 省网以下网络故障。 不能解决的问题1.骨干网波动与故障。2.城市级电力中断。3.省网出口问题。 开发支持1.用户请求调度的切换速度与后端状态感知。（可以使用DNSPOD的后端监控功能实现） 风险点1.互联光纤中断造成的数据不同步。 切换时间分钟级 切换时影响范围2分之1 项目预计时间 100工作日 执行计划执行计划 类型类型项目名称项目名称目标目标故障机率故障机率执行时间执行时间 总结改进总结改进备注备注 业务层业务层 任意容量失效服务模块服务能力验证高 任意区域失效业务架构容错能力验证低 任意人员失效人员架构容错能力验证中 任意客户失效客户架构容错能力验证中 任意资质失效政策容错能力验证中 服务层服务层 任意服务失效演练（单/组）业务架构容错能力验证低 任意组件失效演练（单/组）业务架构容错能力验证低 任意数据失效演练（单/组）灾备服务容错能力验