互联网下的灾备体系探讨

1、国内重大事故国内重大事故1234565.28携程与艺龙官网瘫痪12小时恢复6.6青云机房雷击事件3小时后恢复9.1阿里云盾事件5.1网易大火事件（骨干网攻击）2014.3.30腾讯深圳数据中心主供电线路中断无中断5.27支付宝光纤挖断事情2小时恢复影响 *W/天天费费用用无法评估无法评估形形象象无法评估无法评估数数据据无法评估无法评估体体验验项目分类高可用性关键因素级别级别SLA年当机年当机 天当机天当机能力集能力集190.0000%36.5天2.4时流程299.0000%3.65天14分运气399.9000%8.76时86秒运气+堆人（3班倒）499.9900%52.6分8.6秒服务自愈59

2、9.9990%5.25分0.86秒架构的容灾、容错、灾备系统699.9999%31.5秒 8.6毫秒自治高可用性关键因素MTBF故障发生机率MTTR故障恢复时间高可用性关键因素业务层业务层高可用性业务层降级服务降级服务客户分级客户分级功能分级功能分级高可用性服务层服务层服务层MTBF服务状态可用性7级表级别级别名称名称解决办法解决办法第一级数据完全崩溃损坏数据存放在内存中的服务，内存数据库，第二级新增加的数据损坏正常服务第三级数据没有丢失系统与硬件各种Cache.第四级没有数据丢失，服务能力降低异常数据处理与高级流控系统。第五级有部分服务，服务质量不降多业务跑在一个实例上。第六级故障转移时，用

3、户有感知业务能恢复，恢复比较慢第七级故障转移，用户无感知业务完全无影响服务模块服务模块SLA等级等级平台架构平台架构数据落地数据落地文件流控系统高可用性资源层资源层资源层高可用性资源层资源硬件机房带宽多运营商多地同城网络设备光纤服务器品牌机安全设备软件第三方服务域名证书基础组件DOCKERKVM辅助分析服务OMMELK支付宝的灾备进程支付宝的灾备进程多活数据中心-失败同城多活+异地数据灾备异地多活-2013同城多活同城多活+异地灾备要点异地灾备要点1. 同城数据中心：同城数据中心之间用裸纤连接，之间距离不大于40KM，延时在一个局域网内。2. 数据库分库分表，数据保护模式由集中存储变成“三副本

4、”，每个副本分布在不同的数据中心，一主二从，由应用进行数据的复制和一致性的保证。3. 应用层面实现的同城多活：数据库实现分布式，同城应用可以跨机房写数据库，应用层的多活就实现了。在强化应用层面的容错和故障处置手段之后，在主数据库故障时，应用可快速把主数据库切换至其他机房的从数据库。这种机制下，不单可以实现数据库的多活，而且进一步实现数据中心层面的同城多活，理论上任何一个数据中心中断都不会导致业务中断，切换过程也非常简单。4. 异地远程数据备份：在相隔1000公里的远程机房，由应用程序进行数据的备份，通常只需要把关键的账务数据增量同步过去，由于不用备份应用系统，实现起来较为简单。支付宝支付宝异地

5、多活探索异地多活探索 异地多活的难点 跨中心数据交互 网络延时 解决办法 单元化：保障每个单元之中的基础设施、应用系统、数据库都齐备，大部分业务处理都可以在本单元之中完成； 服务治理：梳理业务之间的耦合关系，尽量减少和降低跨单元之间的数据交互； 异地数据交互优化：则是降低异地数据交互的频率、提高异地之间数据交互的效率，使业务系统可以适应异地的网络延时。基础级基础级逻辑示意图逻辑示意图设备级设备级核心节点核心节点-同城双活同城双活 平时状态同等集群运行 费用 涉及模块 网络互联费用 厂商选择*区域内的机房均可 解决问题1. 机房级故障，例机房或机柜掉电、核心设备出问题，服务器硬件故障。2. 机房

6、级IDC设备故障。3. 省网以下网络故障。 不能解决的问题1.骨干网波动与故障。2.城市级电力中断。3.省网出口问题。 开发支持1.用户请求调度的切换速度与后端状态感知。（可以使用DNSPOD的后端监控功能实现） 风险点1.互联光纤中断造成的数据不同步。 切换时间分钟级 切换时影响范围2分之1 项目预计时间 100工作日执行计划执行计划类型类型项目名称项目名称目标目标故障机率故障机率执行时间执行时间 总结改进总结改进备注备注业务层业务层任意容量失效服务模块服务能力验证高任意区域失效业务架构容错能力验证低任意人员失效人员架构容错能力验证中任意客户失效客户架构容错能力验证中任意资质失效政策容错能力验证中服务层服务层任意服务失效演练（单/组）业务架构容错能力验证低任意组件失效演练（单/组）业务架构容错能力验证低任意数据失效演练（单/组）灾备服务容错能力验