面向失败的容灾架构设计

1、面向失败的容灾架构设计技术创新 变革未来引言面向失败设计01Everything Fails, All the Time无论是在传统软件时代还是在互联网、云时代，系统终究会在某个时间点失败无所不在的失败场景硬件问题软件BUG配置变更错误系统恶化超预期流量外部攻击依赖库问题依赖服务问题容灾面向失败设计02容灾服务能力与依赖调用自我保护为一切不可预料的情况备好预案自动化运维精细化的监控体系故障与攻防演练锤炼容灾应急能力容灾通过冗余设计来规避局部失败对系统的影响容灾-航空是如何保障飞行安全的冗余设计冗余设计面向失败设计人为了万分之一的紧急情况出现的可能，每年要进行多次的模拟机训练或者实景演练一架飞机

2、上都会配备至少两名飞行员，二者相互合作的同时相互监督机每一个航段前，光是一个绕机检查，可能就有几十个项目需要检查绕机检查是由地面机务人员和飞行机组分别完成，同样也是为了更仔细的检查，降低错误率每架飞机还有短期全面检查和长期全面检查飞机上的每一个设备都是独立的双系统在工作环境气象雷达可以让飞行员感知到几十甚至几百海里范围内的天气情况飞机防撞系统可以让飞行导航显示仪上显示正在接近的可能存在威胁的飞机盲降系统是由地面发射的两束无线电信号实现航向道和下滑道指引，飞机通过机载接收设备，进行降落容灾的核心思想基于 隔离 的 冗余容灾评价指标RPO（Recovery Point Objective）即数据恢

3、复点目标，以时间为单位，即在灾难发生 时，系统和数据必须恢复的时间点要求。RTO（Recovery Time Objective）即恢复时间目标，以时间为单位，即在灾难发生后，信息 系统或业务功能从停止到必须恢复的时间要求。RTO标志 系统能够容忍的服务停止的最长时间。系统服务的紧迫性 要求越高，RTO的值越小。分析阶段业务影响分析风险分析 可恢复性评估设计阶段实施阶段面向业务面向技术容灾领域沉淀方法论灾难恢复预案设计容灾演练和维护容灾方案设计制定恢复策略按用户分流阿里巴巴容灾架构演进容灾发展历程交易单元化交易单元化交易异地多活单元化配套全网容灾异地多活交易同城双活启动走出杭州千里之外一键建站

4、体系搭建商业化2012201320142015201620172018同城双活架构异地多活架构CDN按用户分流接入层应用中间件，缓存数据库IDC-1单元一接入层应用中间件，缓存数据库IDC-3单元三接入层应用中间件，缓存数据库IDC-2单元二数据同步同步调用 异步消息强中心依赖Copy类型中 心域名解析ADNSKeyCenter统一接入层APP 2DiamondNotifyHbaseMDB/LDBMetaQDB(主)VIPVipServerDiamond-clientAPP 1HSFHbaseRPC tair-clientIDC 1AsyncConfigServerTDDlAsyncKeyCe

5、nter统一接入层APP 2DiamondNotifyHbaseMDB/LDBMetaQDB(备)VIPVipServerDiamond-clientAPP 1HSFTair-client HbaseRPCIDC 2AsyncConfigServerTDDlAsyncAsyncAsyncTDDLDRCJingweiIBack按用户分流同步调用 异步消息容灾1.020002015now1980容灾2.0容灾3.0IT作为业务支撑系统容灾以数据为中心恢复以人工为主容灾系统做为备用系统IT作为业务使能容灾以业务为中心双活、AQ模式使得容灾系统支 撑部分业务容灾及业务容灾以客户为中心智能流量分配多中心

6、部署容灾系统即业务系统冷备两地三中心异地多活同城双活容灾发展历程服务能力与依赖调用自我保护03容灾服务能力与依赖调用自我保护为一切不可预料的情况备好预案自动化运维精细化的监控体系故障与攻防演练锤炼容灾应急能力CacheMessage3rd Party ApplicationDatabase服务内部业务链路入口服务与依赖客户端GatewayFirewallWeb ServersLoad BalancerServicesNetwork链路入口流控热点漏斗按照服务水位流控消峰填谷匀速器慢SQL发现熔断慢方法熔断热点探测流量实时监控水位诊断分析对应不同组件的防护和熔断典型场景流量控制应对洪峰流量: 秒

7、杀，大促，下 单，订单回流处理消息型场景: 削峰填谷，冷热启动付费系统:根据使用流量付费熔断降级适用于任何结构复杂的应用。当系 统内部或者外部出现不稳定因素， 迅速降级不稳定因素，让应用保持 稳定系统保护根据RT动态调节入口流量热点防控自动识别热点。应用于刷单（例如 来自单个ip，单个用户，单个商品 的请求）刷单流量刷单流量正常流量刷单流量正常流量正常流量正常流量为一切不可预料 的情况备好预案04容灾服务能力与依赖调用自我保护为一切不可预料的情况备好预案自动化运维精细化的监控体系故障与攻防演练锤炼容灾应急能力会发生哪些失败？失败会带来什么问题？应对策略是什么？预期的恢复时间多久？恢复后的影响面

8、有多大？需要通知到哪些角色？流量调度回滚预案监控故障预案资损预案巡检硬件容灾开关预案弹性伸缩问题报警数据对账灰度发布回滚预案分批发布预发布发布依赖变化识别容量评估冗余数据跨地域方案双机预热去除单点主备双备限流预案切流预案切库预案隔离预案降级预案业务预案强弱依赖应用拆分熔断预案为一切不可预料的情况备好预案预案生命周期1.事前-预案制定及相关准备对业务进行分析，来指定紧急事件处理及应对流程确定预案覆盖的紧急复杂程度以及影响范围识别关键措施以及人员变更历史维护追踪2.日常- 沉淀以及仿真演练建立并沉淀知识库（故障，事件）确常演练，校验方案可行性以及相 关训练操作熟练性4.事后- 统一汇表开展事后分析，总结报告进一步改进预案3.事中- 统一指挥，协同作战收集，共享紧急事件信息通知警告关键部门角色协同多个部门参与以及响应统一对外口径自动化运维面向失败设计05容灾服务能力与依赖调用自我保护为一切不可预料的情况备好预案自动化运维精细化的监控体系故障与攻防演练锤炼容灾应急能力发展历程核心组件精细化的监控体系面向失败设计06容灾服务能力与依赖调用自我保护为一切不可预料的情况备好预案自动化运维精细化的监控体系故障与攻防演练锤炼容灾应急能力监控的目的分层监控故障与攻防演练锤 炼容灾应急能力07容灾服务能力与依赖调用自我保