虚拟业务系统高可用性设计

1、京东虚拟业务系统高可用性设计虚拟业务系统虚拟业务系统高可用性实践大促如何确保高可用虚拟业务系统特点非标品多业务线（20+产品线）业务复杂程度不一大量第三方供应商交互新业务上线迅速系统维护量大流量充值加油卡充值生活缴费机票门票演出票火车票酒店差旅会展电影票游戏点卡流量加油站 话费充值度假视频微软激活码 低频率尚频率尚 客 单 价低 客 单 价虚拟业务系统架构v1.0系统抽象度不高重复开发，效率低系统稳定性难保证虚拟业务系统架构v2.0基础公共能力下沉商品、订单等模型抽象业务组件提炼业务流程平台化编排配置部署架构多实例多机房部署同机房不同机柜ES集群MySQL一主多从缓存（JimDB）一主多从虚拟

2、业务系统虚拟业务系统高可用性实践大促如何确保高可用高可用性的度量A = MTBF/ (MTBF + MTTR)MTBF= 平均故障间隔时间（Mean Time Between Failures） MTTR= 平均恢复时间（Mean Time to Recovery)提高系统的可用性的两个途径提高MTBF：减少故障降低MTTR：快速解决故障影响可用性的因素与应对方法因素单点故障方法冗余降级、异步化依赖故障限流超出承载监控报警、应急预案定位、恢复慢结果提高MTBF提高MTBF提高MTBF降低MTTR冗余设计 消除单点基础设施层多IDC多DNS多CDN多路由器双网卡应用层多实例跨机架服务无状态数据层

3、数据库master/ slave缓存一主多从ES集群数据冗余实现 复制商品MQ虚拟商品中心虚拟商品库（分库分表）JMQ虚拟商品全量ES应用同步双写可立刻读性能差应用异步双写性能好 有延迟数据冗余实现 复制利用底层数据存储复制机制Binlake虚拟订单中心binlog虚拟订单库虚拟订单ES（ jiesi1）对应用无侵入开发量少延迟较严重数据本地化应用场景依赖外部数据高频访问数据变化频率低实现方式定时主动数据同步第三方通知降级场景原则方法依赖的外部系统出现故障KISS降级非关键依赖开关（手动/自动） 方案审查、演练例子性能降级：比如缓存降级到ES功能降级：比如优惠劵服务故障降级支付方式降级 虚拟商

4、品系统虚拟商品shop端单品页商品MQ商品主库分库搜索全量ESJimdbNginx虚拟商品中心12POP商品 微信手Q抢购系统 虚拟商家 图片服务 视频系统1垂直搜索index垂直搜索主服务商品全量ES商品快照ES2343Lua自动降级调用HTTP接口开关控制是否实时写全量ES 开关控制是否写快照4开关控制是否读JimdbJimdb4异步化-事件驱动（火车票）典型场景访问第三方系统不稳定（网络等）实现方式事件驱动业务流程失败利用MQ重试机制注意幂等限流典型场景机票防刷；抢火车票接入层限流Nginx+Lua+RedisIP、账户、地区等应用限流服务框架设置（方法级）限流监控与报警）系统监控（CP

5、U，内存、负载等）网络监控（网络流入量，流出量等磁盘监控（使用率、读写速度等）容器监控（线程数、SWAP使用等服务监控（TP99， 调用量等）业务监控（订单状态等）JVM监控虚拟业务系统虚拟业务系统高可用性实践大促如何确保高可用大促备战123团Keyword压测系统压测、稳定性测试全链路压测TP99， CPU, 内存优化 性能 可用性发现薄弱环节梳理关键流程容量估计演练 故障模拟 应急方案4系统压测测试环境/预发环境关注吞吐量、性能和稳定性常态化全链路压测在公网模拟真实用户行为从CDN节点压测使用Forcebot执行压测监控访问量、TP99、CPU等容量规划规划基于历史数据、促销计划预测根据压测分配资源扩容方法应用水平扩容（增加docker）硬件垂直扩容（内存、升级SSD等）基础设施扩容(数据库分库分表、ES分片扩容、缓存分片扩容等）项目机房1机房2机房2016.11.11流量(万/秒）2017.6.18流量(万/秒）2017.11.11预计流量(万/秒实例数服务能 力(万/秒）实例数服务能 力(万/秒）实例数服务能 力(万/秒）XXXX241.624