曹振团美团外卖系统架构演进与稳定性经验谈原版

1、美团外卖系统架构演进与系统性经验谈目录个人简介美团外卖业务发展历程技术体系架构演进外卖业务性的系统性的处理原则个人简介北纬通信新美大移动增值服务创新业务探索美团外卖架构组2006.72011.22011.32013.52013.5网易网易库网易应用网易目录个人简介美团外卖业务发展历程技术体系架构演进外卖业务性的系统性的处理原则美团外卖业务发展历程扩展中扩展中美团外卖业务发展历程供给侧1000w日额过亿新LOGO400w美团专送全国启动300w在线支付APP占90%200wWEB上线业务MVP?2013/112014/112015/052015/122016/05目录个人简介美团外卖业务发展历程

2、技术体系架构演进外卖业务性的系统性的处理原则技术体系架构演进业务起步：MVP阶段üüü验证需求寻找和需求的切合点点餐->网络点餐技术架构：1.0dbwaimaiüüü快速开发功能快速调整流程快速发布上线技术体系架构演进业务起步：规模化AppI版WebPCApp打印机ü 寻找规模化的业务ü 提高运营效率形态dbwaimaimaster/slave技术架构：2.0üüü快速开发多个业务系统复用工具库Util：http 复用业务库合同审核上单MQ订单商家技术体系架构演进业务增长

3、2;üüüüü校园市场全国开展白领市场开拓美团专送启动平台活动增加用户激增订单激增技术架构：3.0üüüü系统级容错服务化重构中间件分库分表Native H5外卖App 美团App 点评App外卖商家层层接口层服务层MTThrift订单商品商家.基础层中间件MQ KVESNginx灰度APIOpenWebAtlasDBDatabus异构DB技术体系架构演进问题üüü耦合相互影响容错差演进之路üüüüü服务化中间件KV数据总线异

4、步化目录个人简介美团外卖业务发展历程技术体系架构演进外卖业务性的系统性的处理原则外卖业务性的业务特点：高峰集中在中午、晚上饭点，爆发快系统：，一旦发生故障损失较大外卖业务性的业务特点：服务链条长系统：依赖复杂用户浏览下单支付商家接单骑手配送中已送达用户评价结算外卖业务性的业务特点：发展快技术：开发迭代快发版频繁引入bug，性风险项目周期短架构优化排不上期技术欠债难度大指标覆盖全规则变化快目录个人简介美团外卖业务发展历程技术体系架构演进外卖业务性的系统性的处理原则系统性的处理原则99.99%系统可用性订单可用性系统性的处理原则事故处理日常运行性架构设计及时止损保护用户体验例行梳理和巡检力保关键路

5、径99.99%全链路在线压测事前预警事后总结性能大盘根本分析业务大盘影响损失核算健康分析重构系统系统性的处理原则日常运行 >>性架构设计小做ü 服务专一性WEBAPIü的功能拆分为的服务TaskMessageCenter依赖性原则üüü只依赖的服务QueryManage读写将易变的部分拆分超时中断抱歉，您选的商家运力不足，请选择其他商家 下单。失败！服务器异常！ null别看了，啥也没保障用户体验的容错设计üüü异常情况下客户端的呈现客户端配合限流客户端配合降级系统性的处理原则日常运行>>例

6、行性巡检静态梳理定位üüü按场景Review关键链路调用放大情况梳理banner降低“”，假场景用户RankAPI专项梳理üüüDB健康Reivew，大表，慢读写QPS，出轨，绿帽子降级方案演练POI指标巡检频道定位üüü性能大盘：不要放过尖刺业务大盘：报错大盘：定位系统性的处理原则日常运行 >>全链路在线压测线上压测üüüNginx分组ThriftRPC 分组摘掉机器流量录制全链路压测üüüüü读流量回放写事务模

7、拟流量染色异步阶梯加压告警自动终止压测目标ü 排查性能瓶颈，上探系统容量，验证降级机制ü 验证响应机制 & 指导设定警戒行动线系统系统性的处理原则事前预警性能大盘üüüüCPU Idle DB读、写QPSTP90 响应时间超时率Kafka业务ü 业务大盘ü 脚健康分析ü 指标变化趋势系统性的处理原则事故处理及时止损üüüü！ 分流启动降级预案限流保护用户体验ü 客户端配合降级应用力保关键路径ü 非关键路径模块降级APP客户端启动限流接收请

8、求请求令牌流控API：jar生获取令牌策成熔略K添加令牌断EY本地令牌日志处理请求拒绝请求系统性的处理原则事故总结10：00收到DB CPU 高的根本ü 5whys分析10：20收到服务A接口超警10：23DBA定位分析10：25xx同学服务损失核算10：34服务恢复ü 损失的订单IncidentReviews - Ask the key questions:What wentwrong?we have detected it sooner? we have prevented it?How How How Howcould could系统&流程改进can we p

9、revent this class of problem inthe future?üüü系统改进流程改进开发红线can we improve our behavior for next time?系统性的处理原则力保关键路径多种接单方式APPPC打印机推单接单配送进店下单派单用户附近商家基础数据服务行为数据收集离线/实时数据计算特征抽取与机器学习实时数据收集平台挖掘平台模型训练商业分析/运营/BI搜索引擎策略引擎调度引擎线上广告系统GIS路径规划骑手服务个性化推荐RANK骑手调度中心配送实时跟踪系统活动计算引擎订单中心风控策略门店商品中心门店运营/容器管理支付平

10、台系统性的处理原则预案建设性能是功能的一部分上下游的超时约定。是功能的一部分容错处理：超时，幂等，重试。用户体验是一个完整的过程用户端，商家端的体验保障。系统性的处理原则系统性的处理原则性的护航者：SOP。每一步操作都是经过认真思考的。需求管理项目开发测试发布上线故障处理 Task追踪 大功能设计Review 技术方案变更Review 上下游依赖变化Review 分支管理 代码交叉Review 代码静态检查 代码规范 日志规范 引入第工具、JAR包SOP 依赖外部服务SOP 数据库迁移/ 拆分SOP 测试环境使用规范 RD完成冒烟测试 回归关键路径及主要版本 项目提测流程规范 线上压测流程 新

11、业务上线SOP 线上发布SOP 线上灰度SOP 数据库线上操作SOP 线上容量调整SOP 验证业务效果 业务指标 系统Dashboard 第一时间想上级反馈 及时 业务方：问题，影响范围，解决方案，预计恢复时间 线上服务降级SOP系统性的处理原则将流程自动化进行到底。21基本发布内容发布者3发布步骤多系统协同步骤45发布前验证关键业务流程测试新功能测试 SQL Review代码Review影响预估对下游的影响评估对上游的影响评估自身负载变化评估措施的版本号步骤108发布后验证日志,报错数性能指标关键流程回归新功能测试697完成效果分析灰度策略按城市按功能 按百分比发布总结可以改进的点casestudy降级方案降