2025 GOPS 全球运维大会暨研运数智化技术峰会·北京站：京东物流全链路生产带量压测建设与实践

GOPS2025Beijing2015-2025暨研运数智化技术峰会2025年6月27-28日中国·北京高效运维社区高效运维社区品AOPS○开放运维联盟OOPSAOpenoOPSAlanceANNIVERSARYANNIVERSARY京东物流全链路生产带量压测建设与实践ANNIVERSARYANNIVERSARY目目录京东物流全链路压测的技术突破京东物流全链路压测建设全景图京东物流生产带量压效果和收益京东物流全链路压测未来展望GOPS2025GOPS2025Beijing2015-2025技术难点-技术选型-技术实施全链路生产带量压测环境、数据、场景、压力全链路生产带量商详→加购→支付→履约仓→拣→运→配商详→加购→支付→履约仓→拣→运→配你想象中的高保真压测?环境保真数据隔离影子库生产环境高保真压测难点从单点容量评估-->链路节点比例精准调控微服务分布式系统架构、局部的模块测试、链路薄弱点暴露难从线下压测-->线上高保真压测线下搭建对等压测环境，中间件&依赖的外围系统不稳定产生不同程度的失真从单一憋单-->常态化生产压测憋单时间窗口短、难以产生足量订单模拟大促流量洪峰，并且影响医疗、生鲜等门店商品配送时效高保真压测面临困难是什么生产压测生产压测代码开发成本低在这里输入你的正文阐述与关键词标题相关的具体内容在这里输入你的正文阐述与在这里输入你的正文阐述与关键词标题相关的具体内容核心思路是压测数据隔离，通过对压测流量进行标识、中间件识别和透传压测生产中间件存储影子中间件存储介质0介质0生产流量压测流量压测流量生产流量生产中间件存储影子中间件存储介质N介质N生成带压测标识流量依托压测工具，给压测流量打标识、染色压测标识透传&流转压测标识处理组件-识别并透传压测流量，保证压测标识在被压测服务间传递不丢失影子技术选用合适的影子技术，持久化压测流量(与生产存储介质物理或者逻辑隔离，保证不污染生产压测标识透传组件TraceHolderTraceHolder原理是在线程ThreadLocal中保存量的特性，在线程间隔离，在任何方法中都可以轻松获取当前线程的ThreadLocal,避免参数传递麻烦，保//开启forcebot标//移除forcebot标GOPSGOPS2025压测流量压测流量JSF压测流量透传JSF压测流量透传影子缓存JImdb流量隔离压测流量透传MySQLSDK压测流量透传压测流量透传影子clover影子mysql影子TopicMysqlCloverJMQTraceHolder组件的诞生，实现中间件的统一增强，各系统只需升级中间件SDK版本和修改相关配置，可快速实现压测流量隔离透传。影子主题影子主题功能提供一种过滤机制，将压测的消息流量发送到影子主题，只有需要压测的下游才参与压测影子库建立原库与影子库数据源，基于换用户请求TraceHolder.setForcebot()MySQLSDKshadow.jar-TraceHolder.isForcebot()—False—生产库/生产表—Ture——Ture—并根据压测标识将染色的流量持久化到影子链路全链路压测技术-推广&落地赋能技术文档沉淀实践demo案例分享核心链路试点核心链路试水大促备战组推进大促洪峰验证大促618、双十一洪峰验证生产逃逸风险事件的攻克全面展开物流内部全面推广系统稳定性持续向好，幸福感持续增强流量峰值覆盖-响应时间保效率提升第四步第一步第二步第三步生产全链路的高保真压测实施生产上线技改方案宣传推广梳理改造范围&实施瓶颈定位&复盘小范围试点、验证、踩坑风险应急方案GOPS2025GOPS2025Beijing2015-2025全链路生产压测-项目全景图进度管控质量管控风险管控JDL京东物流全链路军演压测项目规划100+人次执行识别链路薄弱点达成军演目标执行压测3-4轮压测窗口少应用拓扑接口链路②jdljdl-eca-standard-ability⑧7X*ebaichuan-router-disp-②20%jdl-eca-standard-abilityejdl-oms-express->baicl②jdl-oms-outbound->ba②jdl-eca-standard-abilitybaichuan-router-disp-3②jdl-eca-standard-ability调用链路快速理清*…化--人工全链路压测主要风险是什么?流量逃逸生产的请求被误打上压测标识，导致生产订单卡单压测请求丢掉压测标识，导致压测流量走到生产环境，污染线上数据。发压的源头会添加压测标识(TraceHolder.setForcebot()),理论上不会影响线上的请求，除非生产线程池被污染。压测流量丢压标逃逸到生产情况?TraceHolder技术方案不覆盖的中间件，业务线程池改造不彻底，需替换成TraceHolder组件封装的线程池对象压测标识丢了如何快速识别处理?物料准备、代码增强、监控告警上对压测流量进行压测标记，压测请求带有压测属性，可快速识别清理压测请求，通过压测开关，快速熔断高效协同◆时间线清晰◆执行动作明确◆职责分明1XX网关及相关公网业务流量整体切到廊坊机房；XX机房除首页、搜索、推荐相关流量外，其余流量(切回XX的流量包含商详/购物车/结算/订单/通天塔/秒杀/闪购);注意：各机房切换隔离/压测环境时务必检查没2XX内网域名流量切量到XX;34核心业务值班人集中备战checkin(入场及签到)军演压测环填20:00完全就绪，集中备战56789XXX机房首页、搜索、推荐相关流量整体切入口涉及结算、收银台、订单；1、发压流量(汇天备战目标1倍流量);观察入口系统可用率和tp99,不符合预期的业务模块执行预案/降级，并检直预案/降级执行结果是否符合预期；2、1倍流量各业务系统稳定后记录结果数据；注意串项：压测过程中出现阻塞军演压测流程问题请及时报入口涉及首页、搜索、推荐、商详、购物车、结算；1、发压流量(汇天备战目标1倍流量);观察入口系统可用率和tp99,不符合预期的业务模块执行预案/降级，并检查预案/降级执行结果是否符合预期；2、1倍流量各业务系统稳定后记录结果数据；注意事项：压测过程中出现阻塞军演压测流程问题请及时报入口涉及结算、收银台、订单.瞬时峰值脉冲(流量X倍)1、按照本机房备战目标设置限流，网关开启1倍限流；2、各前端入口发压到备战目标流量1.5-X倍；3、观察1.5-X倍流量各系统表现是否符合预期；所有压测任务全部停止(单链路/系统验证压测群里周知)10月XX821:00前X×X机房流量切回；应急助手应急助手机器人05月28日18:59意[雷达]物流一核心链路SLA可视化看板red【入口异常模块】【定位异常模块】临异常指标：可用率当前：99.41%,阈值：99.9%异常指标：可用率当前：99.15%,阈值：99.9%负责人【影响业务】你的每一份努力，都在为更好的自己铺路。·业务监控大盘链路监控雷达图·历史问题可追溯·问题聚焦减小排查难度·责任到人问题跟踪闭环6uan应用日志分析中间件可观测数据源进行关联分析，提供一体化的可观测界面，一站式定位问题，降低MTTR全链路生产压测-可观测性收益性能瓶颈暴露快速精准锁定问题辅助决策薄弱点无处遁藏薄弱点无处遁藏大促监控掌握生产流量行为容量水位风险预警优化资源利用率科学指导配置资源，避免资源浪费，降低资源成本历史问题可追溯持久化历史红灯报警可追溯系统稳定性保障全方位保障系统稳定泰山平台泰山平台全链路生产压测-技术全景图结果采集f压测熔断压测熔断流量录制回放流流量录制流量规则压测回放多协议支持压压测监控资源监控JVM监控监控&诊断平台监监控告警大促盯盘阈值配置全链路监控DB监控Redis中间件可视化大盘全链路生产压测-流量全景图2023年6182023年双112024年双11技术突破订单详情接单适配层接单适配层JDQ数据管道页页纯配订单中心红红中小件接单预分拣分单履约层配运履约层SR、ES、MySQL应用业务写链路破业务1业务2GOPS2025GOPS2025Beijing2015-2025生产稳定性保障压测效率提升军演压测机制建立军演压测白皮书军演知识库沉淀前置拦截问题赖接口性能差等问题风险应急能力提升指标完善：1%-业务异常：3%部署上线：4%-监控问题：4%-流量异常：6%故障演练：8%性能问题限流问题故障演练流量异常监控问题部署上线业务异常数据逃逸指标完善性能问题：63%压测场景失真依赖接口问题中间件JMQ抖动中间件JMQ积压中间件Hbase服务器资源不足个别机器性能差网络抖动问题问题现象和原因接口TP99升高；压测物料占比失真接口TP99高和可用率下降；依赖接口有性能问题服务器CPU打爆；TP99跳点明显；个别broker性能较差消息积压；JMQ出队能力不足TP99高和可用率低；Hbase限流有问题，未到配额启动限流CPU打满TP99高和可用率低；优化压测场景，物料仿真构造2、上下游对齐SLA、压测场景优化3、依赖接口代码优化(中间件)和重试机制优化4、日志降级为大促配置5、限流策略优化1、优化慢查询，简化MySQL逻辑，优化索引等增加broker分片，开启并行策略Hbase扩容、调整Hbase限流配额扩容宿迁服务器能差接口超时，服务可用率降低；依赖接口未同机房闭环