2025 GOPS 全球运维大会暨研运数智化技术峰会·上海站：基于流量地图的活动保障实践与AI探索

ANNIVERSARY2015-2025GOPSANNIVERSARY2015-2025Shanghai基于流量地图的活动保障实践与AI探索姓名：马恒洋◎时间：2025/10/18GOPS2025ShanghaiANNIVERSARY2015-2025GOPS2025Shanghai2015-2025活动保障现状与挑战01流量地图建设方案02技术风险Al探索03GOPSGOPS全球运维大会暨研运数智化技术峰会2025·上海站GOPS全球运维大会暨研运数智化技术峰会2025·上海站小红书多元化业务活动GOPS2025ShanghaiANNIVERSARY2015-2025社区社区淘宝一年一度春节庙会小红书市集看春晚又见爱人见笑啦2024繁花来了\10.11正式开启2425SHOPPINGFESTIVAL一键预约全部直播GOPS全球运维大会暨研运数智化技术峰会2025·上海站GOPS全球运维大会暨研运数智化技术峰会2025·上海站活动备战SOP绘制活动地图核心入口拆解2015-2025GOPS20252015-2025活动风险识别服务容量预测低效&重复服务QPS预估服务预案配置资源申请和扩容多轮压测验收活动备战现状&挑战GOPS2025Shanghai2015-2025活活动流量洪峰是多少和哪些业务参与，对哪些服务扩容和扩多少——>风险识别&稳定性加固GOPS全球运维大会暨研运数智化技术峰会2025·上海站GOPS全球运维大会暨研运数智化技术峰会2025·上海站活动保障全流程地图编排架构和链路数据定义业务拓扑，面向活动编排全局流量地图，重保涉及跨域和新增API基于活动玩法拆解基于链路获取服务依赖关系和基准系谷风险识别调用系数等变化，并基于高可用架构前置识别潜在风险基于活动预估QPS和线上服务的容量水位和容量性能拟合曲线，智能预估服务扩容资源Shanghai2015-2025活动限流&压测推荐限流值并批量配置限流，压测过程中提供容量洞察GOPS全球运维大会暨研运数智化技术峰会2025·上海站流量地图产品方案链路逐级聚合链路逐级聚合·聚合业务场景的用户行为和试图完成特定业务功能·注入流量、延迟、错误率等关键业务指标·请求进入系统所经过的服务调用路径ANNIVERSARY2015-2025GOPS2025ANNIVERSARY2015-2025产品决策支持产品决策支持·资源投入ROI优化流量地图链路拓扑…服务链路GOPS全球运维大会暨研运数智化技术峰会2025·上海站基于流量地图的活动保障建设思路GOPS2025Shanghai2015-2025活动保障场景支撑流量评估资源交付业务诊断压测验收数据沉淀流量地图数据预估地图编排流量模型入口流量预估服务流量预估业务拓扑业务打标服务资源预估服务限流预估可观测性数据基座业务监控秒级指标服务链路限流配置业务监控秒级指标业务拓扑定义GOPS2025ShanghaiANNIVERSARY2015-2025逻辑拓扑逻辑拓扑业务拓扑 打标→聚合一 打标→聚合一·入口打标：对流量入口(如Gateway)标识业务语义·标识传递：将业务语义在服务上下游间进行透传·语义聚合：根据业务标识聚合相同业务的调用链路将多个业务环节按特定逻辑流程组成的端到端过程，描述了完成某个业务所需的步骤、顺序·业务语义丰富：将明细众多调用服务业务模块化·依赖关系清晰：关键组件调用关系提供可视化支撑QPsl成功率100%下单入口QPS■■成功率100%■QPS■成功率100%QP9成功率100%QP成功率100%Q成功率100%QPS成功率100%,5.飘成功率100%查询用户.查询地址.…查询SKU...查询卖家根据地址…GOPS全球运维大会暨研运数智化技术峰会2025·上海站GOPS全球运维大会暨研运数智化技术峰会2025·上海站流量地图编排该系数不完全等于流量增长系数，故需精细拆解和绘制地图针对跨多业务域流程，将多个业务拓扑按照活动并在节点和连线上关联流量数据，形成真正意义上的业务架构大图，同时支持基线时间的峰值和放大系数实现流量预测玩法微调转化系数，以及业务研发更新核心API即可2015-2025流量地图业务拓扑业务环节GOPS20252015-2025流量地图业务拓扑业务环节异构链拓扑路完善核心挑战召回等多个核心服务模块，以及模型训练、索引构C++、Python、Go),形成一个复杂异构服务群排序粗排精排GOPS2025GOPS2025Shanghai解决思路推荐点召回/向量召回特征计算虚拟节点数据血缘TaskTable跨域流量面向一个跨业务的活动备战时，需要关注跨业务域时可能存在overlap对于跨域流量的处理方式会直接影响流量和容量预估的准确性接口，并重点突出展示GOPS2025571.97571.9711589.02GE多方依赖cET多方依赖e/100%1.6多方依赖GETr多方依赖GETr100%1.6多方依赖GETr多方依赖.e多方依赖GETjpd/el商详OGEjANNIVERSARY2015-2025GOPS全球运维大会暨研运数智化技术峰会2025·上海站GOPS全球运维大会暨研运数智化技术峰会2025·上海站地图配置保鲜通过流量地图方便来做流量模型的评估和流量的预估，但流量地图活动期间存在新需求的开发未上线前，如何才能确保这部分的接口能够展示到流量地图上何确保该部分接口能够在地图中准确估算业务不断迭代，如何保证新迭代带来的接口变化能够被流量地图及时感知到，并保持及时更新GOPS2025ShanghaiGOPS2025Shanghai请求分组名流量入口HTTI主商详HTTIHTT笔记商详HTTyget小清单商详购物笔记商详小清单商详购物笔记商详直播商详HTTPHTTPIeget地图重点展示新增入口，并支持手动调权场域资源位场域资源位级满减)00批量生效营销算价100%1697755000批量生效74.29CJer74.290.05r0.05流量预估目标转换：收入等)自动转换为入口流量和爆发系数入口筛选：部分接口在活动场景下并没有特别的流量上涨趋势，或与大促属性并不相关，故创建预估版本时支持手动打标过滤A1(1100)A2(900)基线时间推导系数1.5倍预估放大(1000*1.5=1500)(a*0.4=600)入口峰值(p90)*爆发系数GOPS全球运维大会暨研运数智化技术峰会2025·上海站容量预估系数(往往偏大)估QPS,结合链路trace定位服务列表，提炼服务一可用GOPS2025Shanghai凹凸性分析凹凸性分析归一化处理质息数据集拟合误差划分(MAPE)数据预处理模型拟合识别/阈值人工阈值Actor指数模型队列模型sigmoid模型gam模型模型库单服务每天数据采集数据清洗QPS分桶聚合服务咨量评估一数据运营与分析智能拐点RedBI智能算法评估(评估日期：2025-07-15)收起单机极限QPS可用区极限QPS容量水位QPSvsarkhouyi客户端访问成功率观观测数据一预测曲线--预估极限QPS:[12539.4]0.996·■0.992-0.99200040006000QPS800010000120000.998-客户端访问成功率阈值极限QPS估计值(单机)ANNIVERSARY2015-2025GOPS全球运维大会暨研运数智化技术峰会2025·上海站01.限流配置数据获取02.限流配置自动生成提供多维限流配置组合，自动生成不同场景下限03.限流配置智能调优快速识别限流配置的准确度，并分析其与预期值的偏差，支持批量调优操作。通过动态调整限流阈值，确保系统稳定性2015-2025GOPS20252015-2025风险感知限流配置风险感知限流配置压测验收活动中保障限流和资源回调创建预估版本流量模型与拆解压测准备服务与容量预估资源交付业务分组RPC限流配置请输入业务分组路由Path请输入路由Pathedith集群请输入edith集群出下载C刷新业务分组下单下单路由(HTTP接口)■■■edith集群负责人■■所属业务场景电商购物车结算电商购物车结算近7天峰值QPS活动预估QPS线上限流值限流阈值调整目标建议值580①420建议值4200买手分销买手分销■■■■■■■■i买手分销埋点买手分销埋点2440建议值2440◎50建议值50买手分销买手橱窗■■■■买手分销埋点买手分销埋点40建议值40◎4730建议值4730◎交易老接口[■血电商购物车结算建议值100修改地址■■■电商购物车结算数据获取中，请稍等2020020建这值20GOPS全球运维大会暨研运数智化技术峰会2025·上海站常态化压测验收背景业务手动拆解流量，QA通过导出API文件发起压测评审，筛选需压测的用例并生成脚本。依赖人工操作，效率交低日易出错2015-2025GOPS20252015-2025方案将预估的API和QPS数据导入压测平台，自动生成用例集合和压测脚本，每次压测沉淀时间范围和水位数据，便干追滋和分析价值根据压测时间范围获取流量达成率和资源使用情况，分析系统瓶颈。自动产出限流调整和容量建议，快速响应性能问题Method原始预估QPS当前实际QPS差异原因■POSTF台QPS未带过来POST2118人为修改GET905人为修改POST■平台QPS未带过来d■GETGET43.7543人为修改平台QPS未带过来风险前置识别重点不在于风险定位和处置，而是在于如何更前置的识别潜在风险GOPS2025Shanghai2015-2025背景：当业务架构或流量放大系数发生变化时无法快速感知，仅在压测环节可以发现此类问题导致影响压测效率，甚至会出现发到线上导致线上问题的可能应用名51应用名51服务名风助临知检查类型接流风险检查接流风险检查接流风险检查接流风险检查接流风险检查限流配置E测油收活动中保障限流和资源回调检查结果描述架构变化流量变化服务类型失失失失失失失失失onesonesonesonesones败败败败败败败败败败存在切流风险(未获取到上游信息)存在切流风险(未获取到上游信息)存在切流风险(非Java服务)存在切流风险(未获取到上游信息)存在切流风险(非Java服务)存在切流风险(非Java服务)存在切流风险存在切流风险(未获取到上游信息)存在切流风险(未获取到上游信息)存在切流风险(未获取到上游信息)别主要是“入口路由”,识别新增入口即需获取全链路架构·入口层不变，内部服务间的调用依赖发生变化，变化识别主要是调用关系和强弱依赖部署结构等变化导致各区流量失失失失失接流风险检查接流风险检查接流风险检查失失失失失接流风险检查接流风险检查接流风险检查接流风险检查接流风险检查onesonesonesonesonesGOPS全球运维大会暨研运数智化技术峰会2025·上海站业务拓扑元信息触发源AlertRCA大诊断工具库基础算法+可观测数据服务Xray链路拓扑服务Xray业务拓扑诊断报告业务拓扑索引业务拓扑诊断报告业务拓扑透出根因分析根因分析MQexecutor2Redis诊断结果诊断结果serviceanalyzerbusinessnodeanalyzerserviceanalyzerbusinessnodeanalyzeranalyzeranalyzer孤立森林DBSCAN异常检测相关性分析专家规则关联分析告警变更告警tracemetric可观测数据GOPS2025GOPS2025Shanghai业务拓扑获取业务环节关联的服务接口，链路拓扑等异常数据检测·过滤节点高风险变更(服务变更，配置变更等),检测告警量是否有突增或高级别告