2025QECon全球软件质量效能大会：托管算法评测的模拟游戏沙箱实践

陈丽（清焰）｜支付宝、技术专家商家增长策路评测同学

，策略&算法效果评测上有丰富经验，

目前主要负责芝麻信用部门-算法模型评测工作

，保障大促营销场域、商家端智能经营等产品的算法策略（动态定价策略、流量分发策略）等

，通过构建动态仿真能力助力业务的效果和效率提升。陈丽（清焰）技术专家目录CONTENTS02

沙箱仿真评测方案和关键技术04

展望和扰动生成注入探索01

定价模型评测新挑战03

最佳实践全景案例PART

01定价模型评测新挑战业务背景「动态智能定价」旨在指定周期内在不打破商家可接受商品的最底价的情况下，基于市场趋势、商品特征、消费者画像，智能化求解最能吸引消费者成交的价格，提升交易笔数，实现营销价值最大化。定价模型商家托管价格生效场域•

流程：

基于商品和经营环境当前的状态State改变商品价格

，获得收益

Reward，状态发生改变时

stater->stater1,基于之前调价获得的收益和当前新的状态更新调价，并与经营环境继续交互。•

目标：通过定价决策Agent与商品经营环境的逐次交互，积累Trail

and

Error

经验，不断优化決策Action，最终使Reward达到商品A调价x

-

>

y商品经营现状

:[品类,属性,曝光,点击,转化,商品竞争力]商品A调价后的PV/UV/CTR/CVR

收益1

23调价模型抽象和问题定义调价Action状态特征State商品成本价、调价频次等4

约束条件奖励Reward最优状态

:•

效果回收周期长•

迭代效率低场景单一周期长•

资金相关•

直接影响业务全面评估•

多种经营环境•

长尾漏检•阵地流量环境•

商家NPC竞争风险控制

评估的痛点和挑战PART

02基于沙箱仿真评测方案通过动态博弈建模进行

大规模仿真验证，支持环参数境设置和叠加波动干扰，以便于全面评估智能定的合理性、鲁棒性、效果提升、多目标均衡等指标，牵引模型迭代优化。经营环境模拟流量在沙箱内加速回放，模拟场域用户、商品的加入多轮模拟：时空压缩沙箱环境中多轮仿真模拟现实中N个周期的定价更新基于沙箱仿真评测方案竞赛游戏：多智能体博弈博弈模型：智能定价和商家竞争NPC算法调价模型被评测对象

，调用生产环境影子链路：召回

+排序

+定价动态定价场域经营流量环境改价决策商家人工运营改价概率模拟

+游戏难度控制动态博弈算法驱动收益预估模型用户点击&成单意愿度预估业务效果预估建模战果结算噪声注入环境扰动生成模拟阵地流量波动竞品策略冲击异常场景库游戏启动玩家设定•

挑选哪些商家商品（随机模式

+等级抽样）•

最优应对策略（销量最大or利润最大）•

改价概率倍率（激进、常规、保守）•

应对策略利润最大or市场份额

沙箱仿真核心模块假设1.

假设同行业内的所有商家共同争夺一个固定的曝光流量池资源；2.

忽略业务规则导致的智能定价对于不同商品的调价频率（如每日一次、每周一次）托管模怯竞价模怯沙箱技术架构全景图仿真场域经营流量环境，模拟从用户请求→商品召回→定价模型（依据RTP预估的点击/转化率）→曝光排序的全部逻辑动态博弈算法驱动智能定价&商家改价之间的竞争模拟仿真商品曝光之后

，用户点击&成单意愿度，预估业务效果

，作为多轮迭代的必要效果特征回流仿真引擎和影子链路竞争态势仿真收益预估模型010203

仿真关键技术突破与实践 仿真关键技术突破与实践-仿真引擎•

采集来源：

用户来访、AIS召回排序日志、定价请求、周期波动分布

•

流量加工

：聚合过滤，请求改写•

数据优化：数据分片、lindorm同步、分页查询•

流量构建：构造写入、分布校正•

拟真度和代价的平衡：

生产和影子链路切换•

流量识别&隔离：与生产流量隔离、日志分离•

Awatch注入：业务逻辑剔除（跳过有损组件）

和适配（活动未开始修改开始时间）•

高性能及吞吐：

流量加速•

响应式处理链

：流控

、熔断、背压控制•

调用路由&实验分流：

支持不同系统环境，多版本实验路由•

仿真精准度：

回放引擎

-在线引擎高一致率

仿真关键技术突破与实践-仿真引擎链路拟真被测业务链路/模型回放引擎注入经营阵地流量构建流量采集加工生产流量：链路

+数据流仿真流量：带仿真标、压测标仿真关键技术突破与实践-影子链路 仿真关键技术突破与实践-实时特征数仓建设仿真场域经营流量环境，模拟从用户请求→商品召回→定价模型（依据RTP预估的点击/转化率）→曝光排序的全部逻辑动态博弈算法驱动智能定价&商家改价之间的竞争模拟仿真商品曝光之后

，用户点击&成单意愿度，预估业务效果

，作为多轮迭代的必要效果特征回流仿真引擎和影子链路竞争态势仿真收益预估模型010203

仿真关键技术突破与实践竞争态势模拟-动态博弈算法驱动改价策略竞争态势模拟-动态博弈模型简明版•

实际GMV收益函数设置如下公式1

，其中p代表定价，入是价格敏感常数，通过上轮果求解得。Q:

是同类商品

（当前品

+竞品）

全部销量（用上一轮数据）

。

F

代表当前品，l

代表竞品。Wi

是竞品权重，用上一轮中竞品i销量/所有竞品销量估计得到

。求出GMV最大时的pf即为当前品决策出价

（公式2）

。利用上轮效果数据，代入 竞争态势模拟-动态博弈模型简明版场内所有同类商品作为竞争对象场内所有同类商品作为竞争对象同层次商家同类商品作为竞争对象改价概率=线上真实概率*200%改价概率=线上真实概率改价概率=线上真实概率激进型常规型保守型不竞争周期“人工运营”商品均不改价统计近1年时间内所有商品的改价，确定商家分层下各行业类目商品的改价频率。从而确定同行业

下同类型商品的改价概率。在仿真决策中复现这个概率，用伯努利抽样抽取执行改价的竞价商品。 竞争态势模拟-改价倍率竞争度控制竞争模怯仿真场域经营流量环境，模拟从用户请求→商品召回→定价模型（依据RTP预估的点击/转化率）→曝光排序的全部逻辑动态博弈算法驱动智能定价&商家改价之间的竞争模拟仿真商品曝光之后

，用户点击&成单意愿度，预估业务效果

，作为多轮迭代的必要效果特征回流仿真引擎和影子链路竞争态势仿真收益预估模型010203

仿真关键技术突破与实践线上环境会对商品曝光后的用户轨迹分析（浏览-点击-跳转-下单-支付）并做特征回流，沙箱环境怎么仿真？•

为了仿真用户的行为

，我们在沙箱环境建立NN模型仿真用户的点击成单意愿度。•

每一轮双方竞争博弈后需要计算收益函数，并依据收益和经营环境变化，双方重新参与经营竞争。人工运营：竞争对手用博弈模型仿真依据经营收益最优决策应对策略：利润/销量最大or市场份额改价倍率参数调控：控制竞争难度算法运营：被评估对象调用生产环境影子链路依据经营收益动态定价应对策略：利润/销量最大or市场份额

收益预估模型-竞价后的战果结算商家人工决策模拟智能定价模型多轮对决&战果PKWHY?收益预估模型-竞价后的战果结算预测曝光；收益预估模型-竞价后的战果结算PART

03最佳实践全景案例BadCase-合理性（可解释性）•

定价过低（优惠调价过高）:突破商家可接受底价；•

定价过高：非新品定价过高超过

1.15*官网价；•

未达优价未至底价，却向上调价； 最佳实践案例-定价分布&合理性 最佳实践案例-收敛性和业务效果调价的效果正向性•

每轮进行定价效果结算：曝光率/

PV,点击率/PV，转化率/PV、GMV;•

终轮效果结算和统计BadCase-价格竞争力•

无可调空间

：已经逼近低价，但仍然非优价；•

收敛性：经3轮调价，仅54.92%的sku达成优价；•

策略有效性：托管品价竞争力相对其他品仍然不够

，并没有达到转化增长预期。

最佳实践案例-价格竞争力分析价格竞争力：跟同类品的比较,三等分箱PART

04展望和扰动生成注入探索模拟阵地流量波动,如大促活动导致来访用户增加、竞品策略冲击、以及不同事件组合生成等，测试极端场景或对抗场景的定价合理性、鲁棒性、价格竞争力等指标；大促流量波动竞品策略冲击展望-扰动生成和注入探索对典型场景的的波动特性做分析，

并结合生成式模型，构建虚拟数据池，

注入沙箱模拟经营场域噪声。目的分类您动事件举例说明外部环境因素市场趋势与节假日效应电商流量受宏观经济波动和节假日消费习惯影响显著。•

经济下行期用户消费意愿降低，流量自然下滑；•春节、

"双11"等节点会引发流量短期激增，活动结束后又快速回落。竞争对手策略冲击新竞争者入场或头部平台推出低价补贴、限时秒杀等活动时

，会直接分流用户•如同类商品出现价格低于自身15%的竞品时，店铺流量可能骤降30%-50%。•此外，竞争对手的SEO优化和社交媒体营销也会抢占搜索流量入口。政策法规突变行业新规（如化妆品备案制改革、跨境电商税收调整）会直接改变商品供给结构。•例如2023年某母婴电商因"婴配粉新国标"实施，导致30%SKU下架，流量单周下降22%。社交媒体热点引爆网红带货、病毒式传播可能带来脉冲式流量。•某小众服饰品牌因抖音达人视频爆红，单日UV激增500倍

，但72小时后回落至常态的3倍。平台运营与策略因素流量分配机制变更活动资源位轮换（如京东秒杀频道排期变更）直接影响曝光量•某手机品牌因失去黄金时段资源位，单日流量下降40%。促销活动节奏失衡活动过于密集会导致用户疲劳

，间隔过长则难以维持热度。•某xx业务连续3周开展满减活动后，第4周流量环比下降18%；而间隔2周再推新活动流量可回升23%。用户行为与产品特性季节性商品需求波动•服装类目受季节更替影响显著

，羽绒服在10-12月流量占比可达35%

，夏季则降至5%以下。•生鲜电商的流量高峰通常出现在每日早间（生鲜上新时段）和周末（家庭采购时段）。会员体系有效性波动权益缩水导致会员复访率下降

，某平台年度会员续费率从65%跌至48%后，日活流量减少20%。•积分兑换规则变更引发用户不满，某商城调整规则后7天内会员访问频次下降30%。 扰动生成和注入探索-10类异动事件模板库扰动生成和注入探索扰动噪声生成原理2.基于因子库的扰动生成精细化分布预测：不同分层不同的分布同、经营状况不同、用户偏好不同，流量的波动也不同

，每一个分层对应不同的分布函数。直接用全分布描述噪声分布情况

，抽样时直接从其中抽样得到噪声扰动系数1.

前提沉淀：因子库的沉淀10种异动场景采样并沉淀历史样本不同分层情况下由于品的热门度不无分层全分布抽样

扰动生成和注入探索方法思路

：LSTM-Transformer结合LSTM的时序记忆能力与Transformer的多头注意力机制

，捕捉流量波动的长短期依赖关系。•

风险控制：沙箱隔离环境控制风险&复用生产影子链路保证拟真度，模型上线前评测结论输出；•

评测效率：动态评估与实时反馈（当前7轮迭代30min），牵引AIGB模型快速迭代，助力业务GMV提升。•

全面评估：通过多场景流量回放和噪声扰动生成模拟多种场景

，全面反映模型在复