2025QECon全球软件质量效能大会：数据驱动下的广告可见性和真机体验实践分享

QECon2025全球软件质量&效能大会

·上海站2025GLOBAL

SOFTWARE

QUALITY

&EFFICIENCY

CONFERENCE

SHANGHAL数据驱动下的广告可见性和真机体验实践分享吴婷(关九)

|阿里巴巴淘天集团高级测试开发工程师吴婷(关九)阿里巴巴淘天集团高级测试开发工程师阿里巴巴淘天集团用户技术团队高级测试开发工程师，目前主要负责淘宝广告外投业务全域的质量和稳定性保障，在端到端、稳定性、真机体验等专项上有一些创新。毕业后曾就职于网易(杭

州)网络有限公司、有赞科技有限公司，对前中后台的质量保障都有一定积累。QECon全球软件质量&效能大会QECon全球软件质量&效能大会议题背景

技术方案

效果展示未来展望目录CONTENTS全球软件质量&效能大会PART

01议题背景在业界的广告投放中，广告主能通过数据埋点得到流量、

转化、成本等关键指标，从而更好地决策分人群和场景

的投放，最优思路是多维数据驱动下极致精准的人-货-

场匹配。但因为缺乏对广告曝光的“视觉”可见，无法

感知到真实广告呈现-广告承接全流程中用户可能遇到的问题，数据的绝对“理性”无法回答：“感性”的用

户为何不点击不停留不购买的问题。数字埋点·

流量、转化、成本·

人

群

匹

配素材呈现·

图

片

/

视

频广告外投后链路议题背景用户行为·

点击、唤端·

浏览、购买前链路01为什么不点击Q:

参竞率正常、曝光量级

正常，为何用户不点击?A:可能是素材被截断/拉伸

/填充不足，导致广告主体不明确02为什么不停留Q:

页面到达率正常，为何

用户不停留?A:可能是承接页没有还原

素材商品，购买流程中断为什么不购买Q:承接页商品还原率正常，

为何用户不购买?A:可能是站内价格比站外素材标注高，购买意愿丢失议题背景全球软件质量&效能大会PART

02技术方案接着，如何记录广告?方案比较优点缺点人工巡检和录制精准识别广告、探索多元样本人力成本高真机巡检和录制自动化、规模化节约成本，广告点位可持久固化方案比较优点缺点媒体侧加白名单即时生效人工操作，白名单只生效

20min,可见素材有限定制白名单设备广告可见链路，

让白名单设备随时透出广告永久生效需要修改广告引擎代码方案调研想要全流程地感知广告，我们开始拆解问题。首先，如何看见广告?QE方案比较优点缺点OpenCV图像处理技术成熟(边缘检测、特征值比

对等)、问题挖掘正确率较高对输入样本要求较高，广告区域需精准裁切大模型诊断泛化度高、规则灵活复杂场景大模型幻觉最后，如何判定广告存在的问题?其中，图片物料占比80%QE

方案调研方案调研比对各方案的优缺点后，我们引入了一套数据驱动下的广告真机可见性的方案来模拟用户与广告的交互，结合AI大模型技术，判定广告端到端的存

在的问题，让广告变得可见、可寻、可知。真机平台2.大模型：是淘宝广告如何记录广告02

exposure_didMd5_timeStamp.png真机体验：再解决广告视觉的问题aningdMdtimestim.eng真机脚本执行识别淘宝广告站外曝光截图点击唤端站内承接截图巡检工作流如何判定广告效果

03大模型判定：最后分析广告

端到端存在的问题是：进入加白链路真机消耗检查任务匹配创意匹配算法优选如何看见广告广告可见性：先解决

看得见广告的问题一曝光点击一大模型A技术方案真机消耗统计素材大模型判定投承大模型判定数据驱动数据资产集：工程反哺曝光、唤端截图04参竞参竞填充参竞表宽表广告引擎真机设备媒

体01真机集群

工程(巡检)

ODPS

素材大模型1.真机上报2.1补全广告信息2.2广告信息返回3.1素材大模型问题诊断3.2结果返回3.1投承大模型问题诊断3.2结果返回4.巡检结果同步真机集群

工程(巡检)

ODPS

素材大模型时序图投承大模型投承大模型技术方案报表展示报表展示因此新建广告可见性白名单链路，核心操作：1.裁剪不必要的定向逻辑，确保白名单设备广告可参竞2.

参

竞

提

价，

尽

可

能

保

证白

名

单

设

备

竞

胜常规广告参竞链路，涉及人群、地域、投放时

段、设备、网络环境等多种定向过滤，不满足要求的设备不容易透出广告(如投放低活人群，非低活人群广告无法触达)集合竞价时，若参竞价格不够靠前，广告也无

法竞胜和曝光QE1.广告可见性：如何看见广告广告引擎真机设备是：进入加白链路真机消耗检查任务匹配创意匹配算法优选图1:广告可见性工程链路频控策略人群定向投放时段定向设备定向*删减已知广告点位(ADB)脚本编排化·路

径

编

排

化

：将到达已知广告点位的操作路径

编排化，如APP冷启-点击”推荐”-上划一屏·规则编排化：将识别广告的规则编排化，比如

广告标题和广告区域底部的xpath大模型识别·淘

宝

广

告

识

别

：部分场景无法通过关键字识别

时，将截图传给大模型判定是否存在广告·

广

告

区

域

识

别

：部分场景无法准确识别广告区域时，将截图传给大模型，协助定位广告区域2.真机体验：如何找到广告"title_keyword":

"//android.widget.TextView[contains(@text,"淘宝\"]","bottom_keyword"

:

"//android.widget.TextView[contains(@text,\"广告\")]","IMAGE_TOP":

20,"IMAGE_BOTTOM":

32,"move_center":true,"crop_type":"AI""before_option

"

:

O

["option"

:

"cold_start""option”":"click","xpath":"I/*@content-desc=\"精选\"]/android.widget.ImageView[]""type":

"xpath"

,2.真机体验：如何记录广告广告信息上报订单·站外广告曝光图片/视频·站内承接页截图·

广告上下文(全屏)、广告文本·

唤端链接爆品团

超抢手爆红包

鲜花礼品cecot可生锡路陵瑞幸咖啡绿沙沙拿每日特价1.9元起站内承接页淘宝闪购淘宝闪购点

外

卖

更

优

惠新人一分钱起站外曝光图广告上下文(全屏)上淘宝，超便

宜，免拼单!巨浪淘宝闪购点外卖更优惠新

人

一

分

钱

起点

此

查

看上淘宝，超便宜，免拼单!巨浪上淘宝，超便宜，免拼单!巨浪点此查看上淘宝，超便宜，免拼单!巨浪滑动可继续阅读》主体不一致(图片被替换)版位不一致(横版竖版)图片截断图片拉伸过期素材投放·

闪购承接页规则·

穿搭承接页规则·

商品承接页规则·

曝光和承接商品品类一致·

曝光和承接商品价格一致3.大模型判定：如何判定广告效果素材大模型投承大模型问题一

：我们接入广告点位，前提是已知点位位置和到达的路径，将寻广路径编排化。但广告点位多如繁星，

靠人工经验去覆盖巡检点位，很快就会资源枯竭，无法进行更广更深的场景覆盖，陷入小样本困境。如何智能化地挖掘出更多的广告点位?核心突破：自主探索、自主决策、持续挖掘4.如何自主挖掘更多点位参考了业界的一些手机智能体的方案，主体结构包括：感知模块(UI

信息、手机状态)、大脑模块(存储、知识、决策)、

行动模块(点击、输入等)。模型可以用纯提示词工程(纯文本、多模态),也可以用基于训练的方法(监督微调、强化学

习等)。模型自训练需要大量自然语言映射到UI动作的基础数据集。EnviromentIwant

a

lattedelivered

to

my

Perceptionoffice.IntentPerceptionBrainDecion

Makingplaningreasoning

reflection手机GUI

智能体框架，图源：网络4.手机GUI智能体框架ComprehensionSingle/Multi-AgentActionUserQE

4.广告真机挖掘类比业界方案，在已有成熟的多模态模型能力的基础上，我们也搭建了一个真

机挖掘模块，其中：·

图片感知模块：文字识别OCR、

页面图片相似度判断等·大脑模块：多模态提示词工程·

行动模块：基于ADB的页面操作整

体

流

程

：1.ADB

手机操作：点击、滑动，截图传到本地2.元素检测：页面图片相似度判断、OCR识别文字3.行动决策：将检测到的元素构建大模型prompt,

获取当前页面可点击

元素，如果命中关键词则优先探索4

.

遍历探索连接设备并初始化屏幕截图与数据采集识别其中的元素，并记录广告数据策略决定操作

大模型决策操作继续截图及探索运行可视化效果，平均1h内可遍历完成一个app,

多

app当前累计挖掘到曝光占比34%的广告点位QE

4.运行可视化效果手机应用探索可视化持续追更最新上架好书冥王宝宝三岁半，反源哥哥基养家中赏空出一口福材，核材申连赖·85万字·前意·轻我靠乌鸦嘴带全家脱贫致富

8.0分T.

玄规手京鬼中觉世一宋集婷给城分不好的穷小子连载·77万字·年代·逆荡名

著

经

典

永

不

过

时

!丰乳吧实时监控中-15:48:36(430,204)登基废射马?督公他醋到要废联!”现索小说发现视颐德理案报

。罗骤：第122步

.

当前深度：02

3

德drt-2380216

四全局候选队列(50个)立即参加错登科女

文

山

动

少讨论10万+,现象级出圈!多情应笑我语小七出品!女扮男装翔笑古言重生后，我成了奸臣黑月光谅浮穿端到了一个异能者跟普通人共存145621/gage_1752648993_0-png操作信息4.如何精细识别投承问题问题二：我们的承接页是多种多样的，判断投承一致问题的规则不一。比如做商品投放的素材和承接要求所见

即所得商品还原，但闪购素材只需要素材与闪购相关，承接到闪购页面即可。之前单agent

将所有的规则提示词

都放在一起，误判率较高。如何精细化分类并精准识别投承问题?XCassihar

otput于结果的罐出将

单agent

统一评判修改为基于流程编排的多agent

工作流，先判断承接页类型，再进入不同的agent

进行具体规则评判，

最后汇总输出。同时，要求大模型输出思考过程，遵循transformer

原型逐个token

推理，提升输出准确性。分解成多agent

后，整体评判正确率优化了25%。QE

4.多agent

工作流Woutpua

自含商品承模贾ELSEgemini-2.5-1ash-1

…闪购

SCoutput)全球软件质量&效能大会PART

03效果展示带盖制冰盒免开盖按压出冰全场1分起购免开盖按压出冰免开盖按压出冰版位错误淘宝闪购淘宝闪购点外卖更优惠天天领外卖红包，最高19元素材被替换素材被替换版位错误素材截断素

材

过

期效果展示素材大模型上淘宝，超便宜，免拼单!巨浪上海室，超便宜，免拼单!新人100%领好礼等你拿新人100%领好礼等你拿素材过期素材截断投承不一致商品未还原价格不一致效果展示商品未还原商品未还原投承大模型享唐人报7工咳·定菜套中班超亲陆示e.

日

垂(72:52701分，展你a璃第兵(共tem回

J

大中地趄亲宸

匣

抽

唇

示r0.0价格不一致投承不一致大模型赋能将纯工程处理的问题判定简化为大模型的自然

语言规