2025QECon全球软件质量效能大会：基于LLM的智能巡检探索实践

基于的智能巡检探索实践黄文昊｜OPPO

高级软件测试工程师现任OPPO快应用质量保障负责人

，牵头规划与实施客户端自动化测试体系与性能专项建设

，通过设计分层质量保障方案及效能工具链开发

，有效提升产品交付质量与测试效能；作为DTA成员深度参与部门技术工线建设

，主导大模型在测试领域多场景的落地应用研究。从业期间先后任职于招银、腾讯、

Shopee等企业，在金融科技领域具备丰富的质量保障经验

，擅长通过精准测试、精准监控及DevOps体系建设实现研发效能持续优化。黄文昊OPPO高级软件测试工程师目录CONTENTS03

实践成果04

未来畅想02

技术探索01

背景介绍背景介绍需求调研

产品背景诉求：需建立有效的巡检策略，以覆盖多样功能、适应快速迭代、确保生态兼容性、支持跨平台适配，并加强安全与合规性审核。

需求调研

产品分析服务于各行各业的开发者，但其编码习惯和规范各不相同与多第三方服务和

API整合，存在兼容性风险支持多终端和操作系统，需进行品牌适配测试需要确保生态资源的安全性和合规性功能模块多样，场景复杂跨平台兼容性测试复杂性安全合规性生态多样性生态兼容性世类型稳定性执行效率用例成本接口自动化稳定性高（直接

调用，无前端依

赖）符合预期直接调用API，无界面依赖，执

行最快（毫秒级）符合预期编写成本：中低

（需定义请求/断言，技术门槛适

中）维护成本：中（接口变更需同

步更新，但结构

稳定）逻辑层自动化稳定性中高（覆

盖核心逻辑），

依赖框架健壮性符合预期聚焦业务逻辑（如Service层），依赖中间件（DB/MQ），速度中等（秒级）符合预期编写成本：低（聚焦业务逻辑，依赖Mock/桩）

维护成本：低（业务规则变化

时需调整，代码

耦合低）UI自动化稳定性低（受环

境/元素变动影响大）不符合预期模拟用户操作，受渲染/网络影响，执行最慢（分钟

级）不符合预期编写成本：高（需处理页面元

素、交互、等待

机制）维护成本：高（前端变动频繁，元素定位易失效）

技术预研

技术选型

接口自动化无法验证用户体验及界面表现逻辑层自动化忽视用户输入，难以覆盖复杂场景

UI自动化易受界面变化影响，维护成本高痛点：无法满足构建生态健康度量体系的诉求当下能力通用性时效性生态健康度量体系低成本能力预期关键收益•效率提升：单小程序全量检查从小时级降至分钟级。•覆盖率：通过动态路径发现，页面覆盖率达95%以上。•成本优化：维护用例人力减少70%。分布式执行能力•

集群化测试•

目标源剪枝•自愈机制及异常熔断•

AI驱动探索•自更新规则库自主遍历能力•

页面路径发现能力•

元素动态定位能力•

跨版本/机型适配能力

技术预研用例健壮性设计技术探索多专家prompt生成层数据清理路径生成模型层组装promptVectorizedembedding数据库遍历模型向量检索多模态元素识别引擎状态空间建模原始页面信息数据层数据层页面数据集PDSVectorizedembedding数据库模型层RAG检索增强生成路径生成模型生成层路径生成结果 基于智能遍历的用例健壮性增强方法研究维度DOM/控件树定位图像/OCR精准度高中低执行速度快慢维护成本低（结构稳定时）高适用场景标准Native应用游戏/非标准UI技术门槛低中 基于智能遍历的用例健壮性增强方法研究元素定位触发选型路径构建结果校验确立控件识别为基准定位机制，视觉辅助定位作为容错补偿基于yolov7目标检测定位缺点：仅能基于坐标定位基于DOM/控件树定位缺点：识别不全 基于智能遍历的用例健壮性增强方法研究元素定位触发选型路径构建结果校验②遍历XML树,对

clickable或为true的控件根据

bounds是否超过限定值，划分可触发控件部分③基于目标检测算法，通过对目标界面进行特征提取与区域定位分析，输出候选控件集合④聚合①将屏幕的UI布局转储成一个XML文件focusable④聚合示例图类型执行速度执行效率执行要求使用成本Appium较慢。

基于客户端-服务器架构（JSONWire协议）

，存在网络通信开销。底层依赖UIAutomator（Android）或XCUITest

（iOS），增加中间层延迟。相对较低。

依赖中间服务（AppiumServer）和设备驱动，元素定位可能因渲染延迟失败。跨平台特性导致Android/iOS兼容性问题。中等。

需配置AppiumServer及依赖库，支持多语言（Python/Java等），但需理解WebDriver协议及

跨平台差异。中等综合成本。

学习曲线平缓（支持多语言），适合跨平台需求。但环境配置复杂，问题排查成本较高。UIAutomator中等。

作为Android原生框架，直接调用系统API

，效率较高。但需通过Java/Kotlin编写逻辑，复杂场景可能略慢于ADB。最稳定。Google官方维护，深度集成Android系统，对控件操作支持全面，不易因环境变化失效。较高。

需Android开发环境（AndroidStudio），熟悉Java/Kotlin及AndroidAPI。适合深度集成测试。高开发成本，低维护成本。需专业开发技能，但脚本健壮性强，适合长期维护的中大型项目。ADB最快。

直接通过命令行与设备交互，无额外抽象层，适合简单操作（如点击、滑动）。但复杂操作需组合命令，效率可能下降。中等。

依赖设备连接稳定性，复杂操作易受界面结构变化影响（如控件ID变动）。需额外处理异常（如超时、权限）。最低。

只需Android

SDK环境，无需编码，适合简单脚本或快速调试。但对复杂逻辑（如动态控件）支持有限。低学习成本，高维护成本。入门简单，但脚本脆

弱，需频繁适配UI变化，适合小型项目或临时任务。 基于智能遍历的用例健壮性增强方法研究元素定位触发选型路径构建结果校验智能搜索服务异常推理服务大模型引导模块图遍历服务数据存储服务传统搜索模块视觉识别服务传统识别服务聚合服务动作抽象服务

状态自动机服务状态空间建模原始页面信息多模态元素识别引擎自BFS策略适应 基于智能遍历的用例健壮性增强方法研究元素定位触发选型路径构建

结果校验页面数据集PDS多模态元素识别引擎状态空间建模自BFS策略适应图遍历服务特定页面标识组装prompt生成路径

合适的prompt策略提升路径生成的准确率及覆盖率

兜底处理有效改善了大模型生成的不稳定性多专家

prompt重组集合数据检索数据清洗建模后数据 基于智能遍历的用例健壮性增强方法研究元素定位触发选型路径构建

结果校验阈值法区分是否为纯色界面1.转换颜色空间：将RGB转为HSV，提取亮

度通道。2.计算亮度统计值：平均亮度（Mean）：白屏时接近255，黑屏时接近0。亮度方差

（Variance）：白屏、黑屏方差低（颜色

单一），正常界面方差高。3.动态阈值判断：若Mean

>

T_white

且Variance

<

T_var，判定为白屏。若Mean

<

T_black

且

Variance

<

T_var

，判定为黑屏。4.优化阈值：

T_white

、T_black

、T_var根据业务特性进行设置。 基于智能遍历的用例健壮性增强方法研究元素定位触发选型路径构建

结果校验界面渲染层检测业务合规性检测UI元素完整性验证智能异常推断基于亮度统计的分析区分有控件的纯色界面与异常屏1.

预处理：

对图像进行高斯模糊去噪。2.

边缘检测：

使用Canny边缘检测。3.

统计边缘密度：

计算边缘像素占比。4.

判定逻辑：

白屏

、

黑屏：

边缘密

度极低

（<

1%

，

根据业务调整，界面渲染层检测UI元素完整性验证业务合规性检测 基于智能遍历的用例健壮性增强方法研究元素定位触发选型路径构建

结果校验边缘检测+纹理下同）

。

正常界面：

边缘密度较高

（>

5%）

。智能异常推断 基于智能遍历的用例健壮性增强方法研究元素定位触发选型路径构建

结果校验

涵盖各种尺寸类型

包含尽可能全的组件

提供充足的数据，以支持训练集、测试集和验证集的构建界面渲染层检测业务合规性检测UI元素完整性验证断言逻辑数据准备与标注模型训练与调优标注规范场景覆盖智能异常推断 基于智能遍历的用例健壮性增强方法研究元素定位触发选型路径构建

结果校验YOLOv7

>

Faster

R-CNNYOLOv7

<

Faster

R-CNNYOLOv7

<

Faster

R-CNNYOLOv7

>

Faster

R-CNNNVIDIA驱动版本和CUDA版本的对应关系

CUDA的版本和PyTorch版本也有对应关系速度精度部署资源样本数据界面渲染层检测业务合规性检测UI元素完整性验证智能异常推断断言逻辑数据准备与标注模型训练与调优配置要点预训练模型选择

基于智能遍历的用例健壮性增强方法研究元素定位触发选型路径构建

结果校验界面渲染层检测业务合规性检测UI元素完整性验证断言逻辑模型训练与调优数据准备与标注尺寸匹配智能异常推断 基于智能遍历的用例健壮性增强方法研究元素定位触发选型路径构建

结果校验界面渲染层检测业务合规性检测UI元素完整性验证断言逻辑模型训练与调优数据准备与标注存在性检查智能异常推断 基于智能遍历的用例健壮性增强方法研究元素定位触发选型路径构建

结果校验界面渲染层检测业务合规性检测UI元素完整性验证断言逻辑模型训练与调优数据准备与标注遮挡测试智能异常推断 基于智能遍历的用例健壮性增强方法研究元素定位触发选型路径构建

结果校验界面渲染层检测业务合规性检测UI元素完整性验证智能异常推断实践成果•融合图像目标检测与控件识别双模互补机制•广度优先遍历与智能路径优化•改善鲁棒性，提升机型覆盖【通用性缺乏】标准不一致性及执行平台差异性【时效性不足】测试场景广泛且待测资源数量庞大•分布式执行，提升并行效率•大模型干预剪枝，提升问题检出率•

自动化脚本生成与自愈机制•

自动化校验闭环【成本待削减】全行业对效率提升的诉求已逐渐常态化03

问题闭环0201数据中台（存储资源信息）中控中台（核心调度与管理层）测试管理平台（监测资源质量趋势，负责测试报告生成及可视化呈现）

落地架构元素定位引擎路径生成引擎规则校验引擎多

维

聚

合

处

理器智能分类过滤器灰度梯度异常辨识模块目标检测驱动异常判定模块结构识别模块视觉定位模块路径探索模块大模型驱动路径生成模块检索增强模块自定义规则编码规范规则合规规则图像校验引擎

流程概览②制品库取线上包，流水线触发任务，进行设备分配及调度

⑤三方问题，三方自行解决①定时根据策略查询上线资源信息④报告生成，运营分配任务③自动化脚本生成并检查⑤引擎问题，T+0修复CD智能推断问题,84安全合规问题,153

问题分布UI完整性问题,203页面渲染问题,843

客诉分布大模型开销

大语言模型tokens

视觉大模型