2025QECon全球软件质量效能大会:基于AI的三阶段自动化测试闭环的构建之道_第1页
2025QECon全球软件质量效能大会:基于AI的三阶段自动化测试闭环的构建之道_第2页
2025QECon全球软件质量效能大会:基于AI的三阶段自动化测试闭环的构建之道_第3页
2025QECon全球软件质量效能大会:基于AI的三阶段自动化测试闭环的构建之道_第4页
2025QECon全球软件质量效能大会:基于AI的三阶段自动化测试闭环的构建之道_第5页
已阅读5页,还剩34页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

基于AI的三阶段自动化测试闭环的构建之道王伟|腾讯优测CTO、腾讯测试平台负责人现任世纪鲲鹏优测云服务平台CTO、腾讯平台与内容事业群(PCG)工具中心测试平台负责人。深耕软件研发效能与质量保障领域多年

,主导设计和研发自动化测试平台及工具链

,深度融合AI技术与DevOps实践

,支撑腾讯QQ、应用宝、腾讯视频等亿级用户量产品的稳定迭代与快速交付。任职期间带领团队攻克高并发场景下的测试效率瓶颈

,推动自研工具链标准化与商业化落地

,打造SaaS化测试服务平台

,服务外部数百家企业客户。王伟

Keven优测云服务平台CTO|腾讯PCG测试工具中心-测试平台负责人目录CONTENTS02

腾讯优测在AI

测试领域的构建之道测试管理|

终端UI

自动化测试|

后台

自动化测试01

自动化测试变革背景与行业痛点03

未来演进方向PART

01自动化测试变革背景与行业痛点01测试效率瓶颈传统手工测试依赖人力,面对复杂系统和频繁迭代时

,测试周期长且覆盖率不足

,难以满足敏捷开发需求。04维护成本高昂测试用例需手动更新和维护

,随着项目规模扩大

,维护成本呈指数级增长

,影响测试团队效率。03缺陷发现滞后人工测试难以全面覆盖边界条件和异常场景

,导致缺陷发现滞后

,增加了修复成本和发布风险。02资源利用低效测试环境搭建和数据准备耗时长

,资源利用率低

,无法快速响应需求变更和回归测试需求。 传统测试流程的核心瓶颈

智能用例生成AI通过自然语言处理和代码分析,

自动生成测试用例

,覆盖更多场景

,提高测试效率和覆盖率。测试环境自治AI驱动的容器化和虚拟化技术实现测试环境自动部署和配置

,确保一致性并降低环境准备成本。自适应测试执行AI根据实时反馈动态调整测试计划

,优先执行高风险用例

,缩短问题发现时间

,提升交付质量。异常检测优化利用大模型能力分析历史数据

,AI能精准识别潜在缺陷模式

,提前预警并优化测试策略。 AI技术带来的范式革新PART

02Aı测试的三阶段构建之道应用系统第一阶段智能辅助(Intelligent

Assistance)建设目标:打造单点智能工具矩阵,实现测试

关键环节效率提升后台模块接口定义+流量数据自动化用例+执行辅助需求-用例智能转化引擎•技术构建需求知识库,解析PRD文档生成结构化测试要点•通过大模型(如DeepSeek)实现自然语言到测试用例的自动转换多模态测试脚本工厂•UI测试:基于App/Web界面截图,通过视觉大模型识别元素及自动推理,生成自动化测试用例•API测试:解析接口定义自动生成测试用例,支持参数组合智能推导智能数据生成中心•

根据接口和业务规则自动构造边界值测试数据•

根据接口流量智能选举,覆盖各业务逻辑分支•

根据用户使用数据构造真实多样场景应用系统

大模型第二阶段智能协同(Intelligent

Collaboration)建设目标:建立全流程智能测试中台,实现跨角色协作与流程自动化需求

报告测试用例

执行自动化测试用例测试流程导航仪•构建测试生命周期智能编排引擎,自动关联需求-用例-自动化用例-缺陷资产多智能体协同矩阵•部署专项Agent:用例生成Agent、数据构造Agent、异常诊断Agent

,实现Agent间指令传递用例自检自愈•API层:当接口发生变更时自动识别上下游影响服务及用例

自动验证修复•UI层:当需求和UI发生变更时自动切换XPath

/图像/文本匹配策略 腾讯优测在AI测试领域的构建之道智能规划:•

根据测试目标智能规划测试方案,拆解测试任务Agent驱动与动态决策:•

动态驱动及监管各关键Agent执行•

根据中间结果动态调整测试方案和执行路径•人工交互:在需要人工授权及决策辅助时,精准发出求助并根据人工干预结果动态调整执行路径智能分析及预测:•

综合各环节测试结果,给出测试结论和后续建议•根据历史测试数据(如缺陷、代码、执行日志等),利用深度学习模型识别高发缺陷测试规划Agent研发集成Agent用例维护Agent用例执行Agent问题定位Agent决策辅助应用系统第三阶段

大模型智能自主(Intelligent

Autonomy)建设目标:构建具备自主决策能力的ManagerAgent系统TPM模块需求文档测试用例(测试点)终端模块测试点用例自动化用例

大模型PART

2.1测试管理模块应用场景与技术实践需求语义分析利用自然语言处理技术对需求文档进行语义分析,提取

功能点和业务规则,转化为可执行的测试逻辑,确保需

求覆盖全面且无歧义。内置用例检查基于业务规范提炼检查规则,对存量用例可从规范性、完整性、二义性等维度进行规则检查并提出修正建议,

提前发现用例设计漏洞,避免漏测。需求图像识别通过图像识别技术打通图文混合需求解析链路,结合知识库的深度语义关联,提升测试用例生成的效率、准确性、可维护性。 测试管理模块用例辅助生成

智能生成测试用例基于需求文档、图片理解拆分,自动生成文本测试用例平均用例采纳率:

47.5%l小规模需求用例采纳率:88.5%l中规模需求用例采纳率:45.5%l大规模需求用例采纳率:

13.8%客户收益测试用例编写效率提升16%,提升测试人员能力“下限”面向群体面向系统测试及测试开发人员核心发力点聚焦

“智能用例生成”达成效果40%+用例自动生成上下文理解结合用户自定义生成要求、上下文对话信息、

已生成的用例

,补充或重新生成用例

,提升非首次的用例采纳率。多模态解析增强对需求中的图片和表格内容结构化提取

,突破纯文本限制

,确保测试用例生成信息更为完整准确。知识库建设建设用例设计方法论、业务术语说明、功能地图等多个专项知识库

,提升业务理解能力。

用例采纳率提升核心技术突破点

02用例自检自愈智能协同阶段,

监听需求变更

根据变更后的需求和历史用例

重新生成用例,

并通知用户进行用例更新治理。01监听需求新增智能辅助阶段,

自动根据新需求生成测试用例

,建立需求段落与用例映射关系

,并通知用户进行

核查修正。03测试计划规划智能自主阶段

,根据迭代规划

,结

合需求与过往测试表现,

自动规划包含手工测试、

UI自动化测试、接口测试、性能测试等多维度的策划师计划。

测试管理模块未来建设重点

PART

2.2终端测试应用场景与技术实践智能模式 终端测试模块传统现状与AI智能驱动对比低代码录制回放同源同工程模式传统模式用例编写

用例执行用例维护报告解读智能模式原有模式35%用例编写效率提升1.3hAI智能模式单条用例编写平均耗时2h传统模式单条用例编写平均耗时用例智能自检自愈自动生成缩短用例编写维护时间,提升用例执行稳定性和准确率基于用例意图,智能决策执行基于用例步骤意图

业务知识,辅助决策执行,减少执

行过程中的异常智能根因分析,问题定位自动分析报告内容,智能检测异常分类,自动根因分析并定位问题,推荐修改方案自动识别文本用例变更,重新生成用例步骤并在手机端执行验证,人工确认修改结果即可,缩短用例编辑维护时间基于文本用例+需求+业务知识,在APP上推理

操作验证,生成测试用例(包含步骤及测试意图)结合推理和APP操作验证,优势劣势用例维护的时间成本高,用

例回放执行准确率低人工编写测试脚本或人工点击自动录制生成脚本

终端自动化测试AI智能模式

执行固定的用例脚本内容,稍有异常逻辑便执行不通过,不能真实反馈业务错误人工逐条修改用例步骤,

进行异常逻辑容错处理,

费时费力且可能存在遗漏人工调研执行异常,逐条

定位问题

UI自动化用例智能执行应用大模型理解并规划用例、感知页面、执行意图、断言结果03执行意图04断言结果01规划用例02感知页面Cascade级联式执行分析子任务的确信度(置信度)

,根据确信情况

,实现快模式(系统1)与慢模式(系统2)

自动切换,

自适应调节推进速度,

同时兼顾质量与效率。AI视觉感知驱动多路感知融合

,结合ocr、detect、caption的精准识别UI布局;通过向量映射、图文对齐、文本OuterAgent负责测试用例

,整体规划与路径调整;

InnerAgent实现子目标的执行、局部异常与结果验证;实现宏观(看的远)与微观(做的准)的有效融合。匹配等

,精确的目标定位,

同时兼顾异常点检测与断言。 AI智能强化方案Outer&

InnerAgent协同通过对元素级、流程级、数据级、环境级等多维度的差异比对

,识别异常类型与可能的影响范围

,如元素偏移、弹窗未关闭、数据失效等。诊断异常分配修复策略执行验证当检测到异常问题时

,系统自动触发修复机制

,根据异常类型分配对应预定义的恢复策略(如关闭弹窗、重试操作、滑动页面、重启应用等)。获取到修复策略后

,立即在当前步骤执行策略内容

,若执行失败则触发消息通知

,提醒相关责任人进行人工核验。更新基线人工兜底提醒元素失效流程阻塞数据异常执行监控异常检测成功失败修复策略分配验证回环智能诊断

终端自动化测试自检自愈机制

基于设备指纹和环境参数构建决策树模型,

自动选择最优测试路径

,支持iOS、Android及多分辨率设备的无缝切换。根据设备性能指标(如CPU/GPU负载)动态调整测试策略

,优先分配资源密集型任务至高性能设备

,优化测试效率。集成网络仿真工具

,通过决策树模拟弱网、断网等复杂场景

,验证应用在不同网络条件下的稳定性与容错能力。跨平台兼容性检测动态配置加载网络环境模拟010203 智能协同阶段遇到的问题

分布式智能执行—多设备协同测试基于优先级队列和负载均衡算法,动态分配测试任务至空闲设备,最大化资源利用率,缩短测试周期30%以上。实时监控设备状态,当检测到设备故障(如死机、无响应)时,自动将其从测试池中移除并记录日志,保障测试流程连续性。支持CPU,

内存,

FPS,

网络上下行流量性能数据,

Logcat实时日志

,辅助技术人员定位问题

,支持设备截图及路线

,支持设备内文件系统操作

,远程真机Debug。构建设备池管理系统,支持Android/iOS/鸿蒙设备的自动注册与分组,实现跨品牌、跨型号设备的协同测试。并行任务调度设备集群管理性能及异常问题捕获PART

2.3后台自动化深度探索接口测试接口Mock性能评估接口监控现网流量录制同步接口文档测试场景编排接口回归测试现网压测

腾讯后台测试流程01

开发阶段02测试环境发布03正式环境发布

04上线后亿级QPS压测量级30w+接口测试执行量(日均)40w+监控场景次数(日均)800w+流量录制条数(日均)

腾讯后台测试实践成果

腾讯元宝e腾讯视频实现方案流量智能选举通过AI智能分析

,将流量进行自动打标

生成接

口构造规则。

再根据用户测试需求进行流量推荐

自动沉淀并定时更新数据集。智能构造数据通过AI智能学习原始流量

同时结合接口构造规

则自动生成测试数据

包含正常数据和异常数据

从而覆盖尽可能多的测试场景。有效性度量通过获取代码覆盖率尽可能覆盖全部逻辑分支重新生成 执行接口测试是0-1覆盖场景目标1-100%覆盖场景

数据工厂的AI应用代码覆盖率是否提升根据规则构造智能学习流量选举智能生成数据加入数据集补充构造规则原始流量数据接口管理精选真实流量智能构造数据--

测试场景

否 AI相关其他探索01

智能生成测试场景02

智能封装函数03

报告智能解读PART

3未来演进方向能够自主的完成任务,

自动化执行Agent、报告分析Agent测试用例生成、测试代码生成...管理复杂工作流、优化运营、参与组织战略制定成功率不高、通用性不足、难以处理复杂问题、需要人工干预原创性、

自主发现未知挑战

,创新性解决应对企业管理、统筹&调配资源、

自主交易AI+医药发明、风险预警&干预...CrewAI、AutoGen、

Manus...聊天机器人L1什么是正交法?边界值?GPT-4、

DeepSeek...ChatGPT、Gemini...Agent

L3组织者L5创新者L4推理者L2 质量领域人工智能发展L1-L5

用例管理接口管理接口测试接口监控终端自动化

WebUI自动化

性能工具Mock工具测试基本理论自动化测试体系性能测试知识图谱经典案例库规范和模板库WTG(页面迁移图)行业规范(金融、医疗、汽车)统筹Agent

测试分析测试策略测试计划实施风险管控报告汇总分析决策支持面向Aı的工具设计和Agent的工作流

探索测试Agent回归测试Agent多模态结果判定接口用例生成接口用例生成流量选举用例自动生成用例规范检测用例资产治理报告解读&优化建议执行集群治理工具、知识库、数据集压力测试

流量录制回放AgentMCPMCPMCPMCPAI的下半场——从解决问题转向定义问题,评估的意义会甚至会超过训练本身。评估最关键的不是设置更难的基准测试,而是要在实际落地的场景中设计一套实用的评估标准。腾讯元宝QQ音乐多模态能力增强,办公、学习场景深化,记忆能

力,安全和合规能力增强;QQ音乐:AI作歌、AI唱、

AI互动...加速AI内容

制作和AI社交探索;腾讯文档腾讯地图AI文档助手,涵盖AI阅读、

AI

PPT、AI

思维导图

提升用户文档使用效率和体验;开放MCP

Server便捷集成个性化推荐,行程规划,

获取实时出行信息等,让AI服务于人们现实生活

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论