2025QECon全球软件质量效能大会：AI重塑测试：从冷启动到α闭环

郭晓辉｜平安人寿质量管理团队副总经理目前全面负责质量团队的管理工作。通过整合测试

，重塑了寿险的质量体系建设：包括组织治理、梯队建设、缺陷管理、研发质效度量、

自动化测试、工具平台等。近年来在AI重塑测试方面积累了宝贵的经验。加入寿险前

，

曾供职于腾讯、百度等多家知名互联网企业

，深耕质量工作16年

，有丰富的软件质量保障体系建设经验。多次带领团队在顶级行业峰会（QECon、TOP100）做测试相关报告分享，获得广泛好评。郭晓辉平安人寿质量管理团队副总经理目录CONTENTS01

挑战与机遇02

思考与应对04

结语与展望03

探索与实践1、是否有Deepseek的应用要求?2、有没有明确的目标?3、投入额外资源?一切,要从25年春节开始PART

01挑战与机遇：AI编码质量和降本风险损失•

基础设施下线：全网接口504

，多个依赖

服务中断•

集群过载：核心业务瘫痪•

AI代码：复制开源代码漏洞

，带出浮点数

精度问题•

应急响应资源缩减：无法叫车、通勤瘫痪•

过载无预警：课程中断

，直播业务停摆老的质量风险依然存在

，新的质量风险加速到来22年23年24年25年开发

测试人力资源下降过去3年

，每年减少平均XX%人力（开发+测试）人力结构调整项目化趋势

，外勤占比提升50%，

自动化落地要求加大

25年5月

代码质量

GitHub

25年AI代码缺陷密度提升23%u25年Q2发布开发故事数同比提升46.2%u测试缺陷数同比增长31.8%时间2024.42024202420242025.424年AI代码重复率同比上升8倍技术债的前置化

，代码评审、安全缺陷LLM目前不擅长大型复杂软件编程现实中生产软件大都属此类

，出现AI引发的生产问题问题OpenAI服务中断云服务崩溃交易对账故障出行服务崩溃线上课堂崩溃AI代码占比爆炸式增长代码价值GitClear测试资源占比持续下降uuQEcon2025降本增效开发提速辅助编程被动主动一、

能驾驭AI的测试：1、将更被开发需要:LLM底层是模仿编码，可能被滥用（主动和被动）

，代码质量下降是大概率事件

，测试将更被依赖2、工作更快更轻松：——新模式《理解

调教确认:+++》（手工用例+手工点点点

→

调教AI

+确认用例+调教自动化代码+确认缺陷）3、测试更好更专业:

左移（需求测试，

白盒、TDD、静态扫描、Al识别风险）

，

自动化测试

，右移（监控，总结

，风险洞察

，持续改进）二、

掌握AI的紧迫性：1、竞争和KPI压力：质量、效率背后

，还是成本,成本,成本！！！2、大模型继续进化：幻觉、上下文理解力、输出不确定性

，持续改善3、上下游的加速:

需求因为AI提的更多更快

，开发因为AI加速编码三、一些有利的条件：1、GPT→DS:

大模型成本降低

，能力提升

，使用环境改善

2、时间窗口+1:LLM编码引入风险的共识

，开发人员在慎用LLM3、时间窗口+1:

知识库缺失，暗知识需要显性化4、模式探索:

如寿险测试的探索

：α环5、单点经验:

规则类测试、分析类工作、单据对比《

LLM辅助编程的短期效率红利与长期债务陷阱》

-2025年QEcon上海行业标杆

活动公司

效果测试AI应用BBTAA•

接口覆盖率提升

，线上故障率下降•

AI完成90%标准化操作大幅提效•

覆盖率、异常检测准确率、效率提升•

复杂场景造数耗时h级降至m级跨境订单构造从3h缩短至10m•自动爬取+语义分析

，动态更新•外部调研结果：各大公司测试团队用例设计

，测试数据准备，

自动化测试方面积极开展探索

，并有不错的效果。

[1]•兄弟公司情况

：除上述子领域

，集团研发管理平台团队（神兵）All

inAI

，牵引各BU也在积极探索应用场景

，包括精准测试、安全测试。

[2]•寿险测试情况

：围绕自动化探索

，近期开发用AI编码

，代码质量出现下降趋势

，需要对AI编码质量展开评价

，加速自动化提效。

[3]寿险

[3]AI编码给到测试压力AI编码-测试缺陷故事比

：0.XX非AI编码-测试缺陷故事比

：0.XX对比差:79%案例&信心积累25年之前单点25年以来专项化•East2.0造数•

线上问题检查•

单证对比•

KPI牵引AI用例替代率、

问题发现率

•

AI用例设计①•

AI智能造数③•

AI自动化+用例转化②兄弟公司

[2]神兵All

in

AI

测试①

用例生成②

接口自动化③

造数④

安全测试各BU积极探索•CX：

UI自动化•

YH：AI用例•

YLX：精准测试用例生成造数接口自动化知识工程建设UI自动化PART

02思考与应对：从单点到闭环如何定义好的自动化：

1）发现问题：不只是省时间2）信心足：报错就是问题

，且必须修复，为什么要加强自动化：

1）效益更高：

2.25倍（10%自动化→20%缺陷）2）执行成本很低。缺陷洞察（RQI）产能分析（人均测试缺陷）数字化（人力管理）通过就是OK。l知识库建设（依赖产品需求质量、

完善的设计文档

，规范的接口定义）l用例设计（需求理解

，技术评审等）①用例设计20.

6%②造数33%③用例执行41.

6%（自动化+手工）发布&生产验证

1.8d

9.55%

l自动化造数l

接口测试脚本转化lUI自动化脚本转化度量&改进

2.28d

12.1%

需求/设计复审

2.28d

12.1%

ST测试

4.46d

23.67%

用例设计

2d

10.6%

用例评审

1.4d

7.43%

冒烟测试

1d

5.31%

UAT测试

1d

5.31%

回归测试

2.62d

13.91%

缺陷分析4.

8%耗时流程关键活动破解之法：

自动化依赖24年TOP4测试活动

，占整体活动耗时75.42%l

ll

前中后拆分：

用例

，执行

，度量

依托神兵

，AI能力在具体测试活动深度应用（AI用例替代率55%、AI造数成功率73.1%、AI自动化问题发现率30.3%）

文字信息的理解、

评价（线上问题质量评分

，问题分析耗时节省25%）

固定规则的识别、

检查（监管规则生成正反例数据

，缺陷占比10%+）

文本信息提取、

比对（证件信息提取、字段匹配后比对效率提升80%）关键测试活动提效个别场景试水长期何去何从？从0到1低成本参与

，小范围试用从1到N复制经验

，寻找最佳实践2025.1.20DeepSeek

R1发布“热启动”新的问题浮出水面:Q1：如何让各单点的工作更有效？Q2：如何设定自动化的合理目标？Q3：如何更好的驱动团队编写自动化脚本？A1、以自动化问题发现率、Al用例有效性为结果目标

，以自动化用例转化率为关键过程指标

，

串联关键测试活动。

注A2、建立自动化知识库

，通过AI预测天花板

，并在用例设计时判断自动化。A3、执行偏差分析为抓手:

找到问题

(能力?意愿?

平台?

),间接串联起用例设计、造数和自动化执行,形成闭环

(概念形成)从0到1低成本参与

，小范围试用从1到N复制经验

，寻找最佳实践造数难以规划：上下游测试活动、数据缺少联动→

造数无效，无法应用在自动化和执行场景。自动化问题发现率提升困难：徘徊20%+，依赖测试人员的主动性

，和对自动化平台的熟悉度。“冷启动”

“热启动”

注：①、

自动化问题发现率

=

自动化发现缺陷/总缺陷②、AI用例有效性(效率)

=AI用例发现缺陷/总缺陷③、

自动化用例转化率

=转化成自动化的用例/总用例测试新流程固化模怯形成闭环小飞轮闭环2025.1.20DeepSeek

R1发布关键测试活动提效AI生成用例爆炸：20%的缺陷。55%的AI用例仅发现I.II.手工？③AI生成接口用例+人工检查①AI生成用例+人工+执行方式自动化平台知识库测试到执行

，过程依赖都ok吗？手工执行自动化执行自动化应转尽转了吗？25-

1月25-2月25-3月25-4月25-5月25-6月25-7月25-8月UI自动化发现问题数②DS造数+人工检查测试缺陷偏差分析10月1

1月12月8月9月6月7月ST测试4.46d23.67%②造数33%用例设计2d10.6%①用例设计20.

6%发布&生产验证1.8d9.55%需求/设计复审2.28d12.1%度量&改进2.28d12.1%用例评审1.4d7.43%冒烟测试1d5.31%流程耗时关键活动③用例执行41.

6%（自动化+手工）24年TOP4测试活动，

占整体活动耗时75.42%UAT测试

回归测试2.62d13.91%1d5.31%缺陷分析4.

8%小安是个新员工...PART

03探索与实践：

α环驱动持续提效①②③③①预测可自动化率①实际自动化率②③自动化问题发现率③缺陷逃逸率识别问题实施改进降低偏差自动化偏差,10%

15%

20%

25%

30%

35%

40%

45%

50%

55%

60%

65%

70%

75%

80%总耗时

测试执行耗时自动化转化耗时100806040200α环提效示意图*理论推理

非实际提效价值（节省人年）1月2月3月

4月

5月

6月

7月

8月

9月提效价值

提效目标21.510.50-0.5-1自动化转化能力（自动化率）27.69%22.90%20.01%

20.59%15.27%15.30%13.44%8.

15%6月

7月

8月

9月全系统

α项目

加入α环项目自动化用例占比高于系统均值16.5pt

加入α环前后对比，

自动化脚本转

化率提升20%+

加入α环前后对比

，发现缺

陷总数占整体缺陷22.3%

加入α环前后对比，

自动化

问题发现率提升8.4%11.8%3.7%6月

7月

8月

9月全系统α项目

偏差40.7%

36.3%

6月开始，

陆续有系统加入α环系统后

，整体提效收益由负转正*提效价值=

自动化执行节省人力-自动化转化投入人力25年6月~9月

，累计31系统（占比12.5%）参与α环试点，

自动化发现缺陷能力、

自动化脚本转化量持续提升发现缺陷能力（版本平均缺陷）可以建立自己的α环吗？重塑l

观念（抵触→拥抱）l

技能（不会→驾驭）l

目标（质效→AI下的质量+效率）l

活动（用例设计、

造数、

自动化）l

自有（

、

专项自动化）l

共建（神兵：造数

接口）①

③②人员能力测试流程工具平台Work！！沉淀49个标杆模板覆盖9大类需求场景，实现AI用例设计“零门槛”赋能！“执行方式预测”知识库

“业务功能”知识库“线上问题”知识库“测试要点”知识库问题与应对知识库噪声大提示词不统一AI用例发现缺陷率低经验总结prompt工程革新知识库增强分级过滤模板标准化缺陷反哺提示词Notwork！！AI替代人工分析、拆

平台化解、编写

管理用例UI/接口自动化用例AI生成测试用例AI生成测试点平台重塑流程用例评审需求文档人工审核智能体推荐执行方式3月6%4月5月

6月

7月

8月

9月AI用例发现缺陷占比趋势——

20%3月4月5月

6月

7月

8月

9月14%3月4月5月

6月

7月

8月

9月AI生成用例助手工具渗透率98%用例设计提效15%（AI生成用例

，对比人工节约的投入）经验&教训

55%AI用例占比趋势25%

效果数据创造-AI生成及存储

数据应用-AI检索及共用数据治理-AI合规检查

标准化复用

自动获取库表元数据（枚举值、

外键）增量转存量Rag：

业务知识、

库表知识、

映射关系造数能力复用AI检视存量能力造数能力共用分享及权限管理共享性、

集中性、

唯一性、

及时性敏感信息、

危险关键字复用至所有集团内9家BU提供Mcp标准化接入上下文长度超长枚举值缺失SQL性能问题外键无法关联•SQL造数：

脚本生成并执行

，支持Oracle、

Mysql、

Hive等•API造数：

自然语言->AI匹配API->局部变量解析->人工确认->执行API•一体化造数平台：

提高测试数据共用、

复用度

，打通AI用例->AI造数-

>自动化执行全流程造数提效26%（AI造数

，对比人工节约的投入）18.8%5月

6月

7月

8月

9月AI智能造数成功率趋势

73.1%LLM+Agent+Rag

，人机协作

，构建数据生成、存储、应用、治理、改进新体系测试数据容错率低

，AI生成细微偏差即失效验总结Notwork！！问题与应对经验&教训Work！！效果 AI用例转换基于编码规则用例审计

，

能力有限AI判断可自动化用例

（接口+UI）

执行自动化占比趋势自动化问题发现率趋势自动化用例比例：系统测试阶段自动化用例比例提升至15.3%自动化问题发现率：提升至30.3%，其中UI自动化问题发现率提升80.2%19.6%

30.3%3月

4月5月6月7月

8月

9月全系统α环项目8.5%15.3%3月

4月

5月

6月

7月

8月

9月全系统α环项目

采用低代码接口自动化平台

，更高效准确

平台通过MCP

Server调用第三方服务

接口平台能力知识补充

业务知识库补充

接口文档建设仅生成单接口用例

在执行生成计划前，AI

识别可自动化问题与应对Notwork！！靠人工梳理

，

手工标记可转自动化通过手工用例转换耗时高经验总结AI生成接口自动化用例AI的接口用例质量评审工程建设知识库建设 AI

审计用例接口用例断言生成不精准

补全接口文档信息

提示词模板化管理经验&教训Work！！添加前置步骤效果l

观念（抵触→拥抱）

l目标（质效→AI下的质量+效率）

l

自有（

、专项自动化）l

技能（不