2025QECon全球软件质量效能大会：用智能测智能-智能测试工具体系建设实践

胡涛｜中国银联智能化创新中心中国银联测试工具体系建设负责人负责完成涵盖功能测试、

性能测试、

高可用测试的工具平台落地应用参与核心交易系统、

亿级用户的云闪付APP等的工具建设、

质量保障和全链路压测目前牵头开展测试工具智能化建设胡涛中国银联高级软件开发02

构建智能系统的测评体系03

测试工具的智能化实现04

落地实践05

总结&展望目录CONTENTS01

智能系统的质量挑战PART

01智能系统的质量挑战01

02

03动态演化与持续学习回归测试范式挑战版本管理与基准漂移挑战环境隔离与数据污染挑战用户体验一致性挑战非确定性与语境依赖测试用例爆炸断言机制失效测试结果闪烁语境构建与验证挑战自主规划与行动能力决策流程验证挑战外部依赖模拟挑战目标达成的最优路径评估安全与伦理挑战智能系统的典型特性维度传统系统智能系统原则验证

(Verification)评估

(Evaluation)核心确定性，布尔逻辑概率性，置信区间结果精准断言人工、智能的判定焦点功能正确、系统可靠稳定泛化能力、鲁棒性、公平性、可解

释性输出通过/失败指标阈值，测评报告

智能系统和传统系统的差您

测试思维转变总结而言，测试智能类系统的核心思维转变在于：从验证确定的、静态的输出转向评估不确定的、动态的、持续演进的行为和能力。这对测试架构、工具链和测试工程师的思维模式都提出了全新的要求在持续变化中监控、评估和管理系统，确

保其稳定向好发展评估语义正确性的概率分布验证其与环境交互的决策链的合理性、鲁

棒性与效率保障版本质量验证确定性的输出验证函数返回值PART

02构建智能系统的评价体系基准名称核心场景数据规模任务类型GAIA日常复杂任务解决（如比价、查资料）466道题目，86个

手工构造的多跳任务多模态处理、Web搜索、工具调用、推理、规划等任务完成率、推理正确性、抗提示工程依赖AgentBench模拟真实环境操作（CLI、浏览器、数据库）1300+任务，8类环境工具调用、API执行、环境交互、任务成功率、

自主性RAGASRAG系统质量评估（知

识问答）小到中：无需groundtruth文档检索、答案生成等的事实一致性、相关性、

上下文召回LangTest鲁棒性、偏见、对抗性测试支持自动化生成测试用例输入扰动下的稳定性、社会偏见检测、对抗样本

识别DataSciBench数据科学全流程222提示→519测试用例数据清洗、分析、可视化、建模、报告生成PaperBench(OpenAI)学术论文复现20篇ICML顶论文，

8316评分节点论文理解、代码开发、实验执行

业内常用的评测工具测评任务远超实际需求，专用价值被忽视通用基准难以覆盖垂直领域知识深度忽视语言风格、交互流畅性、容错机制不评估Token消耗、响应延

迟、调用成本复杂度错配领域适配性弱用户体验盲区成本效益缺失

主流测评工具

≠企业智能系统成功标准在真实业务场景中，稳定、安全、高效地解决具体问题，并持续优化强约束弱约束

智能测试测评目标场景契合度功能完成率安全合规响应效率用户体验运维成本场景理解完整性语言自然性意图识别准确率答案合理性置信度多轮对话连贯性

基于真实业务任务设计“

自己的

benchmark”字段抽取状态更新表单填写结构化调用指令出发正确性弱约束置信分数模型评测强约束100%正确程序校验任务完成准确性PART

03测试工具的智能化实现

智能工具框架协同策略+过程可控智能化+传统工具程序优先+模型赋能注重反馈+持续迭代测试案例生成Agent测试语料构建

业务数据准备

同一主题扩展

测试标注维度

关键：

案例同主题扩展

同义词替换

专业词强化

低频词插入

歧义词构造

错别字容错用户体验测“

是否好用”•

多轮对话树•语气一致性测试•A/B话术对比集•用户满意度问卷可维护性测“

是否可追溯”•

决策链追踪用例•提示变更影响集•错误恢复测试•

审计日志验证安全合规测“

是否合规”•

隐私泄露诱导测试•越权访问模拟•对抗性输入集•合规策略执行检查功能完成率测“

功能是否做对”•QA标准问答对•

RAG事实一致性集•工具调用参数验证•

多跳推理任务链响应性能测“运行是否稳定”•单请求延迟测试•

高并发压力测试•长上下文性能测试•成本消耗基准场景契合度测dd是否解决真问题•核心业务案例•

高频问题清单•边界场景案例

构造测试案例集上下文控制

多轮交互

执行顺序控制

智能重试

多次判定

多模型验证

结果校验Agent核心有效性分析：评估应答是否直接有效解决请求问题业务关联性分析：评估应答内容同请求的业务关联性例外规则：当因其他原因无法提供有效应答，提供包含银联业务引导内容则视为有效evaluation_workflow:1.提取主要语义进行对比2.优先评估应答对请求的核心解决效力3.评估应答对请求的业务关联性4.评估符合例外规则5.根据最终判定输出对应JSON eg：

会话应答有效性智能模块断言、环境检查、调用链路智能判定弱约束

校验方法强约束10

987654321

O0

从“断言”到“评估”防止中英混杂、乱码或

语种切换错误避免自相矛盾、前后不

一致或推理断裂通过关键步骤达成率和

目标达成率衡量避免“答非所问

”“无

效循环

”确保回答紧扣问题核心检测是否包含政治敏感、隐私泄露等内容敏感性与合规任务完成度逻辑连贯性应答有效性语种一致性语义相似度

质量评估Agent（规划）基线比对

综合打分

反馈优化

智能工具建设总结提示词是关键提示词的质量直接决定生成结果的质量。它需要反复迭代、调试和优化

，是一个持续的过程大模型不是神生成的用例必须要经过领域专家的评审和确认。模型对测试结果的校验也应反复和交叉验证

，避免幻觉导致的概率性问题数据安全如果使用云端LLMAPI

，务必注意敏感数据脱敏

，或采用可本地部署的开源模型PART

04落地实践

案例生成结果分析

结果分析约束性指标：应完全满足要求，功能具备非约束性指标：置信分数，风险评估质量报告（POC）版本趋势：稳中向好提高版本质量•

从“有限场景”到“无限探索”

总结与展望•

自动生成、扩充和优化测试用例与脚本降低测试周期质量

效率•

沉淀3000+高质量回归案例•

从“人力密集”到“智能自动化”•

并发执行与极速反馈•

测试覆盖度提升价值PART

05总结和展望推动需求、开发文档、代码注释的标准化与结构化

，并沉淀存量测试用例与缺陷数据

，为智能测试提供高质量燃料对传统测试工具进行MCP服务化改造