2025QECon全球软件质量效能大会：Al Agent 驱动的云计算客户场景测试全链路自动化实践

AI路自动化实践强强｜华为云计算强强华为云计算高级工程师华为云云服务产品集成与验证部渗透测试高级专家,先后就职于360集团和华为云计算,目前主要负责华为混合云产品的渗透测试、场景测试、Al工程等专项工作,致力于构建全链路的云安全防护体系,未来将继续聚焦云原生安全与Al测试前沿领域,以“攻防对抗”思维驱动产品安全能力迭代,助力华为云先进测试生态的构建。CONTENTS云计算复杂系统的特征政务城市工业金融互联网跨行业、跨领域的建云、用云、管云场景云云服务数量接入用户数量业务流量复合增长流量规模云的生命周期有多种状态研发态云服务上云运行态维护态交付态云的规模持续扩大1001000PM200PM50PM挑战1：有限的时间、人力条件下，如何完成复杂系统的测试？复杂多变的客户场景一网通机轨煤矿电力数字金融一网通机轨煤矿电力客户视角的一朵云部署场景升级场景容灾场景扩容场景国密场景客户视角的一朵云部署场景升级场景容灾场景扩容场景国密场景…云服务产品集成场景测试视角的一朵云高阶服务(137)测试视角的一朵云高阶服务(137)基础服务(30)EVS|SFS|OBS3.0|SFSTurbo…ModelArts|GES|DWS|MRSPangu|CV|NLPAPM|CodeArts|DCS|DMS…2XXX款服务器x1XX款存储x7XX款数通设备网络网络计算SAN存储|分布式存挑战2：针对复杂多变的客户场景，如何完成测试验证和复现？协同测试困局:基础服务与云服务的动态适配挑战协同框架服务资产技术框架环境检查故障注入服务测试故障恢复服务测试测试评估客户云应用…应用A应用B应用C应用D环境检查故障注入服务测试故障恢复服务测试测试评估客户云应用…应用A应用B应用C应用D云服务AA团队框架接口测试框架性能测试框架云服务C可靠性测试框架云服务D其他专项框架挑战3：异构框架的协同、测试活动的协同、测试数据的协同API测试API测试Web视觉测试系统级DFx测试…N客户场景挑战4：传统自动化无法满足急速增长的云业务测试！缺少客户应用的知识学习成本高人工实现，最少3KLoc起步每个场景都需要开发类似的脚本象场景增长而急速增长，开发成本高传统自动化在云业务场景下难以应付脚本和环境的配置依赖人工处理•脚本和被测环境适配依赖人工操作，环境配置每个场景至少0.5天工作量流生产测试测试评估测试策略测试设计测试开发小Beta测试大Beta测试生产测试测试评估测试策略测试设计测试开发小Beta测试大Beta测试预发测试试sonar拨测时延测试系统功能韧性测试测试方案设计源码审计测试策略制定用例写作sonar拨测时延测试系统功能韧性测试测试方案设计源码审计测试策略制定用例写作用例维护可靠性测试…数据语义理解+变异生成数据语义理解+风险提取用例维护可靠性测试…数据语义理解+变异生成数据语义理解+风险提取……… 生成重写聚类提取检索长链任务 生成重写聚类提取检索长链任务总结分类 解决思路应用场景多维评估客户流量模板基线unvs…浪涌震荡阶梯极限场景用户行为场景客户应用应用资源模板应用环境队列应用智能生成场景应用全局监控测试系统匹配资源自动部署ETesting应用生成Terraform环境自动化测试系统队列应用环境队列应用智能生成场景应用全局监控测试系统匹配资源自动部署ETesting应用生成Terraform环境自动化测试用例数据应用监控数据测试用例数据应用监控数据按场景评估50金融场景媒体场景50金融场景媒体场景质量分层评估5……媒体web媒体web基线TFTF脚本nTF脚本3TF脚本1TF脚本2…客户场景建模统一场景建模流量模型流量模型政务政务web媒体应用类型web媒体应用类型交通源…特性结构云服务组合源…特性结构云服务组合金融…SLA典型配置…SLA典型配置电商电商公有云|伙伴云公有云|伙伴云|HCSO|HCS|CloudPond|……媒体文娱大云/伙伴云/HCS/HCSO公有云：Region架构公有云：Region架构|AZ架构|DirectConnect私有云：两地三中心|同城双活|跨AZ|跨Region沉淀组网类型评估模型评估模型……覆盖验覆盖验证|云网一体化|…测试系统关键能力一：场景还原能力关键能力一：场景还原能力u用户应用自动部署u用户行为模拟u流量录制/还原关键能力二：场景验证能力关键能力二：场景验证能力u价值场景验证u核心功能验证u系统级DFx验证关键能力三：场景评估能力关键能力三：场景评估能力u核心功能用例通过率u场景满足度评估u系统级DFx评估AI驱动客户行为与数据测试用例语义理解+聚类优化数据语义理解+变异生成高仿真数据生成用例语义理解+聚类优化数据语义理解+变异生成兼顾数据隐私与业务真实性的合成策略GUI语义理解+意图生成GUI语义理解+意图生成日志语义理解+轨迹还原客户行为建模客户行为建模AIAgent根据测试结果动态调整行为与数据参数日志语义理解+轨迹还原日志语义理解+轨迹还原数据语义理解+风险提取生成客户生成客户应用场景多模态输入融合需求客户现网部署应用模拟生成客户应用场景最终生成应用提示词…脱敏日志三方截图…客户应用生成Agent数据分析师擅长数据操作、处理和分析，部署机器学习模型，数据分析师擅长数据操作、处理和分析，部署机器学习模型，通过网络爬虫提取数据，处理文档问答任务，高效执行终端命令专注于产品需求分析和市场调研，负责评估产品需求、进行市场调查、竞品分析、起草产品需求文档（PRD）并提供数据支持的产品决策建议负责系统架构设计，选择最优技术方案，专注于产品需求分析和市场调研，负责评估产品需求、进行市场调查、竞品分析、起草产品需求文档（PRD）并提供数据支持的产品决策建议负责系统架构设计，选择最优技术方案，规划性能优化策略，实施有效的设计模式，确保系统可扩展性遵循Google编码标准，擅长Web应用和游戏开发，注重代码质量和可维护性，精通自动化部署流程，能提供详细的代码解释将单Agent运行转变为多Agent协作基于开源框架进行适配改造单Agent运行周期多角色定义环境感知工具资源感知工具环境感知工具资源感知工具应用部署工具More3Terraform测试Agentc执行Prompt工程上下文多轮对话环境特长期记忆RAG（检索增强生成）（Retrieval-augmentedGeneration）自我批评思维链保存上下文对话d规划a记忆子目标分解环境特性库短期记忆LLM反思应用资源创建@TerraformAIAIAgentTerraform脚本VPCSubetRotueTable…GuassDBRedisModelArts…CentOSRedHatUbuntuEuler…云API知识库TF语法库Ansible脚本环境环境快照EVSEIPELB…应用资源描述通过研发和生产环境进行流量录制通过研发和生产环境进行流量录制针对录制流量进行模式和行为解析通过AIAgent进行测试脚本、测试点分析生成专项场景的测试系统研发环境生产环境流量录制流量模式解析用户行为解析模式匹配API调用提取自动推荐负载生成工具AW库封装测试脚本生成/编排/执行X场景测试系统效果评估效果评估Agent发布Agent调试Agent框架构建短期记忆注册…提示词工程构建提示词工程测试人员测试策略格式|结构|…系统提示词组合拼装业务提示词功能|架构|…TSE活动：输出测试评估要求：2）结构标准化3）针对对应选择适合的测试方法…工具：1）浏览器2）Markdown3）绘图…原始语料业务特性语料特性|架构|需求……清洗、标记、切分、结构化模型选择模型池others向量化长期记忆…提示词优化语料优化效果评估（不通过）工程优化需求分析语料清洗知识库构建t（通过）资产梳理阶段标准化阶段向量化与RAG阶段消费与运营阶段数据飞轮驱动阶段2全生命周期AI化治理评估原始数据业务特性数据集检测资产梳理阶段标准化阶段向量化与RAG阶段消费与运营阶段数据飞轮驱动阶段2全生命周期AI化治理评估原始数据业务特性数据集检测向量化1扩大RAG知识库原子检索RAG知识库0->XXXX份业务特性知识库测试方法知识库业务特性知识库…工具0->XXXXX次测试资产数据集公司平台数据集…资产优化优化RAG知识库MetaData过滤EmbeddingReranker模型训练0->2个LLaMA-Factoryl次/月)提供LLMAPI结果评测评测评估改进效果提取部署微调后的大模型3形成反馈机制，持续迭代优化知识库机场票务系统AI模拟生成效果2、AI自动生成模拟应用3、AI通过应用代码和架构生成云服务Terraform脚本和依赖4、自动运行脚本部署至云环境实践效果：收益总结测试耗时：30天->5天测试耗时：30天-