自动化测试到智能化测试的落地实践_第1页
自动化测试到智能化测试的落地实践_第2页
自动化测试到智能化测试的落地实践_第3页
自动化测试到智能化测试的落地实践_第4页
自动化测试到智能化测试的落地实践_第5页
已阅读5页,还剩25页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

2025全球软件质量&效能大会·北京站2025GLOBALSOFTWAREQUALITY&EFFICIENCYCONFERENCE·BEIJING自动化测试到智能化测试实践任兆勇|腾讯理财通质量业务负责人腾讯理财通业务介绍功能丰富涵盖全市场品类的基金销售、投顾服务等金融服务腾讯理财通腾讯官方推出的互联网金融平台,作为专业的财富管理工具,它严格筛选金融机构合作伙伴,为用户提供多元化的理财服务。平台涵盖货币基金、债券基金等多种产品,并通过智能投顾等功能,助力用户实现资产配置优化。致力于在保障安全的前提下,为用户提供便捷、稳健的理财体验。理财通资金安全超大资金规模,对资金安全要求高背景与挑战01目录手工到自动化测试实践02CONTENTS自动化到智能化测试实践03总结04PART01背景与挑战背景介绍:业务简介与质量挑战1、选择基金2、选择支付方式3、查看持仓详情关键质量挑战业务层面:涉及多种交易方式、资产和基金展示等丰富场景和流程,用例覆盖难度大技术层面:多终端、多机型(安卓、iOS、不同型号差异性)兼容性保障测试整体演进模式简介传统时代(1.0)人工智能时代(3.0)数字化时代(2.0)行业发展阶段演进自动化技术AI自动化测试Agent+MCP智能化测试生成式AI手工测试自动化测试阶段(Al+)(+Al)关键AI辅助生成自动化用例人类手工执行测试用例人类编写和维护自动化用例AI生成用例并自主执行用例能力测试类型占比测试类型占比测试类型占比测试类型占比类型占比40%60%80%95%100%手工测试手工测试手工测试手工测试自动化测试自动化测试自动化测试智能化测试PART02手工测试到自动化测试实践分层自动化测试的整体解决思路分层测试金字塔各层测试能力定位关键挑战点UI测试集成测试单元-接口测试解决问题:用户端使用体验问题落地方式:界面点击测试覆盖度量:UI页面数、场景数解决问题:端到端场景逻辑正确性落地方式:功能底线测试(功能集成测试)+风险底线测试(资金异常测试、发布测试等)覆盖度量:关键底线逻辑覆盖率解决问题:代码单元功能正确性落地方式:接口测试(数据驱动测试)覆盖度量:统计代码行覆盖可维护:剧本用例设计、执行效率和效果评估问题?(通过AI生成用例解决)覆盖率:底线场景如何定义全?可维护:用例数多,如何确保用例不腐化?可维护:用例数多,如何确保用例不腐化?(通过数据驱动测试解决)单元-接口测试:通过数据驱动测试低成本构建关键问题:接口测试成功的关键在于解决用例可维护和有效性防腐问题可维护有效性解决问题:用例风格各异,不可维护解决问题:用例不能真正发现问题实现思路:通过建设数据驱动测试,用例编写更规范且可维护实现思路:通过变异测试,主动变异被测源代码检验接口用例有效性数据驱动测试实现原理变异测试实现原理接口用例1⋯接口用例N接口用例1⋯接口用例N用例逻辑用例逻辑用例数据用例数据组装接口参数组装接口参数请求包数据请求包数据设置下游mockmock数据mock数据设置下游mock发包发包check数据check数据校验结果校验结果传统接口用例问题:用例逻辑风格用例执行框架多样,稳定性差,治理难度高(组包+发包+设置mock+校验)老用例结构数据驱动用例结构执行用例接口用例测试用例变异工具变异攻击业务代码被测服务源代码变异后变异c=a+bc=a-b集成测试:构建稳定可维护的端到端自动化测试关键问题:做好端到端集成测试,需要解决哪些问题?全面性可维护稳定性解决问题:场景如何定义全?解决问题:用例低成本构建以及维护成本解决问题:如何防止稳定性常态衰退问题实现思路:按“4W1H”原则做全场景分析维度要素,对各要素做笛卡尔积实现思路:按“4W1H”原则实现配置驱动的BVT用例,新增要素类型快速扩展实现思路:抽象并落地稳定性治理三板斧能力:高频、隔离、用完即抛(数据)以交易为例,遍历客户类型、基金品类、交易时用例自动化运营架构单用例配置文件实现案例机、支付方式、交易模式等维度质量门禁WHO-case_name:"test_tapay_buy_index_fund"#用例名标准客户养老帐号用例执行开发•••发布(客户类型)case_title:"腾安大额支付银行卡申购指数基金"#用例标题user:"LCT_ASSERT_NORMAL_ACCOUNT"#标准持仓老用户WHEN上线:连续5次拨测成功前收费后收费time_rule:"FRONT_FEE"#前收费(交易时机)下线:连续2次拨测失败pay:"FUNDPAY"#支付方式:基金支付通知WHERE测试微信支付基金支付trans:"BUY",#交易模式:普通申购•••用例运营服务(支付方式)人员item:"TSA_INDEX_OPEN"#商品类型:腾安开放式指数基金每小时发起HOWcheck_cmd:{#用例检查申购赎回•••(全量用例)(交易模式)trans:[CHECK_FUTRANS_BUY_ITG_ORDER..,#检查交易单asset:[CHECK_FUASSET_BUY_MONEY_TAG],#检查资产单WHAT货基权益(商品类型)预发布环境开发基线环境测试基线环境UI测试:维护成本问题是最大挑战核心问题:虽然UI自动化测试框架非常成熟,但UI页面元素频繁变更导致用例维护成本很高(1)用例编写典型案例:通过特定页面class元素模式实现步骤用例运营典型案例:用例耦合前端样式代码【UI自动化用例拨测通知群】分层自动化测试:总结与成果020103集成测试单元-接口测试UI测试数据驱动模式配置驱动模式手工编写用例数:x千个用例数:几百个用例数:x万个稳定性:100%稳定性:100%稳定性:90%执行频率:2次/日执行频率:千次/日执行频率:100次/日PART03自动化测试到智能化测试实践智能化测试:自动化测试面临的挑战自动化测试时代的测试痛点分析维护成本场景应用稳定性维护成本维护成本稳定性维护成本价值维护成本价值用例覆盖率测试环境稳定性维护成本维护成本稳定性价值用例覆盖率测试环境稳定性维护成本维护成本稳定性价值用例覆盖率测试环境稳定性维护成本维护成本稳定性价值用例覆盖率测试环境稳定性维护成本维护成本稳定性价值用例覆盖率测试环境稳定性维护成本维护成本稳定性价值用例覆盖率测试环境稳定性维护成本维护成本稳定性价值用例覆盖率测试环境稳定性维护成本维护成本稳定性测试数据稳定性价值测试环境测试环境测试环境稳定性测试环境测试框架编写成本式框架稳定性用例覆盖率测试环境维护成本测试环境用例覆盖率用例覆盖率维护成本核心痛点:自动化测试时代,最核心的问题是覆盖率与维护成本的权衡问题智能化测试的整体升级思路AI大模型分层测试金字塔职责定位现状痛点目标80%用例自动化生成解决问题:解决用户端使用问题用例设计充分度问题UI测试智能化执行:3天->1天落地方式:界面点击测试人工执行效率问题解决问题:端到端逻辑正确性BVT测试:千级规模BVT测试:数万级规模集成测试落地方式:BVT集成测试、专项测试专项测试:维护成本专项测试:智能化维护覆盖率:80%以上解决问题:模块内功能正确性代码覆盖率:65%接口测试落地方式:接口测试成本:智能化维护用例维护成本问题智能化测试:AI能够帮我们解决哪些问题整体思路:引入用例设计和用例智能化执行两大智能体,实现从需求文档到用例生成再到执行反馈的验收测试流程闭环用例执行阶段用例编写阶段传统测试流程结果分析用例设计用例评审测试执行报告撰写报告用例需求问题1:不同测试同学的设计水平参差不齐问题2:多轮回归,用例执行效率问题问题定义AI赋能测试全流程AI赋能用例生成智能评审智能执行智能分析报告生成用例智能执行分析多智能体用例生成智能体智能测试流程报告用例需求包括用例设计、用例编写、用例评包括用例执行、失败分析、缺陷定位、审等关键环节报告反馈等多个环节智能化测试:实现效果展示效果概述:支持指定视觉搞图片智能化生成验收用例,采纳率70%+;已实现UI文本用例智能执行能力,已实现2000+存量UI自动化用例每日执行,成功率100%效果1:根据需求生成验收用例效果预览效果2:AI智能执行验收用例效果预览系统演示智能化测试:做好一个agent需要解决哪些问题?010203可控执行效果评测知识工程类型:问答式agent类型:生成式agent类型:操作式agent案例:用例生成agent案例:用例执行agent案例:客服agent关键点:QA案例库评测、关键点:知识信息理解、经关键点:规划路径正确、工具选择正确、操作结果检查评测集自动生成验方法知识、存量案例知识用例生成agent:整体解决方案剧本用例生成完整工作流设计前置处理用例结构生成用例生成结果生成原始需求用例结构生成Prompt用例生成PromptRAG知识库结果整合需求转换prompt身份定义有效性检查(全局MECE化检查有效性检查最终用例集身份定义正负样本去重等)输入DeepSeek-V3生成要求(测试分析方法)背景知识标题定义和要求前置定义和要求需求纯文本内容DeepSeek-R1模型输出术语知识步骤定义和要求预期定义和要求模型输出需求结构(思维导图)用例集剧本用例生成难点以及整体解决思路问题原因分析解决思路需求质量理解问题存在大量视觉搞、表格等富文本内容策略1:引入混元多模态,转换为纯文本内容用例生成质量问题场景覆盖全,同时考虑关键边界场景策略2:引入测试分析方法引导模型输出如何将已知场景纳入知识库提升生成效果策略3:引入存量用例库作为知识库总结:用例生成的关键挑战在于如何提升生成的准确性用例生成agent:知识理解正确—富文本需求转换关键问题:原始的需求内容往往包含长图视觉搞、表格等富文本内容,如何保障大模型能正确理解?解决思路:引入混元多模态模型对富文本需求进行业务流程和意图识别,转换为纯文本格式需求转换工作流设计类型识别需求转换结果整合Prompt构建Prompt构建流程图转文本流程图的识别模型输出身份定义输出要求混元多模态交互设计稿的识别input:需求内容混元多模态汇总Prompt图文混合、表格等识交互设计稿转文本Prompt构建别逻辑分流身份定义汇总要求模型输出身份定义输出要求混元多模态一模型输出→DeepSeek-V3单图片识别补充上下文结果图片类型Prompt构建图文混合转文本混元多模态-模型输出-最终结果输出要求身份定义RAG知识库术语释义背景知识设计要点要点1:识别富文本类型,针对性送给多模态理解要点2:通过文本模型汇总生成终稿,补充业务上下文用例生成agent:经验知识供给—Prompt设计关键问题:AI生成用例过程中,如何确保输出用例全面性以及规范性?解决思路:通过累积的业务测试分析方法限定Prompt用例结构轮廓和断言约束条件通过Prompt限定输出规范性通过测试分析方法确保用例质量测分方法实现思路场景分析法描述用户使用过程的一个个完整“故事”来设计测试用例等价类划分法尽可能多地覆盖尚未被覆盖的有效等价分支,直到所有有效等价类都被覆盖边界值分析法重点关注边界场景,用最小的代价发现最多的问题前置条件支持零钱通支付,且资金充足进入申购页买入成功进入申购表2、输入金额3、选择微信支付_零钱通、零钱通资金减少单基金资产、理财通总资产增加点击买入按钮前置条件已绑储蓄卡步骤1、进入申购页买入成功2、银行卡资金减少3、单基金资产、理财通总资产增加输入金额输入金额3、选择微信支付_银行卡4、点击买入按钮前置条件活期+资金充足步骤1、进入申购页买入成功进入申购员2、输入金额3、选择活期+4、点击买入按钮买入成功2、活期+资金减少3、单基金资产增加、理财通总资产不变前置条件支持零钱通支付,且资金充足步骤1、进入申购页预期1、买入成功进入申购页2、输入金额3、选择零钱通买入成功2、零钱通资金减少3、单基金资产、理财通总资产增加点击买入按钮前置条件支持零钱支付,且资金充足步骤1、进入申购页进入申购页2、输入金额3、选择微信支付_零钱4、点击买入按钮、买入成功零钱资金减少3、单基金资产、理财通总资产增加用例生成agent:存量案例知识—RAG知识库召回关键问题:需求内容往往有较多业务术语等存量的背景知识,导致生成效果不佳解决思路:将积累的剧本用例库、业务专业术语等纳入知识库,并根据生成效果进行采纳评测RAG知识库原理TextchunksDomainDatasetsGet、SplitEmbeddingPromptQuery+RelateddocsQueryRecall</>BaseLLMVectorDBRelateddocsUserResponse实现要点:1、建设业务知识库,包括存量剧本用例、术语、页面元素等类型;2、生成后,通过采纳和不采纳作为正反样本实时性评测,针对性调优;生成后采纳情况进行评测,持续优化用例执行agent:整体解决方案整体思路:基于AI智能化决策和操控各类终端设备,实现用例类人化测试执行体验记忆(Memory)登录信息业务上下文上下文记忆规划(Panner)操控(Action)验收用例执行终端(Terminal)模拟登陆进入页面用例名执行代理用例步骤规划决策web规划执行步骤载入解析页面操作LLM步骤1,预期结果playwrightpc单步骤实现逻辑循环执行步骤执行点击步骤N,预期结果模拟器用例断言mobile断言检查动作断言断言实现逻辑检查(Checker)checkerLLM用例执行agent:实现难点分析关键问题:智能化执行的关键挑战是要保障AI智能执行的稳定性关键步骤问题定义解决思路规划(Panner)如何确保规划与剧本要求一致规划化剧本用例,AI检查规范性操控(Action)如何确保识别准确具体的页面操作动作抽象定义界面操作ToolUse,AI智能选择检查(Checker)如何确护断言正确性优先文本模型断言模型(AImodle)如何降低模型自身的幻觉多模型分层次重试调度用例执行agent:执行规划正确性--规划(Panner)模块关键问题:单纯依赖模型规划,导致执行路径跟实际要求偏差过大解决思路:规范化剧本用例,确保步骤规划执行无二义性剧本规范性:前置条件规范执行步骤清晰预期结果明确用例执行agent:工具选择正确性--操控(Action)模块关键问题:如何剧本用例描述的点击、输入等联动具体的界面操作动作解决思路:动态标注界面可操作元素,定义界面操作ToolUse工具调用库,大模型决策具体的操作动作(转化为执行终端的API)提取界面操作ToolUse操作执行流程:模拟打开界面具体操作调用终端设备LLM清单元素界面标注效果:ToolUse提示词示例:用例执行agent:模型正确性--模型(Model)模块关键问题:模型自身存在幻觉性,不同模型在不同场景下效果层次不齐解决思路:先确定经验模型(上次成功模型),经验模型失败后进入多模型依次重试策略,最大可能降低单模型幻觉一、经验模型执行机制二、候选模型失败重试策略初始化候选模型清单开始DeepSeek-V3hunyuant1-latestDeepSeek-R1读取剧本用例信息遍历模型列表获取最近一次执行成功模型选择当前模型创建Agent实例执行否经验模型存在否存在执行成功?使用经验模型执行是首次成功?否执行成功?是否选定为经验模型是结束结束实现要点:经验模型执行机制99%以上的执行使用经验模型;优先选择执行准确性和效率最高的推荐为经验模型、候选模型失败重试机制提供候选模型清单使用R1作为兜底模型用例执行agen

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论