Agent 驱动智能测试工具体系建设

2025GLOBALSOFTWAREQUALITY&EFFICIAgent驱动智能测试工具体系建设全球软件质量&效能大会AI时代测试新范式Software3.0promptsSoftware1.0Software2.0programsprogramsprogramsLLMcomputerSoftware3.0promptsSoftware1.0Software2.0programsprogramsprogramsLLMcomputere.g.AlexNet:forimagerecognition(~2012)becameprogrammablein~1940s~2019国外AndrejKarpathy-软件3.0软件工程1.0软件工程2.0软件工程3.0软件形态：软件形态：服务(SaaS)模型(SaaM)软件形态：产品NATO会议大模型爆发式产生软件质量报道国内朱少民-软件工程3.0软件工程1.0软件工程2.0软件工程3.0标志性事件1968年10月在德国Garmisch举行的软件工程大会2001年2月签署、发布《敏捷软件开发宣言》2023年3月0penAI发布大语言模型基本理念过程决定结果，如CMM。其思想来源于传统建筑工程等软件研发是一项智力劳动，以人为本、尽早持续交付价值基于LLM底座，快速生成所需的代码和其它所需内容。软件形态(普通的)工业产品软件即服务(SaaS,包括PaaS、软件即模型(SaaM)并提供“模型即服务(MaaS)”运行环境单机(PC、主机)网络、Cloud万物互联IoT、人机融合支撑内容纸质文档信息化数字化主要方法结构化分析、设计和编程面向对象的方法面向对象的方法模型驱动、人机交互智能流程瀑布模型、V模型为代表阶段性明确敏捷(如Scrum)/DevOps半持续性(提倡CI/CT/CD,但做不到)模型驱动开发交付服务工作中心以架构设计为中心价值交付为中心，持续演化化服务规模化团队(两个披萨)小团队团队可能不存在，个体化研发人员分工明确、细致提倡全栈工程师开发和测试融合业务/产品人员、验证/验收人员(两头成为主导研发的人员)度手工署、版本构建等自动化)自动化(ATGC)代码/脚本/设计等生成对待变化严格控制，建立CCB(变更控制委员会)拥抱变化(其实还是怕变化)(真正地)拥抱变化PRD文档用户故事具有不确定性、可协商的回归自然语言，构建提示词序列质量关注点产品但的能、性能、可靠性服务质量QoS、用户体验数据质量2.0时代测试困境某业务存量用例的稳定性仅为某业务存量用例的稳定性仅为60%,全量执行时失败率居高不下〔有超过10%的用例无法通过测试〕。例显示成功，仍难以准确判断哪些业务场景真正通过验证，导致在版本发布前的人工复验成本居高不下。性性执行阶段成执行阶段某业务GUI自动化年直接节省测试成本近200万/年。自动化规模3000条，实现全业务100%覆盖，稳定性达到99%,真实手工替代比例达到10%以上。整个建设周期耗费2年时间，每次界面改版还°当前企业应用主要以AI辅助生成为主，将大模型技术融入企业内较为成熟应用中[例测试结果智能分析等]来进一步提升测试工作的开展效率。°而对于测试工具平台测试全流程AI辅助能力也成为现代化测试工具平台必不可少的能力，与此同时，国内外还出现一批AI原生的测试工具平台〔例如：Octomind、ThinkMoss等]直接通过Agent方式驱动自动化技术AI[AI+]人类自主执行测试用例纯人工自动化编写维护AI辅助自动化建设维护AI拟人自主执行测试用例人类自主执行测试用例包括测试设计、用例编写、用例检查报告撰写报告撰写包括智能执行、智能分析、智能改进、测试报告生成全球软件质量&效能大会立解决任务〔测试用例〕描述模糊问题及时规划/调整当前执行步骤，提升可执行性((Testcase)(thinking":"Analyzingthecurrentstateandprevioussteps:\n"+"1.ThetestcaserequiresaccessingtheAIdocumentassistantfeatureintheslidedetail“3.preverousatteprschthreotheAssistntbutesfrectyfaeledgutoeovis16518tsuesn”4.Current1yseeinganauthorizationmodalforAIdocumentassistantaccess\nn”+"memory":"CurrentlyontheAIdocumentassistantauthorizationmodal.NeedtocompleteauthorizationtoaccesstheAIa"next_goal":"ClicktheSomeStepPlannerRules:Scenario:成员A在空间内添加文档链接CoreTestExecutionReasoningScenario:成员A在空间内添加文档链接CoreTestExecutionReasoningThen成功添加文档链接11116When成员A在腾讯文档列表页复制一个文档的链接screenshottounderstandyourcurrentteststate.When成员A在空When成员A在空间页面点击"添加链接"按钮11:118When成员A将复制的文档链接粘贴到输入框中##TestPlanningandProgress12119When成员A点击"确认"按钮Anatyzetodo.nmptyoguteanetrackyourtest-stectonprogresteprisetestplanintodo.mdusingfiletools.12:120Then页面显示"链接添加成功"提示leteinthefile.12:121Then空间内显示新添加的文档链接-Analyzewhetheryouarestuckintestexecution,e.g.whenyourepeatthesameactionsmutipletimeswithoutanyprogress.122Then点击链接可正常打开对应文档Thenconsideralternativetestapproachese.g.scrollingformorecontext,send_keystointeractwithkeysdirectly,[How]”进行说明对常见测试用例错误进行纠正用例演进Context知识，由大模型自主分直接基于原始测试用例生成新测▽执行通过人工判定场景类比领域知识操作路径地理公司QE动作-跨技术栈的可注册动作机制You,2个月前|2authors(Youandoneother)classfile_path:str=Field(….,description='要上传的文件路径')插入文件到文档中2Appfile_Appfile_path:str=Field(…,description='要插入的文件路径')Actions[动作库]Actions[动作库]通用动作业务动作classSelectOptionAction(BaseModel)"""选择单选框选项的参数模型"""option_text:str=Field(…,description='要选择的选项文本')classPosition(BaseModeinty:int核心组件ActionRegistry■使用泛型设计，支持自定义上下文类型■通过Registry管理所有可用的动作■提供统一的动作执行接口■支持动作参数验证和错误处理RegistryEnVBrowserEnV环境层CDP协议PCactionaction":["search_google":null,"url":""""go_back":null,"wait":null,"click_element":null,"switch_tab":null,"open_tab":null,"send_keys":null,"get_dropdown_options":null,"select_dropdown_option":null,"drag_drop":null,"right_click_element":null,"hover_element":null,"upload_file":null,"open_permission_management_panel":null,"add_member":null,"hover_by_locator":null,"click_context_menu_item":null,"user_login":null,"create_document":null4754764804819弼工具-可被调用的能力契约错误模型标准化：用可枚举的错误码+人读友好信息+可恢复性超时与重试边界：设置“硬性超时与错误”,不写重试策略，避免“策略下沉”。成本标注：对有代价的调用[LLT、外部API]标注cost估计与{"name":"ui.parse","summary":"解析UI截图为元素列表(bbox=xyxy,支持归一化)。","description":"纯解析工具：输入一张图片，输出元素类型、bbox与置信度；不包含任何策略/断言/重试；不改变外部状"type":"object","required":["image_b64"],"contentEncoding":"base64","description":"PNG/JPEG的base64(无data:前缀)""normalize_bbox":{"default":true,"description":"true=返回0~1归一化坐标；false=返回像素坐标""timeout_ms":{"type":"integer","minimum":1,"maximum":10000,"output_schema":{"type:"object","required:["ok","width","height","bbox_format","normalized","elements"],"height":{"type":"integer","minimum":1},"bbox_format":{"enum":["xyxy"],"description":"统一使用bbox,顺序[×1,y1,×2,y2]""normalized":{"type":"boolean","description":"与输入normalize_bbox对齐；true表示bbox∈[0,1]""elements":{...}}"additionalProperties":false"errors":[{"code":"INVALID_IMAGE","recoverable":false},"side_effects":[],"examples":[..]全球软件质量&效能大会Taskhigh-levelplanning+PlanNextStepasyncasyncdefdo_one_step(self,step_info):Task/StepFinishstepcomplete?{"evaluation_previous":"判断上步是否成功","progress_status":"统计进度与剩余任务",了ComposeComposeContext"actions":["click_element":{}AtomicOperationCommonActionFileOperator#4.递增执行步骤计数器"""执行单个步骤一核心流程"""#1。获取当前页面状态信息state=awaitself.context.get_current_state()#2.将页面状态添加到对话上下文self._message_manager.add_page_state#4.递增执行步骤计数器"""执行单个步骤一核心流程"""#1。获取当前页面状态信息state=awaitself.context.get_current_state()#2.将页面状态添加到对话上下文self._message_manager.add_page_state_to_context(#5.清理临时状态消息(避免历史过长)self._message_manager.remove_temporary_state_message()#6.将LLM决策保存到对话历史#7.执行操作动作result=awaitself.execute_actions(model_output.action)#8.更新执行结果和保存历史记录self.state.last_result=resultinput_messages=[#1.系统提示词SystemMessage(content="你是一个浏览器自动化Agent..."),#2.任务描述HumanMessage(content="Yourultimatetaskis:登录网站并查看个人信息"),AIMessage(content="",tool_calls=[…1),#之前的LLM响应HumanMessage(content="Actionresult:成功导航到登录页面"),#4.当前页面状态HumanMessage(content="""CurrentURL:/Login#6.计划器分析(如果启用)HumanMessage(content="PlanningAnalysis:当前在登录页面，需要输入用户名和密码"),HumanMessage(content=[{"type":"text","text":"页面包含用户名输入框、密码输入框和登录按钮"},{"type":"image_url","image_url":{"url":"data:image/jpeg;base64,..."}} 问题测试结果误报高，如何解决非确定性带来的结果模糊?稳定性极高失败，要么是缺陷、要么是需求变更智能测试(非确定性)满足测试意图，每次行为可能有差异操作真相-真实测试步骤真阳性(TP真阳性(TP)真阴性(TN)··回收站文档右键菜单展示●彻底删除文档□操作◎删除文档回收站内排序·非空间成员删除共享文….用例●还原已解散空间--超级…验·非空间成员删除共享文….用例●还原已解散空间--超级…验证●协作者头像hover操作非空间成员删除空间内….回收站清空--刷新页面验证·还原删除文件央操作map[step:action]查看幻灯片详情页头部.…操作文档被删除详情页提示…清空已解散的空间用例·我的云文档列表无新增…·查看幻灯片详情页头部…●彻底删除文件夹●彻底删除文件夹mobile的云文档为空展示操作·左侧目录点击进入我的….左上角展示新建··左侧面板显示·左上角”+新建”按钮下…●按智能文档筛选验证·文件tab为空展示验证被动添加到他人共享空…用例·云文档目录收折·左侧目录树左下方展示…·左侧目录点击进入共享….假阳性(FP)假阴性假阳性(FP)假阴性(FN)真阴性(TN):用例描述改进(见后续章节)·共享空间重命名·智能文档导出为二级菜….操作·导出为--PDF(在线)操作·xmind导出为-在线文档操作|●sheet导出为二级菜单…操作·展开文件夹·快速访问列表更多菜单…用例近1个月查看时间来筛选验证操作●搜索结果菜单面板检查….·列表页多选文档右键添…·快速访问列表筛选功能操作●搜索结果菜单面板检查….·列表页多选文档右键添…·快速访问列表筛选功能…·收藏列表为空显示·共享空间验证·容量已使用完，回收站..验证·容量已使用完，回收站..操作●搜索结果页基于真实操作的测试用例改进思路原始用例Scenario:新建文档PDF文档导出原始用例When点击“PDF转换”,选择“在线PDF文档”Then导出成功，提示：已导出在线PDF文档，立即查看Then点击“立即查看”,跳转到在线PDF文档页面1用例评审—→基于主观沟