需求测试场景下的多模态 AI Agent 落地实践

需求测试场景下的多模态AIAgent落地实践仲思宇｜58同城本地生活测试平台研仲思宇CONTENTS01需求测试的AI应用背景02多模态AIAgent基础能力构建03业务链路知识库的机制04需求落地效果实践05未来展望需求测试的AI应用背景我们能用AI做哪些现有迭代类型的测试前台业务视角AI是否可以承接前端需求后端需求需求比例多模态测试页面改动纯前端改动30%AI测试xx%AppNative/RNH5页面改动小程序埋点功能逻辑需求技术改造需求纯后台需求性能需求……通通过多模态大模型能力，完成纯前端改动的xx%部分，降低人力介入借助多模态Al赋能不需要写固定脚本不需要写固定脚本自然语言、需求描述驱动任务推理规划执行步骤AI生态：知识库自然语言、需求描述驱动任务推理规划执行步骤AI生态：知识库、图谱、训练自适应页面操作需求断言页面兼容性框架有一定学习成本脚本编写和维护成本高页面固化操作无法快速适配其他业务低成本部署、低成本部署、测试使用和扩展到其他业务等操作手机操作手机AI推理和图谱链路AI推理和图谱链路视觉观察与断言视觉观察与断言〓〓质量AI助手多模态AIAgent基础能力构建多层级的业务系统架构与协作逻辑思考与规划异步控制Agent自然语言驱动多设备灵活执行可视化执行过程清晰的报告层级文本/推理多模态图片/视频视觉断言知识库检索Database知识图谱客户端AI自动化测试架构介绍支持的端支持的端配置及链路功能工作流大模型配置配置及链路功能工作流大模型配置提示词支持的测试能力支持的测试能力AI端测试AI端测试AI断言回放测试页面遍历操作端能力操作端能力知识图谱知识图谱打开App打开网址页面结构部录制视频设备尺寸部录制视频设备尺寸执行模式执行模式知识库知识库需求文档测试用例业需求文档测试用例业务地图页面结构规划模式的流程语言解析语言解析命中存量信息链路解析*生成规划步骤拼接执行链路知识图谱拆分自然语言拆分自生成执行步骤AI断言AI断言AI驱动执行设备1_驱动的关键方法AI解析AI解析根据计划循环执行直到任务结束或失败AI断言AI断言功能方法说明功能方法说明操作tap(element)long_press(element)swipe(element,direction,dist)按方向与距离滑动元素（up/down/left/righswipe_edges(element,direction)网格操作grid()文本输入text("...")系统控制back()aiModelgetMessageaiAssert基于截图与规则做AI断言（如页面是否异常、元素是否变化argSetting……AI驱动执行设备2_多种方式提高元素识别AI驱动执行设备2_多种方式提高元素识别存在图谱链路不存在图谱AI断言找到控件没有控件操作控件获取xml问题：点击元素未被识别特征提取场景覆盖AI驱动执行设备3_观察模式AI解析AI断言AI解析AI断言观察模式观察模式观察现在，该做什么观察现在，该做什么提示词内容和当前页面特征完成任务要做什么执行思考后的特征总结情过去与现在AI总结情过去与现在AIAgent思考反思反思效果对比AI驱动执行设备4_审查机制矫正错误流程效果对比AI解析AI解析问题：增强模型理解能力+审查流程多模态观察#AI断言AI断言A步骤B步骤审查结果是否推进任务场景1：进入错误页面，返回上一层C步骤C步骤场景2:页面没变化继续任务补充提示词优化策略继续任务过滤无效元素重新执行异步AI断言AI断言AI解析AI断言AI解析执行过程完成任务要做什么执行思考后的特征操作后的结果是否符合任务规划前面所有完成的内容通用断言需求、提示词断言……特定的页面特定的页面特定的文案特定的icon顺序业务链路知识库的机制知识图谱更新机制通过主动和被动的页面数据，按照页面和元素的包含关系自动更新单个节点数据来源UI自动化执行记录新功能视频页面持久化截图链路XML元素清洗加工未知链路已知链路页面层级和元素匹配节点解析并关联独立图谱未匹配节点独立图谱形成簇群知识图谱知识图谱的集成AI识别操作过程标准流程存储人工审核图谱生成用户上传视频AI识别操作过程标准流程存储人工审核图谱生成用户上传视频阶段一：视频上传与AI分析-特点：自动化视频解析、关键帧提取、UI识别-优势：高效准确、减少人工成本-应用：各类业务操作视频的智能分析阶段二：人工标注与业务标准化-特点：专业标注、业务理解、标准化处理-优势：准确性高、业务适配性强-应用：复杂业务流程的标准化阶段三：知识图谱生成-特点：多维度分析、人工约束、图谱融合-优势：结构完整、关系清晰-应用：业务流程的数字化表示阶段四：标准流程存储-特点：图数据库存储、业务标签、版本管理-优势：可查询、可复用、可追溯-应用：企业知识库建设效率提升-传统方式：人工截图或手动整理图谱30分钟-AI方式：自动化处理仅需2分钟-提升倍数：15倍效率提升质量保证-人工错误率：15%-AI准确率：95%-质量提升：显著降低错误率可复制性-知识沉淀：将经验转化为可复用的知识图谱-标准化：统一的操作流程和业务规则-可扩展：支持多种业务场景的快速适配知识图谱的集成AIAI识别操作过程用户上传视频标准流程存储人工审核图谱生成视频解析流程效果自然语言到执行步骤的映射拆解的提示词：{“query”:“保姆下单流程"}返回结果：“data”:“1.点击本地服务2.点击保洁清洗3.点击xx阿姨4.点击电话沟通按钮"多场景拼接提示词拆解目标描述查询知识图谱返回图谱链路规划模式拼接规划成功整体执行流程自然语言执行规划模式命中存量信息规划执行流程自然语言执行规划模式命中存量信息规划执行流程执行失败，结合历史步骤重新规划循环执行，直到任务结束拼接执行链路提示词特征存在链路信息根据图谱提供的信息执行2、搜索栏输入"房屋维修"3、点击"账号"4、点击“58同城房屋维修防水补漏”6、点击“建房/翻建”改造功能演示结果报告详情需求落地效果实践视觉需求接入AI测试流程客客户端AI测试视觉需求生命周期提测提测代码集成系统构建部署测试通过PM验收通过回放能力回归AI执行测试验收线上回归测试报告回放能力生成UI脚本需求评审编码实现QA测试生成提示词调整提示词研发过程过程确认测试过程过程产物移动设备的管理_App无线管理App设备注册AIAgent设备管理特点App注册到服务器无无线断开后重新请求App自动重连服务器注册到设备设备识别-支持无线全面状态监控解决的问题无需本地部署跟踪每台设备执行过程移动设备的管理_App总控执行物理机服务化结构App控制多台设备执行AIAgent任务物理机服务化结构(已沉淀的知识图谱场景)其他个人其他个人注册服务器客户端客户端AI测试冒烟&验收生命周期测试通过测试通过上传测试视频PM验收通过回放能力回归AI验收线上回归研发过程过程确认测试过程过程产物上传自测视频生成执行图谱需求图谱测试报告