2025QECon全球软件质量效能大会：需求测试场景下的多模态 AI Agent 落地实践

需求测试场景下的多模态AIAgent落地实践仲思宇｜58同城本地生活测试平台研发负责人目录CONTENTS02

多模态AIAgent基础能力构建01

需求测试的AI应用背景03

业务链路知识库的机制04

需求落地效果实践05

未来展望PART

01需求测试的Aı应用背景

我们能用AI做哪些现有迭代类型的测试前台业务视角AI是否可以承接前端需求后端需求需求比例多模态测试页面改动纯前端改动30%AI测试xx%通过多模态大模型能力，完成纯前端改动的xx%部分，

降低人力介入前后端需求50%AppNative/RNH5页面改动小程序功能逻辑需求技术改造需求纯前端改动30%埋点纯后台需求性能需求……其他20%框架有一定学习成本脚本编写和维护成本高页面固化操作无法快速适配其他业务自然语言、需求描述驱动任务推理规划执行步骤AI生态：知识库、图谱、训练传统UI自动化

+AI推理

+

AI视觉低成本部署、测试使用和扩展到其他业务等+

+

〓

借助多模态AI赋能AI推理和图谱链路质量AI助手视觉观察与断言不需要写固定脚本自适应页面操作需求断言页面兼容性操作手机PART

02多模态AIAgent基础能力构建思考与规划实时运行控制层异步控制

各Agent设备执行层App、Web

Agent自然语言驱动多设备灵活执行可视化执行过程多Agent异步调用清晰的报告层级文本/推理多模态视觉断言层图片/视频视觉断言RAG知识库检索DatabaseMCP知识图谱规划层模型层特点知识库/DB

多层级的业务系统架构与协作逻辑

客户端AI自动化测试架构介绍打开App打开网址页面结构断言解析无图、单图和多图决策实时反馈设备执行过程大模型配置生成报告多场景任务关联测试覆盖率回放测试页面遍历业务地图页面结构Neo4j规划模式观察模式DifyRAGFlow执行日志需求解析提示词支持的测试能力配置及链路功能H5页面OCRAndroid……小程序PC-Web操作端能力AI端测试需求文档测试用例AI断言支持的端滑动到底部执行模式知识图谱工作流知识库点击滑动截图长按输入返回录制视频设备尺寸通过提示词拆解执行步骤的2种方式：1、通过提示词，拆解意图，任务分解，把场景拆解成一系列步骤2、简化提示词编写成本，通过拆解的关键字查询图谱链路-2.1存在：拆解图谱意图，任务分解-2.2不存在：直接使用提示词

规划模式的流程拆

分自

然语言

知识

图

谱输入标准化→解析结构化→推理可解释生

成执行

步骤AI驱动设备输入提示词AI解析推理步骤AI断言命中存量信息

拼接执行链路链路解析

*

知识图谱自然语言解析生成规划步骤AI意图+步骤文本解析

*功能方法说明操作tap(element)点击标注编号的UI元素long_press(element)长按指定元素swipe(element,direction,

dist)按方向与距离滑动元素（up/down/left/right;short/medium/long）swipe_edges(element,direction)一步滑到页首/页尾（up/down）网格操作grid()开启网格覆盖以自由点击/长按/滑动任意区域文本输入text("...")在输入框内输入文本（键盘可见时）系统控制back()返回上一界面AI指令aiModel调用多模态大模型执行解析/规划（输入prompt与截图，返回文本/结构化结果）getMessage获取上一轮模型输出并做清洗（用于展示/后续流程衔接）aiAssert基于截图与规则做AI断言（如页面是否异常、元素是否变化、A/B图

是否一致）argSetting设置模型与推理参数（模型类型、温度、token上限、超时等）……根据计划循环执行直到任务结束或失败点击

输入滑动多模态观察

*历史信息

控件树执行设备操作截图 AI驱动执行设备1_驱动的关键方法通过拆解的步骤，对关键词解析，映射到对应方法模块化传统UI自动化能力和AI能力输入提示词AI解析推理步骤AI断言AI驱动设备……ORC查找文案存在图谱链路

不存在图谱快速执行点击

模型决策点击文案获取页面控件可操作的控件找到控件

没有控件操作控件

获取xml特征提取85%场景覆盖OCR结合图谱30%降低AI介入页面观察网格标记元素x个 AI驱动执行设备2_多种方式提高元素识别OCR标记-高控件标记-中H5兜底网格标记-低问题：点击元素未被识别输入提示词AI解析推理步骤AI断言AI驱动设备操作-

>

反思

-

>观察

-

>思考

-

>总结 AI驱动执行设备3_观察模式对每一步进行观察，并执行设备执行

过程观察现在，该做什么思考结合上一步与现在，规划该做什么操作执行设备反思审视过程，校正方向总结是不是完成了要做的事情过去与现在AIAgent输入提示词AI解析推理步骤AI断言AI驱动设备观察模式操作后的结果是否符合任务规划提示词内容和当前页面特征前面所有完成的内容完成任务要做什么执行思考后的特征#接入审查未接审查全部操作的成功率66.67%---步数正确的百分比70%10%决策的准确率61.67%10%审查的准确率83.33%--- AI驱动执行设备4_审查机制矫正错误流程动态prompts+审查流程审查结果是否推进任务场景1：进入错误页面，返回上一层场景2:页面没变化补充提示词优化策略过滤无效元素重新执行问题：增强模型理解能力多模态观察DeepSeek

审查结果并优化推理流程确保推理步骤的正确性输入提示词AI解析推理步骤AI断言AI驱动设备A步骤

B步骤效果对比D步骤

继续任务C步骤通用断言需求、提示词断言……观察-

>思考-

>操作-

>反思-

>总结完成任务要做什么

执行思考后的特征

操作后的结果是否符合任务规划前面所有完成的内容

异步AI断言是否黑屏页面错乱异常未刷新或断网提示页面特定的页面特定的文案特定的icon顺序……AI驱动设备输入提示词AI解析推理步骤AI断言断言Agent执行过程PART

03业务链路知识库的机制知识图谱更新机制通过主动和被动的页面数据

，按照页面和元素的包含关系自动更新单个节点数据来源UI自动化执行记录AI自动化执行记录UI遍历新功能视频页面层级和元素匹配节点解析并关联

独立图谱未知链路已知链路页面持久化App结构未匹配节点独立图谱清洗加工形成簇群知识图谱链路元素截图XML业务流程AI分析核心特点

阶段一：视频上传与AI分析-特点：自动化视频解析、关键帧提取、UI识别-优势：高效准确、减少人工成本-应用：各类业务操作视频的智能分析

阶段二：人工标注与业务标准化-特点：专业标注、业务理解、标准化处理-优势：准确性高、业务适配性强-应用：复杂业务流程的标准化

阶段三：知识图谱生成-特点：多维度分析、人工约束、图谱融合-优势：结构完整、关系清晰-应用：业务流程的数字化表示

阶段四：标准流程存储-特点：图数据库存储、业务标签、版本管理-优势：可查询、可复用、可追溯-应用：企业知识库建设技术价值

效率提升-传统方式：人工截图

或手动整理图谱

30分钟-AI方式：自动化处理仅需2分钟-提升倍数：

15倍效率提升

质量保证-人工错误率：

15%-AI准确率：

95%-质量提升：显著降低错误率

可复制性-知识沉淀：将经验转化为可复用的知识图谱-标准化：统一的操作流程和业务规则-可扩展：支持多种业务场景的快速适配

知识图谱的集成用户上传视频AI识别操作过程标准流程存储图谱生成人工审核用户上传视频AI识别操作过程人工审核图谱生成标准流程存储

知识图谱的集成原业务视频

视频解析流程效果视频解析的结果拆解的提示词：

{

“query

”:

“保姆下单流程"}返回结果：

“data”

:

“1.点击本地服务2.点击保洁清洗3.点击xx阿姨4.点击电话沟通按钮

"

多场景拼接提示词拆解目标描述查询知识图谱返回图谱链路规划模式拼接规划成功自然语言到执行步骤的映射规划模式文本解析

*命中存量信息知识库自然语言+知识库+图谱规划执行流程…………图谱通道按照任务列表

，逐一执行1、点击右上角放大镜icon2、搜索栏输入"房屋维修"3、点击"账号"4、点击“58同城房屋维修防水补漏”5、点击类别6、点击“建房/翻建”改造完成标记异步视觉断言*

整体执行流程执行失败，

结合历史步骤重新规划循环执行

，直到任务结束自然语言执行需求文档测试用例链路解析

*拼接执行链路知识图谱链路更新知识图谱存在链路信息

根据图谱提供的信息执行多模态观察

*

执行设备操作点击输入滑动……控件树提示词特征截图历史信息……

功能演示

结果报告详情任务详情AI断言详情日志详情PART

04需求落地效果实践提测

代码集成系统构建

部署测试通过

PM验收通过回放能力回归AI执行测试验收线上回归测试报告

回放能力

生成UI脚本需求评审编码实现AI测试是否承接QA测试生成提示词调整提示词研发过程过程确认测试过程过程产物客户端AI测试视觉需求生命周期

视觉需求接入AI测试流程评审阶段筛选出AI测试需求，

AI测试完成后提供测试报告，

PM验收线上AI回归

移动设备的管理_App无线管理设备识别-支持无线-

USB设备自动识别-WiFi设备自动识别全面状态监控-实时状态追踪：监控每个设备的执行状态和进度-故障自动诊断：

自动识别设备连接问题并制定修复策略App设备注册AIAgent

设备管理

特点无线断开后服务端会根据ip重新请求App自动重连无需本地部署跟踪每台设备执行过程解决的