2025QECon全球软件质量效能大会：基于多模态大模型的UI自动化测试

2025全球软件质量&效能大会·深圳站基于多模态大模型的朱嘉丽|蚂蚁集团算法工程师全球软件质量&效能大会全球软件质量&效能大会TestFun—为蚂蚁集团开发和测试人员提供的一站式模拟器测试平台试/兼容性、性能专项测试。涵盖：H5/小程序/PC-Web/PC-APP/Native端20+App/业务接入5K+在线终端设备MobileFlow业务核心目标CY24自动化新增用例AIGC覆盖30%,代替传统写脚本人力投入支付宝APP质量保障(功能/回归/巡检)支付宝小程序(审核/巡检/采集)其他APP对客开放平台MobileFlow官网产品前端组件库(iFrame/react)DaaS(DeviceasaService)MobileFlow官网产品终端设备中台算法网关AgentUI产品交互终端设备中台数据闭环模块预训练数据闭环模块预训练全链路串链异常兼容能力全链路串链异常分类注入打标模型上线数据格式化多模态异常分类注入打标模型上线数据格式化截图生成DSL数据采集计算(采集/评测/闭环监督训练)数据采集计算(采集/评测/闭环监督训练)真机平台真机平台小程序容器用例执行用例预览用例调度自然语言小程序容器用例执行用例预览用例调度终端智控平台MobileFlow是蚂蚁建设超过10年的产品容量效率不足真机成本高、任务量大容量效率不足真机成本高、任务量大复杂交互&跨平台多技术栈用例生产保鲜难度大迭代快&多平台不互通测试稳定性低设备&网络异常亟需LowCode方案；提升脚本可读性；增强脚本泛化能力全球软件质量&效能大会脚本：依赖脚本是最常见的；利用规则和约束进入关键路径；维护成本很高；对于快速发展的业务应接不暇。同时处理图片、文本、视频等多种模态信息稳定性&强大的泛化性能适应不同的终端设备自然语言形式描述测试场景、功能等+纯文本大模型?GUI图像的三大特点：1、富文本2、可交互区域存在限制3、区域间有层次/逻辑关系多模态大模型Niuhel~安格斯肋眼牛排150g+番茄意面+煎蛋月售200+好评率100%【新店尝鲜】安格斯肋眼牛排120g月售100+好评率100%v33.2超估【解腻】圣女果4-6颗(限一份)满36减1、满58减2、满109减3、满198减4EQ\*jc3\*hps11\o\al(\s\up3(3),初)EQ\*jc3\*hps10\o\al(\s\up3(4),初)EQ\*jc3\*hps10\o\al(\s\up3(5),初)EQ\*jc3\*hps10\o\al(\s\up3(6),初)对回答满意吗?有什么问题尽管问我我想买高铁票ImageK1、预训练(Pre-training)2、指令微调(Instruction-tuning)3、对齐调优(AlignmentTuning)DHC橄榄卸妆油温和清洁不刺激200ml+1瓶DHC橄榄卸妆油温和清洁不刺激200ml+1瓶69.9+19职分百岁山矿泉水整箱348m13人已收10积分捐爱心10积分捐爱心茅台飞天53度500ml*2(赠礼袋)维达棉韧【20包围货装】多页面(动线)进行决策。用户：帮我在自助点单里买一杯草莓奶冻，选择交大校内店。数据判别错误动线大模型意图业务评测模型PlanningPlanningAgentActionAgent芭芭农场口碑团购市民中心芭芭农场口碑团购市民中心高德打车芝麻信用余额宝蚂蚁森林蚂蚁庄园医疗健康我的小程序更多蚂蚁森林蚂蚁庄园罗静副主任医师有号<皮肤科付兵初副主任医师有号付兵初副主任医师大小：[2290,1160]大小：[2290,1160]EQ\*jc3\*hps15\o\al(\s\up6(内容),位置)EQ\*jc3\*hps15\o\al(\s\up6(花),[x)EQ\*jc3\*hps15\o\al(\s\up6(呗),y)类型：图片异常检测模型异常检测模型异常类型大小：[a,b]在蚂蚁森林里用能量罩保护我的能量VLMOCR图片相似度以图搜图是否帮助用户完成了“茉莉奶绿”的下单支付?是否帮助用户完成了“茉莉奶绿”的下单支付?当前已到达支付界面。下单完成断言完成全球软件质量&效能大会Hi,欢迎使用终端智控平台终端多模态模型推荐推荐>自动化测试覆盖率从50%提升到70%,大量手工测试任务实现自动化。>AI脚本天然兼容各类分支，可以简化测试脚本，方便用户编写。当前蚂蚁内通过MobileFlow平台生成的AI自动化用例12000条+,在自动化测试用例中占比超过31%,年节约人效100人年。>良好的可读性、强大的泛化性进一步提升了脚本执行的成功率，AI脚本执行成功率在90%以上；同时，测试卡点问题定位与修复时间降低了50%>支付宝开放平台：小程序上架审核质检助手，优质三方小程序体量+8.3%>行业小程序质检：物流、会员、医疗、小游戏等数十个场景，广告舆情下降30%+,平均每周节约61.57/人日去结算·基于UI多模态大模型的MobileFlow获评中国人工智能产业发展联盟-2024年人工智能先锋案例。“全球软件质量&效能大会全球软件质量&效能大会为企业人才培养需求提供多方位的讲师课程推荐，在线学习质量把关，资料学习推荐及直播课堂服务。5大服务5大服务技术峰会内训定制技术峰会内训定制在线课程前端开发前端开发作为企业第三方专业人力提升培训服务供应商，秉承互联共成长的理念，恪守客户实际业务需求为第一优先级的本职。我们公司定位于专业、专注、全方位服务于IT研发中心，产品、技术、工具、团队管理方向的培训课程；有公开课，定制内训，在线课，T技术峰会一站式采购等产品；更多的从客户需求角度出发，匹配更适合团队学习的资讯和课程推荐；更好的为客户服务，有专业的培训顾问，对整个IT行业峰会，讲师情况，课程方向都有比较深的了解。◆软件研发效能权威指南软件研发效能权威指南汇聚行业个前沿案例立即参与案例持续收录中汇聚行业个前沿案例立即参与案例持续收录中系用软件研发质效工具指南系用软件研发质效工具指南工具指南关注QE公众号回复“工具指南”获取书籍链接关注QE关注QE公众号回复“工具指南”获取书籍链接获取报告一书籍推荐一测试和研发领域的“百科全书”软件研发效能权威指南软件研发效能权威指南测技禾威代指软件研发效能测技禾威代指2025全球软件质量&效能大会专项测试(含全链路压测、混沌工程、性能测试等)Al时代下的安全测试自动化测试工具开发研发数据治理与质效提升平台工程(设计驱动的质效内建)上上海站北京站上海-明捷万丽酒店下一站上海-明捷万丽酒店下一站北京-希尔顿逸林酒店查看官网6月20-21日深圳查看官网6月20-21日深圳11月21-22日上海2025全球软件工程技术大会大模型行业创新应用大模型行业创新应用55%AI模型应用核心能力提升专场 多模态与生成式AI多模态与生成式AI应用 45%研发关键技术能力进阶专场大数据平台与架构实践出海与云原生高可用架构大前端前沿技术大前端架构实践业务架构数据治理ThePowerofP为何参与?为何参与?◆与产品力领航者碰撞思想，在传统经验沉淀与Al创新实践中寻找平衡点◆与产品力领航者碰撞思想，在传统经验沉淀与Al创新实践中寻找平衡点◆深度链接技术、商业与用户研究领域资源组委会咨询组委会咨询即刻行动，欢迎提交议题至：期待您的真知灼见即刻行动，欢迎提交议题至：征集最具突破性、影响力与商业价值的Al产品创意案例，并同步开放宣传海报、宣传视频征集通道打造行业Al产品标杆