MTSC2025 第十四届中国互联网测试开发大会（上海站）：基于AI的UI自动化问题解决和提效实践

MTSC

2025中国互联网测试开发大会TESTINGSUMMIT

CONFERENCE

CHINA2025质

效革新

·智领未来2025/7/121

上海喜来登由由大酒店主办方：

TesterHeme上海站基于Al的UI自动化问题解决和提效实践质效革新

·

智领未来

主办方：TesterHeme中国互联网测试开发大会TESTINGSUMMITCONFERENCE

CHINA

2025

站MTSC2025寻

迹

&

胡

迪目录·

酷家乐

Al

历程及测试

AI·

AI测试平台设计及建设·

UI自动化提升之微调

AI·

UI

自动化提升方案之

AI·

未来与展望建设思考模型改善结果分析生成脚本MTSC2025中国互联网测试开发大会TESTING

SUMMIT

CONFERENCE

CHINA

2025质效革新

·

智领未来主办方：TesterHeme上

海

站一、酷家乐

AI

历程及测试

AI

建设思考MTSC2025中国互联网测试开发大会TESTING

SUMMIT

CONFERENCE

CHINA

2025质效革新

·

智领未来主办方：TesterHeme上

海

站UserSpace测试挑战kenelSsace衣柜设计通WebKitOpenGL

ESLibrary顶墙设计技

tecGPU

Driver酷家乐3D

云设计平台及技术架构全空间云设计软件平台深度应用于装企!建材1软装!定制1公装等企业前端类手工用例数量大UI

类脚本多，难度大设计工具使用“答疑”多酷家乐Al历程及测试AI建设思考MTSC2025中国互联网测试开发大会TESTING

SUMMIT

CONFERENCE

CHINA

2025企业云设计故

-

E橱柜设计世实

.

-Linux

KernelNetworkDevice

Driver全屋定制设计复向前

时资替设计=E3质效革新

·

智领未来主办方：TesterHemeV8JavaScriptEngine上海站HTTPStack且HardwareBrowserlibc用例智能生成&评审代码自动生成&CR基于知识智能检索问答主办方：TesterHeme大语言模型能力·Naturallanguagemodelstakein

natural

languageand

generate

respons8s.·Generativepre-trainedtransformer(GPT)modelstakenaturallanguageor

code

snippets

and

tanslate

them

intocode.·Image

generaion

models

take

prompts,a

base

imag,or

both,and

create

a

new

image.酷家乐AI历程及测试AI建设思考基于大语言模型能力的问题MTSC2025

2025会测试用例需求量巨大，简单内容多，编写质量不一大量测试/产品问题答疑，耗时高，响应低测试脚本数量

巨大，相似度

高，耗时大质效革新

·

智领未

来解决方向上海站OpenAICGp通用大语言模型ChatGPT·

测试用例生成·

脚本代码生成·立

0

wen2V面向特定测试领域的小模型·

图像测试比对·

模型定位识别·

向量检索优化RAG基于LLM

的RAG·代码编写/CR·

工单Al处理·从2023年至今酷家乐质量效能跟随AI的持续迭代酷家乐AI历程及测试AI建设思考MTSC2025中国互联网测试开发大会TESTING

SUMMIT

CONFERENCE

CHINA

2025质效革新

·

智领未来主办方：TesterHeme上海站.

.

..

.二、AI

测试平台设计及建设MTSC2025中国互联网测试开发大会TESTING

SUMMIT

CONFERENCE

CHINA

2025质效革新

·

智领未来主办方：TesterHeme上

海

站框

架

易上手程度部署难度

多模态支持

数据格式兼容性

参数设置细节Dily

极

高

低文本+PDF+简单图

文本、PDF、CSV基础(Top-K、温片(OCR)

网页

度、4k上下文)FastGPT

高

低文本+PDF(图片需文本、PDF、简单表基础(分片、检素外

置

)

格

数、8k上下文)RAGFlow

中等

中

等

图片+PDF+Excel

Word、PDF、丰富(分片、阁问答流程丰富性

社区支持主办方：TesterHeme单轮+简单多轮多轮+QA训练动态检索+模板复杂流程4Agent良好良好中等教企客业法(DeepDoc)LangChain中等偏低

中等偏高需扩展(图片+表格

)Excl、网页文本、PDF、

Excel.图片值、16k上下文)极丰富(检索全参

数、128k上下文)平台目标·

支持各个LLM模型·

支持RAG·

支持微调模型平台调研·FastGPT·Dify·Langchain平台部署●服务本地部署·db本地部署●模型本地部署发现需要越来越多的Al测试能力?MTSC2025中国互联网测试开发大会TESTINGSUMMIT

CONFERENCE

CHINA

2025Al测试平台设计及建设质效革新

·智领未来平台背景及方案调研上海站应用程序内部/外部APlspromptfunction

callingresponseEmbeddings向量数据库Agent基础大模型PG

数据库将用广提内容向量向量相似度搜索用搜检索内容作为Q搜索出来的内容丢进LLM

模

型回复问题页面嵌入

OpenAPI

企信对接

数据展示应用创建及使用应用管理

知识库管理

账户及模型管理应用配置业务层自定义应用自定义函数数据层事务

读写数据库

Al模型数据转换数据库Al测试平台设计及建设平台方案设计MTSC2025中国互联网测试开发大会TESTINGSUMMIT

CONFERENCE

CHINA

2025主办方：TesterHeme质效革新

·

智领未

来oe

o)(oo知识库管理应用对话用户管理Al模型配置上海站知识向量化知识检索前端接入MS

SQL权

限

控

制日

志

记

录展示层手动输入问答对—也加入搜索范围分段内容作为Q直接分段—将Q向量化文本分段文本分段私有训练小模型●图像识别/数据分析模

型●内部优化的embeddina

模

型通用大语言模型●业界领先的大语言模

型·

特定专项的模型接入Embedding

模型●业界领先的embedding

模型●

公司内部调优模型Al测试平台设计及建设平台建设之模型建设与接入实验二：【Qwen2-VL-7B-Instruct】+【unsloth】

微调改进点(对比实验

一

):·

大

模

型

从

2B改用为7B·

数据集图片里添加了红框作为感兴趣区域，便于大模型理解·

数据集描述中添加instruction>点击此处展开

…微调结果：迭代30次>点击此处展开

…

.王

办

分

：TesterHemedeepseek-r1-distill-llama-70bclaude-3.5claude-3-7-sonnet识库deepseek-v3式qwen-coder-plus-latest检索qwen-long质效革新

·

智领未米modelDimRetievalSTSPair

CLFCLFRe-rankClusterAverageTex12Ve

(base)

Tex2ec(large)

Luotuo

(large)7681024102438.79

41.9444.4043.41

44.9742.7967.41

70.8666.6262.1960.66

61.049.45

49.1649.2537.66

30.0244.3948.59

48.5650.12M3E

(base)M3E

large)768102456.9154.7550.4750.4263.9964.3067.5268.2059.3459.6647.6848.8857.7957.66Muli.E5

(base)

Multi.E

large)768102461.6363.6646.4948.4467.0769.8965.3567.3454.3556.0040.6848.2356.2158.84OpenAL-Ada-002153652.0043.3569.5664.3154.2845.6853.02BGE(small)51249.4570.3563.64614845.0958.28MTSC2025中国互联网测试开发大会TESTINGSUMMITCONFERENCECHINA2025上海站参数平台接入MCP、

本地模型等，逐步建立测试超级Agent主办方：TesterHeme易用性提升工作流内部5+测试工具、测试平台接入平台能力。例：工单系统对接AI测试

平台，日活50+进行了5+的能力拓展优化。例：优化应用和工作流使

用方式，累计建立的30+进行了多项易用性提升10+例：优化知识库能力，优化后累计新增知识库已达12w+损

作MTSC2025中国互联网测试开发大会TESTINGSUMMIT

CONFERENCE

CHINA

2025Al测试平台设计及建设功能优化外部对接平台建设之能力建设质效革新

·

智领未来三更多

中文上海站新建工单按ID需求阶段7开发设计阶段测试阶段发布阶段线上响应需求评审需求分析devdesign评审单测测试用例生成测试用例评审自动化用例生成自动化能力补充自动化用例评审自动化报告分析发布计划/报告生成Al辅助问题定位/数据分析AI需求文档评审AI需求文档输出测试分析Al

devdesign评审AI辅助单测用例生成AI转AC为测试用例AI手工用例生成Al辅助数据生成Al手工用例评审UI自动化辅助生成AI注释xpath辅助生成接口自动化辅助生成AI模型辅助图形比对AI模型辅助JSON比对UI自动化CRAI辅助自动化结果分析Al辅助测试计划生成Al辅助发布计划生成AI辅助工单处理Al辅助渲染问题定位Al辅助日志/监控数据分析文档生成/提炼AI编码/辅助模型微调/训练数据分析/对话AI助手接入群数量记

录

数

记

录

数1461105322024-042024-02024-072024-082024-092024-102025-0周上

办

分

·csterHeme用创建总数记

录

数1761,0002024-02质交X基于AI平台我们在多个业务场景进行落地探索8006004664002000车数量知识库数量128,403498MTSC2025中国互联网测试开发大会TESTING

SUMMIT

CONFERENCE

CHINA2025Al测试平台设计及建设平台使用情况1,0001202025-03-242025-03-312025-04-07上海站平台访问量1,2004632024-03平台访问量1.025平台上的典型测试应用举例1:比如AI辅助工单答疑：·

工作日活跃超50,高峰时段超150,有效处理大量FAQ·Al

介入后，平均工单处理时长缩短近10天·

部分工单排查提效近90%比

如AI辅助文档/复盘评审推送--以测试复盘评审为例：·利

用AI对优秀文章推荐推送，累计100+·Al+

知识库辅助评审评分故障复盘，已推广使用·

累计评审及推送文档150+,符合度/满意度70%+比如辅助测试数据分析--辅助数据比对/图像比对：·

目前指定业务使用AI

JSON

Diff实现数据比对分析定位·

通过特定AI模型进行图片diff并辅助分析定位根据提供的渲染场景数据的差异，我们可以分析每个差异对渲染效果的潜在影响：1.BBox

(边界框)变化：旧

值：{"

min":{"x”:1705.0,"y":-5460.0,"z”:3000.8},"max":["x":6125.0,"y":160.0,"z":3200.8}}○新值：{"min":{"x”:17050.0,"y":-5460.0,"z”:3088.8},"max":{"x":6125.0,"y":160.0,"z":3288.0}}。影响：边界框的最小×值从1705.0增加到17050.0,这可能会导致场暴的可视范围发生变化，影响渣染对象的可见性和位置。如果边界框的变化导致对象被裁的或不在视野范围内，可能

会影响最终渲染的效果。2

Index(索引)变化：。

旧

值

：

3

0

8新值：

301。影响：索引的变化可能影响对象在渲染队列中的顺序，可能会影响渲染的优先级或某些特效的应用顺序，但具体影响取决于渲染引擎的实现。3.Value

(

值

)

变

化：旧值中的

toneMapper

的darkMult

从1.0

增

加

到

2

.

0:·影响：这将使得暗部的亮度加倍，可能导致图像的对比度增加，暗部细节更加明显。○其他参数(如

autoExposure、bloom、ao

等)保持不变，可能不会对效果产生显著影响。0414-0420

AI精选文档推荐

三本次精选的文档涵盖测试技术、工具与流程规范，提供了实用的

解决方案和丰富的经验，希望对大家有所帮助。1.测试开发视角：如何用技术破解

CDN线上稳定性难题?文章介绍了通过双架构设计和自动化测试方案提高CDN的线上稳定性。

@茜漫/Cimy

(茜漫)2.设计验收流程推广阶段性成果展示详细描述了设计验收流程的背景、改进点及最佳实践。

@

飞

霞/Feya(飞霞)3.

新人学习分享20250417涵盖参数化建模方法和多个建模技术模块的应用场景。

@

叶MTSC2025中国互联网测试开发大会Al测试平台设计及建设质效革新

·

智领未来主办方：TesterHemeTESTINGSUMMIT

CONFERENCE

CHINA

2025萌新小班长日OT

4-2514:00:38上海站比如辅助报告编写阶段--以测试发布报告为例：·

重点敏捷组的测试发布报告已经100%通过Al平台生成·Al

生成报告效率较人肉效率提升巨大(20min->1min)比如测试编码阶段--代码评审CodeReview

为例：·

5

0

%

+的UI自动化gitlab

仓库接入了AI

CR·AI

CR融入部门UI自动化公审流程100%·CR

次数提升100%,AI

CR有效率约80%(问题维度)比如辅助分析阶段--辅助多语言异常检测：·

目前已经常态化利用AI平台进行国际化多语言及页面检测·

问题拦截率基本达到100%质效革新

·

智领未来TESTINGSUMMIT

CONFERENCE

CHINA2025平台上的典型测试应用举例2:结

论:AI能够根据知识库给定的一些规则进行辨另,并准确的能分辨出错误所在土办万

·

TesterHemeAl测试平台设计及建设MTSC2025中国互联网测试开发大会上海站Al平台及模型能力下面将分别从这三个方向概介绍我们的提升方案质效革新

·

智领未来

主办方：TesterHeme代码编写●提升人员编码熟练度·Al辅助编码元素定位UI

自动化测试编写面临的挑战UI自动化编码的关键环节及我们的提升标点MTSC2025中国互联网测试开发大会TESTING

SUMMIT

CONFERENCE

CHINA

2025●结果校验算法优化·Al

结果分析·

元素标准化·元素定位AI识别结果校验上

海

站三、UI自动化提升之微调AI模型改善结果分析MTSC2025中国互联网测试开发大会TESTING

SUMMIT

CONFERENCE

CHINA

2025质效革新

·

智领未来主办方：TesterHeme上

海

站UI自动化提升之AI辅助结果分析酷家乐UI

自动化测试大量使用数据比对和图像比对。图像比对面临着如下困境：当前UI自动化图像对比算法是：structural

similarity

(结构相似性指标)·SSIM

对结构变化较为敏感，当图纸中的标注或文本发生正常的轻微偏移时，图片对比会失败。·

这

些

失

败case降低通过率，增加了很多人力排查耗时，无法给出语义化的分析结果。☑

运行

|Debug|coohom盛|折叠|*注释hook|●A

辅助test(“安装宝小程选中物料信息展示”,async()=>{let

stepDesc

=“

根据code重新加载数据”await

pyBell.alure

.step

(stepDesc,async()=>{miniapextraParamkithcode=code:

"N282484268814CY⁰81010883",

huLi

[1

year

ago]

·

新增物料清单校验;awaitinstallationoption.getLTnstallatiomwizard(miniappextraParanmlithcode);awaitpyBell.sleep(308)

;frameDrive

=awaitmobileoption.getfFranewithetry();const

huf-munityDallcmanchpt();awaitcommonExpect.checkImgDiffV2(buf,`${ftpImage}安装宝小程选中物料信息展示_${os.platform()}:${s});MTSC2025

2025会质效革新

·

智领未来主办方：TesterHeme上海站提问不同大模型的识别结果备注chatGPT

o3-miniQwen2.5-Max文心4.5kimi"success-2-1.png是预期图片，success-2-2.png是变量图片，请细分析这两张图片里有哪些内容，并给出结论：两张图片的

内容相同还是不同。”详>图片内容分析>图片内容分析结论两张图片的内容完全相同。没有任何可察觉的差异。>图片内容分析结论两张图片的内容相同。无论是尺寸标注还是

图形元素，success-2-1.png和success-2-2.png都完全一致。>图片内容分析结论：经过对比分析，两张图片(success-2-1.png和success-2-2.png)的内容完全

相同。所有尺寸标注、形状和符号的位置、大小以及颜色都一致，没有发现任何差异。因此，可以确定这两张图片的内容是相同的。亮点：·Al语言描述方式非常接近专业描述·尺寸标注的识别结果不仅准确还较为详细(能说出标注的位置)·

不仅能识别出尺寸标注，

还能识别出“圆形符号”(圆弧半径标注)754导100764success-7-1.png是预期图片，uccess-7-2.png是变量图片，请细分析这两张图片里有哪些内容，并给出结论：两张图片的内容相同还是不同。”详>图片内容分析>图片内容分析4.结论两张图片的内容完全相同。无论是布局结构

、尺寸标注、红色对角线还是文字标注，都没有任何区别。>图片内容分析结论经过详细对比，success-7-1.png和success-7-2.png在整体布局、模块单元组成、标注内容、尺寸标注以及其他细节方面均完全相同。因此，可以得出结论：两张图片的内容相同。>图片内容分析通过对比这两张图片的内容，可以得出以下结论：·整体尺寸：两张图片的宽度和高度完全相同。·

内部布局：两张图片的内部布局完全相同，红色对角线和三角形区域的分布一致。·

分隔尺寸：两张图片的横向和纵向分隔尺寸完全相同。·

其他标注：两张图片的左侧和右侧的高度标注完全相同。综上所述，这两张图片的内容完全相同

。亮点：·

能识别出文本标注·还能分类归纳，识别出结构类似的单元模块(都由矩形、标注、文本构成)从测试结果来看，都没法满足我们的专业性要求UI自动化提升之AI辅助结果分析多个大模型调研测试效果情况MTSC2025中国互联网测试开发大会TESTINGSUMMIT

CONFERENCE

CHINA

2025质效革新

·

智领未来主办方：TesterHeme上海站s模型微调技术方案及工具选型技术SFT(有监督微调)ModelDistillation(模型蒸馏)RAG(检索增强生成)核心原理通过提供人工标注的数据，进一步训练预训练模型，让模型能够

更加精准地处理特定领域的任务通过将一个复杂的大型模型(通常称为“教师模型”)中的知识迁移到一个更

小的模型(称为“学生模型”)将外部信息检索与文本生成结合，帮助模型在生成答案时，实时获取外部信息

和最新信息适用场景拥有充足的数据；直接提升模型的固有能力；

无需依赖外部检索常见于模型压缩、边缘计算、低功耗设备的部署中，用于提升部署效率并

降低计算需求比较少的数据；动态更新的数据每次回答问题前需耗时检索知识库；回答质量依赖于检索系统的质量；工具优势适用场景xtuner支持多节点跨设备微调更大尺度模型超长上下文训练unsloth训练加速+低显存需求低成本微调大模型llamafactory可视化调参界面+多模型支持+多种训练方式行业专用模型快速落地peft参数高效+资源节省大规模模型轻量化适配transformersHugging

Face生态完备+社区支持从实验到生产全流程Kiln零代码+协作功能快速原型开发UI自动化提升之AI辅助结果分析MTSC2025中国互联网测试开发大会TESTINGSUMMIT

CONFERENCE

CHINA

2025质效革新

·

智领未来主办方：TesterHeme提高模型对企业专有信息的理解、增强模型在特定行业领域的知识微调工具对比技术方法对比上海站微调平台

生产应用实

验

一：Qwen2-VL-2B-Instruct+LLaMA-Factory微

调

结

果

分

析训练效果不理想可改进点：换更大的模型进行微调：2B这个级别的大模型“智商不高”,换用更大的模型能得到更好的效果数据集优化：当输入的语言描述有太多专业名词时，大模型可能根本无法理解，起不到微调作用。可以更改训练数据格式(加入系统描述)或者在图片

上框出重点区域，提高大模型理解能力数据集扩充：当前训练数据量太少，可以再多构造点训练数据fail-1-1.jpg

fail-1-2jpg比较：这两张图片中存在以下区别：第一张图片中存在位置标注：

A

组位于图片中间偏

右位置，

B组位于图片中间偏左位置，

C组位于图片上方位置。而第二张图片中没有位置标注。其他内容相同，两张图片中位干图片中间位置的矩形形状相同，位干图片中间偏右位置的矩形形状相同，位干图片中间偏左位置的矩形形状相同，位于图片上方位置的矩形形状相同，两张图片中位于图片中间位置的矩形形状相同，两张

图片中位于图片中间偏右位置的矩形形状相同，两张图片中位于图片中间偏左位置的矩形形状相同，两张图片

中位于图片上方位置的矩形形状相同，两张图片中位于图片中间位置的矩形形状相同，两张图片中位于图片中|

间偏右位置的矩形形状相同，两张图片中位于图片中间偏左位置的矩形形状相同，两张图片中位于图片上方位|

置的矩形形状相同，两张图片中位于图片中间位置的矩形形状相同，两张图片中位于图片中间偏右位置的矩形

形状相同，两张图片中位于图片中间偏左位置的矩形形状相同，两张图片中位于图片上方位置的矩形形状相同，两张图片中位于图片中间位置的矩形形状相同，两张图片中位于图片中间偏右位置的矩形形状相同，

……前置准备实验一：Qwen2-VL-2B-Instruct+LLaMA-Factory

微调

微调结果UI自动化提升之AI辅助结果分析MTSC2025中国互联网测试开发大会TESTING

SUMMIT

CONFERENCE

CHINA

2025数据集格式

转换基础大模型

测试配置训练

参数数据集环境准备：

硬件、软件基础大模型执行训练训练后模型效果验证质量检测、视觉导航、

医学诊断、

图像检索、

安防监控、微调流程及逐步优化质效革新

·

智领未来主办方：TesterHeme微调流程上海站微调前根据提供的两张图片，以下是对两张图片的比较结论：1

.

*

*

尺

寸

标

注

*:-

两张图片中的尺寸标注数量相同，

均为10个。-

尺寸标注数值匹配不上，因为红他矩形框内标注的尺寸在两张图片中不同2

.

**文字标注**:-

两张图片中的文字标注数量相同，均

为

1

0

个

。文字内容匹配不上，因为红色矩

框

内

标

注

的

文字在两张图片中不同。几何图形图片中的几何图形数量相同，均为10个。何图形的数量、大小、颜色、位置、方向存右不同

。4

.

**辅助标记**:两张图片中的辅助标记数量相同，均为10个。一

辅助标记的数量、位置、方向存社不问

。综上所述，两张图片在尺寸标注、文字标注、几何图形和辅助标记上存在差异，微调后为了详细分析两张图片的内容是否相同，需要逐一比较两者的各个方面。以下是具体的分析步骤：##林*逐条分析比较标准*1.*尺寸标注；image1和1image2中的尺寸标注完全一致。*-在红色框区域内，imagel和image2都没有尺寸标注；-在红色框区域外，image1和image2的尺寸标注数量、数值完全相同；-因此两张图片中的尺寸标注相同。下X

子协注：1mage11和1magez中的X子协注个问。平imagel左上角红色框内有文字标注“C组”,image2左上角红色框内没有文字标注。inagel右上角红色框内有1age1

所imagel中间红色框内ugT△er³n人

了WL”,iagoT△ern人

了V-在红色框区域外，i-综上所述，两张图片中的文字标注不同3.**几何图形：

inagel和image2中的几何图形完全一致-在红色框区域内，imagel和image2的几何图形特征不明显，不适合做匹配。几何图形的数量、位置、颜色、大小等特征完全相-因此，两张图片中的几何图形相同。4.**辅助标记：inagel和image2都不存在-辅助标记在两张图片中均未出现，因此这一条#

*

结

论根据上述分析，image2在红色框区域内缺失了“C组”、“B组”、“A组”和

“D组”的文本标注，命中CA;/drive/1S9n5ZmwRwMfHRIC1GvtHUIcdN2vieD_r#scrolITo=XEpS141ptg7kqwen2_VL7Btrain.ipynb☆②文件修改视图插入代码执行程序工具帮助+

代

码

+

文

本王model=FastVisionllodel.getpeftmodel(odel.,finetume_language_layezs=True,#Falae

if

not

finetuning

lnyuage

layersfinetune_attention

modules=True,#False

if

not

finetuning

attention

layerefinetune

nlp_nodules

True,#Palze

if

not

finetuning

LP

layexaUI自动化提升之AI辅助结果分析微调平台

实验二：Qwen2-VL-7B-Instruct+unsloth微调

微调结果实验二：Qwen2-VL-7B-Instruct+unsloth

微调coqwen2.VI78triniyb-Co×

+MTSC2025中国互联网测试开发大会TESTINGSUMMIT

CONFERENCE

CHINA

2025从测试结果来看，基本满足我们的测试述求微调流程及逐步优化3407ortrankstabilizedLoRAnovwl

Can

specify

a

list

if

needed质效革新

·

智领未来主办方：TesterHemeCOQ

命令三回<>{x}C□Toformatthedataset,allvisionfinetuningtasksshouldbeformattedasfollows:r,t

#Recoaended

alpha上海站=16bi

n因此可以认为两张图片不相同。<lim

end|>the

highertheat

leaztaccuracy,but

mightoverfit微调关键三：数据集文本描述低质量描述："一张有人的图片。"问题：缺乏细节，无法建立有效关高质量描述：“会议室内，三名身穿正装的商务人士围坐在玻璃会议桌旁，中间的女性正在用触控笔指向65英寸液晶屏上的柱状图，屏幕

显示'Q3

销售额增长22%',窗外可见城市天际线。"22

22:48:562025

(Pressh

for

help

or

q

to

quit)NVITOP1.4.2DriverVersion:

560.35.03CUDADriverVersion:

12.6Pwr:Usg/CapMemory-UsageGPU-Util

Compute

M.350W22.82GiB/24.00GiB

92%

Default22.1361B/

1005MethodParam(B)LanguageModelVisionModelEvalDateAvgScoreAvgRankMMBench_V11

△MMStarQwen2-VL-2B2Qwen2-1.5BQwenViT2024/09/1257.3131.572.247.5Qwen2.5-VL-3B3.75Qwen2.5-3BQwenViT2025/02/0264.587.3876.856.3Qwen2-VL-7B8Qwen2-7BQwenViT2024/09/1267.167.128160.7Qwen2.5-VL-7B8.29Qwen2.5-7BQwenViT2025/02/0270.94282.264.1Qwen2-VL-72B73.4Qwen2-72BQwenViT2024/10/2874.820.1285.968.6Qwen2.5-VL-72B73.4Qwen2.5-72BQwenViT2025/02/0276.115.587.870.5测试模型微调经验微调关键一：基础大模型的选择①智商：越大的模型越聪明，微调效果越好质效革新

·

智领未来

价值：包含对象、动作、场景、文本内容和环境细节

主办方：TesterHeme微调关键二：数据集图片处理*图片需要限制大小，大于512x512大小将明显增加训练时显存占用UI自动化提升之AI辅助结果分析MTSC2025中国互联网测试开发大会TESTING

SUMMIT

CONFERENCE

CHINA

2025UPTIME:10.5

daysLoad

Average:

5.4010.3925.1%USED:

14.86GiBSWP:上海站Al模型持续微调优化大模型Qwen2(.5)-VL-7B-Instruct+微调平台+定制图纸领域训练数据集质效革新

·

智领未

来提高对比准确率对于期望对比通过，而SSIM

算法识别为不通过的case,

引

入Al能力减少误报率(提高case成功率)降低分析成本利

用AI将图片对比的内容/细节进行语义化说明，输出规范的分析报告，降低UI自动化结果分析的人肉投入接入UI自动化接

口封

装将用微调后大模型进行图片对比的代码封装成新接口阶段一，在UI自动化图片对比失败时，调大模型对比接口，提高case成功率阶段二，大模型对比能力运行比较流畅时，对UI自动化整体case接入AI对比，并自动输出Al分析报告UI自动化提升之AI辅助结果分析MTSC2025中国互联网测试开发大会TESTINGSUMMIT

CONFERENCE

CHINA

2025主办方：TesterHeme上海站四、UI

自动化提升方案之

Al

生成脚本MTSC2025中国互联网测试开发大会TESTING

SUMMIT

CONFERENCE

CHINA

2025质效革新

·

智领未来主办方：TesterHeme上

海

站UI

自动化提升之AI

生成脚本自动化现状·

框架：基于

puppeteer

自研框架，基于js

实现·

形态：调用封装的业务函数+断言

组成用例·

规

模

：超6000条用例脚本当前痛点☑

运行|浙

Debug|coohom|折叠

|淼

注释hook|◎AI辅助test

("

用例demo_模型基础操作",

async()=>{//****通过mock能力，模拟后台配置await

pyBell.mockRequestData([await

abTestConfig("

开启一键按库分单")],

async()=>{await

yundesign.openDesign

({

designId:

"3F03QW55S01K"

})

//

打开方案assertIsTextExist

("

方案加载失败",

false

)})await

CustomOrder.gotoOrderMode

()//****修改模型参数await

CustomModel.setParamValue

("

宽度","100")//****批量提取文本，验证模型参数正确const

menus=

await

pyBell.getInnerText(parameterPanelRoo

t)expect(menus).toEqual([

'宽度','左','右','780','深度','前','后','500','高度','上','下','1500'])//截图并进行图像对比const

buf

=

await

pyBell.screenshot()const

expectImg="https://test-xxx/expect.png"await

assertImageDiffV2(buf,expectImg,0.998)},{id:

"AF5BgLLiUt",priority:"P1",owner:"hudi"})用例脚本示例·

编写成本高。需要掌握大量自动化函数(超过600个业务函数)·Xpath

调试成本高，质量参差不齐MTSC2025中国互联网测试开发大会MMIT

CONFERENCE

CHINA2025质效革新

·

智领未来主办方：TesterHemeYou,40秒钟前·

Uncommitted上海站案例一：Al

生成自动化脚本MTSC2025中国互联网测试开发大会TESTING

SUMMIT

CONFERENCE

CHINA

2025质效革新

·

智领未来主办方：TesterHeme上

海

站工具效果演示以中文形式编写用例步骤，由Al

“翻译”成对应的自动化脚本。优势无需记忆全部的自动化函数，降低编写成本。编辑(E)选择(S)查看(V)转到(G)运行(R)udit

testjs

2,U

×t_>YLSD>order>JS

auditetjs>describe1终端(T)

…(订单模块demo“”cllak>testr"00LA9由展开发宿主customhautotetFastOA

对话×生成脚本示例7

callback代码生成完成☑describe

(

"订单模块_demo",

()

=>

{const

I

commonoption,orderoption}=require(@function’)

consttopBaroption}=

require

('

@function')☑

运行|i

Debug|◎AI辅助|AI生成代码|Agent写脚本test

("

001_AI生成脚本示例",async

()

=>

{//进入提审环婉/1

·进入定制//-进入提审环境await

orderOption.

clickSelectA¹1

()//提交订单awaitorderoption.clickSubmitConfirm

()//退出提审环婉awaitorderOption.exitOrderlodel

()10})

Alt+K生成代码})UI自动化提升之AI生成脚本MTSC2025中国互联网测试开发大会TESTING

SUMMIT

CONFERENCE

CHINA

2025质效革新

·

智领未来主办方：TesterHeme//进入定制await

commonoption.openDesign(orderDesign)awaitleftPanelOption.gotoCustom(“家具”)/1

·提交订单//

·退出提审环境Ⅲjavascript

复制代码awaitorderOption.gotoOrderllode()//选中全部模型/1

·选中全部模型23456上海站1112//引入必要的包89白

4ILUI

自动化提升之AI

生成脚本实现思路核心思路·

建设自动化函数

AI

知识库，让AI掌握业务函数·

基于注释检索相似脚本代码，让AI

理解函数常规用法模块·VSCode

插件：负责整体交互，收集代码信息·

AI测试平台：AI

工作流、函数知识库VsCode插件编写用例步骤

拆解成关键字

本地逐层检索相似Actor检索失败

优化后的AI

测试平台AI

优化关键字构造上下文Context输出代码

LLM流程图目

的：让

AI

拿到尽量丰富、准确的上下文MTSC2025中国互联网测试开发大会TESTING

SUMMIT

CONFERENCE

CHINA2025抓取用例上下文提取关键信息质效革新

·

智领未来主办方：TesterHeme上海站函数知识库知识库检索GitLab

Cl中国互联网测试开发大会TESTINGSUMMITCONFERENCECHINA2025函数知识库设计主要存储业务函数关键信息(描述、入参、返回值等)

,

节

省

token

开

销screenshot

对当前页面进行截图。可以截取整个页面或指定区域，支持多种图片格式。在某些系统(特别是MacOS)上可能会有截图时间较长或画面抖动的问题。“functionName":"screenshot","isAsync":false,"params”:["options"],"nodeType":"TSMethodSignature","docComment":"/rn*@apifasyncfunc}screenshotscreenshot\rn*@apiGrouppage\r\n*@apiVersion0.0.8rin*@apiDescription

对当前页面进行截图。可以截取整个页面或指定区域，支持多种图片格式。\\n*

在某些系统(特别是MacOS)

上可能会有截图时间较长或画面抖动的问题。\r\n*Vrn*@apiParam{ScreenshotOptions}options截图配置选项：\r\n*-path:

保存图片的路径\r\n*-type:图片格式，支持‘png'/'jpeg'\n*-quality:jpeg

图片质量(0-100\n*-fullPage:是否截取完整页面\rn*-clip:截图区域的坐标和大小rn*rn*@apiExample

jis}基础截图

r\n*awaitpyBell.screenshot({path:'screenshot.png')\r\n*\r\n*@apiExample(js}完整页面截图

rn*awaitpyBell.screenshot(frn*path:full.png',\rn*fullPage:true\r\n*}\rn*\rln*@apiExamplejs}指定区域截图rn*awaitpy

Bellscreenshot(I\n*path:'areajpg':\n*type:jpeg'Irn*clip:{x:0,y:0,width:500,height:300r\n*J\rin*門localStorageSet

在当前页面的localStorage中设置键值对。(“functionName":"ocalStorageSet","isAsync":false,"params”:["key","Vvalue"],"nodeType":"TSMethodSignature","docComment":"/**rn*@api{asyncfunc}localStorageSetlocalStorageSet\r\n*@apiGrouppage\r\n*@apiVersion0.0.11\\n*@apiDescription在当前页面的localStorage中设置键值对。\rln*rn*@apiParam{string}key要设置的键名\rln*@apiParam{string}value要设置的值\r\n*\r\n*@apiExamplejis}基础用法

r\n*//

设置主题偏好\r\n*await

pyBell.localStorageSet(theme','dark\vn*Vrn*@apiExample

is}设置JSON

数据Vr\n*//存储复杂数据结构r\n*const

userPrefs={rn*language:'zh-CN;Irn*notifications:true\r\n*Ar\n*awaitpyBell.localStorageSet(userPrefs,JSON.stringify(userPrefs)\r\n*getTimestamp

获取当前页面的时间戳。返回格式化的日期时间字符串。("functionName":"getTimeStamp","isAsync":false,"params":D,"nodeType":"TSMethodSignature","docComment":"/*(rn*@api{asyncfunc}getTimeStampgetTimeStamp\r\n*@apiGrouppage\r\n*@apiVersion0.0.8\r\n*@apiDescription

获取当前页面的时间戳。返回格式化的日期时间字符串。

V\n*rn*@apiExample(is}基础用法n*//

获取当前页面时间rn*const

timestamp=awaitpyBell.getTimeStampOVrin*pyBell.Iog

(页

面

时

间

：${timestamp})\\n*//输出示例：ThuMar12202010:15:26GMT+0800\\n*\rn*@apiExampleis}用于时间比较\r\n*//记录操作时间\rn*constbeforeTime=awaitpyBell.getTimeStampOVrn*awaitpyBelll.click(#submit>r\n*const

afterTime

=await

pyBellgeTimeStampovn*pyBel.Iog(操作前：${beforeTime})n*pyBell.log

(操作后：${afterTime})n*/getUA

获取当前页面的

User

Agent字符串。用于识别浏览器类型、版本等信息。{[“functionName":"getUA","isAsync":false,"params”:D,"nodeType":"TSMethodSignature","docComment":"/*(r\n*@apifasyncfunc}getUAgetUAr\n*@apiGrouppage\rln*@apiVersion0.0.8Vrln*@apiDescription获取当前页面的User

Agent

字符串。用于识别浏览器类型、版本等信息。

Vrln*r\n*@apiExample(js}基础用法rn*//获取User

Agent\r\n*const

ua=await

pyBell.getUAOVv\n*pyBell.Iog(

浏

览

器UA:${ua})\rn*\rn*@apiExampleis}条

件

判

断Vrn*1/根据UA

判断浏览器类型vn*const

ua

=await

pyBellgetUAOvn*ifua.includesCChrome){Vn*pyBl.logC当前是Chrome

浏览器”n

*

A

n

n

*門UI

自动化提升之Al生成脚本MTSC2025质效革新

·

智领未来主办方：TesterHeme上海站.gitlab-ci.yml6

unit-test:19202122232425262728293031#更新知识库apiupdateAIData:stage:parseonly:

You,4个月前

·修改ci配置.-masterbefore_script:-yarn

--ignore-scriptsscript:-node

./scripts/AI/index.js

-utags:-kube-runnerconst

functions:FunctionInfo

[]=

[]

;/

/

遍

历ASTtraverse

(

ast,{//处理函数声明FunctionDeclaration(path){const

functionName

=

path.node.id?.name;if

(

!functionName)

return

;//获取函数的JSDoc

注释const

comments=path.node.leadingComments;if

(

!comments

)return

;//合并所有注释const

commentText

=comments.map(comment

=>comment.value).join('\n');const

description=_this.extractDescription

(commentText);if

(

description

){functions.

push({functionName

,description

,});/***解析单个JavaScript

文件*

@paramfilePath

JavaScript

文件路径*

@returns

包含函数信息的数组parseJsFile(filePath

:

string

):FunctionInfo

[]{const

content

=readFileSync(filePath

,'utf-8');/

/

使用Babel

解析JavaScript代码const

ast

=parser.parse(content,{通过AST

解析自动化代码，提取所有业务函数的关键信息expoI

ApiParseToolMTSC2025中国互联网测试开发大会TESTING

SUMMIT

CONFERENCE

CHINA2025UI

自动化提升之AI

生成脚本122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159知识库维护机制质效革新

·

智领未来主办方：TesterHeme配合

CI

实现自动更新到知识库sourceType:'module',plugins:['jsx','typescript','classProperties','decorators-legacy'],上海站const

this

=

this

;});.使用量局限性·

只有当存量

case

越多、注释越规范，生成的准确度越高。相反，生成代码的准确性不可控。UI自动化提升之AI生成脚本落地效果准确性·

对于存量业务，生成代码准确率超过

70%·case

编写提效超过15%MTSC2025

国互联MI

NSU2025会质效革新

·

智领未来主办方：TesterHeme上海站案例二：AI

生成xpath

表达式MTSC2025中国互联网测试开发大会TESTING

SUMMIT

CONFERENCE

CHINA

2025质效革新

·

智领未来主办方：TesterHeme上

海

站UI自动化提升方案之AI

生成

xpath

表达式编写

xpath

的痛点·

调试成本高(平均一个元素耗时1～5min)·xpath

质量参差不齐(每个人编写的风格大不相同，健壮性不够)现有解决方案的局限性·沉淀

xpath

规范与技巧(学习成本高)·开发Chrome

插件(仅能解决30%场景)质效革新

·

智领未来沉淀的技巧与规范主办方：TesterHeme·

二、几例xpath封装实践·2.1xpath函数封装，减少70%的xpath编写·2.2顶层元素+关键字定义通用xpath·2.3相对位置+xpath函数·2.4定义xpath中文key,

提升可读性·2.5合理的模块划分·

原则：·三、必须掌握的xpath

技巧·3.1基础关键字的使用·