2025QECon全球软件质量效能大会：基于知识工程的流水线失败脚本AI智能分析

赖洪水｜中兴通讯、大型项目DevOps负责人赖洪水中兴通讯大型项目DevOps负责人项目基础设施负责人

，

负责项目效能平台建设

，

涵盖DevOps、

工具、

资源环境

，

为项目提供研发效能服务。

从业20年

，

同时作为敏捷教练

，

为多个项目进行敏捷及DevOps赋能。目录CONTENTS01

实践背景04

效果评价05

未来展望02

解决思路03

实践落地PART

01实践背景技术挑战：需要对现有的工具进行改造

，以适应智能化需求

，以及将CI/CD流程和

DevOps工具链融入大模型技术

，从而更好地支持智能化研发和运维等

软件工程3.0时代的DevOps改进思考

模型驱动研发和运维（规划、创建、验证、打包、发布、配置、监控）

真正实现所需即所得

，真正做到持续交付服务

实践背景-DevOps

AI提效点分析一级活动二级活动涉及角色能耗质量风险优先级痛点分析代码检查C0※

KC检查修复Dev高高5低效重复

，准确率低：检查失败占比高(>30%)

，每日产生的告警量大且误报率高（>50%）

，分析误报和消缺投入大※明文密码识别Dev高高5低效重复

，准确率低：明文密码扫描告警量大

，误报率高

（>90%）

，分析误报投入大规范检查修复Dev极高低4低效重复：流水线检查点多（VerifyCI检查项20+）

，开发经常咨询流水线运维人员辅助解决组件验证C0组件验证修复Dev低--2--版本构建C1版本构建Dev低--2--自动化测试(C2-C3)※失败脚本分析Dev/TE高高5分析时间长

，不及时：每版本用例5w+

，每日失败脚本多

（3000+）

，分析投入大（>2H/天/团队）

，分析及时度

（<80%）流水线运维(C0-C3)流水线配置DevOps中--2--资源环境分配DevOps高--2--研发活动子活动规模大模型应用分析代码检查明文密码识别所有开发团队分析一行目标代码

，相对简单

，但对精准度要求非常高

，不能有实警漏报代码检查KC告警修复所有开发团队有较复杂的缺陷推理链条

，推理过程需要代码上下文信息。能识别误报

，对于KC问题能提供消缺建议，对易用性有较高要求。★自动化测试流水线问题定界定位所有开发/测试团队知识库以私域知识为主

，环境问题要求精确定位

，能依据定位结果实现自动或人工修复；脚本和功能问题期望给研发人员快速定界并提供定位思路；

实践背景-DevOps

AI提效点分析u

AI应用选择策略：基于代码价值流模型

，从等待时间、运行时长、准确率识别业务流关键活动

，结合能耗、风险确定AI应用u

AI应用模式分析：根据AI研发活动对大模型推理复杂度和精度要求

，选择合适大模型和应用模式。

问题分析u当前流水线问题分析业务流

问题分析u

TOPn问题分析：结合人工分析业务流程

，针对痛点分别从环境、脚本和功能三个维度分析TOP3问题•脚本编写缺少规范

，导致用例无法运行或者对异常未做处理•无统一日志打印

，无法获取关键日志，依赖于测试人员经验•脚本与功能存在版本匹配问题

，难以定界

，需要通过手工复现后分析•版本形态多：Windows、Linux；

X86、ARM等•功能复杂：160+组件

，单点-端到端-北向

，分析链条长

，需要多人协作•安装场景多：单机、虚机集群、物理集群等

，不同安装场景和安装规模组合环境

(占此>30%•环境种类多(9+)：不同环境运维人员不同•同一类环境缺少标准化：因环境配置问题（如分辨率设置、插件版本）导致未执行或者失败多•环境问题影响大：影响用例未执行或者大面积失败

，重复问题分析浪费人力改进目标：借助大模型提效

，构建AI辅助流水线定界定位AI应用

，定界准确率>60%

，推广度100%

，提效20%失败分析及时度

（<80%）分析人力投入大（2h/人/团队）用例通过率低（89%）3000+失败/天用例上线率低

（82%）PART

02解决思路失败脚本定界定位问题闭环定界定位知识库环境问题知识知识类型l

基本信息任务概述仿真环境注意事项...输出格式要求l

失败信息失败日志类型Jenkins日志RF日志业务日志l

任务重申任务重申知识类型单点功能北向接口...•总体方案：

根据历史经验构建环境、

脚本及功能问题知识库

，环境问题提前检测

，脚本日志规范及功能错误码规范快速定界

知识库建设：

支撑/业务系统环境二级分类

，失败脚本规范化日志打印

，根据信息架构对功能分级分类

，构建环境-脚本-功能知识库；

工具触点：

以自动化系统为工具触点

，嵌入失败脚本分析工作流

，失败案例在线分析

，促进准确率提升；

用户体验：

拉通支撑系统（用例执行系统、

环境管理系统等）

及业务系统

，故障一键提单

，环境问题自修复；

整体方案建设策略失败特征描述告警、XX业务...数据文件缺失...TAPI、

I2...脚本问题知识功能问题知识分辨率不匹配存储空间不足节点不可用数据越界...测试数据知识描述知识类型知识描述知识描述校验逻辑脚本规范RF环境RF环境召回召回.........

知识工程：

通过强化私域知识理解和思维链能力

，提升模型内容生成准确率；

完善知识规范性

，补全智能体所需的知识完备性；

应用范式：

用模块化内容和标准化活动提升AI应用效果；

工具支撑：

提升AI工具的全面性和易用性

，打通流程断点；

质量提升：

AI交付内容的质量控制和度量模块化、标准化、流水线编排

AI应用构建

PE工程

，优化提示词

流水线编排

，全流程拉通活动

基于业务场景

，构建触点应用工具全面、易用、无断点

全流程工具

，确保流程无断点

触点工具

，提升易用性

一键提单

，加速问题闭环知识工程知识规范性、完备性、生产自动化

知识建模

：分类定义、知识图谱

制定知识规范并治理

知识流水线

，知识实时保活持续改进

，提升准确率及成功率

度量支撑

，识别问题短板

知识评估

，保障知识质量

常态化复盘

，迭代改进

问题闭环

，环境问题自修复

建设策略建设策略质量能力建设应用范式PART

03落地实践

实践1：

知识工程设计原则：以大模型为中心

，知识图谱为基础

，构建连续、层次化的知识体系

，让知识可以显性化学习、结构化生产、标准化复用基于定界定位知识图谱全景

，约束知识模型实例输出

，知识规范化生产

流水线标准化

运行环境标准化

日志规范

脚本标签规范

语料收集模版建设知识流水线

，定界定位知识自动生产

，实时保活

知识建模

数据采集、

数据清洗

知识抽取、

知识导出

知识存储结合知识图谱

，定义研发过程中端到端知识模型

，让研发全流程专家经验显性化

原子知识

：知识分类及定义

知识全景

：构建定界定位知识图谱01知识建模03知识生产02知识规范

实践1.1知识工程-知识建模-知识分类和定义（1）定界定位定义：

定界区分处理责任边界

，定位识别具体原因u

一级定界：

环境问题、

脚本问题和功能问题u

二级定界：

定界为一级定界问题的子类u

三级定位：

环境问题和脚本问题定位为具体原因

，功能问题定位为具体功能模块知识定义知识建模：从智能体应用出发

，分析出需要的知识模型二级定界类型描述失败日志Jenkins支撑系统流水线调度系统Jenkins日志Artifactory支撑系统制品库

，存放被测版本Jenkins日志Gerrit支撑系统代码库

，存放业务代码、

测试脚本、

测试数据等Jenkins日志云虚机执行资源流水线运行资源Jenkins日志RF执行机执行资源测试用例执行环境Jenkins日志、

RF日志业务系统被测系统被测试的业务系统RF日志

，系统运行日志仿真环境被测系统与业务相关联的外部环境

，如设备仿真等RF日志、

系统运行日志...

实践1.1知识工程-知识建模-知识分类和定义（2）u以环境问题为例二级定界：定义为环境类型三级定位：定位为具体原因

，如节点不通等实践1.2知识工程-知识建模-知识图谱知识图谱：结构化的语义知识库

，用图形方式表达知识关系映射

，便于理解和处理复杂的知识结构

实践1.3知识工程-知识规范-流水线标准化标准流程标准算子u

标准运行算子：

将流水线中执行步骤根据功能特点进行抽象并模块化

，提供标准化执行算子u

流水线可编排：

流水线搭建基于标准模块进行串行、

并行编排、

并完成相关参数设置

，满足不同业务场景用例调度需求规范治理环境要求要求说明用途接口自动化资源规格8VC

16G操作系统Ubuntu

16.04浏览器GoogleChrome96.0.4664.110Python2.7.12...环境要求要求说明用途界面自动化资源规格16VC

32G操作系统WindowsServer

2016浏览器GoogleChrome96.0.4664.110Python2.7.10,

3.0登录分辨率1920*1080...

实践1.3知识工程-知识规范-环境标准化u

标准化环境：

统一提供标准化环境

，减少因环境差异导致的环境问题。u

如标准RF节点

，安装部署需要的RF软件、

浏览器等

，制作成标准化镜像文件

，在分配虚机后一键拉起环境。改进效果：提供Linux及Windows两个版本标准化环境

，不同流水线测试脚本执行RF可随意切换

，

RF环境配置态问题清零规范治理

实践1.3知识工程-知识规范-日志规范化u

流程规范：

规范自动化脚本执行步骤

，包括初始化、

构造请求报文、

下发报文、

结果校验四个标准步骤u

日志规范：

根据脚本运行流程规范

，

同步输出脚本运行日志规范u

统一接口：

提供统一日志打印接口

，嵌入自动化测试编写框架和如影随形的自动化脚本输出工具改进效果：完成4W+存量脚本治理

，同时嵌入自动化脚本生成工具

，

自动输出规范化新脚本2、

规范自动化脚本日志规则

3、

统一日志打印接口规范治理1、

规范自动化脚本标准流程

实践1.3知识工程-知识规范-语料收集模版u

语料模版：

制定定界定位知识格式规范和内容规范

，形成标准模版u

语料收集：

基于标准模版生成根据流水线问题分析结果收集初始语料（未分类）

，专家评审后归档（环境问题、

功能问题、

脚本问题）2、

收集语料

，评审后分类归档1、

语料收集模版定义规范治理

实践1.4知识工程-知识生产-知识流水线知识流水线：实现知识的人工管理->

自动化管理

，知识for人->知识forAI

，重新定义知识库知识人工确认

人工配置0、

知识建模1、

数据采集2、

数据清洗3、

知识抽取4、

知识导出5、

知识存储改进效果：通过知识工程流水线生产200+定界定位知识

，每日定时同步

，实时保活实践1.4知识工程-知识生产-知识流水线通过一系列连续的步骤或阶段

，原始数据被收集、

处理、

转换和丰富

，最终形成可操作的知识u

数据处理：

语料采集、

语料清洗（如脱密）u

知识转化：

知识抽取、

知识导出、

知识存储知识流水线工具AI应用识别所需知识知识抽取文档树/QA/图谱基于知识关系

，定义知识结构并抽取语料评估

知识建模知识模型建立知识关系网语料采集

语料处理语料位置找到知识所在语料知识生成（组合成文件）建成知识库知识流水线流

水

线智能体构建：

Prompt+RAG+Toolsu

提示词（Prompt）

：设计定界定位提示词模版

，并不断调优u

检索增强生成（RAG）

：根据特征库规则进行精确匹配

，若有规则命中

，则直接输出原因。

若无规则命中

，则从QA对库中以模糊检索方式

，找出相似的日志片段和故障原因QA对

，构造Prompt输入大模型

，得到定位结论并生成分析报告。u

工具（Tools）

：提供全面的工具集合

，保证过程无断点u

流水线编排

：通过流水线调用工具、

AI应用接口

，完成动作编排u

触点应用：

基于日常业务工作流设计触点应用

，无侵入高易用

实践2应用范式应用范式实践2.1应用范式-AI应用搭建策略：

基于主航道工具构建流水线定界定位AI应用u

知识检索：

根据关键失败日志片段

，检索知识库

，查询匹配的定界知识。u

知识加工：

进行文本加工后

，送给大模型判定输出。应用范式

实践2.2应用范式-提示词u

提示词框架：

使用SRISPE框架设计定界定位提示词u

提示工程策略：

使用Few-Shot

Learning（少样本学习）

作为提示工程的策略应用范式策略：

通过流水线串接工具、

AI应用

，完成动作流程编排u

关键日志提取：

调用工具

，从用例运行日志提取关键失败特征u

知识检索：

根据关键失败日志片段

，检索知识库

，查询匹配的定界知识。u

报告生产：

进行文本加工后

，送给大模型输出分析报告。u

报告汇总：

调用报告汇聚工具

，生成流水线失败定界定位报告

，并作为流水线执行结果输出提取错误信息

实践2.3应用范式-流水线编排调用大模型生成分析报告应用范式AI辅助分析报告单个任务报告汇总报告

实践2.4实践2应用范式-触点应用-邮件报告场景：

日常分析场景u

邮件系统：

测试流水线通过ZMail邮件系统推送测试报告

，

同步输出AI辅助定界定位结论。

流水线守护人基于流水线邮件报告作为每日实时分析入口

，借鉴AI辅助分析结论快速处理。触点应用

实践2.4应用范式-触点应用-自动化工厂（1）场景：

周复盘场景/日复盘u

自动化工厂：

按日/周自动汇总生成待分析报告

，AI辅助分析报告作为初始结论。

脚本守护人可借鉴AI分析结果

，如认可AI定界定位结果

，可直接采纳

，对于环境问题可继续一键提运维工单

，功能问题可继续一键提故障单。

如不认可

，手工填写问题分类和定位原因触点应用

实践2.4应用范式-触点应用-自动化工厂（2）AI辅助分析结论

，可直接采纳

实践3.1工具能力-日志解析工具工具用途：

自动采集流水线线运行日志并解析关键失败特征u

日志采集：

根据流水线运行链接

，提取Jenkins日志及RF运行日志u

日志解析：

基于日志规范

，根据失败信息关键字库从失败日志中解析关键失败特征严RF日志提取工具能力Jenkins日志Jenkins日志提取RF日志1、

工具脚本生成聚合报告发布聚合报告2、

聚合报告存放位置AI聚合报告入口工具用途：

自动化流水线包含多个子测试任务

，每个子测试任务都会生成一个AI测试报告

，将这些报告汇总聚合成一个总报告

实践3.2工具能力-报告聚合工具3、

聚合报告内容格式工具能力AI辅助分析生成html格式邮件内容

实践3.3工具能力-邮件发送工具工具用途：

用于邮件发送流水线运行报告

，方便用户在收到邮件后能直观看到关键信息及AI分析结果u

内容生成：

读取流水线运行RF报告及AI辅助分析报告

，生成流水线运行整体报告u

邮件发送：

生成邮件内容

，并调用zMail接口发送邮件AI解析实现3、

AI分析邮件展示工具能力2、

邮件推送实现1、

邮件内容生成

实践3.4工具能力-环境巡检工具u

工具用途：

每三个小时定时巡检RF环境

，进行网络连通性、

CPU、

内存、

硬盘利用率等检测

，结合AI定界定位

，分析可能原因及影响的流水线

，及时通知守护责任人工具能力1、每隔3H定时巡检2、推送巡检报告

实践3.5工具能力-环境运维工单提单工具u

工具用途：

根据AI定界定位结果

，

自动生成ERMS环境运维工单。

可用于自动提单

，

同时集成在自动化工厂

，人工确认后一键提单工具能力指标定义计算方法及说明智能分析率失败脚本给出AI智能分析结果数/失败脚本数整体定界定位准确率人工确认AI分析准确结果数/失败脚本数环境问题定界定位准确率人工确认是环境问题/AI定界定位为环境问题总数

，支持二级定界准确率度量脚本问题定界定位准确率人工确认是脚本问题/AI定界定位为脚本问题总数

，支持二级定界准确率度量功能问题定界定位准确率人工确认是功能问题/AI定界定位为功能问题总数

，支持基础功能和业务功能分级度量命中率功能失败引起的失败脚本/失败脚本总数...

实践4.1质量改进-度量支撑u

度量指标：

智能分析率、

整体定界定位准确率、

环境问题准确率、

脚本问题准确率、

功能问题准确率、

命中率u

度量维度：

按周期（按月、

按周、

按任务）质量改进

实践4.2质量改进-知识评估u

测评集：

持续更新迭代测评集u

测评方法：

专家

“阅卷”

，给出准确率质量改进知识评估准确率

实践4.4质量改进-准确率提升u

无法区分脚本问题与功能问题。

对于返回值与预期值不符合场景

，通常会定界为功能问题

，但实际也可能是因为脚本变更或者测试数据变更引起u

基于变更时间及历史分析结果二次修正。

对比分析两次运行期间脚本和测试数据是否变更

，如有无变更

，则修正为上次人工确认结果1、

查询脚本及数据的变更时间及历史失败分析信息

2、

比较变更时间

，根据历史确认结果

，进行二次修正优化效果：

修正后功能问题定界准确率提升至80%以上质量改进问题失败特征去重大模型应答耗时

实践4.5质量改进-性能优化n

并发访问时返回时间长：

测试流水线一般在凌晨运行

，多版本同时并发

，访问拥塞

，超时或者返回时间长

，影响用户使用待分析失败用例u

问题去重：

不同脚本如果失败特征相同

，认为是同一个原因导致

，只向大模型交互一次优化效果：

169条失败脚本

，

返回时间8.71秒

，对流水线运行时长基本无影响2、

比较变更时间

，根据历史确认结果

，进行二次修正1、

与大模型交互前

，根据通过失败特征去重质量改进问题u

备用资源池：

提供标准化RF备用资源池

，打上备用标签u

健康度检测：

检测环境健康度

，如连通性、

分辨率、

系统时间等u

自动修复：

如存在分辨率、

系统时间等问题自动修正；如存在连通性等无法自动修复问题

，

自动切换备用资源池

实践4.6质量改进-问题自修复根据标签查找资源放入资源池n

RF环境问题影响大：

RF执行机是RF脚本的运行环境，存在问题会导致整条流水线运行失败3、根据检测结果

，专家评定如影响用例执行

，切换备用资源优化效果：

环境问题中RF环境问题个数0个2、流水线检测主用RF环境健康度1、标准化RF环境备用资源池质量改进问题PART

04效果评价01020304完成定界定位知识分类和定义

，输出知识图谱

全景；输出5个规范并完成治理；通过知识工程流水线

，

自动生产2000+定界定位知识

，知识实时保活通过流水线编排

，完成智能体构建

，实时生成

自动化测试报告并邮件推送

，按日/周自动生成分析任务