2025QECon全球软件质量效能大会：基于LLM的智能诊断分析实践

基于LLM的智能诊断分析实践黄文昊｜OPPO

高级软件测试工程师现任OPPO快应用质量保障负责人

，牵头规划与实施客户端自动化测试体系与性能专项建设

，通过设计分层质量保障方案及效能工具链开发

，有效提升产品交付质量与测试效能；作为DTA成员深度参与部门技术工线建设

，主导大模型在测试领域多场景的落地应用研究。从业期间先后任职于招银、腾讯、

Shopee等企业，在金融科技领域具备丰富的质量保障经验

，擅长通过精准测试、精准监控及DevOps体系建设实现研发效能持续优化。黄文昊OPPO高级软件测试工程师目录CONTENTS01

背景介绍03

总结展望02

技术探索背景介绍开发

测试测试准备•

需求评审•

技术评审•

用例编写及评审测试执行•

数据准备•

用例执行•问题分析及定位开发实现•

编码开发•

代码审查•问题定位及修复发布监控•

发布部署•

发布监控•

线上问题定位及修复

内因分析

工作项分析发布监控•

生产验证及巡检•

线上问题定位•自动化问题定位分析设计•

需求分析•

技术方案设计•

原型设计•

技术评审40%20%30%50%50%10%1月

2月

3月

4月

5月

6月

7月

8月2024

2025缺陷数

内因分析

工作量分析外因分析现状分析代码膨胀引发缺陷数量

指数级增长测试矩阵爆炸导致

问题发现率激增AI驱动测试分析效率优化需求系统复杂度指数级增长技术债务累积加剧系统脆弱性类型日志分析平台专项工具平台历史文档积淀优势•

数据全面性•

实时性强•

检索效率高•

可视化展示•

告警机制•

专业性强•

集成度高•

学习成本低•

知识复用•

模式识别•

成本低廉•

团队传承痛点•

数据噪音大•

格式不统一•

分析复杂度•

覆盖范围窄•

工具割裂•

维护成本高•

依赖性强•

时效性差•

检索困难•

更新滞后•

质量参差•

知识孤岛改进方向•

智能过滤•

格式标准化•

自动化分析•

平台化整合•

插件化架构•

自动化集成•

智能推荐•

知识图谱•

智能检索•

自动更新•

质量管控

技术预研

技术选型专项工具平台单一工具的功能性相对有限

历史文档积淀需要投入人力资源以支持其使用和维护痛点：尚无一体化诊断工具

日志分析平台仅呈现数据及其发展趋势当下能力单一功能局限使用成本高缺少分析一体化智能诊断助手能力预期数据融合与关联分析智能分析与决策支持智能分析能力•

智能问题识别•

根因分析引擎•自动化修复建议知识库能力•

智能知识库•

经验模式识别•

智能问答系统•诊断时间缩短80%：从小时级降低到分钟级•准确率提升60%：基于AI分析减少误判•

自动化ROI70%：减少人工干预全链路数据融合能力•

多源数据集成•

智能数据关联•

统一数据模型

技术预研知识驱动的经验传承体系关键收益技术探索智能提示工程智能诊断引擎RAGCoTReflexion

问题识别器Few-Shot

专项诊断工具注册中心工具版本控制工具依赖管理

工具元数据管理业务知识库领域知识图谱

业务知识图谱

工具知识图谱

历史案例图谱

工作流编排引擎兜底流程

变量聚合

智能运维分析平台专项诊断Agent集群知识管理Agent智能分析Agent逻辑层数据层智能路由引擎请求分类器

日志数据湖结构化日志存储日志关联分析库标数据仓库

采纳统计

分析统计

业务架构基础层应用层根因分析器模型推理并发处理

条件判断数据存储工具服务搜索引擎模型服务任务转移器

服务侧中台概览

知识库

工具链任务预处理服务端分析N客户端分析N领域知识补全Y回传结果诊断排序聚合数据收集数据预处理与清洗问题识别与分类根因分析调度中台智慧中台服务侧中台应用侧中台Y回传结果基本面诊断专项诊断经验诊断智能分析助手阶段结果展示链路全景图

服务侧中台概览

知识库

工具链工具链知识库提示词工程多平台聚合日志格式化参数校验耗时分析异常匹配模型诊断Functioncall日志中台新方案日志源

服务侧中台概览

知识库

工具链数据源层编排层数据层应用层ChainsNeo4j知识图谱代码库Agents缺陷库需求库PromptsVector

DB向量索引问题诊断APIElasticsearch日志检索知识管理API通知任务API

服务侧中台概览

知识库

工具链采集策略清洗策略标准化格式术语标准化关键关系类型关系权重计算图谱实施关系提取属性提取向量化与语义增强经验采集与预处理知识抽取与结构化知识图谱建模与入库

向量化策略

实体抽取

核心实体类型

语义标签体系LangChain

+

Neo4j

服务侧中台-工具链基本面诊断

专项诊断

经验诊断•

技术栈复杂性•知识体系分散•实践经验要求高•

文档和教程不足•系统架构复杂性•

数据流依赖•

业务逻辑依赖•

配置依赖•

外部依赖•

时间依赖•

数据依赖•

多步骤操作流程•数据格式不统一•

环境配置复杂02

实操过程繁琐

03

现状分析

学习成本高01

上下文依赖广

服务侧中台-工具链基本面诊断

专项诊断

经验诊断参数分析完整性分析智能化阶段 智能诊断（通用调试成本）

智能对比分析人工排查

人工排查模式匹配校验（定制编码成本）多平台串联人工分析拆解思路

自动化阶段原始阶段

服务侧中台-工具链基本面诊断

专项诊断

经验诊断DBSELECT

relative_idFROM

quickapp_result_reportWHERE

relative_id=99999999999999999999999999999999工具分析

排查易忽略

现状分析

事故分析

问题影响大

修复耗时长查询结果人力投入大误报率高、人力投入大拆解思路

基本面诊断

专项诊断

经验诊断数据库问题缓存问题智能化阶段 智能过滤无效信息智能诊断人工排查人工排查工具分析人工排查

服务侧中台-工具链自动化阶段原始阶段服务端持久化诊断逻辑层工具层数据层任务解析缓存检测NSQL检测N任务结果聚合模式抽取自主上报网络拦截分析源缓存分析SQL分析YY阶段

服务侧中台-工具链基本面诊断

专项诊断

经验诊断解决方案

l资产(Asset)：有价值的资源，例如：数据库或文件系统上的数据或者系统资源l威胁(Threat)：任何潜在有可能直接或间接的危及资产的恶意的或其他的事件l漏洞(Vulnerability)：漏洞是在硬件、软件、协议的具体实现或系统安全策略上存在的缺陷，从而使攻击者能够在未授权的情况下访问或破坏系统l攻击(Attack)：由某人或某些事物采取的针对资产的损害行为，这可能是有人根据威胁实施损害或利用漏洞采取的一些行为l对策(Countermeasure)：解决威胁并降低风险的保障措施验证•

进行安全验证修复•

提出缓解措施设计•

绘制流程图中断•

识别潜在威胁

服务侧中台-工具链基本面诊断

专项诊断

经验诊断STRIDE威胁建模是由微软提出的一种威胁建模方法，将威胁类型分为Spoofing(仿冒)、Tampering(篡改)、Repudiation(抵赖)、

Information

Disclosure(信息泄漏)、

DenialofService(拒绝服务)和ElevationofPrivilege(权限提升)六种威胁构成，STRIDE威胁模型几乎可以涵盖目前绝大部分安全问题常见术语建模过程定义权限提升Elevation

ofPrivilege拒绝服务Denialof

Service信息泄露Informa

tion

Dis

closure篡改Tampering抵赖Repudiation仿冒Spoofing外部实体威胁：•支付渠道仿冒：日志显示使用alipay渠道，需要验证渠道身份的真实性•回调请求仿冒：第16行显示收到支付结果callback，需要验证请求来源的真实性处理过程威胁：•签名验证绕过：第17-22行显示签名验证过程，存在签名算法被破解或绕过风险•身份认证绕过：支付订单创建和更新过程中可能存在身份认证绕过

服务侧中台-工具链基本面诊断

专项诊断

经验诊断外部实体用户、支付宝、商户系统内部实体支付各模块数据流威胁：•支付金额篡改：第4行显示price=2，第16行显示

payAmount=2，需要防止传输过程中金额被篡改•订单状态篡改：第26-27行显示订单状态从CREATE更新为SUCCESS，需要防止状态被恶意篡改•回调数据篡改：支付回调数据在传输过程中可能被篡改存储过程威胁：•数据库记录篡改：*_pay_order表中的关键字段可能被恶意修改•日志记录篡改：日志文件本身可能被篡改以掩盖攻击痕迹权限提升Elevation

ofPrivilege拒绝服务Denialof

Service信息泄露Informa

tion

Dis

closure篡改Tampering抵赖Repudiation仿冒Spoofing

服务侧中台-工具链基本面诊断

专项诊断

经验诊断数据存储*_pay_order、日志记录数据流HTTP请求、回调通知、MQ消息外部实体威胁：•支付行为抵赖：用户可能否认发起支付请求•回调响应抵赖：第三方支付平台可能否认发送回调•处理过程威胁：操作日志不完整：某些关键操作可能没有完整的审计日志•签名验证失败处理：第22行显示签名验证，但失败后的处理逻辑不明确存储过程威胁（日志类型）：•审计日志抵赖：日志记录可能被删除或修改，导致无法追溯操作权限提升Elevation

ofPrivilege拒绝服务Denialof

Service信息泄露Informa

tion

Dis

closure篡改Tampering抵赖Repudiation仿冒Spoofing

服务侧中台-工具链基本面诊断

专项诊断

经验诊断外部实体用户、支付宝、商户系统数据存储大_pay_order、日志记录权限提升Elevation

ofPrivilege拒绝服务Denialof

Service信息泄露Informa

tion

Dis

closure篡改Tampering抵赖Repudiation仿冒Spoofing数据流威胁：•敏感信息明文传输：第4-5行显示包含敏感信息的

HTTP请求和响应•日志信息泄露：日志中包含大量敏感信息如订单号、用户ID、支付金额等存储过程威胁：•数据库信息泄露：第1-2行、第10-11行等显示数据库查询，可能泄露敏感数据•日志文件泄露：日志文件可能被未授权访问

服务侧中台-工具链基本面诊断

专项诊断

经验诊断数据存储*_pay_order、日志记录数据流HTTP请求、回调通知、MQ消息数据流威胁：•网络攻击：支付接口可能遭受DDoS攻击•资源耗尽：大量并发支付请求可能导致系统资源耗尽处理过程威胁：•数据库连接耗尽：频繁的数据库操作可能导致连接池耗尽•线程池耗尽：

PAY-CALLBACK-thread-1等线程可能被耗尽存储过程威胁：•数据库性能问题：大量订单查询和更新操作可能影响数据库性能•存储空间耗尽：日志文件快速增长可能导致存储空间不足权限提升Elevation

ofPrivilege拒绝服务Denialof

Service信息泄露Informa

tion

Dis

closure篡改Tampering抵赖Repudiation仿冒Spoofing

服务侧中台-工具链基本面诊断

专项诊断

经验诊断数据存储*_pay_order、日志记录处理过程支付服务、网关、

MQConsume数据流HTTP请求、回调通知、MQ消息权限提升Elevation

ofPrivilege拒绝服务Denialof

Service篡改Tampering抵赖Repudiation仿冒Spoofing处理过程威胁：•权限验证绕过：支付订单的创建和更新过程中可能存在权限验证绕过•业务逻辑绕过：第26-27行的状态更新条件可能被绕过•接口权限提升：第15行显示"Nomappingfor

request"，可能存在未授权接口访问

服务侧中台-工具链基本面诊断

专项诊断

经验诊断处理过程支付服务、网关、

MQConsume信息泄露Informa

tion

Dis

closure问题单收集日志归集环境信息收集历史问题检索视频处理结构化处理问题打标

应用侧中台调用链分析环境因素分析异常检测问题分类根因分析数据收集数据预处理与清洗问题识别与分类

关联分析

严重程度评估

日志处理

关键字基于语义向量的查询chunk基于关键字的查询chunk

应用侧中台数据收集数据预处理与清洗问题识别与分类根因分析重排基本信息信息Result问题单信息环境信息录屏信息设备信息日志信息

应用侧中台数据收集数据预处理与清洗

问题识别与分类根因分析├──WifiPermissionsUtil.enforceCanAccessScanResults()├──WifiPermissionsUtil.checkCallersLocationPermission()├──

LocationManager.isLocationEnabled()问题预测├──com.nearme.instant.platform(权限检查失败)WifiPermissionsUtil:enforceCanAccessScanResults(pkg=com.nearme.instant.platform,uid=10*):canCallingUidAccessLocation=false,canAppPackageUseLocation=false└──堆栈调用链:黑白屏、弹框权限问题视频处理问题预测日志处理获取地理位置失败

错误提示关联历史问题：图像检测结果：1、用户关闭权限场景