2025QECon全球软件质量效能大会：大模型驱动的质效数据深度洞察

陈成禧｜趣丸科技15年多的IT行业经验，

前腾讯音乐集团架构师

、当前就职于广州趣丸科技，

负责效能平台

、可观测平台

、运维智能化相关的建设工作

。在可观测

、高可用系统架构设计以及人工智能领域积累了丰富的实践经验

。目前，

正致力于探索运维Agent

、Data

Agent

、智能根因定位的有效应用

。陈成禧趣丸科技资深架构师目录CONTENTS02

落地的关键点01

痛点与目标03

效果展示04

未来展望PART

01痛点与目标指标体系设计数据处理相对成熟，流程固定数据采集可视化分析应用复杂多变，千团千面

效能平台建设的一般流程

分析太浅显：

数据是有了，

但不知道说明什么问题，

更不知道怎么改进

决策支持不足：

从数据到决策之间缺少关键的分析环节

人工分析低效：

需要专门的效能专家或效能助理定期分析数据

、生成报告，

成本高

、周期长

指标繁杂罗列：

无法关注到重点

交互太复杂：

想看简单的数据，要点好多次才能找到

响应太慢：

提个需求要等开发

排期，

等做出来热度都过了

效能平台建设的痛点分析应用痛点可视化痛点

从"人工驱动"到"大模型驱动"的转变目标：

由大模型自动洞察给效能数据生成效能报告

传统方式是人工驱动：需要专家来理解数据

、分析问题

、给出洞察

报告

大模型驱动：

让AI具

备专家级的理解和分

析能力，

自动生成洞

察报告从

"

专家稀缺

"到

"智能普惠

"

的转变ChatBIDeepResearch智能问数下钻分析报告生成DataAgent

产品形态PART

02落地的关键点2智能体模式是系统稳定性

、可扩展性和容错能力的关键3数据质量数据质量是决策的“基石

”模型能力数据质量

构建智能体的关键点智能体模式模型能力模型能力是智能体的核心引擎

、是发动机上下文工程上下文工程是智能体的“导航仪

”上下文14

智能体设计模式--ReAct经典的ReAct模式，

所有行为都在一个智能体内完成思考（Reasoning）

：

分析当前状态和目标行动（Acting）

：

执行具体操作观察（Observation）

：

获取行动结果循环迭代：

基于观察结果继续思考和行动

智能体设计模式--Plan-and-execute相比

ReAct：全局规划能力强流程条理清晰结果更完备可控Plan-and-execute

先全局规划后执行主Agent:

主循环引擎，

负责核心任务调度SubAgent:

子任务代理，提供隔离执行环境（上下文隔离）Task

Agent:

专用任务处理器，

支持并发执行权限隔离:每个Agent都有独立的权限范围和资源访问控制 Claude

Code的SubAgent模式

最终架构探索前置

+

批量并发

+

反思重规划

=

自愈闭环

从提示词到上下文工程Anthropic《Effective

Context

EngineeringforAIAgents》

上下文管理的策略智能体经常参与持续数百轮的对话，

需要谨慎的上下文管理策略.--Anthropic压缩（Compress）在有限的token内最大化信息价值重要信息优先，

冗余信息过滤隔离（Isolate）避免不同任务的信息互相污染保持上下文的纯净写入如何把业务知识结构化地"教给"AI不是靠提示词，

而是构建知识体系选择根据用户问题动态选择相关信息问什么给什么

，精准匹配上下文管理

上下文管理的策略从优秀产品中学习到的上下文管理关键策略

有损压缩历史，

保留核心决策

外部记忆持久化，

按需加载

分而治之，

并行处理复杂任务

像人类一样多步思考和探索

AI自主导航检索，

动态获取信息

渐进式披露，

减轻上下文压力

结构化

、分层组织

最小化编写原则

最小可行的Agent工具集

谨慎在Prompt中添加示例

关键信息靠后动态组织上下文无限上下文架构写好提示词#

【角色定义】（简洁，

1-2句

）你是一个资深的X领域专家，

专注于Y任务

。#

【背景知识】（任务相关的背景知识）.

.

.#

【样例】（few-shot）#

【失败记录】（如有，

请参考）#

【输出格式】（如需要）#

【关键要求】（最重要的注意事项，放在最后）1

、xx2

、xx

上下文管理的策略结构化提示词模板

提升NL2SQL的准确率构建丰富的上下文内容表结构业务背景知识少样本示例错误反馈依赖任务结果

提升NL2SQL的准确率构建更易理解的Schema问题复杂度执行次数Schme优化后准确执行次数准确率准确执行次数准确率中等复杂201260%1890%中高复杂1010100%10100%高复杂2020100%20100%综合504284%4896%

提升NL2SQL的准确率准确率从84%提升到

96%测试方法：基于claude-sonnet-4，每个问题执行5次，一共50次上下文管理的关键--记忆记忆的分类与处理逻辑Mem0LangMemMemoBase核心定位智能记忆层

，为AI智能体提供学习

和适应的记忆能力集成到LangChain生态

，管理对话历

史和长期记忆用户画像记忆系统

，专注于

构建和利用长期用户画像记忆存储方式混合存储（向量+

元数据）向量化存储用户画像+

事件，使用关系

型数据库和KV存储记忆提取方式多路召回与重排序

。语义相似性检索

。基于构建好的用户画像进行

上下文生成数据模型重心以“记忆事件

”为中心，灵活支持

各种交互记忆以“对话/片段

”为中心，结构相对简

单以“用户

”为中心

，强调画

像和事件的时间序列

上下文管理的关键--记忆热门记忆框架的异同点

上下文管理的关键--记忆没有记忆时，无法准确认识团队名称module

.

memory.

mem0_

manager

-

INFO

-

为用户

T3563

搜索记忆，

查询：

查一下我团队最近完成

了哪些迭代?module

.

memory.

mem0_

manager

-

INFO

-

为用户

T3563

搜索到

1

条相关记忆，

记忆内容：{

'

results

'

:

[{

'

id

'

:

'

1131054f-7067-4d13-b282-

4cbbb6d406df

'

,

'

memory

'

:

'用户所在的团队是DI平台

'

,

'

hash

'

:'46c

8d481160bbe

22d7e

92bb795cbe

9ed

'

,

,

'score

'

:

0.35965352895962976

,

'

user_id

'

:'T3563

'}]}

上下文管理的关键--记忆准确从记忆用提取团队名称

上下文管理的关键--记忆默认效能分析SOP不包括历史迭代数据对比module

.

memory.

mem0_

manager

-

INFO

-

为用户

T

3563

搜索记忆，

查询：

用户想了解DI平台团队最近一个迭代的开发质量情况，

包括相关的质量指标和数据分析module

.

memory.

mem0_

manager

-

INFO

-

为用户

T

3563

搜索到

5

条相关记忆，

记忆内容：

{

'

results

'

:[

{

'

id

'

:

'

be

06072d-6bc

7-443e-9c

58-c4a

766fbe

2fb

'

,

'

memory

'

:

'用户的团队是DI平台

'

,'

hash

'

:

'

74a

081721aee5a

3cbc487497d566def2

'

,

'score

'

:

0.6343775134931062

'

updated_at

'

:

None

,

'

user_id

'

:

'T

3563

'}

,

{

'

id

'

:

'09542e

3c-e

586-4e

09-bbf3-74d2e

8914809

'

,

'

memory

'

:

'用户希望在后续的

效能数据分析中，

默认包含历史6个迭代的数据对比分析

'

,

'

hash

'

:

'

15766dc

fc

6ceb45ff5f3bc

7b5f5f1347

'

,'score

'

:

0.48993922981173504

,

'

user_id

'

:'T

3563

'}

,]}

上下文管理的关键--记忆根据用户记忆中的偏好，增加历史6个迭代的对比分析如何提升效能报告的一致性？每份报告差异较大，飘忽不定#

技术栈要求-

字符集：

utf-8；

中文输出

。-使用ECharts

5.4.3版本绘制图表-使用Tailwind

CSS

3.3.5版本实现UI设计-使用国内CDN资源：*

ECharts:

/npm/echarts@5.4.3/dist/echarts.min.js*Tailwind

CSS:/npm/tailwindcss@2.2.19/dist/tailwind.min.css#

设计规范1.

色彩方案：-

主色调：

蓝色

(#3b82f6)-辅助色：

绿色

(#10b981),紫色

(#8b5cf6),橙色

(#f59e0b)-

背景：

浅灰色

(#f3f4f6)2.

字体：-

主标题：

加粗，

深蓝色

(#1e40af)-

正文：

灰色

(#6b7280)3.

间距与圆角：-

卡片和图表容器：

圆角12px，

阴影中等-

内边距：

24px-

元素间距：

16px#技术与样式要求-

字符集：

utf-8；

中文输出

。-

可视化：

使用

ECharts-

主题风格：

蓝色科技风（深浅蓝配色

、流线/网格背景

、细边框与微阴影）。-布局：

响应式，

自适应宽度，

适配笔记本；

整体内容在两屏内紧凑展示

。-

组件：

使用栅格布局（如两列/三列自适应）

，

卡片化容器

，统一间距与字体层级

。-

可访问性：

图表与关键数值提供简洁文本说明

。-兼容性：

现代桌面浏览器（Chrome/Edge）

。-

页面自适应宽度，

适合笔记本电脑显示

如何提升效能报告的一致性？从模糊需求到精准指令

如何提升效能报告的一致性？风格相对一致

如何提升效能报告的一致性？终剧大招：

Few-shot

+

精准指令基于多模态，

输入图片，

提供参考PART