2025QECon全球软件质量效能大会：从度量困境到智能破局-智能洞察实践之路

熊志男｜QECon专家顾问曾在京东和360担任研发效能和DevOps平台的产品专家

。2023-2025年在360集团致力于通过LLM技术打造研发效能数字人

、智能指标查询及报表生成系统，

服务集团内千人规模产研团队

。此前在京东担任研发效能和DevOps平台产品专家，

主导参与两款平台建设，

支持万人规模产研团队协作

。负责的京东零售持续集成和代码质量平台成功从20人小范围使用扩展至全公司通用效能工具

。2011年起作为测试技术社区TestWo核心成员参与"测试之旅"公益沙龙组织与测试白皮书编撰

。2022年起担任"云上软件工程社区"研发效能和平台工程领域技术专家

。熊志男QECon

专家顾问目录CONTENTS04

LLM时代度量范式及展望03

LLM赋能效能度量的实践02

研发效能度量现状剖析01

研发效能度量的目标PART

01研发效能度量的目标1.效能度量是件容易的事情吗？2.度量服务的主要用户是谁？3.我们需要怎么做度量？度量平台的建设PART

02研发效能度量现状剖析01

02

03指标不准依赖执行规范数据粒度不统一数据不全指标定义不一致效果不明显有度量无洞察无法支持决策不能驱动改进组织效能瓶颈成本高打通数据链路数据仓库搭建指标体系建设度量平台开发

研发效能度量的困境发现问题制定计划实施改进检查改进结果完善方法论建设平台数据治理度量团队

业务研发团队发现问题实践执行改进形成改进方案方法论改进方

案数据平台制定计划检查结果

度量驱动效能改进的闭环更强的上下文理解多模态能力增强定制与人格化Text

to

Code

的飞跃发展自执行与工具调用数据洞察与业务推理

大模型的发展 LLM影响效能度量AI大模型是否能带来更有温度的度量？度量驱动改进l

提供明确的决策依据l

提供可靠的改进计划l

持续可追踪的改进目标适配不同的场景l

不同职能团队的度量l

不同角色的度量需求l

不同成熟度的团队度量复杂指标的解读PART

03LLM赋能效能度量的实践数据仓库

业务表数据宽表

数据仓库指标体系单项目项目集多级组织产品形态

固定报表定制化看板智能洞察领域管理者组织管理者全员度量项目指标

评价指标

向上汇报质量指标流程指标持续精进自我复盘组织改进决策导向业务线策略

流程优化

、人员培养

、业务目标管理等产品规划产品目标

、业绩指标

、过程管控等AI战略

、平台战略

、创新战略和成本战略等公司战略•

数据采集

、加工（ETL数据采集

、预处理

、异常处理）•

指标生产：代码开发

、NL2SQL

、NL2CODE和NL2DSL•图表生产：报表

、单视图

、聚合视图

、报告•

可视化：查看

、对比

、下钻分析和关联分析•

洞察：形成洞察结论•

持续改进：执行策略

、执行概念

、持续监控效能数据的生命周期数据消费数据生产数据基础异构数据数据仓库链路打通 LLM解读指标指标描述计算口径统计维度指标规则指标问题历史答案效能指标知识库问答对

指标问答机器人 RAG效果对比对比维度方式一：

直接结构化数据方式二：

数据转描述性语言工作原理大模型直接“读表

”大模型“读文章

”信息完整性高，

数据细节无损失低，

可能丢失数据细节灵活性高，

支持复杂

、动态分析低，

依赖预设模板模型能力要求高，

需要强悍的数据理解能

力低，

只需优秀的语言处理能力可控性低，

结果依赖模型自身能力高，

通过模板控制输出适用场景适合追求深度和灵活性的探

索性分析适合标准化

、重复性高的报告生成

结构化数据和文本描述型数据

收益总结1.降低度量数据指标使用门槛，用户覆盖率和活跃度翻倍。2.小处着手，提升平台含AI量，对齐集团AI战略。3.从解读指标到提出改进建议，形成改进闭环。•

指标计算方式不同•

聚合维度不同•

使用场景不同•

维度不同，效率或质量•图表聚合方式不同•图表对比数据不同•

度量对象的属性不同•

度量的场景不同•改进策略不同 LLM满足定制化需求指标规则视图形态洞察分析开发

测试时间周期定制

度量定制化案例需求发布需求任务

度量定制化案例度量工作项层级定制•

数据集筛选•

维度设置•

指标计算方式设置•时间属性设置•筛选•

排序•

图表类型•图表展示风格•

图表位置•

图表尺寸•

图表组合

自定义看板BI图表自由编排指标配置化图表生成结论生成指标生成

对话式BI技术优劣势总结最佳应用场景NL-to-SQL文本转SQL优点：

准确

、通

用

、实时缺点：

灵活性差，受限于SQL。适用于标准化的

、结构化的BI指标查询和报表生成。NL-to-Code文本转代码优点：

极度灵活，功能强大。缺点：

存在安全

风险，

依赖运行

环境。适用于探索性强

、任务复杂的数据

分析，

作为数据

科学家和分析师的辅助工具。NL-to-DSL文本转DSL优点：

高度可控，精准。缺点：

前期开发

成本高，

通用性

差。适用于特定领域，需要将业务逻辑

深度固化到查询

语言中的场景。 LLM查询指标的方怯NL2SQLNL2DSLNL2CODE NL2CODE示例

对话式指标查询的流程

遇到的问题生成的代码示例输入的数据字段TOKEN超限制

遇到的问题识别指标名称识别数据范围识别统计周期意图识别不准

优化策略工作流分支模型升级查询指标知识库用户查询记录提示词模版分层提示词精简模型和策略优化提示词增强RAG增强 RAG增强

提示词增强

收益总结1.意图识别准确率95%以上。2.指标查询准确度90%以上。3.意图识别结果和查询逻辑暴露给用户，提升用户体验。

效能度量驱动改进闭环案例制定规范实时监控洞察问题

效能度量驱动改进闭环案例制定规范实时监控洞察问题单元测试提升•

周期性主动推送报告•

展示变化趋势•

责任到人代码质量扫描•

周期性主动推送报告•

展示变化趋势•

责任到人LLM助力提升用户关注度规范策略测试覆盖率提升代码违规清零团队文化标准

综合评估的度量推送维护成本高目标不明确报告生成视图开发 LLM助力效能报告生成LLM生成图表LLM生成洞察报告推送定义模版指标开发 LLM助力效能报告拆解描述型文本数据结构化数据智能匹配图表智能生成洞察指标数据效能报告LLM•提示词优化：

明确要求

、提供示例

、定义schema•

引入工具•

后处理验证•

重试执行 LLM助力效能报告问题回顾•

大模型没有格式检查器•

上下文干扰•

训练数据不足•

一定随机性格怯输出不稳定格怯输出不稳定一个月完成周报

、月报和季报上线

，半个月实现项目和组织维度报告 LLM助力效能报告生成收益报告开发效率翻倍用户量10倍总监级1.75%

0.25%副总裁级0.08%经理级员工73.81%11

月

12

月864580 LLM助力效能报告生成收益10008006004002000(空白)20.60%高级总监级3.50%中台提测单执行时长（天）16.6LLM报告驱动效能提升案例18.015.012.09.06.03.00.012.07月测试执行时长均值

集团均值中台均值9.96月9.29月7.71月6.64月4.710月6.05月4.88月3.22月3月C LLM赋能不同用户A指标定制化报告生成指标解读组织管理者团队管理者团队成员B LLM赋能决策者•

数据多

、指标多•

周期长•

图表复杂•明确洞察结论人工报告 LLM赋能半年度效能报告获取指标数据PPT生成调用工具选择模版人工修改规划编写报告周期缩短1/3事业部项目维度指标趋势向好 LLM赋能半年度效能报告收益未开展AI助力数据处理图表解读报告解读数据采集统计分析预处理指标生成图表生成报告生成 LLM赋能效能度量总结NL2CODE数据补全

数据补全方法

数据处理过程中使用AI1.智能采集与处理：

智能埋点

、非结构化数据处理。2.数据质量保障：

实时数据清洗

、异常检测

、数据补全。PART

04LLM时代度量范式及展望对比维度采纳率

(Acceptance

Rate)入库率

(Adoption

Rate)定义开发者接受AI

代码建议的次数占AI

建议总数的百分比。最终合并到代码仓库的AI

代码行数占AI

建议总行数

的百分比。衡量目标AI

建议的“可用性

”。反映了开发者是否认

为AI

的建议在当时是有用的。AI

建议的“质量

”。反映了AI

建议经过代码审查

、

测试后，

最终被团队接受并投入使用的比例。计算方式(接受的建议数/AI总建议数)*

100%(最终合并的AI代码行数/接受的AI建议总行数)*

100%优点实时性强，

可以立即反馈AI

建议的吸引力

。

易于获取，

大多数工具都支持自动统计。更具价值，

反映了AI

对项目的实际贡献

。与业务价值对齐，

高质量的代码才具备商业价值。缺点无法衡量质量，

高采纳率可能隐藏了低质量代码。可能被“游戏化

”，

开发者为了追求高指标而盲目接受建议。滞后性，

需要等待代码审查和合并流程完成才能获取

数据

。难以归因，

需要复杂的工具来追踪AI

代码的最终去向。核心问题开发者是否觉得这个建议是好的？团队是否觉得这