2025 GOPS 全球运维大会暨研运数智化技术峰会·北京站：智能助手的“智能跃迁”大模型重塑企业级研效新范式

中国信息通信研究院

中国信研究院

中国信息通信研究院

中国信息研究院

中国信息通信研究院1智能助手的“智能跃迁”大模型重塑企业级研效新范式X

O

P

S

风

向

标中国信息通信研究院

中国信研究院

中国信息通信研究院

中国信息2025.6.28

主讲人

张健一研究院

中国信息通信研究院2智能助手的背景和应用现状

01智能助手的评价体系

02智能助手标准介绍03AI赋能的研发运维创新体系与生态介绍04中国信息通信研究院

中国信研究院

中国信息通信研究院

中国信息·目录·研究院

中国信息通信研究院4智能助手的背景和应用现状X

O

p

s

风

向标中国信息通信研究院

中国信研究院

中国信息通信研究院

中国信息研究院

中国信息通信研究院5

AI大模型已成为全球科技竞争的新高地、

未来产业的新赛道、

经济发展的新引擎。

近年来

，

我国高度重视人工智能的发展

，将其上升为国家战略

，

出台一系列扶持政策和规划

，

为AI

大模型产业发展创造了良好的环境。国外相关政策n2024年7月

，美国商务部发布报告

，表达了对“开放式

”生成

式人工智能模型（

“Open-weight”

GenAI

models）的支持

，同时建议政府开发“新功能”来监控这些模型的潜在风险。n2024年3月，

欧盟发布全球首部综合性人工智能治理立法：

《人工智能法案》

，该法案对人工智能系统进行了分类

，并根据风险等级制定了相应的监管要求。n2023年5月

，美国白宫发布2023年版《国家人工智能研发战略

计划》

，强调加大对AI人财物资源方面的投入

，以推动科技方面的研发和推广。n2023年8月

，德国教育与研究部（BMBF）发布《人工智能行动

计划2023》，

皆在推动德国人工智能领域的研究成果转化为经

济动能和市场效益

，实现“欧洲智造”的愿景。近年来国内外大模型发展迅猛 阿里巴巴

百度科大讯飞内

外>国内外大模型发展历程数据来源：公开数据，中国信通院整理国内相关政策n2024

年《政府工作报告》中提出开展“人工智能+”行动。伴随人工智能领域中大模型技术的快速发展

，我国各地方政府出台相关支持政策

，加快大模型产业的持

续发展。当前

，北京、深圳、杭州、成都、福建、安徽、上海、广东等地均发布了关于AI大模型的相关政策。具体来看：•北京着力推动大模型相关技术创新

，构建高效协同的大模型技术产业生态；•

上海强调打造具备国际竞争力的大模型；•深圳重点支持打造基于国内外芯片和算法的开源通用大模型

，支持重点企业持续研发和迭代商用通用大模型。n2023年12月，

国家数据局发布《“数据要素x”三年行动计划（征求意见稿）》：提出以科学数据支持大模型开发

，支持开展通用人工智能大模型和垂直领域人工

智能大模型训练。国中国信息通信研究院

中国信OpenAI谷歌

Meta研究院

中国信息通信研究院

中国信息政策支持使国内外大模型技术发展迅速国研究院

中国信息通信研究院6

大模型是是具有大规模参数和复杂计算结构的机器学习模型。

研发运营大模型是专门针对软件研发领域的大型预训练模型。

基

于开源大语言模型，通过私域研发运营数据定制化训练形成，

以私有化方式部署为主，用于辅助软件研发中的各个阶段。

在此基础上，最终的客户端应用可以是是基于训练后的模型产生的定制化工具。构建基于私域数据的研发运营大模型n基于开源大模型底座构建研发运营大模型是一种高效且成本效益

高的方法。通过选择合适的开源大模型底座、进行定制化开发、训练和调优以及集成和部署等步骤

，可以构建出符合特定业务需

求的大模型

，并为企业带来更好的业务价值

，其中涉及多个步骤，包括选择合适的开源模型、定制化训练、集成领域特定知识和工具、以及部署和优化。研发运营大模型研发运营基座模型开源大语言模型底座n基于私域研发运营语料

，结合业务需求

，

明确需要定制化的功能和特性。这可以包括模型的输入格式、输出格式、模型结构等。n将训练好的模型集成到业务系统中，并进行部署。这可以包括将模型部署到云端、本地服务器或嵌入式设备等。赋能软件研发运营提质增效n研发运营大模型的应用前景广泛

，可以应用于研发、测试、运维

等多个方面。研发运营大模型可以通过提高代码质量、加速开发

过程、提升软件性能、提升运维效率和降低人力成本等方式赋能软件研发提质增效。多模态处理分析能力产品工具集成交互式查询

与支持特性n基于公域研发运营领域语料，

结合需求分析和设计，

对开源大模型进行定制化开发。领域专业性研发运营大模型智能分析文档与知识管理中国信息通信研究院

中国信研究院

中国信息通信研究院

中国信息ln软件研发运营大模型核心概念和内涵研究院

中国信息通信研究院7n在开发编码阶段

，大模型技术展现出了强大的代码生成和辅助编程能力。

它可以根据开发者的要求

，快速生成各种组件代码和部分业务代码。此外

，大模型还可以进行代码检查与评审工作

，帮助开发者及时发现并修复潜在的问题

，提高代码质量。

在软件研发生命周期中

，

大模型技术正发挥着越来越重要的作用。从需求分析、

开发编码、

测试到运维

，

大模型以其强大的能力和广泛的应用前景

，

为软件工程带来了革新。

它不仅可以提高研发和运维的效率和质量

，还可以降低成本和风险。

随着技术的不断进步和应用场景的不断拓展

，

大模型将成为软件工程领域的重要支撑力量。

目前在这些应用过程中产生的工具、

方法和解决方案我们统称为智能助手n在测试阶段

，大模型可以自动生成测试用例和测试数据

，大幅提高测试覆盖率。

同时

，大模型还可以根据历史错误日志和异常快照

，辅助定位错误原因并提供修复建议。这有助于缩短测试周期

，提高测试效率和质量。测试n在运维阶段

，大模型可以辅助进行智能监控和故障预测。

它可以通过分析系统日志和性能指标

，及时发现潜在的问题并提前预警。此外

，大模型还可以提供自动化的故障定位和修复方案

，减少人工干预成本

，提高运维效率。开发编码n大模型在软件研发项目管理中

，可高效助力需求解析、资源规划、进度监控与风险预测

，实现智能任务分配与质量控制。其强大的数据分析和预测能力

，可显著提升项目管理效率

，确保项目按时、高质量完成。运维项目管理中国信息通信研究院

中国信研究院

中国信息通信研究院

中国信息ln大模型在软件工程各环节的应用n在需求分析阶段

，大模型可以通过自然语言处理技术

，对用户提出的需求进行语义理解和结构化分析。这有助于自动拆分需求、识别依赖关系

，并生成清晰的需求文档。此外

，大模型还可以辅助进行需求可行性评估和风险识别

，提高需求分析的准确性和效率。需求分析研究院

中国信息通信研究院8我国对于大模型的应用规模与国外相比差距较大2024年2-4月海内外访问量前十的大模型访问量总和（万）对比6000005000004000003000002000001000000536027

550187

4877982993

5699

12007

海外

国内n

国内大模型应用正在持

续缩小与海外的差距，对比2024年2-4月海内外排名前十的大模型访问

量总和

，两者差距从2月

的163倍逐渐缩小至4月

的46倍。

国内大模型的

应用正随底层大模型技

术的发展持续追赶。2月3月

4月数据来源：太平洋证券研究院。2024智能助手对企业研发核心效能的价值能力提升弥补能力短板成本控制工具赋能事务性工作替代人员技能

研发效率

协作效率个体效率

InfoQ调研显示我国企业在软件研发领域应用大模型的规模较大且很广泛，在金融、软件、互联网、科技等行业的落地成效已

逐渐显现，发展态势逐渐明朗。然而当前的应用水平和规模与国外相比差距较大，未来提升的空间较大。随着行业和技术的发

展，智能助手在未来会对企业创新和发展拥有重要意义并带来不可估量的价值。我国企业在软件研发各阶段应用大模型的情况nn大模型等AI能力能够对软件工程全生命周期进行赋能，开发阶段落地最快，智能测试和智能运维有诸多点状场景的试点应用，智能需求方面处于探索阶段。开发相关案例占比38.5%，测试占比26.9%，运维占比19.2%，需求占比15.4%。受访企业中，超70%的企业在软件开发阶段应用了大模型等AI技术，其次是软件测试也超过了

60%。而在软件工程各阶段中，测试和开发过程应用AI技术后提效（人效）最

为明显，其次是运维。19.20%29.60%38.50%15.40%开发需求

测试

运维数据来源：中国信息通信研究院，2024中国信息通信研究院

中国信研究院

中国信息通信研究院

中国信息我国企业对于智能助手的应用已初见规模研究院

中国信息通信研究院协同能耗流程规范打造超级个体9ln我国应用智能助手的企业主要集中在金融、通信和互联网行业应用智能助手的行业n调查显示

，金融行业作为应用智能助手最广泛的行业

，有33.5%的企业在一定程度

上应用了智能助手。其次

，通信和互联网

行业应用智能助手的比例也分别在26.7%

和23.2%，区别于其他行业，

医疗和教育

行业作为未来较有潜力的行业也被单独统

计。40.00%35.00%30.00%25.00%20.00%15.00%10.00%5.00%0.00%33.50%26.70%23.20%10.30%4.20%2.10%金融通信

互联网医疗教育其他数据来源：公开数据，中国信通院整理n调查显示

，超过1/3的软件研发团队直接使用第三方大模型

，

这种成本最低

，适合中小企业

。

对于大型企业而言

，

可以训练基础大模型

，但也不是每个大型企业都能做到这一点

。对于大中型企业可以基于基础大模型（foundation

model）

训练（微调/精调

fine

tuning）

自己的领域大模型

，这部分接近1/5（19.6%。领域大模型embedding特定的知识库和私有化部署正好都是12.4%。n调查显示

，作为新兴的大模型应用领域

，智能助手主要有七大困难（从高到低排列）：1)缺少机器学习和大模型训练人才。2)缺少算力或云计算平台。3)

缺少高质量的（业务/研发）训

练数据。4)

目前研发人员的应用水平不行。5)安全、隐私担忧。6)(业务/研发）数据数量不足。7)缺少大模型部署的能力。从训练基础大模型开始，构建大模型全栈技

基于开源、基础大

模型训练自己的领将领域大模型直接调用第三方大模型,36.10%

私有化部署并使用第三方大数据来源：AI+软件研发数字峰会（AiDD）组委会，2023应用智能助手的困难行业合规性限制,领导不重视,缺少大模型(业务/研发）安全、隐私担目前研发人员的数据来源：AI+软件研发数字峰会（AiDD）组委会，2023中国信息通信研究院

中国信其他____,10.30%研究院

中国信息通信研究院

中国信息应用智能助手的方式研究院

中国信息通信研究院缺少机器学习和大模型训练人才,缺少算力或云计算平台,缺少高质量的（业务/研发）训练数10

由于应用比例较高，应用成果较为显著，所以本课题选择了通信、金融、互联网三个行业的智能助手应用情况进行研究。

某大型金融机构将大模型的应用渗透进研发领域的各个场景，致力于打造适合金融行业的数智化研发体系。该机构通过行业和

企业的定制化调整

，让智能助手更好地赋能企业的研发工作，取得了显著了效果。待解决的问题n

专业知识和数据量不足。n

模型对话精准度。n自动化调用。n

算例与安全问题。需求分析：结合行业特点进行规则模型提炼代码开发：通过Prompt智能推荐，对数据进行标准化某大型金融机构在软件研发领域对于大模型的应用该机构取得的显著效果n覆盖广：推广至43家分部

，5个

研发中心

，覆盖全行6万名员工。n

效率高：

开发效率提升300%，节省一线员工工作量800+人月。n

成本省：

平均每家分行减少配

备20+位专职IT人员

，节省人力

成本30%。中国信息通信研究院

中国信ln,

金融行业致力于在保证安全的情况下让智能助手辅助研发全流程打造适合金融行业的数智化研发体系研究院

中国信息通信研究院

中国信息研究院

中国信息通信研究院11通用+专有，打造领先私域大模型n通过深度学习技术，配合RAG增强检索技术，训练原子能力推荐模型，提升推荐准确率和体验;以

LoRa等技术进行微调训练，输出私有研发效能大

模型，提供代码生成、补全、检查等能力。

某头部通讯运营商全面融入战略规划，对标互联网公司优秀案例，围绕CMIMI理论及DevOps实践，

基于效能平台及研发工具

链、能力资产，持续发力AI+研发效能，探索效能提升新范式，构建涵盖需求、设计、研发、测试、交付、运营全生命周期的

AI智能助手服务。达成的效果包括，流程监控覆盖率达到100%、处理效率提升20%，成本降低10%。构建模型统一中控，适配多模型集成调度n构建多模型适配中控，实现通过不同场景指令，

调用多模型，输出所需答案，打造AI助手新质生

产力，赋能软件研发生产线。中国信息通信研究院

中国信ln,

通信行业在通用大模型的基础上打造智能研发助手赋能研发全流程构建AI+研发效能七层架构，从物理层到服务层，推动AI智能助手落地应用研究院

中国信息通信研究院

中国信息研究院

中国信息通信研究院12代码生成、补全流程编排辅助变更配置辅助自动生成代码：n研发团队可以借助通义灵码实现代码的自动生成

，减少了人工搜索和生成示例的时间。代码问题修复缺陷创建辅助发布日志生成平台使用辅助智能代码评审：n

在

代

码

评

审

场

景

，可以实现智能化的推荐评审人

、描述和标题生成

、摘要生成

、

大评审拆分

、

代码检测

、

修复方案的生成以及冲突的自动修复。中国信息通信研究院

中国信ln,

互联网行业依靠自身强大的技术能力部署自研的智能研发助手产品信息转需求辅助需求阶段编码开发相关性需求整合集成和测试发布部署

咨询和学习产品文档生成辅助代码理解扫描修复建议应用编排辅助研究院

中国信息通信研究院

中国信息智能项目管理：n研发团队可以借助通义灵码实现细化需求

，拆分子需求

，智能指派负责人

，拆分任务等能力。研究院

中国信息通信研究院跨文档知识查询技术文档问答13中国信息通信研究院

中国信研究院

中国信息通信研究院

中国信息ln结合研究与企业应用形成信通院的智能助手体系研究院

中国信息通信研究院14智能助手的评价体系X

O

p

s

风

向标中国信息通信研究院

中国信研究院

中国信息通信研究院

中国信息研究院

中国信息通信研究院15软件研发运营大模型“行业专家”成本效益

通用大模型具有广泛的知识基础、

可灵活处理多种问题

，

往往是公开的

，但资源消耗与维护成本较高。

研发运营大模型在软件工程领域更加专精

，

处理特定问题效率更高

，

并可以衍生多种定制化工具

，

助力企业提高生产力

，

且成本效益比更高。通用大模型“博古通今”开放性n

可定制化拓展多种研发领域的应用需求。•

处

理问

题

针

对性更强。•

可

衍

生

多

种

定制化应用。n

能够处理各种类型的输入和输出。•更广的用户群体。•

更高的灵活性。n

具有广泛的知识基础，但在特定任务上的表现不如行业/专有大模型。•

泛化能力更高。•

能处理多种问题。n

由大型科技公司或研究机构开发

，并以API服务的形式提供给公众使用。

由于其规模和复杂性

，通常需要大量的计算资源进行训练和维护

，维护成本较高。灵活性中国信息通信研究院

中国信n专有大模型可以根据实际需求进行优化

，避免不必要的功能和计算资源浪费

，从而实现更高的成本效益比。VS定制化应用研究院

中国信息通信研究院

中国信息ln软件研发运营与通用大模型的差异分析n

对软件工程领域具有深入理解

，处理特定问题更加高效。•

专业性强。•

效率更高。研究院

中国信息通信研究院16

通用大模型通常设计为多用途

，

能够处理广泛的任务

，

如文本生成、翻译、

摘要等。

评价方法可能更侧重于模型的泛化能力和跨任务适应性。

而研发运营大模型是专门针对软件研发、测试、

运维任务

，如代码生成、

缺陷检测、

日志分析等。

评价方法需要针对这些特定任务的准确性、

效率和实用性进行设计。

因此在有效性评价方法存在差异。n

代码质量指标：如代码的可读性、可维护性和性能。n

缺陷检出率和误报率：衡量缺陷检测任务的有效性。平均修复时间（Mean

Time

toRepair,MTTR）：衡量模型在故障响应和处理方面的效率。n

用户满意度和生产效率提升：从用户和业务角度评估模型的实

际价值。研发运营大模型n

基准数据集专注于软件研发和运维领域的特定任务

，如代码缺陷数据集、软件日志数据集等。n

数据集通常包含实际软件开发和运维中遇到的问题和场景。n

包括软件缺陷预测数据集（如Defects4J）、代码克隆检测数据集等

，这些数据集用于评估模型在特定任务上的性能。差异总结n

研发运营大模型的语料和数据集比通用大模型更加聚焦特定场景和需求。评价方法n

侧重于特定任务的实际应用效果

，如代码生成的准确性、缺陷检测的召回率和精确率。n

包括自动化测试的覆盖率、

日志分析的准确性和响应时间等。n

也会考虑模型在实际软件生命周期中的集成和部署效率。n

研发运营大模型的评价方法比通用大模型更加关注实际效果和基于能力衍生的具体使用情况。n

研发运营大模型的评价指标比通用大模型更加关注在使用过程中反馈的实际效果指标。评价指标中国信息通信研究院

中国信基准数据n

基准数据集通常包含多种类型的任务

，如文本分类、情感分析、问答、文本摘要等。n

数据集需要覆盖广泛的主题和领域

，以评估模型的泛化能力。n

包括GLUE、SQuAD等

，这些基准测试旨在评估模型在不同自然语言处理任务上的表现。n

准确率（Accuracy）

：

模型预测正确的样本比例

。精确率（Precision）和召回率（Recall）：文本生成任务中

，精确率衡量生成文本的相关性，

召回率衡量生成文本的全面性

。

BLEU分数：特别用于机器翻译任务

，衡量生成文本与参考翻译的相似度。n

模型的泛化误差和过拟合情况也是重要的评价指标。n

包括模型在多个任务上的准确率、F1分数、BLEU分数等。n

采用零样本或少样本学习的场景

，评估模型在未见过的任务上的表现。n

模型的鲁棒性和对抗性测试

，确保模型在面对噪声或攻击时的稳定性。研究院

中国信息通信研究院

中国信息ln通用与研发运营大模型评价方法总体差异通用大模型研究院

中国信息通信研究院17智能助手的评价方法设计应该基于场景能力自下而上进行设计，分为功能的覆盖度和有效性两部分与企业的真实情况和需求相结合功能

好不好？•

基于研发运营发能力的端到端流程模型建立分析服务框架，并实

现价值链上所有指标的归集。•

针对每个能力中重点关注的驱动因素和关键能力对指标进行拆解，直到最小颗粒度。基于场景能力自下而上评价有效性n评价功能完整性n评价功能可用性上下

结

合

的

总

体

评

价

思

路智能助手评价方法n自上而下的方式可以验证功能的覆盖度和完整性。n自下而上的方式可以对分解的能力的有效性进行评价。n

两种方式进行拉通、

相互验证，

形成综合的评价方式。功能覆盖度评价中国信息通信研究院

中国信功能

有没有？•

由智能助手的发展要求和实际能力出发，进行基于场景能力的功能覆盖度评价。•

对功能进行基础能力和高级能力覆盖度评价，通过汇总建立综合评级。研究院

中国信息通信研究院

中国信息基于场景能力自上而下评价覆盖度研究院

中国信息通信研究院功能有效性评价18代码生成风险评估与预警任务分配基本能力：•应支持自动代码补全，通过建议、弹窗等方式对代码进行

单行和多行的补全续写，输入内容包括且不限于代码上下

文、注释、自然语言描述（伪代码）等形式。•

应支持多个补全结果备选。•应支持通过多轮对话完善需求，继而生成完整代码段。•应支持对已有代码进行重构、优化，生成分析建议或优化

代码。高级能力：•

宜具备按需抽象的上下文管理，在补全或生成代码时输入必要且精准的依赖代码、变量、工程框架或工具模块抽象等信

息。•

宜具备根据功能描述生成代码的能力，以自然语言形式（伪代码）的功能需求描述，自动生成符合要求的代码段，如函数等。•

宜具备多样代码生成能力，针对同一代码生成需求，能够提

供多语言代码生成结果。•

宜具备有效机制保障生成代码遵循团队统一的代码风格规范，包括且不限于：变量命名风格、代码布局和缩进、代码注释

格式等规范。•

宜支持采用私域数据自动生成代码，如通过增强检索(RAG)

等方式，关联内部知识库、代码库等私域数据，生成符合业务逻辑的代码，提升模型推理能力及代码采纳率。智能问答代码注释2级1级

场景能力

能力展开评价汇总形成评级中国信息通信研究院

中国信n根据软件研发运营大模型基础架构中的能力开展对每种能力功能覆盖度的评价。n以代码生成为例进行大语言模型辅助进行研发代码编写的能力展开评价。编码开发代码翻译需求审核需求讲解代码审查工作量度量版本规划研究院

中国信息通信研究院

中国信息ln基于场景能力对功能的覆盖度和完整性进行评价项目管理需求引导进度跟踪制定需求文档需求分解生成项目计划项目报告API编排研究院

中国信息通信研究院•

评级名称•

基本能力要求•

高级能力要求需求分析5级4级3级19n基础入门

，能够理解和执行简单的任务

，对数据进行基本的处理和管理，以及进行初步的模型训练和优化。n基本能力要求：具备基本的数据准备、模型编排和基座能力

，能够进行简单的任务拆

解和指令下发。能够支持基本的多模态数据采集、数据清洗、数据存储和治理

，以及模型优化和特征工程的初步工作。n功能进阶

，在保持基本能力的同时

，增强对复杂任务的处理能力

，涉及任务执行规划和非功能性能的优化。n基本能力要求：在L1的基础上

，增强数据处理和模型编排的能力

，能够处理更复杂的数据清洗和存储任务，提供更细致的模型优化和特征工程。n高级能力要求：开始引入任务规划和非功能项的优化

，如资源请求队列管理和多种编程语言的生成支持。n专业高效

，在专业领域内提供高效的服务

，能够处理更加复杂的任务

，并具备一定的实时响应和适应能力。n基本能力要求：

进一步提升数据准备和模型编排的效率

，能够进行高效的数据采集和清洗和模型的高级优化。n高级能力要求：

引入更复杂的任务拆解和规划

，支持实时生成和更新特征

，以及对移动端、web端、

pc端多操作系统的辅助验收测试用例生成。n创新引领

，在各个领域内实现领先创新，

自主学习和适应新任务

，提供全面智能化解决方案，

引领行业发展。n基本能力要求：具备全面的数据管理和模型编排能力

，支持最前沿的数据处理技术和模型优化策略。n高级能力要求：

实现全方位的智能化服务

，包括但不限于自动化脚本生成与任务执行、智能监控采集、辅助故障定位、智能阈值推荐等。n智能协同

，在多个领域内实现智能协同

，能够自动完成复杂的任务

，并提供高质量的代码生成和审查服务。n基本能力要求：进一步强化数据和模型的管理能力

，支持更广泛的数据类型和更复杂的模型优化。n高级能力要求：

实现跨领域的任务拆解和规划

，支持智能API编排、智能代码审查和翻译

，以及智能代码注释等高级功能。中国信息通信研究院

中国信智能助手能力评级5级研究院

中国信息通信研究院

中国信息ln从功能覆盖角度形成能力评级1级级23级研究院

中国信息通信研究院4级20场景能力领先案例最新研究成果能力项驱动因素指标内容维度代码生成l

更多语言

编码开发代码生成代码生成

速率API编排代码审查智能问答代码翻译代码注释

更快速

中国信息通信研究院

中国信更准确研究院

中国信息通信研究院

中国信息ln结合场景能力、领先案例和最新研究成果进行有效性评价研究院

中国信息通信研究院n

以

“

编码开发

”的

场

景中

的“

代码生成”

能力

为

例

进

行

展开。

代码语言

l

项目

部门

21

融合场景能力

，参照领先案例的成功实践

，并紧密追踪最新研究成果

，以此为基础构建全面而严谨的有效性评价指标体系。这一体系旨在确保解决方案不仅贴合实际场景

，具备前瞻性

，而且经过科学验证

，能够精准衡量成效

，助力企业实现业务价值与技术创新双赢。工作量度量生成项目计划项目报告任务分配指标

场景

能力项指标进度预测准确性进度跟踪时效性任务估算正确率资源利用率成本预估准确性项目计划全面性报告文档完整性报告内容准确性任务清晰度任务匹配度风险识别率风险预警准确性风险评估与预警代

码生成代码生成API编排代码审查代码翻译代码注释智能问答代码生成正确率代码生成速率API选择正确率API调用成功率潜在问题发现率改进建议准确性代码翻译准确率代码语义保持度代码注释生成率代码注释准确率问答知识覆盖度问答响应时效中国信息通信研究院

中国信能力项需求引导需求审核需求分解制定需求文档需求讲解版本规划能力项进度跟踪指标需求理解准确性需求生成速率合规审查正确率完整性检查正确率需求分解颗粒度需求分解速率需求文档完整性文档内容准确性需求讲解清晰度需求讲解效率场景项目管理需求变更通知时效依赖识别正确率研究院

中国信息通信研究院

中国信息ln从功能有效性角度形成评价指标体系需求分析研究院

中国信息通信研究院场景22智能助手标准介绍X

O

p

s

风

向标中国信息通信研究院

中国信研究院

中国信息通信研究院

中国信息研究院

中国信息通信研究院23

研发运营大模型标准，用于指导基于研发运营全生命周期的大模型能力建设，重点关注研发、测试和运营领域，为相关企业建设研发运营大模型能力提供指导路径。从研发运营领域的需求设计阶段、开发阶段、测试阶段、运营阶段等方面，规范研发运营大模型的各项技术能力。中国信息通信研究院

中国信研究院

中国信息通信研究院

中国信息ln

信通院联合近70家企业制定首个研发运维大模型标准研究院

中国信息通信研究院24

智能研发助手基于《研发运营大模型能力成熟度》标准打造。

《研发运营大模型能力成熟度》

由中国信息通信研究院于2023年9月牵头发起

，

皆在打造高质量、

一体化的研发运营大模型评价标准

，促进软件研发运营大模型生态的规范化健康发展。《研发运营大模型能力成熟度求》标准可用于指导基于研发运营全生命周期的大模型能力建设

，

为相关企业建设智能研发助手提供指导路径。

研发部份包含30个模块、

200+项条目

，

并根据企业智能研发助手的实践成熟度分为三个级别：

全面级（一级）

、

优秀级（二级）

、卓越级（三级）

。智能开发代码生成API编排代码翻译代码注释代码审查项目评估和审核项目验收报告编写制定整改方案和实施计划验收测试用例生成智能验收单元测试业务知识问答研发知识问答研发进度同步研发决策制定质量监控智能协同智能度量度量设计参与单位（部分）人保科技、

中国联通、

中国联通研究院、

中国移动、

中移信息、

中移杭研、

中移苏研、

中移成研、华为、联想、神州泰岳、

畅捷通、浙商银行、

中信银行、东软集团、火山引擎、

中原银行、广通优云中国信息通信研究院

中国信智能研发助手子场景智能设计制定需求分析计划架构设计风险评估与预警数据模型研究院

中国信息通信研究院

中国信息ln

基于《研发运营大模型能力成熟度》标准打造智能研发助手需求审核版本规划智能项目管理制定需求文档需求分解进度跟踪研究院

中国信息通信研究院智能需求管理需求引导任务分配生成项目计划项目报告工作量度量场景25

测试大模型：根据软件测试各阶段能力现在分为：测试设计、测试准备、用例、执行、持续反馈五部分。共下分为辅助单元测试用例生成、辅助测试数据生成、精准测试、辅助缺陷自动修复等16个场景。智能测试助手测试设计测试准备测试用例测试执行持续反馈辅助测试计划辅助测试数据生成辅助单元测试用例生成精准测试辅助缺陷自动修复辅助缺陷预防辅助集成测试用例生成辅助生成测试报告辅助跟踪测试缺陷辅助测试计划审核辅助功能测试用例生成辅助测试问题复盘辅助非功能测试用例生成辅助自动化测试用例生成辅助安全测试用例生成辅助测试用例审核中国信息通信研究院

中国信研究院

中国信息通信研究院

中国信息ln

基于《研发运营大模型能力成熟度》标准打造智能测试助手研究院

中国信息通信研究院26

运维大模型：运维大模型分为监控管理、事件与变更管理、高可用管理、容量与成本管理、业务连续性管理、用户体验管理、配置管理以及通用协作场景八大模块

，26个子场景

，赋能运维智能化升级。智能运维助手通用协作场景人机协作智能问答智能调度自动化脚本生成与任务执行监控管理事件与变更管理高可用管理容量与成本管理业务连续性管理用户体验管理配置管理智能监控采集辅助事件管理辅助应用高可用管理辅助容量预警辅助风险演练辅助体验管理辅助运营配置管理辅助故障定位辅助变更管理辅助资源优化用户体验评价智能拓扑识别辅助告警配置变更轨迹追踪辅助容量调度用户体验优化建议智能告警定级智能变更风险分析辅助成本估算辅助舆情分析辅助告警收敛辅助自动化变更辅助容量预测告警信息丰富辅助环境构建辅助资源规划中国信息通信研究院

中国信研究院

中国信息通信研究院

中国信息ln

基于《研发运营大模型能力成熟度》标准打造智能运维助手研究院

中国信息通信研究院27说明：本处文稿摘取于《研发运营大模型能力成熟度》标准，最终版本以发布版本为准。中国信息通信研究院

中国信标准样例-智能开发标准样例-智能协同研究院

中国信息通信研究院

中国信息ln

标准样例研究院

中国信息通信研究院28需求引导基本能力

：——

应

具

备

辅

助

撰

写

用

户

需

求

调

研

文

档

的

能

力，

根

据

场

景

辅

助

使用者撰写定制化的需求调研文档，

如用户问卷

、

用户访谈文案

、竞

品

报

告

等

……高级能力

：——

宜

支

持

需

求

图

像

生

成，

如需求

UML

图

、UI

原型图等

。——

宜

支

持

需

求

文

本

生

成，

将

用

户

表

述

的

原

始

需

求

或

需

求

调

研

结果抽象为标准化的需求文本输出，

包括但不限于

：

需求描述

、

功能列表

、

用户故事等需求文本

。

智能研发助手评估示例：

依据功能实现的复杂程度及难易程度

，

可分为基本能力和高级能力两部分

，

以需求引导、代码生成、度量设计、研发知识问答为例：2研发知识问答基本能力

：——

应

支

持

研

发

知

识

库

管

理，

维

护

公

域

和

私

域

研

发

知

识，

包

括

不

限于领域常识，语言特性，组件

/

API

文档，流程规范，操作手册，缺陷排查过程等

。——

应

支

持

研

发

领

域

常

用

提

示

词

、

角

色

或

工

具

沉

淀

与

推

荐

。——

应

支

持

提

供

研

发

领

域

的

专

业

知

识

问

答

功

能，

包

括

基

础

的

编

程

语言

、

算法

、

开发工具等方面的问题以及代码调试

、

技术选型等

方面专业领域问题解答，

帮助开发人员解决技术难题

。代码生成基本能力

：——

应

支

持自

动

代

码

补

全，

通

过

建

议

、

弹

窗

等

方

式

对

代

码

进

行

单行和多行的补全续写，输入内容包括且不限于代码上下文、注释、自然语言描述

（伪代码

）

等形式

。——

应

支

持

多

个

补

全

结

果

备

选

……高级能力

：——

宜

具

备

按

需

抽

象

的

上

下

文

管

理，

在

补

全

或

生

成

代

码

时

输

入

必要

且

精

准

的

依

赖

代

码

、

变

量

、

工

程

框

架

或

工

具

模

块

抽

象

等

信

息……度量设计基本能力

：——

应

支

持

对

复

杂

度

量目

标

的

拆

解

细

化

。——

应

支

持

辅

助

发

现

不

符

合

度

量目

标

的

度

量

项，

分

析

发

现

系

统

约

束点

。高级能力

：——

宜

具

备

根

据

度

量

背

景

以

及

度

量目

标

生

成

可

执

行

的

度

量

计

划

，根

据自

然

语

言自

动

生

成

看

板

和

指

标

定

义

与

计

算

逻

辑，自动校对

。——

宜

具

备

根

据

度

量目

标

和

度

量

数

据

生

成

度

量

报

告

以

及

改

进目

标

。4中国信息通信研究院

中国信3研究院

中国信息通信研究院

中国信息ln智能研发助手评估示例研究院

中国信息通信研究院129

参评意义：

①引领行业：

参与评估

，成为国内落地智能助手的首批标杆企业

，

向全行业发声。

②掌握现状：

对标研发运营大模型标准

，结合科学评估与分析方法

，

掌握当前各能力域现状。

③明确方向：

基于评估结果

，结合专家建议

，

明确后续改进方向与目标。

评估按照按子场景划分

，每部分根据参评模块的通过级别分为全面级、

优秀级、

卓越级。各级别对应要求如下：全面级优秀级卓越级满足

8

0

%

基

础

功

能

要

求且

非

功

能

项

均

符

合

基础能力：系统应具备的能力

高级能力：系统宜具备的能力,

。满

足

所

有

基

础

功

能

要

求

，

高

级

功

能

满

足

80%，且非功能项均符合

。符

合

优

秀

级

的

基

础

上

高

级

功

能

满

足

90%

，

且

至

少具备

2

项

兼

具

突

破

性

与

实

用

性

的

创

新，

且

非

功

能项均符合。基础能力高级能力评估价值：以评促建，以评促改——引领智能助手建设，成为国内研发运营大模型领域的首批实践标杆中国信息通信研究院

中国信研究院

中国信息通信研究院

中国信息ln智能助手评估级别划分及参评意义研究院

中国信息通信研究院30AI赋能的研发运维创新体系与生态介绍X

O

p

s

风

向标中国信息通信研究院

中国信研究院

中国信息通信研究院

中国信息研究院

中国信息通信研究院31业务研发运维一体化科技创新体系科技创新赋能各行业数智化转型提质增效，须建立现代化业务研运一体化体系数智化业务价值管理数智化研发数智化效能度量AIOps智能运维BizDevOps需求管理能力体系AI+专项能力AI+平台建设智能客户体验平台工程服务类型咨询服务标准贯标咨询

体系规划人才培养课程培训代码质量管理训练推理一体化平台评估服务能力检验工具平台评测标准&研究报告标准联合编制行业研究报告编写生态建设品牌会议TC628标准推进委员会金融数智化分布式运营大模型数字员工平台运维大模型能力运维智能体AIAgent系统可观测性智能运维工具AIOps智能应用设计智算集群运维研发质量管控中国信息通信研究院

中国信研发大模型智能研发助手研发效能度量效能度量平台研究院

中国信息通信研究院

中国信息ln

AI赋能的业务研发运维一体化科技创新体系研究院

中国信息通信研究院32

围绕质量、成本、效率、安全4个维度；从场景能力、AI能力、平台工具、数据能力4大方面入手

，共同构建运维现代化保障体系。

已发布标准：智能化运维AIOps通用能力要求、系统和工具要求、可观测性能力要求、

IT资源精细化运营、SRE系统可靠性与连续性工程。

在研标准：智算运维能力成熟度模型标准、

网络运维数字员工、运维大模型标准、运维数据治理成熟度模型。SRE系统可靠性与连续性工程设计与开发质量保障部署发布故障预防故障观测故障处置优化改进SLO运营异常检测告警收敛根因定位故障预测智能变更智能问答赋能提效故障处置智能分析智能发现监控与告警用户体验观测系统可观测性智能客服基础设施观测知识库管理应用性能观测业务性能观测效能管理成本管理容量管理交付管理知识库构建成本感知成本归集辅助决算成本优化数据存储数据处理数据传输数据管理中国信息通信研究院

中国信SOMM运维保障体系应用级服务开发BizDevOps业务研发运营一体化AIOps智能运维业务数据管理

协同支持预算管理平台工具数据能力运维数据治理研究院

中国信息通信研究院

中国信息ln构建新时代稳定、高效、精细、安全的运维智能体：

SOMMAI能力场景能力业务流程管理业务价值管理研究院

中国信息通信研究院FinOps&IT资源精细化运营数据采集容器性能观测数据观测预算额度已发布标准：在研标准：33客户旅程管理客户反馈收集客户满意度分析智能客户体验度量度量设计度量应用多维度体验评价体验优化跟踪度量指标管理度量可视化指标计算与分析指标优化与调整智能客户体验数据数据采集数据处理数据分析数据监测知识库管理客户体验数据驱动的XOps体系指标监控与预警指标定义与设计动态仪表盘体验看板智能问答智能存储智能洞察智能推送智能客户体验工具和平台AI+赋能AI+赋能平台工程研发大模型智能客服工具智能客户之声体验管理平台中国信息通信研究院

中国信智能客户体验标准体系客户交互管理客户体验管理客户分类客户旅程优化客户体验运营客户心声洞察用户体验管理工具和平台研究院

中国信息通信研究院

中国信息ln政策助力大模型与智能客户体验快速发展研究院

中国信息通信研究院管理驾驶舱AIOps客户识别客户体验个性化34分析理解内容生成

在此背景下，

中国信通院和中国移动通信集团共同牵头立项《面向电信运营商网络运维的数字员工技术能力要求》行业标准，

旨在帮助组织通过对于网络运维领域数字员工的定义、管理、质量控制及创新能力要求等支撑组织全面部署数字员工能力以帮助电信运营商提质增效和加强内部质量控制

，更好的服务信息通信领域新质生产力建设。

标准从基础设施要求、

通用能力要求、技术能力要求三大能力底座以及专业网络维护、

业务支撑、

网络运维管理等数字员工应用的关键场景出发

，规定了网络运维领域的数字员工在各个能力域应具备的技术能力要求

，指导电运营商企业进行数字员工的高质量建设。开发平台运维管理平台运行平台当下，数字化浪潮汹涌，电信运营商作为通信关键力量，机遇与挑战并存。一方面，5G

网络大规模铺展、物联网蓬勃发展，带来海量数据传输处理需求，电信网络规模与复杂度飙升；另一方面，用户对网络质量、服务响应速度要求愈发严苛，急需高效智能运维

方案。数字员工（DigitalEmployee）是基于人工智能技术的机器人智能化工具，结合了大数据、人工智能、云计算等技术，通过操纵用户图形界面、多媒体交互等方式，增强了人与计算机之间的交互。数字员工具有认知、理解、分析和对话能力，可以在单位时间内完成大量工作，能够在工作中实现自主学习、处理信息、执行任务等多个操作步骤，从整体上提升了企业的智能生产力。技术能力要求通用能力要求时间计划

及安排•

标准工作内项目立项：2024年5月•

形成立项文稿：2024年7月初•

形成送审稿：2024年12月•

开展试点评估工作：2025年Q1场景能力要求专业网络维护基础设施要求业务支撑网络运营管理模型安全管理技术复杂度系统可维护性交互协作中国信息通信研究院

中国信研究院

中国信息通信研究院

中国信息ln大模型数字员工平台研究院

中国信息通信研究院工作任务执行开发敏捷迭代35贯彻中央会议精神通过大赛进一步贯彻落实中央经济工作会议提出的“

以科技创新引领新质生产力发展，开展‘

人工智

能+’行动，培育未来产业”的重要精神。深入调研与布局中国互联网协会积极调研人工智能产业动态，深入布局人工智能赛道，组织高规格交流论坛，推动技

术创新与应用推广。搭建交流竞技平台秉承“服务行业、赋能产业、市场落地、应用推广”的办赛理念，围绕“

以赛促学、以赛引才、以

赛育产、以赛定标”

的任务目标，搭建高规格、开

放式的交流竞技平台。推动产业蓬勃发展通过大赛，希望激发创新活力，为经济社会高质量发展注入动力，推动人工智能产业实现更加蓬勃的