2024人工智能 预训练模型第3部分：服务能力

3目  次前  言 IV引  言 V范围 1规范性引用文件 1术语和定义 1缩略语 2概述 2预训练模型服务类型 2服务能力框架 2成熟度等级 4评估指标 5软硬件平台 5模型开发定制 9模型推理及运营 11成熟度等级要求及判定 147.1概述 14基础应用级 14协同优化级 15自定义生产级 16III引  言XXXXX——第1部分：通用要求。目的在于定义制备或使用大规模预训练模型的人工智能系统的技术参考架构和相关方活动，并提出通用技术要求。——第2部分：评测指标与方法。目的在于定义预训练模型评测内容、指标设置和评测方法。——第3部分：服务能力成熟度评估。目的在于定义大规模预训练模型服务能力成熟度评估框架，规定大规模预训练模型服务的能力要求、成熟度等级及评估方法。V人工智能预训练模型第3部分：服务能力成熟度评估范围规范性引用文件（包括所有的修改单适用于本文件。GB/T41867-2022信息技术人工智能术语GB/TXXXXX202X.1人工智能预训练模型第1部分：通用要求术语和定义GB/T41867-2022、GB/TXXXXX202X.1界定的以及下列术语和定义适用于本文件。3.1预训练模型平台pre-trainedmodelplatform为开发或使用预训练模型提供各类资源的软硬件系统。注：预训练模型平台不包含预训练模型。3.2预训练模型系统pre-trainedmodelsystem预训练模型与预训练模型平台的集成，与预训练模型服务相关的活动、过程等的集合，以及一组相关的模型能力子项的集合。3.3预训练模型服务pre-trainedmodelservice29264-2012，2.1，有修改]3.4工具链accessibilitytoolkit用于支撑预训练模型开发、定制及应用的软件集合。[来源：ISO/IECTR13066-2:2016，2.6，有修改]1缩略语下列缩略语适用于本文件。AI:人工智能（ArtificialIntelligence）CPU:中央处理单元（CentralProcessingUnit）DDR:双倍数据率同步动态随机存储（DoubleDataRate）GE:吉咖比特以太网（GigabitEthernet）RLHF:基于人类反馈的强化学习（ReinforcementLearningfromHumanFeedback）SAS:串行SCSI（SerialAttachedSCSI）SATA:串行高级技术附件（SerialAdvancedTechnologyAttachment）SFT：有监督微调（SupervisedFine-Tuning）概述预训练模型服务类型表1预训练模型服务类型说明序号服务类型提供方需求方说明1预训练模型软硬件平台服务基础设施提供者模型提供者、应用服务者不包含预训练模型本身。2预训练模型开发定制服务模型提供者、应用服务者模型应用集成者、应用消费者通过一系列的活动（模型设计、开发、微调等），向需方交付符合环境限制及模型性能要求的模型。3预训练模型推理及应用服务模型应用服成者模型应用消费者（如终端用户、业务系统开发者等）率等方面的要求。服务能力框架预训练模型服务能力框架能力域包括软硬件平台能力域、模型开发定制能力域及模型推理及应用域，见表2。其中：软硬件平台能力域：提供预训练模型平台的能力和为模型开发定制服务提供计算资源的能力，323

带格式表格[Mss]设置格式[Mss]:居中设置格式[Mss]:居中设置格式[Mss]:居中2表2 能力域和能力子项

设置格式[Mss]:题注,居中,与下段同页硬件能力训练工具数据处理工具硬件能力训练工具数据处理工具软件及工具链能力模型评估工具分布式并行优化行业应用交互应用生态建设数据回流运营赋能应用平台推理服务稳定性推理服务效率推理服务部署模型推理模型推理及运营性能指标-模型部署模型验证模型压缩模型微调模型训练模型设计模型生产定制数据处理数据接入数据模型开发定制性能指标-易用性可靠性兼容性平台综合监测及分析工具模型压缩工具微调工具存储资源网络资源计算资源软硬件平台能力子项能力子域能力主域删除[Mss]:深度学习框架删除[Mss]:工具链删除[Mss]:基础软件删除[Mss]:模型及算法库删除[Mss]:易用性设置格式[Mss]:居中删除[Mss]:分布式并行优化设置格式[Mss]:居中带格式表格[Mss]删除[Mss]:平台删除[Mss]:大模型3-性能指标-性能指标成熟度等级划分及判定预训练模型服务能力成熟度等级划分为3级，服务能力的优化和成熟度等级的提升应通过渐近的方1级基础应用级至3预训练模型服务能力、某项能力主域、能力子域成熟度分级评分见表3，根据得到的相应的成熟度得分，对照相应的服务能力成熟度评级：表3预训练模型服务能力成熟度分级参考规则

设置格式[Mss]:正文,正文文本删除[Mss]:成熟度等级成熟度等级2＜得分≤332＜得分≤33＜得分≤5能够根据需求完成原生大模型的生产；支持分布式并行训练、推理、存储优化等技术；支持预训练模型训练/具备预训练模型的训练和推理能力；自定义生产级支持对已有预训练模型的微调和优化；支持预训练模型常用的微调模式，如SFT，RLHF具备预训练模型微调和优化的能力；协同优化级具备使用预训练模型的能力；支持基于预训练模型研制不同的应用，提供多种模型推理调用方式；支持模型压缩及模型部署，能够处理生产数据。1≤得分≤2基础应用级特征取值范围等级删除[Yuchao]:4设置格式[Yuchao]:缩进:左侧:0毫米,首行缩进:0字符删除[Yuchao]:4设置格式[Yuchao]:缩进:左侧:0毫米,首行缩进:0字符能力成熟度分级规则成熟度等级得分=其中，能力主域k为构成成熟度评估参考模型的能力主域。k其中，能力子域j为能力主域k下的能力子域。j能力项权重4表4预训练模型服务及服务组合序号预训练模型服务及服务组合类型能力主域能力主域权重1预训练模型软硬件平台服务软硬件平台12预训练模型开发定制服务模型开发定制13预训练模型推理及应用服务模型推理及运营14同时提供预训练模型软硬件平台服务和预训练模型开发定制服务软硬件平台、模型开发定制1/2、1/25同时预训练模型软硬件平台服务,预训练模型开发定制服务,和预训练模型推理及应用服务软硬件平台、模型开发定制、模型推理及运营1/3、1/3、1/3评估指标软硬件平台硬件能力计算资源预训练模型平台的计算资源，符合以下要求：a)用于训练任务的计算设备，应符合GB/T42018-2022，和规定的要求；bGB/T6.1.3)宜具备预处理模块，支持并行解码，实现预训练模型推理硬件加速；宜支持基于硬件根密钥实现预训练模型的加解密保护；用于训练任务的计算设备算力理论值求和，百亿模型宜不低于50PFLOPS（FP16精度），千亿、宜支持基于硬件根密钥实现预训练模型的加解密保护；用于训练任务的计算设备算力理论值求和，百亿模型宜不低于50PFLOPS（FP16精度），千亿、f)万亿模型宜不低于1000PFLOPS（FP16精度）；90%；128K；用于推理任务的计算设备，宜支持多模态模型推理。网络资源预训练模型平台的网络资源，符合以下要求：200/400/800GE/千亿/亿参数模型；应支持多租户访问隔离能力，支持使用安全传输协议保证传输数据安全；宜支持跨设备链路聚合组（M-LAG），提高链路可靠性；应实现任务粒度的通信关系及路径的可视化。Peer-LinkLACP宜支持跨设备链路聚合组（M-LAG），提高链路可靠性；应实现任务粒度的通信关系及路径的可视化。e)

带格式表格[Mss]设置格式[Mss]:设置格式[Mss]:设置格式[Mss]:设置格式[Mss]:设置格式[Mss]:删除[Yuchao]:资源删除[Yuchao]:大删除[Yuchao]:宜具备预处理模块，支持并行解码，实现预训练模型推理硬件加速；删除[Yuchao]:Token100ms删除[Yuchao]:Token300ms删除[Yuchao]:5Tokens/s删除[Yuchao]:大删除[Yuchao]:用于模型预训练的参数交互网络应支持200G/400G/800G接口带宽；5存储资源预训练模型平台的存储资源，符合以下要求：NFS、SMB、FTP、HDFS、S3、POSIX应能承载动态混合负载，读写带宽宜不小于1TB；32KBIO1IOPS/PB；QoSQuota)应支持向量数据库；30；checkpoint15。软件及工具链能力训练工具预训练模型平台的训练工具，满足以下要求：应允许用户自定义新的模型层、损失函数、优化器等组件；应提供或集成训练性能分析工具；应提供训练过程监控和日志记录功能，帮助跟踪预训练模型训练、微调过程； 应提供必要的安全机制、保证用户数据安全及隐私，同时需定期维护更新引入新特性； 宜提供预训练数据处理加速，包含如下要求：支持数据加载和预处理多步并行流水线；支持数据自动数据增强；支持单节点缓存；宜支持全自动并行训练宜支持预训练模型多方跨域训练，如横向联邦。数据处理工具预训练模型平台的数据处理工具，符合如下要求：指令处理工具，包含如下要求：应具备数据处理流程框架；宜支持指令数据的自动生成和标注；应提供数据清洗功能，并提供相应操作示例；AI宜提供多步并行流水线机制支持数据加载和预处理；宜提供基于多级缓存技术的训练数据处理流程模板。微调工具

删除[Yuchao]:删除[Yuchao]:设置格式[Yuchao]:段,制表位:20字符,44.28字符,右对齐,前导符:...+不在4+4.03字符,无项目符号或编号删除[Mss]:。删除[Yuchao]:基础删除[Yuchao]:1深度学习框架删除[Yuchao]:的深度学习框架删除[Yuchao]:应提供必要的安全机制、保证用户数据安全及隐私，同时需定期维护更新引入新特性；删除[Yuchao]:应提供训练过程监控和日志记录功能，帮助跟踪预训练模型训练、微调过程；删除[Yuchao]:宜集成训练性能分析工具；删除[Yuchao]:工具链设置格式[Yuchao]:一级,段落间距段前0磅,段后:0磅,制表位4字符,4.03字符,左对齐,编号+级别:1编号样式:abc起始编号1对齐方式:+对齐位置:7.5毫米+缩进位置:14.9毫米设置格式[Yuchao]:三级条标题,段落间距段前:7.8磅,段后:7.8磅,无项目符号或编号预训练模型平台微调工具，符合如下要求：a)应提供面向预训练模型结构的模型算法库，如Transformers算法库等；b)应提供预训练模型的预置权重,支持自动加载；6次数等；jsonjsonltxt、csv宜支持用户进行模块组件化配置，如优化器、学习策略、网络组装等；g)宜集成低参微调算法，提供低参微调流程模板；RLHF支持多阶段应用，覆盖预训练模型、奖励模型及强化学习训练；支持低代码微调。宜支持参数高效微调（PEFT）LoRA、QLoRA、P-Tuning。模型压缩工具预训练模型平台的模型压缩工具，符合如下要求：应支持预训练大模型高效压缩，支持百亿、千亿、万亿大模型压缩；应提供加速优化选项配置接口，如剪枝、量化、蒸馏API接口，配置加速选项；应提供模型压缩范式，包括量化、剪枝、蒸馏、张量分解；应支持预训练大模型高效压缩，支持百亿、千亿、万亿大模型压缩；应提供加速优化选项配置接口，如剪枝、量化、蒸馏API接口，配置加速选项；c)应支持用户选择不同精度的量化技术；应支持用户可选自动混合精度、手动混合精度两种训练优化方式；22宜提供基于强化学习的自动压缩工具，支持服务化的模型压缩。监测及分析工具预训练模型平台性能监测及分析工具，包含如下要求：a)应支持计算环境的资源监测及状态查询，包括：计算设备部件状态监测和查询，如处理器、内存、网络等资源利用率监测和统计分析；监测预训练模型计算任务执行过程，计算资源变化；计算资源故障检测及自动恢复；网络资源监测及状态查询，包括网络流量、网络延迟、网络设备运行状态：IOPS储网络流程拥塞。应支持模型开发过程的性能监测，包括：支持计算过程溢出检测；

设置格式[Yuchao]:一级,段落间距段前0磅,段后:0磅,制表位:4字符,左对齐+4.03字符,左对齐,编号+级别:1编号样式:abc编号:起始删除[Mss]:编号:起始设置格式[Yuchao]:三级条标题,段落间距段前:7.8磅,段后:7.8磅,无项目符号或编号,正文文本删除[Yuchao]:宜提供基于强化学习的自动压缩工具，支持服务化的模型压缩；删除[Mss]:删除[Yuchao]:删除[Mss]:；删除[Yuchao]:微调工具预训练模型平台微调工具，符合如下要求：号设置格式[Mss]:字母编号列项（一级）,段落间距段前:0磅,段后:0磅,制表位:4字符,左对齐+4.03字符,左对齐,编号+级别:1+编号样式:a,b,c,...+号设置格式[Yuchao]:三级条标题,段落间距段前:7.8磅,段后:7.8磅,无项目符号或编号,正文文本左侧设置格式[Yuchao]:数字编号列项（二级）,制表位:6字符,左对齐+不在20字符+44.28字符,编号+级别:2+编号样式:1,2,3,...+起始编号:1+对齐方式:左侧支持监测模型训练过程中的性能指标变化，如准确率、损失函数等；支持监测模型训练过程中的性能指标变化，如准确率、损失函数等；模型评估工具预训练模型平台模型评估工具，包含如下要求：应支持基于用例的评估：集成预训练模型常用的下游任务及测试指标，支持自动化的测试；删除[Yuchao]:应支持计算环境的资源监测及状态查询，包括：络等计算设备部件状态监测和查询，如处理器、内存、网络等设置格式[Yuchao]:三级条标题,段落间距段前:7.8磅,段后:7.8磅,无项目符号或编号,正文文本设置格式[Yuchao]:字体:（中文）黑体7宜支持基于规划的评估：应用目标和用例设计评估计划；宜支持基于专家经验的评估：提供专家交互界面，支持专家根据输出质量给出评分或反馈。平台综合能力兼容性预训练模型平台兼容性包括如下要求：a)应支持rest应能兼容不同版本的模型，宜支持插件化加载；应能保障增加新模块、功能，不影响现有系统的兼容性；宜2宜支持并兼容2种以上预训练大模型分布式计算加速库，跟随版本支持最新特性，如DeepSpeed，MegatronLM，AscendSpeed6.1.

删除[Yuchao]:应支持rest接口规范对接管理平台；应能兼容不同版本的模型，宜支持插件化加载；宜宜2OpenMMLab，HuggingFace在涉及跨芯片类型的模型训练、微调等场景下，宜支持模型跨芯片训练的精度对比。3.2可靠性预训练模型平台可靠性保障，符合以下要求：应支持节点或通信不可用时，重调度新节点及配置集合通信，继续计算任务；应支持集群训练任务的断点续训支持自动检测隔离故障资源保存故障时的断点信（如checkpoint），从故障断点恢复训； GPUNPUCPU、7删除[Yuchao]:的删除[Yuchao]:支持通道解耦，容错控制仅依赖所检视资源的状态，避免多控制源；故障报告通道，检视通道和控制通道解耦；241千亿参数、万亿参数预训练模型负载的训练任务故障恢复时间不超过1小时。 分布式并行优化预训练模型平台分布式并行优化能力，符合以下要求：应支持多种异构硬件设备、软件设备，具备虚拟化等云化资源池的能力；应支持单机多卡、多机多卡环境下的多维混合分布式并行训练，包括但不限于数据并行、pipeline应支持单机多卡多机多卡环境下的分布式推理；应支持软硬件联合的高性能的数据加载和处理，如数据预读取、数据分片等。易用性预训练大模型平台的易用性保障，符合如下要求：应支持多种交互工具，包括但不限于命令行工具、SDK或者Web控制台使用平台服务；

删除[Yuchao]:应支持集群训练任务的断点续训，支持自动检测、隔离故障资源；保存故障时的断点信息（如checkpoint），从故障断点恢复训；删除[Mss]:；删除[Yuchao]:机资源池化删除[Yuchao]:应提供数据增强封装接口，支持通过接口配置数据增强策略；8应提供自动化并行封装接口； 应能提供可视化工具或套件满足以下要求：1）模型迭代信息溯源与可视化；2）模型训练等任务状态可视化；应提供自动化并行封装接口； 应能提供可视化工具或套件满足以下要求：1）模型迭代信息溯源与可视化；2）模型训练等任务状态可视化；宜提供数据增强封装接口，支持通过接口配置数据增强策略；宜提供推理训练服务组件，支持一键启动任务的单卡/多卡训练、微调、评估、推理流程；宜提供可视化的拖拽布局编程服务，组合各种数据源、组件、算法、模型和评估模块；宜支持多种可视化内容，包括：3D性能指标Linux/Mac/WindowsDocker运行、SDK或者Web控制台使用平台服务；设置格式[Yuchao]:段,缩进:左侧14.8毫米,首行缩进:0毫米,制表位:4字符,20字符,+44.28字符,右对齐,前导符:...+不在4.03字符,无项目符号或编号删除[Yuchao]:宜提供可视化的拖拽布局编程服务，组合各种数据源、组件、算法、模型和评估模块；评价预训练模型平台性能，在具体测试场景中，可通过如下指标衡量：模型预训练有效计算能力（单位：FPS\TPS\QPS）；推理时延、精度及吞吐率；指定预训练模型负载的训练任务稳定运行时间；指定预训练模型负载的训练精度收敛效率；在具体场景下性能指标的测试结果作为披露项体现在测试验证结果中作为服务能力成熟度评估的参考依据和补充。 模型开发定制

删除[Yuchao]:应提供自动化并行封装接口；删除[Yuchao]:任意删除[Yuchao]:应能提供可视化工具或套件满足以下要求：1）模型迭代信息溯源与可视化；2）模型训练状态可视化；删除[Mss]:人工智能服务器系统性能测试可遵循国家标准《人工智能服务器系统性能测试规范》[4]。数据能力数据接入模型开发定制的数据接入，符合如下要求：ftp、关系数据库、hdfs、hive、kafka；应对每个数据集进行版本标识，并记录数据的变更历史，以便追溯和回溯数据；应创建数据文档，记录数据的特征、标签、字段含义和数据预处理方法等信息；宜支持多源异构数据存储，如结构化数据与非结构化文本、图像、语音等数据的存储。数据处理数据处理，符合以下要求：应支持多种数据增强方式，提升数据多样性；监督微调阶段，包含如下要求：2应能根据任务需求，明确定义指令微调任务的标签信息；宜支持使用单轮和多轮对话指令数据；宜提供指令数据清洗方法，如去重，提升指令数据质量；宜提供数据加速处理引擎。

删除[Yuchao]:能力9模型生产定制能力模型生产定制能力模型设计预训练模型的设计，符合以下要求：应支持基础模型架构的设计，包括对模型图结构、模型中包含的基础算子进行设计；宜支持模型架构搜索，包含模型的基础架构（backbone）以及特殊结构等；宜支持对模型架构进行分块的设计；宜支持基于启发式的模型放缩扩展，如利用启发式模型放缩策略，缩小模型搜索空间；宜模型训练预训练模型的训练，符合如下要求：应支持多种模型切分策略，综合生成分布式并行训练策略；宜支持模型的版本控制和管理，确保在迭代训练中能够追溯和比较不同版本的模型性能。宜支持采用多种内存优化技术，包括但不限于：重计算技术，减少并行计算过程中内存占用；优化器状态分区、梯度分区和参数分区；混合精度训练；梯度累积；宜支持利用超参数优化等算法，完成自动化的参数调整；宜支持将相同源及目的节点通信算子打包同时执行，避免多个单算子执行带来的额外开销；f)宜提供可扩展的并行架构，能满足模型规模扩大的需求；g)宜支持动态学习率调整策略，能根据模型的表现和收敛情况调整学习率。

删除[Yuchao]:删除[Yuchao]:支持基础模型架构的设计，包括不限于对模型中包含的基础算子进行设计；删除[Yuchao]:模型设计提供候选网络结构搜索相适应的数据前处理和后处理的搜索功能，支持多目标的网络模型结构设计等；宜支持模型架构搜索，包含模型的基础架构（backbone）以及特殊结构等；删除[Mss]:设置格式[Mss]:制表位:不在4.03字符删除[Yuchao]:应删除[Mss]:；删除[Yuchao]:应支持模型的版本控制和管理，确保在迭代训练中能够追溯和比较不同版本的模型性能。设置格式[Mss]:字母编号列项（一级）,制表位:不在4.03字符,无项目符号或编号模型微调预训练模型微调，符合以下要求：应支持多种微调方式，如适配器微调、指令微调、持续学习、RLHF)应支持模型微调过程可视化，便于用户创建、查看、管理微调过程；d)应支持全量参数微调和部分参数微调技术；应提供微调任务模板及文档；e)Notebookf)f)应支持对微调后模型在下游任务中的自动化性能评测。模型压缩预训练模型的小型化，符合如下要求：应支持模型剪枝、模型量化、模型蒸馏等模型压缩与加速能力；应支持不同的模型剪裁方式，如基于幅度的剪枝、结构化剪枝和基于梯度的剪枝等；宜提供测试数据集和通用工具，定量评估小型化模型的性能损失；宜支持面向首字返回的量化，如量化子图融合、有效解码流式传输；

设置格式[Mss]:项目符号和编号删除[Mss]:删除[Mss]:。删除[Yuchao]:宜支持Notebook在线微调，微调时平台自动化分配所需物理资源；[Mss]:[Mss]:[Mss]:设置格式[Mss]:字体:（中文）宋体删除[Mss]:；删除[Yuchao]:应支持全量参数微调和部分参数微调技术，部分参数微调技术可节约微调资源和微调时间。10宜支持针对特定任务和资源限制条件相应进行定制优化；模型验证预训练模型的验证，符合如下要求：应支持模型效果评估，宜支持用户在线上传测试集进行效果评估并能生成评估报告；AUC/ROC、准确率、召回率等评估指标；宜支持提供模型评估中发现预测错误的用例，供用户优化模型；应提供面向预训练模型测试或使用基准（含数据集和验证指标），支持快速验证模型。模型部署预训练模型的部署，符合以下要求：应支持在分布式运行环境中部署，宜支持在云边和多云推理环境中部署；宜支持部署多种精度（FP16、INT8）的模型；宜支持在虚拟环境（如容器、虚拟机）部署；宜支持自定义推理逻辑接入分布式推理引擎；Batchsize宜支持与框架无关的模型部署；宜支持根据即根据不同的硬件环境和应用需求，选择运行效率最佳的的压缩模型版本；性能指标模型开发定制性能，在具体测试场景中，可通过如下指标评估：评价模型压缩效果，通过如下指标：压缩前后预模型规模，压缩前后内存需求优化量；在目标数据集上，模型压缩前后的性能损失；在目标数据集上，模型压缩前后的推理耗时变化量；模型微调效果，通过如下指标；预训练模型微调前后在数据集上的精度提升；预训练模型微调后参数变化量占总参数量的比例。模型推理及运营模型推理推理服务部署模型推理部署，符合如下要求：应支持物理部署和镜像部署服务，支持在服务下线后，通过镜像的方式快速启动；APISDK

删除[Yuchao]:模型推理设置格式[Yuchao]:编号+级别:4+编号样式:1,2,3,...+起始编号:1+对齐方式:左侧+对齐位置:0毫米+缩进位置:0毫米11应支持自动化构建，根据服务版本及依赖资源环境自动构建为容器镜像并发布部署；应支持服务与模型本身解耦，应支持配置文件与模型部署解耦，灵活进行模型效果更新；宜支持插拔式服务部署托管，支持进行模型定制组合；宜支持服务编排能力，支持模型动态可视化编排；宜支持支持模型服务间的顺序调用、条件判断、分支选择等配置功能。推理服务效率推理服务效率优化，符合如下要求：应支持统一集群部署、智能调度、资源调度策略配置管理等；应支持在正式上线前根据实际场景，进行自定义比例的灰度节点发布部署；

设置格式[Yuchao]:编号+级别:4+编号样式:1,2,3,...+起始编号:1+对齐方式:左侧+对齐位置:0毫米+缩进位置:0毫米6.3.

删除[Mss]:GPU、CPU、NPUToken（Token）GPU、CPU、NPUToken（Token）50ms；j)Token（Token）125ms；k)15s。1.3推理服务稳定性推理服务稳定性保障，符合如下要求：的功能，告警包括邮件/短信/微信等方式；删除[Mss]:；设置格式[Yuchao]:编号+级别:4+编号样式:1,2,3,...+起始编号:1+对齐方式:左侧+对齐位置:0毫米+缩进位置:0毫米删除[Yuchao]:CICI触发模型验证；宜支持现网实时拨测，拨测时间间隔可配置，主动探测生产环境服务是否存在异常能力。应用平台行业应用应用平台的行业应用，符合如下要求：

设置格式[Yuchao]:编号+级别:3+编号样式:1,2,3,...+起始编号:1+对齐方式:左侧+对齐位置:0毫米+缩进位置:0毫米设置格式[Yuchao]:编号+级别:4+编号样式:1,2,3,...+起始编号:1+对齐方式:左侧+对齐位置:0毫米+缩进位置:0毫米12应支持通用大模型或垂直领域模型的应用落地使用，例如：医疗、教育、金融、客服、政务、办公、工业、娱乐等；开发者发布垂直领域个性化插件；宜支持插件市场，便于插件分享和开放使用；宜支持开发者发布垂直领域个性化插件；宜支持插件市场，便于插件分享和开放使用；d)

删除[Yuchao]:宜支持开发者发布垂直领域个性化插件；应具备应用插件开放能力，e)宜支持大模型反作弊系统，支持黑白名单管理，支持对作弊用户进行封禁操作及对风险用户进行信息管理。2.2交互e)宜支持大模型反作弊系统，支持黑白名单管理，支持对作弊用户进行封禁操作及对风险用户进行信息管理。2.2交互应用应用平台的交互应用，符合如下要求：应支持用户在交互过程中，可以创建行业/用户个性化专属提示词库，并利用提示工程进行模板定制开发和优化；应支持用户提示词模板可视化管理，包括编辑、存储、调用、评估等；6.3.

设置格式[Mss]:制表位:不在4.03字符删除[Mss]:宜支持提示词库的共享；宜支持大模型交互快修，对大模型效果不佳的场景，快速准确的检测和修复用户输入/大模型输出的问题；prompt运营赋能数据回流数据回流符合如下要求：应支持在大模型运营中具备用户反馈通道，支持收集和处理用户的反馈；应支持数据回流的追溯在保障数据隐私信息前提下进行数据回流并持续用于模型优化对回流数据进行采集和分析，具备真实用户场景下的持续优化能力； 生态建设生态建设符合如下要求：应支持多维度进行大模型的数据运营，例如服务量运营、开发者运营、用户运营等；b)应支持在不同平台、环境间推理服务自动化迁移；

删除[Yuchao]:应用设置格式[Yuchao]:编号+级别:4+编号样式:1,2,3,...+起始编号:1+对齐方式:左侧+对齐位置:0毫米+缩进位置0毫米宜支持根据任务场景需求进行多个预训练模型的编排。删除[Yuchao]:宜支持根据任务场景需求进行多个预训练模型的编排。设置格式[Yuchao]:编号+级别:3+编号样式:1,2,3,...+起始编号:1+对齐方式:左侧+对齐位置:0毫米+缩进位置:0毫米设置格式[Yuchao]:编号+级别:4+编号样式:1,2,3,...+起始编号:1+对齐方式:左侧+对齐位置:0毫米+缩进位置:0毫米删除[Yuchao]:应支持在大模型运营中具备用户反馈通道，支持收集和处理用户的反馈；设置格式[Yuchao]:编号+级别:4+编号样式:1,2,3,...+起始编号:1+对齐方式:左侧+对齐位置:0毫米+缩进位置:0毫米宜支持闭源模型、加速库、数据集等资产托管；宜支持开源大模型管理和运营；宜支持面向预训练模型服务宜支持闭源模型、加速库、数据集等资产托管；宜支持开源大模型管理和运营；宜支持面向预训练模型服务各场景用户的大模型最佳实践、应用参考设计等在线展示；删除[Yuchao]:赋能活动，例如大模型主题培训、科博览、竞赛、科普课程、行业论坛等活动13e)宜支持面向高校学生的大模型应用开发促进计划科研创新使能计划等包括但不限于有可证的参与国内本科类院校、专科学校等人工智能人才培养的相关工作成果。 性能指标模型推理运营性能，在具体测试场景中，可通过如下指标评估：a)服务部署用时；Token；Token支持推理服务并发数。成熟度等级要求及判定概述预训练模型服务能力成熟度分为三级，使用成熟度评估时，应根据5.3.3节所述不同的服务及服务组合类型，确定不同的能力主域及权重，各个能力主域对应子域下的不同级别技术要求见7.2-7.4章节在具体场景下，性能指标的测试结果作为披露项，体现在测试验证结果中，作为服务能力成熟度评估的参考依据和补充。基础应用级基础应用级应具备使用预训练模型的能力，使用成熟度评估时，应根据5.3.3节所述不同的服务及服务组合类型，确定不同的能力主域及权重，能力主域内的能力子域技术要求应符合表5要求：每个能力域中能力子域权重相同且和为1；满足子域中全部技术要求，该子域为2分；不满足的技术要求项仅为1项时，该子域为1分；其他情况该子域为0分。各子域加权获得主域得分，不同的能力主域加权最后得到服务成熟度评估得分，成熟度评估得分于1分为基础应用级。

删除[Mss]:；删除[Yuchao]:宜支持开源大模型管理和运营。设置格式[Yuchao]:编号+级别:3+编号样式:1,2,3,...+起始编号:1+对齐方式:左侧+对齐位置:0毫米+缩进位置0删除[Yuchao]:设置格式[Yuchao]:段,制表位:20字符,44.28字符,右对齐,前导符:...+不在4+4.03字符,无项目符号或编号删除[Yuchao]:，删除[Yuchao]:不多于删除[Yuchao]:且不满足的技术要求项少于满足的技术要求项删除[Yuchao]:删除[Yuchao]:b删除[Yuchao]:d删除[Yuchao]:e表5应用级技术要求能力主域 能力子域 技术要求a），b），c）

删除[Yuchao]:e删除[Yuchao]:删除[Yuchao]:b软硬件平台

硬件能力软件及工具链能力

a）a）a），b）——a）-e）——a）

删除[Yuchao]:f删除[Yuchao]:删除[Yuchao]:h删除[Yuchao]:删除[Yuchao]:4删除[Yuchao]:b删除[Yuchao]:，c）14删除[Yuchao]:e能力主域

能力子域

技术要求

删除[Yuchao]:f平台综合能力数据能力

a），b）a），b）a）——a）

删除[Yuchao]:b删除[Yuchao]:c删除[Yuchao]:d删除[Yuchao]:b删除[Yuchao]:c删除[Yuchao]:e模型开发定制

模型生产定制模型推理

a），b）a），b）a），b），c）a），b）a），b）a），b）a），b），c）

删除[Yuchao]:——删除[Yuchao]:——删除[Yuchao]:——删除[Yuchao]:a）-f）删除[Yuchao]:a）-d）删除[Yuchao]:-

模型推理及运维协同优化级

应用平台运营赋能

a），b）a）a），b），c）a），b）a），b）

删除[Yuchao]:f删除[Yuchao]:a）-g）删除[Yuchao]:a）-f）删除[Yuchao]:a）-e）删除[Yuchao]:，b），c），d），f），g）删除[Yuchao]:c协同优化级应具备预训练模型微调和优化的能力，使用成熟度评估时，应根据5.3.3节所述不同的服务及服务组合类型，确定不同的能力主域及权重，能力域内的能力子域技术要求符合表6的要求：参与协同优化级成熟度评估的服务，对应各能力域的基础应用级评估都应达到满分2分。每个能力域中能力子域权重相同且和为3分不满足的技术要求项仅为1项，或较上一成熟度等级本子域新增技术要求不少于4项且不满足的技术要求为2项时，该子域为2.5分；其他情况该子域为2分。分为协同优化级。a），b），ca），b），c），d），e），f）硬件能力软硬件平台技术要求能力子域能力主域a），b），c），d）

删除[Yuchao]:f删除[Yuchao]:删除[Yuchao]:4删除[Yuchao]:，删除[Yuchao]:不多于术要删除[Yuchao]:删除[Yuchao]:3术要删除[Yuchao]:删除[Yuchao]:b15 删除[Yuchao]:d删除[Yuchao]:e删除[Yuchao]:e删除[Yuchao]:b删除[Yuchao]:c能力主域 能力子域 技术要求a），b），c），d）

删除[Yuchao]:，f）删除[Yuchao]:.1删除[Yuchao]:2.2软件及工具链能力

a），b），c），d）a），b）a）-h）a）-g）a）a）-d）a），b），c），d），e）

删除[Yuchao]:h删除[Yuchao]:基础删除[Yuchao]:2.3删除[Yuchao]:4删除[Yuchao]:b删除[Yuchao]:，c）模型开发定制

平台综合能力数据能力模型生产定制模型推理

a），b），c），d），e），g）a），b），c），d）a），b），c），d），e）a），b），c）a）a），b），c），d）a），b），c），d）a），b），c），d）a），b），c），d），e）a）-c）a），b），c），d），e）a），b），c），d）a），b），c），d），e）a），b），c）