THAS-人工智能公共算力平台服务规范

Q/LB.□XXXXX-XXXX引言随着人工智能大模型应用扩展，公共算力服务需求持续增长。不同建设与运营主体在平台分层划分、服务能力与操作要求等方面表述不一致，影响公共算力服务的规范供给、复用与检查。为统一人工智能公共算力服务平台的架构构成及服务、运维要求，支撑基于国产软硬件环境的公共算力服务实施，制定本文件。本文件规定人工智能公共算力服务平台的四层架构构成及各层要求，公共算力服务分类及交互式开发环境、数据管理、模型管理、模型训练、模型部署、文件管理、容器实例等服务能力的功能与性能要求，以及安全性要求与运维要求。本文件适用公共算力服务平台的建设、服务提供、运行维护及服务质量检查。其他开展同类人工智能算力服务的组织可参照使用。人工智能公共算力平台服务规范范围本文件规定人工智能公共算力服务平台的四层架构构成及各层要求，以及交互式开发环境、数据管理、模型管理、模型训练、模型部署、文件管理、容器实例等服务要求与运维管理要求。本文件适用公共算力服务平台的建设、服务提供、运行维护及服务质量检查。其他开展同类人工智能算力服务的组织可参照使用。规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T41867—2022信息技术人工智能术语术语和定义GB/T41867—2022界定的术语和定义适用于本文件。

公共算力服务依托公共算力基础设施，向算力用户提供资源调度、模型开发与训练、模型部署与推理和数据管理等服务。

公共算力服务平台实现公共算力服务的软硬件系统，由基础架构层、大模型训练与优化平台层、模型算子层和大模型服务层构成。

深度学习机器学习的重要分支之一，特指基于深层神经网络模型与方法机器学习技术，其本质是通过层级化的网络结构，利用反向传播算法驱动，自动完成从低层具体特征到高层抽象语义的特征表征学习；其数学本质则是一系列非线性变换的深度嵌套复合。

大模型使用大规模数据和强大的计算能力训练出来的“大参数”模型，具有高度的通用性和泛化能力，广泛应用于自然语言处理、图像识别、语音识别等领域，按处理的数据模态，可分为语言大模型、视觉大模型、多模态大模型等。

深度学习框架用于构建、训练和推理深度学习模型的软件框架，提供模型表达、算子及训练所需的基础能力。

人工智能模型经数据或经验确定参数后，能够根据输入产生识别、预测或决策输出的模型。本文件中的人工智能模型包括预训练模型、微调后的模型及用于推理部署的模型，不包括训练过程本身。机器学习模型的界定见GB/T41867—2022。

数据集一种由结构化或非结构化数据所组成的集合，用于训练、验证或测试人工智能模型。

容器在宿主操作系统上运行、与其他容器相互隔离的应用及其依赖的运行实例。容器由容器映像实例化产生。

容器映像包含运行应用所需代码、运行时、依赖和配置、创建后不可更改的打包单元。本文件所称镜像，指容器映像。

安全外壳协议一种加密的网络传输协议，可在不安全的网络中为网络服务提供安全的传输环境。SSH通过在网络中建立安全隧道实现SSH客户端与服务器之间的连接。SSH最常见用途是远程登录系统，人们通常利用SSH传输命令行界面和远程执行命令。

交互式开发环境一个Web应用程序，便于创建和共享程序文档，支持实时代码、数学方程、可视化和markdown。用途包括：数据清理和转换、数值模拟、统计建模、机器学习等。

智能体一种能自主感知、决策、执行动作以完成目标的智能执行单元，可调用工具、多体协同、持续迭代，是大模型落地复杂任务的核心形态。

模型上下文协议旨在实现大语言模型与外部数据源和工具的集成，用来在大模型和数据源之间建立安全双向的连接。该协议通过相同的协议同时处理本地资源（例如数据库、文件、服务等）和远程资源（例如Slack或GitHub等API）。

氛围编程一种由人工智能辅助的编程方式，以开发者向AI提出自然语言需求为核心流程，通过大型语言模型生成代码，在代码能运行时直接应用，出现问题时再通过自然语言反馈要求AI修改。

驾驭工程一种面向AI智能体的控制系统工程，通过构建约束、反馈、编排与校验机制，让大模型稳定可靠执行任务，不优化模型本身。

个人知识库一种私有化存储、专属维护的知识集合，支持检索调用与增量更新，为智能体提供个性化、私密化的知识支撑。缩略语下列缩略语适用于本文件。API：应用编程接口（ApplicationProgrammingInterface）DCU：深度计算单元（DeepComputingUnit）DL：深度学习（DeepLearning）GPGPU：通用图形处理器（General-purposecomputingongraphicsprocessingunits）IaaS：基础设施即服务（InfrastructureasaService）K8S：容器编排系统（Kubernetes）LLM：大语言模型（LargeLanguageModel）LM：大模型（LargeModel）MaaS：模型即服务（ModelasaService）MPI：消息传递接口（MessagePassingInterface）PaaS：平台即服务（PlatformasaService）PBS：高性能集群资源调度管理软件（PortableBatchSystem）SaaS：软件即服务（SoftwareasaService）SLURM：一个开源、容错、高可伸缩的集群资源管理和调度系统（SimpleLinuxUtilityforResourceManagement）SSH：安全外壳协议（SecureShellProtocol）公共算力服务平台框架模块构成公共算力服务平台通过分层架构实现，包括基础架构层、大模型训练与优化平台层、模型算子层和大模型服务层，见图1。公共算力服务平台框架公共算力服务平台中各层的构成模块包括：基础架构层：基于国产软硬件的人工智能算力中心提供的中央处理器、通用加速器、并行分布式存储和高速计算网络与高速存储网络。在通用加速器方面，具有单机多卡与多机多卡联合计算能力和卡间高速互联通信能力，并且支持多种量化方法，为上层提供基础算力支撑；大模型训练与优化平台层：通过集成深度学习框架作为基础平台，经人工智能编译优化、训练任务调度等，为上层模型算子层提供大模型训练与微调等相关技术；模型算子层：充分利用下层提供的基础算力设施和优化后的人工智能框架，提供高性能算子库与针对不同模型的调优算力库，为模型服务提供技术支撑；大模型服务层：依托算力基础设施、大模型训练与优化平台层和高性能算子，构建面向用户的模型训练、微调以及推理等服务。基础架构层基础架构层资源交互示意图见图2，基础架构层应符合下列要求：中央处理器应支持当前主流的并行化技术；加速器应支持F32、F16、INT16、INT8或INT4等量化技术；加速器应支持单机多卡及多机多卡并行计算；加速器应支持单机多卡高速互联；加速器内存宜不低于16GB；存储系统应支持并行分布式文件存储；支持高速计算网络和高速存储网络，计算网络带宽不低于200Gbps，存储网络带宽不低于100Gbps；支持资源利用率查询；支持健康状态监测；计算网络与存储网络应支持高速互连协议，带宽能力应满足。基础架构层资源交互示意图大模型训练与优化平台层大模型训练与优化平台层应符合下列要求：支持不低于三种深度学习框架，具有国产自主知识产权的框架不少于一种；支持模型并行技术；支持数据并行技术；支持流水线并行技术；支持任务并行技术；支持主流的人工智能编译优化技术；支持容错恢复技术；支持应用上述技术优化过的容器镜像；支持相关镜像的查询；支持相关镜像的拉取；支持用户构建新的镜像；支持镜像的管理；支持AI调度器服务的高可用等容错机制，避免单点故障；支持AI作业容错机制，作业失败时支持全部/部分任务重新调度/恢复；支持获取作业的运行异常/告警等信息；支持自动生成作业分析报告，按应用、账号、资源和队列等维度分析作业特征。模型算子层模型算子层应符合下列要求：支持不低于五种主流的开源语言大模型；支持主流的多模态大模型；支持主流深度学习模型算子，并提供算子清单、功能说明及安装使用说明；算子清单由服务提供方公布并保持可查询；支持加入新的移植或优化过的优秀算子；支持算子的在线查询；支持算子的简要性说明；支持算子的在线安装流程说明；支持算子的便携性安装；支持具备在线编程和开发集成化工具的镜像；支持通过安全远程访问方式连接已启动的容器实例。大模型服务层大模型服务层应符合下列要求：支持模型训练服务；支持模型预训练服务；支持模型微调服务；支持训练数据集的管理；支持模型的推理服务；支持并行化训练、预训练与微调；支持大模型推理服务的应用接入；支持不少于两种模式的在线开发服务；支持文件传输的安全性和完整性；宜支持数据集、模型等大文件快速传输以及断点续传；支持按AI作业状态查询，包括但不限于运行、排队、挂起和结束等状态；支持作业取消、挂起、恢复、重新排队等操作；支持查看作业日志和错误信息；支持多种作业类型的混合调度；支持作业计量记账；支持多视角作业统计展示；支持数据集管理功能；支持模型管理功能；支持模型训练参数设置功能；支持多环境管理功能；支持不低于两种模型部署方案；支持部署服务的更新、资源弹性伸缩；支持服务日志监控和管理。公共算力服务分类及要求服务分类公共算力服务面向用户应提供下列服务能力：交互式开发环境；数据管理；模型管理；模型训练；模型部署；文件管理；容器实例。上述能力应在身份鉴别与资源就绪后按下列环节实施：资源与环境准备，数据与模型准备，交互式开发或模型训练，模型登记与部署调用，资源释放。各能力的状态名称应一致，至少区分等待、部署、运行、完成、失败、停止。身份鉴别、数据保护与安全审计、运行监控、故障处理与用户支持应符合第七章。镜像的构建、查询、保存作为交互式开发环境及大模型训练与优化平台层的支撑能力，不单列为第八类服务。交互式开发环境功能要求交互式开发环境技术框架见图3，开发环境应满足下列功能要求：应支持选择加速器型号、加速器数量和开发镜像并创建实例；创建界面应显示当前可用的最大加速器数量；应校验参数与资源配额；校验不通过时应提示原因并终止本次创建；资源不足时实例应进入等待；资源就绪后应完成环境部署并进入运行；运行状态下应支持Web访问和安全远程访问；应提供不少于两种主流深度学习框架的预置运行环境，并提供可用于试用的模型运行环境；预置环境不能满足需求时，应支持使用平台提供的运行环境自行安装框架及加速计算运行时；应支持将运行中或已停止实例的环境保存为镜像，保存时填写镜像名称和标签；应支持创建镜像、查看已保存镜像，并在新建或重置实例时加载已保存镜像；用户停止或释放实例后，应回收计算资源。性能要求在资源满足配额且处于可分配状态时，从提交创建到实例可访问的时限应由服务提供方公布，并纳入服务质量检查。应支持按加速器型号和数量配置资源，单次可申请数量不超过当前可用最大值。交互式开发环境技术框架数据管理功能要求数据管理技术框架见图4，应满足下列功能要求：提供数据集创建功能，支持填写名称等基本信息；数据集来源应支持社区、文件管理空间和经鉴权的外部仓库；创建后应进行完整性校验，校验通过后方可管理和使用；提供数据集列表和详情，详情包括介绍、文件、来源和版本；支持在容器实例和训练任务中查看数据集并获取访问路径；支持数据集打包下载至本地，下载过程给出进度和完成确认，并保持数据结构；删除前应二次确认；删除后应释放对应存储空间；应支持同一数据集的多版本标识、说明和切换；外部仓库接入应提供操作说明。外部连接的安全要求应符合第7章。性能要求下载完成的数据集应与源数据在目录结构和文件完整性上一致。数据集进入可使用状态前应完成完整性校验。未通过校验的数据集不得用于训练或部署。数据管理技术框架模型管理功能要求人工智能平台模型管理技术框架见图5，模型管理应满足下列功能要求：提供模型创建功能，来源支持社区、文件管理空间和经鉴权的外部仓库；默认来源为社区；社区来源应支持检索选择，文件管理来源应支持直接选取，外部仓库应填写可访问地址；创建时名称、英文名称、使用区域为必填项；创建完成后应在模型列表中可见；提供详情，至少包括名称、英文名称、来源、使用区域、存储路径、更新时间、介绍和模型文件信息；文本类模型文件应支持查看；应保障模型文件完整且在授权范围内可访问；支持预先维护开发与部署所需的模型、镜像和配置信息，并在进入交互式开发或模型部署时带入；支持克隆，克隆时填写新名称、英文名称和区域，并复制生成新模型；支持下载至本地；下载应校验完整性。传输安全应符合第7章；支持在列表和详情中删除；删除前二次确认，删除后释放对应区域资源。性能要求带入开发或部署时，应使用已维护的模型标识、镜像标识和部署配置，不得要求用户重复填写已保存且未变更的必填项。下载完成后可核验文件完整性。核验失败时应提示原因，不得标记为下载成功。人工智能平台模型管理技术框架模型训练功能要求模型训练技术框架见图6，模型训练应满足下列功能要求：创建训练任务时应配置任务名称、代码路径、训练参数、工作空间、框架镜像、环境变量、任务类型和资源参数；任务名称应能唯一标识该任务；代码路径支持从平台文件空间选取或从本地上传；任务类型支持分布式与非分布式；分布式任务应可配置节点角色、节点数量及所用并行方式；资源参数包括处理器数量、加速器型号与数量、内存容量和超时限制；必填项或资源配置不通过校验时，提示原因并终止提交；通过后任务进入等待；获得资源后进入部署，部署完成后进入运行；运行过程应记录日志并监控资源使用；达到超时限制应自动终止并转为停止；用户取消后转为停止并释放资源；成功结束为完成，应保存结果和日志，并支持查看、下载和分析；失败时应给出失败原因，并支持重新提交；状态包括等待、部署、运行、停止、完成、失败。迁移关系为：等待至部署，部署至运行；运行结束后为完成、失败或停止。取消或超时由部署或运行进入停止。性能要求任务实际占用的处理器、加速器和内存不应超过用户申请值。超时终止应在达到所设时限后执行，并释放已占用的计算资源。运行中的日志应可按任务查询，失败任务应能关联到失败原因记录。模型训练技术框架模型部署功能要求人工智能平台模型训练技术框架见图7，模型部署应满足下列功能要求：支持一键部署和自定义创建。一键部署使用已配置推理参数的社区模型或个人模型；自定义创建由用户配置来源和推理参数；配置服务名称、加速器型号与数量、实例数、路由、挂载路径和环境变量。服务名称应唯一且创建后不可修改；加速器应区分国产加速器与通用加速器；挂载路径应支持个人存储、团队共享存储和共享中心存储；调度资源并创建容器化运行实例。状态至少反映部署中、运行中；部署完成后应提供容器内调试、在线测试，以及应用程序接口或Web两种访问方式；在线测试应支持读取、创建、更新、部分更新和删除等常用请求方法；支持查看历史版本、部署信息和运行记录，并支持回滚到指定历史版本；支持修改除服务名称以外的配置，并按需调整实例数量；提供运行日志、部署事件记录和运行历史；下线后应释放计算资源。可用性指标见第8章。性能要求日志即时展示范围应不少于10MB；超出部分支持按时间或任务检索。监控应包含处理器平均使用率、内存使用率、加速器平均使用率、加速器显存平均使用率、每分钟请求数、响应时间和调用失败次数与调用总次数。实例数量调整后，运行中的服务名称和已分配路由应保持不变。人工智能平台模型训练技术框架文件管理功能要求文件管理技术框架见图8，文件管理应满足下列功能要求：进入后应定位到用户主目录，并支持目录树展开和折叠；支持文件和文件夹的上传、下载、复制、移动、重命名和删除；上传宜支持拖拽；下载应支持多文件打包；小于2GB的文件应支持常规上传和下载；不小于2GB的文件应通过专用高速传输通道传输，该通道宜支持断点续传；传输失败时应提示原因；传输过程应校验完整性。安全要求应符合第7章；支持在个人目录下新建文件夹；文件名不应含空格，不宜使用中文；分享和重命名一次只处理一个文件，并给出成功或失败结果；下载遇到符号链接时应跳过该链接，并提示已跳过；跨域传输应先完成身份鉴别和授权，结束后确认结果。性能要求常规传输与高速传输的分界为2GB。小于2GB走常规通道，不小于2GB走高速通道。高速通道应可中断后续传。续传完成后的文件应通过完整性校验。下载打包后的目录结构应与源目录一致，被跳过的符号链接应在结果中列出。文件管理技术框架容器实例功能要求容器实例技术框架见图9，容器实例应满足下列功能要求：支持快速创建和自定义创建。快速创建配置资源和镜像；自定义创建配置任务类型、开发工具类型、开发镜像和加速器类型；创建时应按申请匹配资源。资源不足则等待，就绪后部署环境；状态包括等待、部署、运行、完成、失败、停止，并实时更新；运行状态下应提供安全远程访问。通道安全应符合第7章；记录运行状态和资源使用。达到超时限制应自动终止并释放计算资源；详情应包含任务名称、创建时间、区域、任务类型、环境配置、申请资源量和使用量。性能要求实例占用的处理器和加速器不应超过申请量。非运行状态不得提供远程访问。完成、失败或停止后释放计算资源，详情中仍可查询该次任务配置和用量记录。下载打包后的目录结构应与源目录一致，被跳过的符号链接应在结果中列出。容器实例技术框架运维管理身份鉴别与访问控制公共算力服务平台应满足下列要求：用户完成身份鉴别后，方可申请计算资源和存储空间；按角色分级授权，至少区分系统管理员、运维人员和普通用户；运维人员应具备资源监控、故障处理和环境维护权限，默认不具有用户业务数据访问权限；口令长度应不少于8位，并包含字母、数字和特殊字符；宜支持多因素鉴别；连续3次鉴别失败应锁定1小时；超过90天未登录的账号应停用或清理；运维人员临时访问用户数据应事先审批，并记录操作日志。数据安全与传输安全用户数据集、模型文件和任务日志应加密存储；管理访问和业务访问应采用安全传输协议；数据集、模型文件的上传、下载和跨域传输应校验完整性，失败时提示原因；外部仓库接入应鉴权，连接过程应可审计；用户任务数据默认留存90天，到期清理；用户可将留存期延长至180天。运行安全每月应对平台系统、容器映像和依赖组件进行漏洞扫描。高危漏洞应在发现后24小时内修复或采取等效缓解措施。防范暴力破解、拒绝服务和恶意占用算力，限制异常访问频率，并拦截挖矿、非法采集等恶意任务。远程开发访问和容器访问应使用安全通道，并限制越权访问。安全审计记录权限变更、故障处理、配置修改、账号登录和数据下载。审计日志留存应不少于1年，应防篡改，并支持按时间和操作者检索。运维要求运行监控监控范围与指标运行监控应满足下列要求：硬件资源监控：实时监测处理器使用率、内存占用、加速器使用率及显存占用、存储容量（系统盘、文件存储）和网络带宽（计算网络、存储网络）。加速器使用率持续5分钟不低于95%，或存储容量不低于90%时，应触发告警；服务能力监控：监控交互式开发环境、模型训练、模型部署和文件传输的响应时间、每分钟请求数和服务可用性。服务可用性应不低于99.9%；任务运行监控：跟踪模型训练、模型部署等任务的运行状态（等待、部署、运行、完成、失败）、资源消耗趋势和任务队列长度，并支持任务状态实时查询与异常预警。监控实施与处置监控实施与处置应满足下列要求：提供可视化监控界面，支持按区域、资源类型和服务能力筛选查看监控数据，并支持近1小时、24小时和7天的数据趋势查询与导出；支持电子邮件、短信和平台内消息三种告警方式。告警阈值与接收方式应可配置。运维人员收到严重告警后，应在15分钟内响应；集中采集容器日志、服务日志和任务运行日志，支持按关键词和时间范围检索，并对高频异常日志进行统计。故障管理故障分级与响应时限故障分级、响应时限和处理时限应符合表1。故障分级与响应时限故障级别故障描述响应时限处理时限一级（紧急）核心服务中断（如模型训练/部署服务不可用）、大面积资源故障（某区域80%以上加速卡不可用）≤15分钟≤2小时二级（重要）单个服务部分功能异常（如文件上传/下载速度异常）、局部资源故障（某区域20%～80%加速卡不可用）≤30分钟≤4小时三级（一般）单个用户任务失败、非核心功能异常（如日志查询缓慢）、单个资源故障（某区域≤20%加速卡不可用）≤1小时≤8小时故障处理流程故障处理应按下列步骤执行：发现：