TGCC 4003-2026 大模型训练公共算力服务计量技术要求_第1页
TGCC 4003-2026 大模型训练公共算力服务计量技术要求_第2页
TGCC 4003-2026 大模型训练公共算力服务计量技术要求_第3页
TGCC 4003-2026 大模型训练公共算力服务计量技术要求_第4页
TGCC 4003-2026 大模型训练公共算力服务计量技术要求_第5页
已阅读5页,还剩5页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

ICS35.200

CSSL60团体标准GCC4003—2026大模型训练公共算力服务计量技术要求Technicalrequirementsformeteringofpubliclargescalemodeltrainingcomputingservices2026-10-17发布 2026-10-17实施全球计算联盟发布T/GCC4003-2026版权保护文件版权所有归属于该标准的发布机构,除非有其他规定,否则未经许可,此发行物及其章节不得以其他形式或任何手段进行复制、再版或使用,包括电子版,影印件,或发布在互联网及内部网络等。使用许可可于发布机构获取。IT/GCC4003—2026目次目次.............................................................................II前言............................................................................III1范围................................................................................12规范性引用文件......................................................................13术语和定义..........................................................................14算力计量指标体系....................................................................14.1概述............................................................................14.2基础设施成本指标................................................................14.3算力执行计量指标................................................................25服务计量模式........................................................................35.1概述............................................................................35.2服务计量模式....................................................................36计量指标测试........................................................................46.1概述............................................................................46.2计量指标测试流程................................................................5参考文献..............................................................................6IIT/GCC4003-2026前言 本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定起草。本文件由全球计算联盟GCC提出并归口。本文件起草单位:华为技术有限公司、中国科学院自动化研究所、大连德泰超算科技有限公司、北京昇腾创新人工智能有限公司、智算云腾(成都)科技有限公司、西安未来产业城新基建发展有限公司、湖北省科技投资集团有限公司、北京神州鲲泰信息技术有限公司。 本文件主要起草人:张浩男、刘志飘、苏腾、周鲁、陈盈盈、宋贵哲、辛延魁、闫薪宇、韩丁炜、谢一明、刘畅、祁海平、赵哲、周伟、高洪福。IIIT/GCC4003-2026大模型训练公共算力服务计量技术要求1范围 本文件规定了大模型训练公共算力服务计量的算力计量指标体系、服务计量模式和计量指标测试的相关技术要求。本文件适用于大模型训练公共算力服务的服务能力评估与计量、计费和测试。2规范性引用文件本文件没有规范性引用文件。3术语和定义下列术语和定义适用于本文件。3.1

浮点运算次数floating-pointoperations;FLOPs

用于衡量计算机执行某项计算任务(如算法、模型、程序等)所需的浮点运算(如加、减、乘、除等)总量。3.2

每秒浮点运算次数floating-pointoperationspersecond;FLOPS计算机执行某项计算任务所实现的浮点运算速率。3.3

分布式并行策略distributedparallelstrategy

在分布式训练系统中,将训练任务的数据、模型参数、计算流程等进行划分并分配至多个计算节点,使各节点协同完成模型训练的技术方法总称。注:分布式并行策略主要包括数据并行、模型并行、流水线并行及其组合形式。3.4

运维事件operationevent

计算集群中可能导致服务中断、服务质量下降或资源可用性降低的事件。常见的运维事件可以包括硬件故障、软件异常、网络中断、资源过载、系统升级、服务切换等。4算力计量指标体系4.1概述大模型训练公共算力服务的计量指标应包含基础设施成本指标与算力执行计量指标。4.2基础设施成本指标基础设施成本指标见表1。表1计算基础设施成本的计量指标1T/GCC4003—2026编号计量指标计量基本单位相关描述1数量台算力服务集群中的计算设备数量,以服务器或AI加速卡为单位计量2单价人民币元算力服务集群中的计算设备单价,若集群为算力集群,则为平均设备单价3生命周期小时算力服务集群中的计算设备(平均)生命周期,即使用寿命4运维时间小时算力服务集群中单次运维事件解决所需的(平均)时间5运维周期小时平均两次运维事件发生间的时间间隔,由历史统计数据确定6运维投入人民币元/小时包含运维期间的资本支出(如人力投入),由历史服务统计数据确定7运维损失人民币元/小时包含运维期间的收益损失,由历史服务统计数据确定8计量时间小时用于计量计算基础设施成本的时间间隔4.3算力执行计量指标

算力执行计量指标应由算力基础设施所消耗资源、运行时间和计算任务复杂度等因素决定。算力基础设施所消耗资源、运行时间的相关计量指标见表2。大模型训练公共算力服务包含的多种服务配置参数可具有专有任务复杂度度量参数。计算任务复杂度度量的相关服务参数见表3。表2算力基础设施所消耗资源、运行时间的相关计量指标编号计量指标计量基本单位相关描述1AI加速器占用数卡执行计算任务占用的AI加速器(如GPU、NPU、TPU等)总最小数量2加速器显存容量占用字节计算任务的(平均)单AI加速卡显存占用量3运算总量次计算任务的浮点运算次数总量4峰值算力次数/秒执行计算任务时的单AI加速卡峰值每秒浮点运算次数5峰值带宽占用比特/秒执行计算任务时的单AI加速卡内或AI加速卡间所需的最大互联带宽6服务数据消耗量条执行计算任务所消耗的总Token数(由训练数据集确定)7服务运行时间秒计算任务从开始到结束的总耗时2T/GCC4003-20268服务运行电耗千瓦时计算任务执行过程中的算力集群资源(电力)开销表3计算任务复杂度度量的相关服务参数编号参数名称数据类型计算任务相关描述1基础模型结构枚举型:Dense/MoE模型所采用的模型架构2模型层数整型:如40、81模型总层数3模型头数整型:如16、32模型中的并行结构(称为头)数量4特征维度整型:如4096、8192模型中激活值所具有的特征维度5专家数二元整型数组:如[256,8]条件可选,当结构为MoE时,二元数组分别表示总专家数和单次推理的激活专家数6激活函数枚举型:如ReLU、SwiGLU模型所使用的非线性函数类型7优化器类型枚举型:如Adam、Muon模型训练时所使用的优化器类型8优化器参数多维数组可包含学习率、动量、权重衰减等参数9数据格式枚举型:如FP8、HiF4量化所使用的数据格式类型10分布式并行策略枚举型数组:包含PP、TP、DP所采用的分布式训练类型11模型参数量整型:如7、14单位为B,表示模型参数数量5服务计量模式5.1概述

服务计量模式由基础设施建设成本、服务过程中算力基础设施所消耗资源、运行时间的相关计量指标以及预期收益等因素确定。5.2服务计量模式

服务计量宜按照第6章规定的测试方法,获取相关计量指标,并采用表4规定的4种模式。a)按Token计量:以服务过程中处理的Token数量为计量单位。计量可按公式(2)计算: 𝐶=𝐸×𝑃×𝜌…………(2) 式中:

3T/GCC4003—2026E为服务过程中的有效Token消耗量;

P为单位Token定价,应由服务所对应的平均Token计算基础设施建设成本开销和平均Token服务执行计量确定。平均Token计算基础设施建设成本开销可通过计算集群生命周期推导单位时间计算基础设施建设成本,结合单位时间的平均Token处理数折算得出;平均Token服务执行计量由计算任务复杂度参数决定(如模型参数量越大,平均Token服务执行计量越高);ρ为预期收益率,应包含预期服务利润与成本之间的比例。b)按时长计量:以实际使用的算力资源时长为计量单位,单位片时的定价应由平均片时的计算基 础设施建设成本和大模型训练公共算力服务及其服务配置参数(即计算任务复杂度参数)确定;c)计算量计量:以服务过程中的实际计算执行次数计量,适用于服务具有较少或单一服务配置参 数的场景;

d)包年/包月计量:以固定周期和资源配置为计量单位,相比于按时长计量具有更长的运维周期, 单位片月的定价换算应低于按时长计量。大模型训练公共算力服务单位时间成本可按公式(2)计算:𝐶=𝐷+∑𝑛

𝑖=1(𝐻𝑖+𝐿𝑖)…………(2) 𝑇式中:

𝐶——单位时间的计算基础设施成本;

𝐷——单位时间内的设备折旧成本,应由表1中所述算力服务集群中的平均计算设备数量、单价和生命周期决定;

𝑛——单位时间内的运维事件次数,应由表1中所述运维周期决定;

𝐻𝑖——第𝑖次运维事件的资本支出,应由表1中所述运维时间和运维投入决定;

𝐿𝑖——第𝑖次运维事件导致的收益损失,应由表1中所述运维时间和运维损失决定;

𝑇——单位时间。其他成本相关指标可通过公式(2)计算结果推导得出。 对于大模型训练公共算力服务所具备的多种计算任务复杂度参数应独立确定算力基础设施所消耗资源、运行时间的相关计量指标。表4大模型训练公共算力服务计量模式编号服务计量模式计量单位说明1按TokenToken服务中的各种参数配置独立测算,由平均算力基础设施所消耗资源、运行时间的相关计量指标确定2按时长片时由计算基础设施建设成本确定3计算量FLOPs服务中的各种参数配置独立测算,由平均算力基础设施所消耗资源、运行时间的相关计量指标确定4包年/包月片月由计算基础设施建设成本确定,相比按时长具有更低的运维成本6计量指标测试6.1概述4T/GCC4003-2026计量指标测试适用于大模型训练公共算力服务上线前对第4章规定的计量指标进行测算和验证。6.2计量指标测试流程计量指标测试应按照以下步骤执行:

a) 环境准备:搭建符合特定大模型训练公共算力服务需求的基准训练环境,记录软件版本、硬件 配置等信息;

a) 预热阶段:根据大模型训练公共算力服务包含的多种服务配置参数进行服务进程初始化,执 行不少于特定步数的预热训练,排除计算任务初始化干扰和计算集群缓存预热的影响; 正式测试:执行不少于特定步数的正式训练,按周期(如训练步数、时间等)采样算力基础设b) 施所消耗资源、运行时间的相关计量指标数据,并保存运行日志;

c) 结果计

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论