分布式计算 算力度量方法

分布式计算算力度量方法Distributedcomputing—ComputingpowermeasurementmethodⅠ前言 Ⅲ1范围 12规范性引用文件 13术语和定义 14符号和缩略语 34.1符号 34.2缩略语 35概述 46算力度量参数 46.1算力度量参数分类 46.2数据处理 56.3数据存储 66.4数据传输 76.5协同计算 76.6动态计算 87分布式计算算力度量方法 97.1被度量设备初始值准备 97.2分布式计算设备算力度量方法 97.3分布式计算系统算力度量方法 12附录A(资料性)理论操作次数与智能计算操作数计算方法实例 14A.1理论操作次数计算方法 14A.2智能计算操作数计算方法 14附录B(资料性)动态计算特征与协同计算初始资源信息测试流程 18B.1动态计算特征测试流程 18B.2协同计算初始资源信息测试流程 19附录C(资料性)AHP评价方法 20附录D(资料性)分布式计算算力度量方法实例 21D.1设备静态算力度量方法 21D.2系统静态算力度量方法 22参考文献 24Ⅲ本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。本文件起草单位:北京信息科技大学、中国电子技术标准化研究院、清华大学、南方电网数字电网集团有限公司、浙江大华技术股份有限公司、超越科技股份有限公司、深圳市艾宝科技有限公司、南京百敖软件有限公司、中移(杭州)信息技术有限公司、曙光信息产业(北京)有限公司、山东省计算中心(国家超级计算济南中心)、咪咕文化科技有限公司、浪潮电子信息产业股份有限公司、南京大学、中南大学、新云网科技集团股份有限公司、北京天云融创软件技术有限公司、蚂蚁集团股份有限公司、浙江永基智能科技有限公司、中国工业互联网研究院、北京东土科技股份有限公司、亚信科技(中国)有限公司、天翼云科技有限公司、中研益企(北京)信息技术研究院有限公司、广东汉为信息技术有限公司、桂林电子科技大学、曙光信息产业(河南)有限公司、北京联创信安科技股份有限公司、国防科技大学、上饶师范学院、新华三技术有限公司、中兵长智科技有限责任公司、北京邮电大学、上海传英信息技术有限公司、中国联合网络通信有限公司、合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)、北京尊冠科技有限公司、长沙景嘉微电子股份有限公司、中科寒武纪科技股份有限公司、北京乐讯科技有限公司、江苏博云科技股份有限公司、中国电信股份有限公司宁夏分公司。雍旭龙。1分布式计算算力度量方法1范围本文件描述了分布式计算的算力度量参数和度量方法。本文件适用于分布式计算的算力度量。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。GB/T2887—2011计算机场地通用规范GB/T47502—2026分布式计算计算设备技术要求3术语和定义下列术语和定义适用于本文件。智能计算intelligentcomputing具有计算密集、数据驱动、基于模型等特征,采用新一代架构体系和/或计算方法的一类计算技术。注1:模型主要指人工智能模型;新一代架构体系包括算力互联互通、存算一体等;新一代计算方法包括类脑计算光电计算、生物计算等。注2:智能计算具有两个方面的含义:一是计算依靠智能,即利用智能技术增强计算的能力和效果;二是计算为了智能,即通过计算来实现智能化应用,以解决复杂问题。[来源:GB/T46572—2025,3.1]3.2算力computingpower;computingforce;computility对信息进行综合处理的能力。[来源:GB/T46572—2025,3.2]3.3提供算力的软硬件及网络设施。3.4计算单元computingunit由处理器和内存构成的算力资源。[来源:GB/T47502—2026,3.1]3.5存储单元storageunit由持久存储设施构成的算力资源。2[来源:GB/T47502—2026,3.2]3.6通信单元communicationunit由网络设施构成的算力资源。[来源:GB/T47502—2026,3.3]3.7对计算设备或计算系统综合数据处理能力进行量化评估的规则。3.8计算设备computingdevice在分布式计算环境中,能提供数据处理功能、数据存储功能、数据传输功能,且能与其他分布式计算节点协同的软硬一体化设备。注:在不引起混淆的情况下,本文件中的“计算设备”简称“设备”。[来源:GB/T47502—2026,3.7]3.9分布式计算distributedcomputing将计算任务或数据分散到多个计算设备上进行协同处理的计算模式。[来源:GB/T47502—2026,3.8]分布式计算系统distributedcomputingsystem将数据和相关的计算处理分布在两个或更多设备并能调度的信息系统。[来源:GB/T47502—2026,3.9]专用计算单元domain-specificcomputingunit能执行特定计算任务,实现特定功能目的(例如神经网络训练、神经网络推理、高性能科学计算、图形处理、编解码等)的计算单元。[来源:GB/T47502—2026,3.11]完全明确的算术运算动作,该动作作用于几个已知对象的任何许可组合时,产生一个新对象。协同计算特征coordinationcomputingfeature计算设备与分布式系统中其他计算设备配合,参与完成分布式计算任务的特征。数据处理特征dataprocessingfeature计算单元加工数据、产生特定结果的特征。数据存储特征datastoragefeature存储单元存储和读写数据和保持数据不易失的特征。数据传输特征datatransmissionfeature通信单元发送和接收数据的特征。3执行时间executiontime从任务提交到任务完成所经历的时间。注1:如果任务是批作业,则执行时间是完成此作业所经历的时间。如果任务是交互式的,则执行时间为任务响应时间(从提交开始至完成响应)。注2:对执行时间开始和结束的界定(因而对测量和评级),并不取决于任务模式。对于可能随后的一项任务的“不等待”(NOWAIT)模式,通过GB/T30975—2014描述的方法来解决,其执行时间可以与同一模拟用户的后续任务的一个或不止一个准备和执行时间重叠。[来源:GB/T30975—2014,4.7]4符号和缩略语4.1符号下列符号适用于本文件。COPS:协同计算性能度量值。α:第i个设备的第k类资源的参数值。Ev:分布式计算系统二级参数算力度量向量。Hk:第k类二级度量参数所包含的信息熵。n:所有资源类别总数。OP:任务从开始执行到执行结束时所做的理论操作次数。OPi:设备i中的任务从开始执行到执行结束时所做的理论操作次数。OPS:动态计算性能度量值。R:分布式计算系统算力度量值。Ri:分布式计算设备算力度量值。Rv:分布式计算系统一级参数初始资源信息v的度量向量。R:序列号为i的设备的一级参数初始资源信息v度量值。T:任务从开始执行到执行结束时所用的时间。Tc:分布式计算任务从开始执行到执行结束时所使用时间的最大值。wk:第k类二级度量参数参与一级参数初始资源信息度量值计算时的权重。wv:一级参数初始资源信息权重。X:设备算力一级参数初始资源信息v的二级度量参数向量,i表示设备序列号。Y:二级无量纲算力参数度量向量。α:第i个设备的第k类资源的无量纲算力度量参数。 αk:第k类资源平均值。σk:第k类资源标准差。∑ia:第k类资源求和。4.2缩略语下列缩略语适用于本文件。AHP:层次分析法(AnalyticHierarchyProcess)CPU:中央处理器(CentralProcessingUnit)GPU:图形处理器(GraphicsProcessingUnit)IOPS:每秒输入输出量(Input/0utputoperationsPerSecond)4ReLU:整流线性单元(RectifiedLinearUnit)SoC:系统级芯片(SystemonChip)5概述分布式计算设备与系统的总体算力(以下简称“算力”)特征,主要表现在数据处理、数据存储、数据传输、协同计算以及动态计算等五类。本文件基于这五类特征进一步展开,为分布式计算设备与系统提供静态算力度量方法及动态(运行时)算力度量方法。示例:在数据中心场景中,分布式计算系统由高性能服务器和高速网络交换机组成,服务器之间通过有线网络高速互联。6算力度量参数6.1算力度量参数分类五类算力特征的算力度量参数如表1所示。本文件仅规定到二级参数,如某些参数需进行细分,可视情况处理。表1算力度量参数算力特征一级参数二级参数数据处理初始资源信息计算单元个数、计算单元核心数、计算单元频率计算单元每秒整型运算次数峰值、计算单元每秒浮点运算次数峰值单元每秒哈希运算次数均值延迟算单元内存容量、专用计算单元内存主频、专用计算单元内存带宽、专用计总线位宽资源占用状态率、专用计算单元内存带宽占用率数据存储初始资源信息随机读写理论速度值资源占用状态存储空间占用率、存储单元的IOPS、存储单元读写带宽占用率、存储单元当前顺序读写速度值、存储单元当前随机读写速度值数据传输初始资源信息网络带宽、网络时延、虚拟网络速率、每秒接收发送数据量、发送队列长度资源占用状态当前带宽利用率、当前数据传输延迟协同计算初始资源信息协同计算性能度量值资源占用状态在线/离线状态;忙碌/空闲状态;资源占用状态动态计算动态计算性能度量值56.2数据处理6.2.1数据处理初始资源信息数据处理初始资源信息包含计算配置、计算能力峰值、计算能力均值、缓存能力和内存性能等。6.2.1.2计算配置计算配置包含计算单元个数、计算单元核心数、计算单元频率。计算配置通过执行操作系统命令,从操作系统的输出数据中获取计算单元体系架构信息,输出计算单元状态参数数值。6.2.1.3计算能力峰值计算能力峰值包括:a)计算单元每秒整型运算次数峰值(例如:计算单元每秒32位整型运算次数峰值、计算单元每秒64位整型运算次数峰值等);b)计算单元每秒浮点运算次数峰值(例如:计算单元每秒32位浮点运算次数峰值、计算单元每秒64位浮点运算次数峰值等)。计算能力峰值通过产品规范或随机文档获取,或者通过执行业界常用的基准测试工具获得。6.2.1.4计算能力均值计算能力均值包括:a)计算单元每秒整型运算次数均值(例如:计算单元每秒32位整型运算次数均值、计算单元每秒64位整型运算次数均值等);b)计算单元每秒浮点运算次数均值(例如:计算单元每秒32位浮点运算次数均值、计算单元每秒64位浮点运算次数均值等);c)计算单元每秒哈希运算次数均值。计算能力均值通过执行业界常用的基准测试工具获取。6.2.1.5缓存能力缓存能力包括:a)计算单元高速缓存容量(例如:CPUL1高速缓存容量、CPUL2高速缓存容量、CPUL3高速缓存容量、GPU高速缓存容量等);b)计算单元高速缓存带宽(例如:CPUL1高速缓存带宽、CPUL2高速缓存带宽、CPUL3高速缓存带宽、GPU高速缓存带宽等);c)计算单元高速缓存访问延迟(例如:CPUL1高速缓存访问延迟、CPUL2高速缓存访问延迟、CPUL3高速缓存访问延迟、GPU高速缓存访问延迟等)。缓存能力通过产品规范或随机文档获取,或者通过执行操作系统命令获得。6.2.1.6内存性能内存性能包括:a)内存容量;b)内存主频;6c)内存带宽;d)内存位宽;e)内存通道数;f)内存延迟;g)专用计算单元内存容量;h)专用计算单元内存主频;i)专用计算单元内存带宽;j)专用计算单元内存位宽;k)专用计算单元内存延迟;l)总线程数;m)总线速度;n)总线带宽;o)总线位宽。内存性能通过产品规范或随机文档获取,或者通过执行操作系统内存信息监控命令获取。6.2.2数据处理资源占用状态数据处理资源占用状态包括:a)计算单元占用率;b)内存占用率;c)专用计算单元内存占用率;d)内存带宽占用率;e)专用计算单元内存带宽占用率。数据处理资源占用状态通过执行操作系统信息监控命令获取。6.3数据存储6.3.1数据存储初始资源信息数据存储初始资源信息包括:a)存储单元容量;b)读写带宽;c)存储单元的理论吞吐量;d)顺序读写理论速度值;e)随机读写理论速度值。数据存储初始资源信息通过操作系统命令或产品规范获取。6.3.2数据存储资源占用状态数据存储资源占用状态包括:a)存储空间占用率;b)存储单元的IOPS;c)存储单元读写带宽占用率;d)存储单元当前顺序读写速度值;e)存储单元当前随机读写速度值。数据存储资源占用状态可从设备接口处获取。76.4数据传输6.4.1数据传输初始资源信息数据传输初始资源信息包括:a)网络带宽;b)网络时延;c)虚拟网络速率;d)每秒接收发送数据量;e)发送队列长度。数据传输初始资源信息通过原厂配置信息或操作系统命令获取,或者通过执行业界常用的测试工具获取。6.4.2数据传输资源占用状态数据传输资源占用状态包括:a)当前带宽利用率;b)当前数据传输延迟。数据传输资源占用状态通过执行业界常用的测试工具获取。6.5协同计算6.5.1协同计算初始资源信息6.5.1.1协同计算性能度量值协同计算性能度量值COPS按公式(1)给出的方法计算。COPS……(1)式中:OPi—设备i中的任务从开始执行到执行结束时所做的理论操作次数,理论操作次数计算见附录A的A.1;Tc—分布式计算任务从开始执行到执行结束时所使用时间的最大值。示例:在设备的任务执行代码中嵌入操作计数程序,在任务执行过程中统计各类计算操作的发生次数,以此获取理论操作次数OPi;通过分布式计算系统中内置的任务调度与监控模块获取任务从启动到完成的时间跨度,从而得到任务执行时间Tc。6.5.1.2设备协同计算度量配置要求设备协同计算度量配置要求如下:a)被度量设备应符合6.6.2中的所有要求;b)被度量设备应至少可执行一种分布式协调与同步算法。示例:在分布式机器学习训练中,可使用联邦学习中的FedAvg算法作为基准测试程序。6.5.1.3协同计算度量方法协同计算度量方法如下,测试流程见附录B的B.2:a)计算被度量设备中的分布式基准程序的理论操作次数,理论操作次数计算见A.1;8b)执行分布式基准程序,记录被度量设备的执行时间;c)利用6.5.1.1中方法计算被度量设备的协同计算性能度量值;d)返回被度量设备的协同计算性能度量值。6.5.2协同计算资源占用状态协同计算资源占用状态包括:a)在线/离线状态;注1:调用分布式感知程序,返回系统内设备在线或离线状态。b)忙碌/空闲状态;注2:调用分布式感知程序,返回系统内设备繁忙状态。c)资源占用状态。注3:系统内所有设备的数据处理、数据存储、数据传输的资源占用状态按6.2.2、6.3.2、6.4.2的方法获取。6.6动态计算6.6.1动态计算性能度量值动态计算是指在真实环境中通过运行典型应用场景下基准测试程序来评估分布式计算设备的综合性能表现,动态计算性能度量值OPS按公式(2)给出的方法计算。OPS……(2)式中:OP—任务从开始执行到执行结束时所做的理论操作次数;T—任务从开始执行到执行结束时所用的时间。6.6.2设备动态计算度量配置要求设备动态计算度量配置要求如下。a)被度量设备应符合GB/T47502—2026中的相关设备要求。b)所有被度量设备应安装同一版本的操作系统,并使用相同版本的软件栈(如编程语言、编译器、驱动程序等)。c)被度量设备应至少具备一种专用计算功能:1)加解密;2)光线追踪;3)矩阵浮点乘法;4)图形渲染;5)智能计算任务。注:智能计算任务操作数计算见A.2。d)所有被度量设备应选择相同的专用计算任务作为基准程序执行。e)被度量设备应具备下列至少1种数据精度执行基准程序:1)4位整型(INT4);2)8位整型(INT8);3)16位整型(INT16);4)32位整型(INT32);5)64位整型(INT64);6)8位浮点型(FP8);97)16位浮点型(FP16);8)32位浮点型(FP32);9)64位浮点型(FP64);10)16位脑浮点型(BF16);11)32位张量浮点型(TF32);12)混合精度。f)所有被度量设备应选择相同的数据精度执行基准程序。6.6.3动态计算度量方法动态计算度量方法如下,测试流程见B.1:a)计算基准程序理论操作次数,理论操作次数计算见A.1;b)执行基准程序,记录执行时间;c)利用6.6.1中方法计算设备动态计算性能度量值;d)返回设备动态计算性能度量值。7分布式计算算力度量方法7.1被度量设备初始值准备7.1.1环境条件被度量设备在进行度量时温度、湿度环境条件应符合GB/T2887—2011中5.6.1的要求。7.1.2被度量设备初始值准备要求被度量设备初始资源信息获取要求如下。b)模型、数据集的选定由用户与被度量方按应用场景协商确定。c)对设备内待测模型进行处理(例如:模型量化、模型转换等)。d)被度量设备提供必要接口的实现,供度量程序调用(例如,远程读/写/执行等原语命令、初始e)被度量设备至少符合下列一条要求:1)被度量设备为SoC的,度量程序部署在SoC上;2)被度量设备为板卡的,将板卡挂载到主机,度量程序部署在主机上;3)被度量设备为服务器的,度量程序部署在服务器主机上;4)被度量设备为云服务的,度量程序部署在云主机上。7.2分布式计算设备算力度量方法7.2.1静态算力度量方法分布式计算环境下单个设备除操作系统外无任何执行程序时,设备算力可通过对设备各项初始资源信息参数进行熵值法定权、进而加权求和的方法进行度量,具体度量方法如下。a)对设备的数据处理特征、数据存储特征、数据传输特征、动态计算特征下的一级参数初始资源信息v,利用AHP(见附录C)确定参数权重wv。b)对设备的数据处理特征、数据存储特征、数据传输特征、动态计算特征下的一级参数初始资源信息v,收集各设备的初始资源信息二级参数,按6.6.3的方法收集设备的动态计算特征,按公10式(3)给出的方法形成二级度量参数向量Xv。式中:X={ai1,ai2,…,ain}……(3)i—设备序列号;X—设备算力一级参数初始资源信息v的二级度量参数向量。c)运用临界值法对二级度量参数向量的参数值进行无量纲化处理,按公式(4)给出的方法计算。(4)式中:α—第i个设备的第k类资源的无量纲算力度量参数;a—第i个设备的第k类资源的参数值;αk—第k类资源平均值;σk—第k类资源标准差;—第k类资源求和。d)计算每一参数值的信息熵,按公式(5)给出的方法计算。根据信息熵确定各参数的权重,按公式(6)给出的方法计算。k(5)k(6)式中:Hk—第k类二级度量参数所包含的信息熵;wk—第k类二级度量参数参与一级参数初始资源信息度量值计算时的权重;n—所有资源类别总数。e)按公式(7)对每一设备的各项无量纲参数值进行加权求和,得到各设备一级参数初始资源信息v度量值。Rivwkαik……(7)式中:R—序列号为i的设备的一级参数初始资源信息v度量值。f)结合a)中所确定的一级参数初始资源信息权重,按公式(8)计算设备静态算力度量值,用于系统内设备算力比较。RivR……(8)v式中:wv—一级参数初始资源信息权重;Ri—分布式计算设备算力度量值。分布式计算设备静态算力度量方法实例见附录D的D.1。117.2.2动态算力度量方法分布式计算环境下单个设备存在执行程序时,设备算力可通过对设备各项动态算力度量参数进行熵值法定权,进而加权求和的方法进行度量。具体度量方法如下。a)按6.2.2、6.3.2、6.4.2中给出的方法收集设备的数据处理特征、数据存储特征、数据传输特征资源占用状态,按表2给出的方法计算设备资源剩余量。表2设备资源剩余量计算方法名称计算方法计算单元每秒整型运算次数峰值剩余量计算单元每秒整型运算次数峰值×(1-计算单元占用率)计算单元每秒浮点运算次数峰值剩余量计算单元每秒浮点运算次数峰值×(1-计算单元占用率)计算单元每秒整型运算次数均值剩余量计算单元每秒整型运算次数均值×(1-计算单元占用率)计算单元每秒浮点运算次数均值剩余量计算单元每秒浮点运算次数均值×(1-计算单元占用率)计算单元每秒哈希运算次数均值剩余量计算单元每秒哈希运算次数均值×(1-计算单元占用率)内存容量剩余量内存容量×(1-内存占用率)内存带宽剩余量内存带宽×(1-内存带宽占用率)专用计算单元内存容量剩余量专用计算单元内存容量×(1-专用计算单元内存占用率)专用计算单元内存带宽剩余量专用计算单元内存带宽×(1-专用计算单元内存带宽占用率)存储单元容量剩余量存储单元容量×(1-存储空间占用率)读写带宽剩余量读写带宽×(1-读写带宽占用率)顺序读写速度剩余量顺序读写理论读写速度值-存储单元当前顺序读写速度值随机读写速度剩余量随机读写理论速度值-存储单元当前随机读写速度值存储单元的理论吞吐量剩余量存储单元的理论吞吐量-存储单元的IOPS网络带宽剩余量网络带宽×(1-当前带宽利用率)b)收集表3中对应的设备动态算力度量二征,按公式(3)给出的方法形成二级度量参数向量Xv。表3设备动态算力度量参数一级参数二级参数数据处理计算单元个数、计算单元核心数、计算单元频率计算单元每秒整型运算次数均值剩余量、计算单元每秒浮点运算次数均值剩余量、计算单元每秒哈希运算次数均值剩余量计算单元每秒整型运算次数均值剩余量、计算单元每秒浮点运算次数均值剩余量、计算单元每秒哈希运算次数均值剩余量计算单元高速缓存容量、计算单元高速缓存带宽内存容量剩余量、内存主频、内存带宽剩余量、内存位宽、内存通道数;专用计算单元内存容量剩余量、专用计算单元内存主频、专用计算单元内存带宽剩余量、专用计算单元内存位宽12表3设备动态算力度量参数(续)一级参数二级参数数据存储存储单元容量剩余量、读写带宽剩余量、存储单元的理论吞吐量剩余量、顺序读写速度剩余量、随机读写速度剩余量数据传输网络带宽剩余量、当前网络延迟、虚拟网络能力、每秒接收发送数据量、发送队列长度c)执行7.2.1中c)~e),获得各设备一级参数初始资源信息R度量值。d)结合7.2.1中a)所确定的一级参数初始资源信息权重wv,按公式(8)计算设备动态算力度量值Ri,用于系统内设备算力比较。7.3分布式计算系统算力度量方法7.3.1静态算力度量方法分布式计算环境下,由多台设备组成的分布式计算系统内除操作系统外无任何执行程序时,系统静态算力可通过对系统内所有设备的各项初始资源信息参数累加进行AHP定权,进而加权求和的方法进行度量。具体度量方法如下。a)针对数据处理特征、数据存储特征、数据传输特征下的一级参数初始资源信息v,利用AHP确定一级参数权重wv。b)对于a)中的每个一级参数初始资源信息vj,利用AHP确定其初始资源信息二级参数权重w;收集各设备的初始资源信息二级参数,按公式(3)给出的方法形成二级度量参数向量Xv。算,得到二级无量纲算力参数度量向量Y={α,α,...,α}。d)对每个设备的数据处理、数据存储以及数据传输特征参数的Y求和,按公式(9)给出的方法计算。c)运用临界值法对二级度量参数向算,得到二级无量纲算力参数度量向量Y={α,α,...,α}。d)对每个设备的数据处理、数据存储以及数据传输特征参数的Y求和,按公式(9)给出的方法计算。Ev……(9)式中:Ev—分布式计算系统二级参数算力度量向量。e)结合b)中所确定的二级参数权重w,按公式(10)对Ev的各项二级参数算力度量值进行加权求和,得到一级参数初始资源信息v的度量值。Rv……(10)式中:j—第j项参数;Rv—分布式计算系统一级参数初始资源信v息的度量向量。f)将协同计算特征初始资源信息参数追加到Rv中,结合a)中所确定的一级参数初始资源信息权重wv,按公式(11)计算分布式计算系统静态算力度量值。在6.5.1.2与6.6.2中的度量条件相同情况下,用于分布式计算系统的算力比较。RRvwv……(11)式中:R—分布式计算系统算力度量值。分布式计算系统静态算力度量方法实例见D.2。137.3.2动态算力度量方法分布式计算系统内存在执行程序时,系统动态算力可通过对系统内设备的各项运行时算力度量参数累加进行AHP定权,进而加权求和的方法进行度量。具体度量方法如下:a)执行7.2.2中a),并收集表3中对应的设备运行时算力度量二级参数,按6.5.1.3中的方法收集协同计算初始资源信息,按公式(3)给出的方法形成二级度量参数向量Xv;b)执行7.3.1中c)~d),结合7.3.1中b)所确定的二级参数权重,按公式(10)得到一级参数初始资源信息v的度量向量Rv;c)将协同计算初始资源信息参数追加到Rv中,结合7.3.1中a)所确定的一级参数初始资源信息权重wv,按公式(11)计算分布式计算系统动态算力度量值R。在6.5.1.2与6.6.2中的度量条件相同情况下,用于分布式计算系统的算力比较。14附录A(资料性)理论操作次数与智能计算操作数计算方法实例A.1理论操作次数计算方法理论操作次数计算方法如下:a)使用常用编程语言(如C、python)实现算法;b)使用代码静态分析工具(如C的clang工具、python的ast模块)将a)中实现的代码翻译为抽象语法树(abstractsyntaxtree);c)使用深度优先遍历抽象语法树,计算a)中实现的程序运行至结束的最大操作次数或期望操作次数;d)返回遍历结果。A.2智能计算操作数计算方法A.2.1卷积层操作数前向传播卷积层操作数CL按公式(A.1)给出的方法计算。CL=K×K×Ci×Ho×Wo×Co……(A.1)式中:K—卷积核大小;Ci—第i层输入通道数;Ho—输出高度;Wo—输出宽度;Co—输出通道数。A.2.2全连接层操作数前向传播全连接层操作数DL按公式(A.2)给出的方法计算。DL=Ci×CoA.2.3归一化层操作数前向传播归一化层操作数BN按公式(A.3)给出的方法计算。BN=Hi×Wi×Ci式中:Hi—第i层输入高度;Wi—第i层输入宽度。A.2.4ReLU层操作数前向传播ReLU层操作数ReLU按公式(A.4)给出的方法计算。ReLU=Ho×Wo×CoA.2.5最大池化层操作数前向传播最大池化层操作数MP按公式(A.5)给出的方法计算。………………(A.2)(A.3)(A.4)15MP=K×K×Ho×Wo×CoA.2.6全局池化层操作数前向传播全局池化层操作数GP按公式(A.6)给出的方法计算。GP=Hi×Wi×Ci…………(A.5)(A.6)A.2.7矩阵乘法层操作数矩阵A和矩阵B的矩阵乘法操作数MatMul按公式(A.7)给出的方法计算。MatMul=H×L×H×W……(A.7)式中:H—矩阵A的行数;W—矩阵A的列数或者矩阵B的行数;L—矩阵B的列数。A.2.8矩阵哈达玛积操作数矩阵哈达玛积操作数Mul按公式(A.8)给出的方法计算。Mul=(H×W)/2……(A.8)式中:H—矩阵的行数;W—矩阵的列数。A.2.9嵌入层操作数前向传播嵌入层操作数Embed按公式(A.9)给出的方法计算。Embed=nctx×nvocab×dmodel……(A.9)式中:nctx—上下文/序列的长度;nvocab—词表中的token数量;dmodel—残差流的维度。A.2.10自注意力层QKV操作数前向传播自注意力层QKV操作数Aqkv按公式(A.10)给出的方法计算。Aqkv=3×nlayer×dmodel×(dkeys×nheads)……(A.10)式中:nlayer—自注意力层数;dkeys—键、查询和值投影维度;nheads—自注意力层中注意力头的个数。A.2.11自注意力层Mask操作数前向传播自注意力层Mask操作数Amask按公式(A.11)给出的方法计算。Amask=nlayer×nctx×dkeys×nheads……(A.11)A.2.12自注意力层Project操作数前向传播自注意力层Project操作数Aproject按公式(A.12)给出的方法计算。16(A.12)Aproject=nlayer×dkeys×nheads×dmodel……………(A.12)A.2.13Feedforward层操作数前向传播Feedforward层操作数Feedfw按公式(A.13)给出的方法计算。(A.13)Feedfw=2×nlayer×dmodel×dff……………(A.13)式中:dff—第一个线性层输出维度的大小。A.2.14去嵌入层操作数前向传播去嵌入层操作数Dembed按公式(A.14)给出的方法计算。(A.14)Dembed=dmodel×nvocab……………(A.14)A.2.15Transformer操作数前向传播Transformer操作数Transf按公式(A.15)给出的方法计算。Transf=∑Aqkv+∑Amask+∑Aproject+∑Feedfw(A.15)A.2.16前向传播操作数前向传播总操作数FP按公式(A.16)给出的方法计算。FP=∑CL+∑DL+∑BN+∑ReLU+∑MP+∑GP+∑MatMul+∑Mul+∑Transf+∑Embed+∑Dembed(A.16)A.2.17反向传播卷积层操作数反向传播卷积层操作数BCL按公式(A.17)给出的方法计算。BCL=2×(K×K×Ci×Ho×Wo×Co)+(K×K×Ci×Co)………………A.2.18反向传播全连接层操作数反向传播全连接层操作数BDL按公式(A.18)给出的方法计算。(A.18)……BDL=2(A.18)……A.2.19反向传播Transformer操作数(A.19)……反向传播Transformer操作数(A.19)……A.2.20反向传播操作数反向传播总操作数BP按公式(A.20)给出的方法计算。(A.20)………(A.20)……17A.2.21验证过程操作数验证过程操作数V按公式(A.21)给出的方法计算。V=FP……(A.21)18附录B(资料性)动态计算特征与协同计算初始资源信息测试流程B.1动态计算特征测试流程动态计算特征测试流程(见图B.1)如下:a)测试人员选择专用计算任务以及数据精度;b)测试人员给定输入数据;c)计算执行专用计算任务所需的操作次数;d)测试人员开始在每一台设备上运行测试程序;e)专用计算任务运行完毕后,记录执行时间,测试程序停止;f)专用计算任务操作次数与执行时间按6.5.1给出的方法计算动态计算性能度量值;g)测试人员获取执行结果记录。图B.1动态计算特征测试流程图19B.2协同计算初始资源信息测试流程协同计算初始资源信息测试流程(见图B.2)如下:a)测试人员选择分布式专用计算任务以及数据精度并指定分布式协调与同步算法;b)测试人员给定输入数据;c)计算所有设备执行分布式专用计算任务所需的操作次数;d)测试人员开始执行分布式测试程序;e)分布式专用计算任务运行完毕后,记录执行时间,测试程序停止;f)分布式专用计算任务操作次数与执行时间按6.5.1.1的方法计算协同计算性能度量值;g)测试人员获取执行结果记录。图B.2协同计算初始资源信息测试流程图附录C(资料性)20AHP评价方法AHP评价方法如下。a)两两对比各一级参数,构建判断矩阵Aij。Aij的标度方法如表C.1所示。表C.1一级参数标度方法标度含义1表示两个因素相比,具有同样重要性3表示两个因素相比,一个因素比另一个因素稍微重要5表示两个因素相比,一个因素比另一个因素明显重要7表示两个因素相比,一个因素比另一个因素强烈重要9表示两个因素相比,一个因素比另一个因素极端重要2,46,8上述两相邻判断的中值倒数若因素i与j比较的判断为aij,则因素j与i比较的判断aji=1/aijb)计算判断矩阵的最大特征根λ与最大特征向量W。c)计算一致性参数CI,按公式(C.1)给出的方法计算。CI……(C.1)式中,n为一级参数数量。d)计算随机一致性参数RI。1)构造1000个n阶随机正互反矩阵,其元素为整数1~9及其倒数。2)求1000个矩阵的最大特征值平均值k。3)按公式(C.2)计算RI。RI……(C.2)e)计算判断矩阵的一致性比率CR,按公式(C.3)给出的方法计算;CR……(C.3)若CR≥0.1,则不满足一致性要求,需要回到步骤a)重新构建判断矩阵。f)对W进行归一化计算,得到最终权重向量W。(资料性)21分布式计算算力度量方法实例D.1设备静态算力度量方法设备静态算力度量方法如下。a)对设备的数据处理特征、数据存储特征、数据传输特征、动态计算特征下的一级参数初始资源信息v,利用AHP(见附录C)确定参数权重wv。b)对设备的数据处理特征、数据存储特征、数据传输特征、动态计算特征下的一级参数初始资源信息v,收集各设备的初始资源信息二级参数,按6.6.3的方法收集设备的动态计算特征,按公式(3)给出的方法形成二级度量参数向量Xv,多个二级度量参数向量Xv可组成设备参数矩阵为多个组成,例如有三台设备分别为A1、A2、A3,每一行为一个二级度量参数向量Xv,可分别表示为公式(D.1)~公式(D.3)。(D.1)(D.2)(D.3)c)运用临界值法对二级度量参数向量的参数值进行无量纲化处理,按公式(4)给出的方法计算,公式(4)中计算第k类资源平均值等信息指不同矩阵下相同元素的平均值。设备参数矩阵中第三行第二列的数据为负向指标,其他的都按正向指标计算,则A1、A2、A3变化为公式(D.4)~公式(D.6)。4)5)6)22d)计算每一参数值的信息熵,按公式(5)给出的方法计算。根据信息熵确定各参数的权重,按公式(6)给出的方法计算,根据公式(5)、公