T-CESA 1169-2021 信息技术 人工智能 服务器系统性能测试规范

CCSL70信息技术人工智能Informationtechnology—Artificialintelligence—Specificationforperformancebenchmarkingforserversystems2021-08-26发布2021-09-01实施中国电子工业标准化技术协会发布前言 IV 12规范性引用文件 3术语和定义 14缩略语 35测试模式 45.1封闭模式 45.2开放模式 45.3场景 45.4测试信息 56训练过程 66.1测试流程 66.2场景 6.3指标及测量方法 6.4训练用测试系统要求 7推理过程 7.1测试流程 7.2场景 217.3指标及测量方法 267.4推理用测试系统要求 31附录A(规范性)测试代码公开规则 3A.1通则 3A.2训练测试代码公开规则 3A.3推理测试代码公开规则 3 B.1图像识别 5B.2物体检测 5B.3语义分割 35B.4推荐 35B.5自然语言处理 35B.6语音识别 35B.7光学字符识别 36 36IIIT/CESA1169—2021本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由中国电子技术标准化研究院提出。本文件由中国电子技术标准化研究院、中国电子工业标准化技术协会归口。本文件起草单位：中国电子技术标准化研究院、中国科学院软件研究所、北京航空航天大学、华为技术有限公司、浪潮电子信息产业股份有限公司、腾讯云计算(北京)有限责任公司、上海依图网络科技有限公司、中科南京软件技术研究院、百度在线网络技术(北京)有限公司、北京旷视科技有限公司、曙光信息产业(北京)有限公司、科大讯飞股份有限公司、联想(北京)信息技术有限公司、飞腾信息技术有限公司、英特尔(中国)有限公司、上海商汤阡誓科技有限公司、上海仙塔智能科技有限公司。本文件主要起草人：张琦、曹晓琦、鲍薇、董建、孟令中、薛云志、董乾、刘祥龙、尤昉、王恺、吴韶华、康真健、李仁刚、杨晓光、刘海涛、赵春昊、许源、武斌、高卉、刘珊珊、熊亮、魏荣、崔吉顺、梅敬青、张艺伯、许欣然、戴荣、许涛、尹斌、程鸣、谷潇聪、罗玉、王海宁、马超、温炜、金古、蒋慧、田绍清、郑洁。人工智能服务器和人工智能服务器集群是当前各行业应用中，承载人工智能计算的主要形态，已被广泛采用。人工智能计算设备的性能关系到各行业实施人工智能应用的效率和成本。然而，因为设备实现技术的多样性、各行业应用能力差异和大数据量训练、高并发推理等需求因素，设备实际性能成为应用关注的重点。对人工智能计算系统的性能瓶颈识别和验证，是推进人工智能应用优化，提升效率的先决条件。本文件旨在提供规范、全面、兼顾行业常见场景的人工智能服务器和人工智能服务器集群性能测试方法及指标，为各领域用户人工智能计算系统的优化提供依据和途径。1信息技术人工智能服务器系统性能测试规范本文件规定了人工智能服务器系统，完成深度学习训练及推理任务的性能(运行时间、能耗、实际吞吐率、能效、效率、弹性、承压能力等)测试方法。本文件适用于人工智能服务器系统的性能评估。2规范性引用文件本文件没有规范性引用文件。3术语和定义下列术语和定义适用于本文件。3.1被测系统systemundertest一次测试中，处理测试者给出的测试作业，并返回结果的系统。3.2一次测试中，筹备、操作被测系统实施测试，并按测试协议的规定享有测试结果使用权的机构或个3.3用于定义系统测试要求的标准化的模型。[来源：ISO/IEC14776—2009,3.1.87,有修改]3.4计时timing获取并返回被测系统当前时间戳。T/CESA1169—20212人工智能服务器artificialintelligenceserver含有专为人工智能计算设计的计算机构，能够为人工智能应用提供专用加速计算能力的服务器。注1:以通用服务器为基础，配备人工智能加速卡后，为人工智能应用提供专用计算加速能力的服务器，称“人工注2:专为人工智能加速计算设计，提供人工智能专用计算人工智能服务器集群artificialintelligenceservercluster集群遵循统一控制的，人工智能计算功能单元的集合。注1:人工智能计算功能单元可包含：人工智能加速处理器、人工智能服务器、人工智能加速模组等。注3:人工智能服务器集群是人工智能高性能计算中心的主要组成部分。人工智能服务器系统artificialintelligenceserversystem由人工智能服务器及其他必要的计算、存储设备组成，承担人工智能运算任务的计算系统。注：人工智能服务器系统是人工智能服务器，人工智能服务器集群的统称。测试集用于测试最终机器学习模型功能的数据。[来源：ISO/IECDIS22989—2021,3.2.19]组织、开展测试的机构或个人。注：测试者使用测试系统实施测试，它向被测系统(3.10)发送作业(3.11),接收输出，计算性能(3.12)指标。3.10测试系统testsystem执行测试所使用的硬件、软件及数据。注：测试系统不是被测系统中的框架软件或加速库。T/CESA1169—20213[来源：ISO/IEC10303.34—2001,3.5.9]3.11作业job含有测试样本的数据包。3.12性能performance人工智能服务器系统运行计算任务时，可被测量的特性。[参考：ISO/IEC20000.10—2018,3.1.16和ISO13372—2012,2.3]3.13训练数据trainingdata训练集用于训练机器学习模型的输入样本子集。[来源：ISO/IECDIS22989—2021,3.2.22]3.14验证集用于评估一个或多个备选机器学习模型功能数据样本。[来源：ISO/IECDIS22989—2021,3.2.24]4缩略语下列缩略语适用于本文件。AI人工智能(ArtificialIntelligence)AUC曲线下面积(AreaUnderCurve)AUTOML自动机器学习(AutomatedMachineLearning)BFLOAT16脑半精度浮点数(BrainFloating-point)BLEU双语评估替换(BilingualEvaluationUnderstudy)FP16半精度浮点数(Half-precisionFloating-pointformat)FP32单精度浮点数(Single-precisionFloating-pointformat)FP64双精度浮点数(Double-precisionFloating-pointformat)INT44位整型数(4-bitInteger)INT88位整型数(8-bitInteger)T/CESA1169—20214MAP平均准确率均值(MeanAveragePrecision)MIOU平均交并比(MeanIntersectionOverUnion)NFS网络文件系统(NetworkFileSystem)OCR光学字符识别(OpticalCharacterRecognition)SUT被测系统(SystemUnderTest)TF32张量单精度浮点数(TensorFloating-point)UINT44位无符号整型数(4-bitUnsignedInteger)UINT88位无符号整型数(8-bitUnsignedInteger)5测试模式5.1封闭模式5.1.1封闭式训练给定训练集和目标模型结构、精度，利用受测AI服务器系统，运行建模、优化算法得到目标模型，应符合给定测试集上的准确率门限。5.1.2封闭式推理给定模型(参考实现)、精度、测试集，利用受测AI服务器系统，运行模型定义的推理过程，输出推理结果，结果应符合精度及给定测试集上的准确率要求。5.2开放模式5.2.1开放式训练给定训练集，利用受测AI服务器系统实施训练模型，结果模型应符合精度及给定测试集上的准确率要求。5.2.2开放式推理给定测试集，被测者提供已训练好的模型，利用AI服务器系统，运算输出推理结果，结果应符合精度及给定测试集上的准确率要求。5.3场景AI服务器系统性能测试的场景类型，应包含：a)通用：针对共性问题，参考或使用公共可获得的模型和数据集，完成训练、推理任务；b)专用：针对行业领域问题，使用专用模型和数据集，完成训练、推理任务；5c)场景类型涉及的技术要素的可变性，见表1及表2。表1训练模式及可变要素可变要素通用封闭通用开放专用封闭专用开放训练集√验证集测试集不涉及不涉及不涉及不涉及数据预处理√√训练过程中数据预处理(训练算法自带)√√模型结构√√优化方法√√目标模型精度深度学习框架√√√√“测试集”,“验证集”,“训练集”不含相同样本。表2推理模式及可变要素可变要素通用封闭通用开放专用封闭专用开放训练集不涉及√不涉及√验证集不涉及√不涉及√测试集数据预处理算法√√数据后处理算法√√模型结构√√模型格式√√模型压缩方法√√压缩后精度√√“测试集”,“验证集”,“训练集”不含相同样本。5.4测试信息测试前，被测者应向测试者提供测试信息，包含但不限于：a)组织名称或个人姓名；b)测试ID(用于标识测试);c)是否开放(0-封闭、1-开放);d)是否专用(0-通用、1-专用);e)是否训练(0-推理、1-训练);f)模型编号(对封闭模式有效，开放模式为模型名);g)提交时间(格式[yyyy:MM:ddHH:mm:ss]);h)测试对象类型(0-单机、1-集群/计算中心);T/CESA1169—20216i)节点数(当“测试对象类型”不为“0”时有效);j)每节点信息[节点型号、节点标称计算能力、节点芯片数];k)节点间通信协议和带宽；1)节点间组织关系(0-单节点、1-主从、2-环形、3-树状、4-其他);m)操作系统标识(名称、内核版本号);n)机器学习框架标识(名称、版本号);o)是否应用虚拟化技术(0-不使用、1-使用);p)虚拟化组件标识(名称、版本号);q)批(minibatch)大小(batchsize)可变标识(0-不可变、1-可变);r)批(minibatch)大小的值(正整数，仅当q)为0时有效];s)优化器声明(算法名);t)是否混合精度训练(仅对训练有效，0-不使用、1-使用，附加精度列表);u)是否使用AUTOML完成测试(0-不使用、1-使用，附加AUTOML算法名称);v)是否使用并行训练完成测试(0-不使用、1-模型并行、2-数据并行、3-混合并行、4-其他并行算法并附加算法名称);w)并行训练时，是否采用异步参数更新[0-不使用(即同步更新)、1-使用];x)是否使用稀疏化(对推理有效，0-不使用、1-使用，附加方法名称);y)是否使用量化(对推理有效，0-不使用、1-使用，附加量化方法名称)。6训练过程6.1测试流程6.1.1基本要求训练测试过程，应符合以下要求：a)在一次测试中，训练测试对象包含以下AI服务器系统硬件及配套软件(不含模型或算法负载):1)AI服务器单机；2)AI服务器集群(含云化的AI服务器集群);b)训练测试过程，包含以下步骤：1)测试准备：·被测者于测试前，取得测试集；·如需要，被测者可对数据进行必要的格式转化或封装；2)测试运行：·被测者按测试内容，编写并运行必要的训练代码(包含数据预处理、数据读入、训练、结果模型格式转化与持久化),得到结果模型；·训练期间，记录过程数据、计算指标值、记录日志、生成结果数据；3)结果报送：·被测者发送测试结果给测试者；T/CESA1169—20217·测试者检查结果合规性；深度学习训练规则，符合以下规定：a)训练测试，不应实施以下操作：1)在测试过程中进行硬件或软件改配；2)使用本文件规定之外的训练集进行模型训练，也不应实施模型预训练及迁移学习策略；3)训练测试过程中，对已实现的指标测量函数或测试流程控制函数实施改动、继承或重载(要求被测者实现的方法除外);4)在数据准备过程中：·减少数据集中的样本(封闭模式有效，除不足1batch的残余数据之外);·除b)2)规定的操作生成的样本外，增加数据集中的样本(封闭模式有效);·分析数据规律或预先提取、编码、保存样本特征(封闭模式有效);·对数据做排序、索引或拆分操作(封闭模式有效);5)在训练过程中改变指定的优化方法(封闭模式有效);6)使用AUTOML完成训练任务时，在整个训练过程中变更模型变异算法；b)训练测试，符合以下规定：1)应编制并运行的训练测试代码：·使用测试工具提供的过程指标计算方法；·使用测试工具提供的日志记录方法(对工具的要求见6.4);2)数据准备时：·训练数据尺寸不同或不符合模型需要时，可实施尺寸调整操作；·在不改变输入图像(对视觉类场景)像素值的情况下，可实施插值操作，包含但不限于：线性插值、双线性插值、区域插值等；·训练集、验证集、测试集的划分比例，默认为75%、10%及15%,特殊的划分应符合表3的规定(封闭模式有效);·可利用分布式环境实施数据准备；3)训练过程中：·可使用可变学习率，学习率改变方法，由训练算法确定；·权重及偏执应以常量或随机值初始化；·试验次数应符合场景要求(封闭模式见表3,开放模式在测试时统一确定);·如实施混合精度训练，应符合5.4的要求；4)实施基于AUTOML的训练时：·应按6.1.2b)1)-6.1.2b)3)的要求执行(除6.1.2b)2)中注明为“封闭模式有效”的规定外];·应区分模型结构生成(变异)阶段和训练(针对某一代变异调整模型参数)阶段，至少在模型结构生成(变异)过程执行前后、训练开始前后，分别记录时点；·模型变异及搜索空间应是有限并确定的；5)实施分布式训练时：8·并行训练，方式可包含但不限于模型并行、数据并行及混合并行；·可使用分布式文件系统(如NFS)或存储服务器存放、使用训练数据。训练结果，符合如下要求：a)训练结果模型与参考模型一致，符合以下要求：1)训练结果模型精度应符合表3及表5的规定；2)封闭模式下，训练模型脚本与参考脚本(见表3及表5)应定义一致的网络结构，训练模型脚本不应导致以下情况的发生：·改变的激励函数(对应层之间);·改变的池化方法(对应层之间);b)训练过程应符合6.1.2的规定；c)结果应包含以下信息：1)5.4规定的数据；2)场景要求的指标值(见表3及表5);3)训练程序源代码，符合附录A的要求；4)训练日志：·对非AUTOML训练，日志按每个epoch输出。每个epoch对应的格式为：“[yyyy:MM:ddHH:mm:ss]-[trial_number]-[epoch_number]-[accuracy]”。其中，第一项为日志输出时的时间戳，第二项为训练次数(正整数),第三项为epoch数(正整数),第四项为当前测试集上的准确率(依照场景要求的指标定义);·对AUTOML训练，日志按每次模型变异及对应训练过程输出。每次模型变异后，输出变异信息，格式为：“[yyyy:MM:ddHH:mm:ss]-[yyyy:MM:ddHH:mm:ss]-[generation_number]-[number_of_nodes]”。其中，第一项为变异开始时间，第二项为变异完成时间，第三项为变异代次计数，第四项为当前变异结果模型的节点数(对初始化模型的训练，变异起止时间为空，代次记为0);对变异后模型的训练，日志5)结果模型文件(含权重和结构信息；AUTOML训练，为最终结果模型文件);6)规则检查结果(对AUTOML训练，6.1.2中关于AUTOML的规则有效)。6.2场景6.2.1通用测试场景6.2.1.1封闭测试场景应符合表3的要求，场景说明见附录B。T/CESA1169—20219类型技术要素AI服务器AI服务器集群识别1模型resnet101_v1resnet101_v1数据集imagenet2012imagenet2012Top1-准确率>75%Top1-准确率>75%优化方法sgd+momentumsgd+momentum试验次数57结果模型精度FP16/FP32FP16/FP32损失函数softmax+crossentropylosssoftmax+crossentropyloss2模型resnet50_v1.5resnet50_v1.5数据集imagenet2012imagenet2012Top1-准确率>74%Top1-准确率>74%优化方法sgd+momentumsgd+momentum试验次数57结果模型精度FP16/FP32FP16/FP32损失函数softmax+crossentropylosssoftmax+crossentropyloss语义分割1模型deeplab_v3deeplab_v3⁸数据集pascalvoc2012pascalvoc2012MIOU>85%MIOU>85%优化方法adagradadagrad试验次数57结果模型精度FP16/FP32FP16/FP32损失函数Pixel-wisesoftmax+crossentropylossPixel-wisesoftmax+crosse语音识别1模型deepspeech_v2⁸deepspeech_v2⁸数据集LibriSpeechASRcorpusLibriSpeechASRcorpusWER°<7%WER°<7%优化方法LambLamb试验次数57结果模型精度FP16/FP32FP16/FP32损失函数推荐1模型wide&deepwide&deep数据集criteocriteoAUC>72%AUC>72%优化方法Wide:FTRL;Deep:AdagradWide:FTRL;Deep:Adagrad试验次数57结果模型精度FP16/FP32FP16/FP32损失函数LogisticlossLabelsmoothedcrossentropyLogisticlossT/CESA1169—2021表3通用训练性能测试场景(封闭)(续)类型技术要素AI服务器AI服务器集群物体检测1模型fasterrcnn数据集pascalvoc2012pascalvoc2012MAP>35%MAP>35%优化方法sgd+momentumsgd+momentum试验次数57结果模型精度FP16/FP32FP16/FP32损失函数RPN:crossentropyloss+smoothL1回归损失；fasterrcnn:softmax+crossentropyRPN:crossentropyloss+smoothL1回归损失；fasterrcnn:softmax+crossentropyloss2模型SSD®数据集pascalvoc2012MAP>19%优化方法sgd+momentum试验次数5结果模型精度FP16/FP32损失函数定位损失：SmoothL1loss置信度损失：Softmax+crossentropy语言处理1模型bert-largeBbert-largedB数据集cn-wiki/en-wikicn-wiki/en-wikimask_lmaccuracy>0.7mask_lmaccuracy>0.7优化方法Lamb试验次数55结果模型精度FP16/FP32FP16/FP32损失函数softmax+negativemaximumlikehoodsoftmax+negativemaximum2模型数据集WMT18英-德、英-中BLEU>24%、BLEU>24%优化方法Adam试验次数5结果模型精度FP16/FP32损失函数Labelsmoothedcrossentropyloss表3通用训练性能测试场景(封闭)(续)注：表中的“/”符号，表示“或”。改变数据的值(如图像像素值),数据格式转换过程不计时。表中门限为参考值，测试实施时可作调整，但应在各被测系统受测时保持统一。°表中WER为GreedyWER指标。bert-1arge测试项中，sequence-1ength=512。°表中的SSD损失函数[3]:式中：Lconf——分类损失函数，使用交叉熵损失；Lloc——定位损失函数，使用smoothL1损失；c—检测框的标签类别；9—ground-truth的坐标；x——模型对ground-truth类别预测的概率；表中fasterrcnn的RPN层损失函数[4]:式中：Lreg—包围盒的回归损失；i——一个anchor的序号；Pi——anchor的预测结果是检测对象的概率；p;一—ground-truth的标签；ti——预测包围盒的坐标；t;——ground-truth中包围6.2.1.2开放测试场景应符合表4的要求，场景说明见附录B。表4通用训练性能测试场景(开放)类型技术要素AI服务器AI服务器集群识别1数据集Imagenet2012Imagenet2012Top1-准确率>75%Top1-准确率>75%结果模型精度FP16/FP32FP16/FP32·物体检测1数据集pascalvoc2012pascalvoc2012MAP>35%MAP>35%结果模型精度FP16/FP32FP16/FP32T/CESA1169—2021表4通用训练性能测试场景(开放)(续)类型技术要素AI服务器AI服务器集群语义分割1数据集pascalvoc2012pascalvoc2012MIOU>85%MIOU>85%结果模型精度FP16/FP32FP16/FP32推荐1数据集criteocriteoAUC>72%AUC>72%结果模型精度FP16/FP32FP16/FP32语言处理1数据集WMT18英→>德、英->中BLEU>24%、BLEU>24%结果模型精度FP16/FP322数据集cn-wikicn-wikimask_lmaccuracy>0.7mask_lmaccuracy>0.7结果模型精度FP16/FP32FP16/FP32语音识别1数据集LibriSpeechASRcorpusLibriSpeechASRcorpusWER<7%WER<7%结果模型精度FP16/FP32FP16/FP32注：表中的“/”符号，表示“或”。准确率门限，依照封闭场景定义，在测试时可由测试者调整、确定指标及取值。类型技术要素AI服务器AI服务器集群OCR(无预分模型EASTEAST数据集金融行业测试集b金融行业测试集优化方法lars/sgd+momentumlars/sgd+momentum试验次数57结果模型精度FP16/FP32FP16/FP32人脸识别模型FaceNetArcFace(resnet101+arcloss)数据集LFWLFW优化方法lars/sgd+momentumlars/sgd+momentum试验次数57结果模型精度FP16/FP32FP16/FP32表5专用训练性能测试场景(封闭)(续)类型技术要素AI服务器AI服务器集群语音模型TransformerEDTransformerED数据集aAiShell1000hAiShell1000h优化方法sgd+momentumsgd+momentum试验次数79结果模型精度FP16/FP32FP16/FP32注：表中的“/”符号，表示“或”。训练数据的格式，没有严格的限定，被测者可以根据本地框架进行格式转换，格式转换过程不应改变数据的值(如图像像素值),数据格式转换过程不计时。表中未确定的模型及数据集，可在具体测试前，由测试者按专用系统的要求统一确定。°EAST和FaceNet的损失函数的定义与实现分别见[8]和[9]6.2.2.2开放测试场景应符合表6的要求，场景说明见附录B。表6专用训练性能测试场景(开放)类型技术要素AI服务器AI服务器集群OCR预分割)数据集金融行业测试集金融行业测试集结果模型精度FP16/FP32FP16/FP32人脸识别数据集LFWLFW结果模型精度FP16/FP32FP16/FP32注：表中的“/”符号，表示“或”。训练数据的格式，没有严格的限定，被测者可以根据本地框架进行格式转换，格式转换过程不应改变数据的值(如图像像素值),数据格式转换过程不计时。b表中未确定的模型及数据集，可在具体测试前，由测试者按专用系统的要求统一确定。6.3指标及测量方法时间单位为毫秒(ms)。训练相关用时及测量方法，应符合表7及图1的规定：表7训练时间测量方法指标说明测量方法总体训练用从训练开始读入数据，到模型训练完毕、完成在非电易失性存储器上的持久化，所使用的总时长a)在读入训练数据命令前，紧邻该命令计时，获得时间点ts;b)在输出模型持久化完成后，串行并紧邻调用计时命令，获得时间点t;c)计算总体训练时间：T1=ta-tsT/CESA1169—2021表7训练时间测量方法(续)指标说明测量方法数据读入用为训练目的，训练数据被读入加速器内存(使用通用计算环境、加速器缺少或不配置存储时，可为主存),达至可用状态，所使用的时间a)在读入训练数据命令前，紧邻该命令计时，获得时间点t,t1可等于Ts;b)在训练数据读取完成时，串行并紧邻调用计时命令，获得时间点Ti2;c)计算数据读入时间：T1=t.2-tu训练启动用多加速器训练时，从训练开始指令到所有加速器都被分配并开始执行训练任务所经历的时长a)训练开始前，串行并紧邻调用计时命令，获得时间点tn;b)在每个加速器进入训练状态时，取时间点，直到最后一个加速器进训练状态，获得时间点t22;c)计算训练启动用时：T₀=t22-tn训练用时“从训练开始命令调用到训练退出之间的时间间隔a)训练开始前，串行并紧邻调用计时命令，获得时间tR,tn可等于b)训练退出时，串行并紧邻调用计时命令，获得时间点trH2;c)计算训练用时：T=trR2-trR第i个(i为正整数)epoch运行用时TBP()训练过程第i次遍历(使用)训练集所用的时间a)第i个epoch开始前，串行并紧邻调用计时命令，获得时间te(-1;b)第i个epoch结束后，串行并紧邻调用计时命令，获得时间tei)-2;c)第i个epoch用时：TePa)=tro)-2-ter(-1第j次(j为正整数)验证用时Tv()第j次使用验证数据集试运行当前模型，得出当前模型准确率等指标值的过程a)第j次验证开始前，串行并紧邻调用计时命令，获得时间ty()-1;b)第j次验证结束后，串行并紧邻调用计时命令，获得时间ty()-2;c)第j次验证用时：Tv=ty()-2-t(o-1模型格式转化用时Tα训练完毕后，将结果模型转化为要求格式所耗费的时间a)模型格式转化前，串行并紧邻调用计时命令，获得时间tev;b)模型转化完毕后，串行并紧邻调用计时命令，获得时间tc2;c)模型格式转化用时：Te=tev2-te模型持久化用时T将加速器内存中的模型读出，并完整写入非电易失性存储所用的视觉a)模型持久化前，串行并紧邻调用计时命令，获得时间tp;b)模型持久化后，串行并紧邻调用计时命令，获得时间tp2;c)模型持久化用时：Tp=tp2-tn节点间通信时延Tse源节点开始发送数据至目标节点完全接收数据的用时a)在发送数据前，串行并紧邻调用计时命令，获得时间tc;b)在完整接收数据后，串行并紧邻调用计时命令，获得时间txᴄ2;c)节点间通信时延Tc=tc2-tec注：假设训练数据已封装为机器学习框架能够处理的格式。训练退出可有多种充分条件。正常结束训练退出条件，如测试集准确率门限等。数据并行时，数据读入用时为数据读入开始至所有工作节点都完整获得所需数据的总用时(含网络传输用时)。训练任务的用时包含数据预处理用时。d表中受测系统无法统计的时间，不作要求。°数据读入过程可伴随训练同步发生，时间计入训练用时。T/CESA1169—2021epochs及若动命令epochs或tTR2动用时证训练用时(TTR)格式转化用时持久化用时注1:训练时间按“训练用时”计。注2:数据读入过程可伴随训练同步发生。图1训练时间序训练功耗单位为瓦(W)。训练相关功耗及测量方法，应符合表8的规定：表8训练功耗测量方法指标说明测量方法AI服务器单机训练平均功率单台AI服务器在某次训练全程(TR)的平均功率a)在SUT,配套使用功率计；b)空载600s,采样100次以上，测得时整机的空载平均负载功率PI;c)在训练用时中(见图1),周期性测量整机的负载功率，并求均值PE;d)求得PR=Pme-PreAI服务器单机训练瞬时峰值功率单台AI服务器在某次训练全程(TR)中，服务器各部件处于(接近)满负载压力状态下的最大瞬时功率a)在SUT,配套使用功率计；b)按单机训练平均功率测量方法测得PT¹E;c)测得单机训练过程中，最大负载功率计量值Prmm;d)求得Pmn=Pra-PAI服务器集群训练平均功率AI服务器集群，在某次训练全程(TrR)中的平均功率1)在SUT各节点配套使用功率计；2)按单机训练平均功率测量方法实施，测得每节点i(i为正整数)的平均功率PR-i。3)求和得到集群平均功率：PcrR=∑PTR-16.3.3实际吞吐率实际吞吐率代表人工智能服务器系统对特定训练作业的有效计算能力，提升有效计算能力可达到硬件系统扩容的同样效果。对视觉类测试，单位为图片数每秒(images/s),对自然语言处理类测试，单位为句数每秒(sentences/s)。训练相关实际吞吐率及测量方法，应符合表9的规定：T/CESA1169—2021表9训练吞吐率测量方法指标说明测量方法AI服务器训练实际吞吐率AI服务器系统在训练过程中，每个epoch处理的数据量与时间的比值a)统计每个epochi(i为正整数)所使用的时间TePi);b)基于1)的结果，统计每epoch平均TeP;c)计算训练实际吞吐率：AI服务器集群训练实际吞吐率a)在集群每个节点n(n为正整数)上，计算该节点训练吞吐率Th;b)计算集群训练实际吞吐率：c)计算AI服务器集群训练综合相对吞吐率(见上4))AI服务器系统训练有效计算能力(AI服务器系统训练吞吐率综合加速比)AI服务器系统在给定任务集合S上，实际吞吐率与每任务基线吞吐率之比的加权几何平均照计算系统，在s上测得吞吐率Th,作为基线；率，由Th;在s上的加权几何平均计算：注1:如测得场景resnet50_v1.5及bert-large的实际吞吐率ThRn,ThBL,训练吞吐率综合加速比可由下式计算：式中：α——调整系数(α>0,α∈R+),默认为100.0;Th——resnet50_v1.5对应的基线吞吐率；Thm——bert-large对应的基线吞吐率；TRN——resnet50_v1.5对应的权值；TB—bert-large对应的权值。注2:AI服务器系统训练吞吐率综合加速比参考[15]。numberof(·)表示计量特定数据集合所含样本的数量。基线吞吐率是参考计算系统在特定场景上的吞吐率，T、α及参照计算系统由测试者按实测需求确定。6.3.4资源利用率资源利用率包含加速器利用率，单位为百分率(%)。训练相关资源利用率及测量方法，应符合表10的规定：T/CESA1169—2021表10训练过程资源利用率测量方法指标说明测量方法AI服务器加速器资源利用率训练期间(TR),服务器上所有指定参与训练任务的加速芯片的平均利用率a)在每个epochi内(假设一趟训练过程有I个epochs),对每个加速芯片k(假设有K个加速芯片),采样N次使用率p(i,k,N,n,K,I为正整数，N>=3,0<=P-<1,为正实数，精确到0.01);b)对每个加速芯片k,求出在i的平均利用率：c)对每个epochi,求出多芯片平均利用率(如K=1,本步骤忽略):d)对所有epoch求平均，得出训练阶段AI服务器加速器资源利用率AI服务器集群加速器资源利用率训练期间(TR),服务器集群上所有指定参与训练任务的加速芯片的平均利用率数据传输芯片利用率不含在加速器资源利用率计算范围内。6.3.5能效训练能效是AI服务器系统在单位时间，消耗单位功耗，消化的训练数据量，单位为兆字节每秒瓦[MB/(s·W)]。训练能效及测量方法，应符合表11的规定：表11训练过程能效测量方法指标说明测量方法AI服务器训练能效AI服务器单位时间内消耗单位功耗消化的训练数据量a)对任意一趟训练，测量每个epoch的平均功率P;b)测量每个epoch的平均用时Tp;c)计算AI服务器训练能效：式中：sizeof(训练集)——训练集大小，单位为兆字节(MB)AI服务器集群训练能效AI服务器集群单位时间内消耗单位功耗消化的训练数据量a)算出每台AI服务器，每epoch的平均功率P(i为正整数)和用时Tp;b)计算AI服务器集群训练能效：sizeof(·)表示计量特定数据集合的大小。6.3.6效率训练效率是AI服务器系统训练得到某模型，其预测准确率与训练代价的比值，单位为每秒千瓦时[1/(s·kWh)]。训练效率及测量方法，应符合表12的规定：T/CESA1169—2021表12训练过程效率测量方法指标说明测量方法AI服务器训练效率AI服务器训练得到某模型，其实际判别准确率*与训练能耗的比值a)训练结束时，记录模型在测试集上的实际准确率(具体指标参见场景列表);b)记录训练时长Tm;c)记录Tπ时间内的实际能耗P3;d)计算训练效率：AI服务器集群训练效率AI服务器集群训练得到某模型，其实际判别准确率与训练能耗的a)训练结束时，记录模型在测试集上的实际准确率(具体指标参见场景列表);b)记录训练时长T;c)记录T时间内的集群实际能耗Ps;d)计算训练效率：准确率指标值TTR*Ps注1:训练效率定义参考了[13]。注2:AI服务器集群训练效率，参考了[14]定义的能源效率。当准确率指标(设值为a,0≤a≤1)为负向指标时(如WER),以(1-a)计。如实施多次训练试验，则应使用平均准确率及平均训练时长。°能耗是训练模型过程中特定时间段内消耗的电量。6.4训练用测试系统要求6.4.1功能要求测试系统符合以下规定，包含但不限于：a)应能自动检测服务器或接收手动填表的被测系统软、硬件信息，符合5.4的规定；b)应能使用机器学习框架，AI服务器系统提供的使能软件函数库及其他必要信息，完成6.3规定指标的测量，提供指标计算函数；c)应至少能实施6.2.1规定的场景的测试；d)应至少支持以下计算精度中的一种：2)FP32;3)TF32;4)FP16;T/CESA1169—20216)INT8;7)UNIT8;8)INT4;9)UINT4;e)应支持配置了容器或使用虚拟化组件的AI服务器系统的性能测试；f)测试完成后应能完全卸载，不残留任何测试组件(不含测试数据);g)应提供日志函数，日志所含内容及格式符合6.1.3c)的规定；h)应支持测试者对测试过程的管理和监测，包含但不限于：1)训练过程子阶段开始或完成事件，包含：·每趟训练的开始和结束；·训练测试整体进度；·训练结果数据上传及其完成；2)训练结果数据，符合6.1.3c)的规定；3)测试者对重测的允许及次数控制；4)能提供证据辅助测试者实施测试结果的有效性判定，或自动判定；i)在提前获得测试项目授权后，应支持被测者在测试期内的任意时间发起测试；j)应能在测试者，为不同测试项维护独立的结果数据目录；k)应能支持本地测试(测试者不介入的测试，如预测试、系统调试等)及远程测试(测试者介入)。6.4.2公平性保障要求应提供策略及实现，支持以下公平性保障功能，包含但不限于：a)防止对指标计算函数的修改；b)防止测试时对指标计算函数的替代使用；c)防止在测试结果上传前对测试结果数据的修改，结果的规定见6.1.3;d)防止在测试开始后，结果上传完毕之前对测试代码的修改；e)防止除测试系统外的其他进程向被测者传输过程及结果数据；f)实施远程测试时，关于测试者授权的鉴别；g)测试过程中测试者与被测者通信的加密，信息完整性检查。7推理过程7.1测试流程推理测试过程，应符合以下规定：a)推理测试对象包含：1)AI服务器单机；2)AI服务器集群(包含云化的AI服务器集群)。b)推理测试过程，包含以下步骤：T/CESA1169—2021201)测试准备：·被测者向测试者发送测试请求，取得测试集；·测试者指定测试数据集，告知获取方法；·被测系统下载数据集，检验合规性。2)测试运行：·被测者按测试内容，载入模型(可预先准备好)和数据集；·记录过程数据，计算指标值；3)结果报送：·被测者发送测试结果数据测试者；·测试者检验结果合规性；7.1.2规则推理测试过程，符合以下规定：a)符合以下合规性要求：1)推理测试源码：·应实现必要接口(数据准备、输入、输出);·应使用测试系统提供的指标计算方法；·应使用测试系统提供的日志记录方法；·不应对已实现的指标测量函数或测试流程控制函数实施改动、继承或重载(要求被测者实现的函数或接口除外)。2)推理过程符合：·模型编译、部署时，不应使用其他模型替换测试模型；·测试前，除数据集封装格式转化外，不应浏览或记录数据、修改数据(非预处理)、浏览数据、拷贝数据，以及分析、提取、缓存数据特征；·测试过程中，不应实施以下操作：以推理测试进程之外的任何进程，修改、记录日志；以推理测试进程之外的任何进程，存取测试输入、输出数据；缓存、复用输入、输出及过程(预处理结果、后处理输入)数据；修改内存中模型参数；保存、缓存后处理过程输入数据；记录、分析或使用作业到达模式来预测某时段内的作业量；根据过程中准确率、丢失率等指标值，故意忽略待处理数据。b)封闭模式推理时，模型压缩，不应实施如下操作：1)删除非零权重；2)使用剪枝或其他改变模型结构的方法；3)实施模型蒸馏。c)封闭模式推理时，模型量化，符合以下要求：1)不同场景下量化的模型对象应与表15一致；2)量化结果不应出现6.1.3a)2)列出的情况。d)推理精度应符合7.2.3,7.2.4中按场景的要求；T/CESA1169—202121e)应声明推理所用批大小的信息，符合5.4的规定。7.1.3推理结果推理结果，应符合如下要求：a)通过合规性检查；b)推理结果包含如下信息：1)5.4规定的测试信息；2)推理作业到达模式序号(见表14);3)推理使用的实际精度；4)场景要求的指标值(具体指标，符合“通用推理性能测试场景(封闭)”表及“专用推理性能测试场景(封闭)”的要求);5)推理测试源码符合附录A的规定；HH:mm:ss]-[accuracy]-[已处理作业数]-[已处理样本数]-[样本丢失数]”。其中：·第一项为本条日志输出时的时间戳；·第二项为当前累计的准确率(具体指标的选取，符合“通用推理性能测试场景(封闭)”表及“专用推理性能测试场景(封闭)”的要求);·第三项为当前已返回结果的作业数；·第四项为当前已返回结果的样本数；·第五项为当前未能在超时范围内处理的样本数，即丢失样本数；7)合规性检查结果。7.2场景7.2.1推理作业推理作业，应符合以下要求：a)作业从测试系统发往被测系统，结果从被测系统发送回测试系统；b)每个样本仅含有推理模块要求的必要(输入)参数，不含有额外信息；c)推理作业遵循特定的到达模式，符合7.2.2的要求；d)作业丢失指被测系统无法在超时控制门限内返回结果的情况；e)超时控制门限指测试者从发送作业到收到对应结果之间允许的最大时间间隔。7.2.2作业到达模式推理作业到达模式，应符合表13的定义：T/CESA1169—2021表13推理作业到达模式表0否121是142其中：k是某单位时间内到达的作业数(k为正整数),是143泊松分布到达模式中，有j个短周期，每周期发性大量作业，周期持续一定时长T。(如5s-10s),并维持一定并发度水平o(o为正整数，如σ>2¹。到达模式(T与n可在测试时结合需要选取)是14是15在连续到达、固定周期到达、泊松分布到达、高峰到达、离线到达模式中，加入与当前测试场景不同是17.2.3通用测试场景7.2.3.1封闭测试场景应符合表14的要求，场景说明见附录B。表14通用推理性能测试场景(封闭)类型技术要素AI服务器AI服务器集群识别1模型inception_v3resnet101_v1测试集来源imagenet2012imagenet2012作业到达模式及参数连续单一、固定周期到达、泊松分布到达、离线到达、高峰到达，Top1-准确率>75%泊松分布到达(λ=20)、离线到达、高峰到达，Top1-准确率>75%2模型Resnet50_v1.5测试集来源imagenet2012作业到达模式及参数连续单一、固定周期到达、泊松分布到达、离线到达、高峰到达，Top1-准确率>74%T/CESA1169—202123表14通用推理性能测试场景(封闭)(续)类型技术要素AI服务器AI服务器集群物体检测1模型yolo_v3fasterrcnn-vgg16测试集来源pascalvoc2012pascalvoc2012作业到达模式及参数连续单一、固定周期到达、泊松分布到达、离线到达、高峰到达，MAP>57%泊松分布到达(λ=20)、离线到达、高峰到达，MAP>57%语义分割1模型deeplab_v3测试集来源pascalvoc2012作业到达模式及参数连续单一、固定周期到达、泊松分布到达、离线到达、高峰到达，MIOU>85%推荐1模型wide&deepwide&deep测试集来源criteocriteo作业到达模式及参数连续单一、固定周期到达、泊松分布到达、离线到达、高峰到达，AUC>72%泊松分布到达(λ=20)、离线到达、高峰到达，AUC>72%语言处理1模型bert-largebert-large测试集来源cn-wiki/en-wikicn-wiki/en-wiki作业到达模式及参数连续单一、固定周期到达、泊松分布到达、离线到达、高峰到达，mask_1m_accuracy>0.7泊松分布到达(λ=20)、离线到达、高峰到达，mask_lm_accuracy>0.72模型GNMT_v2测试集来源WMT18英→>德、英->中作业到达模式及参数连续单一、固定周期到达、泊松分布到达、离线到达、高峰到达，BLEU>24%(适用于两种翻译)语音识别1模型deepspeech_v2测试集来源LibriSpeechASRcorpus作业到达模式及参数连续单一、固定周期到达、泊松分布到达、离线到达、高峰到达24类型技术要素AI服务器AI服务器集群识别1测试集来源Imagenet2012Imagenet2012Top1-准确率>75%Top1-准确率>75%作业到达模式及参数连续单一、固定周期到达(500ms)、泊松分布到达(λ=5)、离线到达、高峰到达泊松分布到达(λ=20)、离线到达、高峰到达物体检测1测试集来源pascalvoc2012pascalvoc2012MAP>57%MAP>57%作业到达模式及连续单一、固定周期到达(500ms)、泊松分布到达(λ=5)、离线到达、高峰到达泊松分布到达(λ=20)、离线到达、高峰到达语义分割1测试集来源pascalvoc2012pascalvoc2012MIOU>85%MIOU>85%作业到达模式及参数连续单一、固定周期到达(500ms)、泊松分布到达(λ=5)、离线到达、高峰到达泊松分布到达(λ=20)、离线到达、高峰到达推荐1测试集来源criteocriteoAUC>72%AUC>72%作业到达模式及连续单一、固定周期到达(500ms)、泊松分布到达(λ=5)、离线到达、高峰到达泊松分布到达(λ=20)、离线到达、高峰到达语言处理1测试集来源cn-wikicn-wikimask_lmaccuracy>0.7mask_lmaccuracy>0.7作业到达模式及连续单一、固定周期到达(500ms)、泊松分布到达(λ=5)、离线到达、高峰到达泊松分布到达(λ=20)、离线到达、高峰到达2测试集来源WMT18英→德、英→中BLEU>24%(适用于两种翻译)作业到达模式及参数连续单一、固定周期到达(500ms)、泊松分布到达(λ=5)、离线到达、高峰到达语音识别1测试集来源LibriSpeechASRcorpusLibriSpeechASRcorpusWER<7%WER<7%作业到达模式及连续单一、固定周期到达(500ms)、泊松分布到达(λ=5)、离线到达、高峰到达泊松分布到达(λ=20)、离线到达、高峰到达未注明时，表中泊松分布，固定周期到达模式涉及的参数，参考值为λ=5,T=500ms,n=1。b准确率的具体数值为参考值。T/CESA1169—202125预分测试集来源°ArcFace(Resnet101+arclo测试集来源°测试集来源°未注明时，泊松分布，固定周期到达模式涉及的参数，参考值为λ=5,T=未确定的模型及数据集，可在具体测试前，由测试者按专°推理数据的格式，没有严格的限定，被测者可以根预分测试集来源°未注明时，泊松分布，固定周期到达模式涉及的参数，参考值为λ=5,T=表中未确定的模型及数据集，可在具体测试前，由测试者按专用系统°推理数据的格式，没有严格的限定，被测者可以根267.3指标及测量方法时间单位为毫秒(ms)。推理相关用时及测量方法，应符合表18及图2的规定：表18推理时间测量方法指标说明测量方法推理总延多次连续推理端到端总延时a)测试者在发送第1个样本的第1字节前，紧邻计时，得到时间点t1s;b)测试者在接收到所有样本的最后1字节后，紧邻或在最后一个处理超时时间点计时，得到时间点t;c)计算得到推理总延时T1=tn-ti端到端推理延时T1测试者发送样本时间与收到结果时间的差a)测试者在发送某样本第1字节前，紧邻计时，得到时间点t1s;b)测试者在接收完该样本返回结果的最后1字节后，紧邻计时，得到时间点te;c)计算端到端推理延时：T=t1E-ts样本发送测试者发送样本时间与被测者收到样本时间的差a)测试者在发送某样本第1字节前，紧邻计时，得到时间点t(ts=tns);b)被测者在收到样本最后1字节后，紧邻计时，得到时间点tr顶；c)计算作业发送延时：Tn=tr-tIs结果传送延时T1R被测者发送结果时间与测试者收到结果时间的差a)被测者在发送结果第1字节前，紧邻计时，得到时间点ts;b)测试者在收到结果最后1字节后，紧邻计时，得到时间点tm(tE=tm);c)计算结果传送延时：TR=trRR-tns任务分派延时Tn1s被测者收到样本时间到处理前时间的差a)被测者收到样本最后1字节后，紧邻计时，得到时间点tnss;b)被测者开始处理前，紧邻计时，得到时间点tnsE;c)计算任务分派延时Tons=tnse-tnrss预处理延时TIPE被测者对某样本预处理的开始时间与结束时间的差a)被测者对某样本的预处理开始前，紧邻计时，得到时间点trs;b)被测者对某样本的预处理结束后，紧邻计时，得到时间点trE;c)计算预处理延时TR=trRE-trs推理延时TInN被测者对某样本推理的开始时间与结束时间的差a)被测者针对某样本推理开始前，紧邻计时，得到时间点tns;b)被测者针对某样本推理结束后，紧邻计时，得到时间点t1ne;c)计算推理延时T=trne-tns后处理延时TPo被测者对某样本后处理的开始时间与结束时间的差a)被测者对某样本的后处理开始前，紧邻计时，得到时间点trnos;b)被测者对某样本的后处理结束后，紧邻计时，得到时间点trPOE;c)计算后处理延时Tm=troe-trP样本处理延时T被测者处理样本的开始时间与结束时间的差。处理延时约是预处理、推理、后处理时间的总和a)被测者对某样本的处理开始前，紧邻计时，得到时间点tns(tms=trPs);b)被测者对某样本的处理结束后，紧邻计时，得到时间点tme(tpe=trpae);c)计算样本处理延时T=tme-trs分派处理延时TP被测者完整收到样本的时间与处理结束时间的差a)被测者收到样本最后1字节后，紧邻计时，得到时间点tns(tns=tnss);b)被测者对某样本的处理结束后，紧邻计时，得到时间点tnIPE(tnIPE=tE);c)计算分派处理延时TnIP=tnre-tors27名称说明测量方法处理超时测试者从发送样本到收到对应结果的允许的最大时间间隔计算某样本处理超时：TaT=tns+tar'时间的差为绝对值。处理时间的计法为：存在预处理时，以预处理开始时间计；如不存在，以推理开始时间计。tour*为常量。因作业到达模式不同，推理总延时T,可能包括被测者等待作业的间隔时间。样本预处理后处理延时延时端到端推理时间处理超时Tour*第1个样本端到端推理用时分派处理延时(TpiP)第j个样本端到端推理用时推理总延时(T)拷贝tinsPOEtINEtPos…样本第i个…样本第1个ts注1:以i,j表示并发的样本及其处理过程，但推理并发处理不是AI服务器系统的必要功能。推理功耗以功率计算，单位为瓦(W)。推理功耗及测量方法，应符合表19的规定：表19推理功耗测量方法指标说明测量方法AI服务器单机推理平均功率单台AI服务器在某次推理全程中的平均功率a)在SUT,配套使用功率计；b)在推理延时(Tm)期间，周期性测量整机的负载功率；28表19推理功耗测量方法(续)指标说明测量方法AI服务器数据预处理平均功率单台AI服务器在某次推理全程中，数据预处理阶段的平均功率a)在SUT,配套使用功率计；b)在数据预处理延时(TP)期间，周期性测量整机的负载功率；AI服务器推理峰值功率单台AI服务器在某次推理全程中，服务器各部件处于(接近)满负载压力状态下的最大瞬时功率a)在SUT,配套使用功率计；b)在数据预处理延时(TK)期间，周期性测量整机的负载功率；c)取最大值AI服务器集群推理平均功率AI服务器集群，在某次推理全程中(T)中的平均功率a)在SUT各节点配套使用功率计；b)在相同时间点，周期性测量每个节点服务器的负载功率；c)相同时间点各节点功率加和为集群瞬时负载功率；实际吞吐率代表人工智能服务器系统对特定推理作业的有效计算能力，提升有效计算能力可达到硬件系统扩容的同样效果。对视觉类测试，单位是images/s,对自然语言处理类测试，单位是sentences/s。推理相关实际吞吐率及测量方法，应符合表20的规定：表20推理吞吐率测量方法指标说明测量方法AI服务器系统推理实际吞吐率AI服务器系统在单位时间内，对于特定任务负载，完整处理的样本数量a)在整个推理测试过程中(T1内),累计所有实际发送的样本，及实际返回结果，计算样本数量；b)计算其与实际分派处理推理延时总覆盖时间的比值AI服务器系统推理有效计算能力(AI服务器系统推理吞吐率综合加速比)AI服务器系统在给定任务集合S上，实际吞吐率与每任务基线吞吐率之比的加权几何平均a)对每个场景负载s∈S,使用某特定参照计算系统，在s上测得吞吐率，作为基线；b)对每个场景负载s∈S,使用SUT,在s上测得推理实际吞吐率；c)使用表9“AI服务器系统训练吞吐率综合加速比”的公式计算推理能效以额定工作情况下能效比计算。分场景推理能效比指标、单位与测量方法，应符合表2129表21推理能效比测量方法指标说明测量方法视觉任务能效比单位为每秒瓦处理的图像a)被测者在整个推理测试过程中(T1内),在每个端到端推理时间内，周期性读取功率计测量值，求出平均功率P1;b)测试者累计返回结果的任务图像(帧)数N;c)测试者累计实际分派处理延时总覆盖时间Tp;d)计算视觉任务能效比：自然语言任务能效比单位为每秒瓦处理的单词数a)在整个推理测试过程中(T1内),在每个端到端推理时间内，周期性读取功率计测量值，求出平均功率P1;b)累计返回结果的单词数W;c)累计实际分派处理延时总覆盖时间TnIP;d)计算自然语言处理任务能效比：语音任务能效比单位为每秒瓦处理的句数a)在整个推理测试过程中(T1内),在每个端到端推理时间内，周期性读取功率计测量值，求出平均功率P;b)累计返回结果的句子数S;c)累计实际分派处理延时总覆盖时间Tn¹;d)计算语音任务能效比行业任务能效比按视觉、自然语言任务能效比计算参考本表中视觉任务能效比及自然语言任务能效比推理效率是AI服务器系统完成推理任务与代价的比值，单位为每秒千瓦时[1/(s·kWh)]。推理效率及测量方法，应符合表22的规定：表22推理效率测量方法指标说明测量方法AI服务器推理效率AI服务器实际推理准确率与推理能耗的比值a)推理结束时，记录模型在测试集上的实际准确率(具体指标参见场景列表);b)记录实际分派处理延时总覆盖时间TnP;c)记录Tnp内的能耗P3;d)计算推理效率：准确率指标值TDIP×Ps30表22推理效率测量方法(续)指标说明测量方法AI服务器推理效率AI服务器实际推理准确率与推理能耗的比值e)推理结束时，记录模型在测试集上的实际准确率(具体指标参见场景列表);f)记录实际分派处理延时总覆盖时间Tn;g)记录Tp内的能耗Ps;h)计算推理效率：注：AI服务器及集群推理效率的定义，分别参考了[13]和[14]。当准确率指标(设值为a,a≥0且a≤1)为负向指标(如WER)时，则以(1-a)计。推理弹性单位是百分率每兆字节(%/MB)。推理弹性指标及测量方法，应符合表23的规定：表23推理弹性测量方法指标说明测量方法AI服务器系统推理弹性被测AI服务器系统所处理的数量增加时，分派处理时间的变化a)使用高峰模式；b)被测者记录，每单位时间内，收到的样本数据总量及对应的最大分派处理时间；c)当第i+1个单位时间收到的样本数据总量>第i个单位时间内收到的样本数据总量时，计算区间(i,i+1)的推理弹性：d)计算推理弹性：式中：N——c)中的区间数注1:推理弹性定义参考[1],[2]。注2:假设被测系统能够根据样本数量调整处理能力。sizeInDuration(·)表示计量特定时间段内，获得、输出、持有的数据量。推理承压力的单位为兆字节每秒(MB/s)。推理承压力指标及测量方法，应符合表24的定义：31表24推理承压力测量方法说明被测AI服务器系统在并发压力门a)使用高峰模式；期间已处理的样本数据总量；注2:针对不同场景，实际吞吐率可使用77.3.8视频分析最大路数视频分析最大路数，单位是“路”,指标及测量方法，应符合表25的定义：表25推理视频分析最大路数测量方法指标说明测量方法AI服务器视频分析最大路数被测AI服务器系统，在给定响应超时门限下(表13中1),分析视频流，能承受的最大路数a)在视觉类模型场景的测试时，在实际推理前使用解码器(软件或硬件实现);b)使用固定周期到达模式，用n模拟视频路数，n初始值为1,每个作业含有1帧(1个图像样本);c)并行发送n路视频，帧率：d)如被测系统能按表13规定的超时门限输出处理结果，则将n的值调整为(n+1);e)重复步骤a)和b),直至有任1路视频无法在规定的超时门限返回处理结果为止，则视频分析最大路数为(n-1)路可使用视觉类模型，如表14-表17规定的图像识别、物体检测、语义分割、0CR或人脸识别模型。到达周期T可按实际测试需求确定(如25帧/s,30帧/s等)。7.4推理用测试系统要求7.4.1功能要求测试系统符合以下要求，包含但不限于：a)应能自动检测服务器或接收手动填表的被测系统软、硬件信息，符合5.4的要求；b)应符合7.2.2要求的模式发生推理作业；c)应能接收推理结果并为完成计算指标实现必要的功能，包含：1)超时作业识别及统计；2)作业超时(丢失)率门限检查；T/CESA1169—202132d)应能使用机器学习框架，AI服务器系统提供的使能软件函数库及其他必要信息，完成7.3规定指标的测量，提供指标计算函数；e)应至少能实施7.2.3规定的场景的测试；f)应支持数据类型，符合6.4.1d)的规定；g)应支持配置了容器或使用虚拟化组件的AI服务器系统的性能测试；h)测试完成后应能完全卸载，不残留任何测试组件(不含测试数据);i)应提供日志函数，日志所含内容及格式符合7.1.3b)6)的规定；j)应支持测试者对测试过程的管理和监测，包含但不限于：1)推理过程子阶段的开始或完成事件，包含：·推理作业下载开始；·推理结果数据上传及其完成；2)推理结果数据，符合7.1.3b)的规定；3)测试者对重测的允许及次数控制；4)能提供证据辅助测试者实施测试结果的有效性判定，或自动判定；k)在提前获得测试项目授权后，应支持被测者在测试期内的任意时间发起测试；1)应能在测试者，为不同测试项维护独立的结果数据目录；m)应能支持本地测试(测试者不介入的测试，如预测试、系统调试等)及远程测试(测试者介入)。7.4.2公平性保障要求应提供策略及实现，包含但不限于6.4.2规定的项目。其中，对推理结果的要求符合7.1.3b)。T/CESA1169—202133(规范性)测试代码公开规则A.1通则测试代码公开，应按以下规则执行：a)测试代码公开流程，包含：1)公开条件检查：测试者确认测试结果有效性，应符合6.1.3及7.1.3的规定；2)公开协议检查：代码公开前，按协议检查并实施公开事项。未签署协议的，按本文件的规定实施；3)代码公开：公布于测试者与被测者商定的场所或网络媒体；4)结束公开：在规定的公开周期后，结束公开，原公开场所、媒体上，代码将不可访问。代码结束公开时，代码公开协议即告结束。b)公开义务：1)测试代码可向测试者及组织成员公开。具备合法访问权限时，组织、成员应能浏览、下载；2)被测者不负责向测试者及组织成员之外的机构、团体、企业及个人解释、讲解代码原理或实施结果复现事项；3)已达成协议的不公开部分，不应公开；4)测试代码公开，可不包含：——被测者私有的工具源码(如模型格式转化、部署),该源码功能不含a提出的项目；——被测者使用的公共网络可见的程序源码，但需在测试代码中注明(如：//ref:[源码包名_版本，地址])。A.2训练测试代码公开规则训练测试代码公开，应在符合A.1规定的基础上，包含以下功能的实现：a)网络构造；b)测试工具函数调用(含指标计算，计时，日志，测试起止，校验等);d)训练数据获取；e)训练数据读入；f)训练数据预处理；g)训练启动过程(含学习率调整);h)训练过程(