2024工智能 计算设备调度与协同第第1部分：虚拟化与调度

1目  次前  言 II范围 1规范性引用文件 1术语和定义 1缩略语 3概述 3计算设备虚拟化技术要求 4概述 4基本要求 4扩展要求 7计算资源调度技术要求 107.1概述 10功能要求 11性能优化要求 12调度策略要求 12接口要求 12运维监控技术要求 14AI加速卡监控 14计算实例监控 14AI任务监控 14日志监控 15测试方法 16虚拟化测试 16调度测试 19附录A （资料性）典型处理器的虚拟化参考架构 22参 考 文 献 25I人工智能计算设备调度与协同第1部分：虚拟化与调度范围本文件给出了人工智能计算设备虚拟化与调度的架构，规定了技术要求，描述了测试方法。本文件适用于人工智能计算设备虚拟化与调度的系统设计、研发和测试。规范性引用文件（包括所有的修改单适用于本文件。GB/TAAAAA-AAAA 人工智能服务器系统性能测试规范术语和定义GB/T41867－2022界定的以及下列术语和定义适用于本文件。3.1人工智能计算单元artificialintelligencecomputingunit执行人工智能计算任务所必要的部件的最小集合。注：人工智能计算单元一般封装在人工智能加速器或加速卡中。3.2人工智能加速[处理]器artificialintelligenceacceleratingprocessor人工智能加速芯片artificialintelligenceacceleratingchip具备适配人工智能算法的运算微架构，能够完成人工智能应用运算处理的集成电路元件。3.3人工智能加速卡artificialintelligenceacceleratingcard专为人工智能计算设计、符合人工智能服务器硬件接口的扩展加速设备。注：人工智能加速卡按功能可分为人工智能训练加速卡，人工智能推理加速卡等。3.4人工智能计算实例artificialintelligencecomputinginstance执行人工智能计算任务的虚拟化对象。3.5虚拟化virtualization一种资源表示形式，表示与潜在的物理资源解耦。[来源：ISO/IEC17826:2022，3.55]13.6[异构]资源池[heterogeneous]resourcepool注1：异构资源池提供一种可伸缩计算架构，有利于合理分配计算资源，为不同运行环境（例如云、集群、移动设备、物联网）的人工智能应用系统的开发和部署提供计算能力、存储、带宽和延时保障。2：GPUNPU)3.7计算能力computingcapability产品或系统参数能够满足计算需求的最大程度。注1：参数指能处理的作业数量，能服务的最大用户数量或事务吞吐量等。注2：标称计算能力是特定产品或系统在单位时间内理论上能完成的计算操作次数。3.8神经网络处理器neural-networkprocessingunit一种专门针对神经网络计算进行特殊优化设计的集成电路元件。注：该类集成电路元件擅长处理视频、图像、语音类多媒体数据。3.9人工智能计算任务artificialintelligencecomputingtask为取得特定人工智能计算目标所需的活动。注：本文件中，在不至于误解的语境中，人工智能计算任务一般指推理任务或训练任务。[来源：ISO/IEC25062:2006，4.9，有修改]3.10性能performance注1：性能包含定性及定量的特征。注2：性能基于一个或多个参数（如能耗、流量、吞吐率、运行时间以及速率等）的测量或计算获得，以表征在某机器中运行的某技术过程的行为、特性以及效率。[来源：ISO/IEC20000.10:2018,3.1.16，有修改]3.11人工智能计算集群 artificialintelligencecluster遵循统一控制的，人工智能计算功能单元的集合。注1：人工智能计算功能单元可包含人工智能加速器、人工智能服务器、人工智能加速模组等。注2：当由人工智能服务器组成时，人工智能集群可称为人工智能服务器集群。3.122节点node由网络连接的能完成特定人工智能计算任务的物理或逻辑人工智能计算设备。[来源：ISO/IEC14575:2000，3.2.27，有修改]3.13调度scheduling控制特定任务的整体或部分的执行场所和时间的过程。注：在本文件中，场所一般指人工智能计算单元。[来源：ISO/IEC10164.15:2002，3.7.4，有修改]3.14调度器scheduler一种在系统中完成调度的组件。注：在本文件中，调度器用于面向不同的计算需求分配人工智能计算资源。3.15隔离isolation计算实例间的计算和数据相互不影响和不可访问。注：算力隔离指的是计算实例之间的计算能力不互相影响。[来源：ISO/IECTS25052:1:2022,3.1.5.3,有修改]缩略语下列缩略语适用于本文件。AI：人工智能（ArtificialIntelligence）BAR：基址寄存器（BaseAddressRegister）CPU：中央处理器（CenterProcessingUnits）DDR：双倍速率传输率（DoubleDataRate）DMA：直接存储器访问（DirectMemoryAccess）FPGA：现场可编程逻辑门阵列（FieldProgrammableGateArray）GDDR：图形双倍速率传输存储器（GraphicsDDRSDRAM）GPU：图形处理器（GraphicsProcessingUnits）HBM：高带宽存储器（HighBandwidthMemory）NPU：神经网络处理器（Neural-networkProcessingUnits）PCIE：外设部件互联高速通道（PeripheralComponentInterconnectExpress）QEMU：快速模拟器（QuickEMUlator）QoS：服务质量（QualityofService）USB：通用串行总线（UniversalSerialBus）VFIO：虚拟功能输入/输出（VirtualFunctionInputOutput）VM：虚拟机（VirtualMachine）VMX：虚拟机扩展（VirtualMachineExtension）概述3GB/TXXXXX.1GB/TXXXXX.1—XXXXAI计算设备虚拟化与调度的架构见图1。AI计算虚拟化，为AI物理计算资源提供特定的表示形式，虚拟化方案包含对基于CPU、GPU、NPU、FPGA等物理AI加速卡的虚拟化。（多种）虚拟化方案通过统一（异构AIAI任务和资源池的情AIAIAI物理计算资源（AI加速卡）、AI任务及其状态的监测与控制。注1：虚线框部分不属于本文件标准化的范畴。注2：FPGA的虚拟化方案，涵盖FPGA与CPU的混合架构。注3：1个AI应用可被分解为若干个AI计算任务，下发给调度器。1AI计算设备虚拟化技术要求概述计算设备虚拟化技术是一种计算资源管理的方法，切分、调配或整合含有各类型加速器的不同AI加速卡，使其执行AI计算任务，以提高计算资源利用率。注：本文件规定计算设备虚拟化技术不对网络、存储等其他物理资源提出要求，但对计算资源与其他资源的协同对接提出要求。基本要求AIAI加速卡的虚拟化，包含以下要求：a）应支持单个AI加速卡虚拟化为多个计算实例；b）宜支持多个AI加速卡虚拟成单个计算实例；c）计算实例应能在虚拟机或容器中执行计算任务；d）宜支持单个AI加速卡的算力隔离；e）计算实例应能被计算设备调用。监控功能4虚拟化组件或系统，宜实现下列对计算实例的监控功能，包括：a）资源（含计算资源）利用率监测；算子执行时延统计；计算实例带宽利用率监测；计算实例的性能波动（见9.1.4.4）监测；e）AI加速卡的计算能力损耗统计；f）隔离性虚拟化组件或系统的隔离性包含如下要求：a）故障隔离，应符合以下要求：计算实例内的单点故障信息只上报其所属的虚拟机或容器及虚拟化管理系统；支持多个计算实例运行互不干扰；提供调用、返回特定计算实例的业务故障；支持计算实例获知其所依赖物理设备的单点故障。 安全隔离，应能实现下列功能，包含但不限于：防止仿冒；防止篡改；防止信息泄露；防止拒绝服务攻击；防止权限提升；防止抵赖。重配置a）应为单个AI任务的独立运行，实现QoS服务质量机制；b）AI任务的同时运行，实现资源获得公平性机制；注：公平性指的是相同优先级的不同用户和程序对于计算资源有着同样的使用权。应为AI（；d）高可用集群；负载均衡，即分配特定的业务（网络服务、网络流量等）给多台网络设备（包括服务器、防火墙等）或多条链路；内存复用，方式包括内存气泡、内存置换、内存共享等；CPU、内存、AIAI计算加速卡间互联信息。资源抽象虚拟化与调度系统的资源抽象，符合以下要求：计算实例应支持执行以下计算，包括但不仅限于：5完整的卷积计算；完整的向量计算；完整的标量计算；数据传输、交换和格式转换。计算实例应包含以下部件并作为调度依据：计算部件；存储部件，如缓存、内存等；数据通信部件。1个计算实例可对应单台或多台AI计算设备的全部物理资源或部分物理资源；AI加速卡所含的硬件资源应能被映射为多个AI事件、标识和任务及相关机制以软件实现时，应不受硬件资源总数的限制。协调性AI任务的计算图的任务抽象与资源抽象应具备协调性，符合如下要求：注：AI计算图用有向图表示，1个有向图由点和边构成，表示神经网络的计算流程，是一种逻辑流图，在硬件上转换为物理流图。AI任务数据流图中的资源抽象包括：有向图中的点表示计算；有向图中的边表示数据依赖；数据流连接线以外出箭头表示将数据写入数据存储；数据流连接线以输入箭头表示从数据存储中读取数据。b）计算流应考虑如下约束：计算流的同步，即一个计算流中的任务依赖于另一个计算流中的任务；计算流可并行处理，受硬件资源约束。计算实例要求计算实例表示计算实例应由以下属性表示：a）计算实例规格，包含：计算能力，如吞吐率、有效计算能力、FLOPS内存空间，如片上内存等；数据传输率，如上下行带宽；FP16、INT8b）AI加速卡所属的服务器及其在服务器中的位置；服务器所属的集群，及其在集群中的位置。c）使用中：计算实例当前正在执行相关的计算任务；可用：当前的计算实例整体或其部分，处于空闲状态；6不可用：当前计算实例已被占用或损坏，无法执行相关任务。计算实例管理AI加入新的计算实例；计算实例被释放；空闲计算实例被占用；计算实例进入等待队列；计算实例被损坏；损坏的计算实例修复。单个AI加速卡的虚拟化，宜通过接口调用满足如下功能：创建的AIAIAI，并提供相关的查询，包括但不限于：Pythonsysfs对计算实例的操作、控制接口；提供可写接口，用于填入创建虚拟化节点的必要信息；设备描述信息获取接口；虚拟化计算节点的驱动接口信息（API）；指向每个虚拟化计算节点的软链接。AIb）恢复已删除的资源（如计算资源的重新发现）。AIa）计算能力的监控和统计信息（如资源调度层所管理的物理计算能力的总和）；b）计算实例所在的AI加速卡信息；c）计算实例的规格信息，包括内存、可观测带宽等；d）计算实例的算子时延剖析、时延统计信息。AI单AI加速器的分配；多AI加速器的整体原子分配（全部分配成功，或全部都分配失败）。AI一次回收多个计算实例，且保证操作的原子性。扩展要求CPU概述7CPU虚拟化分为基于软件的虚拟化和硬件辅助的虚拟化。CPU一般用于推理任务。虚拟机可使用多个CPU计算实例，这些计算实例可源于同一个物理CPU或多个物理CPU的虚拟化。CPU虚拟化的参考架构见A.2。CPUCPU虚拟化系统或组件，应符合以下要求：a）CPU计算实例能完成机器学习推理任务；b）能避免宿主机上CPU资源的浪费；支持CPU计算实例的动态横向弹性伸缩，为虚拟机添加CPU计算实例；d）CPU计算实例亲和性配置；CPU计算实例的规格，应使用以下指标衡量：处理器内核数；每个内核的线程数；CPU内存容量；缓存容量。GPU通则GPU的虚拟化，应符合如下要求：a）支持计算能力按需使用；b）支持计算能力动态调用和释放。GPUGPU虚拟化系统或组件，应符合以下要求：支持其非虚拟化版本能执行的机器学习算法；b）GPU计算实例，包含以下部件：计算部件：执行计算的单元，即流处理器，完成整型和浮点型计算；视频编解码部件；DDR、GDDRHBM（MBGBGB/s）；各级缓存（MBGBGB/s）；d）GPU计算实例的规格，应使用以下指标衡量：计算能力（单位如：OPS\FLOPS\吞吐率\算力比例）；视频编解码能力（单位如：11080P，30FPS）；显存容量（单位如：MB\GB）；缓存容量（单位如：MB）；网络宽带和收发包吞吐率（GPU）。NPU通则82NPUNPU的虚拟化架构见图2，参考方案见A.1。NPU的虚拟化组件或系统，符合以下要求：a）AINPUAINPUAINPUNPU将AINPUNPUNPU计算QoS控制机制；NPU实例，应提供如下计算属性：张量计算能力，如张量计算单元个数；向量、标量等通用计算能力，如通用计算单元个数\协处理器核的个数；如具备视频图像预处理模块，应提供相关的计算能力属性，如视频解码器计算核个数。d）NPU实例，应提供内存容量（单位：GB）作为存储属性；e）宜支持按AI任务的计算量，动态调整计算实例规格。NPUNPU计算实例，应符合以下要求：提供矩阵乘的计算部件，执行卷积与全连接的计算：具有执行矩阵计算的计算核心；具备缓存矩阵分别存储中间过程数据和结果数据；具备数据寄存器，寄存矩阵运算的过程数据与结果。提供向量运算的部件，以执行池化、激活函数以及批正则化等运算：执行向量计算的单元；相关的存储单元。提供控制和标量运算的计算部件，包含：执行标量运算的单元；通用寄存器；专用寄存器。9提供数据的存储部件；提供数据通路部件，保证计算部件与存储部件之间的数据供应；f）NPU计算实例能执行并完成AI推理和训练任务；NPU计算实例的规格，用以下指标衡量：计算能力（单位：FLOPS/OPS/吞吐率）；内存容量（单位：GB）；缓存（单位：KB/MB）；剩余带宽（单位：GB/s）。FPGA通则FPGAFPGAFPGAa）支持深度学习加速，并具备性能隔离特性；b）支持多路计算；c）支持FPGAOverlay，在FPGA硬件之上，形成虚拟可编程架构，支持上层使用；d）支持部分可重构，将FPGA划分为多个FPGA计算实例；e）支持FPGA动态重构和配置。FPGAFPGA计算实例，应符合以下要求：a）支持其非虚拟化版本能执行的机器学习任务；b）为一个或多个动态重构的FPGA区域；对特定FPGA计算实例实施动态重构时，其他运行不受影响；d）FPGA资源的空置和浪费；e）FPGA计算实例规格，由以下指标衡量：计算能力（如：OPS/吞吐率）；延迟；功耗；灵活度。计算资源调度技术要求概述任务流程框架计算资源调度的任务流程见图3，包含以下步骤：用户提出训练或推理请求，作为AI任务放入任务池；调度器从AI（和可用AI调度器对所有的异构计算资源和计算实例实施监控，完成任务的调度。103AI训练场景AI加速卡的资源利用效率较高。单训练任务对AI加速卡资源的占用情况包括以下情形：a）在单AI加速卡上运行，该卡资源被全部占用；b）在单AI加速卡上运行，该卡资源未被全部占用；c）在多AI加速卡上运行，全部加速卡资源均被占用；d）在多AI加速卡上运行，部分加速卡存在空闲资源。推理场景推理任务对AI计算单元的占用，包含如下情形：a）模型体量较小，能容纳于单卡或单片内存时：AI（部署时根据计算任务申请所需计算资源，优先在单芯片上安排推理任务，使单芯片满载。注：满载指的是对特定计算设备的计算能力全部用于虚拟化得到计算实例。模型体量较大，不能容纳于单卡或单片内存时：模型所含参数量多，模型结构复杂，任务吞吐量大，拆分为多个子模型；数据搬运在单芯片内数据搬运速度最快，跨卡调度影响计算速度；计算资源的调度以卡为单位分配；调度器将推理任务按照模型体量实施拆分；AI功能要求调度器应实现下列功能：a）对整AI加速卡（处理器）的调度；b）对池化的多AI加速卡的调度；11对单AI加速卡上计算单元的调度；对单AI加速卡虚拟化所得的多计算实例的调度；e）AI加速卡中的多个计算单元的调度；对多个计算单元或多个AI加速卡的调度，应保证调度操作的原子性；模型切换，在同一计算实例上，在某模型运行完成时，能换入另一个模型并运行；i）性能优化要求调度器性能优化符合以下要求： CPUCPUAI加速器、外围设备、内存等；对多卡调度，宜能在调度过程中参考集合通信组件的属性和状态；c）AI任务在异构计算设备上的系统性能分析工具。调度策略要求调度器调度策略宜考虑如下的因素：a）使全局资源的平均利用率最高；b）调度的计算资源涉及多个AI加速器时，根据卡的拓扑来制定调度策略（如亲和性调度）；c）支持用户自定义调度。接口要求接口类型虚拟化接口包括：a）调度器与CPU、GPU、FPGA、NPU等计算资源之间的接口；b）调度器与AI应用中机器学习框架的接口。接口描述计算实例创建计算实例创建应符合表1列出的接口要求：表1计算实例创建相关接口接口编号名称功能语义描述参数输入/输出可选/必选a）实例表示模板设置虚拟化切分得到的计算实例计算能力（如张量计算核心数）输入必选内存容量输入必选虚拟化时所包含的数字视觉预处理模块输入可选12b）创建计算实例按照需求，指定规格，创建计算实例设备ID输入必选芯片ID输入必选实例表示模板输入必选需要创建的虚拟设备号输入必选c）设置虚拟化模式实例的模式容器模式：适用于计算实例挂载到容器输入必选虚拟机模式：适用于计算实例挂载到虚拟机输入必选计算实例监控计算实例监控应符合：获取单个物理AI加速卡的信息，见表2：表2获取加速卡信息名称功能语义描述参数输入/输出可选/必选设备信息获取获取单个物理AI加速卡信息虚拟化后可用计算实例最大数量输出必选已在执行计算任务的计算实例数量输出必选资源占用情况，含执行任务的计算实例资源占比和剩余可虚拟化的资源占比输出必选获取计算实例规格，接口描述见表3，获取的规格信息满足6.4.1和6.5.1.2e)，6.5.2.2h),6.5.3.2g)或6.5.4.2e)的要求：表3获取计算实例规格名称功能语义描述参数输入/输出可选/必选获取计算实例规格获取计算实例的规格信息实例规格输出必选获取计算实例状态，接口描述见表4，状态属性要求见6.4.1：表4获取计算实例状态名称功能语义描述参数输入/输出可选/必选获取计算实例状态获取计算实例的状态实例状态输出必选13运维监控技术要求AIAI加速卡监控符合以下要求：应能监控AI加速卡的下列属性：计算能力；带宽；内存。应能监控并返回计算实例的下列统计信息：计算实例的总数；可用的计算实例数；占用的计算实例数。应能监控单AI加速卡上各计算实例的性能偏移的情况；注：对单AI加速卡，虚拟化N（N是正整数）个相同规格的计算实例时，每个实例的参考性能是1/N，实际性能与参考性能的绝对值是性能偏移。应能监控返回AI加速卡的状态：资源占用比例；可用比例；是否损坏。应能监控返回以下关于AI任务的信息：训练任务或推理任务的吞吐量；AI计算实例监控计算实例监控符合以下要求：支持对计算实例状态的监控（见6.6.2.2）；支持对计算实例的异常检测，并对用户开放定制化的检测项；支持计算实例的异常警告，并支持用户自定义警告的阈值和警告的方式；d）AIAI任务通过系统性能分析工具监控，工具宜提供系统状态预测或监控信息，包括但不限于：a）AI任务相关性能信息：计算图信息：计算图执行时间、推理时间、图像等数据的预处理时间；算子的执行时间：单算子执行起止时间、单算子耗时；APIAI任务调度的任务运行时序信息。 硬件视图方式，展示数据传输的带宽信息，可帮助用户或调度器找出数据处理和传输的瓶颈，如读写带宽过低可能是算子编写的数据搬运过程有问题；AI处理器函数和CPU函数视图：采集各形式处理器上的热点函数（执行频率较高的函数）；14概括性视图，汇总采集的信息并展示，包含但不限于：性能数据采集起止时间及耗时；CPU加速设备信息（GPU、NPUFPGA）CPUAI内存及高级缓存信息，即整个采集过程中内存读写带宽的平均值；CPUCPUAI图像视频任务相关信息，包括但不限于：任务的时间、任务的帧数等。e）AI计算任务（推理或训练）、数据输出的耗时。日志监控日志收集级别运维监控过程应收集以下级别的日志：a）（ERROR）：非预期的数据或事件；影响面较大但是内部模块可处理的错误；限制在模块内的错误；对其他模块有影响但较轻微的错误，如统计任务创建失败；引起调用失败的错误。b）提供警告级别的日志（WARNING），如设备状态与预期不一致，但不影响系统的运行。c）提供正常级别的日志(INFO)，设备正常运行的信息；提供调式级别日志（DEBUG），记录调式信息，协助开发维护人员定位问题；e）（EVENT），如：整网运算启动、完成和异常终止；内存耗尽；设备温度超出正常阈值。日志记录信息a）b）c）进程名称；日志打印的时间；15各模块日志内容。日志处理日志的处理，应符合以下要求：支持加速设备的管理，如新增、删除、修改等；对用户，提供日志的查询，按关键字搜索日志内容；c）d）提供和日志下载和保存的功能。测试方法虚拟化测试性能隔离测试概述性能隔离测试应计量性能偏差，即实际性能与理论性能之差的绝对值，性能指标为吞吐率。示例：单用户或任务独占单AIp25P/4。虚拟化方案应尽可能使计算实例的实际计算能力接近理论值。偏差（小于理论值的幅度）越大，性能p^'理论值p注：单AI加速卡通过虚拟化切分为多计算实例时，各实例应能分配给多个用户使用。对任意AI计算任务，每个计算实例按需分配，且同一加速卡上的各计算实例的性能应不相互干扰。测试方法性能隔离测试应按以下规则实施：a）选取特定AI任务，实施测试；测得基准性能作为理论值（见9.1.1.3a））；对特定AI任务，分配单AI加速卡一定比例（见9.1.1.3b）~9.1.1.3e））的计算资源；注：比例数值在具体测试时确定，但对同一测试批次中不同AI加速卡的虚拟化测试，应保持一致。设定单AI加速器上所执行的最大任务数量n（n为正整数），对该任务使用已分配的计算资源，为剩余（n-1）个任务分配剩余的计算资源；按9.1.1.1计算性能偏差；性能隔离测试，按下列因素排列组合，确定模式：训练或推理；单一模型或多模型负载；是否满载。测试负载性能隔离测试负载包含：基准性能：单模型负载独占单AI加速卡（无虚拟化），测得基准性能，负载见表5；表5基准负载测试测试项序号模型分配资源占比数据集161MobileNet100%（无虚拟化）ImageNet20122ResNet50100%（无虚拟化）ImageNet20123VGG16100%（无虚拟化）ImageNet20124InceptionV3100%（无虚拟化）ImageNet2012AIAI任务，负载见表6；表6单模型满载训练测试项序号模型负载个数数据集分配比例1MobileNet2ImageNet20121:22MobileNet4ImageNet20121:1:2:43ResNet502ImageNet20121:14ResNet504ImageNet20121:1:2:45InceptionV32ImageNet20121:16InceptionV34ImageNet20121:1:2:47VGG162ImageNet20121:18VGG164ImageNet20121:1:2:4多模型满载：将单AI加速卡按比例虚拟化获得多个计算实例，每个计算实例运行不同的模型,负载见表7；表7多模型满载训练测试项序号模型1/分配计算实例占比模型2/分配计算实例占比模型3/分配计算实例的占比数据集1MobileNet/25%ResNet50/25%VGG16/50%ImageNet20122MobileNet/50%MobileNet/25%VGG16/25%ImageNet20123MobileNet/25%Resnet50/25%InceptionV3/50%ImageNet2012AIAI表8单模型非满载训练测试项序号模型负载个数数据集分配比例1MobileNet2ImageNet201225%,50%2MobileNet3ImageNet201212.5%,12.5%,25%3ResNet502ImageNet201225%,50%4ResNet503ImageNet201212.5%,12.5%,25%5InceptionV32ImageNet201225%,50%176InceptionV34ImageNet201212.5%,12.5%,25%7VGG162ImageNet201225%,50%8VGG164ImageNet201212.5%,12.5%,25%任务动态扩展测试概述（任务到达（任务执行完毕或取消测试方法任务动态扩展测试应按以下规则实施：a）b）任务数取值为1，2，4，8，16；c）记录不同任务量下的吞吐量。测试负载任务动态扩展测试的负载见表9。表9基准负载测试测试项序号模型任务数数据集1MobileNet1,2,4,8,16ImageNet20122ResNet501,2,4,8,16ImageNet20123VGG161,2,4,8,16ImageNet20124InceptionV31,2,4,8,16ImageNet2012性能损耗测试概述对单AI加速卡，性能损耗是非虚拟化使用时的满载性能与虚拟化后满载性能的差值。测试方法性能损耗测试应按以下规则实施：被测AI加速卡的计算实例数应不小于3；性能损耗测试，按下列因素排列组合，确定模式：多计算实例相同负载；多计算实例不同负载。测试负载性能损耗测试的负载见9.1.13）a）~9.1.1.3c）。测试指标18吞吐率吞吐率定义及计算方法见GB/TAAAAA-AAAA中6.3.3（训练）和7.3.3（推理）。性能偏差性能偏差指虚拟化后所得AI计算资源的理论性能与实际性能之差的绝对值，按公式（1）计算：注：如有超过1个指标同时作用，应设定在其他指标相同或不变的情形下开展测试。n式中：n

Δpii=1

P×ai−pii

（1）Δpii ——单AI加速卡虚拟化后的性能偏差；n ——计算实例的个数；P ——理论性能（基准性能）；ai ——每个计算实例分配的资源占整卡的比例，取值可为：12.5%，25%，50%，75%；pii ——每个计算实例的实际性能。性能损耗性能损耗指非虚拟化使用时的满载性能与虚拟化后满载性能的差值，按公式（2）计算：C =1−Tv×Cthep*1tt% （2）式中：Clthh ——性能损耗；

lthh

Tp CthevTv ——AI任务在计算实例上的执行时长；Tp ——相同AI任务在未虚拟化的物理机上的执行时长；cthep ——是物理机的计算单元数；Cthev ——虚拟化后计算实例的计算单元数。性能波动AImaxT式中：n ——第n个计算实例；N ——计算实例总数；

∂=n∈NminTn∈N

（3）T ——运行特定计算任务的时间长度，按GB/TAAAAA-AAAA中6.3.1（训练）和7.3.1（推理）调度测试调度测试范围包含：a）集群利用率：所有AI加速卡（含已经故障下线的AI加速卡）的使用情况。越接近1.0越好；b）资源调度成功率：特定周期内调度成功次数与资源请求总次数的比例；注：前提要求实际物理资源与请求的资源是匹配的，请求的资源量没有超过实际的物理资源量。19c）任务资源利用率：实际分配给单AI任务使用的计算资源的使用情况。注：GPU的利用率一般指流处理器的利用率。测试方法调度测试按以下规则实施：a）集群调度的测试应规定具体的测试时间段，如7自然天，15自然天或30自然天等；b）对比测试时，测试负载模型、数据集、优化方法等应保持一致；任务负载按下列因素排列组合，确定模式：数据量；计算量，按负载模型体量划分；场景，按模型功能覆盖划分（resnetMobileNet）；任务（训练或推理）到达的模式，包括：离线、时分均匀、泊松到达等。集群利用率的检测周期为1个月，如对特定单AI加速卡，在周期内以固定频率（如1s）检测，记录每次的利用率。测试负载调度测试使用以下负载：a）单一负载，包含：视觉负载，包括图片、视频任务；自然语言处理负载；普通机器学习负载（可选）。混合负载，即3种单负载，按特定比例组合，实施测试。测试指标集群利用率集群利用