GBT 47476-2026《智能计算 图计算性能测试方法》

本文件描述了图计算性能的测试方法，包括测试对象、测试指标、测试要求和测试流程。本文件适用于图查询系统、图分析系统及图学习系统的性能测试。2规范性引用文件本文件没有规范性引用文件。下列术语和定义适用于本文件。设定响应时间expectedresponsetime图查询系统中从查询请求发出到收到响应的时间预期上限。响应及时率responsetimelinessrate在设定响应时间内完成响应的查询占总查询数的百分比。响应时间分布responsetimedistribution所有查询请求的响应时间统计分布。训练时间trainingtime注：预设终止条件通常包括达到设定的迭代轮次、达到设定的训练精度、损失函数收敛或提前停止等。迭代轮次epoch在训练过程中，模型对全部训练数据完成一次完整前向计算和反向传播的训练周期。4缩略语下列缩略语适用于本文件。2CPU:中央处理器(CentralProcessingUnit)SF:比例因子(ScaleFactor)5测试对象与测试指标5.1测试对象测试对象包含图查询系统、图分析系统及图学习系统。5.2测试指标5.2.1图查询系统图查询系统性能测试包含以下指标。a)吞吐量吞吐量表示图查询系统单位时间内能完成处理的查询请求数，用于衡量图查询系统的整体并发处理能力。按照公式(1)计算：Thr=N/T式中：Thr———吞吐量，单位为每秒处理的查询数；N——查询请求数量，单位为次；T——完成N次查询操作所耗费的总时间，单位为秒(s)。b)响应及时率响应及时率表示图查询系统在设定响应时间内完成的查询请求数量与总查询请求数量的比值，按照公式(2)计算：式中：N,——在设定响应时间内完成的查询请求数量，单位为次；N——总查询请求数量，单位为次。c)存储占用存储占用表示图查询系统在运行过程中实际使用的内存、显存(如涉及)、外存空间数量，单位为兆字节(MB)。d)扩展性扩展性表示图查询系统在固定查询负载时通过增加计算节点数量提升性能的能力，或在查询负载与计算节点数量同比例增加时保持性能稳定的能力，分别可用性能加速比和性能保持系数表示。性能加速比按照公式(3)计算：trun=tend-tstart……… 3 (6) 34式中：P——精确率；TP——真正例数；FP——假正例数；R—召回率；FN—假负例数。2)对于聚类任务，模型效果指标为准确率，按公式(9)计算：式中：N.——聚类结果中被正确分配类别的样本数；N,——总样本数。3)对于预测任务，模型效果指标为均方误差，按公式(10)计算：式中：y;——样本i的真实值；y;—模型对样本i的预测值；n——样本总数。b)训练时间训练时间表示图学习系统从数据加载、模型初始化到模型参数收敛所耗费的总时间，用于衡量图学习系统在模型训练阶段的效率。按公式(11)计算：ttrain=tend-tstart式中：train——模型训练时间，单位为秒(s);tstart——模型训练开始时间，单位为秒(s);tend——模型训练结束时间，单位为秒(s)。c)推理时间推理时间表示图学习系统在模型训练完成后，对输入数据进行推理或预测所需的时间，用于衡量系统的推理效率。对于顺序输入单条数据推理时间按照公式(12)计算：式中：ts——平均推理时间，单位为毫秒(ms);t;,cnd——第i条推理请求完成时刻，单位为毫秒(ms);t;,star——第i条推理请求开始时刻，单位为毫秒(ms);n——推理样本或请求总数。对于批量输入的单条数据推理时间按照公式(13)计算：tbatch——批量模式下平均单条数据的推理时间，单位为毫秒(ms);t;.start-—第j批推理开始时刻，单位为毫秒(ms);t;,en—第j批推理结束时刻，单位为毫秒(ms);存储占用表示图学习系统在模型训练和模型推理过程中实际使用的内存、显存(如涉及)、外存空间数量，单位为兆字节(MB)。e)扩展性扩展性表示图学习系统在固定训练测试数据集规模时通过增加计算节点数量提升性能的能力，或在训练测试数据集规模与计算节点数量同比例增加时保持性能稳定的能力，分别可以用性能加速比和性能保持系数表示，计算公式参见公式(3)和公式(4)。6测试要求6.1通用要求6.1.1测试环境6.1.1.1测试环境组成测试环境应包含被测系统、测试驱动系统、测试网络及测试辅助工具，各组成部分如下：a)被测系统：待测的图查询系统、图分析系统或图学习系统；b)测试驱动系统：包括测试负载(数据)、加载测试负载对被测系统进行性能测试的测试驱动，及其运行所需的软硬件环境；c)测试网络：由用于搭建测试网络环境的网络设备及其配置组成；d)测试辅助工具：包括用于数据导入、监控与日志、数据分析等为测试过程提供支持的各类工具。6.1.1.2测试环境可比性不同被测系统的软硬件环境宜保持一致，以保证测试结果的可比较性。无法保证被测系统硬件环境的一致时，为便于评估被测系统的性能价格比，应披露被测系统的计算节点数量信息及计算节点软硬件配置信息，其中被测系统计算节点软硬件配置信息具体应包括以下方面。a)软件配置信息：1)操作系统类型及版本信息；2)JDK版本信息(如涉及);3)MySQL版本信息(如涉及)。b)硬件配置信息：2)内存信息，包括容量及类型；64)网卡信息，包括型号及带宽；5)交换机信息，包括型号及交换容量；6.1.2测试前提条件6.2图查询6.2.1测试代码被测系统宜采用能灵活表达查询目的查询语言。所编写的用于图查询性能测试的代码应披露，包含但不限于查询语言、SDK、驱动程序。测试数据集用于性能测试的测试数据集应分为两部分，一部分在性能测试前批量加载到图查询系统中用作基础数据，该部分数据应至少占总数据集的80%,另一部分用作性能测试过程中的测试负载数据，该部分数据集应不多于总数据集的20%。测试数据集还应满足以下要求。a)测试数据集基于具备代表性的现实图应用数据模型进行构建与生成。数据集模拟真实应用场景中典型时段的数据状态，体现真实场景数据特征，数据特征包括数据量大小、各类顶点占比、属性取值、关系分布，以及典型的查询负载模式等。b)测试数据集具有可扩展性，能根据不同的SF数值生成不同规模的测试数据集，以适应不同规模的图查询系统。测试驱动a)具备数据加载、负载生成、结果统计、结果验证和报告生成等模块；b)具备结果正确性验证、性能压测等功能；c)具备参数配置功能，通过参数配置实现测试负载压力大小调整、负载混合比例调整、测试时长调整；注：负载混合比例指不同类型操作在测试负载中的配比关系，例如读写操作比例、不同查询复杂度操作比例。d)支持加载测试负载数据，作为图查询的输入；f)提供良好的集成接口，方便被测试系统快速接入。6.2.4测试负载6.3图分析6.3.1测试代码被测系统应提供能通过测试驱动调用的测试专用接口或可执行程序。所编写的用于测试驱动调用的代码应披露。6.3.2测试数据集测试数据集为用于加载到图分析系统中进行算法测试的基础数据，满足如下要求：b)测试数据集应包含图拓扑数据，宜包含测试算法的正确运行结果数据，以验证被测系统图算法的运行结果是否正确。6.3.3测试算法测试算法是用于测试被测系统所包含基础算子模型功能的基准，应满足以下要求：a)支持图遍历算法；b)支持路径查询算法；c)支持重要性分析类算法；d)支持社区发现类算法；e)支持关联性分析类算法；f)支持图匹配算法。测试驱动用于数据预处理、加载、算法执行、结果输出、结果校验等阶段的流程控制，应满足以下要求：c)支持除结果校验阶段外各阶段运行时间统计；d)提供自动生成测试报告功能；6.4.1测试代码由于目前未有统一的图学习模型编程语言，被测系统可使用任意能执行图学习模型功能目的语言或API,所编写的用于性能测试的代码应披露。6.4.2测试数据集用于性能测试的测试数据集应分为两部分：一部分在性能测试前应能批量加载到图学习系统中用作基础数据，该部分数据应至少占总数据集的80%;另一部分用作性能测试过程中的测试负载数据，该部分数据集应不多于总数据集的20%。测试数据集同时满足以下要求：a)测试数据集应基于具备代表性的现实图应用数据模型进行构建与生成。数据集应模拟真实应用场景中动态演化的图结构，应能体现真实场景数据特征，包括各类顶点占比、属性取值，关系分布及其时序变化趋势，并包含标注信息或可生成标签的机制等；86.4.3测试模型测试模型库是用于测试被测系统所包含的执行计算任务的集成函数功能的基准，应满足以下要求：a)支持卷积图神经网络；b)支持循环图神经网络；c)支持图注意力网络；d)支持图残差网络；e)支持超图神经网络；f)支持异构图神经网络。下游任务库是用于检验被测系统解决实际场景问题性能的基准，应满足如下要求：注1:分类指将图数据中的顶点/边/图本身分成指定或未指定数量的不相交的群组。b)支持聚类任务；注2:聚类指离散的若干个图数据，按照某种规律聚成指定或未指定数量的类别。c)支持预测任务。注3:预测任务主要包含预测链路、标签传播，以及顶点/边/属性的动态变化规律预测。6.4.5测试驱动测试驱动用于数据预处理、加载、模型训练、模型推理、性能汇总等阶段的流程控制，应满足以下要求：a)具备数据预处理、加载、模型训练、模型推理、性能汇总等模块；d)提供自动生成测试报告功能；e)提供灵活流程控制系统，支持测试算子、测试数据和下游任务配置。7测试流程7.1图查询系统7.1.1响应及时率和吞吐量7.1.1.1测试目标本项测试用于确定图查询系统查询操作的响应及时率和系统吞吐量。7.1.1.2测试步骤本项测试步骤如下。a)选定测试数据集规模。b)导入测试数据集基础数据部分到被测系统，在导入数据完整前提下，应记录数据导入时d)使用测试驱动对被测系统进行测试，应测试至少2h以获得稳定可复现的测试结果。测试开9始前，应对图查询系统进行复位等清理工作，应能使被测系统环境处于最初始状态。测试阶段分为数据预热、正式测试两个阶段，其中预热阶段所使用的查询语句应与正式测试阶段所使用的查询语句相互独立，不应重复或等价。测试开始后，在数据预热阶段，应记录数据预热时长twarmu,在正式测试阶段，应记录每一个查询操作的请求发出时间tquery_Lstar及执行结束时e)测试完成后，计算正式测试阶段每一个查询操作的耗时tqury.i=tqueryLendtgqucryistar,并统计查询操作耗时大于设定响应时间tsetresponse的查询数量。f)计算响应及时率及吞吐量。7.1.1.3测试报告测试报告应包含以下信息。a)测试结果信息，包括：1)查询操作的响应及时率；2)被测系统的吞吐量。b)被测系统配置信息，包括：1)被测系统计算节点数量及单机或分布式部署结构形态信息；2)被测系统计算节点的软件配置信息，详见6.1.1.2a);4)被测系统采用的图模型。c)测试任务信息，包括：2)测试负载信息，包括数据集规模、负载混合比例；3)测试采用的查询语言。d)测试过程信息，包括：1)数据导入时长；5)查询响应时间分布，包括平均响应时间、响应时间中位数(50%)、90%响应时间、95%响应时间、99%响应时间及最大响应时间。e)被测系统状态信息，包括：1)处理器运行状态，包括测试执行过程中CPU平均使用率及最大使用率、GPU平均使用率及最大使用率(如涉及)、专用芯片平均使用率及最大使用率(如涉及);7.1.2.1测试目标7.1.2.2测试步骤本项不必单独进行测试，应在执行7.1.1测试时，进行相关记录。7.1.2.3测试报告测试报告至少应包含以下信息。a)测试结果信息，包括：1)被测系统启动运行稳定10min的内存、显存(如涉及)及外存的存储占用瞬时值；3)被测系统数据导入完成10min后的内存、显存(如涉及)及外存的存储占用瞬时值；4)被测系统在执行测试期间的内存、显存(如涉及)及外存的存储占用最大值；5)被测系统测试结束10min时的内存、显存(如涉及)及外存的存储占用瞬时值。7.1.3扩展性7.1.3.1测试目标本项测试用于评估图查询系统在固定查询负载时通过增加计算节点数量提升性能的能力，及在查询负载与计算节点数量同比例增加时保持性能稳定的能力。7.1.3.2测试步骤本项测试步骤如下。a)选定固定规模的测试数据集和基准查询负载。c)按照以下配置分别执行测试：1)在固定基准查询负载条件下，分别以不同计算节点数量运行测试，记录各次测试的执行时2)在查询负载与计算节点数量同比例增加的条件下，分别以不同计算节点数量及对应查询d)根据各组配置的测试结果，计算节点数量增加时的性能加速比，以及查询负载与计算节点数量同比例增加时的性能保持系数。a)测试结果信息，包括：b)各次测试配置下的被测系统配置信息，被测系统配置信息应包括7.1.1.3b)所规定的内容。c)各次测试配置下的测试任务信息，测试任务信息应包括7.1.1.3c)所规定的内容。d)各次测试配置下的测试过程信息，测试过程信息应包括7.1.1.3d)所规定的内容。7.2图分析系统7.2.1.1测试目标本项测试用于确定图分析系统在选定测试数据集上执行指定图分析算法得出结果所消耗的时间。7.2.1.2测试步骤本项测试步骤如下：a)对选定测试数据集执行数据预处理过程，处理成图分析系统所需中间文件，记录数据预处理阶段运行时间Tprepocesing;b)选定测试算法，给出固定的算法配置参数，使用测试驱动对被测系统执行加载、算法执行、结果c)对b)过程的输出结果进行结果校验，并记录校验结果；d)对同一测试算法，执行b)、c)过程3次～5次，计算并记录平均数据加载时间Tavgpreprocessng、平e)对同一测试数据集下多个测试算法，依次执行b)、c)、d)过程。7.2.1.3测试报告测试报告应至少包含如下信息。a)测试结果数据，即给定规模测试数据集和测试算法下平均算法执行时间。b)被测系统配置信息，应包括7.1.1.3b)所规定的内容。c)测试任务信息，包括：2)测试算法执行的参数配置；3)测试采用的测试语言。d)测试过程信息，包括：1)给定规模测试数据集和测试算法下的平均数据预处理时间、平均数据加载时间、平均结果输出时间；2)给定规模测试数据集和测试算法下的结果校验正确性和错误记录。e)被测系统状态信息，包括：2)给定规模测试数据集和测试算法下的数据预处理、加载、算法执行、结果输出等各阶段的存储占用情况使用。7.2.2存储占用7.2.2.1测试目标7.2.2.2测试步骤本项无须单独进行测试，应在执行7.2.1测试时，进行相关记录。测试报告应至少包含如下信息。a)测试结果信息，包括：1)被测系统启动运行稳定10min后的内存、显存(如涉及)及外存的存储占用瞬时值；3)被测系统测试结束10min时的内存、显存(如涉及)及外存的存储占用瞬时值。b)被测系统的存储配置信息，包括内存、显存(如涉及)及外存等存储容量配置。7.2.3扩展性7.2.3.1测试目标本项测试用于评估图分析系统在固定问题规模时通过增加计算节点数量实现性能提升的能力，及在问题规模与计算节点数量同比例增长时维持稳定性能的能力。本项测试步骤如下。c)按照以下配置分别执行测试：1)在固定测试数据集规模条件下，分别以不同计算节点数量重复执行相同的图分析测试，记录每次测试的执行时间TamayisscaLji;2)在数据规模与计算节点数量同比例增加的条件下，分别执行相应的图分析测试，记录每次d)根据各组配置的测试结果，计算节点数量增加时的性能加速比，以及数据规模与计算节点数量同比例增加的性能保持系数。测试报告应至少包含以下信息。a)测试结果信息，包括：1)计算节点数量增加时的性能加速比；2)数据规模与计算节点数量同比例增加的性能保持系数。b)各次测试配置下的被测系统配置信息，被测系统配置信息应包括7.1.1.3b)所规定的内容。c)各次测试配置下的测试任务信息，测试任务信息应包括7.2.1.3c)所规定的内容。d)各次测试配置下的测试过程信息，测试过程信息应包括7.2.1.3d)所规定的内容。7.3图学习系统7.3.1模型效果7.3.1.1测试目标本项测试用于确定图学习系统的模型训练效果。7.3.1.2测试步骤测试步骤如下。a)选定图学习场景任务，选定对应规模的测试数据集，包括训练数据集和验证数据集，可为单一数据集或多种数据集。b)根据场景任务，构建训练模型和模型参数，宜是被测系统下的算法模型的配置组合。1)分类任务的测试指标包括精确率、召回率和F₁值；2)聚类任务的测试指标为准确率；3)预测任务的测试指标为均方误差。d)重复执行上述测试流程若干次，必要时，修改训练数据集和验证数据集的构成或比例，取以上训练效果指标的平均值。7.3.1.3测试报告测试报告应至少包含以下信息。a)测试结果信息，包括：1)分类任务的平均精确率、平均召回率和平均F₁值；2)聚类任务的平均准确率；3)预测任务的平均均方误差。b)被测系统配置信息，应包括7.1.1.3b)所规定的内容。c)测试任务信息，包括：1)图学习场景任务的信息；2)训练数据集和验证数据集的信息；3)模型的设计信息，包括算法模型的组合以及参数配置。d)测试过程信息，包括在每个指定的场景任务中，图学习模型各次在训练数据集和验证数据集上各项测试指标的测试结果。7.3.2.1测试目标本项测试用于确定图学习系统的模型训练时间。7.3.2.2测试步骤本项测试步骤如下：a)选定图学习场景任务，选定对应的规模测试数据集，包括训练数据集和验证数据集，可为单一数据集或多种数据集；b)根据场景任务，构建训练模型和模型参数，宜是被测系统下的算法模型的配置组合；d)在被测系统上加载训练数据集进行模型训练，记录数据加载时长Ttrining.htaLood,记录模型达到目标训练精度所用的时间Tconverene和迭代轮次nconvergence,记录模型达到模型最大训练精度所e)重复执行上述测试流程若干次，统计平均数据加载时长Tavgtnining.data.lond,达到目标训练精度对应的平均训练时间Taveconerenc和平均迭代轮次naveconvergenc,达到最大训练精度的平均训练时精度的平均值小于目标训练精度，则该模型的测试结果无效。测试报告应至少包含以下信息。a)测试结果信息，包括选定的场景任务下图学习模型达到目标训练精度对应的平均训练时间和图学习模型到达最大训练精度对应的平均训练时间。d)测试过程信息，包括：1)选定的场景任务下，图学习模型各次训练的数据加载时长、模型目标训练精度所用的时间和迭代轮次，模型达到最大训练精度所用的时间和迭代轮次，模型保存时长；2)选定的场景任务下图学习模型的平均数据加载时长、图学习模型达到标准训练精度对应的平均迭代轮次、图学习模型到达最大训练精度对应的平均迭代轮次，以及图学习模型保存时长；3)模型最大训练精度的平均值，是否小于目标训练精度，以及测试结果是否有效。e)被测系统状态信息，包括：2)存储占