CN119149245B 一种业务处理方法、测试系统、介质以及产品 （浪潮电子信息产业股份有限公司）

品本发明公开了一种业务处理方法、测试系进行实际业务需求处理之前，通过预设拓扑结加速器对应的并行训练策略以及目标模型的目标样本数量对目标模型进行训练处理以在运行训练过程的运行效率和用户需求对应的模型训2获取当前业务需求对应的目标模型、各集合通信策根据各预设拓扑结构、所述权重参数和各集合通信策略对应各所述基于所述目标拓扑结构，根据各所述计算加速器对应的并行训练的目标样本数量对所述目标模型进行训练处理以在所述目标模型运行过程中得到所述目获取所述目标拓扑结构下的各所述计算加速器在各初始并行训练策略内确定所述当前业务需求的所述目标模型对应的并行训练策基于所述并行训练策略的计算加速器，将目标样本数量对标模型进行训练处理以在所述目标模型运行过程中确定所述目标模型根据各所述集合通信策略各自对应的带宽和各自对应的延迟确定各所述集合通信策将各所述集合通信策略对应的所述权重参数和所述吞吐量确定所述当前预设拓扑结所述权重参数和各集合通信策略对应各所述计算加速器的性能参数确定目标拓扑结构之对各所述预设拓扑结构内的各所述计算加速器之间以及各所述计算加速器与处理器若所述第一测试结果满足第一预设条件，则进入至所述根据各重参数和各集合通信策略对应各所述计算加速器的性能参数确定目标若所述第一测试结果未满足所述第一预设条件，则返回至所述配置3在各所述计算加速器处于连接域内拓扑结构时，获取处于连接速器之间的第一带宽标准差和第一延迟标准若所述分组方式对应的分组数量为0，则判断所述第一带宽标准差是否小于或者等于准差小于或者等于所述第一带宽阈值且所述第一延迟标准差小于或者等于所述第一延迟若所述分组方式对应的分组数量大于0，则判断所述第一带宽标准差是否小于或者等标准差小于或者等于所述第二带宽阈值且所述第一延迟标准差小于或者等于所述第二延在各所述计算加速器处于连接域外拓扑结构时，获取处于连域的计算加速器之间的第二带宽标准差和第二延所述第二带宽标准差小于或者等于所述第三带宽阈值或所述第二延迟标准差小于或者等获取所述目标模型在各所述计算加速器上的分根据不同的分割预设比例对所述目标模型进行预处理确定各所述初始并行训练策略根据不同的分割预设比例对所述目标模型进行预处理得到各所述初始并行训练策略在各所述初始并行训练策略内并行计算加速器和单行计算加速器各自对应的训练迭4代时间和模型性能确定各所述初始并行训练策根据各所述初始并行训练策略对应的模型并行效率与所述资源利用率确定所述性能根据每次迭代的时间和所述总迭代次数确定所述对应地，所述模型性能为所述目标模型在验证集或者训练集对应的根据性能评估函数对所述模型参数和所述验证集进行评估处理得到所获取并行计算加速器对应的第一训练迭代时间和单行计算加速器对应的第二训练迭获取并行计算加速器对应的第一模型性能和单行计算加速器对应的根据所述并行计算加速器对应的第一训练迭代时间和所述第一模型性能确定并行迭根据所述单行计算加速器对应的第二训练迭代时间和所述第二模型性能确定单行迭根据所述并行迭代时间和所述单行迭代时间确定所根据所述当前预设样本数量对应的训练数据输入至所在所述目标模型运行过程中判断运行内存是若超出所述预设内存，则获取下一个预设样本数量，返回本数量与所述当前预设样本数量之间呈整倍数关若未超出所述预设内存，则将所述当前预设样本数量作为所述调整所述目标模型的初始模型参数得到最终5若所述训练测试结果满足第三预设条件，则获取下一种初始模始模型参数进行调整，并返回至所述将所述当前初始模型参数应用至所述目标模型的步处理器，用于执行所述计算机程序时实现如权利要求1至11任一项所述的业务处理方程序，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述的业务处理方法处理器执行时实现权利要求1至11任一项所述业务处理方6用户业务需求对应的模型训练过程中未充分利用计算加速器的资源特性导致训练过程的运行效率降低以及人为经验选择模型参数且调整过程基于整个运行过程结束后调整导致性能参数进行处理以确定基准测试对应的目标拓模型的目标样本数量对所述目标模型进行训练处理以在所述目标模型运行过程中得到所[0011]在各初始并行训练策略内确定所述当前业务需求的所述目标模型对应的并行训述目标模型进行训练处理以在所述目标模型运行过程中确定所述目标模7[0015]根据各所述集合通信策略的所述性能参数和所述权重参数确定各所述预设拓扑[0018]根据各所述集合通信策略各自对应的带宽和各自对应的延迟确定各所述集合通[0019]将各所述集合通信策略对应的所述权重参数和所述吞吐量确定所述当前预设拓[0023]对各所述预设拓扑结构内的各所述计算加速器之间以及各所述计算加速器与处述权重参数和各集合通信策略对应各所述计算加速器的性能参数确定目标拓扑结构的步[0029]若所述分组方式对应的分组数量为0，则判断所述第一带宽标准差是否小于或者宽标准差小于或者等于所述第一带宽阈值且所述第一延迟标准差小于或者等于所述第一[0030]若所述分组方式对应的分组数量大于0，则判断所述第一带宽标准差是否小于或一带宽标准差小于或者等于所述第二带宽阈值且所述第延迟标准差小于或者等于所述第一8连接域的计算加速器之间的第二带宽标准差和第二延迟且所述第二延迟标准差小于或者等于所述第三延迟阈值，则确定满足所述第二子预设条[0035]根据不同的分割预设比例对所述目标模型进行预处理确定各所述初始并行训练[0038]根据不同的分割预设比例对所述目标模型进行预处理得到各所述初始并行训练[0039]在各所述初始并行训练策略内并行计算加速器和单行计算加速器各自对应的训练迭代时间和模型性能确定各所述初始并行训练策略[0040]根据各所述初始并行训练策略对应的模型并行效率与所述资源利用率确定所述[0046]根据性能评估函数对所述模型参数和所述验证集进行评估处理得到所述模型性[0048]获取并行计算加速器对应的第一训练迭代时间和单行计算加速器对应的第二训[0049]获取并行计算加速器对应的第一模型性能和单行计算加速器对应的第二模型性9[0050]根据所述并行计算加速器对应的第一训练迭代时间和所述第一模型性能确定并[0051]根据所述单行计算加速器对应的第二训练迭代时间和所述第二模型性能确定单据输入至所述目标模型进行训练处理以在所述目标模型运行过程中确定所述目标模型的设样本数量与所述当前预设样本数量之间呈整倍数关依次调整所述目标模型的初始模型参数得到最终[0060]当前初始模型参数调整完毕后，将所述当前初始模型参并应用至所述目标模型中获取所述目标模型的[0066]为解决上述技术问题，本发明还提供一种计算机程序产品，包括计算机程序/指[0067]本发明的有益效果在于一方面，通过获取的由计算加速器组成的预设拓扑结构、加速器对应的并行训练策略以及目标模型的目标样本数量对目标模型进行训练处理确定具体的用于业务需求对应的目标模型，适配真正适用于不同业务需求的模型的配置参数，提高训练过程的运行效率和用户需求对应的模型训练参数的评估用户业务需求对应的模型训练过程中未充分利用计算加速器的资源特性导致训练过程的运行效率降低以及人为经验选择模型参数且调整过程基于整个运行过程结束后调整导致标样本数量对目标模型进行训练处理以在目标模型运行过程中得到目标模型的模型参数，通常在分布式计算和深度学习训练中体现。本实施例的集合通信策略的数量种类等不速器为用于加速计算任务的硬件设备，计算加速器的类型不做限定，可以是GPU，可以是[0091]步骤S12中的根据各预设拓扑结构、权重参数和各集合通信策略对应各计算加速务场景下对应的目标拓扑结构。基准测试的目的是评估不同计算加速器之间的通信能力、试是未在结合目标模型的实际应用场景下对应于不同拓扑结构确定的一个目标拓扑结构，数最大的预设拓扑结构作为目标拓扑结构。[0094]步骤S13中的在该目标拓扑结构下，也就知晓了该目标拓扑结构下对应的各计算[0095]目标样本数量用于更新模型参数的样本数量，可以是微批量大小（Mini_batchsize，MBS在每次迭代或者训练步骤中用于更新模型参数的样本数量，可以提升训练速过程中收集和分析单次迭代时间、GPU每秒浮点运算次数（TeraFloatingPoint测试的精确性和覆盖面。生成的基准测试用例和虚拟化测试环境会通过报告反馈进行确行优化和调整。在优化过程中，通常会根据具体的硬件配置调整并行训练时使用的GPU数重参数和各集合通信策略对应各计算加速器的性能参数进行处理以确定基准测试对应的标样本数量对目标模型进行训练处理以在目标模型运行过程中得到目标模型的模型参数，器对应的并行训练策略以及目标模型的目标样本数量对目标模型进行训练处理确定模型过程的运行效率和用户需求对应的模型训练参数的评估标模型的目标样本数量对目标模型进行训练处理以在目标模型运行过程中得到目标模型型进行训练处理以在目标模型运行过程中确定目标模标模型进行训练处理以在目标模型运行过程中确定目标模型的性能参数和对应业务设置的权重参数进行加权和得到各预设拓扑结构下对应的评估分大的评估分数对应的预设拓扑结构作为目标拓扑[0125]本实施例提供的基于不同集合通信策略对应的性能参数与权重参数确定的评估[0127]根据各集合通信策略各自对应的带宽和各自对应的延迟确定各集合通信策略在[0130]例如，All_Reduce作为许多深度学习和科学计算任务中;Lau-peauce、Lau-cather、LReauce-scatrer、Lgroadcast对应不同集合通信策略下[0133]本实施例提供的基于不同集合通信策略对应的性能参数与权重参数确定的评估[0137]对各预设拓扑结构内的各计算加速器之间以及各计算加速器与处理器之间的带[0146]S35：执行各预设拓扑结构内的各计算加速器之间以及各计算加速器与处理器之速器之间的第一带宽标准差和第一延迟标准[0158]若分组方式对应的分组数量为0，则判断第一带宽标准差是否小于或者等于第一[0159]若分组方式对应的分组数量大于0，则判断第一带宽标准差是否小于或者等于第域的计算加速器之间的第二带宽标准差和第二延[0173]本实施例提供的针对于拓扑结构内的连接域内拓扑平衡和连接域外拓扑平衡的[0176]根据不同的分割预设比例对目标模型进行预处理确定各初始并行训练策略对应将多种性能评估参数进行加权求和方式得到一种分数，基于分数的大小确定并行训练策[0181]根据不同的分割预设比例对目标模型进行预处理得到各初始并行训练策略内并[0182]在各初始并行训练策略内并行计算加速器和单行计算加速器各自对应的训练迭处理得到性能评估参数。这里的预处理过程可以是目标模型的运行过程中进行的训练测f是模型在验证集[0201]获取并行计算加速器对应的第一训练迭代时间和单行计算加速器对应的第二训[0202]获取并行计算加速器对应的第一模型性能和单行计算加速器对应的第二模型性[0203]根据并行计算加速器对应的第一训练迭代时间和第一模型性能确定并行迭代时[0204]根据单行计算加速器对应的第二训练迭代时间和第二模型性能确定单行迭代时据样本的数量。微批量大小是介于单个样本的随机梯度下降（StochasticGradient[0237]本实施例中对应收敛速度和损失波动的确定过程，用于衡量MBS的增长情况下对[0245]本实施例