CN119443186A 用于模型训练的数据处理方法、装置、计算设备 （华为技术有限公司）

本申请公开了一种用于模型训练的数据处模型参数信息以及模型训练所用的显卡的可用照目标批大小及对应的数据处理方案对模型训2基于所述目标批大小区间、所述显存预测模型及所述模型参数及对应的数据处理方案，所述数据处理方案用于在模型训练中对所述DNN模型中层的输入2.根据权利要求1所述的方法，其特征在于，基于所述DNN模型，获取模型参数信息，所述模型参数信息指示所基于所述模型参数信息，确定所述DNN模型各层的显存占用量，存占用量包括所述DNN模型的每个层的模型参数的数据量以及输3.根据权利要求1或2所述的方法，其特征基于所述DNN模型的模型参数信息、显卡的可用显存空间大小和所述最大重计算节约基于所述显存预测模型，获取所述目标批区间内的每个批大小对应的理论显存占用对于所述每个批大小，若所述批大小对应的理论显存占用量小于或等若所述批大小对应的理论显存占用量大于所述可用显存空间大节约量以及所述DNN模型各层的显存占用量，生成所述批大小对应的满足目标显存节约量基于多个批大小对应的数据处理方案的训练吞吐率，确定目标批理方案。5.根据权利要求4所述的方法，其特征在于，所述基于所述目标显存节约量以及所述DNN模型各层的显存占用量，生成所述批大小对应的满足目标显存节约量的数据处理方案3基于所述理论显存占用量和所述可用显存空间大小，获取目标显存节约量指示对所述DNN模型进行训练应基于所述DNN模型各层的显存占用量，获取所述DNN模型的模型块序基于所述模型块序列以及所述DNN模型各层的显存占用量，获取节约量满足所述目标若存在满足所述目标显存节约量的数据处理方案，则将所6.根据权利要求5所述的方法，其特征在于，所述基于所基于所述模型块序列，获取所述批大小的重计算方案，若所述重计算方案所对应的理论重计算节约量大于或等于所述述重计算方案确定为满足所述目标显存节约量的数据处理若所述重计算方案所对应的理论重计算节约量小于所述目标若所述卸载检查点方案的理论卸载节约量大于或等于最小卸载查点方案和所述重计算方案确定为所述批大小的获取所述DNN模型的目标卸载间隔值序列，所述目标卸载间隔值序列由卸载间隔值组基于所述DNN模型的最小卸载数据量和目标卸载间隔值序列，获取目标卸载检查点方案，所述最小卸载数据量是指进行模型训练的过程中至少需要卸载的检查点数据的数据8.根据权利要求4至7任一项所述的方法，其特基于所述目标批大小区间内的多个批大小及对应的数据处理方式，对所述DNN模型进大小下对所述DNN模型进行训练所占用的显批大小区间获取模块，用于基于所述模型参数信4数据处理方案获取模块，用于基于所述目标批大小区间、所述显存中对所述DNN模型中层的输入数据和输出数据中至少一种进行处理，所述目标批大小以及对应的数据处理方案所对应的训练吞吐率在所述目标批大小执行程序代码，使得所述计算设备集群执行如权利要求1至权利要求8中任一项所述的方12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代5[0002]深度神经网络(deepneuralnetwork，DNN)模型常被用于处理复杂的图像识别、该显存预测模型用于预测在不同批大小下对该DNN模型进行训练所占用的显存空间大小；数据处理方案用于在模型训练中对该DNN模型中层的输入数据和输出数据中至少一种进行[0008]在一些实施例中，基于待训练的DNN模型的模型参数信息，建立显存预测模型包6以及该DNN模型各层的显存占用量，生成该批大小对应的满足目标显存节约量的数据处理[0024]基于该模型块序列以及该DNN模型各层的显存占用量，获取节约量满足该目标显7查点方案和该重计算方案确定为该批大小的即最小化卸载检查点的数据处理方案的时间开销。[0033]获取该DNN模型的目标卸载间隔值序列，该目标卸载间隔值序列由卸载间隔值组[0034]基于该DNN模型的最小卸载数据量和目标卸载间隔值序列，获取目标卸载检查点方案，该最小卸载数据量是指进行模型训练的过程中至少需要卸载的检查点数据的数据[0036]基于该目标批大小区间内的多个批大小及对应的数据处理方式，对该DNN模型进或上述第一方面的任一种可选方式提供的用于模型训练的数据处8[0049]图6是本申请实施例提供的一种获取目标批大小及对应的数据处理方案的方法流理器101可以采用DSP(DigitalSignalProcessing，数字信号处理)、FPGA(Field-处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessing[0058]存储器102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可9读存储介质用于存储至少一段程序，该至少一段程序用于被处理器101所执行以实现本申[0061]本申请实施例提供的用于模型训练的数据处理方法能够实现对DNN模型训练进行提供的获取显存优化策略的过程如图3所示的三个部[0063]302、基于上述模型参数信息以及显卡的可用显存空间大小，获取目标批大小区[0071]在一些实施例中，上述DNN模型的模型参数信息通过torchstat工具扫描该DNN模[0072]其中，模型参数信息指示DNN模型的模型参数的数据量，该模型参数包括误差梯预测模型用于预测在不同批大小下对该DNN模型进行训练的理lrecp第l层的特征图大小，max(M(1))用于表recpgpu[0089]其中，可用显存空间大小M基于用于模型训练的显卡的显存信息和显存占用信gpugpu[0102]其中，可用显存空间大小M基于用于模型训练的显卡的显存信息和显存占用信gpu理方案确定为批大小对应的数据处理方案。[0108]本申请实施例中，根据每个批大小对应的理论显存占用判断是否为该批大小下的DNN模型生成数据处理方案包括：将该批大小下的理论显存占用理方案。标显存节约量指示对DNN模型进行训练应节练时的目标显存节约量，M(b)用于表示表示以b为批大小进行训练时的理论显存占用量，将包含有所有模型块的重计算方案输出为相应批大小的目标重计算方案，执行步骤6034，来进一步为该批大小下的DNN模型确定卸载检查点recprecp于DNN模型中的模型块数量时，重计算方案中的模型块的数量满足如公式(10)和公式(11)[0131]其中，b用于表示模型训练的批大小，Rec(b)用于表示重计算方案中模型块的数l少一个模型块就会使理论重计算节约量小于于待卸载的检查点之后的卸载间隔值+1个模型块进行计算所消耗的计算时间大于该检查点方案和上述重计算方案确定为该批大小的数据模型训练时的最小卸载数据量，Mtarget(b)用于表示以b卸载检查点方案，然后逐个将该刚加入卸载检查点方案的模型块后的第N+1个模型块的检等于最小卸载数据量时，将当前的卸载检查点方案输出为该批大小的目标卸载检查点方型训练时的理论卸载显存节约量，Off(b)用于表示以b为批大小进行模型训练时卸载检查标卸载检查点方案中第l个检查点卸载可以节约的显存量，Moffload(b)用于表示以b为批大保证模型训练时可以利用卸载间隔值加一个模型块的计算时间，来较好地隐藏1个检查点[0158]在本步骤604中的多个批大小是指丢弃了不满足目标显存节约量的批大小之后的[0159]605、基于各个批大小对应的训练吞吐率，获取目标批大小及对应的数据处理方可能是对应于基于步骤6031至6036所确定的数据处将CPU内存上保存的检查点数据提前以异步复制的方式交换回GPU，并自动根据GPU上的检[0164]本申请实施例给出一个应用实例，本应用实例在CPU为Intel(R)Xeon(R)Gold6248CPU@2.50GHz，内存为192GBDDR4，GPU为单张32GBTeslaV100，操作系统为绍的装置具有上述方法中计算设备的任意功能。上文结合图1至图10详细描述了根据本申在不同批大小下对所述DNN模型进行训练所占用模型训练中对所述DNN模型中层的输入数据和输出数据中至少一种进行处理，所述目标批大小以及对应的数据处理方案所对应的训练吞吐率在所述目标批大小区的显存占用量包括所述DNN模型的每个层的[0180]基于所述DNN模型的模型参数信息、显卡的可用显存空间大小和所述最大重计算显存节约量以及所述DNN模型各层的显存占用量，生成所述批大小对应的满足目标显存节约量的数据处理方案；载检查点方案和所述重计算方案确定为所述批大小的数据处理方案。[0195]获取所述DNN模型的目标卸载间隔值序列，所述目标卸载间隔值序列由卸载间隔[0196]基于所述DNN模型的最小卸载数据量和目标卸载间隔值序列，获取目标卸载检查[0198]基于所述目标批大小区间内的多个批大小及对应的数据处理方式，对所述DNN模[0199]基于各个批大小对应的训练吞吐率，获取所述目标批大小及对应的数据处理方置中的各模块和上述其他操作和/或功能分别为了实现方法实施例中的计算设备所实施的处理方法。例如，该计算机可读存储介质是非临时计算机可读存储介质，如只读存储器(read_onlymemory，ROM)、随机存取存储器(randomaccessmemory，RAM)、只读光盘[0209]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件