CN114611675B 数据处理方法、装置、电子装置和存储介质 （浙江大学）

至少根据该初始并行策略和该代价评估结果生2基于所述张量确定每个所述算子的张量切分结果，以至少根据所述根据所述张量切分结果中的并行度数确定所有所述算子对应的算子所述设备拓扑模型和所述算子并行任务确定设备部根据所述张量切分结果和所述设备部署结果利用构建完备的代价模型对所述初始并行策略训练处理以得到代价评估结果，包括：实际时间代价计算得到所述初始并行策略的代价评至少根据所述初始并行策略和所述代价评估结果生成目标根据所述并行策略规则对所述张量切分结果进行调节处理，以得到张量切分调节结根据所述张量切分调节结果和所述设备部署调节结果生从所有所述算子中随机确定一个算子，通过将所述算子对应的初始并行型计算得到所述多个并行策略样本对应的提议代价评根据所述概率分布特征和所述提议代价评估结果，对所述并行策4.根据权利要求3所述的数据处理方法，其特征在于，所5.根据权利要求1至4任一项所述的数据处获取所述数据张量的样本批次维度，并获取所述权重张量对应根据所述样本批次维度、所述输入通道维度和所述输出通道维度，确所述获取模块，用于获取深度神经网络模型，以及所述深度神经网络模3所述切分模块，用于基于所述张量确定所述每个算子的张量切分结果所述切分模块还用于获取预设的设备拓扑模型；根据所述张量切所述切分模块还用于根据所述初始并行策略建立任务图，并根据所所述实际内存代价和所述实际时间代价计算得到所述初始并行策略的代价评所述生成模块，用于至少根据所述初始并行策略和所述代价程序被设置为运行时执行权利要求1至5中任一项所述4现。但AccPar的动态规划搜索算法只适用于计算图是线性结构的深度神经网络模型，且根据所述设备拓扑模型和所述算子并行任务确定设备5述实际内存代价和所述实际时间代价计算得到所述初始并行策略的代价评估价模型计算得到所述多个并行策略样本对应的提议[0026]在其中一些实施例中，所述策略搜索算法为多提议马尔科夫链蒙特卡洛方法处理器执行时实现如上述第一方面所述的数6列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单7器14上的部署情况，以便由各服务器14接力训练该深度神经网络模型以执行数据处理操器14可以用独立的服务器或者是多个服务器组成的服务器[0049]本实施例提供了一种数据处理方法，图2是根据本申请实施例的一种数据处理方8[0055]其中，在通过上述步骤S220至步骤S240确定初始并行策表示为该张量切分策略是三维正整数向量，三个向量分别用来代表算子θi数据并行以及行切分的模型并行的切分方法，可以预先设置张量切分策略为:=(2,2,1),用于表示全连接算子的输入张量在样本批次维度平均切分为两份，同时权[0064]其中，上述设备部署结果与算子的张量切分策略有关。以上述张量切分策略9张量切分策略ol,算子的执行可以被划分成个独立的任务；算子的这些并行任务可以表示为同时，算子的设备部署策略将决定每个算子并行任务的分配设sl)构建完备的代价模型对该初始并行策略训练处子权重张量的输入通道维度与输出通道维度的切分。Placement代表了算子并行任务需要析，可以由上述张量切分结果和设备部署结果一起构成四维的初始并行策略S,即初始并行策略包括了每个算子oi的张量划分策略和算子并行任务的设备部署策略对于则根据初始并行策略可以明确在该模[0070]其中，上述并行策略规则是指用户自定义的对并行任务的切入用于指示在权重张量的输入通道维度上切分为两份的参数，或者输入指示在ID信息为2的服务器硬件设备部署若干算子并行任务的的并行策略规则会通过规则引擎对网络模型中部分算子的张量切分方法与设备分配方法的张量切分结果中的第二个维度会调整至2，且设备部署结果进行部分调整该实际内存代价和该实际时间代价计算得到该初始并行策略的代价评地，在上述仿真算法中可以获取上述任务图中的每个静态并行任务t的输入张量形状大小宽为b(单位Byte/s)的设备之间传输字节数为s的张量的时间s/b。为了尽量提升算法运行[0091]其中，上述策略搜索算法可以采用MP-MCMC、梅特罗波利斯－黑斯廷斯算法代价模型计算得到该多个并行策略样本对应的提前模型计算图中的一个算子oi，并将该算子的并行策略随机替换为新的提议并行策略以确定包括该提议并行策略的多个并行策略样本。这种提议方法可的概率分布特征的转换公式，可以得到判断是否接收上述新的提议并行策略的约束条件，价最低的并行策略样本作为最终输出的搜索结果，这一搜索结果即为上述目标并行策略。设置N个新的策略样本。每轮MCMC迭代中的最后一个样本会成为下一次MCMC迭代的初始状现数据并行与行切分和列切分的模型并行方法，从而能够找到以前未知的并行策略结果，以更高效地在并行策略搜索空间中探索可行的新策略。MP-MCMC搜索算法会根据代价模型[0108]下面通过优选实施例对本申请实施例进行描述和说明。图4是根据本申请优选实代价模型和MP-MCMC搜索算法组成。该代价模型使用仿真算法高效估计并行策略对训练过策略随机搜索算法相比，MP-MCMC搜索算法可以在相同的时间预算内搜索出性能提升效果模块54根据该并行策略规则对该张量切分结果进行调节处理，以得到张量切分调节结果，分模块54根据该张量切分调节结果和该设备部署实际时间代价计算得到该初始并行策略的代价评于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM[0131]本领域的技术人员应