CN112561051B 一种对深度学习模型进行并行处理的方法及装置 （中兴通讯股份有限公司）

术产业园科技南路中兴通讯大厦法务部US2022019463A1,2022.01.20一种对深度学习模型进行并行处理的方法本文公开了一种对深度学习模型进行并行组分配到多个目标设备上使得所有可并行执行2将所有的可并行执行集合内的关系组分配到多个目标设备上使得所有可并行执行集方式二：将只有一个下游节点且没有上游节点的计算节点，统计所有关系组在单个设备上运行的耗时，根据耗时从多到少对所有关系组进行排其中，所述可并行执行集合满足以下条件：所述可并行执其中，a是使得a个关系组的耗时总和与所有关系组的耗时总根据计算节点的名字中的预定字段对计算节点划分关系组，具3所述将所有的可并行执行集合内的关系组分配到多个目标设备上使得所有可并行执采用模拟退火算法将所有的可并行执行集合内的关系组分配到多个目标设备上使得所述采用模拟退火算法将所有的可并行执行集合内的关系组分配到多个目标设备上初始解X0是指将所有关系组按照初始分配方式随机分配到目标设备；初始耗时E0是指在初所述将所有的可并行执行集合内的关系组分配到多个目标设备上使得所有可并行执采用模拟退火算法将所有的可并行执行集合内的串行运行分支分配到多个目标设备所述采用模拟退火算法将所有的可并行执行集合内的串行运行分支分配到多个目标初始解X0是指将所有串行运行分支按照初始分配方式随机分配到目标设备；初始耗时E0是4存储器、处理器及存储在所述存储器上并可在所述处理器上运行述权利要求1_9中任一项所述的对深度学习模型进行并行处理的方法11.一种计算机可读存储介质，所述计算机可读存储介质上存储有对深度学习模型进利要求1_9中任一项所述的对深度学习模型进行并行处理的方法5[0009]将所有的可并行执行集合内的关系组分配到多个目标设备上使得所有可并行执并行处理的程序被处理器执行时实现上述对深度学习模型进行并行处理的方法6[0022]在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中[0024]如图1所示，本发明实施例提供了一种对深度学习模型进行并行处理的方法，包7关系组之间没有n级以内的上下游关系；且所述可并行执行的集合中任意两个关系组之间[0049]采用模拟退火算法将所有的可并行执行集合内的关系组分配到多个目标设备上行执行集合内的关系组分配到多个目标设备上使得所有可并行执行集合的总并行运算的8p=[0056]采用模拟退火算法将所有的可并行执行集合内的串行运行分支分配到多个目标设备上使得所有可并行执行集合的总并行运算的的串行运行分支分配到多个目标设备上使得所有可并行执行集合的总并行运算的耗时最0是指将所有串行运行分支按照初始分配方式随机分配到目标设备；初始耗行运行分支重新随机分配目标设备，并计算在新的分配方式下执行模型运算后的总耗时[0063]如图2所示，本发明实施例提供了一种对深度学习模型进行并行处理的装置，包[0066]设备分配模块203，用于将所有的可并行执行集合内的关系组分配到多个目标设9关系组之间没有n级以内的上下游关系；且所述可并行执行的集合中任意两个关系组之间所有的可并行执行集合内的关系组分配到多个目标设备上使得所有可并行执行集合的总[0088]采用模拟退火算法将所有的可并行执行集合内的关系组分配到多个目标设备上用模拟退火算法将所有的可并行执行集合内的关系组分配到多个目标设备上使得所有可p=执行集合内的关系组分配到多个目标设备上使得所有可并行执行集合的总并行运算的耗[0095]采用模拟退火算法将所有的可并行执行集合内的串行运行分支分配到多个目标设备上使得所有可并行执行集合的总并行运算的法将所有的可并行执行集合内的串行运行分支分配到多个目标设备上使得所有可并行执0是指将所有串行运行分支按照初始分配方式随机分配到目标设备；初始耗行运行分支重新随机分配目标设备，并计算在新的分配方式下执行模型运算后的总耗时现上述实施例1中所述的对深度学习模型进行并行处理的器执行时实现上述实施例1中所述的对深度学习模型进行并行处理[0112]4)挑选耗时排名靠前的多个关系组，在挑选出的关系组[0114]5)采用模拟退火算法将所有的可并行执行集合内的关系组分配到多个目标设备左侧的虚线框包围的第一关系组和右侧的虚线框包围的第二关[0121]4)采用模拟退火算法将所有的可并行执行集合内的串行运行分支分配到多个目可以分布在计算机可读介质上，计算机可读介术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包