CN115115052B 一种基于遗传算法的神经网络自适应分布式并行训练方法 （杭州电子科技大学）

一种基于遗传算法的神经网络自适应分布本发明公开了一种基于遗传算法的神经网2步骤1:将神经网络模型中算子放置问题转化整数线通过上述假设将存在数据依赖关系的两个算子的放置情况约束为两种：步骤2:构建计算代价、通信代价和负载代价融合的首先，分析影响神经网络模型执行性能的关键因素，采用神经首先，利用放置策略的初始化方法，在解空间内生成两组带有3步骤3:当到达放置策略迭代更新的终止条件后，分别将的算子放置策略，并在真实环境下根据迭代得到的算子放置策略对神经网络模型进行训步骤4：利用步骤3得到的最优分布式调度策略，对待2.根据权利要求1所述的一种基于遗传算法的神经网络自适应分布式并行训练方法，3.根据权利要求1所述的一种基于遗传算法的神经网络自适应分布式并行训练方法，其特征在于：步骤2-1中所述的关键因素即设备的计算性能、通信性能以及内存负载的特4.根据权利要求1所述的一种基于遗传算法的神经网络自适应分布式并行训练方法，所述的随机初始化方法是指将计算图G(O,E)中的算子以随机的方式分配到设备拓扑所述指定策略初始化方法是指利用现有的并行策略搜索方法搜索到的放置策略作为5.根据权利要求1所述的一种基于遗传算法的神经网络自适应分布式并行训练方法，其特征在于：步骤3中所述的迭代更新的终止条件包括总迭代次数达到指定阈值和放置策6.根据权利要求1所述的一种基于遗传算法的神经网络自适应分布式并行训练方法，7.根据权利要求1所述的一种基于遗传算法的神经网络自适应分布式并行训练方法，(1)若当前选中的算子对中两个算子放置在不同设备上，则随机选择一个可用设备将(2)若当前选中的算子对中算子放置在同一个设备上，则随机选择两个可用设备将两45大规模网络模型的训练需求，必须对神经网络进行切分并跨设备调度，实现模型并行[0004]基于机器学习的并行策略自动搜索方法是通过抽取神经网络模型和设备拓扑结队提出了策略自动搜索框架ColorRL和Hierarchical，通过提取神经网络模型和设备特征过程，提高搜索效率。MIT的Ravichandra提出了Placeto，引入了图嵌入方法(Graph过建立自监督的图神经网络捕获神经网络的结构信息，并利用Seq2Seq(Sequence-to-6Sequence)网络对深度学习模型进行分割与调度。上述基于机器学习的方法虽然可以搜索的基础上改进并提出了FlexFlow框架，引入了SOAP(Sample，Operator，Attribute，法,通过设置细粒度的算子优先级和利用关键路径对算子进行放置和调度，但其未考虑设[0011]1-3，通过分析同构集群内的设备特征以及神经网络模型执行特征提出了两点假7是指将计算图G(O,E)中的算子以随机的方式分配到设备拓扑图D上，指定策略初始化方法更新两组放置策略中算子的放置信息，实现快速在解空间内搜索执行代价最小的放置策8[0033]一种基于遗传算法的神经网络自适应分布式并行训练方法，整体流程图如图1所9示:[0050]Lia=o⃞"-o"t(4)[0068]2)基于指定策略的初始化方法利用现有的分布式并行策略搜索方法如Beachi框中上的放置策略。G′表示经过现有方法搜索后得到的带有算子放置信息的计算图，get_device(o)表示获取计算图中算子o的目标放置设备。placement(P,o,d)表示将算子o放置[0071]基因突变方法依据算子对的整体代价选择待变异的算子并通过改变算子的放置[0073]基因突变方法将计算图中存在数据依赖关系的两个算子称为一个算子对，如图2[0076]由于在算法执行过程中算子对R可以被反复选中，为了增加整体代价小的算子对[0078]其中get_all_op_pair(G,P)表示依据计算图G和放置策略P获取所有算子对，caculate_cost(R)表示计算算子对R的整体代价；sort_by_cost(op_pair_list)表示按照[0081](1)若当前选中的算子对中两个算子放置在不同设备上，则随机选择一个可用设[0082](2)若当前选中的算子对中算子放置在同一个设备上，则随机选择两个可用设备[0083]利用上述两个规则可以在原有的放置策略的基础上生成新的放置策略。规则(1)o2算子和o4算子从原先分别在设备0和设备1的放置策略作为下一轮迭代的起始放置策略；最后将本轮基因突变中选中的算子对R作为[0089]其中choose_gene表示从种群中选择一个基因；genes_info表示指定基因上的算合的代价评估模型计算得到指定种群的舒适度Tgo[0092]优质算子对交叉互换方法，将两组放置策略中各自的优[0093]如图5所示，第一组放置策略的优质算子对组中保留着在基因突变过程中得到的遗传算法的深度学习自适应训练方法具体流程[0103](2)其次，基于随机和指定策略的方法初始化双种群遗传算法所需的两组初始放[0108]第3行为利用算法1和算法2所述的放置策略初始化方法在解空间内生成两组初始表示算法5描述的基于基因交换的迭代方法，op_pair_variation表示算法4描述的基于基[0110]第12行对迭代后的两组放置策略进行转换，将其转化为数据流图的算子放置策[0111]第13-20行将两组算子放置策略在真实的执行环境下执行，并将执行时间短的那[0112]第21-22行利用得到的分布式调度策略对模型进行分布式调度，并将数据集输入表中GA(random/m_topo/m_etf/m_sct)的random表示使用随机初始化方法初始化两组放置的三种策略搜索算法，与m_topo算法相比，最