CN113961351B 深度学习模型的分布式训练方法、装置、设备及存储介质 （北京百度网讯科技有限公司）

本公开提供了一种深度学习模型的分布式对应的集群硬件资源的属性信息生成集群资源2基于所述待训练深度学习模型对应的集群硬件资源的属获取所述待训练深度学习模型的算子和张量，以在所述分布式训练过程中，响应于所述集群硬件资响应于检测到所述分布式计算视图中对输入张量和输出张量的定义与对使用该输入响应于检测到所述分布式计算视图中输入张量和输出张量对应的设备和使用该输入计算各个切分策略对应的开销，所述开销包括运行基于所述目标切分策略，采用异步流水运行机制对所述待第二生成模块，被配置成基于所述待训练深度学习模型3的集群硬件资源中的各个设备间的拓扑信息和所述集群硬件资源中的各个设备的处理能确定模块，被配置成基于所述分布式计算视图训练模块，被配置成基于所述目标切分策略对所第一获取子模块，被配置成获取所述待训练深触发模块，被配置成在所述分布式训练过程中，响应第一插入模块，被配置成响应于检测到所述分第二插入模块，被配置成响应于检测到所述分布计算单元，被配置成计算各个切分策略对应的开销，所所述存储器存储有可被所述至少一个处理器执行412.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所5[0009]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特6[0015]图5是根据本公开的深度学习模型的分布式训练装置的一个实施例的结构示意[0016]图6是用来实现本公开实施例的深度学习模型的分布式训练方法的电子设备的框[0019]图1示出了可以应用本公开的深度学习模型的分布式训练方法或深度学习模型的[0027]继续参考图2，其示出了根据本公开的深度学习模型的分布式训练方法的一个实7[0032]步骤202，基于待训练深度学习模型对应的集群硬件资源的属性信息生成集群资硬件设备，而每台硬件设备上可以设置多个GPU(图形处理器，GraphicsProcessing[0035]步骤203，基于分布式计算视图和集群资源视图确定分布式训练任务的目标切分型的切分方式和集群硬件资源的资源配置方式，由于不同的切分策略对应的开销是不同8[0039]在本实施例中，上述执行主体可以基于步骤203确定的目标切分策略来对待训练基于深度学习模型基于该目标切分策略进行分9[0050]在本实施例的一些可选实施方式中，上述深度学习模型的分布式训练方法还包[0052]步骤303，获取待训练深度学习模型对应的集群硬件资源中的各个设备间的拓扑[0055]在本实施例中，上述执行主体可以基于步骤303获取的各个设备间的拓扑信息和[0056]步骤305，基于分布式计算视图和集群资源视图确定分布式训练任务的目标切分[0063]步骤403，获取待训练深度学习模型对应的集群硬件资源中的各个设备间的拓扑[0070]在本实施例的一些可选实施方式中，步骤406包括：计算各个切分策略对应的开以通过对齐顺序执行串行计算图和分布式计算图的精度等操作来进行解决；在运行过程[0074]在本实施例的一些可选实施方式中，上述深度学习模型的分布式训练方法还包生成模块502、确定模块503和训练模块504的具体处理及其所带来的技术效果可分别参考置成获取待训练深度学习模型对应的集群硬件资源中的各个设备间的拓扑信息和集群硬的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执因特网的计算机网络和/或各种电信网络与其他设备一些实施例中，计算机程序的部分或者全部可以经由ROM602和/或通信单元609而被载入计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行深度学习机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0094]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在[0097]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，