CN119514725A 应用于分布式训练系统的训练容错方法、装置及芯片产品 （摩尔线程智能科技(成都)有限责任公司）

请求不公布姓名请求不公布姓名请求不公布姓名请求不公布姓名本申请提供了一种应用于分布式训练系统个计算节点中确定与新计算节点相关的目标计指示计算节点参与执行分布式训练任务时的状点，而无需从持久化存储系统中读取检查点数2在所述备用节点被设置为新计算节点的情况下，从所述多个计检查点数据用于指示所述计算节点参与执行所述分布式训练控制所述新计算节点基于所述检查点数据参与执行在所述故障节点的内存仍支持提供所述检查点数据的情况下，在所述故障节点的内存无法提供所述检查点数据的情况下，从所述t个计算节点组中将所述故障节点在所述第一计算节点组中的等位节点确定为所4.根据权利要求3所述的方法，其特征在于，所述从所从所述第一网络域包括的计算节点组中确定出所将所述新计算节点在所述第二计算节点组中的等位节点确定为所述6.根据权利要求1至5任一项所述的方法，其特征在所述新计算节点参与执行第n阶段的训练任务的情况下，将所述目标计算节点的内3在满足第一条件的情况下，从所述分布式训练系统包括的所述至少一个备用节点中，选取所述备用节点以设置为所述新计算节点来构建至其中，所述第一条件包括以下至少之一：所述分布式训练8.根据权利要求7所述的方法，其特征在于，所述所述从所述分布式训练系统包括的所述至少一个备用节点中，选取在所述分布式训练系统中的故障节点所属的故障节点组被取消执行对应的子任务的在所述分布式训练系统中用于执行除所述分布式训练任务之外的其他任务的计算节在所述分布式训练系统中出现新增的计算节点的情况下，检查点发送模块，用于将所述目标计算节点的内存中存储的检训练任务执行模块，用于控制所述新计算节点基于所述由处理器加载并执行以实现如权利要求1至10任一项所述的应用于分布式训练系统的训练4中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至10程序，所述计算机程序由处理器加载并执行以实现如权利要求1至10任一项所述的应用于述计算机程序，以实现如权利要求1至10任一项所述的应用于分布式训练系统的训练容错5所述检查点数据用于指示所述计算节点参与执行所述分布式训练任6行以实现上述应用于分布式训练系统的训练[0028]图8是本申请的一种可能实现方式中提供的利用检查点数据进行训练容错的示意7[0029]图9是本申请的一种可能实现方式中提供的应用于分布式训练系统的训练容错方[0033]图13是本申请的另一种可能实现方式中提供的应用于分布式训练系统的训练容[0034]图14是本申请的一种可能实现方式中提供的应用于分布式训练系统的训练容错[0035]图15是本申请的另一种可能实现方式中提供的应用于分布式训练系统的训练容[0038]请参考图1，其示出了本申请的一种可能实现方式中提供的分布式训练系统的示[0039]分布式训练系统100可以是指一种用于实现机器学习模型的分布式训练的分布式务器。示例性地，计算节点101可实现为以下至少之一：设置有中央处理器(CentralGPU服务器、设置有通用图形处理器(General_PurposeComputingonGraphicsProcessingUnits，GPGPU)的服务器、设置有数字信号处理器(DigitalSignal8[0043]备用节点102可以是指备用的计算节点101，如可将未执行任务的计算节点101确定为备用节点102。备用节点102可用于在计算节点101发生故障的情况下，代替计算节点交换机103和脊交换机104。叶交换机103可实现为用于连接计算节点101或备用节点102的分计算节点101可仅通过叶交换机103形成通信链路，部分计算节点101可同时通过叶交换[0046]可选地，连接于同一个叶交换机103的计算节点101和备用节点102属于同一网络[0047]在一个示例中，分布式训练系统100还包括主计算节点(图1中未示出)，记为[0048]主计算节点可实现为以下至少之一：设置有CPU的服务器、GPU服务器、设置有9计算节点403同时基于样本数据401进行训练。其中，PP和TP属于模型并行(Model训练，每个计算节点组完成一个周期的训练之下一周期训练开启前，机器学习模型更新后的整体模型参数会被同步至每个计算节点组，练的训练容错，训练容错可以是指针对导致分布式训练任务执行中断的故障节点进行处来恢复分布式训练任务的执行。在备用节点被调整至参与执行分布式训练任务的情况下，算节点H3出现故障(即变更为故障节点)的情况下，trainingmaster选择备用节点B1替换[0065]在采用备用节点B1和计算节点H2恢复出计算节点组2后，若计算节点H2也出现故行对应的子任务进行训练缩容，也即隔离计算节点H2和停止使用备用节点B1(此时已转换可将两个新的备用节点构成一个计算节点组进行训练扩容，以弥补计算节点组2的缺少对存写入到持久化存储系统702中，此过程是不干扰分布式训练任务的执行的。其中，sync基于检查点数据参与执行分布式训练任务，而无需从持久化存储系统中获取检查点数据，[0079]请参考图9，其示出了本申请的一种可能实现方式中提供的应用于分布式训练系中的主计算节点(trainingmaster)。该方法可以包括如下几个步骤(901～903)中的至少算节点调度于参与执行分布式训练任务的情况下，可将该备用节点更新设置为计算节点，导致分布式训练任务的中断；分布式训练系统中的[0091](2)各个计算节点会将自身的状态数据发送给主计算节点，主计算节点可通过解[0093](4)计算节点在发生故障时会主动向主计算节点发送异常信息，主计算节点可基[0095](6)主计算节点可通过监控分布式训练系统的状态指标(如CPU利用率、网络延迟[0097]2、在分布式训练系统扩容的情况下，可将用于扩容的备用节点设置为新计算节着参与执行分布式训练任务的计算节点组的增加，分布式训练任务的执行效率也随之提(N+1)进行扩容(也即新增扩容节点组DP(N+1))的情况下，可将DP(N+1)中的各个Node设置算节点所在的计算节点组，其可以是除故障节点所属的计算节点组之外的任一计算节点等位节点在等位节点所属的计算节点组(如上述第一计算节点组)中的排列位置相同。例点1201出现故障而无法恢复的情况下，计算节点组DP(1)中的计算节点1204为计算节点DP(1)中的计算节点1202出现故障而无法恢复的情况下，计算节点组DP(0)中的计算节点1205为计算节点1202的等位节点，可将计算节点1205确定为计算节点1202的目标计算节点。在计算节点组DP(N)中的计算节点1203出现故障而无法恢复的情况下，计算节点组DP(1)中的计算节点1206为计算节点1203的等位节点，可将计算节点1206确定为计算节点检查点数据用于指示计算节点参与执行分布式训练计算节点的内存中读取检查点数据，如每个计算设备读取检查点数据中对应的训练状态，成一次机器学习模型的完整训练。第n_1阶段的检查点数据用于指示计算节点在参与执行[0126]在一个示例中，检查点数据的传输方法包括：RDMA(RemoteDirectMemory行完第N_1阶段的训练任务后的训练状态相同，从而实现代替计算节点4恢复执行第N阶段从而使得扩容节点组DP(N+1)的训练状态，与各个计算节点组节点可替换而减少至N_1个计算节点组，分布式训练系统中计算节点组的数量变得小于数[0146](1)在分布式训练系统中的故障节点所属的故障节点组被取消执行对应的子任务[0149](2)在分布式训练系统中用于执行除分布式训练任务之外的其他任务的计算节点[0152](3)在分布式训练系统中出现新增的计算节点的情况下，将新增的计算节点设置[0156]在一个示例中，在上述分布式训练系统所包括的多个计算节点被划分为t个计算[0157]节点数量s是指计算节点组中的计算节点的数量，其可基于分布式训练系统所应布式训练任务，如每个计算节点组基于一部分样本数据对完整的机器学习模型进行训练，于各个计算节点，计算节点上的各个计算设备(如C备用节点1的主机内存中，即可控制分布式训练系统1100重新拉起机器学习模型的分布式属的网络域中没有备用节点，主计算节点则可控制分布式训练系统600将计算节点H2所属节点则可尝试通过该其他网络域中的备用节点构建扩容节点组，以对分布式训练系统扩也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备(如主计算节检查点发送模块1402和训练任务执行模所述多个计算节点中确定与所述新计算节点相关的目标节点是指无法继续参与执行所述分布式训练任[0202]在所述故障节点的内存无法提供所述检查点数据的情况下，从所述t个计算节点组中确定第一计算节点组，所述第一计算节点组与所述故障节点所属的计算节点组不相[0203]将所述故障节点在所述第一计算节点组中的等位节点确[0209]将所述新计算节点在所述第二计算节点组中的等位节点确定为所述目标计算节述第n_1阶段的检查点数据用于指示所述计算节点在参与执行所述第n_1阶段的训练任务[0217]在所述分布式训练系统中的故障节点所属的故障节点组被取消执行对应的子任备1600可用于实现上述实施例中提供的应用于分布理器1601可以采用DSP(DigitalSignalProcessing，数字信号处理)、FPGA(Field处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessing[0226]本领域技术人员可以理解，图16中示出的结构并不构成对计算机设备1600的限述计算机程序由处理器加载并执行以实现上述应用于分布式训练系统的机设备执行上述应用于分布式训练系统的训