CN117742959B 基于集群的训练方法、装置、电子设备及存储介质 （北京百度网讯科技有限公司）

于训练节点中模型训练程序的容器镜像和训练标备用节点接替训练节点继续执行模型训练任2基于所述训练节点中模型训练程序的容器镜像和所述训练状态数据，对其中，所述目标训练快照是依据目标周期从所述训练节获取所述模型训练任务的训练快照的单次预估保根据设定时长和所述单次预估保存开销，构建以所述目标周期为2.根据权利要求1所述的方法，所述获取所述训练节点中模型训练任务的目标训练快获取所述训练节点中所述模型训练任务的至少一个训练快照；依据所述目标周期，控制所述训练节点基于第一进程，将所述训控制所述训练节点基于第二进程，从所述内存中读取所述训练快控制所述训练节点基于第三进程，从所述固态硬盘中读取所述训选取对应的获取时间与所述故障时间间隔最短的训练快照为所述目对所述目标备用节点进行通信带宽验证和/或静默数据错响应于通信带宽验证通过和/或静默数据错误校验通过，对所述目标备用节点进行初3获取所述集群的预估可用性和单位时间内故10.一种基于集群的训练装置，所述集群中包括用于执行模型训练任务的训练节点和第一响应模块，用于响应于训练节点存在硬件故障，从多个备用节初始化模块，用于基于所述训练节点中模型训练程序的容器镜像和所述训练状态数其中，所述目标训练快照是依据目标周期从所述训练节第一构建模块，用于根据设定时长和所述单次预估保存开销获取所述训练节点中所述模型训练任务的至少一个训练快照；依据所述目标周期，控制所述训练节点基于第一进程，将所述训控制所述训练节点基于第二进程，从所述内存中读取所述训练快控制所述训练节点基于第三进程，从所述固态硬盘中读取所述训4选取对应的获取时间与所述故障时间间隔最短的训练快照为所述目对所述目标备用节点进行通信带宽验证和/或静默数据错响应于通信带宽验证通过和/或静默数据错误校验通过，对所述目标备用节点进行初第二响应模块，用于响应于所述训练节点存在软件故障，类型确定模块，用于响应于获取到所述训练节点的故障码，基所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被5个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的基于集群的训练方6机指令在被处理器执行时实现如第一方面所述的基于集群的训练方法节点中模型训练任务的目标训练快照；目标训练快照中包括模型训练任务的训练状态数[0018]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特训练装置，基于集群的训练装置可以由软件和/或硬件的方式实现，可以配置在电子设备7硬件可以是指图形处理器(graphicsprocessingunit，GPU)、中央处理器(centralB的备用节点或者优先级为B的备用节点不可用时，选取优先级为A的备用节点为目标备用8[0049]目标训练快照中所包括的模型训练任务的训练状态数据，可以是指训练数据状[0053]对目标备用节点进行初始化的过程可以理解为抢占目标备用节点的资源以执行[0061]若训练节点仅通过一个进程依次将训练快照保存至内存、固态硬盘以及存储节92[0084]对目标备用节点进行通信带宽验证和/或静默数据错误校验，可以对目标备用节训练率可以用于指示在期望的模型训练时间周期内，真正贡献给模型参数更新的时间占recoveryrecoveryC为预估的单次故障恢复时间占比，C可以理解为单recoveryrecovery[0111]图4是根据本公开一实施例提供的基于集群的训练装置的结构示意图。集群中包[0136]响应于通信带宽验证通过和/或静默数据错误校验通过，对目标备用节点进行初[0148]如图5所示，电子设备500包括计算单元501，其可以根据存储在ROM(Read_OnlyMemory，只读存储器)502中的计算机程序或者从存储单元508加载到RAM(RandomAccess通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息元501的一些示例包括但不限于CPU(CentralProcessingUnit，中央处理单元)、GPU人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(DigitalSignal509而被载入和/或安装到电子设备500上。当计算机程序加载到RAM503并由计算单元501Product，专用标准产品)、SOC(SystemOnChip，芯片上系统的系统)、CPLD(Complex者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可[0152]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机