CN114492152B 更新网络模型的方法、图像分类的方法、语言建模的方法 （阿里巴巴集团控股有限公司）

2务场景中的待处理词序列；在未达到所述全局同步周期时，对所述待训练网络模型进行其中，获取所述全局同步周期的目标值包括：在预设迭采用第一随机梯度下降算法对所述待训练网络模型中根据拓扑矩阵进行局部通信的采用第二随机梯度下降算法对所述待训练网络模型进行全述第二随机梯度下降算法是基于分布式训练中通信算法的并行随机通过全局同步周期在所述分布式训练中控制所述待训练网络模型的全局模型参数的更新其中，通过全局同步周期在所述分布式训练中控制所述待其中，获取所述全局同步周期的目标值包括：在预设迭3通过全局同步周期在所述分布式训练中控制所述待训练网络模型的全局模型参数的更新其中，通过全局同步周期在所述分布式训练中控制所述待其中，获取所述全局同步周期的目标值包括：在预设迭接收所述服务端反馈的图像分类结果，其中，所述图像分类式训练中控制所述待训练网络模型的全局模型参其中，通过全局同步周期在所述分布式训练中控制所述待其中，获取所述全局同步周期的目标值包括：在预设迭将所述待处理的词序列输入至神经网络模型进行语言建模处理，输出语言建模结果，其中，所述神经网络模型是通过在分布式训练中对待训练网络模型进行更新后得到的模其中，通过全局同步周期在所述分布式训练中控制所述待4其中，获取所述全局同步周期的目标值包括：在预设迭将所述待处理的词序列输入至神经网络模型进行语言建模处理，输出语言建模结果，其中，所述神经网络模型是通过在分布式训练中对待训练网络模型进行更新后得到的模其中，通过全局同步周期在所述分布式训练中控制所述待其中，获取所述全局同步周期的目标值包括：在预设迭接收所述服务端反馈的语言建模结果，其中，所述语言建模分布式训练中控制所述待训练网络模型的全局模型参其中，通过全局同步周期在所述分布式训练中控制所述待其中，获取所述全局同步周期的目标值包括：在预设迭5务场景中的待处理词序列；在未达到所述全局同步周期时，对所述待训练网络模型进行其中，获取所述全局同步周期的目标值包括：在预设迭6远满足不了当前的数据量要求，使用并行SGD算法的大规模分布式训练(多机并行)被工业[0003]为了提高并行SGD算法的分布式训练系统扩展性，相关技术中提出采用Gossip训练中往往较基于All-Reduce的并行SGD算法存在精度损失，无法兼顾大规模分布式训练中，上述神经网络模型是通过在分布式训练中对待训练网络模型进行更新后得到的模型，并且通过全局同步周期在上述分布式训练中控制上述待训练网络模型的全局模型参数的7在上述分布式训练中控制上述待训练网络模型的全局模同步周期在上述分布式训练中控制上述待训练网络模型的全局模型参数8优于去中心化分布式训练算法，与同步分布式训练算法相比不仅可以达到相近的收敛性，在保证分布式系统的通信速度的基础上，兼顾大规模分布式训练任务的收敛性的技术效[0020]图1示出了一种用于实现更新网络模型的方法的计算机终端(或移动设备)的硬件员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范9[0046]本申请实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现更新网络模型的方法的计算机终端(或移动设备)[0047]应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如[0048]存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的更新网络模型的方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内[0049]传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括[0050]显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与个节点，可以采用一个n×n的拓扑矩阵W来描述节点间的连模型前向和反向训练得到梯度在Gossip训练中，首先根据梯所示的一种更新网络模型的方法，图2是根据本申请实施例的一种更新网络模型的方法的优于去中心化分布式训练算法，与同步分布式训练算法相比不仅可以达到相近的收敛性，在保证分布式系统的通信速度的基础上，兼顾大规模分布式训练任务的收敛性的技术效物体分类(Imagenet)以及自然语言处理中的语言建模(Wikipedia)等任务上均验证了本申[0067]作为一种可选的实施例，基于分布式训练中通信算法的并行随机梯度下降算法[0073]因此，本申请实施例进一步提出了基于流言算法的异步随机梯度下降算法(算法[0081]其中代表向上取整，H_init为初始设置的迭代周期和F_init是热启动阶段求得的模型损失函数值，其余的迭代节点间根据拓扑结构进行基于[0087]本申请实施例中，采用一个计数器C来统计自上一次全局同步以来的Gossip通信算法2的代码中2-4行所示)，当计数器的计数值等于全局同步周期H的当前周期数(即目标次数下，本申请实施例针对大规模分布式训练任务的收敛性优于去中心化分布式训练算场景，通过全局同步周期在分布式训练中控制待训练网络模型的全局模型参数的更新时[0101]由于上述神经网络模型是通过在分布式训练中对待训练网络模型进行更新后得期在上述分布式训练中控制上述待训练网络模型的全局模型参场景，通过全局同步周期在分布式训练中控制待训练网络模型的全局模型参数的更新时[0109]由于上述神经网络模型是通过在分布式训练中对待训练网络模型进行更新后得次数下，本申请实施例针对大规模分布式训练任务的收敛性优于去中心化分布式训练算场景，通过全局同步周期在分布式训练中控制待训练网络模型的全局模型参数的更新时[0125]由于上述神经网络模型是通过在分布式训练中对待训练网络模型进行更新后得同步周期在上述分布式训练中控制上述待训练网络模型的全局模型参数场景，通过全局同步周期在分布式训练中控制待训练网络模型的全局模型参数的更新时[0133]由于上述神经网络模型是通过在分布式训练中对待训练网络模型进行更新后得[0143]根据本申请实施例，还提供了一种用于实施上述图像分上述分布式训练中控制上述待训练网络模型的全局模型参数[0146]根据本申请实施例，还提供了一种用于实施上述语言建步周期在上述分布式训练中控制上述待训练网络模型的全局模型参数的优于去中心化分布式训练算法，与同步分布式训练算法相比不仅可以达到相近的收敛性，在保证分布式系统的通信速度的基础上，兼顾大规模分布式训练任务的收敛性的技术效的方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模[0163]处理器可以通过传输装置调用存储器存储的信息及下降算法对上述待训练网络模型中根据拓扑矩阵进行局部通信的节点进行局部模型参数周期在上述分布式训练中控制上述待训练网络模型的全局模型参数优于去中心化分布式训练算法，与同步分布式训练算法相比不仅可以达到相近的收敛性，在保证分布式系统的通信速度的基础上，兼顾大规模分布式训练任务的收敛性的技术效上述待训练网络模型的全局模型参数的更新时机；将上述图像分类结果反馈至上述客户述图像分类结果由上述服务端将上述待分类图像输入至神经网络模型进行图像分类处理[0178]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可上述第二随机梯度下降算法是基于分布式训练中通信算法的并分类结果由上述服务端将上述待分类图像输入至神经网络模型进行图像分类处理后得到，通过全局同步周期在上述分布式训练中控制上述待训练网络模型的全局模型参数的更新语言建模结果由上述服务端将上述待处理的词序列输入至神经网络模型进行语言建模处[0198]上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式