CN114463158B 模型训练方法及系统、非易失性存储介质和计算机终端 （阿里巴巴集团控股有限公司）

提取网络的网络结构相同；多个GPU中的第一特征输入至第一GPU的第一全连接层进行处理；并基于处理结果确定第一GPU的预测误差；基于第一GPU的预测误差和接收的其他GPU的预测误及基于目标预测误差更新目标神经网络模型的2所述多个GPU中的每个GPU均具有第一特征提取网络和第一全连接层所述第一GPU对所述第一GPU对应的特征提取网络进行初始化后，将进行初始的初始化参数发送至其他GPU；所述其他GPU基于所述初始化参数对所述其他GPU对应的特2.根据权利要求1所述的系统，其中，所述第GPU为所述多个GPU中除所述第一GPU之所述第一GPU基于所述第一GPU的损失值和所述其他GPU的损失值确定所述预第一样本特征的分类结果和所述第一样本特征的分类标签确述第一样本特征的分类结果和所述第一样本特征的分类标签确定所述预测误计算所述第一样本特征与所述目标训练数据集中的其他样本特征将所述前N个相似度对应的样本特征的分类标签设置为所述第一样本特征所述多个GPU中的第一GPU对所述第一GPU的第一特征提取网络进行初始化，并采用初所述第一GPU将所述第一样本特征输入至所述第一GPU的第一全连接层进所述第一GPU基于处理结果确定所述第一GPU的预测误差；基于所述第一GPU的预测误3所述方法还包括：所述第一GPU对所述第一GPU对应的特征提取网所述第一GPU确定所述第一GPU的损失值，以及获取其他GPU的损失值，所所述多个GPU中除所述第一GPU之外的所述第一GPU基于所述第一GPU的损失值和所述其他GPU的损失值确定所述预所述第一GPU确定所述第一GPU的损失值和所述其他GPU的损失值之间的和值，将该和所述第一GPU计算所述第一样本特征与所述目标训练数据集中的其他样本特征之间的所述第一GPU对所述多个相似度按照从大到小的顺序进行排序，并确定排序结果中的将所述多个目标训练数据集分别输入至多个电子设备中，其中，所述均包括全连接层和与所述全连接层连接的网对所述多个电子设备的特征提取网络进行初始化，并利用初始化后将样本特征输入至所述多个电子设备中的全连接层进行处理，以依据所述多个电子设备的分类结果和所述目标训练数据集中的样本标签确定多个预所述方法还包括：第一电子设备对所述第一电子设备对应的特征提4将所述多个目标训练数据集分别输入至多个电子设备中，以对获取对多个神经网络模型进行训练得到的多基于所述多个预测误差确定目标神经网络的预测误差，并所述方法还包括：第一电子设备对所述第一电子设备对应的特征提述程序运行时控制所述非易失性存储介质所在设备执行权利要求8至14中任意一项所述的GPU的第一特征提取网络进行初始化，并采用初始化后的第一特征提取网络提取目标训练参数发送至其他GPU；所述其他GPU基于所述初始化参数对所述其他GPU对应的特征提取网所述客户端设备，用于向目标对象提供人机交互界面，并通过所述人机交互56[0002]无监督学习或自监督学习目的是通过无标签数据学习具有较强表达能力的模型[0006]本申请实施例提供了一种模型训练方法及系统、非易失性存储介质和计算机终述多个GPU中的第一GPU对所述第一GPU的第一特征提取网络进行初始化，并采用初始化后7其中，多个电子设备中均包括全连接层和与全连接层连接的网络结构相同的特征提取网网络模型进行训练得到的多个预测误差；基于多个预测误差确定目标神经网络的预测误和与所述全连接层连接的特征提取网络，所述多个电子设备中的特征提取网络的结构相8员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范[0027]实例分类(insta9个神经元与其前一层的所有神经元进行全连接.全连接层可以整合卷积层或者池化层中具用ReLU函数。最后一层全连接层的输出值被传递给一个输出，可以采用softmax逻辑回归[0032]无监督学习或自监督学习目的是通过无标签数据学习具有较强表达能力的模型个数据增强输入在特征空间距离更近、而不同图像的数据增强输入对应的特征距离拉远。[0033]而实例分类(instanceclassification)的方法将数据集中的每一个数据样本对第一GPU的第一特征提取网络10进行初始化，并采用初始化后的第一特征提取网络提取的任意一个GPU)的第一特征提取网络是通过对多个GPU中任意一个GPU的第一特征提取网[0040]在将上述第一样本特征输入至第一全连接层进行处[0041]在本申请的一些实施例中，在对特征提取网络进行初始化过程中，上述第一GPU(即多个GPU中的任意一个GPU)对第一GPU对应的特征提取网络进行初始化后，将进行初始化所采用的初始化参数发送至其他GPU；其他GPU基于初始化参数对其他GPU对应的特征提率还是有些样本在语义上比较相似，这样将这些样本也看做负样本就引入了较多的噪声，(相当于上述的前N个相似度对应的类)，将这些相似类赋予一定的正标签，来降低标签噪[0049]计算top-K每个训练周期(epoch)计算一次即可。采用平[0051]图2是根据本申请实施例的一种可选的模型训练系统的结图2提供了一种大规模分类的混合并行训练框架，此训练框架之前一般是利用于有监督模层按模型并行的方式进行拆分，而特征提取网络则用数据并行的方式进行复制(此处复制编码器(Encoder)，池化层(Pool)和多层感知器(MPL)，将特征提取网络提取的特征(Wi)计算部分weights,计算部分logits(partiallogits)，计算部分Loss(partial随机初始化，此种初始化方法在实例分类的训练初期收敛特别困难(与实例分类一个类只[0056]计算top-K每个训练周期(epoch)计算一次即可。采用平也需要进行通讯。多个GPU之间可以基于支持分布式通讯和计算的应用编程接口函数库进多个GPU中的第一特征提取网络的网络结构相同，第一全连接层为基于目标神经网络模型始化参数发送至其他GPU；其他GPU基于初始化参数对其他GPU对应的特征提取网络进行初[0068]在确定预测误差时，第一GPU基于处理结果确定第一样本特征的分类结果和第一样本特征的分类标签确定预测误差。在第一GPU在基于处理结果确定第一样本特征的分类结果和第一样本特征的分类标签确定预测误差之前，第一GPU计算第一样本特征与目标训率还是有些样本在语义上比较相似，这样将这些样本也看做负样本就引入了较多的噪声，(相当于上述的前N个相似度对应的类)，将这些相似类赋予一定的正标签，来降低标签噪装置中执行。图4示出了一种用于实现模型训练方法的计算机终端(或移动设备)的硬件结构框图。如图4所示，计算机终端40(或移动设备40)可以包括一个或多个(图中采用402a、辑器件FPGA等的处理装置)、用于存储数据的存储器404、以及用于通信功能的传输模块计算机终端40还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配[0076]应当注意到的是上述一个或多个处理器402和/或其他数据处理电路在本文中通算机终端40(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如[0077]存储器404可用于存储应用软件的法对应的程序指令/数据存储装置，处理器402通过运行存储在存储器404内的软件程序以储器404可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装[0078]传输模块406用于经由一个网络接收或者发送数据。上述的网络具体实例可包括[0079]显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与据集中的数据全部输入至一个GPU或电子设备中进行训练，但是，这样势必会影响训练效始化参数发送至其他GPU；其他GPU基于初始化参数对其他GPU对应的特征提取网络进行初[0106]非易失性存储介质用于存储实现以下功能的程序指令：对第一GPU的第一特征提GPU的第一全连接层进行处理；第一GPU基于处理结果确定第一GPU的预测误差；基于第一基于初始化参数对其他GPU对应的特征提取网目标神经网络模型的目标预测误差；以及基于目标预测误差更新目标神经网络模型的参训练过程使得分类模型支持相同数量的分类结果，从而导致GPU的计算资源消耗较大的技供的服务实现对模型的训练，例如，在一些实施例中，上述客户端设备10包括但不限于：[0118]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可[0124]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用或者