CN116580257B 特征融合模型训练及样本检索方法、装置和计算机设备 （腾讯科技（深圳）有限公司）

本申请涉及一种特征融合模型训练及样本特征融合模型中得到训练语义特征和训练全局初始类别，将训练语义特征和训练全局特征拼特征进行自注意力权重计算，得到自注意力权类别标签更新初始特征融合模型并进行循环迭2获取训练样本和对应的训练样本类别标签，将所述训练样本输通过所述初始特征融合模型对所述训练样本进行特征提取通过所述初始特征融合模型将所述训练语义特征和所述训练全局特征进行拼基于所述训练全局特征、所述训练语义特征和所述训练融合特征进行特征损失计算，得到初始特征损失，并基于所述训练初始类别和所述训练样本类别标签进行类别损失计基于所述初始特征损失和所述初始类别损失更新所述初始特获取预训练样本和对应的预训练样本类别标签，将所述预训练基于所述预训练语义特征和预训练全局特征进行特征损失计算，得到预训练特征损基于所述预训练特征损失和所述预训练类别损失更新所述预训练模所述基于所述训练样本进行特征提取，得到训练语义特征和训练全局将所述训练样本输入到所述初始基础特征提取网络中，得到初始将所述初始第一基础特征输入到所述初始全局特征提取网络进行全局哈希特征提取，3将所述初始第二基础特征输入到所述初始语义特征提取网络进行语义哈希特征提取，计算所述训练拼接特征的转置，得到转置特征，将所通过所述自注意力权重调整所述训练拼接特征，得到训练调整特征，基于所述所述获取自注意力参数，基于所述自注意力参数对所述池化特征进行加权计将所述池化特征输入到所述初始自注意力网络中，所述初始自注意将所述训练调整特征输入到所述初始特征交叉网络中进行特征基于所述训练全局特征进行三元组损失计算，得到全局特征损失基于所述训练语义特征进行三元组损失计算，得到语义特征损失基于所述训练融合特征进行三元组损失计算，得到融合特征损失所述基于所述训练全局特征进行三元组损失计算，得到全局特征损失基于所述各个正样本对进行负样本筛选，得到所述各个正样本对对计算所述各个样本三元组中第一正样本对应的训练全局特征与所述各个样本三元组4一正样本对应的训练全局特征与所述各个样本三元组中负样本对应的训练全局特征之间计算所述第一相似距离与所述第二相似距离之间的误差，将所述训练样本中各个样本对应的训练全局特征进行符号量化，得到全局量化特征，基于所述各个正样本对确定当前正样本对和各个待挖从所述当前正样本对中随机选取，得到当前正样本，并分别从所述计算所述当前正样本分别与所述各个待挖掘样本之间的述各个待挖掘样本中确定所述当前正样本对对应所述基于所述训练语义特征进行三元组损失计算，得到语义特征损失计算所述各个样本三元组中第一正样本对应的训练语义特征与所述各个样本三元组一正样本对应的训练语义特征与所述各个样本三元组中负样本对应的训练语义特征之间计算所述第三相似距离与所述第四相似距离之间的误差，将所述训练样本中各个样本对应训练语义特征进行符号量化计算各个样本三元组中第一正样本对应的训练融合特征与所述各个样本三元组中第样本对应的训练融合特征与所述各个样本三元组中负样本对应的训练融合特征之间的第计算所述第五相似距离与所述第六相似距离之间的误差，5将所述训练样本中各个样本对应训练融合特征进行符号量化计算所述训练样本中各个样本对应的训练初始类别和所述训练样本类别标签之间的基于所述各个样本对应的训练类别损失进行平均计算，得到所述将所述输入样本输入到目标融合模型中，通过所述目标融合模型将所述第一输入融合特征作为所述输入样本对所述将所述输入样本输入到目标融合模型中，通过所述目标融合将所述输入样本分别输入到所述目标融合模型中的语义特征提取网络和所述全局特将所述输入语义特征和所述输入全局特征进行拼接，得到输入拼接6将所述输入调整特征输入到特征交叉网络进行特征交叉，获取查询样本对应的查询融合特征，所述查询融合特征是通过将所述查通过所述目标融合模型对所述查询样本进行特征提取，得到查询语义输入模块，用于获取训练样本和对应的训练样本类别标签，将所述初始识别模块，用于通过所述初始特征融合模型对所述训练样本对应的训练初始类别；初始融合模块，用于通过所述初始特征融合模型将所述训损失计算模块，用于基于所述训练全局特征、所述训练语迭代模块，用于基于所述初始特征损失和所述初始类别损失更新所述初预训练模块，用于获取预训练样本和对应的预训练样本类别标签样本对应的预训练类别；基于所述预训练语义特征和预训练全局特征进行特征损失计算，7所述初始识别模块还用于将所述训练样本输入到所述初始基础特征提取网络所述初始融合模块还用于将所述池化特征输入到所述初始自注意力自注意力网络获取自注意力参数，基于所述自注意力参数对所述池化特征进行加权计算，得到自注意力权重；将所述训练调整特征输入到所述初始特征交叉网络中进行特征交叉，全局损失计算单元，用于基于所述训练全局特征进行三元组损语义损失计算单元，用于基于所述训练语义特征进行三元组损融合损失计算单元，用于基于所述训练融合特征进行三元所述全局损失计算单元还用于基于所述各个正样本对进行负样本筛算所述各个样本三元组中第一正样本对应的训练全局特征与所述各个样本三元组中第二本对应的训练全局特征与所述各个样本三元组中负样本对应的训练全局特征之间的第二8各个正样本对确定当前正样本对和各个待挖掘正样本对；从所述当前正样本对中随机选述各个待挖掘样本中确定所述当前正样本对对应的当前负样本；遍历所述各个正样本对，所述语义损失计算单元还用于计算所述各个样本三元组中第一正样本对应的训练语计算所述各个样本三元组中第一正样本对应的训练语义特征与所述各个样本三元组中负化损失信息，基于所述训练样本中各个样本对应的初始语义量化损失信息进行平均计算，样本三元组中第一正样本对应的训练融合特征与所述各个样本三元组中第二正样本对应元组融合损失信息，基于所述各个样本三元组对应的三元组融合损失信息进行平均计算，得到所述融合特征损失信息；将所述训练样本中各个样本对应训练融合特征进行符号量类别损失计算单元，用于计算所述训练样本中各个样本对应的训通过所述目标融合模型对所述输入样本进行特征提取，得到输入语义特征和输入全局特9所述样本索引建立模块还用于将所述输入样本分别输入到所述目标融合模型中的语义特征提取网络和所述全局特征提取网络中，得到所述输入语义特征和所述输入全局特特征获取模块，用于获取查询样本对应的查询融合特征，所所述查询样本输入到目标融合模型中进行融合特征特征提取模块，用于通过所述目标融合模型对所述查询样本检索模块，用于基于所述查询融合特征进行样本检索，得到所述被处理器执行时实现权利要求1至14中任一项所述的[0001]本申请涉及计算机技术领域，特别是涉及一种特征融合模型训练及样本检索方过在对初始特征融合模型进行训练时，将提取的训练语义特征和训练全局特征进行拼接，使训练得到的目标融合模型提高了对语义特征和全局特征进行[0037]通过目标融合模型对查询样本进行特征提取，得到查询语义特征和查询全局特[0045]通过目标融合模型对查询样本进行特征提取，得到查询语义特征和查询全局特[0049]通过目标融合模型对查询样本进行特征提取，得到查询语义特征和查询全局特[0053]目标融合模型基于查询样本进行特征提取，得到查询语[0078]计算机视觉技术(ComputerVision,CV)计算机视觉是一门研究如何使机器“看”[0080]本申请实施例提供的特征融合模型训练方法，可以应用于如图1所示的应用环境[0089]其中，训练拼接特征是指将训练语义特征和训练全局特征首尾拼接后得到的特数达到最大迭代次数或者是训练损失达到预设损失阈值或者是模型的参数不再发生变化。到最大迭代次数或者预是训练损失达到预设损失阈值或者是预训练参数不再发生变化等模型中的特征提取参数和分类参数，第二阶段对目标特征融合模型中的所有参数进行训[0115]步骤404，将初始第一基础特征输入到初始全局特征提取网络进行全局哈希特征[0120]其中，全局特征提取网络的输入为表1最后一层的输出，输出为1X64维的全局特[0121]步骤406，将初始第二基础特征输入到初始语义特征提取网络进行语义哈希特征练样本对应的训练初始类别。[0127]其中，分类层类别的数量可根据实际需求进行调整，该分类层的数量为100个类[0139]在一个实施例中，初始特征融合模型包括初始自注意力网络和初始特征交叉网[0141]将池化特征输入到初始自注意力网络中，初始自注意力[0160]具体地，服务器使用三元组损失函数计算训练全局特征对应的全局特征损失信[0163]具体地，服务器使用三元组损失函数计算训练语义特征对应的语义特征损失信[0166]具体地，服务器使用三元组损失函数计算训练融合特征对应的融合特征损失信[0175]步骤804，计算各个样本三元组中第一正样本对应的训练全局特征与各个样本三一正样本对应的训练全局特征与各个样本三元组中负样本对应的训练全局特征之间的第[0176]其中，第一相似距离用于表征样本三元组中正样本训练全局特征之间的相似距中第一正样本对应的训练全局特征与各个样本三元组中负样本对应的训练全局特征之间应的三元组全局损失信息，基于各个样本三元组对应的三元组全局损失信息进行平均计本。也可以从每个正样本对按照预先设置的选取对象选取得到当前样本和各个待挖掘样一正样本对应的训练语义特征与各个样本三元组中负样本对应的训练语义特征之间的第[0200]其中，第三相似距离用于表征样本三元组中正样本训练语义特征之间的相似距正样本对应的训练语义特征与该第一正样本对应的第二正样本的训练语义特征之间的第与该第一正样本对应的负样本的训练语义特征之间的(regressionloss)计算训练语义特征与语义量化特征之间的误差，从而得到每个样本对信息来进行反向迭代更新可以使训练得到的目标融合特征模型输出的融合特征中的每一一正样本对应的训练融合特征与各个样本三元组中负样本对应的训练融合特征之间的第[0210]其中，第三相似距离用于表征样本三元组中正样本训练融合特征之间的相似距归损失(regressionloss)计算训练融合特征与融合量化特征之间的误差，从而得到每个初始语义特征或者训练融合特征，xp表示第二正样本对应的特征，xn表示负样本对应的特练目标是使得第一正样本到第二正样本之间的距离比第一正样本到负样本图像之间的大[0222]计算训练样本中各个样本对应的训练初始类别和训练样本类别标签之间的分类[0227]在一个具体的实施例中，可以使用如下所示的公式(3)计算得到训练过程中的总数量。Lhash-triplet1是指全局特征的三元组损失，Lcoding1是指全局特征的量化损失。[0230]在一个具体的实施例中，可以使用如下所示的公式(4)计算得到预训练过程中的入拼接特征输入到自注意力网络中，自注意力网络基于输入拼接特征进行自相关特征计输入融合特征作为输入样本对应的索引，从而提高了得到的第一输入融合特征的准确性，融合特征与各个待检索样本的融合特征进行相似度计算并获取目标检索样本可以提高检通过使用目标融合模型基于查询样本进行特征提取，得到查询语义特征和查询全局特征，[0256]步骤1604，通过初始特征融合模型将训练样本输入到初方差为0.01，均值为0的高斯分布进行初始化。然后对参数初始化的特征融合模型进行训计算查询图像语义特征或者查询图像全局特征或者查询图像融合特征与图像数据库中的使用查询图像语义特征或者查询图像全局特征从已有的图像数据库中进行图像相似召回，即计算查询图像语义特征与图像数据库中的已有图像融合特征的对应的语义特征相似度个特征融合模型训练装置或者样本检索装置实施例中的具体限定可以参见上文中对于特[0276]迭代模块1810，用于基于初始特征损失和初始类别损失[0282]在一个实施例中，初始特征融合模型包括初始自注意力网络和初始特征交叉网元组中第一正样本对应的训练全局特征与各个样本三元组中第二正样本对应的训练全局[0293]语义损失计算单元还用于计算各个样本三元组中第一正样本对应的训练语义特样本三元组中第一正样本对应的训练语义特征与各个样本三元组中负样本对应的训练语应的训练融合特征与各个样本三元组中第二正样本对应的训练融合特征之间的第五相似[0300]样本索引建立模块还用于将输入样本分别输入到目标融合模型中的语义特征提过将查询样本输入到目标融合模型中进行融合[0305]上述样本检索装置或者特征融合模型训练装置中的各个模块可全部或部分通过机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read_Only(ReRAM)、磁变存储器(MagnetoresistiveRandomAccess