CN114821148B 一种基于多模态特征融合的零样本学习分类方法及设备 （天津百利展发集团有限公司）

一种基于多模态特征融合的零样本学习分本发明公开了一种基于多模态特征融合的习模型中存在域偏移问题和视觉特征域偏移问算视觉模态对齐损失函数；根据模型总损失函2根据所述训练样本的真实特征与所述多模态融合条件特征，根据模型总损失函数，对所述生成器中的相关参数进行优化，直根据优化后的所述生成对抗网络的生成器，对未见类图像样本2.根据权利要求1所述的一种基于多模态特征融合的零样本学习分类方法，其特征在根据所述语义特征以及所述视觉主成特征，对所述训练样本进行3.根据权利要求2所述的一种基于多模态特征融合的零样本学习分类方法，其特征在p通过特征层融合模块，根据c=XPBa,对所述语义特征与所述视觉主成特征进行特p为联结符号。4.根据权利要求1所述的一种基于多模态特征融合的零样本学习分类方法，其特征在通过第二编码器，对所述真实特征与所述多模态融合条件特征进行3根据得到所述判别器损失函数Lwcaw;其中，E[D(x,a)]-E[D(⃞,a)l为所述真实特征x与所述合成视觉特征为语义-视觉特征的联合分布，x'=QX+(1-其中α~U(0,1)。5.根据权利要求1所述的一种基于多模态特征融合的零样本学习分类方法，其特征在根据Lsa=E[IEnc(R)-all],6.根据权利要求1所述的一种基于多模态特征融合的零样本学习分类方法，其特征在对所述合成视觉特征与所述重构样本视觉特征进根据Lvn=EllDec(x)-xll,得到所述视觉模态对齐损失函数Lva;其中，文为所述重7.根据权利要求1所述的一种基于多模态特征融合的零样本学习分类方法，其特征在在所述模型总损失函数的值小于所述第一预设阈值后，得8.根据权利要求1所述的一种基于多模态特征融合的零样本学习分类方法，其特征在4通过优化后的所述生成对抗网络的生成器，对所述语义特征以及随机噪声进行解码，9.根据权利要求6所述的一种基于多模态特征融合的零样本学习分类方法，其特征在根据所述合成视觉特征与所述重构样本视觉特征之间的欧式距所述存储器存储有能够被所述至少一个处理器执行的指令，以使所能够执行根据权利要求1-9任一项所述的一种基于多模态特征融合的零样本学习分类方5颖类的识别。零样本学习旨在通过在可见类(seenclasses)中学到的知识对未见类[0006]一方面，本申请实施例提供了一种基于多模态特征融合函数以及所述视觉模态对齐损失函数所决定；根据优化后的所述生成对抗网络的生成器，6[0007]本申请实施例通过从训练样本中提取到的语义特征以及生成器生成的优化后的未见类伪样本来训练，可以提高softmax分类器对未见类样本的识根据c=XPBa,对所述语义特征与所述视觉主成特征进行特征融合，得到所述多模态融pp7生成网络的判别器，计算所述真实特征与所述合成视觉特征的相似度；根据Lwcaw=Lwcaw;其中，E[D(x,a)]-E[D(&,a)]为所述真实特征x与所述合成视觉特征的相似度，觉特征的联合分布，x'=QX+(1-α)&,其中α~U(0，1)。态对齐损失函数，具体包括：根据Lsa=E[IIEnc()-all],对所述语义嵌入特征与所述语关参数进行优化，直至所述模型总损失函数的值小于第一预设阈值，具体包括：根据L=Lvae十Lwcaw十BLna,得到所述模型总损失函数L；其中，LnA=Lsa十Lva,Lna为8据上述任一实施方式所述的一种基于多模态特征融合的[0019]图1为本申请实施例提供的一种基于多模态特征融合的零样本学习分类方法流程[0023]图5为本申请实施例提供的一种基于多模态特征融合的零样本学习分类设备的结9pp[0029]在一个实施例中，图3为本申请实施例提供的一种多模态特征融合模块结构示意pp根据得到判别器损失函的联合分布，x'=QX+(1-0)&,其中α~U(0，1)。[0034]在一个实施例中，图2为本申请实施例提供的一种多模态特征融合模型结构示意征提取网络提取到的真实特征x与经过多模态特征融合模块形成的多模态融合条件特征c在此过程中，根据Lnae=Eexo[logG(z,a)]-BKL(E(x,c)llp(zla)),便可以得到编码络GAN模块由生成器G和判别器D组成，因为GAN模块的训练不易收敛，所以引入WGAN中的[0036]得到有关判别a)]-E[D(&,a)]为真实特征x与合成2-1)2]为带有Lipschitz约束的梯度惩罚项λ为惩[0038]具体地，根据LSX=E[IEnc(i)-all],对语义嵌入特征与语义特征进行模态对义特征a进行对齐，通过计算二者的得到语义模态对齐损失函数Lsao从而实现语义嵌入特征。对合成视觉特征与重构样本视觉特征进行模态对齐。根据Lva=EIIDec(x)-],得征进行重构，得到重构样本视觉特征为了保证生成器G生成的合与重构样本视觉特征之间的欧式距离得到视觉模态之间的损失，得到视觉模态对齐损失[0045]具体地，根据L样本进行分类。在4个零样本学习识别基准数据集上对模型的性能进行了评估:AWA1[0055]表2为零样本学习设定下在基准数据集AWA1,AWA2,SUN和CUB上对未见类的Top-1的零样本学习方法之一，在4个基准数据集上的top-1识别准确率均超过了TF-VAEGAN。在[0062]通过对4个测试集的测试，可以明显的看出，训练优化后的生成对抗网络的生成[0063]另外，本申请实施例还提供了一种基于多模态特征融合提高对未见类的识别准确率，缓解在零样本学习方法中未见类样本生成