CN119478551A 一种基于层次特征融合的组合式零样本图像分类方法 （南京航空航天大学）

一种基于层次特征融合的组合式零样本图本发明属于计算机视觉与人工智能技术领2步骤5.将步骤2获得的文本特征与步骤4构造的视觉融合特征输入至跨模态交互模步骤6.对CLIP视觉编码器最后一层输出的图像特征进行解耦，解耦模块采用三个可训练的多层感知器MLP分别从CLIP视觉编码器最后一层输出的图像特征中提取属性视觉特步骤9.重复执行步骤3至步骤8，并将每次迭代后的基于层次特征融合的组合式零样步骤10.利用训练好的基于层次特征融合的组合式零样本图像分类模型对输入图像2.根据权利要求1所述的基于层次特征融合的组合式零样本图像分类方法，其特征在()训练集中属性的总数o1至on分别表示对象集合0中第1个至第n个对c={cy=(a,oy)Iie[1,m],je[1,n]}，ai表示属性集合A中第i个属性，oj表示对象集合0中第j个对象，cij表示属性a3将提示前缀的词嵌入即提示前缀嵌入与每个属性、对象及其组合的词嵌入进行拼接，;其中，Tur表示提示前缀的词嵌入与属性ai的词嵌入eau进行拼接后构造的完整输入文表示提示前缀的词嵌入与属性ai和对象oj的组合的词嵌入cu进行拼接后构造的完整输入步骤2.3.利用CLIP文本编码器Eex()对带有提示前缀的完整输入文本嵌入进行编码，;3.根据权利要求1所述的基于层次特征融合的组合式零样本图像分类方法，其特征在将训练集中的图像作为输入图像传入CLICLIP视觉编码器通过多个层次的transformer模型逐步提取图像的特征，其中低级层4.根据权利要求1所述的基于层次特征融合的组合式零样本图像分类方法，其特征在5.根据权利要求1所述的基于层次特征融合的组合式零样本图像分类方法，其特征在步骤4.1.定义CLIP视觉编码器输出的初始层特征R、4;;步骤4.3.将每一层重塑后的特征、和展平并拼接成一个长向量;步骤4.4.为学习不同层次特征的加权系数，首先通过一个全连接层将拼接后的特征;;其中，ReLU(·)表示激活函数,zre表示经过ReLU激活函数处理后的特征；;;其中，为初始层特征的加权系数，c2为中间层特征的加权系数,c3合特征P：5。6.根据权利要求1所述的基于层次特征融合的组合式零样本图像分类方法，其特征在;对视觉融合特征p进行线性映射，得到键向量k,,k,同时也作为值向量：;;在交叉注意力计算之后，通过残差连接将原始的文本特征和交叉注意力的输出进行;入表示权重参数；。7.根据权利要求1所述的基于层次特征融合的组合式零样本图像分类方法，其特征在8.根据权利要求1所述的基于层次特征融合的组合式零样本图像分类方法，其特征在6视觉特征、组合视觉特征与所有候选对相应分支的优化后的文本特征的余弦相似度sim(v,t)：;t分别表示同一分支的视觉特征和文本特征，视觉特征v包括属性视觉特征、t的范数即模长；;;样本中属性视觉特征的均值，丽为第x个输入图像所对应类别的样本中;9.根据权利要求1所述的基于层次特征融合的组合式零样本图像分类方法，其特征在反向传播会从总损失开始，首先计算输出层的梯度，并将对于多层视觉特征融合模块，损失会通过加权系数反映在梯度计算7属性、对象和组合的初步嵌入表示也会受到损失的影响通过重复迭代执行步骤3至步骤8，基于层次特征融合的组合式零样本层视觉特征融合模块的加权系数、解耦用的MLP权重以及属性、对象和组合的初步嵌入表每次迭代后，将基于层次特征融合的组合式零样本图像分类模型在验证集上进行评练好的基于层次特征融合的组合式零样本图像分8过于侧重视觉编码器与文本编码器输出端的优化，忽略了特征编码过程蕴含的关键信息。9步骤1.搭建基于层次特征融合的组合式零样本图像分类模型，包括CLIP文本编步骤3.将训练集中的图像作为输入图像传入CLIP视觉编码器，逐层处理图像的步骤5.将步骤2获得的文本特征与步骤4构造的视觉融合特征输入至跨模态交互步骤6.对CLIP视觉编码器最后一层输出的图像特征进行解耦，解耦模块采用三个可训练的多层感知器MLP分别从CLIP视觉编码器最后一层输出的图像特征中提取属性视步骤9.重复执行步骤3至步骤8，并将每次迭代后的基于层次特征融合的组合式步骤10.利用训练好的基于层次特征融合的组合式零样本图像分类模型对输入如上所述，本发明述及了一种基于层次特征融合的组合式零样本图像分类方法，[0008]其次，跨模态交互模块的引入极大地增强了文本特征与视觉特征之间的关联术在更多复杂和多样化场景中的应用提供了有[0012]图1为本发明实施例中基于层次特征融合的组合式零样本图像分类方法的流程图2为本发明实施例中基于层次特征融合的组合式零样本图像分类模型的系统框步骤1.搭建基于层次特征融合的组合式零样本图像分类模型，包括CLIP文本编()m为训练集中属性的总数o1至on分别表示对象集合0中第1个至第nc={cy=(a,oy)Iie[1,m],je[1,n]}，ai表示属性集合A中第i个属性，oj表示对象集合0中第j个对象，cij表示属性ai和对象oj的;;;Try表示提示前缀的词嵌入与属性ai和对象9的组合的词嵌入ecu进行拼接后构造的完整[0021]步骤2.3.利用CLIP文本编码器Eex()对带有提示前缀的完整输入文本嵌入进行;;;[0022]步骤3.图像特征提取与多层特征表示：将训练集中的图像作为输入图像传入[0026]步骤4.1.在步骤3从CLIP视觉编码器中提取的不同层次的特征的基础上，定义[0027]步骤4.2.将每个特征图通过上采;[0028]步骤4.3.将每一层;[0030]其中，R2*"w*c上标中的3表示特征向量F。oncar中所拼接特征的数量。;。;其中，ReLU(·)表示激活函数,z;;视觉融合特征P：。[0037]步骤5.跨模态交互优化文本特征：将;[0041]对视觉融合特征p进行线性映射，得到键向量k,,k,同时也作为值向量：;[0042]计算文本特征与视觉融合特征之间的交叉注意力Attention(q,k,)：;[0043]在交叉注意力计算之后，通过残差连接;Tpt与原始文本特征T在融合中的相对重要性。。[0047]步骤6.特征解耦与多模态表征：对CL行解耦，解耦模块采用三个可训练的多层感知器MLP分别从CLIP视觉编码器最后一层输出[0048]具体的，在步骤3得到的由CLIP视觉编码器最后一层输出的图像特征即图像嵌入对象视觉特征、组合视觉特征与所有候选对相应分支的优化后的文本特征的余弦相似度sim(v,t)：;t分别表示同一分支的视觉特征和文本特征，视觉特征v包括属性视觉t的范数即模长。;[0054]对于第x个输入图像的视觉特征ux，利用步骤5获取的解耦后的第x个输入图像的;别的样本中属性视觉特征的均值，丽为第x个输入图像所对应类别;[0066]