CN115033670B 多粒度特征融合的跨模态图文检索方法 （西安电子科技大学）

本发明公开了一种多粒度特征融合的跨模据间进行细粒度信息交互的技术问题，实现包于注意力的细粒度跨模态交互网络和多粒度特索模型在双路编码结构下具有较高的检索效率2(2)样本的图文特征提取：对训练集、验证集和测试集所有样本中的每张图片，使用(3)构建基于注意力的细粒度跨模态交互网络：构建基于注意力机制的细粒度跨模态3a)构建用于图像和文字描述的联合特征表示的全连接层：在构建的基于注意力的细粒度跨模态交互网络，交互网络的输入为一个样本中的图像和文字描述各自的局部特征，Z＝concat[V,W]3b)构建基于注意力的特征交互层：构建用于将联合特征进行细粒度模态交互的特征3c)构建图像和文字描述的交互特征输出层：将特征交互层的输出作为交互后的图像3=z),j=r+l,…,r+q.(4)构建多粒度特征融合网络：构建多粒度特征融合网络对图像和文字描述的不同粒4b)构建文本特征融合子网络：文本特征融合子网络输入为并行的文本的全局特征和qq(5)使用联合损失函数同时对所构建的交互网络和融合网络进行训练：定义联合损失多粒度特征融合网络同时进行训练，通过角损失的影响因子θ来约束角损失对整个损失的4张图像与其对应的文字描述作为样本输入到网络模型中得到图像和文字描述各自的编码2.根据权利要求1所述的多粒度特征融合的跨模态图文检索方法，其特征在于，步骤(5)所述的用联合损失函数同时对所构建的交互网络和融合网络进行训练，包括有如下步L＝Ltriplet+θLangular+Lcap5是指利用其中一种数据模态作为查询对象来检索具有相似语义的另一种数据模态的内容，[0004]公共特征空间学习法采用两个独立的深度编码网络分别化目标函数，不同模态数据投影到公共子空间来进行相似度计算。YilingWu,ShuhuiWang,GuoliSong等人在其论文“LearningFragmentSelf-AttentionEmbeddingsforImage-TextMatching”中通过自注意力机制分别学习图像和文本的模态内数据相关性增强语义嵌入。上述现有技术虽然利用了样本的细粒度信息但是并未在模态间进行信息交在其申请专利“一种基于双语义空间的对抗性跨媒体检索方法”中分别保留不同模态内部专利“一种基于门控注意力机制和门控机制的图文检索方法和系统”中通过将两种模态的数据互相作为监督信息，并引入门控机制去过滤不必要的信息，从而获取具有通用语义和准确注意力的模态特征。HaiwenDiao,YingZhang,LinMa,HuchuanLu等人在发表论文代替相似性标量，捕获更加细节的模态间的关系。上述现有方法学习了新的相似性度量方[0006]在跨模态预训练模型的发展中，YenChunChen,LinjieLi,LichengYu等人20206预训练任务和更大的数据集学习通用的视觉语言表示，在9个下游任务上1表现优异。FeiYu,JijiTang,WeichongYin等人在2021年发表论文“ERNIE-ViL:KnowledgeEnhancedVisionLanguageRepresentationsThroughSceneGraph”中首次把场景图知识加入到[0012](3)构建基于注意力的细粒度跨模态交互网络：构建基于注意力机制的细粒度跨依次连接有用于图像和文字描述的联合特征表示的全连接层、基于注意力的特征交互层、数据的细粒度交互，将图像和文字描述的交互特征输出层的输出特征作为交互网络输出，交互网络输出即为细粒度跨模态交互后的图像和文字描述各自[0013](4)构建多粒度特征融合网络：构建多粒度特征融合网络对图像和文字描述的不7[0014](5)使用联合损失函数同时对所构建的交互网络和融合网络进行训练：定义联合络和多粒度特征融合网络同时进行训练，通过角损失的影响因子θ来约束角损失对整个损的每张图像与其对应的文字描述作为样本输入到网络模型中得到图像和文字描述各自的8[0032]本例中是从MS-COCO和Flickr网站收集图像和其对应的文字描述作为样本，每个练集包含图像的全局特征文件和局部特征文件和文字描述的全局特征文件和局部特征文后得到特征作为文字描述的全局特征维度为256。通过对样本中图像文本对的各自的特征[0035](3)构建基于注意力的细粒度跨模态交互网络：为了加强数据细粒度层次上的模9层输出的图像和文字描述各自的局部特征，即36个图像的局部特征和32和文本的局部特的将文字描述的全局特征嵌入到与局部特征相同的维度之后，用全局特征去引导局部特池化后得到最终的图像嵌入I；文本特征融合子网络首先将文字描述的全局特征经过全连[0040](5)使用联合损失函数同时对步骤(3)和(4)所构建的基于注意力的跨模态交互网数对跨模态交互网络和多粒度特征融合网络同时进行训练，通过角损失的影响因子θ来约[0045]3a)构建用于图像和文字描述的联合特征表示的全连接层：构建的基于注意力的细粒度跨模态交互网络，交互网络的输入为一个样本中的图像和文字描述各自的局部特W串联后得到联合特征Z：[0047]3b)构建基于注意力的特征交互层：构建用于将联合特征进行细粒度模态交互的[0050]3c)构建图像和文字描述的交互特征输出层：将特征交互层的输出作为交互后的字描述特征j:[0052]=z),j=r+l…,r+q.特征和文字描述特征即为基于注意力的细粒度跨[0057]4a)构建图像特征融合子网络：通过注意力机制平衡全局特征和局部特征的相对[0062]4b)构建文本特征融合子网络：为了能让最终的文本嵌入包含每个单词的语义信qq[0073]针对现有方法训练网络速度慢的问题，本发明同时使用[0076]多粒度特征融合的跨模态图文检索方法同实施例1，下面结合附图对本发明做进最终的区域特征表示为全局特征表示为V'。[0080]文本表示：对于一个输入句子S，本发明使用BERT作为编码器提取词嵌入，全局表示W'。据权重系数对Value进行加权求和。在计算权重时还可以使用Softmax函数进一步加强权[0092]通过自注意力机制编码后的图像和文本的局部特征包含了模态内的相似性关系图像的全局特征V和局部特征Ii进行特征融合。本发明使用CRGN提出的深度关系嵌入方法qq[0124]本发明仿真实验实现的硬件环境为：IntelCorei7-9750处理器，2.60GHz，[0125]本发明仿真实验实现的软件环境为：Windows10操作系统，Pycharm[0129]本发明的仿真实验使用本发明的方法以及现有的6个深度学习方法(SCAN、VRSN、[0131]现有方法SCAN指Lee等人在“Stackedcrossattentionforimage-textmatching.InEuropeanConferenceOnComputerVision,page[0132]现有方法VSRN指Li等人在“VisualSemanticReasoningforImage-TextMatching.InProceedingsoftheIEEEInternationalConferenceonComputer[0133]现有方法SAEM指Wu等人在“LearningFragmentSelf-AttentionEmbeddingsforImage-TextMatching.In[0134]现有方法CRGN指Zhang等人在“DeepRelationEmbeddingforCross-Modal[0135]现有方法SHAN指Ji等人在“Step-WiseHierarchicalAlignmentNetworkforImage-TextMatching.ProceedingsoftheThirtiethInternationalJoint[0136]现有方法DIME指Qu等人在“DynamicModalityInteractionModelingfor比现有技术方法Recall@1值提高4.4而文本检索图像中，Recall@1值提高5.5实验数[0142]多粒度特征融合的跨模态图文检索方法同实施例1-5，下面结合消融实验对本发[0143]为了进一步评估本发明所提出的多粒度特征融合的跨模态图文检索方法中所构[0147]通过对实验设置中提出的三种方法分别进行实验，在Flickr30K数据集上进行实[0150]通过表2可以看出，本发明的方法去除任一网络模块，在检索精度上都会有所下降