CN114969423B 一种基于局部共享语义中心的图像文本跨模态检索模型、方法及计算机设备 （天津理工大学）

一种基于局部共享语义中心的图像文本跨本发明公开了一种基于局部共享语义中心的图像文本跨模态检索模型、方法及计算机设Bert提取图像中的区域特征与文本的单词级特中心，计算每一个局部特征和语义中心的相似度，根据相似度将局部特征分配到多个语义中使用bi-GRU对图像的区域特征权重和文本的单和文本的多层全局表示计算图像和文本的全局21.一种基于局部共享语义中心的图像文本跨模态检索模型的构建方法，其特征在于，S1，分别提取图像的区域特征和文本的单词级特征，然S3，获得图像文本对齐语义表示：计算S1中图像S5，利用步骤S3中具有相同共享语义中心的图像本的局部相似度，利用步骤S4中图像全局表示和文本全局表示计算图像文本的全局相似给定文本S，首先使用分词工具将文本分为多个独立的单词，并且用个独立的多层感知机将文本的单词级特征fi分别映射得到和S2.1在训练数据集中对用于局部对齐的图像特征Vl和用于局部对齐的文本特征Tl进行S2.2对随机采样的图像特征和文本特征进行K-mea3C=feli=1,2,…,k,crER"),kn且kn，S2.3将初始化的聚类中心C定义为可训练的共享语义中心，共享语义中心的参数随网2.根据权利要求1所述的一种基于局部共享语义中心的图像文本跨模态检索模型的构为了得到与共享语义中心对齐的图像上下文式(6)中cf表示第i个共享语义中心的转置，表示第j个用于局部对齐的图像特征，表示第i个共享语义中心与第j个用于局部对齐的图像特征的余弦相似度,对余弦相似表示第i个共享语义中心与第j个用于局部对齐的文本特征的余弦相似度,对余弦相似度矩43.根据权利要求1所述的一种基于局部共享语义中心的图像文本跨模态检索模型的构"=max(ff,式(13)中表示图像特征的位置编码，表示位置编码对应bi-GRU的输出，维度为使用全连接层将其维度映射为然后使用softmax进行度为所以其中wv的维度为Rd,bv的维度为图像的全局特征由池化结果的加权式(17)中表示图像特征的位置编码，表示位置编码对应bi-GRU的输出，维度为使用全连接层将其维度映射为RX1,然后使用softmax进行5维度为所以其中wt的维度为Rd,bt的维度为表示第i值池化结果对应的权4.根据权利要求3所述的一种基于局部共享语义中心的图像文本跨模态检索模型的构式(20)中表示在共享语义中心ci下图像的上下文特征与文本的上下文特征全局相似度由图像全局表示和文本全局表示的余弦相本的整体相似度由局部相似度和全局相似度12是决定局部全局比例的超参数。5.根据权利要求1-4任一项所述的一种基于局部共享语义中心的图像文本跨模态检索6.根据权利要求1-4任一项所述的一种基于局部共享语义中心的图像文本跨模态检索6于局部共享语义中心的图像文本跨模态检索模型的指令或程序、或者权利要求6所述的图7[0002]图像文本跨模态检索旨在用一种模态的数据检索出另一种模态中与该数据具有很好的应对图像文本跨模态检索的挑战。因此本发明设计了一种图像文本共享的聚类中[0005]本发明的目的是利用可训练的图像文本共享的语义中心表示图像文本局部特征8的聚类中心且kn；[0019]步骤S2-3，将初始化的聚类中心C定义为可训练的共享语义中心，随模型一起训[0021]步骤S3-1，对步骤S1-1中图像特征Vl和步骤S1-2中文本特征Tl分别[0024]步骤S4-1，对步骤S1-1中的图像特征Vg和步骤S1-2中的文对应某一语义中心的局部相似度由步骤S3-2中对齐相同语义中心的图像特征和文本特征9[0031]对任意一组图像文本对，首先采用步骤S1的特征提取方法提取图像和文本的特[0034](1)本发明解决了传统的图像文本跨模态检索局部对齐计算量大、不能深入探索[0035](2)本发明提出的基于局部共享语义中心的图像文本跨模态检索方法，通过学习[0036](2)本发明将软分配应用到聚类的匹配问题上，由于软分配使得权重系数变得平[0037](3)本发明在局部对齐的基础上，将全局特征的对齐作为辅助信息促进图像文本[0041]图1为本发明提出的基于局部共享语义中心的图像文本跨模态检索方法的流程两层独立映射分别得到用于局部对齐和全局对和和个未经训练的图像特征和文本特征，然后对随机采样的图像特征和文本特征进行K-means聚类，得到k个初始化的聚类中心c=fcrli=1,2,…,k语义中心的相似度，利用该相似度将图像特征聚合为k个对应共享语义中心的图像语义表[0049]然后将步骤S3中归一化相似度矩阵的值作为步骤S1中图像特征Vl的权重与文本间对应某一语义中心的局部相似度由步骤S3中对齐相同语义中心的图像特征和文本特征[0055]图像和文本之间的全局相似度由步骤S4中图像和文本的全局特征的余弦相似度[0059]图像的区域特征和文本单词级特征分别使用预训练的FasterR-CNN和预训练的使用两个独立的多层感知机将文本的单词级特征zi分别映射[0072]首先在训练数据集中对用于局部对齐的图像特征Vl和用于局部和文本特征进行K-means聚类，得到k个初始化的聚类中心c=fcli=1,2,….,k,crER4),k《m图像和文本之间的局部相似度可以由同一共享语义中心下图像和文本的上下文特征来表[0078]式(6)中表示第i个共享语义中心的转置，表示第j个用于局部对齐的图像特[0086]式(9)中表示第i个共享语义中心的转置，表示第j个用于局部对齐的文本特[0092]图像文本的全局对齐为理解图像和文本的共享语义提供了比局部对齐更有概括[0098]式(13)中表示图像特征的位置编码，表示位置编码使用全连接层将其维度映射为然后使用softmax进出维度为所以其中wv的维度为Rd,bv的维度为R",e"表示第i值池化结果对应的[0107]式(17)中表示文本特征的位置编码，表示位置编码对应bi-GRU的输出，维度为使用全连接层将其维度映射为然后使用softmax输出维度为R,所以其中wt的维度为d,bt的维度为表示第i值池化结果对应[0116]式(20)中表示在共享语义中心ci下图像的上下文特征与文本的上下文Rl2Rg示数据集D中的正样本对，f=argmaxxeR(v,t')表示v的最难负样本，t=argmaxexrR(v,t')[01