CN115391625B 一种基于多粒度特征融合的跨模态检索方法和系统 （广东工业大学）

一种基于多粒度特征融合的跨模态检索方本发明公开了一种基于多粒度特征融合的2S2：提取图像数据的图像细粒度特征和位置提取图像数据的图像细粒度特征和位置细粒度特征的将图像数据输入现有的目标检测网络中，提取图像数据中目标区域将第i个目标框与所有目标框的重叠度集合记为该目标框的位置细粒度特征Oi,则oi=[of,o,…,of,…,of,sum},sum=ofi+o+…+f,其中，Oi表示图像数据第i个目标S4：将区域细粒度特征和词细粒度特征输入构建S6：根据局部细粒度相似度和细粒度总和相似S7：将待检索的图像数据或文本数据输入训练好的34.根据权利要求2或3所述的基于多粒度特征融合的跨模态取单元；视觉模态特征提取单元包括依次连接的第一transformer编码器、第一线性映射所述第一transformer编码器、第二transformer编码器和第三transformer编码器均一线性映射层映射为第一中间细粒度特征；将第一中间细粒度特征输入第二transformerf"表示第i个目标区域的视觉模态特征，TE1和TE2分别表示第一transformer编码器和第二transformer编码器的处理操作，linear1表示第一线性映射层的线性映射操对于文本模态，词细粒度特征经第二线性映射层映射后输入第三transformer编码器利用余弦相似度公式计算视觉模态特征和文本模态特征的局部细粒度相似度，公式4根据视觉模态特征和文本模态特征的局部细粒度相似度，计算视觉模根据视觉模态特征和文本模态特征的细粒度总和相似度筛选出跨模态正样本对和跨根据三元组损失函数和全局特征损失函数构根据三元组损失函数和全局特征损失函数构将待检索图像数据或文本数据输入训练好的跨模态检索模型中，计像数据最相关的文本实例；或计算待检索文本数据与图像实例的局部细粒度相似度得分，将局部细粒度相似度得分最高的图像实例作为该文本数据最相关的图原始特征提取模块，用于提取图像数据的图像细粒度特征和位将图像数据输入现有的目标检测网络中，提取图像数据中目标区域5将第i个目标框与所有目标框的重叠度集合记为该目标框的位置细粒度特征Oi,则oi=[of,o,…,f…,of,sum},sum=of+o+…+of,其中，Oi表示图像数据第i个目标模态特征提取模块，用于将区域细粒度特征和词细粒度特征输入构建的相似度计算模块，用于根据视觉模态特征和文本模态特征计算局模型训练模块，用于根据局部细粒度相似度和细粒度总和相似度构建最终损失函数，跨模态检索模块，用于将待检索的图像数据或文本数据输入训练好的6[0003]现有技术公开了一种基于语义增强的跨模态检索方法及态数据集中依据整体语义相似度从大到小的顺序选取预设个数的整体语义相似度对应的[0004]本发明为克服上述现有跨模态检索方法存在的异构鸿沟7度，rowij表示第i个目标框与第j个目标框重叠区域水平方向的重叠长度；,对和分别表示第i个目标框左上角和右下角的坐标；和分别表示第j个目标框左上角和[0019]将第i个目标框与所有目标框的重叠度集合记为该目标框的位置细粒度特征Oi,则01=[of,o,…,of,…,of,sum},sum=of+o+…+o;,其中，Oi表示图像数据第i个目[0021]将文本数据输入现有的BERT网络中，提取包含上下文语义关联的词细粒度特征8元和文本模态特征提取单元；视觉模态特征提取单元包括依次连接的第一transformer编[0027]所述第一transformer编码器、第二transformer编码器和第三transformer编码经第一线性映射层映射为第一中间细粒度特征；将第一中间细粒度特征输入第二transformer编码器和第二transformer编码器的处理操作，linear1表示第一线性映射层[0033]对于文本模态，词细粒度特征经第二线性映射层映射后输入第三transformer编tm表示文本数据通过BERT网络提取的第m个词细粒度特征，linear2表示第二线性映射层的全零向量，网络在训练过程中得到的全局粗粒度特征通过借助transformer编码器内部的自注意力机制融合transformer编码器其余位置输入的图像细粒度特征，并同时通过自注9[0038]通过将transformer编码器的输入和输出求和后进行归一化处理，可以有效减轻[0042]式中，l(",f)表示视觉模态特征和文本模态特征的局部细粒度相似度；表示[0047]根据视觉模态特征和文本模态特征的细粒度总和相似度筛选出跨该特征位于transformer编码器的class_token位置，能够加权聚合其余输入transformer[0076]对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解别表示第i个目标框左上角和右下角的坐标；和分别表示第j个目标框左上角和[0097]将第i个目标框与所有目标框的重叠度集合记为该目标框的位置细粒度特征Oi,则0:=[oi,o,…,of,…,of,sum},sum=of+o+…+of,其中，Oi表示图像数据第i个目[0099]将文本数据输入现有的BERT网络中，提取包含上下文语义关联的词细粒度特征[0105]如图2所示，构建的跨模态检索模型包括并行的视觉模态特征提取单元和文本模[0106]所述第一transformer编码器、第二transformer编码器和第三transformer编码和第三transformer编码器包括依次连接的4个transf输出经第一线性映射层映射为第一中间细粒度特征；将第一中间细粒度特征输入第二transformer编码器和第二transformer编码器的处理操作，linear1表示第一线性映射层[0111]对于文本模态，词细粒度特征经第二线性映射层映射后输入第三transformer编tm表示文本数据通过BERT网络提取的第m个词细粒度特征，linear2表示第二线性映射层的[0114]通过将transformer编码器的输入和输出求和后进行归一化处理，可以有效减轻[0123]根据视觉模态特征和文本模态特征的细粒度总和相似度筛选出跨该特征位于transformer编码器的class_token位置，能够加权聚合其余输入transformer[0135]在具体实施过程中，使用MS_COCO和Flick30k数据集对本实施例提出的方法作为验证集以及1000张图片作为测试集；作为效果对比的算法为细粒度跨模态检索方法，Net算法、IMRAN算法、TERAN算法、MLMN算法和RRTC算法。检索方式分为图像查询文本(SentenceRetrieval)和文本查询图像(ImageRetireval)。评价结果指标为召回率K(R@K),表示检索出的K个最靠近查询值的结果中正确的比例，即正确的查询结果出现于多粒度特征融合的跨模态检索方法的有效提