基于跨模态检索的图文匹配与重排序结题报告

基于跨模态检索的图文匹配与重排序结题报告一、研究背景与问题提出在数字化信息爆炸的时代，图像与文本作为两种最主要的信息载体，其数据量呈现指数级增长趋势。据国际数据公司（IDC）统计，2025年全球数据总量将达到175ZB，其中图像与文本数据占比超过60%。如何在海量的图文数据中实现精准、高效的匹配与检索，成为了信息检索领域的核心挑战之一。传统的单模态检索技术，如文本检索中的TF-IDF、BM25算法，图像检索中的SIFT、HOG特征提取方法，由于仅能处理单一类型的数据，无法有效应对图文混合场景下的检索需求。跨模态检索技术应运而生，其核心目标是建立不同模态数据之间的语义关联，实现“以文搜图”或“以图搜文”的跨模态检索功能。然而，当前主流的跨模态检索方法仍存在诸多问题。一方面，图文数据的异质性导致模态间的语义鸿沟难以弥合。文本数据具有离散、符号化的特点，而图像数据则是连续、像素化的，两者在特征空间上存在天然的差异。另一方面，现有跨模态检索模型的匹配精度与检索效率难以兼顾。许多模型为了追求更高的匹配精度，采用了复杂的网络结构和大量的参数，导致检索速度缓慢，无法满足实时检索的需求。此外，检索结果的重排序问题也尚未得到有效解决，传统的重排序方法往往依赖于单一的特征相似度，无法充分利用多模态信息进行综合排序。基于上述背景，本研究聚焦于跨模态检索中的图文匹配与重排序问题，旨在提出一种高效、精准的跨模态图文匹配与重排序方法，突破模态间语义鸿沟的限制，提升跨模态检索的性能与效率。二、相关研究综述（一）跨模态图文匹配方法研究现状跨模态图文匹配的核心是学习不同模态数据之间的语义关联，将其映射到一个共享的特征空间中，从而实现模态间的相似度计算。目前，主流的跨模态图文匹配方法主要分为两类：基于深度学习的方法和基于传统机器学习的方法。基于传统机器学习的方法主要通过手工设计特征来实现跨模态匹配。例如，早期的方法采用Bag-of-Words模型分别对文本和图像进行特征提取，然后通过计算特征向量之间的相似度来实现图文匹配。然而，这类方法依赖于人工设计的特征，难以捕捉到数据的深层语义信息，匹配精度较低。基于深度学习的方法近年来成为了跨模态图文匹配的研究热点。这类方法通过深度神经网络自动学习数据的特征表示，能够更好地捕捉到数据的语义信息。其中，典型的方法包括基于双路网络的方法、基于注意力机制的方法和基于生成模型的方法。基于双路网络的方法分别使用两个独立的神经网络对文本和图像进行特征提取，然后将提取到的特征映射到一个共享的特征空间中，通过计算特征向量之间的相似度来实现图文匹配。例如，Kiros等人提出的Skip-Thought模型，使用循环神经网络（RNN）对文本进行特征提取，使用卷积神经网络（CNN）对图像进行特征提取，然后将两者的特征映射到一个共享的语义空间中。然而，这类方法由于两个网络独立训练，难以充分利用模态间的互补信息，匹配精度有待提高。基于注意力机制的方法通过引入注意力机制，让模型自动关注到图文数据中与语义相关的关键信息，从而提升匹配精度。例如，Anderson等人提出的Bottom-UpandTop-DownAttention模型，在图像特征提取过程中引入了自下而上和自上而下的注意力机制，能够更好地捕捉图像中的关键区域与文本语义之间的关联。然而，这类方法的计算复杂度较高，训练难度较大。基于生成模型的方法通过生成模型实现跨模态数据的转换，从而建立模态间的语义关联。例如，Reed等人提出的GenerativeAdversarialTexttoImageSynthesis模型，使用生成对抗网络（GAN）实现从文本到图像的生成，通过生成的图像与原始图像之间的相似度来衡量图文匹配程度。然而，这类方法的生成质量往往不稳定，且生成过程耗时较长，难以应用于实际的检索场景。（二）跨模态检索重排序方法研究现状跨模态检索重排序的目标是在初始检索结果的基础上，通过进一步的分析与计算，对检索结果进行重新排序，提升检索结果的相关性与准确性。目前，跨模态检索重排序方法主要分为基于特征融合的方法、基于机器学习的方法和基于深度学习的方法。基于特征融合的方法通过将不同模态的特征进行融合，得到一个综合的特征表示，然后根据综合特征的相似度对检索结果进行重排序。例如，一些方法将文本特征与图像特征进行拼接或加权求和，得到融合后的特征向量，然后计算融合特征之间的相似度进行排序。然而，这类方法往往简单地对特征进行融合，没有充分考虑到模态间的语义关联，重排序效果有限。基于机器学习的方法通过训练机器学习模型来学习检索结果的排序规则。例如，支持向量机（SVM）、随机森林等模型被广泛应用于跨模态检索重排序任务中。这类方法需要大量的标注数据来训练模型，且模型的泛化能力有待提高。基于深度学习的方法近年来逐渐成为跨模态检索重排序的研究热点。这类方法通过深度神经网络自动学习检索结果的排序特征，能够更好地捕捉到数据中的复杂模式。例如，一些方法使用卷积神经网络对图像特征进行重新提取，使用循环神经网络对文本特征进行重新编码，然后将两者的特征输入到一个排序网络中进行重排序。然而，这类方法的训练过程较为复杂，且需要大量的计算资源。三、研究内容与方法（一）研究内容本研究围绕跨模态检索中的图文匹配与重排序问题展开，主要包括以下三个方面的研究内容：跨模态图文匹配模型构建：提出一种基于双注意力机制的跨模态图文匹配模型，通过引入文本注意力和图像注意力机制，分别对文本和图像数据进行特征提取与语义建模，充分捕捉图文数据中的关键语义信息。同时，设计一种模态间交互模块，实现文本与图像特征之间的双向交互与融合，建立模态间的语义关联，提升图文匹配的精度。跨模态检索重排序算法设计：提出一种基于多模态特征融合的跨模态检索重排序算法，综合利用文本特征、图像特征以及图文匹配特征进行重排序。首先，对初始检索结果中的文本和图像数据进行特征提取与表示；然后，通过多模态特征融合模块将不同模态的特征进行融合，得到一个综合的排序特征；最后，使用排序损失函数对重排序模型进行训练，实现检索结果的精准排序。模型与算法的实验验证与优化：在公开的跨模态检索数据集上对提出的模型与算法进行实验验证，对比分析不同模型与算法的性能差异。同时，对模型的超参数进行调优，优化模型的结构与参数配置，进一步提升模型的匹配精度与检索效率。（二）研究方法为了实现上述研究内容，本研究采用了以下研究方法：文献研究法：通过查阅国内外相关文献，了解跨模态检索、图文匹配与重排序领域的研究现状与发展趋势，分析现有方法存在的问题与不足，为本研究的开展提供理论基础与研究思路。深度学习方法：利用深度学习技术构建跨模态图文匹配模型与重排序模型。采用卷积神经网络（CNN）、循环神经网络（RNN）、注意力机制等深度学习技术，对文本和图像数据进行特征提取、语义建模与特征融合，实现模态间的语义关联与检索结果的精准排序。实验研究法：在公开的跨模态检索数据集上进行实验，对比分析本研究提出的模型与算法与现有主流方法的性能差异。通过实验结果验证模型与算法的有效性与优越性，并对模型进行优化与改进。四、基于双注意力机制的跨模态图文匹配模型（一）模型整体架构本研究提出的基于双注意力机制的跨模态图文匹配模型（Dual-AttentionCross-ModalImage-TextMatchingModel,DACM-ITM）主要由文本特征提取模块、图像特征提取模块、模态间交互模块和匹配损失计算模块四部分组成，模型整体架构如图1所示。

文本特征提取模块主要负责对输入的文本数据进行特征提取与语义建模，得到文本的语义特征表示。图像特征提取模块则负责对输入的图像数据进行特征提取与语义建模，得到图像的语义特征表示。模态间交互模块实现文本与图像特征之间的双向交互与融合，建立模态间的语义关联。匹配损失计算模块根据图文特征之间的相似度计算匹配损失，用于模型的训练与优化。（二）文本特征提取模块文本特征提取模块采用基于注意力机制的双向循环神经网络（BiLSTM-Attention）对文本数据进行特征提取与语义建模。BiLSTM能够同时考虑文本的上下文信息，捕捉文本的语义特征。注意力机制则能够让模型自动关注到文本中与语义相关的关键词语，提升文本特征的表示能力。具体来说，首先将输入的文本数据进行分词与编码，得到文本的词向量表示。然后将词向量输入到BiLSTM网络中，得到每个词语的隐藏状态表示。接着，通过注意力机制计算每个词语的注意力权重，将注意力权重与对应的隐藏状态进行加权求和，得到文本的语义特征表示。文本特征提取的具体过程如下：设输入的文本序列为$W=[w_1,w_2,...,w_n]$，其中$w_i$表示第$i$个词语的词向量，$n$为文本序列的长度。将$W$输入到BiLSTM网络中，得到每个词语的前向隐藏状态$\overrightarrow{h_i}$和后向隐藏状态$\overleftarrow{h_i}$，将两者拼接得到每个词语的隐藏状态$h_i=[\overrightarrow{h_i};\overleftarrow{h_i}]$。然后，通过注意力机制计算每个词语的注意力权重$\alpha_i$：$\alpha_i=\frac{exp(e_i)}{\sum_{j=1}^{n}exp(e_j)}$其中，$e_i=v^Ttanh(W_hh_i+b_h)$，$v$、$W_h$和$b_h$为可学习的参数。最后，将注意力权重与对应的隐藏状态进行加权求和，得到文本的语义特征表示$t$：$t=\sum_{i=1}^{n}\alpha_ih_i$（三）图像特征提取模块图像特征提取模块采用基于自下而上和自上而下注意力机制的卷积神经网络（Bottom-UpandTop-DownAttentionCNN）对图像数据进行特征提取与语义建模。自下而上的注意力机制能够自动识别图像中的关键区域，提取图像的局部特征。自上而下的注意力机制则能够根据文本语义信息引导图像特征的提取，实现图像特征与文本语义的关联。具体来说，首先将输入的图像数据输入到预训练的CNN网络（如ResNet、VGG等）中，得到图像的卷积特征图。然后，通过自下而上的注意力机制对卷积特征图进行处理，得到图像的区域特征表示。接着，将文本的语义特征表示输入到自上而下的注意力机制中，计算每个图像区域的注意力权重。最后，将注意力权重与对应的区域特征进行加权求和，得到图像的语义特征表示。图像特征提取的具体过程如下：设输入的图像为$I$，将其输入到预训练的CNN网络中，得到卷积特征图$F\in\mathbb{R}^{C\timesH\timesW}$，其中$C$为特征通道数，$H$和$W$为特征图的高度和宽度。将卷积特征图$F$转换为区域特征表示$R=[r_1,r_2,...,r_m]$，其中$r_i\in\mathbb{R}^C$表示第$i$个图像区域的特征，$m$为图像区域的数量。然后，将文本的语义特征表示$t$输入到自上而下的注意力机制中，计算每个图像区域的注意力权重$\beta_i$：$\beta_i=\frac{exp(s_i)}{\sum_{j=1}^{m}exp(s_j)}$其中，$s_i=w_r^Ttanh(W_rr_i+W_tt+b_r)$，$w_r$、$W_r$、$W_t$和$b_r$为可学习的参数。最后，将注意力权重与对应的区域特征进行加权求和，得到图像的语义特征表示$v$：$v=\sum_{i=1}^{m}\beta_ir_i$（四）模态间交互模块模态间交互模块的目标是实现文本与图像特征之间的双向交互与融合，建立模态间的语义关联。本研究提出了一种基于交叉注意力机制的模态间交互方法，通过交叉注意力机制让文本特征与图像特征相互引导，实现特征的交互与融合。具体来说，首先将文本的语义特征表示$t$与图像的语义特征表示$v$输入到交叉注意力机制中，计算文本特征对图像特征的注意力权重$\gamma_i$和图像特征对文本特征的注意力权重$\delta_j$。然后，将注意力权重与对应的特征进行加权求和，得到交互后的文本特征$t'$和图像特征$v'$。最后，将交互后的文本特征与图像特征进行拼接或融合，得到跨模态的语义特征表示$f$。模态间交互的具体过程如下：计算文本特征对图像特征的注意力权重$\gamma_i$：$\gamma_i=\frac{exp(c_{t,i})}{\sum_{j=1}^{m}exp(c_{t,j})}$其中，$c_{t,i}=w_{tv}^Ttanh(W_{tt}t+W_{tv}r_i+b_{tv})$，$w_{tv}$、$W_{tt}$、$W_{tv}$和$b_{tv}$为可学习的参数。将注意力权重与对应的图像区域特征进行加权求和，得到文本引导的图像特征$v_t$：$v_t=\sum_{i=1}^{m}\gamma_ir_i$计算图像特征对文本特征的注意力权重$\delta_j$：$\delta_j=\frac{exp(c_{v,j})}{\sum_{k=1}^{n}exp(c_{v,k})}$其中，$c_{v,j}=w_{vt}^Ttanh(W_{vv}v+W_{vt}h_j+b_{vt})$，$w_{vt}$、$W_{vv}$、$W_{vt}$和$b_{vt}$为可学习的参数。将注意力权重与对应的文本词语特征进行加权求和，得到图像引导的文本特征$t_v$：$t_v=\sum_{j=1}^{n}\delta_jh_j$最后，将文本引导的图像特征$v_t$与图像引导的文本特征$t_v$进行拼接，得到跨模态的语义特征表示$f=[v_t;t_v]$。（五）匹配损失计算模块匹配损失计算模块的目标是根据图文特征之间的相似度计算匹配损失，用于模型的训练与优化。本研究采用双向排序损失（BidirectionalRankingLoss）作为模型的损失函数，该损失函数能够同时考虑“以文搜图”和“以图搜文”两种检索场景，提升模型的跨模态匹配能力。具体来说，对于每个训练样本对$(t,v)$，其中$t$为文本的语义特征表示，$v$为图像的语义特征表示，同时选取一个负样本图像特征$v^-$和一个负样本文本特征$t^-$。计算文本与正样本图像的相似度$s(t,v)$、文本与负样本图像的相似度$s(t,v^-)$、图像与正样本文本的相似度$s(v,t)$和图像与负样本文本的相似度$s(v,t^-)$。相似度计算采用余弦相似度：$s(t,v)=\frac{t\cdotv}{|t||v|}$双向排序损失的计算公式如下：$L=\max(0,margin-s(t,v)+s(t,v^-))+\max(0,margin-s(v,t)+s(v,t^-))$其中，$margin$为边界参数，用于控制正样本与负样本之间的相似度差距。五、基于多模态特征融合的跨模态检索重排序算法（一）算法整体框架本研究提出的基于多模态特征融合的跨模态检索重排序算法（Multi-ModalFeatureFusionCross-ModalRetrievalRe-RankingAlgorithm,MFF-CMRR）主要由初始检索模块、多模态特征提取模块、多模态特征融合模块和重排序模块四部分组成，算法整体框架如图2所示。

初始检索模块采用传统的跨模态检索方法（如基于哈希的方法、基于深度学习的方法等）得到初始检索结果。多模态特征提取模块对初始检索结果中的文本和图像数据进行特征提取，得到文本特征、图像特征以及图文匹配特征。多模态特征融合模块将不同模态的特征进行融合，得到一个综合的排序特征。重排序模块根据综合排序特征对初始检索结果进行重新排序，得到最终的检索结果。（二）初始检索模块初始检索模块的目标是快速得到一个候选的检索结果集合，为后续的重排序提供基础。本研究采用基于深度学习的跨模态检索方法作为初始检索方法，具体来说，使用预训练的跨模态图文匹配模型（如本研究提出的DACM-ITM模型）对输入的查询数据（文本或图像）进行特征提取，然后计算查询特征与数据库中所有数据特征的相似度，选取相似度最高的前K个数据作为初始检索结果。（三）多模态特征提取模块多模态特征提取模块的目标是提取初始检索结果中不同模态数据的特征，包括文本特征、图像特征和图文匹配特征。文本特征提取：采用与DACM-ITM模型中相同的文本特征提取模块，对初始检索结果中的文本数据进行特征提取，得到文本的语义特征表示$t_i$，其中$i$表示初始检索结果中的第$i$个样本。图像特征提取：采用与DACM-ITM模型中相同的图像特征提取模块，对初始检索结果中的图像数据进行特征提取，得到图像的语义特征表示$v_i$。图文匹配特征提取：计算初始检索结果中每个样本的文本特征与图像特征之间的相似度，作为图文匹配特征$s_i=s(t_i,v_i)$，其中$s(\cdot,\cdot)$为余弦相似度函数。（四）多模态特征融合模块多模态特征融合模块的目标是将文本特征、图像特征和图文匹配特征进行融合，得到一个综合的排序特征。本研究提出了一种基于注意力机制的多模态特征融合方法，通过注意力机制自动学习不同模态特征的重要性权重，实现特征的自适应融合。具体来说，首先将文本特征$t_i$、图像特征$v_i$和图文匹配特征$s_i$进行归一化处理，得到归一化后的特征$\hat{t_i}$、$\hat{v_i}$和$\hat{s_i}$。然后，通过注意力机制计算每个模态特征的注意力权重$\omega_{t,i}$、$\omega_{v,i}$和$\omega_{s,i}$。最后，将注意力权重与对应的归一化特征进行加权求和，得到综合排序特征$f_i$。多模态特征融合的具体过程如下：归一化处理：$\hat{t_i}=\frac{t_i}{|t_i|}$$\hat{v_i}=\frac{v_i}{|v_i|}$$\hat{s_i}=\frac{s_i-\min(s)}{\max(s)-\min(s)}$其中，$\min(s)$和$\max(s)$分别为初始检索结果中图文匹配特征的最小值和最大值。注意力权重计算：$\omega_{t,i}=\frac{exp(a_{t,i})}{exp(a_{t,i})+exp(a_{v,i})+exp(a_{s,i})}$$\omega_{v,i}=\frac{exp(a_{v,i})}{exp(a_{t,i})+exp(a_{v,i})+exp(a_{s,i})}$$\omega_{s,i}=\frac{exp(a_{s,i})}{exp(a_{t,i})+exp(a_{v,i})+exp(a_{s,i})}$其中，$a_{t,i}=w_t^Ttanh(W_t\hat{t_i}+b_t)$，$a_{v,i}=w_v^Ttanh(W_v\hat{v_i}+b_v)$，$a_{s,i}=w_s^Ttanh(W_s\hat{s_i}+b_s)$，$w_t$、$W_t$、$b_t$、$w_v$、$W_v$、$b_v$、$w_s$、$W_s$和$b_s$为可学习的参数。综合排序特征计算：$f_i=\omega_{t,i}\hat{t_i}+\omega_{v,i}\hat{v_i}+\omega_{s,i}\hat{s_i}$（五）重排序模块重排序模块的目标是根据综合排序特征对初始检索结果进行重新排序。本研究采用排序学习的方法对重排序模型进行训练，具体来说，使用排序损失函数（如PairwiseLoss、ListwiseLoss等）对模型进行训练，学习综合排序特征与检索结果相关性之间的映射关系。在训练阶段，构建训练数据集，其中每个样本包含初始检索结果中的一个数据样本及其对应的相关性标签（如相关、不相关）。将样本的综合排序特征输入到重排序模型中，计算模型的预测输出，然后根据排序损失函数计算损失值，通过反向传播算法更新模型的参数。在测试阶段，将初始检索结果中每个样本的综合排序特征输入到训练好的重排序模型中，得到每个样本的相关性得分。根据相关性得分对初始检索结果进行重新排序，得到最终的检索结果。本研究采用PairwiseLoss作为排序损失函数，其计算公式如下：$L_{rank}=\sum_{(i,j)\inP}\max(0,1-(y_i-y_j))$其中，$P$为所有样本对的集合，$(i,j)$表示样本$i$与样本$j$组成的样本对，$y_i$和$y_j$分别为样本$i$和样本$j$的相关性得分。如果样本$i$的相关性高于样本$j$，则$y_i>y_j$，否则$y_i<y_j$。六、实验结果与分析（一）实验数据集与评价指标1.实验数据集本研究采用两个公开的跨模态检索数据集进行实验，分别为MS-COCO数据集和Flickr30k数据集。MS-COCO数据集：该数据集包含超过12万张图像，每张图像对应5个描述文本，总共有超过60万对图文样本。数据集分为训练集、验证集和测试集，其中训练集包含82783张图像，验证集包含40504张图像，测试集包含40775张图像。Flickr30k数据集：该数据集包含31783张图像，每张图像对应5个描述文本，总共有超过15万对图文样本。数据集分为训练集、验证集和测试集，其中训练集包含29000张图像，验证集包含1000张图像，测试集包含1783张图像。2.评价指标本研究采用以下评价指标来评估跨模态图文匹配与重排序模型的性能：召回率（Recall）：衡量检索结果中相关样本的比例，计算公式为$Recall=\frac{TP}{TP+FN}$，其中$TP$为检索结果中相关样本的数量，$FN$为未被检索到的相关样本的数量。本研究主要关注Recall@K（K=1,5,10），即检索结果中前K个样本的召回率。平均精度均值（mAP）：衡量检索结果的平均精度，计算公式为$mAP=\frac{1}{N}\sum_{i=1}^{N}AP_i$，其中$N$为查询样本的数量，$AP_i$为第$i$个查询样本的平均精度。检索时间（Time）：衡量模型的检索效率，即完成一次跨模态检索所需的平均时间。（二）实验设置1.模型训练设置本研究采用PyTorch框架实现DACM-ITM模型和MFF-CMRR算法。模型的训练参数设置如下：优化器：采用Adam优化器，学习率设置为0.0001，权重衰减设置为0.0001。批量大小：MS-COCO数据集的批量大小设置为64，Flickr30k数据集的批量大小设置为32。训练轮数：训练轮数设置为30轮，采用早停策略，当验证集的性能在连续5轮没有提升时，停止训练。预训练模型：文本特征提取模块采用预训练的GloVe词向量进行初始化，图像特征提取模块采用预训练的ResNet-152模型进行初始化。2.对比方法本研究选取了以下主流的跨模态图文匹配与重排序方法进行对比：DeepVisual-SemanticEmbedding(DVSE)：一种基于双路网络的跨模态图文匹配方法，使用CNN提取图像特征，使用RNN提取文本特征，将两者映射到一个共享的语义空间中。StackedCrossAttention(SCA)：一种基于堆叠交叉注意力机制的跨模态图文匹配方法，通过多层交叉注意力机制实现文本与图像特征的交互与融合。SCAN：一种基于自注意力机制的跨模态图文匹配方法，通过自注意力机制捕捉文本与图像之间的细粒度语义关联。AdaRank：一种基于AdaBoost的跨模态检索重排序方法，通过迭代训练弱排序器来构建强排序器。LambdaMART：一种基于梯度提升树的跨模态检索重排序方法，使用LambdaRank作为排序损失函数。（三）实验结果与分析1.跨模态图文匹配模型实验结果表1和表2分别展示了不同跨模态图文匹配模型在MS-COCO数据集和Flickr30k数据集上的实验结果。表1不同模型在MS-COCO数据集上的图文匹配性能对比|模型|Recall@1|Recall@5|Recall@10|mAP||---|---|---|---|---||DVSE|0.287|0.592|0.721|0.423||SCA|0.351|0.678|0.795|0.498||SCAN|0.382|0.715|0.827|0.536||DACM-ITM|0.425|0.763|0.862|0.581|表2不同模型在Flickr30k数据集上的图文匹配性能对比|模型|Recall@1|Recall@5|Recall@10|mAP||---|---|---|---|---||DVSE|0.312|0.625|0.753|0.456||SCA|0.378|0.702|0.817|0.521||SCAN|0.411|0.743|0.849|0.563||DACM-ITM|0.456|0.789|0.882|0.607|从表1和表2的实验结果可以看出，本研究提出的DACM-ITM模型在两个数据集上的性能均优于其他对比模型。在MS-COCO数据集上，DACM-ITM模型的Recall@1达到了0.425，比SCAN模型提升了4.3个百分点；Recall@5达到了0.763，比SCAN模型提升了4.8个百分点；Recall@10达到了0.862，比SCAN模型提升了3.5个百分点；mAP达到了0.581，比SCAN模型提升了4.5个百分点。在Flickr30k数据集上，DACM-ITM模型的Recall@1达到了0.456，比SCAN模型提升了4.5个百分点；Recall@5达到了0.789，比SCAN模型提升了4.6个百分点；Recall@10达到了0.882，比SCAN模型提升了3.3个百分点；mAP达到了0.607，比SCAN模型提升了4.4个百分点。实验结果表明，DACM-ITM模型通过引入双注意力机制和模态间交互模块，能够更好地捕捉文本与图像之间的语义关联，提升跨模态图文匹配的精度。双注意力机制能够让模型自动关注到文本和图像中的关键信息，而模态间交互模块则实现了文本与图像特征的双向交互与融合，进一步弥合了模态间的语义鸿沟。2.跨模态检索重排序算法实验结果表3和表4分别展示了不同跨模态检索重排序算法在MS-COCO数据集和Flickr30k数据集上的实验结果。实验中，初始检索方法采用DACM-ITM模型，选取初始检索结果中前100个样本进行重排序。表3不同算法在MS-COCO数据集上的重排序性能对比|算法|Recall@1|Recall@5|Recall@10|mAP|检索时间（ms）||---|---|---|---|---|---||初始检索|0.425|0.763|0.862|0.581|12.5||AdaRank|0.451|0.782|0.875|0.602|25.3||LambdaMART|0.463|0.791|0.881|0.613|30.1||MFF-CMRR|0.482|0.807|0.893|0.631|22.7|表4不同算法在Flickr30k数据集上的重排序性能对比|算法|Recall@1|Recall@5|Recall@10|mAP|检索时间（ms）||---|---|---|---|---|---||初始检索|0.456|0.789|0.882|0.607|10.2||AdaRank|0.482|0.805|0.893|0.628|20.5||LambdaMART|0.495|0.813|0.899|0.639|25.7||MFF-CMRR|0.513|0.827|0.908|0.657|18.3|从表3和表4的实验结果可以看出，本研究提出的MFF-CMRR算法在两个数据集上的重排序性能均优于其他对比算法。在MS-COCO数据集上，MFF-CMRR算法的Recall@1达到了0.482，比初始检索提升了5.7个百分点，比LambdaMART提升了1.9个百分点；Recall@5达到了0.807，比初始检索提升了4.4个百分点，比LambdaMART提升了1.6个百分点；Recall@10达到了0.893，比初始检索提升了3.1个百分点，比LambdaMART提升了1.2个百分点；mAP达到了0.631，比初始检索提升了5.0个百分点，比LambdaMART提升了1.8个百分点。同时，MFF-CMRR算法的检索时间为22.7ms，仅比初始检索增加了10.2ms，远低于AdaRank和LambdaMART算法的检索时间。在Flickr30k数据集上，MFF-CMRR算法的Recall@1达到了0.513，比初始检索提升了5.7个百分点，比LambdaMART提升了1.8个百分点；Recall@5达到了0.827，比初始检索提升了3.8个百分点，比LambdaMART提升了1.4个百分点；Recall@10达到了0.908，比初始检索提升了2.6个百分点，比LambdaMART提升了0.9个百分点；mAP达到了0.657，比初始检索提升了5.0个百分点，比LambdaMART提升了1.8个百分点。检索时间为18.3ms，仅比初始检索增加了8.1ms，同样远低于其他对比算法。实验结果表明，MFF-CMRR算法通过多模态特征融合和注意力机制，能够充分利用文本特征、图像特征和图文匹配特征进行综合排序，有效提升了跨模态检索的性能。同时，该算法的检索效率较高，能够在保证重排序效果的同时，满足实时检索的需求。3.消融实验结果为了验证DACM-ITM模型中各个模块的有效性，本研究进行了消融实验。实验在MS-COCO数据集上进行，分别移除模型中的文本注意力模块、图像注意力模块和模态间交互模块，对比不同模型变体的性能。实验结果如表5所示。表5DACM-ITM模型消融实验结果|模型变体|Recall@1|Recall@5|Recall@10|mAP||---|---|---|---|---||完整模型|0.425|0.763|0.862|0.581||移除文本注意力模块|0.392|0.731|0.835|0.547||移除图像注意力模块|0.387|0.725|0.828|0.541||移除模态间交互模块|0