CN119397048A 基于渐进式语义聚合和结构化认知增强的图文匹配方法 （重庆师范大学）

基于渐进式语义聚合和结构化认知增强的本发明公开了基于渐进式语义聚合和结构2S3、引入结构化知识辅助学习模块：包括三个关S4、引入跨模态语义对齐机制：采用异步方法探索视2.如权利要求1所述的基于渐进式语义聚合和结构化认知增强的图文匹配方法，其特3.如权利要求2所述的基于渐进式语义聚合和结构化认知增强的图文匹配方法，其特化每个片段级表示与自引导增强的全局表示之间的语义相关性，生成语义感知的权重向4.如权利要求3所述的基于渐进式语义聚合和结构化认知增强的图文匹配方法，其特base获取每个实体的嵌入，引入图卷积网络通过迭代5.如权利要求4所述的基于渐进式语义聚合和结构化认知增强的图文匹配方法，其特6.如权利要求5所述的基于渐进式语义聚合和结构化认知增强的图文匹配方法，其特37.如权利要求1所述的基于渐进式语义聚合和结构化认知增强的图文匹配方法，其特8.如权利要求7所述的基于渐进式语义聚合和结构化认知增强的图文匹配方法，其特4[0002]图像文本匹配是指通过图像查找匹配的文本或在给定的文本描述搜索语义相近5[0005]本发明的目的在于提供基于渐进式语义聚合和结构化认最大池化和K均值池化的局限性；在语义感知模块中，使用自增强的全局特征作为查询矩性化的三元组序列，将关系抽取任务转化为生成任务；在知识增强编码器中，采用BERT_6[0020]层次化自增强语义感知池化机制通过多层次的语义增强和细粒度级别的自适应[0021]在PASE方法中引入了外部知识，从图像标题语料库中提取实体之间的结构化语[0024]在两个图像_文本检索的公共基准数据集(Flickr30K和MS_COCO)上进行了广泛的[0025]图1为本发明基于渐进式语义聚合和结构化认知增强的图文匹配方法中的工作动[0026]图2为本发明基于渐进式语义聚合和结构化认知增强的图文匹配方法中的网络框[0027]图3为本发明基于渐进式语义聚合和结构化认知增强的图文匹配方法中的多层次[0028]图4为本发明基于渐进式语义聚合和结构化认知增强的图文匹配方法中的多视图[0029]图5为本发明基于渐进式语义聚合和结构化认知增强的图文匹配方法中式21中的[0030]图6为本发明基于渐进式语义聚合和结构化认知增强的图文匹配方法中式18中的7块包括三个关键步骤来构建富含语义信息的[0039]形式上，对于给定的图文对(I,T)，一组视觉区域表示图像特征I=fvlie相反，文本由一组文本词特征表示T=ftlie[1,ndJ,tyeR'),其中齐机制采用异步方法深度探索视觉和文本嵌入向量间的模态间及模态内关系交互。最后，基于学习到的全局语义表征和聚合前的细粒度特征构建了区域级和实例级别的语义关联力网络；使用Faster一RCNN提取前k个显著区域；通过ReR={r,lie[1,n],rreR2048};为了确保与任务匹配，随后结合多层感知机(MLP)和全连接层(FC)将提取的区域特征转换为vi维度；8[0050]给定一个包含nt个单词的文本T，使用BERT模型将输入文本标记为子词单元(Word_Piecetokens)，并使用学习到的嵌入表示每个标记；然后，生成nt个文本表示[0062](Self_guidedEnhancementPoolingOperator,SEPO)是一个基于特征的广义池化用平滑的权重分配机制克服了传统最大池化和K均值池化的局限性；它可以被视为软最大9[0068]通过自引导增强池化获得的全局嵌入vse在一定程度上捕捉了图像的关键语义信特征之间的动态交互学习和更准确的区域级特征编码，我们提出了语义感知池化算子[0070][0071]通过这种注意力机制，SAPO生成了语义感知的权重向量W"[0076]为了增强最终聚合特征的完整性和多样性，我们需要融合两个d维的全局特征向[0081]通过这种实例语义的自适应融合机制，我们获得了最终和其中m是批量大小；[0089]知识增强编码器:通过实体关系提[0093]为深入捕捉实例间结构化语义的内在关联性，我们引入了图卷积网络(GCN)作为到增强视觉文本表示(vi,…,v}和m为批次大小；维度的解析方法可以关注不同的场景片段，克服单一视图下可能出现的语义信息遗漏问[0121]受到ESL工作的启发，我们采用其提出的自适应维度选择算法对片段级表示进行[0122]对于初始图像表示veRd,我们应用分层迭代聚合器以获得多层级的视觉表征[0129]代表第i个区域与所有词语之间的语义相似性，是通过softmax[0138]分别在批次中找到最难的负图像I＝argmaxp≠IS(p,T)和最难的负文本T=[0144]我们在两个广泛使用的公共数据集上评估了所提出的方法：Flickr30K和MS_[0147]评估指标：为评估我们提出方法的性能，我们采用图文匹配任务中广泛使用的[0151]我们的模型采用了FasterR_[0153]为了增强文本模态的语义表示能力，我们引入了REBEL关系抽取模型来提取关键[0173]在Flickr30K上的比较：表2显示了我们的方法与最先进算法在Flickr30K数据集上提高了2.1％和1.5在Rsum上提高了5.1％。此外，我们在R@10上达到了98.8％和92.6超越了所有列出的对比方法。这些结果突显了我们模型在处理较大候选集的强大[0174]在MSCOCO上的比较：表3显示了PASE和所有竞争方法在MSCOCO1K和5K测试集上强语义感知池化器)、SKL(结构化知识辅助学习模块)、CSA(跨模态语义对齐机制)和MSAM[0178]聚合模块的有效性：如表4所示，实验VI和VII之间的比较揭示了HAP模块的重要像到文本(I→T)和文本到图像(T→I)的R@1指标分别从83.3％和63.9％提高到84.7％和63.5％提高到84.7％和64.5增加了1.8％和1.0[0182]CSA的有效性主要体现在其促进模态间深度交互和语义对齐的能力上，更有效地到文本检索任务中尤为明显，归因于图像蕴含的丰富视觉信息需要更为精准的语义对应。