CN119397384A 一种基于核心到全局语义融合推理的组合式视觉问答方法 （中国人民解放军海军工程大学）

一种基于核心到全局语义融合推理的组合本发明公开了一种基于核心到全局语义融本核心特征传递给预设多模态语义融合模型执2将所述图像数据输入至预先构建的语义特征提取模型中，获得图像全局将所述文本问题数据输入至所述语义特征提取模型中，获得文基于所述语义特征提取模型的MaskRCNN网络对所述图像数据通过所述MaskRCNN网络获得图像RoI特征和对象在所述对象候选框中增设属性分支，所述属性分支由一个通过词嵌入技术将所述文本问题数据中的单词信息映射至低维特征将所述单词嵌入向量依次送入GRU网络单元进行顺序特征学习，得到所述文本问题全使用停用词过滤器对所述文本问题数据进行处理，通过筛选3给定所述视觉核心语义特征矩阵和所述文本核心特征所述视觉核心语义特征实例与文本核心特征实例的重要性可以被fixERet,并且对重要性矩阵aqi进行按行加和可通过对所述重要性向量中的值进行排序，选择TopK个最大值所对应的实例组合成新qq所述不同层级的多模态语义学习包括多模态核心语义学习和多模态全局所述多模态核心语义学习的输出为一个维度为dlk联合表达向量对于cu中的第m个4R"和为可学习的参数矩阵；其中||表示矩阵拼接，采取与所述多模态核心语义学习相将所述联合表达向量cn和所述联合表达向量cgc作为单层级语言学习结果。以所述单层级语言学习结果为输入，通过softmax函数分类器来预测答案集合中的概5[0002]组合式视觉问答(VisualQuestionAnswering,VQA)是一种重要的计算机视觉与自然语言处理结合的任务，其目标是根据输入的图像内容和文本问题，生成相应的答案。[0003]现有的VQA模型主要分为基于整体化和模块化的方法。整体化方法倾向于使用单6问题，达到提升视觉问答系统在多模态数据中语义理解能力和答案预测准确性的技术效[0009]上述说明仅是本申请技术方案的概述，为了能够更清楚[0010]图1为本申请实施例提供了一种基于核心到全局语义融合推理的组合式视觉问答[0011]图2为本申请实施例提供了一种基于核心到全局语义融合推理的组合式视觉问答[0012]图3为本申请实施例提供了一种基于核心到全局语义融合推理的组合式视觉问答[0014]本申请实施例提供了一种基于核心到全局语义融合推理的组合式视觉问答方会被输入到预先训练好的深度学习模型中(如使用卷7短时记忆网络(LSTM)或基于Transformer的模型(如BERT)。这些模型已经在大量文本数据征提取模型首先将文本转换为词向量(如使用Word2征、所述文本核心特征传递给预设多模态语义融合模型执行不同层级的多模态语义学习，8[0034]多模态语义融合模型通常采用深度学习架构，如基于Transformer的模型或使用9的每个元素代表了系统对某个可能答案的置信度。计算目标预测答案的过程通常使用每个对象的分割掩码(mask)。该网络由两个主要部分组成：RegionProposalNetwork[0049]首先，使用MaskRCNN网络对输入的图像数据进行处理，以提取图像全局特征。MaskRCNN通过其RegionProposalNetwork(RPN)生成多个对象候选框(RoI)，这些框表示示，以便后续处理。为了捕捉图像中对象之间的复杂关系，系统利用Prim算法构建了[0051]BiTreeLSTM网络首先处理图像的嵌入(即RoI特征)，生成表示具体对象的对象特征。这些对象特征包括每个对象的类别、位置和形状信息。接着，基于这些对象特征，[0054]具体而言，词嵌入技术是一种将自然语言中的单词映射为低维向量表示的方个向量空间中的位置反映了其语义信息。GRU(GatedRecurrentUnit)是一种循环神经网过程从使用词嵌入技术开始。词嵌入技术如Word2Vec或GloVe能够将每个单词映射到一个语通常不影响问题的核心含义。在这里，过滤器基于NLTK(一个广泛使用的自然语言处理与所述文本核心特征进行匹配，识别出与文本问题具有直接关联的视觉核心语义特征实投影为和并且对重要性矩阵aqi进行按行加和可以得到重要性向量通过对所述重要性向量中的值进行排序，选择TopK个最大值所对应的实例组合成新的视觉核心特征FneRr,其中，K的取值为：K=λ×mean向量τqk()和τik()是可学习的向量，用来将视觉特征和文本特征投影到相同的特征空间特征矩阵中每个特征实例在回答问题时的重要性。softmax函数确保这些重要性值被归一对图像特征fi进行加权可以得到过滤后的图[0076]f,=(y,·1')off+ff:qq这一步确保了系统能够准确提取出与问题最相关的图像全局特征、所述文本核心特征传递给预设多模态语义融合模型执行不同层级的多模态语义学心语义学习的输入，并采用双线性注意力机制融合所述视觉核心特征和所述文本核心特征；所述多模态核心语义学习的输出为一个维度为dlk联合表达向量cuwueR"d为可学习的参数矩阵；以所述图像全局特征、所述文本问题全局特征和所述联合表达向量cu作为所述多模态全局语义学习的输向量cn和所述联合表达向量cgc作为单层级语言学习结果。理解和答案。