基于跨模态知识图谱的视觉问答中的常识推理与多跳查询研究综述

基于跨模态知识图谱的视觉问答中的常识推理与多跳查询研究综述视觉问答（VisualQuestionAnswering,VQA）作为连接计算机视觉与自然语言处理的交叉任务，旨在让模型根据输入图像回答自然语言问题。传统VQA模型多依赖图像特征与文本特征的直接融合，缺乏对外部知识的调用能力，在处理需要常识支撑、多步逻辑推导的复杂问题时表现不佳。随着跨模态知识图谱（Cross-ModalKnowledgeGraph,CMKG）技术的发展，将结构化知识与多模态信息融合成为提升VQA复杂推理能力的重要路径，其中常识推理与多跳查询作为核心挑战，成为近年来领域研究的热点。一、跨模态知识图谱驱动的VQA任务基础框架跨模态知识图谱是将视觉实体、文本概念以及多模态属性关系统一编码的结构化知识网络，相较于传统纯文本知识图谱，其不仅包含"猫-属于-猫科动物"这类文本关系，还存储了"猫-视觉特征-尖耳、长尾"这类视觉语义关联，为VQA任务提供了可解释的知识推理载体。当前基于CMKG的VQA系统普遍遵循"感知-对齐-推理"的三层基础架构：感知层负责对输入图像进行目标检测、属性识别，提取实体级视觉特征，同时对问题文本进行分词、语义解析，识别问题中的实体、关系以及推理目标。以问题"图中放在木质桌子上的水果可以用来做什么饮料？"为例，感知层需要先检测出图像中的"苹果""木质桌子"实体，同时解析出问题的推理路径包含"识别水果种类→匹配该水果可制作的饮料类型"两个步骤。对齐层是连接视觉感知与知识图谱的核心模块，主要解决视觉实体到知识图谱节点的映射问题。早期对齐方法多基于语义相似度匹配，将视觉实体的分类标签直接与知识图谱中的概念节点做字符串匹配，这类方法在实体存在遮挡、属性模糊时容易出现映射错误。近年来多模态预训练模型被广泛应用于对齐阶段，通过图像-文本对的预训练学习到跨模态语义关联，能够将视觉特征与知识图谱节点的文本描述特征映射到同一语义空间，即使视觉实体分类结果存在偏差，也能通过语义相似度完成正确对齐。比如当图像中的苹果因为光照偏红被误分类为"桃子"时，对齐模块可以结合问题中"水果""木质桌子"的上下文语义，在知识图谱中匹配到"苹果"节点的概率更高，从而修正感知层的误差。推理层则根据对齐后的实体节点，在知识图谱中执行查询操作，最终得到问题答案。传统VQA的推理过程多是隐式的黑箱模式，而基于CMKG的推理过程可以通过知识图谱的边遍历路径实现可解释性，这也是其在常识推理与多跳查询场景下的核心优势。二、VQA中的常识推理关键技术路径常识推理是指VQA模型在回答问题时调用人类普遍认知的背景知识的能力，这类知识往往不会直接显式出现在图像或问题文本中。比如回答"图中的人为什么撑着伞？"时，模型需要知道"撑伞通常是为了遮雨或遮阳"这类常识，仅靠图像中出现的"人""伞"实体无法直接得到答案。当前基于CMKG的常识推理技术主要分为三类：（一）常识知识的跨模态注入方法如何将常识知识有效融入VQA模型的推理过程是首先要解决的问题。早期研究主要采用知识图谱预训练的方式，将CMKG中的实体与关系嵌入为低维向量，在VQA模型的特征融合阶段将知识嵌入与视觉、文本特征拼接，实现常识知识的隐式注入。这类方法实现简单，但可解释性差，模型无法说明推理过程中具体使用了哪些常识知识。后来的研究开始采用显式知识检索的注入方式：先根据问题和图像中的实体，从CMKG中检索出相关的常识三元组，再将这些三元组作为辅助输入送入模型。比如针对"图中的猫能喝牛奶吗？"这个问题，系统会先从CMKG中检索出"猫-乳糖不耐受-不能喝牛奶"的常识三元组，再结合图像中的猫实体，直接推导答案。这类方法的优势是推理路径可追溯，但检索阶段的召回率会直接影响推理效果，当问题涉及的常识较为冷僻时，容易出现知识缺失。最新的研究则将显式检索与隐式注入结合，先通过检索得到相关常识子图，再对常识子图进行图神经网络编码，将结构化知识转化为特征向量融入模型，既保留了可解释性，又提升了知识利用的效率。（二）常识一致性校验机制常识推理中常见的问题是模型会生成违背常识的答案，比如将"雪地里的动物"识别为"骆驼"，这类错误本质是视觉感知结果与常识知识的冲突。为解决该问题，研究者引入了常识一致性校验模块，在得到初步答案后，将答案、图像实体、问题文本组合为候选三元组，在CMKG中验证其是否符合常识关系。如果候选三元组的置信度低于阈值，则重新回溯推理过程，调整实体对齐或知识检索的结果。比如当图像中存在白色的羊，模型初步回答"图中是雪地里的北极熊"时，校验模块会在CMKG中查询"北极熊-生存环境-北极"的常识，与问题中的"雪地"场景比对，再结合视觉特征中"羊有角"的属性，判断初步答案违背常识，进而重新检索知识图谱得到正确答案。这类机制将常识作为约束条件，大幅降低了VQA模型的常识错误率。（三）少样本常识泛化技术现实世界中的常识数量庞大，无法全部覆盖在预训练的CMKG中，如何让模型在仅见过少量相关常识的情况下泛化到未见过的常识场景，是当前研究的难点。元学习方法被广泛应用于该场景：通过构造大量不同类型的常识推理VQA任务作为元训练集，让模型学习到"如何利用知识图谱中的已知常识推导未知问题答案"的元知识，在遇到新的常识类型时，仅需要少量样本微调即可适配。比如模型在训练阶段学习过"狗-不能吃巧克力""猫-不能吃葡萄"这类动物饮食常识，当遇到新问题"图中的仓鼠可以吃洋葱吗？"时，即使CMKG中没有存储仓鼠的饮食禁忌，模型也能通过元学习到的"小型哺乳动物普遍无法消化刺激性食物"的通用常识模式，结合知识图谱中"洋葱-属性-刺激性"的关系，推导出"仓鼠不能吃洋葱"的答案。三、VQA中的多跳查询优化方法多跳查询是指问题的答案需要在知识图谱中经过多步边遍历才能得到，比如问题"图中这个穿皇马球衣的球员所在的国家的首都是哪里？"，需要经过"球员→所属俱乐部→国籍→国家首都"三次关系跳转才能得到答案。多跳查询的核心挑战在于随着跳数增加，查询路径会呈指数级扩张，容易出现路径噪声，同时推理延迟也会大幅上升。当前主流的优化方法包括：（一）多跳路径剪枝策略为了降低路径搜索空间，研究者提出了多种路径剪枝方法。最常用的是问题引导的剪枝：在每一步路径扩展前，先根据问题文本的语义预测下一步需要的关系类型，仅保留与目标关系语义匹配的边，过滤无关路径。比如上述皇马球员的例子，在第一步得到"球员"实体后，问题语义已经明确后续需要查询"所属国家"相关的信息，因此会优先保留"球员-效力于-俱乐部""球员-国籍-国家"这类路径，过滤掉"球员-身高-185cm"这类无关关系，大幅缩小搜索范围。还有一类基于强化学习的路径剪枝方法，将多跳查询过程建模为智能体在知识图谱上的游走过程，每一步游走的奖励设置为"当前路径与问题答案的相关度"，通过奖励机制引导智能体快速收敛到正确路径，避免无意义的路径扩展。这类方法在3跳以上的复杂查询场景下效果提升尤为明显，能够将路径搜索效率提升4-6倍。（二）多跳答案聚合机制当多跳查询存在多条有效路径时，如何聚合不同路径的结果得到最终答案是另一个核心问题。早期方法多采用投票机制，将出现次数最多的候选答案作为最终结果，但这类方法没有考虑不同路径的置信度差异，容易被低置信度的噪声路径干扰。后来的研究引入了路径注意力机制，为每条查询路径计算一个注意力权重：路径的语义与问题语义越匹配、路径中每个三元组的置信度越高，权重越大。最终答案的置信度为所有路径得分的加权和，有效提升了多跳查询的准确率。比如针对"图中这本书的作者的获奖作品有哪些？"的问题，可能存在"书→作者→获奖作品"和"书→作者→参与作品→获奖作品"两条路径，前者路径更短、与问题匹配度更高，因此会被分配更高的权重，其结果优先级也更高。（三）跨模态多跳对齐技术传统多跳查询主要针对纯文本知识图谱，而在CMKG场景下，每一步跳转的节点可能同时包含文本属性与视觉属性，需要解决多跳过程中的跨模态对齐问题。比如问题"图中这个碗里的水果的原产地的标志性建筑是？"，第一步需要将视觉检测到的"碗里的水果"对齐到知识图谱中的"芒果"节点，第二步跳转到"芒果-原产地-印度"，第三步跳转到"印度-标志性建筑-泰姬陵"，在每一步跳转时都需要验证节点的视觉属性与图像内容是否匹配：如果第二步跳转到的"印度"节点在CMKG中存储的典型视觉特征包含"泰姬陵""咖喱"等，而图像中没有相关元素，也可以反向验证路径的合理性。最新的研究还在探索多跳过程中的动态视觉补充：当某一步跳转的节点存在视觉歧义时，可以重新回到图像中提取更细粒度的特征辅助对齐。比如当无法确定碗里的水果是芒果还是橙子时，可以在查询到"芒果原产地是印度，橙子原产地是中国"的知识后，重新检测水果的形状、颜色特征，结合知识反哺视觉感知，进一步提升路径准确率。四、当前研究的挑战与未来方向尽管基于CMKG的VQA常识推理与多跳查询已经取得了显著进展，但仍存在多个待解决的挑战：首先是跨模态常识的覆盖不足问题，当前的CMKG多基于文本知识图谱扩展而来，视觉相关的常识严重缺失，比如"打开的伞面是朝上的""装满水的杯子是透明的"这类视觉常识很少被结构化存储，导致模型在处理这类需要视觉常识的问题时表现不佳。构建大规模、高质量的跨模态常识知识库是未来的重要方向。其次是复杂推理的可解释性不足，虽然基于知识图谱的推理路径本身具备可解释性，但当跳数较多、路径存在分支时，如何将推理路径转化为人类能够理解的自然语言解释，仍然是研究难点。后续可以探索推理路径与自然语言生成模块的结合，在输出答案的同时同步输出推理过程的自然语言描述。最后是真实场景下