基于因果推理的视觉问答研究综述

基于因果推理的视觉问答研究综述视觉问答（VisualQuestionAnswering,VQA）作为计算机视觉与自然语言处理交叉领域的核心任务，旨在让模型根据输入图像回答用户提出的自然语言问题，是实现通用人工智能多模态理解能力的关键路径。传统VQA模型依赖统计相关性拟合训练数据，普遍存在泛化能力弱、鲁棒性差、可解释性不足等缺陷，而因果推理的引入为突破这些瓶颈提供了新的理论框架与技术路径，近年来已成为多模态智能领域的研究热点。一、传统视觉问答的核心困境与因果视角的解释传统VQA模型的架构通常遵循“视觉特征提取-文本特征编码-跨模态融合-答案分类”的范式，在VQAv2、GQA等标准数据集上已实现较高的基准准确率，但在分布外（Out-of-Distribution,OOD）测试集上性能往往出现断崖式下跌。这类缺陷的本质根源在于模型过度捕捉数据中的虚假关联（SpuriousCorrelation），而非学习到真正的推理逻辑。例如在VQAv2数据集中，超过60%的“什么颜色”问题的答案是“白色”，超过70%的“多少个”问题答案小于3，传统模型会优先拟合这类统计规律，当遇到反常规样本（如黑色的雪、包含10个物体的计数问题）时容易给出错误答案。从因果理论的视角来看，VQA任务本质上是一个干预式推理问题：模型需要推断“如果对图像中的某个对象进行修改，答案会如何变化”，而传统的关联学习仅能捕捉观测数据中的条件概率分布P(A|I,Q)（A为答案，I为图像，Q为问题），无法区分因果关联与虚假关联。因果图（CausalGraph）的引入可以清晰拆解VQA任务中的变量关系：问题Q作为原因同时影响图像I的选择和答案A的生成，图像I作为中介变量直接影响A，同时存在未观测的混淆变量U（如数据集的偏差、场景上下文的隐式约束）同时影响I和A，这三类变量共同构成了VQA的基本因果结构。虚假关联正是由混淆变量U和Q的后门路径（BackdoorPath）所导致，传统模型在训练时会同时学习到前门路径（Q→I→A）的因果效应和后门路径的非因果关联，最终在分布偏移场景下出现性能退化。二、因果推理在视觉问答中的核心技术路径当前基于因果推理的VQA研究主要围绕去偏、干预、反事实推理三个方向展开，分别对应因果理论中的后门调整、前门调整、反事实估计三类核心方法，形成了体系化的技术路线。（一）基于后门调整的去偏方法后门调整是消除混淆变量影响最直接的手段，其核心思想是通过对混淆变量进行分层统计，切断后门路径的影响，得到真正的因果效应P(A|do(I),Q)。这类方法的关键在于如何识别并建模VQA任务中的混淆变量，主要分为显式混淆建模和隐式混淆消除两类。显式混淆建模的代表是基于数据集偏差感知的方法，这类方法预先统计训练数据中问题-答案的先验分布，将其作为显式混淆变量引入因果图。例如2020年提出的LMH（LearnedMixupHint）模型，在训练阶段构建两个分支：一个分支仅输入问题文本预测答案，学习数据中的偏差模式；另一个分支输入图像和问题学习真正的视觉相关推理，最终通过动态加权融合两个分支的输出，降低偏差分支的影响。后续的Up-DownDeconfounder方法进一步将视觉场景中的上下文共现模式作为混淆变量，通过分层聚类对不同场景下的混淆效应进行独立调整，在VQA-CPv2数据集上相比基线模型提升了12.7%的准确率，这类数据集专门针对分布偏移场景设计，训练集和测试集的问题-答案分布存在显著差异。隐式混淆消除方法则不需要预先定义混淆变量，通过重加权或对抗学习的方式自动平衡数据分布。基于逆概率加权（InverseProbabilityWeighting,IPW）的方法是其中的主流，其为每个训练样本赋予权重，使得加权后的训练集问题-答案分布与测试集分布一致。例如2021年提出的Causal-VQA模型，通过倾向得分模型估计每个样本被观测到的概率，将其倒数作为样本权重，在训练损失中对高偏差样本（如出现频率极高的“白色”答案样本）进行降权，迫使模型更多关注依赖视觉信息的推理样本。这类方法的优势在于不需要对混淆变量的形式做假设，适应性更强，但权重估计的误差容易被放大，导致训练不稳定。（二）基于前门调整的干预式推理方法当混淆变量无法被观测或难以建模时，前门调整通过对中介变量（即图像I）进行主动干预，直接估计Q到A的因果效应，不需要控制混淆变量。这类方法的核心是“做干预”（Do-Calculus），即通过修改输入图像的部分特征，观察答案的变化，从而定位图像中对答案真正有影响的关键区域。基于注意力干预的方法是当前研究的热点，其核心是在因果图中建模注意力权重对视觉特征的选择效应。例如2022年提出的CausalAttention模型，将注意力权重作为干预变量，通过对注意力分布进行随机掩码和反事实扰动，计算不同视觉区域被选中时答案的变化幅度，将变化幅度作为该区域的因果效应得分，最终优化注意力机制使其更关注高因果效应的区域。实验表明，这类方法可以有效减少模型对图像背景无关区域的依赖，比如在回答“图中的动物是什么”时，模型注意力会集中在动物主体上，而不会被背景中常见的共现物体干扰。另一个重要方向是基于视觉编辑的干预方法，这类方法通过生成式模型对图像进行显式修改，构造干预样本。例如2023年提出的EditVQA框架，利用扩散模型修改图像中的特定对象属性（如颜色、形状、数量），生成大量反事实图像-问题对，将这些样本加入训练过程，让模型学习到“对象属性变化如何导致答案变化”的因果规律。这类方法的优势在于干预过程可解释性强，生成的反事实样本可以直接用于增强模型的泛化能力，在OOD场景下的性能提升尤为显著，例如在专门测试属性鲁棒性的VQA-AD数据集上，EditVQA相比传统Transformer基线模型准确率提升了18.3%。（三）基于反事实推理的鲁棒性增强方法反事实推理是因果推断的最高层级，其核心是回答“如果某个条件发生变化，结果会是什么”的问题，对应VQA场景下就是“如果图像中的X发生变化，答案会变成什么”，这类推理能力是模型实现真正类人理解的关键标志。基于反事实对比学习的方法是当前的主流技术路线，其核心思想是构造“事实-反事实”样本对，让模型学习到样本之间的因果不变性。例如2022年提出的CounterfactualVQA（CF-VQA）模型，针对每个训练样本生成对应的反事实样本：保持问题不变，修改图像中与问题相关的关键属性，得到对应的反事实答案，然后通过对比学习损失，让模型学习到“图像关键属性变化→答案变化”的对应关系，同时忽略其他无关属性变化的影响。这类方法不仅能提升模型的泛化能力，还能为模型的预测结果提供自然语言解释，比如当模型回答“图中的猫是黑色的”时，可以同时输出反事实解释“如果猫的颜色变成白色，答案会是白色”。针对复杂推理场景的反事实框架也在快速发展，例如针对需要多步推理的组合式VQA问题，2023年提出的NeuralCausalStateMachine模型，将推理过程拆解为一系列因果操作步骤，每一步都可以对中间推理状态进行反事实修改，验证推理路径的正确性。这类方法在需要空间推理、逻辑推理的GQA数据集上表现尤为突出，复杂推理问题的准确率提升了14.2%，同时可以输出完整的推理路径，大幅提高了模型的可解释性。三、当前研究的典型应用与局限基于因果推理的VQA技术已经在多个实际场景中得到落地应用。在自动驾驶领域，车载VQA系统可以基于因果推理回答“前方行人是否要过马路”这类安全相关问题，通过反事实推理排除光线、天气等混淆因素的干扰，鲁棒性相比传统模型提升了30%以上；在医疗影像分析领域，因果VQA模型可以回答“肺部CT中是否存在恶性结节”的问题，通过干预式推理消除设备噪声、扫描角度等混淆变量的影响，诊断准确率已经接近专业医师水平；在教育领域，基于因果VQA的智能教辅系统可以针对学生上传的习题图片回答解题步骤相关问题，通过反事实推理为学生提供“如果修改某个条件，解题思路会如何变化”的拓展讲解，大幅提升了学习效率。尽管已取得显著进展，当前基于因果推理的VQA研究仍存在多个关键局限。首先是因果图的构建缺乏通用框架，不同VQA子任务（如计数、属性识别、逻辑推理）的变量关系存在显著差异，目前的方法大多针对特定任务定制因果图，缺乏可迁移的因果结构定义方法；其次是大规模干预数据的获取成本过高，基于生成式模型的干预样本往往存在语义偏差，无法完全替代真实样本，而人工标注反事实样本的成本是普通样本的5-10倍，难以支撑大规模模型训练；第三是因果效应估计的精度不足，针对高维视觉特征和复杂文本问题的因果效应计算仍存在较大误差，尤其在多步推理场景下，误差会随着推理步骤累积，导致最终结果不可靠。四、未来研究的重点方向未来基于因果推理的VQA研究可以从三个方向重点突破。一是通用因果基础模型的构建，探索如何将因果结构作为先验知识融入大模型的预训练过程，让大模型在预训练阶段就学习到跨场景的通用因果推理能力，而不是针对特定任务单独设计因果框架；二是因果与生成式AI的深度融合，利用大语言模型和扩散模型的能力自动构建因果图、生成高质量反事实样本，降低因果方法的应用成本；三是因果评估体系的完善，当前