基于因果推断的视觉语言模型研究综述

基于因果推断的视觉语言模型研究综述一、视觉语言模型的发展困境与因果研究的兴起视觉语言模型（Vision-LanguageModel,VLM）作为多模态人工智能的核心载体，通过对齐图像与文本的特征表示，已在图像描述、视觉问答、跨模态检索等场景实现规模化落地。从早期基于Transformer的CLIP、ALBEF，到当前参数量突破千亿级的多模态大模型，VLM的拟合能力不断提升，但泛化性差、可解释性弱、存在偏见传播等固有缺陷始终未能得到根本解决。在分布外（Out-of-Distribution,OOD）测试集上，主流VLM的性能平均下降30%以上；在涉及因果推理的视觉问答任务中，模型倾向于依赖数据集的统计关联而非真实语义逻辑给出答案，例如将所有“骑在马上的人”误判为“牛仔”，忽略场景中职业标识、服装特征等关键因果要素。传统VLM的训练范式以关联学习为核心，通过最大化跨模态特征的互信息实现模态对齐，本质是对数据中统计相关性的拟合。这种范式天然存在三大局限：第一，无法区分因果关联与虚假关联，模型容易习得数据中的伪相关模式，例如在医疗图像问诊场景中，若训练数据中“肺癌患者”与“携带便携式吸氧装置”的共现频率较高，模型可能误将吸氧装置作为判断肺癌的核心依据，忽略病灶本身的视觉特征；第二，缺乏反事实推理能力，无法回答“如果图像中的物体被遮挡，结论是否成立”这类假设性问题，严重限制了模型在自动驾驶、工业缺陷检测等高风险场景的应用；第三，决策过程黑箱化，用户无法获知模型给出结论的因果路径，难以对错误结果进行溯源和修正。因果推断为解决上述问题提供了新的理论框架。因果推断专注于识别变量之间的因果关系而非单纯的统计关联，通过do算子、反事实推理、结构因果模型等工具，能够从数据中剥离虚假关联，构建可解释的决策逻辑。近年来，将因果推断引入VLM领域已成为多模态研究的热点方向，相关研究覆盖模态对齐、鲁棒性提升、公平性优化、可解释性增强等多个维度，逐步形成了“因果感知VLM”的研究分支。二、因果驱动的视觉语言模态对齐方法模态对齐是VLM的核心任务，目标是建立视觉特征与文本特征之间的对应关系。传统对齐方法基于相关性学习，容易受到数据偏差的影响，例如在包含大量“海滩-冲浪”配对的训练集中，模型会将“海滩”场景与“冲浪”概念进行强绑定，当出现“海滩上看书”的图像时，可能错误生成“有人在冲浪”的描述。因果视角下的模态对齐方法通过引入因果干预，剥离训练数据中的混淆变量，实现更鲁棒的跨模态关联。2.1基于因果图的混淆变量去偏这类方法首先构建视觉-文本对齐的因果图，识别影响对齐结果的混淆变量，再通过后门调整、前门调整等因果干预手段消除混淆变量的影响。典型代表是2022年提出的Causal-VL模型，该模型将“场景类别”作为混淆变量引入因果图，例如在“狗”的图像文本配对中，“公园”“客厅”等场景是同时影响图像中是否出现狗、文本描述是否提及狗的混淆变量。模型通过后门调整计算P(文本描述|do(视觉特征))，即固定视觉特征输入时文本描述的真实概率分布，消除场景混淆变量带来的偏差。在COCO图像描述数据集上，Causal-VL的分布外BLEU分数比基线模型ALBEF提升了12.7%，在场景与主体不匹配的OOD样本上提升超过25%。针对细粒度对齐场景，部分研究将混淆变量细化到物体属性层面。例如2023年提出的DeconfoundedALBEF模型，将物体的颜色、大小、位置等属性作为中间混淆变量，通过前门调整切断“属性偏差→模态对齐”的因果路径。在视觉推理数据集VQA-CPv2上，该模型的准确率比基线提升了8.3%，尤其在涉及属性判断的问题上错误率下降了40%。2.2反事实增强的跨模态对比学习对比学习是当前VLM预训练的核心技术，通过构造正样本对（匹配的图像-文本对）和负样本对（不匹配的图像-文本对）学习特征空间中的度量距离。传统对比学习的样本构造依赖随机采样，负样本往往存在语义关联弱、区分度低的问题，无法有效引导模型学习因果性关联。反事实增强的对比学习通过人为构造反事实样本，让模型学习“哪些特征变化会导致跨模态匹配关系改变”，从而捕捉核心因果特征。2023年提出的Counterfactual-CLIP模型是该方向的代表性工作。该模型在预训练阶段针对每张图像生成两类反事实样本：一类是干预物体核心属性的反事实图像，例如将图像中的“红色苹果”修改为“绿色苹果”，对应的文本描述同步修改为“绿色的苹果”；另一类是干预非核心属性的反事实图像，例如修改苹果的背景、光照条件，文本描述保持不变。模型在对比学习损失中额外引入反事实匹配约束，要求模型对核心属性变化的样本给出不同的匹配分数，对非核心属性变化的样本给出一致的匹配分数。实验结果显示，Counterfactual-CLIP在零样本图像分类任务上的平均准确率比原始CLIP提升了9.2%，在背景噪声较强的ImageNet-C数据集上提升超过15%，证明反事实增强能够有效提升模型对核心因果特征的捕捉能力。三、因果感知的视觉语言推理框架视觉问答、视觉推理等任务要求VLM不仅能够对齐跨模态特征，还能够根据视觉信息和文本问题进行逻辑推理，输出正确答案。传统VLM的推理过程依赖统计关联，容易产生“捷径推理”，例如在VQA数据集中，“什么颜色的球？”这类问题的答案80%是“白色”，模型会忽略图像中的球的实际颜色，直接输出“白色”。因果感知的推理框架通过构建因果推理路径，让模型的决策过程基于真实的因果逻辑，提升推理的准确性和可解释性。3.1结构因果模型引导的推理路径构建结构因果模型（StructuralCausalModel,SCM）通过有向无环图（DAG）描述变量之间的因果依赖关系，研究者将其引入VLM的推理过程，将视觉实体、实体属性、问题语义、答案等作为变量，构建推理过程的因果图，让模型沿着因果路径逐步推导答案。2022年提出的Causal-VQA框架是该方向的开创性工作。该框架首先从图像中检测所有视觉实体及其属性，构建视觉实体因果图；再对文本问题进行语义解析，识别问题涉及的核心实体、关系类型和查询目标；最终通过因果图的路径遍历，找到从问题实体到查询目标的最短因果路径，基于路径上的因果关系推导答案。例如针对问题“桌子上的杯子是什么颜色？”，模型首先定位视觉实体“桌子”“杯子”，识别“杯子位于桌子上”的空间关系，再提取“杯子”的颜色属性，最终输出答案。在VQA-CPv2数据集上，该框架的准确率比基线模型LXMERT提升了11.4%，且能够输出完整的推理路径，大幅提升了模型的可解释性。针对复杂多跳推理场景，2024年提出的HierarchicalCausalVQA模型进一步构建了层级化因果图，将推理过程分为“实体定位→关系识别→属性查询→逻辑组合”四个层级，每个层级对应因果图中的一个子模块，实现多步因果推理。在需要3跳以上推理的GQA数据集上，该模型的准确率比基线提升了16.2%，推理路径的可解释性评分在人工评估中达到4.7/5分，远高于传统模型的2.1/5分。3.2反事实推理的鲁棒性提升反事实推理是因果推断的核心能力之一，要求模型能够回答“如果X发生变化，Y会如何”的假设性问题。在VLM中引入反事实推理能力，不仅能够提升模型的分布外泛化性，还能够帮助研究者验证模型决策的因果依据，即“如果某视觉特征不存在，模型的结论是否会改变”。反事实视觉问答（CounterfactualVQA,CF-VQA）任务是检验模型反事实能力的核心基准。该任务首先给出原始图像和问题，例如原始图像中“一个穿红色上衣的女孩在公园里跑步”，问题是“女孩的上衣是什么颜色？”，答案是“红色”；再给出反事实假设“如果女孩的上衣是蓝色的”，要求模型给出对应的答案“蓝色”。传统VLM在这类任务上的准确率不足30%，往往忽略反事实假设，仍然输出原始答案。2023年提出的CF-VL模型专门针对反事实推理场景进行优化。该模型引入了反事实特征编辑模块，能够根据反事实假设对视觉特征和文本特征进行精准干预，在保持其他特征不变的前提下，仅修改与假设相关的特征维度；同时设计了反事实一致性损失，约束模型在原始输入和反事实输入上的推理逻辑保持一致。在CF-VQA数据集上，该模型的准确率达到78.3%，大幅超越传统基线模型；在自动驾驶场景的反事实测试中，针对“如果行人突然横穿马路，车辆应该采取什么措施？”这类问题，模型的回答准确率比传统VLM提升了62%，具备了实际应用的潜力。四、因果推断在VLM公平性与可解释性优化中的应用随着VLM在医疗、司法、招聘等敏感场景的应用逐步拓展，模型的公平性和可解释性成为关乎落地可行性的核心指标。传统VLM容易习得训练数据中的社会偏见，例如在职业相关的图像描述中，模型更倾向于将“医生”与男性绑定，将“护士”与女性绑定，这类偏见本质是数据中虚假因果关联的体现。因果推断为偏见识别和消除、可解释性增强提供了系统化的解决方案。4.1基于因果干预的公平性优化VLM中的偏见通常来源于混淆变量的影响，例如在招聘场景的简历筛选VLM中，“性别”是同时影响“简历文本描述”和“面试评估结果”的混淆变量，训练数据中男性候选人的“技术能力”相关描述与“通过评估”的共现频率更高，模型会错误地将“男性”作为评估通过的因果要素，产生性别偏见。基于因果干预的去偏方法通过切断“敏感属性→决策结果”的因果路径实现公平性优化。2023年提出的Fair-CausalVL框架首先将性别、种族、年龄等敏感属性作为干预变量，通过do算子固定敏感属性的取值，计算P(决策结果|do(非敏感特征))，即仅基于非敏感特征的决策概率分布，消除敏感属性对决策结果的因果影响。在职业图像分类任务中，该框架将性别偏见率从基线模型的27.4%降至3.1%，同时分类准确率仅下降1.2%，实现了公平性与性能的平衡。针对多敏感属性叠加的场景，2024年提出的Multi-attributeDeconfoundedVLM进一步采用分层干预策略，对不同敏感属性按照影响权重进行逐级干预，在包含性别、年龄、种族三类敏感属性的多模态招聘评估数据集上，偏见率降低了92%，且模型的整体性能保持稳定。4.2因果可解释性的生成与验证传统VLM的可解释性方法主要基于特征梯度可视化，例如通过Grad-CAM展示模型决策关注的图像区域，但这类方法只能展示“模型看了哪里”，无法解释“模型为什么基于该区域得出结论”，属于相关性解释而非因果解释。因果可解释性方法通过识别模型决策的因果路径，能够输出“因为图像中存在X特征，所以模型得出Y结论”的因果解释。2023年提出的Causal-XVLM框架实现了因果解释的自动生成。该框架首先通过因果发现算法识别输入特征与输出结果之间的因果关系，构建决策因果图；再根据因果图生成自然语言解释，同时支持用户对解释进行验证，例如用户可以询问“如果删除X特征，结论是否仍然成立？”，模型通过反事实干预给出准确回答。在医疗图像问诊场景的人工评估中，该框架生成的解释准确率达到91.2%，医生对解释的满意度达到4.6/5分，远高于传统梯度解释的2.3/5分。五、当前挑战与未来研究方向尽管因果推断在VLM领域的应用已取得显著进展，但该方向仍处于发展初期，面临诸多亟待解决的挑战。首先是因果图的自动构建问题，当前方法的因果图大多依赖人工预设，无法适配开放场景下的动态变量关系，如何从大规模多模态数据中自动发现因果关系，构建自适应的结构因果模型，是未来的核心研究方向之一。其次是大模型场景下的因果干预效率问题，当前因果干预方法的计算复杂度较高，难以直接应用于参数量千亿级的多模态大模型，需要设计更高效的轻量级因果干预模块，实现与大模型的无缝融合。第三是因果VLM的评估体系不完善，当前缺乏统一的基准数据集和评估指标，无法全面衡量模型的因果推理能力、公平性和可解释性，构建标准