基于因果推断的视觉语言模型鲁棒性评估与增强研究综述

基于因果推断的视觉语言模型鲁棒性评估与增强研究综述视觉语言模型（Vision-LanguageModels,VLMs）作为多模态人工智能的核心范式，通过联合建模图像与文本的语义关联，在图像captioning、视觉问答、跨模态检索等任务中实现了性能突破。然而，现有VLMs普遍存在鲁棒性缺陷：输入层面的微小扰动（如图像对抗噪声、文本表述偏差）、分布层面的偏移（如域转移、长尾类别分布）、语义层面的歧义（如同义词替换、场景上下文变化）均可能导致模型输出出现显著性错误。这类缺陷极大限制了VLMs在自动驾驶、医疗诊断、人机交互等高风险场景的落地应用。传统基于关联统计的鲁棒性优化方法依赖数据层面的经验风险最小化，难以从根本上解决模型对虚假关联的依赖问题。因果推断作为揭示变量间本质作用关系的方法论框架，为突破VLMs鲁棒性瓶颈提供了新的研究路径。通过构建多模态数据生成的因果结构，识别影响模型预测的核心因果因子与混杂因子，能够实现从“关联拟合”到“因果理解”的范式转变，从根源上提升模型面对分布偏移与对抗扰动时的稳定性。一、视觉语言模型鲁棒性挑战的因果本质VLMs的鲁棒性缺陷本质上是模型在训练过程中学习到数据中的虚假关联（SpuriousCorrelation）而非真实因果关系。例如在VQA任务中，当训练数据中“草坪”与“绿色”同时出现的频率极高时，模型会直接将“草坪”的颜色预测为绿色，而忽略图像中实际呈现的冬季黄色草坪信息。这种虚假关联的形成机制可以从因果视角分为三类：（一）混杂偏倚导致的虚假关联混杂因子是同时影响处理变量（输入特征）与结果变量（预测输出）的变量，会在处理变量与结果变量之间制造非因果的统计关联。在多模态数据中，常见的混杂因子包括数据采集偏差、标注偏差、上下文共现偏差等。以COCO数据集为例，图像中“人”的标注框占比超过60%，导致模型在跨模态检索任务中倾向于优先检索包含“人”的图像，即使查询文本中未涉及人物相关语义。这类混杂因子导致模型学习到的是“特征-标签”的统计相关性，而非真实的语义因果关系，当测试集分布与训练集存在偏差时，性能会出现断崖式下降。（二）反事实缺失导致的泛化能力不足反事实推理是评估因果效应的核心手段，通过回答“如果输入发生改变，输出会如何变化”的问题，能够检验模型是否真正理解语义关联。现有VLMs的训练数据大多是观察性数据，缺乏系统性的反事实样本。例如，现有数据中大多呈现“猫坐在垫子上”的场景，几乎没有“猫坐在书上”“猫坐在桌子上”的反事实样本，导致模型无法学习到“坐”这个动作的本质语义，在遇到未见过的搭配组合时会产生错误预测。研究表明，即使是参数规模达到千亿级别的VLMs，在反事实视觉问答任务上的准确率仍然不足60%，远低于人类水平。（三）因果路径混淆导致的错误推理VLMs的预测过程存在多条因果路径，其中部分路径是与任务无关的后门路径。例如在图像captioning任务中，“图像内容→语义表示→文本描述”是核心因果路径，而“图像风格→数据集偏差→文本描述”则是后门路径。当模型误将后门路径的关联作为预测依据时，会产生不符合实际语义的输出。典型案例是当输入一张梵高风格的向日葵图像时，模型可能会优先输出“梵高的画作”相关描述，而忽略“向日葵”这一核心主体内容。这类因果路径混淆问题在OOD（Out-of-Distribution）场景下表现尤为突出，是导致模型鲁棒性下降的重要原因。二、基于因果推断的VLMs鲁棒性评估方法传统鲁棒性评估方法主要基于扰动输入下的性能变化度量，难以揭示模型鲁棒性缺陷的内在成因。基于因果推断的评估方法通过量化因果效应、识别虚假关联、构建反事实测试集，能够实现对模型鲁棒性的深度诊断。（一）因果效应量化评估因果效应量化是指通过计算输入特征对输出预测的平均处理效应（AverageTreatmentEffect,ATE），识别对模型输出具有决定性影响的核心特征。具体实现中，研究者通常采用干预方法，固定其他特征不变，仅改变某一特定特征，观察模型输出的变化幅度。例如在VQA任务中，固定问题与图像背景不变，仅改变图像中的目标物体类别，计算模型输出答案的变化程度，以此量化目标物体特征的因果效应。如果某一非核心特征（如图像的亮度、分辨率）的因果效应超过核心语义特征，说明模型存在严重的虚假关联依赖问题。GoogleDeepMind团队2024年提出的CausalBench评估框架，通过对12种主流VLMs的因果效应量化分析，发现超过70%的模型对图像纹理特征的依赖程度超过语义结构特征，这也是对抗噪声容易攻击成功的重要原因。（二）虚假关联识别方法虚假关联识别旨在定位模型学习到的非因果关联模式，常用方法包括基于因果图的混杂因子识别和基于不变风险最小化（InvariantRiskMinimization,IRM）的关联检验。基于因果图的方法首先构建多模态数据的生成因果图，通过后门调整、前门调整等方法去除混杂因子的影响，比较调整前后模型的性能变化，如果性能出现显著下降，说明模型原始预测依赖于虚假关联。斯坦福大学2025年提出的SpuRLib检测工具，能够自动识别VLMs中存在的Top-100虚假关联模式，其中“海洋→蓝色”“雪→白色”“火车→轨道”等高频共现关联是最常见的虚假关联来源。基于IRM的方法则通过在多个不同分布的训练环境下训练模型，检验模型学到的关联是否在所有环境中保持不变，如果某一关联仅在特定环境下成立，则判定为虚假关联。（三）反事实鲁棒性测试集构建反事实测试集通过系统性生成与原样本仅存在单一语义特征差异的反事实样本，评估模型在因果特征变化下的预测稳定性。构建反事实测试集的核心技术包括文本驱动的图像编辑、图像属性可控生成、语义角色替换等。例如在视觉蕴涵任务中，原样本为“图像中有一只红色的猫坐在沙发上”，对应的反事实样本可以是“图像中有一只蓝色的猫坐在沙发上”“图像中有一只红色的狗坐在沙发上”“图像中有一只红色的猫坐在地上”等。MIT-IBM沃森人工智能实验室2024年发布的Counterfactual-VL测试集，包含超过20万个反事实多模态样本，覆盖10类主流VLMs任务，测试结果显示现有模型在反事实样本上的平均性能下降幅度达到42%，反映出当前VLMs的因果理解能力仍然存在显著缺陷。三、基于因果推断的VLMs鲁棒性增强技术针对VLMs存在的鲁棒性缺陷，研究者从因果结构建模、因果干预训练、反事实数据增强三个层面提出了一系列增强方法，显著提升了模型在分布偏移与对抗扰动下的性能稳定性。（一）多模态因果结构建模多模态因果结构建模旨在明确图像、文本、语义概念、外部知识等变量之间的因果关系，构建可解释的因果图，为后续干预训练提供结构基础。根据因果结构的获取方式，可以分为三类：第一类是基于先验知识的因果图构建，例如将知识库中的实体关系作为因果边的依据，构建“实体-属性-关系”三层因果图，这类方法的优势是因果结构可解释性强，但难以覆盖开放域的所有语义关联；第二类是基于数据驱动的因果结构发现，通过独立条件检验、因果评分函数等方法从多模态数据中自动学习因果结构，华为诺亚方舟实验室2025年提出的VLCausal发现算法，能够在亿级多模态数据上高效学习因果结构，发现的因果边准确率超过85%；第三类是混合因果结构建模，结合先验知识与数据驱动方法，既保证核心语义关系的准确性，又具备开放域扩展能力。（二）因果干预训练方法因果干预训练通过对因果图中的变量进行主动干预，切断后门路径的影响，强制模型学习核心因果路径的关联。常用的干预技术包括后门调整、前门调整、工具变量回归等。在后门调整方法中，研究者通过对混杂因子进行分层调整，消除混杂因子对处理变量与结果变量的影响。例如在训练图像检索模型时，对数据集中的“图像风格”“场景类型”等混杂因子进行分层，在每一层内计算损失函数，避免模型学习到风格与检索结果之间的虚假关联。牛津大学2024年提出的Causal-VL训练框架，通过后门调整干预，使VLMs在OOD场景下的检索准确率提升了28%。前门调整方法则适用于混杂因子无法观测的场景，通过引入中介变量（如语义概念表示），实现对因果效应的无偏估计。工具变量回归方法则利用仅影响处理变量、不直接影响结果变量的工具变量，分离出处理变量对结果变量的真实因果效应，在解决标注偏差导致的鲁棒性问题上取得了显著效果。（三）反事实数据增强反事实数据增强通过生成高质量的反事实样本补充训练集，扩展模型的经验分布范围，提升模型的泛化能力。生成反事实样本的技术路径包括：第一类是基于扩散模型的可控生成，通过文本提示引导扩散模型生成仅改变特定语义特征的反事实图像，例如保持图像背景不变，仅改变目标物体的颜色、形状、类别等属性；第二类是基于编辑的样本生成，利用GANinversion、掩码编辑等技术对现有图像进行精准修改，生成的反事实样本与原样本的一致性更高；第三类是基于大模型的样本生成，利用GPT-4V等通用多模态大模型自动生成反事实文本-图像对，这类方法的生成效率更高，适合大规模训练数据增强。加州大学伯克利分校2025年的研究表明，在训练数据中加入30%的反事实样本，能够使VLMs在对抗样本攻击下的准确率提升35%，同时不会降低在原分布数据上的性能。四、当前研究挑战与未来发展方向尽管基于因果推断的VLMs鲁棒性研究已经取得了显著进展，但仍然面临一系列挑战：一是开放域多模态因果结构发现难度大，开放域场景下语义概念复杂、关联多样，现有因果结构发现算法的准确率与效率难以满足实际需求；二是因果干预的计算成本过高，现有干预方法通常需要多次前向传播与梯度计算，在千亿参数规模的VLMs上训练时计算成本会增加3-5倍；三是因果鲁棒性与性能的权衡问题，部分因果增强方法在提升鲁棒性的同时会导致模型在原分布数据上的性能下降，如何实现二者的最优平衡仍然是亟待解决的问题。未来研究可以从四个方向展开：第一，探索轻量级因果建模方法，通过参数高效微调、稀疏因果图等技术降低因果方法的计算开销，实现大模型场景下的落地应用；第二，构建多粒度因果表示，从像素级、实体级、语义级多个层面建模因果关系，提升模型对不同类型扰动的鲁棒性；第三，结合