基于因果特征学习的图像分类模型在分布外数据上的泛化性研究综述

基于因果特征学习的图像分类模型在分布外数据上的泛化性研究综述图像分类作为计算机视觉领域的基础任务，已在人脸识别、自动驾驶、医疗影像诊断等场景实现规模化应用。传统基于统计关联的深度学习模型在独立同分布（IndependentandIdenticallyDistributed,IID）测试集上性能接近甚至超越人类水平，但当输入数据与训练集存在分布偏移（DistributionShift）时，模型准确率往往出现断崖式下降。这类分布外（Out-of-Distribution,OOD）泛化难题已成为制约深度学习模型落地高风险场景的核心瓶颈，而因果特征学习被认为是破解统计关联模型“捷径学习”（ShortcutLearning）缺陷、提升模型分布鲁棒性的关键路径。一、分布外泛化问题的核心本质与挑战分布外泛化要求模型在训练分布未知的目标域数据上仍保持稳定性能，其核心矛盾在于传统深度学习模型对虚假关联（SpuriousCorrelation）的过度依赖。在自然图像数据集中，标签往往与多个非核心特征存在统计关联，例如数据集中“牛”的图片常出现在草地背景下，“船”的图片多伴随水面出现，模型在训练过程中会优先学习这类易于拟合的关联特征作为分类依据，而非真正与对象本质相关的因果特征。当测试集中牛出现在水面、船出现在陆地时，模型便会产生错误判断。虚假关联的来源可分为三类：第一类是数据集采集偏差，例如不同类别样本的采集环境、拍摄角度、光照条件存在系统性差异，导致标签与环境特征形成强关联；第二类是数据标注偏差，标注过程中优先选择特征显著的样本，忽略边缘案例，使得训练集无法覆盖真实场景的特征分布；第三类是数据固有的统计相关性，例如医学影像中患病样本常伴随年龄、设备型号等混杂因素，这类关联并非因果关系但在数据中稳定存在。现有研究表明，即使在训练集上实现100%准确率的模型，也可能完全依赖虚假关联完成分类，其在OOD数据上的泛化性能甚至不及随机猜测。传统提升分布鲁棒性的方法主要围绕数据增强和域适应展开。数据增强通过随机裁剪、翻转、添加噪声等方式扩充训练数据分布，但这类方法仅能覆盖有限的分布偏移类型，无法应对未知场景的未知偏移；域适应方法要求在训练阶段获取目标域的无标注数据，通过特征对齐实现域迁移，但在多数实际场景中，目标域数据往往无法预先获取，限制了这类方法的应用范围。而因果特征学习的核心优势在于，无需依赖目标域数据，通过挖掘特征与标签之间的因果关系，让模型学习到不受环境变化影响的不变特征，从根本上切断虚假关联对模型决策的影响。二、因果特征学习的理论基础与核心范式因果特征学习的理论框架建立在结构因果模型（StructuralCausalModel,SCM）和不变因果预测（InvariantCausalPrediction,ICP）之上。结构因果模型通过有向无环图（DirectedAcyclicGraph,DAG）描述变量之间的生成关系，其中图像分类任务的生成过程可抽象为：因果特征直接决定标签，而非因果特征（环境特征、混杂因素）仅与标签存在统计关联。因果特征学习的目标就是从观测数据中分离出直接作用于标签的因果特征子集，确保模型决策仅依赖这类不变特征。独立机制原则（IndependentMechanismPrinciple）是因果特征学习的核心指导原则。该原则指出，数据生成过程由多个独立的因果机制组成，不同机制之间的参数不会相互影响。对于图像分类任务而言，对象的核心语义特征（如形状、纹理结构、部件组合关系）对应的生成机制是稳定的，而背景、光照、拍摄角度等环境因素的生成机制是独立变化的。因此，跨不同环境下始终与标签保持稳定关联的特征即为因果特征。基于这一原则，现有因果特征学习方法主要分为三大范式：（一）基于不变风险最小化的因果特征学习不变风险最小化（InvariantRiskMinimization,IRM）是该范式的代表性方法，其核心思想是通过引入多个不同的训练环境，约束模型在所有环境下的最优分类器保持一致。IRM的优化目标包含两部分：一是最小化模型在各个训练环境上的经验风险，二是最小化分类器在不同环境下的梯度差异，迫使模型学习到跨环境不变的预测关系。例如在彩色MNIST数据集实验中，数字颜色与标签存在强虚假关联，IRM能够引导模型忽略颜色特征，仅依赖数字形状完成分类，在颜色与标签关联反转的OOD测试集上准确率提升超过70%。后续针对IRM的优化研究主要聚焦于环境划分和优化效率两个方向。原始IRM要求预先给定环境标签，而实际场景中环境标注往往难以获取，因此一系列无监督环境划分方法被提出，通过聚类方法将训练集划分为多个具有分布差异的虚拟环境。针对IRM双层优化目标计算复杂度高的问题，研究者提出了线性化IRM、惩罚梯度方差简化版等变体，大幅降低了模型训练开销，使得该方法能够应用于ImageNet等大规模数据集。（二）基于因果干预的特征去偏因果干预方法通过主动切断混杂因素与标签之间的关联，实现因果特征的分离。前门调整、后门调整是这类方法的核心技术路径。后门调整通过控制混杂变量，消除非因果路径带来的虚假关联；前门调整则通过识别介于因果特征与标签之间的中介变量，在无需观测混杂因素的情况下计算因果效应。在图像分类任务中，背景、风格等因素常被视为混杂变量，研究者通过对抗学习、注意力机制等方式对这类变量进行干预。典型的因果去偏模型包括因果注意力模块和反事实数据增强方法。因果注意力模块通过学习特征的因果效应权重，动态抑制与标签存在虚假关联的特征区域，例如在医疗影像分类中，模型会自动忽略设备标记、拍摄角度等无关区域，重点关注病变区域特征。反事实数据增强则通过生成“仅保留因果特征、替换非因果特征”的反事实样本，让模型在训练过程中区分因果与非因果特征，例如将图片中的背景替换为随机噪声、将对象纹理替换为其他类别纹理，验证模型是否仍能正确分类，这类反事实样本能够有效提升模型对核心特征的关注度。（三）基于因果表示解耦的特征分离表示解耦方法旨在将图像的隐空间表示分解为多个独立的维度，每个维度对应一个独立的生成因素，其中语义相关维度对应因果特征，环境相关维度对应非因果特征。变分自编码器（VAE）、生成对抗网络（GAN）是这类方法的常用基础架构，通过引入独立约束、正交约束等方式，迫使隐空间不同维度之间相互独立。近年提出的因果解耦模型进一步引入了因果图结构约束，要求隐变量之间的依赖关系符合预设的因果结构。例如在人脸属性分类任务中，模型将隐空间分解为身份、表情、光照、姿态四个独立维度，其中身份维度作为因果特征直接决定分类结果，其余维度作为环境变量可被独立修改而不影响分类结果。这类解耦表示不仅能够提升OOD泛化性能，还具备良好的可解释性，研究人员可以通过修改特定维度的取值，观察模型决策的变化过程，验证模型是否真正依赖因果特征进行判断。三、因果特征学习在图像分类OOD泛化中的典型应用场景（一）医疗影像分类医疗影像数据天然存在严重的分布偏移问题，不同医院的设备参数、扫描协议、患者人群差异都会导致数据分布存在显著差异。基于因果特征学习的模型能够忽略设备型号、扫描参数等非核心特征，聚焦于病变本身的形态学特征，提升跨设备、跨人群的诊断准确率。例如在肺部CT影像新冠肺炎诊断任务中，因果模型能够排除患者年龄、肺部基础疾病等混杂因素的影响，在不同医疗机构的测试集上准确率波动小于5%，远低于传统模型20%以上的准确率波动幅度。（二）自动驾驶目标检测自动驾驶场景中，天气、光照、道路环境的变化都会带来剧烈的分布偏移，传统模型在雨天、雾天、夜间等场景下检测准确率大幅下降。因果特征学习模型通过学习车辆、行人等目标的结构不变特征，能够在恶劣天气条件下保持稳定的检测性能。现有实验表明，基于因果特征的3D目标检测模型在雾天场景下的检测准确率比传统模型高30%以上，且对不同强度的噪声干扰具有更强的鲁棒性。（三）开放世界图像识别开放世界识别要求模型能够识别未知类别，同时拒绝不属于已知类别的OOD样本。因果特征学习模型通过构建类别因果特征库，能够有效区分已知类别的因果特征与未知类别的特征分布，大幅降低假阳性率。例如在细粒度图像分类任务中，传统模型常将外形相似的未知类别错误归类为已知类别，而因果模型通过比对核心部件的因果特征，能够准确识别出未知类别，未知类检测准确率提升超过40%。四、现有研究局限与未来发展方向尽管因果特征学习在图像分类OOD泛化领域已取得显著进展，但现有方法仍存在多方面局限：首先，因果结构的自动识别仍是难题，多数现有方法依赖预设的因果图假设，而复杂场景下图像的生成因果结构往往难以预先定义，无监督因果结构发现方法的精度尚不足以支撑高维图像数据的因果分析；其次，因果特征的完备性无法保证，现有方法只能识别观测数据中存在的不变特征，若训练环境覆盖不足，可能遗漏部分关键因果特征，导致模型在未覆盖的偏移类型上仍表现不佳；第三，因果特征学习与大规模预训练模型的结合尚处于探索阶段，如何在大模型的海量参数中定位因果特征对应的参数区域，实现高效的因果特征引导微调，是亟待解决的问题。未来研究可从三个方向展开：一是开发面向高维图像数据的因果结构自动发现算法，