基于迁移学习的跨域图像分类研究综述

基于迁移学习的跨域图像分类研究综述一、跨域图像分类的研究背景与问题定义传统监督式图像分类模型的性能高度依赖于标注数据的规模与分布一致性，当训练集（源域）与测试集（目标域）的数据分布存在差异时，模型的泛化能力会出现显著下降，这一现象被称为“域偏移”。在实际应用场景中，域偏移问题广泛存在：例如安防场景下，不同光照、角度、拍摄设备采集的人脸图像存在分布差异；医疗影像分析中，不同医院的CT、MRI设备参数不同导致成像特征不一致；电商商品识别中，官方宣传图与用户实拍图的风格、背景差异明显。传统方法为了适配新域通常需要重新标注大量目标域数据，不仅标注成本极高，且在医疗、军事等数据敏感场景下难以实现。迁移学习的核心思想是将源域学到的知识迁移到目标域，从而降低对目标域标注数据的依赖，为解决跨域图像分类问题提供了可行路径。跨域图像分类的正式定义可表述为：给定有标注的源域数据$\mathcal{D}s={(x_i^s,y_i^s)}{i=1}^{n_s}$，其中$x_i^s\in\mathcal{X}_s$为源域样本，$y_i^s\in\mathcal{Y}$为标签，源域边际分布为$P_s(X)$；以及无标注或少量标注的目标域数据$\mathcal{D}t={(x_j^t)}{j=1}^{n_t}$，目标域边际分布为$P_t(X)$，且$P_s(X)\neqP_t(X)$，但两类域共享相同的标签空间$\mathcal{Y}$。模型的目标是利用$\mathcal{D}_s$与$\mathcal{D}_t$学习一个分类器$f:\mathcal{X}\rightarrow\mathcal{Y}$，使得其在目标域上的分类误差最小。根据目标域标注数据的可用程度，跨域图像分类可进一步细分为无监督跨域分类（目标域无任何标注）、少样本跨域分类（目标域仅含少量标注样本）和半监督跨域分类（目标域存在部分标注样本）三类场景，其中无监督场景因更贴近实际落地需求成为当前研究的主流方向。二、基于实例加权的迁移学习方法实例加权是最早被提出的跨域迁移方法之一，其核心假设是：源域中与目标域分布相似的样本对目标域分类任务贡献更大，而分布差异较大的样本可能带来负迁移，因此通过为不同源域样本赋予不同权重，调整源域的经验分布使其逼近目标域分布，进而训练得到适配性更强的分类器。早期的实例加权方法主要基于重要性采样原理，通过估计源域与目标域样本的密度比来计算权重。代表性工作如Huang等人2007年提出的核均值匹配（KernelMeanMatching,KMM）方法，在再生核希尔伯特空间中最小化源域加权样本与目标域样本的均值差异，直接求解得到样本权重，该方法无需对分布进行显式估计，在小样本场景下表现稳定。但KMM的计算复杂度随源域样本数量呈三次方增长，难以应用于大规模图像数据集。后续研究针对效率问题进行了优化，例如2015年提出的线性时间均值匹配方法通过随机傅里叶特征将核映射转换为线性运算，将复杂度降低至线性级别。近年来随着深度学习的发展，实例加权方法与深度网络结合产生了一系列新进展。2018年提出的领域对抗式重加权方法将权重估计与对抗训练结合，通过判别器判断样本属于源域还是目标域，将判别器的输出作为样本权重的依据，使得与目标域相似的源域样本获得更高权重。2021年提出的动态实例选择方法则在模型训练过程中自适应调整权重：在训练初期侧重全局分布对齐，赋予更多源域样本较高权重；在训练后期侧重决策边界附近的样本适配，降低易被误分类的源域样本权重，有效缓解了负迁移问题。不过实例加权方法存在固有局限：当源域与目标域的分布差异过大，即不存在足够多与目标域分布相近的源域样本时，无论如何调整权重都无法实现有效迁移，此时需要结合特征层面的迁移方法。三、基于特征对齐的迁移学习方法特征对齐是当前跨域图像分类领域应用最广泛的技术路线，其核心思路是学习一个特征变换函数，将源域和目标域样本映射到同一个特征空间中，使得两个域的特征分布尽可能一致，同时保留样本的类别判别性信息。根据对齐的分布层级，可分为边际分布对齐、条件分布对齐和联合分布对齐三类。3.1边际分布对齐边际分布对齐旨在缩小源域与目标域整体特征分布的差异，最具代表性的方法是基于最大均值差异（MaximumMeanDiscrepancy,MMD）的迁移网络。2014年Long等人提出的深度适配网络（DeepAdaptationNetwork,DAN）首次将MMD嵌入到卷积神经网络的全连接层，通过最小化源域和目标域特征的MMD距离实现分布对齐，在Office-31数据集上相比传统方法提升了10%以上的分类准确率。后续研究进一步优化了对齐的粒度：2016年提出的联合适配网络（JointAdaptationNetwork,JAN）不仅对齐全连接层的特征，还对卷积层的多层特征同时进行对齐，捕捉不同层级的分布差异；2019年提出的多核MMD方法通过组合多个核函数更好地拟合复杂的分布差异，避免了单核MMD的表达能力不足问题。除了MMD之外，领域对抗训练是另一类主流的边际分布对齐方法。2015年Ganin等人提出的领域对抗神经网络（Domain-AdversarialNeuralNetwork,DANN）引入了域判别器模块，特征提取器与域判别器进行对抗训练：域判别器的目标是区分特征来自源域还是目标域，特征提取器的目标是生成让域判别器无法区分的特征，最终实现域不变特征的学习。DANN的架构简洁易实现，成为后续众多对抗式迁移方法的基础框架，2017年提出的条件域对抗网络（ConditionalDomainAdversarialNetwork,CDAN）将类别信息引入对抗训练过程，在对齐分布的同时更好地保留了类别判别性，进一步提升了分类性能。3.2条件分布对齐边际分布对齐仅考虑了整体特征分布的匹配，但忽略了不同类别内部的分布差异，可能出现“不同类别的特征在对齐后发生重叠”的问题，因此条件分布对齐聚焦于匹配源域和目标域同一类别下的特征分布。2017年Long等人提出的条件迁移网络（ConditionalTransferableNetwork,CTN）通过伪标签技术为目标域样本生成预测标签，然后在类别层面计算MMD距离，实现类条件分布的对齐。由于目标域伪标签存在噪声，后续研究提出了多种伪标签优化策略：2020年提出的加权条件对齐方法根据伪标签的置信度为不同目标域样本赋予不同权重，降低低置信度样本对对齐过程的干扰；2022年提出的迭代式伪标签更新方法在每轮训练后筛选高置信度的目标域样本加入训练集，逐步提升伪标签的准确性，形成“对齐-伪标签更新-再对齐”的正向循环。针对少样本跨域分类场景，条件分布对齐方法展现出独特优势。2021年提出的原型对齐网络利用源域样本计算每个类别的特征原型，然后将目标域少量标注样本的特征向对应类别的原型靠拢，同时约束不同类别的原型保持足够间距，仅需每个类别3-5个标注样本即可实现显著的性能提升。在医疗影像等标注极其稀缺的场景下，这类方法已被验证能够将跨域分类准确率提升20%以上，具备极高的落地价值。3.3联合分布对齐联合分布对齐同时考虑边际分布和条件分布的匹配，旨在实现更细粒度的分布对齐。2019年提出的深度联合分布适配网络（DeepJointDistributionAdaptation,DJDA）将边际MMD和条件MMD结合为统一的损失函数，通过动态调整两类损失的权重，在训练初期侧重边际分布对齐降低整体分布差异，训练后期侧重条件分布对齐优化类内特征分布。2023年的最新研究进一步将因果推断引入联合分布对齐，通过干预特征生成过程，分离出与类别相关的因果特征和与域相关的非因果特征，仅对因果特征进行联合分布对齐，从根本上避免了域相关特征带来的分布差异，在多个跨域基准数据集上取得了当前最优性能。不过特征对齐方法也存在挑战：当源域和目标域的标签空间存在差异（即部分类别仅在一个域中存在）时，强制对齐所有特征可能导致负迁移，因此开放集跨域分类成为近年来的新兴研究方向，如何识别目标域中的未知类别并实现已知类别的精准对齐，是该方向亟待解决的核心问题。四、基于模型参数正则化的迁移学习方法模型参数正则化方法的核心思想是约束目标域模型的参数与源域预训练模型的参数尽可能接近，从而将源域学到的通用知识迁移到目标域，这类方法在少样本跨域分类场景中应用尤为广泛。最基础的参数正则化方法是微调（Fine-tuning），即首先在源域大规模数据集上预训练模型，然后使用目标域的少量标注样本对模型的全连接层或最后几层卷积层进行微调。但简单的微调容易在目标域小样本场景下出现过拟合问题，因此研究人员提出了多种正则化策略：2018年提出的L2-SP方法在微调阶段为模型参数添加L2正则项，约束目标域模型参数与源域预训练参数的距离，避免参数发生大幅偏移；2019年提出的delta-encoder方法则仅学习源域预训练参数的偏移量，大幅减少了目标域训练阶段需要优化的参数数量，降低了过拟合风险。针对无标注目标域场景，基于自训练的参数正则化方法近年来取得了显著进展。2020年提出的NoisyStudent方法首先在源域数据上训练教师模型，然后用教师模型为目标域无标注样本生成伪标签，再使用源域数据和带伪标签的目标域数据联合训练学生模型，训练过程中通过数据增强、dropout等技术注入噪声，提升模型的鲁棒性。后续研究进一步将自训练与特征对齐结合，2022年提出的ST++方法在自训练的每一轮迭代中加入特征对齐损失，既利用了伪标签的监督信号，又实现了域间分布的匹配，在ImageNet到Clipart等大规模跨域数据集上的性能超过了传统对抗式对齐方法。近年来兴起的提示学习（PromptLearning）为参数高效的跨域迁移提供了新的思路。2021年提出的域提示方法在大规模预训练视觉Transformer（ViT）的输入层添加可学习的域提示向量，仅需优化不到1%的参数即可实现跨域适配，性能与全参数微调相当，且大幅降低了迁移成本。2023年的研究进一步将类别提示与域提示结合，针对不同的目标域和类别设计个性化的提示向量，在10个以上的跨域分类任务中实现了SOTA性能，成为大模型时代跨域图像分类的重要技术方向。五、跨域图像分类的应用场景与挑战当前基于迁移学习的跨域图像分类技术已在多个领域实现落地应用：在智能安防领域，跨域人脸识别算法能够适配不同摄像头的成像条件，将复杂场景下的人脸识别准确率提升至95%以上；在医疗影像分析领域，跨域病变分类模型可以在不同医院的影像数据间实现知识迁移，解决基层医院标注数据不足的问题，辅助医生进行肺癌、糖尿病视网膜病变等疾病的早期筛查；在自动驾驶领域，跨域语义分割和目标检测模型能够适配不同天气、光照和城市路况，提升自动驾驶系统在复杂场景下的稳定性；在农业领域，跨域病虫害识别模型可以适配不同拍摄设备和环境下的作物图像，为农户提供低成本的病虫害检测服务。尽管已有诸多进展，跨域图像分类仍然面临多个亟待解决的挑战：一是负迁移抑制问题，当源域与目标域的相关性较低时，现有方法容易出现负迁移，如何衡量域间可迁移性并动态调整迁移策略是核心难点；二是大规模开放场景的适配问题，现有方法大多针对两个域且标签空间一致的封闭场景，如何处理多个源域、动态变化的目标域以及包含未知类别的开放场景，是落地过程中需要解决的关键问题；三是可解释性不足问题，深度迁移模型的决策过程黑箱化，在医疗、金融等