基于对抗学习的域适应语义分割研究综述

基于对抗学习的域适应语义分割研究综述语义分割作为计算机视觉领域的核心任务之一，旨在为图像中每个像素分配对应的语义类别标签，在自动驾驶、医疗影像分析、遥感影像解译等场景中发挥着不可替代的作用。传统监督语义分割模型的性能高度依赖大量标注精良的训练数据，但在实际应用场景中，不同数据源之间往往存在显著的域偏移问题——例如自动驾驶场景中，晴天采集的图像与雨天、夜晚采集的图像在光照、纹理、风格上存在明显差异，公开数据集与真实业务场景的数据分布差异也会导致模型在目标域上性能骤降。域适应技术通过挖掘源域标注数据与目标域无标注数据之间的关联，有效缩小域间分布差异，成为解决上述问题的核心路径。而对抗学习凭借其强大的分布对齐能力，为域适应语义分割提供了全新的技术范式，近年来相关研究成果呈现爆发式增长。对抗学习域适应语义分割的基础框架基于对抗学习的域适应语义分割模型的核心架构通常包含三个核心模块：特征提取器、分割预测器与域判别器。特征提取器负责将输入图像映射到高维特征空间，常见的骨干网络包括ResNet系列、VGG系列以及近年来广泛应用的Transformer架构，如SegFormer、SwinTransformer等。分割预测器基于提取的特征输出像素级的类别预测，通常采用解码器结构逐步恢复特征的空间分辨率，结合上采样、跳跃连接等操作提升边缘细节的预测精度。域判别器则作为对抗博弈的另一方，目标是区分输入特征来自源域还是目标域，引导特征提取器学习域不变特征。在训练过程中，模型通过交替优化两个损失函数实现对抗博弈：一方面，分割损失仅作用于源域标注数据，常用交叉熵损失、Dice损失等约束源域的分割精度，保证特征提取器学习到与语义类别相关的判别性信息；另一方面，域对抗损失通过最小化域判别器的分类误差、最大化特征提取器对域判别器的混淆效果，实现源域与目标域特征分布的对齐。早期经典模型如FCNintheWild首次将对抗学习引入语义分割域适应任务，通过在输出空间对齐源域与目标域的分割预测分布，在GTA5→Cityscapes跨域任务上将分割精度提升了近10个百分点，验证了对抗学习在域适应场景下的有效性。主流技术路径的分类与演进根据对齐层级的不同，基于对抗学习的域适应语义分割可大致分为输出层对齐、特征层对齐与像素级对齐三大类技术路径，不同路径各有适用场景与技术优势。输出层对齐是最早出现的对抗适应方案，其核心思路是直接对源域与目标域的分割预测结果进行分布对齐。这类方法的优势在于实现简单、计算开销小，避免了高维特征对齐带来的训练不稳定问题。代表性工作如AdaptSegNet提出了基于熵的对抗对齐策略，通过计算目标域预测结果的熵图作为域判别器的输入，进一步强化对低置信度预测区域的对齐约束。后续研究逐步关注类别层面的细粒度对齐，例如Class-wiseAdaptation方法为每个语义类别单独设置域判别器，有效解决了类别分布不平衡导致的对齐偏差问题，尤其针对行人、交通标志等小样本类别的跨域性能提升效果显著。特征层对齐则聚焦于在网络的中间特征空间实现域分布对齐，能够捕捉更本质的语义关联。早期特征层对抗适应多采用全局特征对齐思路，直接对整个特征图的分布进行匹配，但容易忽略局部区域的语义一致性。为此，研究人员提出了多层次特征对齐策略，分别对网络的低级特征（边缘、纹理）、中级特征（部件、结构）与高级特征（语义信息）进行分层对抗对齐，既保留了低级特征的细节信息，又保证了高级特征的语义一致性。例如基于自注意力的域适应方法通过Transformer的注意力机制建模全局语义依赖，在特征对齐过程中优先对齐语义相关的局部区域，大幅降低了无关区域噪声对对齐效果的干扰。像素级对齐属于更前置的适配方案，通过图像风格迁移将目标域图像转换为源域风格，从输入层面直接缩小域差异。这类方法通常结合CycleGAN、UNIT等无监督图像转换模型，在保持语义内容不变的前提下调整图像的光照、色彩、纹理等风格属性。代表性工作如CBST提出了基于自训练的像素级转换框架，先通过风格迁移得到近似源域风格的目标域图像，再利用生成的伪标签进行迭代训练。不过像素级对齐方法容易出现语义失真问题，例如在自动驾驶场景中可能将交通标志的颜色迁移错误，因此后续研究逐步引入语义一致性约束，要求转换前后的图像分割预测结果保持一致，有效平衡了风格对齐与语义保真的关系。关键技术挑战与优化方向尽管对抗学习域适应语义分割已经取得了显著进展，但在实际落地过程中仍面临一系列技术挑战，相关优化方向也成为近年来的研究热点。第一个核心挑战是对抗训练的不稳定性问题。传统GAN训练过程中容易出现模式崩溃、梯度消失等问题，在语义分割这种稠密预测任务中表现更为明显。为解决这一问题，研究人员从损失函数与训练策略两方面进行优化：损失函数层面，Wasserstein距离、Hinge损失等替代传统交叉熵损失，大幅提升了对抗训练的稳定性；训练策略层面，梯度惩罚、判别器正则化、动态调整对抗损失权重等方法被广泛应用，例如通过阈值自适应的方式动态调整对抗损失的权重，当域判别器准确率过高时降低对抗损失权重，避免特征提取器过度拟合域判别器的决策边界。第二个挑战是负迁移问题。当源域与目标域的语义空间存在差异、或部分类别在目标域中不存在时，强制全局对齐反而会导致性能下降，即出现负迁移现象。针对这一问题，类别感知的对齐策略成为主流思路：一方面通过类别掩码筛选出两个域共有的语义类别，仅对共有类别对应的特征或预测结果进行对齐；另一方面引入可迁移性评估机制，为每个像素或每个类别计算可迁移性权重，降低不可迁移样本对对齐过程的干扰。例如部分研究提出了基于原型的域适应方法，分别为源域与目标域的每个类别计算特征原型，仅对齐原型距离较近的类别，从根源上避免了异类样本的错误对齐。第三个挑战是复杂场景下的细粒度对齐需求。在自动驾驶、医疗影像等复杂场景中，域偏移往往具有多属性、非均匀的特点，例如同时存在光照变化、天气变化、传感器型号差异等多种偏移因素，不同区域的偏移程度也存在显著差异。为此，研究人员提出了多因子解耦对齐的思路，通过特征解耦将图像特征分解为语义内容因子与域相关因子，仅对域相关因子进行对抗对齐，保留语义内容因子的判别性。此外，局部区域自适应对齐方法也被广泛应用，例如根据图像区域的纹理复杂度、预测置信度动态调整该区域的对抗对齐强度，对道路、天空等结构简单且偏移较大的区域施加更高的对齐权重，对行人、车辆等语义复杂的区域则优先保证分割精度。新兴研究方向与应用拓展近年来，随着基础模型与多模态技术的发展，基于对抗学习的域适应语义分割也涌现出多个新兴研究方向，应用边界不断拓展。第一个方向是基于大模型的域适应范式。预训练视觉大模型（如SAM、CLIP）本身具备极强的泛化能力，如何结合对抗学习进一步提升其跨域性能成为研究热点。例如有研究提出在SAM的基础上添加轻量级域判别器，仅微调少量适配器参数即可实现跨域分割性能的提升，大幅降低了域适应的训练成本。此外，利用大模型的语义理解能力自动筛选可迁移样本、生成高质量伪标签，也有效解决了小样本目标域的适应难题。第二个方向是开放集域适应与通用域适应。传统域适应假设源域与目标域的语义类别完全一致，但实际场景中目标域往往存在源域未包含的未知类别。开放集域适应方法通过对抗学习区分已知类别与未知类别，在对齐已知类别分布的同时，将未知类别样本映射到独立的特征空间，避免其干扰已知类别的分割性能。通用域适应则进一步放宽了类别假设，无需预先知道源域与目标域的类别重叠关系，通过动态阈值自动识别共有类别与独有类别，适配更复杂的真实场景。第三个方向是多模态域适应。随着多模态传感器的普及，融合RGB、激光雷达、深度图等多模态数据进行语义分割成为趋势，多模态域偏移也带来了新的挑战。基于对抗学习的多模态域适应方法通常对不同模态的特征分别进行对齐，同时引入跨模态一致性约束，保证不同模态的特征对齐方向一致。例如在自动驾驶场景中，分别对RGB图像特征与激光雷达点云特征进行对抗对齐，同时约束同一位置的不同模态预测结果一致，显著提升了恶劣天气下的分割鲁棒性。在应用层面，对抗学习域适应语义分割已经在多个场景实现落地：自动驾驶领域，通过在仿真数据集与真实数据集之间进行域适应，大幅降低了真实场景的标注成本，已有量产车型搭载相关技术提升复杂天气下的感知精度；医疗影像领域，通过不同设备、不同人群的医学影像数据之间的域适应，解决了罕见病标注数据不足的问题，在肿瘤分割、病灶检测