基于跨域迁移的语义分割研究综述

基于跨域迁移的语义分割研究综述语义分割作为计算机视觉领域的核心任务之一，旨在为图像中每个像素分配对应的语义类别标签，是自动驾驶、医疗影像分析、遥感图像解译等场景的关键支撑技术。传统监督语义分割模型依赖大量标注数据训练，但在实际应用中，不同采集设备、环境、光照条件下的数据分布差异会导致模型性能急剧下降，即出现领域偏移问题。跨域迁移语义分割致力于解决源域标注数据与目标域无标注数据分布不一致时的模型泛化难题，近年来已成为计算机视觉领域的研究热点。跨域迁移语义分割的核心挑战领域偏移是跨域语义分割面临的首要挑战，具体可表现为表观偏移、几何偏移与类别偏移三类。表观偏移最为常见，指不同域中同一类别的视觉特征存在差异，例如自动驾驶场景下晴天拍摄的道路图像与雨天、雾天拍摄的图像在色彩、纹理上存在显著区别；医学影像中不同厂商的CT设备成像参数不同，导致同一器官的灰度分布差异明显。几何偏移则是指视角、尺度、姿态变化带来的分布差异，例如无人机遥感图像中不同飞行高度下的建筑物尺寸、道路形态存在明显变化，监控摄像头不同安装角度下的行人、车辆形状也会发生畸变。类别偏移指源域与目标域的类别空间不完全重合，可能存在目标域包含源域没有的新类别，或者部分类别在两个域中的出现频率差异过大的情况，进一步提升了迁移难度。现有跨域迁移方法还面临泛化性与局部一致性的平衡难题。全局域适配方法通常着眼于对齐源域和目标域的整体特征分布，但容易忽略不同类别、不同区域的局部分布差异，导致小类别或罕见场景的分割精度下降。而局部适配方法虽然能提升区域级特征的对齐效果，却容易引入局部噪声，破坏分割结果的全局语义一致性。此外，当目标域存在多个子域（例如目标域同时包含城市道路、乡村道路、山区道路等多种场景）时，单一对齐策略无法适配所有子域的分布特征，进一步加剧了模型泛化的难度。主流跨域迁移语义分割方法分类基于对抗学习的域适配方法对抗学习是当前跨域语义分割中应用最广泛的技术框架，核心思想是通过生成器与判别器的博弈实现特征分布对齐。基础的对抗适配框架通常包含三个核心组件：分割网络作为生成器，负责输出图像的分割结果；域判别器负责判断输入特征来自源域还是目标域；分割损失与对抗损失共同优化模型参数。训练过程中，生成器一方面要最小化源域数据的分割损失，另一方面要尽可能欺骗域判别器，让目标域特征被判别为源域，从而实现源域与目标域的特征分布对齐。针对基础对抗方法仅对齐全局分布的缺陷，研究者提出了多尺度对抗、类别级对抗等改进方案。多尺度对抗方法在不同层次的特征图上分别设置判别器，同时对齐低级视觉特征（如边缘、纹理）与高级语义特征（如对象形状、类别信息），有效提升了复杂场景下的适配效果。类别级对抗方法则为每个语义类别设置独立的判别器，实现逐类别的特征分布对齐，解决了全局对齐中小类别特征被淹没的问题，在类别不平衡的跨域场景下性能提升尤为明显。此外，部分研究引入了循环一致性约束，通过将源域图像转换到目标域风格再转换回源域，保证图像内容在风格迁移过程中不发生畸变，进一步提升了对抗适配的稳定性。基于自训练的半监督迁移方法自训练方法的核心是利用源域预训练模型为目标域无标注数据生成伪标签，再用带伪标签的目标域数据与源域标注数据共同微调模型，逐步实现知识迁移。该类方法不需要额外的判别器网络，框架更加轻量，且能够直接利用分割任务本身的监督信号，避免了对抗训练过程中不稳定、模式崩溃等问题。伪标签的质量是决定自训练效果的关键。早期自训练方法直接采用模型预测的最大概率类别作为伪标签，但噪声伪标签会导致模型性能退化。为此，研究者提出了多种伪标签优化策略：一是基于置信度的过滤方法，仅保留模型预测置信度高于阈值的像素伪标签参与训练，降低噪声标签的负面影响；二是基于一致性正则的方法，对同一目标域图像施加不同的数据增强（如颜色扰动、随机裁剪、翻转），要求模型对不同增强版本的预测结果保持一致，提升模型对目标域特征的鲁棒性；三是多模型互学习方法，训练多个不同初始化的模型，将多个模型的预测结果融合作为伪标签，利用模型间的互补性降低伪标签噪声。近年来，基于动量更新的教师-学生框架成为自训练领域的主流，教师模型通过指数移动平均的方式更新参数，为学生模型提供更稳定、更准确的伪标签，在多个跨域语义分割基准数据集上取得了超越对抗方法的性能。基于图像风格转换的前置迁移方法该类方法的思路是先通过风格转换模型将源域图像转换为目标域风格，再用转换后的带标注源域数据训练分割模型，从数据层面消除域间分布差异。早期风格转换方法主要基于非配对图像生成技术，典型代表如CycleGAN，通过循环一致性损失实现源域与目标域之间的双向风格映射，且不需要成对的标注数据。但这类全局风格转换方法容易改变图像的语义内容，例如将道路区域转换为草地，导致标注失效。为解决内容畸变问题，研究者提出了语义引导的风格转换方法，在风格转换过程中引入语义分割掩码作为约束，保证转换后图像的每个像素类别与原始图像保持一致。例如在自动驾驶场景转换中，要求转换后的图像中道路区域仍然对应原标注的道路类别，天空区域仍然对应天空类别，避免语义信息发生改变。还有部分研究采用局部风格迁移策略，对图像中不同语义区域分别进行风格转换，例如针对建筑物、道路、植被等不同类别分别学习风格映射，进一步提升了风格转换的语义一致性。这类前置风格转换方法可以与对抗适配、自训练等方法结合使用，在数据层面和特征层面同时进行分布对齐，进一步提升跨域迁移效果。基于元学习的少样本跨域迁移当目标域仅存在极少量标注数据（如每个类别仅1-5张标注图像）时，传统的域适配方法难以取得理想效果，元学习（小样本学习）为这类场景提供了新的解决方案。基于元学习的跨域语义分割核心思路是“学会如何学习”，通过在多个相关源域上进行元训练，让模型掌握快速适应新域的能力，在遇到目标域时仅需少量标注数据就能快速微调得到高性能分割模型。常用的元学习框架包括基于模型初始化的MAML系列方法与基于度量学习的原型网络方法。MAML系列方法的核心是学习一个良好的模型初始参数，使得该参数在新域上经过1-2步梯度更新就能取得较好的分割效果，适合目标域存在少量标注样本的场景。原型网络方法则为每个语义类别学习一个通用的特征原型，在目标域中仅需少量标注样本即可调整类别原型，通过计算目标域像素特征与各类原型的相似度实现分割，无需进行大规模参数微调，推理效率更高。元学习方法在医疗影像跨域分割等标注成本极高的场景中具有极高的应用价值，目前已经在视网膜图像分割、肿瘤区域分割等任务中取得了显著进展。典型应用场景与现有数据集自动驾驶场景自动驾驶是跨域语义分割最主要的应用场景之一，现有公开基准数据集主要包括源域合成数据集GTA5、SYNTHIA，以及目标域真实数据集Cityscapes、BDD100K等。GTA5数据集包含24966张从游戏中采集的城市场景图像，标注了19个与Cityscapes一致的语义类别，是目前使用最广泛的跨域分割源域数据集。SYNTHIA则是另一个合成城市场景数据集，包含超过20万张渲染图像，覆盖更多天气、光照条件。目标域Cityscapes包含50个城市不同季节、不同天气下的真实道路场景图像，其中2975张有精细标注。BDD100K数据集则包含更丰富的驾驶场景，覆盖不同国家、不同时间段、不同天气条件，是更具挑战性的跨域分割基准。在这一场景中，现有方法已经能将GTA5到Cityscapes的跨域分割mIoU从最初的30%左右提升到70%以上，部分先进方法已经接近监督训练的性能上限。医疗影像分析场景医疗影像跨域分割的核心需求是解决不同设备、不同人群、不同采集中心的数据分布差异问题，降低优质标注数据的获取成本。常用数据集包括不同模态的医学影像数据集，如CT影像数据集LIDC-IDRI（肺结节分割）、BraTS（脑肿瘤分割），MRI影像数据集ACDC（心脏结构分割）、ISIC（皮肤病变分割）等。由于医疗数据的隐私性与标注的专业性，跨域迁移在该场景的应用价值尤为突出。现有研究已经实现了不同厂商CT设备间的肿瘤分割模型迁移、不同模态影像间的分割知识迁移，以及正常人群与患病人群间的病理区域分割模型迁移，有效降低了医疗AI模型在新机构落地的标注成本。遥感图像解译场景遥感图像跨域分割主要解决不同传感器、不同拍摄时间、不同地理区域的图像分布差异问题。常用数据集包括源域高分系列卫星数据集、GoogleEarth采集的公开标注数据集，以及目标域特定区域、特定传感器的遥感数据集。该场景的独特挑战在于遥感图像覆盖范围广、类别多、尺度变化大，且不同地区的地物分布特征差异显著，例如城市区域的建筑风格与农村区域存在明显区别，不同气候带的植被类型也差异巨大。现有跨域迁移方法已经在土地覆盖分类、建筑物提取、道路提取等任务中得到应用，有效降低了新区域遥感解译的标注工作量。现存问题与未来研究方向尽管跨域迁移语义分割已经取得了显著进展，但现有方法在复杂开放场景下的应用仍然面临诸多挑战。首先是开放集跨域分割问题，现有大多数方法假设源域与目标域的类别空间完全一致，但实际场景中目标域往往存在源域没有的未知类别，模型会将这些未知类别错误分类为源域中的已知类别，导致严重的安全隐患，如何有效检测并分割未知类别是未来需要重点解决的问题。其次是多目标域连续迁移问题，现有方法大多针对单个源域到单个目标域的迁移场景，但实际应用中模型往往需要连续适配多个不同的目标域，如何避免模型在适配新域时发生灾难性遗忘，保持对旧域的性能，是实际落地需要解决的关键问题。此外，跨模态跨域分割的融合研究也具有重要价值。现有大多数方法针对单模态数据的跨域迁移，而实际应用中往往存在多模态数据，例如自动驾驶场景同时存在RGB图像、激光点云、毫米波雷达数据，医疗影像同时存在CT、MRI、PET等多种模态数据，如何利用不同模态数据的互补性，实现跨模态跨域的知识迁移，进一步提升模型的鲁棒性，是未来的重要研究方向。最后，模型的可解释性与轻量化也是落地应用的关键需求，现有高性能跨域迁移模型往往参数量大、推理速度慢，且决