基于跨模态分布差异最小化的无监督域适应语义分割方法研究综述

基于跨模态分布差异最小化的无监督域适应语义分割方法研究综述一、研究背景与问题提出语义分割作为计算机视觉领域的核心任务之一，旨在为图像中每个像素分配预定义的类别标签，是自动驾驶、医疗影像分析、遥感图像解译等场景的关键支撑技术。传统全监督语义分割方法依赖大规模标注数据训练模型，然而在实际应用场景中，数据标注成本高昂且耗时，尤其在医疗、遥感等专业领域，标注需要领域专家参与，进一步限制了全监督方法的落地范围。无监督域适应（UnsupervisedDomainAdaptation,UDA）语义分割通过将源域（有标注数据）学习到的知识迁移到目标域（无标注数据），能够有效缓解跨域数据分布差异带来的性能下降问题，成为近年来的研究热点。在多模态数据广泛应用的背景下，跨模态无监督域适应语义分割任务逐渐受到关注。该任务中，源域与目标域数据通常来自不同模态，例如源域为RGB图像，目标域为红外、深度、SAR图像等，模态固有特性导致跨域分布差异远大于同模态场景，传统同模态域适应方法难以直接有效对齐分布。跨模态分布差异主要体现在两个层面：一是低层级视觉特征差异，如不同模态的灰度分布、纹理结构、边缘信息存在显著区别，例如红外图像反映物体热辐射特征，边缘模糊且纹理信息少，与RGB图像的视觉特征差异巨大；二是高层级语义分布差异，不同模态下同一类别的语义表征空间存在偏移，导致源域训练的分类器在目标域上泛化性能骤降。因此，如何最小化跨模态分布差异，实现知识的有效迁移，是跨模态无监督域适应语义分割的核心挑战。二、跨模态分布差异最小化的基础理论框架跨模态分布差异最小化的核心目标是学习一个域不变的特征空间，使得源域和目标域的特征分布在该空间中尽可能接近，同时保留语义判别性。该框架通常包含三个核心组件：特征提取器、域判别器、语义分割头。特征提取器负责将不同模态的输入数据映射到公共特征空间，域判别器用于区分特征来自源域还是目标域，语义分割头则基于提取的特征预测像素类别标签。2.1分布差异度量准则分布差异度量是实现最小化的基础，现有研究中常用的度量准则主要包括以下几类：最大均值差异（MaximumMeanDiscrepancy,MMD）：通过将分布映射到再生核希尔伯特空间，计算两个分布在该空间中均值的距离，是早期域适应研究中最常用的度量方法。在跨模态场景中，研究人员通常会对不同层级的特征分别计算MMD，实现从低层级视觉特征到高层级语义特征的逐层对齐。对抗学习差异度量：基于生成对抗网络的思想，通过域判别器和特征提取器的对抗训练，让特征提取器生成能够“欺骗”判别器的域不变特征。此时域判别器的损失函数值间接反映了两个域的分布差异，当判别器无法准确区分源域和目标域特征时，可认为分布得到了有效对齐。沃尔什斯坦距离（WassersteinDistance）：相较于传统对抗学习中存在的模式崩溃、梯度消失问题，沃尔什斯坦距离能够更稳定地度量两个分布之间的距离，尤其适用于跨模态这种分布差异较大的场景。通过引入梯度惩罚项，可以进一步提升训练的稳定性，实现更平滑的分布对齐。对比学习差异度量：近年来对比学习被引入跨模态域适应领域，通过构造正样本对（同一语义类别的跨模态特征）和负样本对（不同语义类别的特征），拉近同类特征距离、推远异类特征距离，在对齐分布的同时保留语义判别性，有效解决了传统对齐方法导致的语义混淆问题。2.2优化目标函数构建跨模态无监督域适应语义分割的优化目标通常由三部分组成：源域监督损失、域对齐损失、目标域正则化损失。源域监督损失一般采用交叉熵损失，利用源域标注数据训练模型的语义分割能力；域对齐损失基于上述分布差异度量准则构建，用于最小化源域和目标域的特征分布差异；目标域正则化损失则利用目标域数据的固有特性，如熵最小化、伪标签约束、结构一致性约束等，进一步提升模型在目标域的泛化性能。以典型的对抗训练框架为例，整体优化目标可以表示为极小极大博弈问题：特征提取器和分割头最小化源域监督损失和域对齐损失，域判别器最大化域分类准确率。通过交替迭代优化，最终得到能够同时实现准确分割和域不变特征提取的模型。三、典型方法分类与研究进展根据分布对齐的实现路径不同，现有跨模态无监督域适应语义分割方法可以分为三类：基于特征对齐的方法、基于图像转换的方法、基于互学习的方法。3.1基于特征对齐的方法该类方法直接在特征空间对源域和目标域的跨模态特征进行对齐，是目前研究最广泛的方向。根据对齐的特征层级不同，又可以进一步细分为全局特征对齐和局部像素级特征对齐。全局特征对齐：早期方法多聚焦于全局特征分布的对齐，例如将MMD应用于骨干网络输出的高阶特征图，通过最小化源域和目标域高阶特征的MMD距离实现整体分布对齐。此类方法实现简单，但忽略了像素级的语义对应关系，容易导致不同语义类别的特征混淆，在细粒度分割任务上性能有限。像素级特征对齐：为了解决全局对齐的语义混淆问题，研究人员提出了类别感知的像素级对齐方法。该类方法首先利用源域训练的模型为目标域数据生成伪标签，然后针对每个语义类别，分别对齐源域和目标域中属于该类别的像素特征。例如在RGB到红外的跨模态分割任务中，对于“汽车”类别，将源域RGB图像中所有标注为汽车的像素特征，与目标域红外图像中伪标签为汽车的像素特征进行对齐，有效避免了不同类别特征的过度对齐。层级对齐方法：结合低层级视觉特征和高层级语义特征的不同特性，采用分层对齐策略。对于低层级特征，重点对齐边缘、纹理等结构信息，通常采用自监督任务如边缘检测、重建任务作为辅助约束；对于高层级特征，重点对齐语义分布，采用类别感知的对抗对齐或者MMD对齐。这种分层策略兼顾了模态固有特性的对齐和语义信息的保留，在医疗影像跨模态分割中表现出优异性能，例如在MRI到CT的器官分割任务中，层级对齐方法比全局对齐方法的Dice系数提升了8%以上。3.2基于图像转换的方法该类方法通过图像到图像的生成模型，将源域图像转换为目标域模态风格，或者将目标域图像转换为源域模态风格，在图像层面缩小跨模态分布差异，之后利用转换后的图像和原有的标注信息训练分割模型。单向转换方法：早期方法多采用单向CycleGAN实现源域到目标域的风格转换，将标注好的源域图像转换为目标域的视觉风格，直接用转换后的图像和原标签训练分割模型。但此类方法存在转换过程中语义信息丢失的问题，例如RGB图像转换为红外图像时，原本清晰的物体边缘可能变得模糊，导致转换后的图像标签不准确。语义约束的转换方法：为了保留转换过程中的语义一致性，研究人员在生成模型的损失函数中加入语义分割损失。例如在生成器生成转换图像后，用预训练的语义分割模型对转换图像进行预测，要求预测结果与原图像的标签一致，从而确保转换过程中物体的类别和结构不发生变化。此外，还有研究引入结构一致性损失，约束转换前后图像的边缘、轮廓等结构信息保持一致，进一步提升转换质量。双向协同转换方法：同时实现源域到目标域和目标域到源域的双向转换，利用两个方向的循环一致性损失提升转换的稳定性。同时，将转换后的目标域图像输入源域分割模型得到伪标签，再用伪标签监督目标域到源域转换图像的分割任务，形成闭环优化。此类方法在遥感图像跨模态分割中应用广泛，例如将SAR图像转换为光学图像风格，利用光学图像的标注数据训练模型，转换后的SAR图像分割精度比直接对齐特征的方法提升了5%左右。3.3基于互学习的方法互学习方法通过构建双分支或者多分支网络，分别处理源域和目标域数据，利用分支之间的知识蒸馏和信息交互实现分布对齐，避免了传统对抗训练的不稳定性问题。双分支对称网络：两个分支共享骨干网络权重，分别输入源域图像和目标域图像，两个分支的输出分别作为对方的软标签进行监督。一方面，源域分支利用标注数据学习到的语义知识，通过软标签指导目标域分支的训练；另一方面，目标域分支学习到的目标域模态特性，也通过软标签反馈给源域分支，提升源域分支对不同模态的鲁棒性。两个分支在互学习过程中逐渐对齐特征分布，同时保留各自的模态感知能力。跨模态知识蒸馏：将源域预训练的大模型作为教师模型，目标域的小模型作为学生模型，通过知识蒸馏将教师模型的语义知识迁移到学生模型中。为了适配跨模态场景，研究人员提出了模态感知的蒸馏策略，不仅蒸馏高层的语义输出，还蒸馏中层的特征响应和注意力图，同时加入模态不变性约束，让学生模型在学习语义知识的同时，适应目标域的模态特性。此类方法在边缘设备的跨模态分割任务中优势明显，蒸馏后的学生模型参数仅为教师模型的30%，但性能保持在教师模型的95%以上。动态伪标签互校准：针对单模型生成伪标签噪声大的问题，互学习框架中通常会利用多个分支生成的伪标签进行相互校准。例如两个分支分别为目标域图像生成伪标签，只有当两个分支的预测结果一致时，该像素的伪标签才会被用于后续的监督训练，有效降低了伪标签的噪声水平。随着训练过程推进，模型性能提升，伪标签准确率逐渐提高，进一步促进分布对齐，形成正向循环。四、关键挑战与前沿研究方向尽管跨模态无监督域适应语义分割已经取得了显著进展，但在实际复杂场景应用中仍然面临诸多挑战，相关前沿研究主要围绕以下方向展开：4.1开放集跨模态域适应现有大多数方法假设源域和目标域的类别空间完全一致，但实际场景中目标域往往存在源域没有的未知类别，即开放集场景。此时传统对齐方法会将未知类别的特征强行对齐到源域的已知类别，导致严重的误分割。前沿研究重点探索如何在对齐已知类别分布的同时，准确识别和隔离未知类别，通常引入未知类别感知的判别器，或者利用能量模型、异常检测方法区分已知和未知类别特征，在实现分布对齐的同时保持对未知类别的识别能力。4.2Few-shot跨模态域适应当源域标注数据量非常有限时，现有方法难以学习到足够的语义知识和域不变特征，导致迁移性能下降。针对该问题，研究人员将少样本学习与跨模态域适应结合，一方面利用元学习方法在大量相关跨模态数据集上预训练模型，让模型掌握快速适配新模态的能力；另一方面利用提示学习、视觉提示调整等技术，仅用少量标注数据即可激活源域模型的跨模态迁移能力，在源域仅提供10张标注图像的情况下，依然能够实现目标域70%以上的分割精度。4.3多源跨模态域适应实际应用中通常可以获取多个不同源域的标注数据，不同源域的模态、数据分布各不相同，如何利用多源数据的互补知识提升目标域性能是当前的研究热点。前沿方法通常采用动态权重分配策略，根据不同源域与目标域的分布相似性，自适应调整每个源域知识在迁移过程中的权重，同时引入源域间的一致性约束，避免多源知识冲突。在自动驾驶场景的多源跨模态分割任务中，结合RGB、LiDAR、红外等多源域数据的方法，比单源域方法的mIoU提升了12%以上。4.4轻量级跨模态域适应随着移动终端和边缘设备的普及，对模型的参数量和推理速度提出了更高要求。现有跨模态域适应方法通常基于大参数量的骨干网络，难以直接部署在边缘设备。前沿研究重点探索轻量级骨干网络适配、动态通道剪枝、量化感知的域对齐等技术，在最小化分布差异的同时，尽可能降低模型参数量和计算量。目前已有研究实现了参数量仅5M的轻量级跨模态分割模型，在RGB到深度的域适应任务中，mIoU仅比大模型低2%，但推理速度提升了4倍。五、应用场景与落地实践跨模态无监督域适应语义分割的技术进展，已经在多个实际场景中实现了落地应用：在自动驾驶领域，通过将白天RGB图像的标注知识迁移到夜间红外图像、雨天模糊图像等目标域，大幅降低了复杂天气和光照条件下的标注成本，目前已有自动驾驶企业将该技术应用于辅助驾驶系统的感知模块，夜间场景的分割准确率提升了30%以上。在医疗影像分析领域，通过将标注充足的MRI影像知识迁移到CT影像、超声影像等模态，解决了CT、超声数据标注成本高的问题，在肺部、肝脏等器官的分割任务