基于自监督学习的遥感图像分类中域偏移下的特征不变性学习与泛化性提升研究综述

基于自监督学习的遥感图像分类中域偏移下的特征不变性学习与泛化性提升研究综述一、遥感图像分类的域偏移问题与研究背景遥感图像分类是国土资源监测、灾害应急响应、生态环境评估等领域的核心技术支撑，传统监督学习方法依赖大规模人工标注数据，在数据分布一致的封闭场景下可达到较高精度，但在实际应用中，遥感成像过程受传感器参数、拍摄季节、大气条件、地理区域差异等多因素耦合影响，不同域之间的数据分布存在显著差异，即域偏移现象。例如同一片区域的Sentinel-2影像与Landsat8影像因光谱分辨率差异呈现不同特征分布，同一城市夏季与冬季的影像因植被覆盖、光照角度变化存在特征分布偏移，这些差异导致在源域训练的分类模型直接迁移到目标域时精度出现断崖式下降，成为制约遥感分类模型落地应用的核心瓶颈。早期域适应方法主要围绕有监督/半监督迁移学习展开，要求目标域提供部分标注数据，但遥感图像标注成本极高，单个区域的土地利用类型标注往往需要专业人员实地核验，覆盖全球多场景的标注数据集构建成本难以估量。2018年以来自监督学习技术在计算机视觉领域的突破为这一问题提供了新的解决思路：自监督学习通过构造前置任务从大规模无标注遥感图像中学习通用特征表示，无需依赖人工标注，且其学习到的特征具有更强的跨域迁移潜力，逐渐成为域偏移场景下遥感分类的研究热点。据不完全统计，2021-2025年遥感领域顶会（IGARSS、CVPRRemoteSensingWorkshop）中关于自监督域适应的论文数量年增长率超过70%，相关技术已在全球土地覆盖制图、灾变区域快速识别等任务中实现初步应用。二、域偏移下自监督特征不变性学习的核心范式特征不变性学习是自监督方法应对域偏移的核心目标，即让模型学习到与域相关因素无关、仅与分类任务本质属性相关的特征表示，当前主流的技术范式可分为三类：基于数据增强的不变性诱导、基于对比学习的特征对齐、基于生成模型的域规范化。（一）基于数据增强的不变性诱导范式该范式的核心思路是通过设计符合遥感成像特性的域相关增强策略，让模型在前置任务训练中自动忽略域差异。通用计算机视觉领域的随机裁剪、颜色抖动等增强策略无法直接适配遥感数据特性，因此研究人员针对遥感域偏移的具体成因设计了专用增强方案：针对传感器差异，研究者提出光谱响应模拟增强，通过模拟不同传感器的光谱响应函数，将源域影像转换为不同传感器的成像风格，让模型学习到不受光谱响应曲线影响的地物特征；针对季节差异，提出物候特征不变增强，通过随机调整影像的植被指数、水体指数等关键特征的数值范围，模拟不同季节的植被物候变化、水体结冰消融等现象；针对大气条件差异，提出大气扰动增强，通过模拟不同气溶胶厚度、水汽含量下的影像退化过程，让模型学习到不受大气散射影响的本质特征。2023年武汉大学团队提出的GeoAug增强框架，整合了12种遥感专用增强策略，在BigEarthNet数据集的跨季节分类任务中，让自监督模型的跨域精度较传统随机增强提升了12.7%，证明了专用增强策略对不变性特征的诱导作用。但这类方法存在明显局限：增强策略的设计依赖对域偏移成因的先验认知，当域偏移来源复杂且不可知时（如未知传感器的新型影像），增强策略的覆盖性不足会导致不变性学习效果下降。（二）基于对比学习的特征对齐范式对比学习是当前遥感自监督域适应研究中应用最广泛的范式，其核心思路是通过构造正负样本对，让模型在特征空间中拉近同类别跨域样本的距离，推远不同类别样本的距离，实现跨域特征的自动对齐。早期方法主要采用单模态对比学习，将同一地物在不同域的影像作为正样本对，例如将同一区域不同季节的影像、不同传感器的影像配对输入模型，在损失函数中约束其特征相似度。但这类方法需要预先知道不同域影像的地理对应关系，在实际应用中往往难以获取。针对这一局限，研究者提出了无配对的跨域对比学习策略：一类是基于伪标签的对比方法，首先使用源域预训练模型为目标域无标注数据生成伪标签，将高置信度的同伪标签样本作为跨域正样本对进行对比学习，2022年中科院遥感所提出的PseudoCLR方法在跨区域土地覆盖分类任务中，无需地理配对数据即可达到与配对对比方法相当的精度；另一类是基于域对抗的对比方法，引入域判别器与特征编码器进行对抗训练，编码器在学习判别性特征的同时需要欺骗域判别器，让判别器无法区分特征来自源域还是目标域，同时结合对比损失约束同类别特征的紧凑性，实现特征判别性与域不变性的平衡。2024年德国宇航中心提出的AdvContrast框架在12个跨传感器分类任务上的平均精度达到89.2%，较传统监督域适应方法高出5.3个百分点。（三）基于生成模型的域规范化范式这类范式通过生成模型学习源域与目标域的共享特征空间，实现跨域数据的双向映射，为特征不变性学习提供规范化约束。早期研究主要使用生成对抗网络（GAN）进行域转换，将源域影像转换为目标域风格，再使用转换后的影像训练分类模型，减少域分布差异。但传统GAN存在模式崩溃问题，转换后的影像容易丢失地物的关键语义信息。近年随着扩散模型的发展，基于扩散模型的域规范化方法逐渐成为研究热点：2023年微软研究院提出的RemoteDiff模型，通过在扩散模型的隐空间中分离域相关变量与语义相关变量，在进行域风格转换时固定语义变量，仅调整域相关变量，保证转换后的影像语义信息不变。使用该方法生成的跨域样本训练自监督模型，在跨大气条件的农作物分类任务中，模型泛化精度较GAN-based方法提升了8.6%。此外，还有研究将生成模型与因果推断结合，通过因果干预去除域相关因素对特征的影响，学习到更鲁棒的不变特征，这类方法在域偏移程度较大的跨洲土地覆盖分类任务中表现出显著优势。三、泛化性提升的关键技术路径特征不变性学习是模型泛化的基础，但要进一步提升模型在完全未知域上的零样本/少样本泛化能力，还需要从预训练数据集构建、模型结构优化、多模态信息融合三个层面进行技术创新。（一）大规模多域预训练数据集构建自监督模型的泛化能力高度依赖预训练数据的多样性，目前遥感领域已涌现多个大规模多域预训练数据集：欧洲航天局2022年发布的SEN12MS数据集包含全球范围内10万余组Sentinel-1雷达影像与Sentinel-2光学影像配对数据，覆盖不同季节、不同生态区的典型地物类型；2024年国内发布的RemoteSensing-10M数据集包含1000万张来自12种主流传感器、覆盖全球150个国家和地区的无标注遥感影像，是目前规模最大的多域遥感预训练数据集。基于该数据集预训练的MAE模型，在零样本跨域分类任务上的平均精度达到72.3%，较基于单域数据集预训练的模型提升了21.5个百分点。当前数据集构建的发展趋势是向多模态、多任务方向扩展，除了光学、雷达等遥感影像数据外，还融合数字高程模型（DEM）、地表温度产品、土地覆盖先验知识等多源信息，为模型提供更丰富的上下文信息，进一步提升泛化能力。同时，数据集的地理多样性、域多样性的量化评估方法也逐渐受到关注，如何科学划分预训练数据集的域覆盖范围，避免预训练数据的域偏差，是未来需要解决的重要问题。（二）域通用模型结构优化模型结构层面的优化主要围绕如何增强模型对不同域特征的适配能力展开。一方面是针对遥感数据特性改进自监督骨干网络：传统ViT模型的全局注意力机制在处理大尺寸遥感影像时计算成本过高，研究者提出了地理感知的局部-全局注意力机制，在局部窗口注意力计算中融入地理空间位置编码，既降低了计算复杂度，又让模型学习到地物的空间关联特征，这类结构在跨域分类任务中的表现普遍优于传统ViT。另一方面是引入动态权重适配机制，2023年清华大学提出的DomainAdapter模块，可以嵌入到预训练模型的任意Transformer层中，根据输入影像的域特征动态调整模型的注意力权重，无需全量微调，仅调整DomainAdapter的少量参数即可让模型快速适配未知域，在少样本跨域分类任务中，仅需目标域5%的标注数据即可达到全量微调90%的精度。此外，基于大模型的prompt学习也是提升泛化能力的重要路径，通过设计域无关的任务prompt，引导预训练大模型输出符合分类需求的特征表示，无需微调模型参数即可实现跨域迁移。2024年谷歌提出的RemotePrompt框架，仅需输入“该影像的土地覆盖类型是[CLS]”这类通用prompt，即可让预训练遥感大模型在17个未知域的分类任务上达到平均78.4%的零样本精度，展现了大模型在泛化性提升上的巨大潜力。（三）多模态信息融合增强鲁棒性单一模态的遥感影像往往存在信息盲区，例如光学影像容易受云层遮挡影响，雷达影像的解译难度高，融合多模态遥感数据可以有效提升模型在复杂域偏移下的泛化能力。当前多模态自监督学习方法主要分为两类：一类是跨模态对齐学习，通过对比学习让光学、雷达、DEM等不同模态的同地物特征在隐空间中对齐，学习到跨模态共享的语义特征，当某一模态数据因域偏移质量下降时，模型可以依靠其他模态的特征进行判别。2022年中科院空天院提出的CrossMoCo框架，融合光学与雷达双模态数据进行对比预训练，在多云雾区域的土地覆盖分类任务中，模型精度较单模态自监督模型提升了14.2个百分点。另一类是模态互补增强学习，通过生成模型利用高质量模态数据恢复退化模态的信息，例如利用无云的历史光学影像和当前的雷达影像，生成当前区域的无云光学影像，解决云层遮挡导致的域偏移问题。2023年发布的CloudDiff模型，基于扩散模型实现了雷达-光学的跨模态云去除，生成的无云影像的地物分类精度与真实无云影像的精度差距缩小到2%以内，为多云雨区域的遥感分类提供了可行技术方案。四、当前研究挑战与未来发展方向尽管相关研究已取得显著进展，但域偏移下自监督遥感分类的泛化性提升仍面临三大核心挑战：一是复杂耦合域偏移的解耦问题，实际应用中域偏移往往是传感器、季节、大气、地理区域等多因素耦合的结果，目前大多数方法只能应对单一类型的域偏移，对于耦合偏移的解耦能力不足；二是小样本域的泛化难题，对于一些罕见的域场景（如极端灾害后的影像、极地地区的特殊影像），预训练数据中缺乏相关样本，模型在这类场景下的泛化精度往往不足40%；三是泛化性的量化评估问题，目前缺乏统一的域偏移程度量化指标和泛化能力评估基准，不同方法的性能对比难以在公平统一的框架下开展。未来的研究方向将主要围绕四个方面展开：一是因果驱动的不变性特征学习，通过构建遥感成像的因果图，识别域偏移的因果因子，通过因果干预去除混杂因素的影响，学习真正的域不变因果特征，从根本上提升模型的泛化能力；二是小规模稀有域的自适应增强，通过小样本生成、知识蒸馏等方法，让模型从少量稀有域样本中快速学习相关特征，弥补预训练数据的覆盖不足；三是边用边学的终身学习机制，让模型在实际部署应用中不断从新的无标注数据中学习，持续适配新的域场景，实现模型能力的动态迭