基于语义分割的遥感建筑物提取研究综述

基于语义分割的遥感建筑物提取研究综述一、遥感建筑物提取的研究背景与意义卫星遥感技术的快速迭代使得高分辨率对地观测数据的获取成本大幅降低、时间分辨率与空间分辨率持续提升，当前亚米级遥感影像已实现对全球陆地区域的季度级覆盖。建筑物作为城市区域最核心的人工地物要素，其精准提取结果可直接服务于国土空间规划、智慧城市建设、灾害应急响应、人口估算与土地利用变化监测等多个领域。传统的建筑物提取方法依赖人工目视解译或规则化的特征工程，不仅效率低下、难以适配大尺度区域处理，在面对复杂建成环境时还容易出现边缘断裂、类别混淆等问题。语义分割技术作为计算机视觉领域中像素级分类的核心方法，能够为每一个像素分配对应的地物类别标签，天然适配遥感影像中建筑物精准提取的需求，二者的结合成为过去十年遥感信息处理领域的研究热点。二、语义分割技术在遥感建筑物提取中的应用演进2.1早期传统语义分割方法阶段2015年之前，遥感建筑物提取主要采用基于阈值分割、边缘检测、区域生长等传统语义分割方法，这类方法依赖人工设计的低层特征，包括颜色、纹理、形状、光谱指数等。典型的如归一化建筑指数（NDBI）通过短波红外与近红外波段的差值突出建筑物光谱特征，结合形态学操作实现建筑物区域的初步提取；面向对象的分割方法则先将影像分割为多个同质对象，再通过支持向量机、随机森林等分类器对对象是否为建筑物进行判别。但这类方法的普适性极差，当面临城市建筑风格差异、阴影遮挡、不同季节植被覆盖变化等干扰时，提取精度通常会下降30%以上，难以满足实际应用需求。2.2全卷积网络框架的引入与适配阶段2015年全卷积网络（FCN）的提出开启了深度学习语义分割的新纪元，相关技术很快被迁移到遥感建筑物提取领域。早期的适配研究主要是对通用语义分割模型进行微调，直接将U-Net、DeepLab等经典框架应用于遥感数据集。U-Net凭借其编码器-解码器结构与跳跃连接设计，能够在保留高分辨率细节信息的同时捕捉高层语义特征，成为遥感建筑物提取领域最常用的基础框架。但通用语义分割模型在适配遥感场景时存在明显的局限性：一是遥感影像的地物尺度差异极大，超高层建筑物与低矮民宅的像素尺寸可能相差数十倍，通用模型的感受野无法覆盖多尺度特征；二是遥感影像中存在大量同物异谱、同谱异物现象，建筑物与道路、硬化地面的光谱特征高度相似，容易出现误分类；三是建筑物的边缘结构复杂，通用模型的输出结果通常存在边缘模糊、锯齿化等问题。针对这些问题，研究者们从多尺度特征融合、注意力机制嵌入、边缘约束优化三个方向展开了针对性改进。在多尺度特征融合方面，空间金字塔池化（ASPP）模块、多尺度特征金字塔网络被广泛引入，通过不同膨胀率的卷积核获取多感受野特征，再通过特征加权融合实现不同尺度建筑物的精准识别；注意力机制方面，通道注意力、空间注意力以及自注意力模块被嵌入到编码器的不同层级，强化建筑物特征的权重，抑制背景、阴影等无关区域的干扰；边缘优化方面，研究者通过引入边缘检测分支、增加边缘损失函数权重、使用形态学后处理等方式，提升建筑物边界的平滑度与完整性。2.3大模型与弱监督学习的探索阶段2022年以来，大规模预训练模型与弱监督学习方法开始在遥感建筑物提取领域展现出巨大潜力。一方面，基于海量遥感数据预训练的视觉Transformer（ViT）模型能够捕捉更全局的上下文语义信息，相比卷积神经网络在大尺度复杂场景下的提取精度提升了10%-15%，部分开源预训练模型甚至能够实现跨区域、跨传感器的零样本或少样本建筑物提取，大幅降低了模型微调对标注数据的依赖。另一方面，弱监督学习方法有效缓解了遥感建筑物标注成本高的痛点：仅依靠图像级标签（即仅标注影像中是否存在建筑物，无需像素级标注）训练的模型，其提取精度已经能够达到全监督模型的70%左右；结合点标注、boundingbox标注等弱标注信息的模型，精度更是可以接近全监督模型的水平，极大拓展了语义分割技术在欠标注区域的应用范围。三、主流数据集与评价指标体系当前遥感建筑物提取领域的公开数据集已经形成了多分辨率、多场景、多地域的覆盖体系。在中等分辨率数据集方面，SpaceNet系列数据集包含全球多个城市的0.3米-1米分辨率遥感影像与对应的建筑物矢量标注，总覆盖面积超过1000平方公里，是目前使用最广泛的基准数据集；WHU建筑物数据集包含中国东部城市的0.2米分辨率航空影像，建筑物密度高、形态多样，适合测试模型在高密度建成区的表现；INRIA航空影像标注数据集覆盖欧洲与美国多个城市的0.3米分辨率影像，包含不同地形、不同建筑风格的样本，能够有效验证模型的跨区域泛化能力。除此之外，还有针对灾害场景的xBD数据集，包含灾前灾后的建筑物影像与损毁程度标注，服务于应急响应场景的建筑物提取与变化监测研究。评价指标方面，除了通用语义分割领域常用的像素准确率（PA）、平均交并比（mIoU）、F1分数之外，遥感建筑物提取领域还针对性地提出了面向应用需求的评价维度。例如建筑物提取的完整率，衡量实际存在的建筑物被正确提取的比例，重点关注漏检问题；建筑物提取的正确率，衡量提取结果中真实为建筑物的比例，重点关注误检问题；还有建筑物轮廓的几何精度评价，通过计算提取边界与真实边界的Hausdorff距离，量化边缘的匹配程度；针对大尺度区域应用，还会增加处理效率指标，即每秒能够处理的影像平方公里数，平衡模型精度与推理速度。四、当前研究的核心挑战尽管语义分割技术在遥感建筑物提取领域已经取得了长足进步，但仍然面临多个难以突破的核心挑战。第一是复杂场景下的鲁棒性不足问题，在存在大量阴影遮挡、云雾覆盖、建筑施工区域的影像中，模型的提取精度会出现显著下降，特别是低矮建筑物与周边植被、空地的混淆问题始终难以彻底解决；第二是跨域泛化能力差，在某一城市数据集上训练的模型，直接迁移到建筑风格、成像条件不同的其他城市时，mIoU通常会下降20%以上，需要大量的本地标注数据进行微调才能满足应用需求；第三是小样本与稀疏样本场景下的性能瓶颈，对于欠发达地区、特殊建筑类型（如文物建筑、临时搭建物），可用的标注数据极少，现有模型在小样本条件下的学习能力不足，难以实现高精度提取；第四是大尺度影像处理的效率与精度平衡问题，当前高精度模型的推理速度较慢，处理省级乃至全国级别的遥感影像时，需要消耗大量的计算资源与时间，无法满足实时性应用需求；第五是三维信息缺失导致的误判问题，现有语义分割方法大多基于二维影像提取，无法区分建筑物与地面硬化区域的高程差异，在高架路、立交桥、大型广告牌等场景下容易出现误分类。五、未来研究方向与发展趋势针对上述挑战，未来的研究将主要围绕五个方向展开。一是多模态融合的提取方法，结合激光雷达（LiDAR）点云数据、合成孔径雷达（SAR）数据提供的高程与纹理信息，与光学影像进行多模态特征融合，利用高程信息直接区分建筑物与地面地物，解决同谱异物问题。二是自监督与半监督学习的深度应用，通过海量无标注遥感影像进行自监督预训练，学习通用的建筑物特征表示，再结合少量标注数据进行微调，大幅降低模型对标注数据的依赖，提升跨域泛化能力。三是轻量化与边缘部署优化，通过模型剪枝、量化、知识蒸馏等技术，在尽可能保留精度的前提下压缩模型体积，实现模型在边缘计算设备上的实时推理，满足星上处理、应急现场实时提取等场景的需求。四是结合大语言模型的交互式提取，通过自然语言交互的方式，允许用户对提取结果进行实时修正，模型根据用户反馈动态调整提取结果，实现人在回路的高精度建筑物提取。五是提取结果的多维度关联应用，将建筑物提取结果与城市功能分区、人口热力、交通流量等数据进行关联分析，拓展语义分割技术在城市治理、资