CN119445380A 基于遥感影像的建筑物智能提取方法 （北京卫星信息工程研究所）

本发明涉及一种基于遥感影像的建筑物智感影像建筑物DSM估计网络，包括DSM生成器和DSM判别器，DSM生成器包括DSM生成器编码器和影像建筑物智能提取网络进行基于遥感影像的建筑物智能提取。本发明的方法解决了DSM获取2步骤S3、设计基于生成对抗网络的遥感影像建筑物DSM步骤S4、设计特征融合与加强模块，所述特征融合与加步骤S6、根据所述高分辨率数据集和所述损失函数，遥感影像DSM估计网络和所述特征融合与步骤S7、通过训练完成的所述遥感影像建筑物智能络的输入的尺寸为3x512x512；其中，所述特征提取骨架网络的stage1、stage2与所述GLFE模块包括全局特征提取模块GFE和局部特征提取模块LFE，所Fout＝Linear2(Norm(L所述局部特征提取模块LFE通过并联的两个分支组成，所述局部特征提取所述局部特征提取模块LFE的另一个分支以F1out以及均分后的另一半通道的特征之和3所述语义分割解码器用于对经过所述特征提取骨架网络提取的语义分割特征进行上所述语义分割解码器的第二个分支以所述语义分割解码器的第一个分支的输出特征支的输出表示为Fbranch2；然后将所述语义分割解码器的两个分支从通道维度进行拼接融步骤S24、设计语义分割解码器的融合模块。对于所述语义分割解码器的每个阶段而所述DSM生成器解码器采用双分支融合模块，其输入通过1x1常规卷积进行输入通道所述DSM生成器解码器的第一个分支为3x3常规卷积，所述DSM生成器解码器的第二个分支的输入为Fc/2,2与所述DSM生成器解码器的第一分支的通道融合特征，经过3x3卷积输所述DSM生成器解码器的每个阶段的通道维度为建筑物语义分割解码器对应阶段的一阶段输出以及所述特征提取骨架网络对应阶双分支特征提取模块的第一分支的输入是一个1/2通道特征，使用3x3的深度可分离卷积实现特征提取，所述双分支特征提取模块的第二分支将另一个1/2通道特征与所述双分支4所述MASPP模块采用多分支并行，所述MASPP模块的输入为Fpin，所述MASP所述MASPP模块的第三个分支的输入为Fpin与Fp2的融合，所述MASPP模块的第三个分支的输其中，AP3表示核为3的平均池化，Aconv3，2表示卷积核为3、空洞率为2的空洞卷积，其中，AP5表示核为5的平均池化，Aconv3，4表示卷积核为3、空洞率为4的空洞卷积，其中SEB(.)表示均值池化以及最大值池化的融合通所述DSATT模块的输入为所述语义分割解码器的输出特征F以及对应阶段的所述DSMAtt＝S(Linear(ReLU(Linearsegout的输出特征的通道注意力权重与所述DSM生成器解码器的输出特征的通道注意力权重，5其中，G与D分别表示所述DSM生成器编码器和所述DSM生成器解码器设备执行如权利要求1至6中任一项所述的基于遥感影像的建筑物智678能提取网络，所述遥感影像建筑物智能提取网络包括所述遥感影像建筑物语义分割网络、所述遥感影像DSM估计网络和所述特征融合与架网络的输入的尺寸为3×512×512；其中，所述特征提取骨架网络的stage1、stage2与[0022]所述局部特征提取模块LFE的另一个分支以F1out以及均分后的另一半通道的特征[0027]所述语义分割解码器用于对经过所述特征提取骨架网络提取的语义分割特征进[0029]其中Fdec表示所述语义分割解码器的输入，Fbranch1表示所述语义分割解码器的第[0030]所述语义分割解码器的第二个分支以所述语义分割解码器的第一个分支的输出9[0032]根据本发明的一个技术方案，所述步骤S3建筑物DSM估计网络的设计具体包括以[0034]所述DSM生成器解码器采用双分支融合模块，其输入通过1×1常规卷积进行输入二个分支的输入为Fc/2,2与所述DSM生成器解码器的第一分支的通道融合特征，经过3×3卷[0036]所述DSM生成器解码器的每个阶段的通道维度为建筑物语义分割解码器对应阶段应的阶段输出以及所述特征提取骨架网络对应[0039]所述DSM判别器用于鉴别所述DSM生成器生成DSM的真伪，使用ResNet50作为基本分支特征提取模块，所述双分支特征提取模块将输入通过1×1的常规卷积实现通道升维，所述双分支特征提取模块的第一分支的输入是一个1/2通道特征，使用3×3的深度可分离卷积实现特征提取，所述双分支特征提取模块的第二分支将另一个1/2通道特征与所述双第一个分支为卷积核为1×1的常规卷积，所述MASPP模块的第一个分支的输出为Fp1；所述为Fp2[0056]所述DSATT模块的输入为所述语义分割解码器的输出特征F以及对应阶段的所解码器的输出特征的通道注意力权重与所述DSM生成器解码器的输出特征的通道注意力权[0082]根据本发明的一个技术方案，在所述步骤S1中，所述高分辨率数据集包括Vaihingen数据集和Potsdam数据集，所述高分辨率数据集中每个样本包括RGB图像和其对[0092]图1示意性表示根据本发明实施例中的基于遥感影像的建筑物智能提取模型的设[0093]图2示意性表示根据本发明实施例中的基于遥感影像的建筑物智能提取方法流程[0094]图3示意性表示根据本发明实施例中的基于遥感影像的建筑物智能提取方法软件解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，和Potsdam数据集，高分辨率数据集中每个样本包括RGB图像和其对应的DSM图像；对[0112]局部特征提取模块LFE的另一个分支以F1out以及均分后的另一半通道的特征之和[0118]语义分割解码器用于对经过特征提取骨架网络提取的语义分割特征进行上采样[0120]其中Fdec表示语义分割解码器的输入，Fbranch1表示语义分割解码器的第一个分支[0121]语义分割解码器的第二个分支以语义分割解码器的第一个分支的输出特征与语[0123]步骤S24、设计语义分割解码器的融合模块。对于语义分割解码器的每个阶段而器部分的细节特征以及解码器上一阶段的高级特征，使得提取到的建筑物特征更具辨别生成对抗网络技术合成DSM，本发明中的DSM生成器的编码器部分使用步骤S21的特征提取[0127]DSM生成器解码器采用双分支融合模块，其输入通过1×1常规卷积进行输入通道[0129]DSM生成器解码器的每个阶段的通道维度为建筑物语义分割解码器对应阶段的一支特征提取模块的第二分支将另一个1/2通道特征与双分支特征提取模块的第一分支的输[0133]DSM估计网络用于为单张RGB遥感影像生成DSM，用于辅助建筑物语义分割的特征[0135]根据本发明的一个技术方案，步骤S4中的特征融合与加强模块设计包括以下步卷积，MASPP模块的第二个分支的输出seg出特征的通道注意力权重与DSM生成器解码器的输出特征的通道注意力权重，Att与seg[0174]其中，G与D分别表示DSM生成器编码器和DSM生成器解码器，[0175]DSM生成器与对抗器通过博弈对抗合成真实的DSM影像。为了约束DSM合成的准确建筑物分割性能不佳，本发明设计多任务联合来实现高分辨率遥感影像的建筑物智能提联合建筑物语义分割任务与DSM生成任务，实现语义特征与高度特征的信息互补，增强特是其他通用处理器、数字信号处理器(DSP，DigitalSignalProcessor)、专用集成电路实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的[0190]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备括指令装置的制造品，该指令装置实