CN113420662B 基于孪生多尺度差异特征融合的遥感影像变化检测方法 （西安电子科技大学）

基于孪生多尺度差异特征融合的遥感影像本发明公开了一种基于孪生多尺度差异特建基于ResNet-34网络的编码器；引入双注意力些模块和编解码器构建基于孪生多尺度差异特练；利用训练好的网络对遥感影像进行变化检2(1a)搭建孪生结构的编码器，即将ResNet-34网络去掉后端的全局池化层和全连接层(1b)引入由通道注意力模块CAM和空间注意力模块SAM并联构成的双注意力机制模块(1c)搭建由特征求差计算单元和并联的4个不同大小核的池化层构成的孪生残差多核(1e)搭建由4个结构相同的解码块和输出模块级联组成的单分支解码器，每一解码块差异模块FDM和单分支的解码器相互连接，得到基于孪生多尺度差异特征融合的遥感影像变化检测网络Siam-CDM-Net，并设其损失将(1a)中构建的孪生结构的编码器每一个分支的后端分别与一个(1b)中构建的双注将(1b)中并联结构的两个双注意力机制模块DAM与(1c)中构建的孪生残差多核池化模块SRMP级联，用于对两个分支的双注意力机制模块DAM的高维输出特征图进行通道堆叠融将(1c)中孪生残差多核池化模块SRMP与(1e)中构建的单分将(1d)中构建的特征差异模块FDM跨接在(1a)中编码器的两个分支与(1e)中解码器之(2)对基于孪生多尺度差异特征融合的遥感影像变化检测网络Siam-CDM-Net进行训(2c)将归一化后的训练数据分别输入至Siam-CDM-Net网络的两个编码器分支的前端，(2d)使用梯度下降算法在反向传播时优化模型参数，经过多次迭代直至损失函数收3(3)利用训练好的基于孪生多尺度差异特征融合的遥感影像变化检测网络Siam-CDM-Net进行变化检测：45[0001]本发明属于图像处理技术领域，更进一步涉及一种遥感影[0004]DaudtRC,LeSauxB,BoulchA等人在其发表的文献“Fullyconvolutionalsiamesenetworksforchangedetection[C].201825thIEEEInternational[0005]ChenJ,YuanZ,PengJ等人在其发表的文献“DASNet:Dualattentivefullyconvolutionalsiamesenetworksforchangedetectionofhighresolutionsatelliteimages[J].IEEEJournalofSelectedTopicsinAppliedEarthObservationsandRemoteSensing,2020,PP(99).”中提出了DASNet网络，该方法利用[0006]Fang,S.等人在其发表的文献“SNUNet-CD:ADenselyConnectedSiameseNetworkforChangeDetectionofVHRImages.IEEEGeoscienceandRemoteSensing6[0007]本发明的目的在于提出一种基于孪生多尺度差异特征融合的遥感影像变化检测[0008]本发明的技术思路是：通过设计的孪生残差多核池化模块SRMP和特征差异模块[0010](1a)搭建孪生结构的编码器，即将ResNet-34网络去掉后端的全局池化层和全连[0011](1b)引入由通道注意力模块CAM和空间注意力模块SAM并联构成的双注意力机制[0012](1c)搭建由特征求差计算单元和并联的4个不同大小核的池化层构成的孪生残差[0014](1e)搭建由4个结构相同的解码块和输出模块级联组成的单分支解码器，每一解特征差异模块FDM和单分支的解码器相互连接，得到基于孪生多尺度差异特征融合的遥感[0016](2)对基于孪生多尺度差异特征融合的遥感影像变化检测网络Siam-CDM-Net进行[0019](2c)将归一化后的训练数据中分别输入至Siam-CDM-Net网络的两个编码器分支7[0021](3)利用训练好的基于孪生多尺度差异特征融合的遥感影像变化检测网络Siam-的视野来检测不同大小的变化目标以及提供差异性特征，有助于提高狭小区域的检测结[0030]图2是本发明中构建的基于孪生多尺度差异特征融合的遥感影像变化检测网络[0034]图6是用本发明和现有SNUNet-CD方法分别在CDD数据集上进行变化检测的对比8[0041](1.1)去掉ResNet-34网络后端的全局池化层和全连接层，将其作为特征提取网[0043]所述第1和第2卷积层使用2-D卷积核构建，卷积核数目与输入特征图的通道数相x"[0053]所述加法计算单元用于将残差块中短程连接的两个特征图的对应位置的元素求9[0061](2.1)将通道注意力模块CAM和空间注意[0066](2.2.1)通道注意力模块CAM先将输入特征图经过第1卷积层和第1激活函数层得[0073]将通道注意力矩阵Xc与降维后的通道特征图[0077](2.2.2)空间注意力模块SAM先将输入特征图经过第一卷积层和第二激活函数层[0088](2.2.3)将通道注意力2和Br2这3个特征图在通道维度上进行堆叠，得到FDM模块最终的输出次高维融合特[0113](5.2)解码器从输入的最小特征图经[0114]步骤6.构建基于孪生多尺度差异特征融合的遥感影像变化检测网络Siam-CDM-的孪生残差多核池化模块SRMP、步骤4中的特征差异模块FDM和步骤5中的单分支的解码器[0116](6.1.1)将步骤1中构建的孪生结构的编码器建的双注意力机制模块DAM进行级联，其编码器每一个分支的输出特征图为双注意力机制[0117](6.1.2)将步骤2中并联结构的两个双注意力机制模块DAM与步骤3中构建的孪生残差多核池化模块SRMP级联，用于对两个分支的双注意力机制模块DAM的高维输出特征图[0118](6.1.3)将步骤3中孪生残差多核池化模块S[0119](6.1.4)将步骤4中构建的特征差异模块FDM跨接在步骤1中编码器的两个分支与步骤5中解码器之间，用于对编码器两个分支的不同层级的编码块的低维输出特征图进行[0120](6.2)设置Siam-CDM-Net网络的损失函数Lloss为Tversky损失函数和BCE损失函数[0126]步骤7.对基于孪生多尺度差异特征融合的遥感影像变化检测网络Siam-CDM-Net[0127](7.1)从公开的数据集网页下载光[0129](7.3)将扩增后的训练集数据和[0132](7.4)将一对归一化后的影像数据中分别输入至Siam-CDM-Net网络的两个编码器[0136](7.6)利用梯度下降算法在模型进[0138]步骤8.利用训练好的基于孪生多尺度差异特征融合的遥感影像变化检测网络[0139](8.1)将步骤(7.1)中所获取的测试集数据的一对遥感影像进行像素值归一化到[0149]本发明的仿真实验的硬件平台为：Inte[0152](1)CDD数据集:其为LebedevM,VizilterYV,VygolovO等人在其论文detectioninremotesensingimagesusingconditionaladversarialnetworks[J].InternationalArchivesofthePhotogrammetry,RemoteSensing&Spatialnetworksformultisourcebuildingextractionfromanopenaerialandsatelliteimagerydataset[J].IEEETransactionsonGeoscienceandRemote数据集包含一对15343*32507像素的原始遥感影像，将其进行步长为256的无重叠滑窗切SiameseNetworkforChangeDetectionofVHRImages.IEEEGeoscienceandRemote[0157]从图6中可以看出，本发明在变化检测分割的细节上要好于现有SNUN且相较于现有SNUNet-CD方法，本发明方法在边缘、轮廓和孔缝上的变化检测结果更加精[0158]利用本发明中训练好的模型对CDD数据集进行测试，对变化检测结果分别计算总[0168]所述现有DASNet方法是指：ChenJ,YuanZ,PengJ等人在“DASNet:Dualattentivefullyconvolutionalsiamesenetworksforchangedetectionofhighresolutionsatellite