CN115713529B 基于高效注意力的轻量级光学遥感图像变化检测方法 （河南大学）

基于高效注意力的轻量级光学遥感图像变本发明公开了一种基于高效注意力的轻量再将双时相图像进行串联后通过FOCUS模块、深后将经过预处理的待测样本输入至变化检测模FOCUS下采样层、能够扩大感受野的深度残差卷2B、将步骤A中获得的经过预处理后的双时相光学遥感图像，标C、将从步骤B中得到的变化标签图以及步骤A中获得的经过预处理后的双时相光学遥E、串联的图像对通过FOCUS模块进行下采样，再将下采样后小为3×3和5×5的DW卷积构成的深度残差块进行编码，从而提取与变化区域相关的特征G、将步骤F中得到的不同层次的特征输入到多尺度特征融合模H、将步骤G中获得的最终融合特征X输入到由1×1卷积组成的预测头中并得到训练样样本的双时相图像的预测变化图与对应的标签图之L、将待测样本输入至步骤J中得到的变化检测模型中，经2.根据权利要求1所述的基于高效注意力的轻量级光学遥感图像变化检测方法，其特以得到空间维度的注意力图；将通道维度和空间维度的注意力图扩展为C×H×W相加并重新分配权重以获得最终注意力图M(F)；最后将M(F)与输入的特征图逐元素相乘：M(F)=σ(C1D3(AvgPool(F))+C2D7(AvgPool(F)))，F'=M(F)8F,其中F表示输入的特征图，3.根据权利要求1所述的基于高效注意力的轻量级光学遥感图像变化检测方法，其特34.根据权利要求1所述的基于高效注意力的轻量级光学遥感图像变化检测方法，其特Dice损失4[0002]遥感图像变化检测是利用同一地区不同时间采集的两幅或多幅遥感图像进行比题方面的使用呈指数增长。目前主流的基于深度学习的变化检测方法可以大致分为两类：基于卷积神经网络(ConvolutionalNeuralNetwork,CNN)的变化检测方法和基于Transformer的变化检测方法。CNN凭借其强大的特征学习能力而在深度学习中被广泛使用于自然语言处理领域以寻找输入中不同部分之间的相关性。VisionTransformer[9]和机制和Transformer的网络通过非局部自我注意对输入特征图的全局距离进行建模。基于[0005]本发明的目的是提供一种基于高效注意力的轻量级光学能够以0.88MB的参数量和4.75ms的推理速度实5[0009]C、将从步骤B中得到的标签图以及步骤A中得到的经过预处理后的双时相光学遥[0012]F、将步骤E中得到的特征图输入到高效注意力模块(EfficientAttention[0013]G、将步骤F中得到的不同尺度的特征输入到多尺度特征融合模块(Multiscale化检测方法(LightweightChangeDetectionNetwork,L导致部分特征信息的丢失，因此本发明引入了在目标检测领域广泛使用的FOCUS模块来解络中使用大卷积核的深度(Depthwise，DW)卷积明还设计了一个多尺度特征融合模块(MFFM)，在进行特征融合时仅使用有效的特征流。性能变化检测算法难以应用于工业领域或需要实时性能应6[0028]C、将从步骤B中得到的变化标签图以及步骤A中得到的经过预处理后的双时相光将训练样本中的变化前与变化后的遥感图像串联起以降低模型的参数量，在前两层编码器中使用FOCUS模块在保证特征图信息没有丢失的同[0031]F、将步骤E中经过编码器得到的特征图F输入到设计的高效注进一步将步骤E中提取到的特征图进行细化从而提高网络的变化检测性能，高效注意力模度的注意力图。将上述两个注意力特征图扩展为C×H×W相加并重新分配权重从而获得保以获得精细特征图F'：7[0033]F'=M(F)8F[0034]其中F表示经过深度残差块后获得的特征图，AvgPool(·)表示平局池化操作，图X13和X4上采样相加得到。由于进行特征融合时仅使用有效的特征流及设计的卷积与能够缓解样本中背景不平衡的损失结合形成混合损失L=Lbce+Ldice以计算步骤H中得到的训练样本的双时相图像的预测变化图与对应的标签图之间力模块以及能够充分利用不同尺度特征信息的多尺度融合模块。本发明采用FOCUS下采样8[0049]FC_EF(FullyConvolutional_Ea解码器以恢复空间信息。FC_Siam_conc(FullyConvolutional_Siamese_Concatenation)器的相同级别的特征连接到解码器。FC_Siam_diff(FullyConvolutional_Siamese_扩展块组成，通过softmax层获得变化图。DDCNN(Difference_enhancementDense_个语义级别上融合从主干网络获得的特征图，从而抑制定位错误和语义空缺。RDP_Net关注网络边界细节的边缘损失。LSNet(LightweightSiamesenetwork换为深度可分离的空洞卷积。LSNet_denseFPN使用SNUNet_CD提出的denseFPN(denseFeaturePyramidNetwork)将多尺度特征进行融合。LSNet_diffFPN在denseFPN的基础上(Spatial–TemporalAttentionneuralNetwork)[11]将ResNet18网络提取的全局特征输AttentivefullyconvolutionalSiameseNetworks)[12]将注意力机制应用于暹罗网络。BIT(BitemporalImageTransformer)[13]将双时态图像表达为几个语义，并使用用于通过transformer解码器细化9案在CDD数据集上取得了最好的性能，并且能够以更低的参数量和更快的速度识别出变化[0063][1]DaudtRC,LeSauxB,BoulchA.Fullyconvolutionalsiamesenetworksforchangedetection[C]//201825thIEEEInternationalConferenceonImage[0064][2]AlcantarillaPF,StentS,RosG,etal.Street_viewchangedetectionwithdeconvolutionalnetworks[J].AutonomousRobots,2018,42(7):1301_1322.[0065][3]PengX,ZhongR,LiZ,etal.Opticalremotesensingimagechangedetectionbasedonattentionmechanismandimagedifference[J].IEEETransactionsonGeoscienceandRemoteSensing,2020,59(9):7296_7307.[0066][4]ZhangC,YueP,TapeteD,etal.Adeeplysupervisedimagefusionnetworkforchangedetectioninhighresolutionbi_temporalremotesensingimages[J].ISPRSJournalofPhotogrammetryandRemoteSensing,2020,166:183_200.[0067][5]FangS,LiK,ShaoJ,etal.SNUNet_CD:AdenselyconnectedSiamesenetworkforchangedetectionofVHRimages[J].IEEEGeoscienceandRemoteSensingLetters,2021,19:1_5.[0068][6]ChenH,PuF,YangR,etal.RDP_Net:Regiondetailpreservingnetworkforchangedetection[J].arXiv2022,arXiv:2202.09745.[0069][7]LiuB,ChenH,WangZ.LSNet:ExtremelyLight_weightsiamesenetworkforchangedetectioninremoteaensingimage[J].arXiv2022,arXiv:2201[0070][8]VaswaniA,ShazeerN,ParmarN,etal.Attentionisallyouneed[J][0071][9]DosovitskiyA,BeyerL,KolesnikovA,etal.Animageisworth16x16words:Transformersforimagerecognitionatscale[J].arXiv2020,arXiv:2010.11929.[0072][10]LiuZ,LinY,CaoY,etal.Swintransformer:Hierarchicalvisiontransformerusingshiftedwindows[C]//ProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision.2021:10012_10022.[0073][11]ChenH,ShiZ.Aspatial_temporalattention_basedmethodandanewdatasetforremotesensingimagechangedetection[J].RemoteSensing,2020,12(10):1662.[0074][12]ChenJ,YuanZ,PengJ,etal.DASNet:Dualattentivefullyconvolutionalsiamesenetworksforchangedetectioninhigh_resolutionsatelliteimages[J].IEEEJournalofSelectedTopicsinAppliedEarthObservationsandRemoteSensing,2020,14:1194_1206.[0075][13]ChenH,QiZ,ShiZ.Remotesensingimagechangedetectionwithtransformers[J].IEEETransactionsonGeoscienceandRemoteSensing,2021,60:1_14.[