CN117152630B 一种基于深度学习的光学遥感图像变化检测方法 （电子科技大学）

一种基于深度学习的光学遥感图像变化检本发明公开了一种基于深度学习的光学遥以及变化检测算法在不同数据集上普适性较差2步骤2：将读取到的发生变化前的图像image1和发生变化后的图像image2分别输入到步骤4：将融合后的特征图输入到VisionTransformer模将特征图转换到语义token空间中，然后利用编码器模块对tokens进行上下文建模和特征行语义token的提取,将特征转换到基于语义token的空间进行表示，分别得到语义集合步骤4.6：对于语义集合Token_new1和Token_new2，利用解码器将其投影回像素空间3步骤4.6.1：将来自步骤4.5的语义集合Token_new1和Token_new2分别输入到解码器45卫星传感器可以对地面情况进行探测，并实时获取海量的遥感图像。遥感图像变化检测(RemoteSensingChangeDetection，RSCD)通常指的是对在不同时间获得的两幅或者多[0003]遥感图像可分为合成孔径雷达(SynthesisApertureRadar,SAR)图像和光学遥[0004]对于遥感图像的变化检测方法包括经典的机器学习算法化检测网络中得到最终的检测结果。目前国内外基于深度学习类的遥感图像变化检测方融合，以此来减小检测误差的；随着Transformer机制从自然语言处理领域引入到视觉领6取，然后利用特征金字塔结构对低层次包含的细节信息和高层次包含的语义信息进行融合再将融合后的特征送入到VisionTransformer[0009]步骤2：将读取到的发生变化前的图像image1和发生变化后的图像image2分别输取器将特征图转换到语义token空间中，然后利用编码器模块对tokens进行上下文建模和征进行语义token的提取,将特征转换到基于语义token的空间进行表示，分别得到语义集[0013]步骤4.2：将变化前两张图像分别对应的语义集合Token17[0026]步骤4.1.1：对于输入的特征图Xi，将其通过二维卷积得到L个特征图，并进行[0029]Ti=X。8[0043]2.本发明中步骤3利用特征金字塔结构将来自Resnet18网络中不同层次的信息进[0049]图2是本发明实施例1中所采用的数据集分布情况,其中(a)为LEVIR_CD数据集划[0055]图8是本发明实施例1在LEVIR_CD测试集上的变化检测结果展示，其中(a)为变化[0056]图9是本发明实施例1在DSIFN_CD测试集上的变化检测结果展示，其中(a)为变化9[0064]步骤2：将读取到的发生变化前的图像image1和发生变化后的图像image2分别输[0066]步骤4：将融合后的特征图输入到VisionTransformer模型中，Vision后利用Transformer编码器模块对Tokens进行上下文建模和特征提取，最后利用[0068]步骤4.1.1：对于输入的特征图Xi，将其通过二维卷积得到L个特征图，并进行[0071]Ti=Axi[0072]步骤4.2：将变化前两张图像分别对应的语义集合Token1[0074]步骤4.4：将带有位置编码信息的Tokens送到Transformer编码器，在基于语义token的空间中进行上下文信息的建模，得到包含丰富信息的语义集合Token_new，自注意力Multi_HeadSelf_Attention(MSA)和多层感知器MultilayMulti_HeadSelf_Attention(MSA)，同时引入残差分支与主分支进行融合；多头注意力Multi_HeadAttention(MHA)的计算公式如下从公式可以看出，单头注意力机制通过Q向量和K向量计算得到应该对V向量给予多大的关Nd个基本模块堆叠而成，如图6所示，每个基本模块都包含多头交叉注意力Multi_HeadCross_Attention(MCA)和多层感知器MultilayerPe[0084]步骤4.6.1：将来自步骤4.5的语义集合Token_new1和Token_new2分别输入到Transformer解码器中，在此，网络同样分为两个分支，主分支首先通过层归一化Layer征金字塔融合得到的特征Xi，而K和V向量来自步骤Transformer模型相结合，首先利用Resnet18网络对变化前后的图像进行初步的特征信息提取，然后利用特征金字塔结构将低层次包含的细节信息和高层次包含的语义进行融合，再利用VisionTransformer模型中的编码器和解码器模块对融合后的特征进行进一步上