CN114494870B 一种双时相遥感图像变化检测方法、模型构建方法和装置 （山东科技大学）

本发明公开了一种双时相遥感图像变化检理技术领域，采用加入了挤压-激励模块的深度特征提取器融合了高层特征的丰富语义信息和低层特征的丰富细节信息，通过引入挤压-激励块将特征图切割为若干组不同尺寸的边缘像素2采用加入了挤压-激励模块的深度残差网络模型构建双时相遥感图构建用于计算双时相特征图像素对之间的相关性并以相关性为权重对特征图加权计采用预设的遥感图像数据集，并对所述预设的遥感图像数据集进行图保留深度残差网络模型的第一卷积层至第五卷积层且删除其在深度残差网络模型的第二卷积层之后添加1x1卷积层，在第三卷积层和第四卷积层之后分别添加1x1卷积层和上层采样层，在第五卷积层的输出之后添加全局平均池化层、所述挤压-激励模块用于对特征图的各通道进行构建一个基于相邻子图边缘像素重叠机制切割双时相遥感图像特征提取器输出的特针对每一对特征子图采用共同注意力算法进行预测得构建一个用于将所述注意力子图进行拼接的图像图对应像素区域的预测结果以相等权重进行加构建一个由1个级联层和1个1x1卷积层组成的级联卷积模块，所述级联卷积模块用于将一对双时相子图中包含的两幅子图分别变换到预设尺寸后相乘，得到相关特征图，将相关特征图作为权重分别与两幅子图相乘得到两幅加权特征图，将合损失函数训练双时相遥感图像变化检测模型的过程中使用Adam优化器对模型参数进行3成对距离过小的变化像素点对的距离进行扩大和对距离过大的不变像素点对的距离进行特征图中不变像素点对的总数和变化像素点对的总数分其中，DY代表距离图D中第i行第j列位置处的取值，α、β为加权系数，τ、m为阈值，。7.一种双时相遥感图像变化检测模型构建特征提取器构建模块，配置为采用加入了挤压-激励模块的深度残差网络模型构建双金字塔注意力构建模块，配置为构建用于计算双时相特征图像模型训练模块，配置为采用预设的遥感图像数据集，并对所述预设的遥感4保留深度残差网络模型的第一卷积层至第五卷积层且删除其在深度残差网络模型的第二卷积层之后添加1x1卷积层，在第三卷积层和第四卷积层之后分别添加1x1卷积层和上层采样层，在第五卷积层的输出之后添加全局平均池化层、所述挤压-激励模块用于对特征图的各通道进行构建一个基于相邻子图边缘像素重叠机制切割双时相遥感图像特征提取器输出的特针对每一对特征子图采用共同注意力算法进行预测得构建一个用于将所述注意力子图进行拼接的图像图对应像素区域的预测结果以相等权重进行加构建一个由1个级联层和1个1x1卷积层组成的级联卷积模块，所述级联卷积模块用于8.一种双时相遥感图像变化检测方法，其特征在于法采用所述权利要求1~6中任一项所构建的双时相遥感图像变化检测模型进行双时相遥感5[0001]本发明涉及遥感图像处理技术领域，尤其涉及一种双时相遥感图像变化检测方[0002]近年来，由于能够方便而准确地获取全球各地的地表信息，遥感图像被广泛应小波融合等方法获取两幅图像的差异图，最后对差异图进行处理，生成二值变化检测图[0007]上述这几类方法针对复杂背景下不同尺寸的变化目标的检测效果较差；对于遥感图像中变化区域和不变区域的识别能力尚需提升；并且不能有效解决由于训练数据集现有技术中针对双时相遥感图像的变化检测方法存在对复杂背景下不同尺寸变化目标的[0011]采用加入了挤压-激励模块的深度残差网络模型构建双时像遥感图像特征提取6[0012]构建用于计算双时相特征图像素对之间的相关性并以相关性为权重对特征图加度和对比度变换，之后利用复合损失函数训练所述双时像遥感图像特征提取器和所述金字塔注意力模块组成的双时相遥感图像变化检测模型，所述双时相遥感图像变化检测模[0015]保留深度残差网络模型的第一卷积层至第五卷积层且删除其后的全局池化层、全连接层和激活函数层后作为双时像遥感图像特征[0017]在所述级联层之后添加挤压-激[0019]构建一个基于相邻子图边缘像素重叠机制切割双时像遥感图像特征提取器输出力特征图与切割前的图像尺寸相等，重叠像素区域的拼接结果等于其所在的两幅相邻注用于将拼接后的注意力特征图进行融合，融合后产生的注意力特征图与输入金字塔注意[0024]将一对双时相子图中包含的两幅子图分别变换到预设尺寸后相乘，得到相关特[0025]将相关特征图作为权重分别与两幅子图相乘得到两幅加权特征图，将加权特征[0026]可选的，利用复合损失函数训练双时相遥感图像变化检测模型的过程中使用分别完成对距离过小的变化像素点对的距离进行扩大和对距离过大的不变像素点对的距7[0030]可选的，注意力特征图中不变像素点对的总数和变化像素点对的总数分别采用[0041]金字塔注意力构建模块，配置为构建用于计算双时相特征图像素对之间的相关特征提取器和所述金字塔注意力模块组成的双时相遥感图像变化检测模型，所述双时相[0043]再一方面，本发明还提供一种双时相遥感图像变化检测方法采用上述方法所构建的双时相遥感图像变化检测模型进行双时相遥感图像的变化检测，输出二值变化检测了高层特征的丰富语义信息和低层特征的丰富细节信息，通过引入挤压-激励模块对各通模块将特征图切割为若干组不同尺寸的边缘像素互相重叠的特征子图，对特征子图使用8用一种复合损失函数和Adam优化器对模型进行优化，复合损失函数以加权的方式减轻了复杂背景下的预测效果；而Adam优化器可以保证训练过程中模型参数在一定范围内的平[0046]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些[0056]下面将结合图1～图7对本发明实施例的一种双时相遥感图像变化检测方法、模[0058]步骤100：采用加入了挤压-激励模块的深度残差网络模型构建双时像遥感图像含7×7卷积层和3×3全局最大池化层，conv1之后依次有conv2_x、conv3_x、conv4_x、9conv5_x四个以BasicBlock残差网络为主体的卷积层，最后紧跟着全局池化层和全连接使得改进后的结构能成功运用到双时遥感图像特征提取任务上来，所提取的特征图兼有[0061](1)保留深度残差网络模型的第一卷积层至第五卷积层且删除其后的全局池化[0062]其中，通过传入一个深度为5层的ResNet-18残差网络模型作为特征提取器模型[0063](2)在深度残差网络模型的第二卷积层之后添加1x1卷积层，在第三卷积层和第[0064]在ResNet-18残差网络模型的conv2_x卷积层conv4_x两个卷积层之后分别添加1×1卷积层和上采样层，在conv5_x的输出之后添加全[0065](3)在所述级联层之后添加挤压-激励模块后整体构成双时像遥感图像特征提取卷积层的处理；特征提取器将四个卷积层产生的不同特征层次的四幅特征图进行全局平特征提取器需要对不同层次的特征进行融合以发挥不同层次特征的优势。全局平均池化提取的效果，对于模型而言是一种有效的语义信息[0069]通过构建金字塔注意力模块将图像切割为不同大小的区域进行预测，切割时相[0070]如果两幅图像包含一个相同的目标，那么此目标在两幅图像中将会表现出较为像特征之间的相关性来增加对变化目标和不变目标的辨别能力，通过设计共同注意力模果常常不能令人满意。现有方法一般通过对图像进行不同尺度层次的切割来解决这一问题，但是图像切割不可避免地会造成一部分变化目标也被切成分别位于两张相邻子图上像切割方式既能保证子图的局部性，又能保证绝大部分变化目标都能被其中一张尺寸适[0072]步骤一：构建一个基于相邻子图边缘像素重叠机制切割双时像遥感图像特征提[0073]通过构建一个图像切割模块可以将特征提取器得到的特征图均等切割成s×s个[0074]假设将一幅尺寸为256×256的特征图输入图像切割模块，切割完成后将产生四为了能更大程度上保证变化目标在子图中的完整性，还要满足相邻子图的边缘有若干像图在这两个方向上应各扩大五个像素点，若上下边缘或左右边缘中只有一条与其他子图关特征图作为权重分别与两幅子图相乘得到两幅加权特征图，将加权特征图与两幅子图[0080]对于每对双时相特征子图使用共同注意力模块进行预测，得到注意力子图；其中，将一对双时相特征子图中包含的两幅子图分别变换到预设尺寸后相乘得到相关特征对应着分别来自两幅子图的两个像素点的相似度。将相关特征图作为权重分别与两幅子[0082]共同注意力模块的作用在于获取两幅双时相遥感图像中两个特征之间的相关后的注意力特征图与切割前的图像尺寸相等，重叠像素区域的拼接结果等于其所在的两幅相邻注意力子图对应像素区域的预测结果以相等权在的两幅相邻注意力子图对应像素区域的预测结果以相包括在内，那么这个区域内像素点的拼接结果就等于四张子图相应区域的预测结果的平[0086]步骤四：构建一个由1个级联层和1个1x1卷积卷积模块用于将拼接后的注意力特征图进行融合，融合后产生的注意力特征图与输入金[0087]参考图6和图7所示，通过构建一个级联卷积模块将拼接后的注意力特征图进行融合，该模块由一个级联(Concatenation)层和一个1×1卷积层组成；融合后产生的注意图像变化检测模型对尺寸较小的变化区域的识别，重叠像素机制使用增加了子图边缘位置变化目标识别的完整性和准确度，共同注意模块有助于提升双时相遥感图像变化检测[0090]本发明实施例提供的双时相遥感图像变化检测模型用于根据双时相遥感图像获取二值变化检测图像。通过对训练数据集进行数据增强处理提高了模型对于光照强度差化检测模型可以在更复杂的变化检测任务中取得更出色的效果；Adam优化器可以实现在每一次迭代过程中双时相遥感图像变化检测模型参数都在一定范围内进行变化，提升了对双时相遥感图像及标签图像做随机的不超过5个像素点的图像偏移、随机的角度不超过涉及的数据增强方法有利于提升模型对噪声的鲁棒性：图像偏移有助于增加模型对于双时相图像配准误差的鲁棒性；亮度和对比度的变化有助于增加模型对于光照强度和光照[0093]使用复合损失函数作为本发明实施例的双时相遥感图像变化检测模型的损失函其中，按照公式计算两幅注意力特征图中相同位置的像素对之分别完成对距离过小的变化像素点对的距离进行扩大和对距离过大的不变像素点对的距别更为均衡的样本有助于提升模型的预测效果，而不平衡的样本将导致模型的预测偏向[0106]Posdist和Negdist实现了一种类似Contr[0111]Posdiff和Negdiff能实现使本发明实施例的双时相遥感图像变化检测模型更加[0112]本发明提供一种双时相遥感图像变化检测模型构建方法采用加入了挤压-激励模块的深度残差网络模型构建双时像遥感图像特征提取器，特征提取器融合了高层特征图切割为若干组不同尺寸的边缘像素互相重叠的特征子图，对特征子图使用共同注意力算法进行处理，提升了模型对不同尺寸变化区域、尤其是尺寸较小的变化区域的检测能损失函数和Adam优化器对模型进行优化，复合损失函数以加权的方式减轻了正负样本不[0113]基于相同的发明构思，本发明实施例还提供一种双时相遥感图像变化检测模型[0115]金字塔注意力构建模块，配置为构建用于计算双时相特征图像素对之间的相关特征提取器和所述金字塔注意力模块组成的双时相遥感图像变化检测模型，所述双时相[0117]基于相同的发明构思，本发明实施例还提供一种双时相遥感图像变化检测方法采用