CN120219983A 基于先验知识和频域学习的遥感图像变化检测方法及系统

1500号公司37221GO6V2GO6V10/774(2022.01)GO6V10/776(2022.01)GO6N3/084(2023.基于先验知识和频域学习的遥感图像变化基于先验知识和频域学习的遥感图像变化检测理特征和第二时相遥感图像的预处理特征进行S101:获取待检测的第一时相遥感图像和第二时相遥感图像S102:将待检测的第一时相遥感图像和第二时相遥感图像，输入到训练后的遥感图像变化检测模型中，得到两幅图像的变化预测结果；其中，所述训练后的遥感图像变化检测模型，用于：采用第一编码器对第一时相遥感图像进行特征提取处理，得到第一时相遥感图像的特征；采用第二编码器对第二时相遥感图像进行特征提取处理，得到第二时相遥感图像的特征；采用解码器对第一时相遥感图像的特征和第二时相遥感图像的特征进行特征过滤，得到过滤后的频率特征；对过滤后的频率特征进一步处理，得到多尺度双时相融合特征；基于多尺度双时相融合特征，生成多尺度差异融合特征图；基于多尺度差异融合特征图，生成最终差异融合特征；基于最终差异融合特征，生成两幅图像的变化预测结果2将待检测的第一时相遥感图像和第二时相遥感图像，输入到训练第一编码器的输出端和第二编码器的输出端，均与自适应门3.如权利要求2所述的基于先验知识和频域学习的遥感图像变 3像的预处理特征；其中，Conv=²(·)表示卷积核为3×3且 表示第一时相遥感图像的第i-1个输入低频特征，MF¹表示第一时相遥感图 像的第i-1个输入中频特征，表示第一时相遥感图像的第i-1个输入高频特征，LF_,表示第一时相遥感图像的第i-1个低频特征，MF_,表示第一时相遥感图像的第表示第一时相遥感图像的第i-1个低频特征的前半部分，表示第一时相遥感图像的第i-1个低频特征的后半部分，表示第一时相遥感图像的第i-1个中频特征的前半部分，MF-1,2表示第一时相遥感图像的第i-1个中频特征的后半部分，表示第一时相遥感图像的第i-1个高频特征的前半部分，表示第一时相遥4表示第一时相遥感图像的第i-1个低-中频特征，表示第一时相遥感图像的第i-1个中-高频特征，F'表示第一编码器的第i个频率特征提取模块的第一时相4.如权利要求3所述的基于先验知识和频域学习的遥感图像变采用第二编码器对第二时相遥感图像进行特征提取处理，得到第二时相遥感图像的特征，具体包括：表示第二时相遥感图像的第i-1个输入低频特征，表示第二时相遥感图像的第i-1个输入中频特征，表示第二时相遥感图像的第i-1个输入高频特征， 表示第二时相遥感图像的第1-1个低频特征，表示第二时相遥感图像的第表示第二时相遥感图像的第i-1个低频特征的前半部分，表示第二时相5频特征的前半部分，表示第二时相遥感图像的第i-1个中频特征的后半部分， HDA,=Con(HD,);67将待检测的第一时相遥感图像和第二时相遥感图像，输入到训练后的遥感图像变化检测模型中，得到两幅图像的变化预测结果，所述训练后的遥感图像变化检测模型，训练过程包构建数据集，所述数据集为已知遥感图像变化标签的若干对双时相遥感图像；每一对双时相遥感图像，包括：对同一个地理区域在第一时相拍摄的遥感图像和第二时相拍摄的遥感图像；所述第一时相早于第二时相；将训练集，输入到遥感图像变化检测模型中，对模型进行训练；当模型的总损失函数值将验证集，输入到训练后的遥感图像变化检测模型中，对模型进行验证；将测试集，输入到验证通过的遥感图像变化检测模型中，对模型进行测试；将满足设定测试条件的模型，作为训练后的遥感图像变化检测模型。9.如权利要求1所述的基于先验知识和频域学习的遥感图像变化检测方法，其特征是，获取待检测的第一时相遥感图像和第二时相遥感图像，包括：采用卫星遥感方式进行获取。10.基于先验知识和频域学习的遥感图像变化检测系统，其特征是，包括：获取模块，其被配置为：获取待检测的第一时相遥感图像和第二时相遥感图像；检测模块，其被配置为：将待检测的第一时相遥感图像和第二时相遥感图像，输入到训练后的遥感图像变化检测模型中，得到两幅图像的变化预测结果；其中，所述训练后的遥感图像变化检测模型，用于：采用第一编码器对第一时相遥感图像进行特征提取处理，得到第一时相遥感图像的预处理特征；采用第二编码器对第二时相遥感图像进行特征提取处理，得到第二时相遥感图像的预处理特征；采用自适应门单元对第一时相遥感图像的预处理特征和第二时相遥感图像的预处理特征进行特征过滤，得到过滤后的频率特征；采用解码器对过滤后的频率特征进一步处理，得到多尺度双时相融合特征；基于多尺度双时相融合特征，生成多尺度差异融合特征图；基于多尺度差异融合特征图，生成最终差异融合特征；基于最终差异融合特征，生成两幅图像的变化预测结果。8基于先验知识和频域学习的遥感图像变化检测方法及系统技术领域[0001]本发明涉及遥感图像技术领域，特别是涉及基于先验知识和频域学习的遥感图像变化检测方法及系统。背景技术[0002]近年来，随着航空航天技术的快速发展，大量高性能遥感卫星得以发射。这些卫星配备了先进的传感器和成像设备，能够以前所未有的精度和频率对地球表面进行观测，这极大地提升了获取高分辨率、多光谱遥感图像的能力，因此许多大型且多样化的遥感图像数据集得以建立。这些数据集涵盖了全球广阔地域的各种地理信息，为基于深度学习的遥感图像分析方法提供了坚实的数据基础。[0003]遥感图像变化检测是一项重要的地表观测任务，通过利用遥感卫星采集的双时相图像来监测地表物体变化，在很多实际应用上取得了令人瞩目的进展。具体而言，通过对比不同时相的遥感图像，研究人员可以精确地监测城市建设、土地利用变化以及环境变迁；在自然灾害防控领域，可以实时监控森林火灾、洪水泛滥区域及地震后的破坏情况，从而为紧急救援和灾后重建提供有效的支持；而在农业损害评估方面，可以监测农作物生长状况、病虫害发生情况，帮助农民采取针对性措施来减少经济损失。随着深度学习的快速发展，许多基于深度学习的方法被用于遥感图像变化检测。例如卷积神经网络，得益于其在提取空间细节特征上的显著优势，许多变化检测方法利用其分别提取双时相图像的特征，并进一步融合获得的双时相特征来判别变化区域。然而，受光照、大气等环境因素的影响，在遥感图像变化检测中存在着两个客观因素：不同时相下同一物体的部分属性可能存在差异以及不同物体部分属性可能是相似的。举例来说，相同的建筑物在不同的光照下具有不同的色彩，而不同种类的农作物可能都是绿色的，这可能会导致伪变化或者漏检变化，对基于深度学习的方法提出了挑战。发明内容[0004]为了解决现有技术的不足，本发明提供了基于先验知识和频域学习的遥感图像变化检测方法及系统；一方面，提供了基于先验知识和频域学习的遥感图像变化检测方法，包括：获取待检测的第一时相遥感图像和第二时相遥感图像；将待检测的第一时相遥感图像和第二时相遥感图像，输入到训练后的遥感图像变化检测模型中，得到两幅图像的变化预测结果；其中，所述训练后的遥感图像变化检测模型，用于：采用第一编码器对第一时相遥感图像进行特征提取处理，得到第一时相遥感图像的预处理特征；采用第二编码器对第二时相遥感图像进行特征提取处理，得到第二时相遥感图像的预处理特征；采用自适应门单元对第一时相遥感图像的预处理特征和第二时相遥感图像的预处理特征进行特征过滤，得到过滤后的频率特征；采用解码器对过滤后的频率特征进一步处理，得到多尺度双时相融合特征；基于多尺度双时相融合特征，生成多尺度差9异融合特征图；基于多尺度差异融合特征图，生成最终差异融合特征；基于最终差异融合特获取模块，其被配置为：获取待检测的第一时相遥感图像和第二时相遥感图像；检测模块，其被配置为：将待检测的第一时相遥感图像和第二时相遥感图像，输入到训练后的遥感图像变化检测模型中，得到两幅图像的变化预测结果；其中，所述训练后的遥感图像变化检测模型，用于：采用第一编码器对第一时相遥感图像进行特征提取处理，得到第一时相遥感图像的预处理特征；采用第二编码器对第二时相遥感图像进行特征提取处理，得到第二时相遥感图像的预处理特征；采用自适应门单元对第一时相遥感图像的预处理特征和第二时相遥感图像的预处理特征进行特征过滤，得到过滤后的频率特征；采用解码器对过滤后的频率特征进一步处理，得到多尺度双时相融合特征；基于多尺度双时相融合特征，生成多尺度差异融合特征图；基于多尺度差异融合特征图，生成最终差异融合特征；基于最终差异融合特征，生成两幅图像的变化预测结果。[0006]上述技术方案具有如下优点或有益效果：首先，本发明分析和归纳了人类准确判断变化物体的方法，即依据物体间判别性属性(颜色、边界、纹理)的对比结果来判别变化物体，而不是当前在深度学习网络中流行的空间特征整体对比方法。举例来说，人类可以通过利用判别性的边界属性而不是颜色属性来识别相同建筑物以及根据纹理属性的差异来识别不同农作物。以这种属性对比的先验知识为引导，本发明提出利用一个滑动离散余弦变换将RGB图像分解成不同波段的频率特征，这些不同波段的特征可以被认为代表着不同的属性，比如低频波段特征一般与颜色属性有关而高频波段特征与纹理属性有关。随后将这些频率特征送入一个基于卷积神经网络的编码器来进一步提取和增强这些特征，并用一个自适应门单元来过滤干扰的波段(属性)特征并保留判别性波段特征。最终，基于这些判别性的波段特征给出一个准确的变化预测，从而有效应对上述客观因素。相较于本发明提出的属性对比方法，当前流行的空间特征整体对比方法被空间域的属性不可解耦性限制，与人类进行变化检测的先验知识不一致，因此导致了更多的伪变化或者漏检变化。[0007]本发明与当前流行的基于空间特征整体对比方式的深度学习变化检测方法不同，本发明受人类先验知识启发，将基于频率学习的属性对比方式嵌入到深度学习网络。具体来说，本发明提出利用一个滑动离散余弦变换将双时相RGB图像分解成不同波段的频率特征，这些不同波段的特征代表着不同的属性。同时，本发明对这些特征进行了重组和排序以及能量平衡，以便后续的特征提取过程和增强网络鲁棒性。随后将这些频率特征送入一个基于卷积神经网络的编码器，并用一个自适应门单元来过滤干扰的波段特征并保留判别性波段特征。最终，这些判别性的波段特征在解码器中渐进式地解码并给出一个准确的变化预测。本发明有效减少了伪变化和漏检变化区域的情况，最终得到精度更高的遥感变化检测模型。附图说明[0008]构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。[0009]图1为实施例一的方法流程图。具体实施方式[0010]应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。[0011]实施例一本实施例提供了基于先验知识和频域学习的遥感图像变化检测方法；如图1所示，基于先验知识和频域学习的遥感图像变化检测方法，包括：S101:获取待检测的第一时相遥感图像和第二时相遥感图像；S102:将待检测的第一时相遥感图像和第二时相遥感图像，输入到训练后的遥感图像变化检测模型中，得到两幅图像的变化预测结果；其中，所述训练后的遥感图像变化检测模型，用于：采用第一编码器对第一时相遥感图像进行特征提取处理，得到第一时相遥感图像的预处理特征；采用第二编码器对第二时相遥感图像进行特征提取处理，得到第二时相遥感图像的预处理特征；采用自适应门单元对第一时相遥感图像的预处理特征和第二时相遥感图像的预处理特征进行特征过滤，得到过滤后的频率特征；采用解码器对过滤后的频率特征进一步处理，得到多尺度双时相融合特征；基于多尺度双时相融合特征，生成多尺度差异融合特征图；基于多尺度差异融合特征图，生成最终差异融合特征；基于最终差异融合特征，生成两幅图像的变化预测结果。[0012]进一步地，所述S101:获取待检测的第一时相遥感图像和第二时相遥感图像，包[0013]进一步地，所述S102:将待检测的第一时相遥感图像和第二时相遥感图像，输入到训练后的遥感图像变化检测模型中，得到两幅图像的变化预测结果，所述训练后的遥感图构建数据集，所述数据集为已知遥感图像变化标签的若干对双时相遥感图像；每一对双时相遥感图像，包括：对同一个地理区域在第一时相拍摄的遥感图像和第二时相拍摄的遥感图像；所述第一时相早于第二时相；将训练集，输入到遥感图像变化检测模型中，对模型进行训练；当模型的总损失函将验证集，输入到训练后的遥感图像变化检测模型中，对模型进行验证；将测试集，输入到验证通过的遥感图像变化检测模型中，对模型进行测试；将满足设定测试条件的模型，作为训练后的遥感图像变化检测模型。[0014]应理解地，将原始遥感图像数据集按照6:2:2的比例划分为训练集和验证集和测试集，在训练集上进行模型的训练，以在验证集上取得最好结果的模型作为最终收敛模型，并在测试集上评估模型效果。[0015]应理解地，高分辨率的遥感图像具有很大的尺寸，受限于计算资源，需要将原始双时相图像分别裁剪成256×256的图像块再送入模型，其中双时相图像块I₁,I₂是两两对应的。随后本发明进行数据增强，首先计算所有图像块RGB三个通道的均值及标准差，对图其中，N是每个图像块的像素数目；M为类别数，此处值为2,i数，若像素点i的真实类别等于j则取1,否则取0;Pij为像素点i属于类别j的概率值。使用随机梯度下降方法并设置初始学习率为0.01,学习率会线性衰减直到最后一个训练周第一编码器的输出端和第二编码器的输出端，均与自适应门单元的输入端连接； 波段频率特征按原图像的空间位置进行收集重组，Sort(·)表示通道排序操作；表示第 一时相遥感图像的预处理特征。[0023]应理解地，Merge(·)得到的特征具有如下特性：位置关系与原图像像素位置关系一致，但尺寸缩小。Merge(·得到的特征的每一个通道都对应着不同波段的特征。Sort(·)将这些通道按其对应的波段由低到高进行排序。之后的划分标准就是按通道的顺序数，示例性地，该特征共有147个通道，那么第1-49个通道为低频特征，第50-98个通道为中频特征，第99-147个通道为高频特征。感图像的预处理特征；LMF₋₁=Concat(LF₂-1,2,MF₁1.);MHF₋=Concat(MF-1,2,HF-1,1);其中，ConvS=²(·)表示卷积核为3×3且跨步为2的二维卷积，Chumk(·)表示将特LFL表示第一时相遥感图像的第i-1个输入低频特征，MF|表示第一时相遥感图像的第i-1个输入中频特征，HF↓表示第一时相遥感图像的第i-1个输入高频特征，表示第一时相遥感图像的第i-1个低频特征，表示第一时相遥感图像的第i-1个中频特征，表示第一时相遥感图表示第一时相遥感图像的第i-1个低频特征的前半部分，表示第一时相遥感图像的第i-1个低频特征的后半部分，表示第一时相遥感图像的第i-1个中频特征的前半部分，表示第一时相遥感图像的第i-1个中频特征的后半部分，表示第一时相遥感图像的第i-1个高频特征的前半部分，表示第一时相遥感图像的第i-1个高频特征的后半部分；表示第一时相遥感图像的第i-1个低-中频特征，表示第一时相遥感图像的第i-1个中-高频特征，表示第一编码器的第i个频率特征提取模块的第一[0025]应理解地，这种方式既减少了不同波段的混合程度又避免了波段特征的封闭[0026]应理解地，首先，提出了一种名为滑动离散余弦变换的方法来提取尺寸为64×64×147的双时相频率特征,该方法先将RGB图像转换到YCbCr图像，因为[0027]随后对YCbCr图像的每个通道执行基于滑动窗口的离幅决定了输出频率特征的空间尺寸。随后本发明收集位于不同窗口的相同波段频率特征，了进一步提取深度频率特征，本发明设计了频率特征提取模块来生成多尺度频率F²,F₂,F2,F3,F3,64×64×147,64×64×147,32×32×294,32×32×294, 表示第二时相遥感图像的第i-1个低频特征的前半部分，表示第二时相遥感图像的第i-1个低频特征的后半部分，表示第二时相遥感图像的第 LDA,=Conv(LD);MDA,=Con(MD,);HDA,=Con(HD,),GDA,=Conv(DF);[0034]表示第一编码器第i个频率特征提取模块的第一时相输出特征，表示第二编码器第i个频率特征提取模块的第二时相输出特征，DF表示第i个频率差异特征，LD,表示第1个低频差异特征，MD,表示第1个中频差异特征，HD,表示第1个高频差异特征，LDA,表示第i个低频差异注意力，MDA,表示第i个中频差异第i个高频差异注意力，GDA,表示第i个全局波段间注意力，DA₂表示第i个门注意力，示第i个辅助预测。其中，表示第j时相遥感图像的第一个多尺度融合特征，表示第j时上采样操作，表示第j时相遥感图像的第三个过滤频率特征，表示第j时相遥感图计了自适应门单元。以网络中第i个自适应门单元为例(i=1,2,3),本发明首先使输入双时相频率特征,F²进行逐像素减和绝对值化来获取频率差异特征DF。接下来，本发明将频率差异特征根据波段分为三个部分：低频差异特征LD、中频差异特征MD和高频差异特征HD₂,它们分别被用来生成三个局部波段内注意力LDA,,MDA,,HDA₁。同本发明沿通道连接LDA,MDA,HDA,连接后特征与GDA相加并送入Sigmoid函DA₂和F,F²进行逐元素乘，来64×64×147,64×64×147,32×32×294,32×32×294,16×R²,R,R²,R³,R3并通过上采样操作、通道拼接和卷积层来渐进地生成多尺度双时相融合特征RF,RF₂。D₁=Abs(RF¹-RF²);[0040]其中，FDF表示最终差异融合特征，Up表示上采样操作。D₁表示第一个多尺度差异融合特征，RF¹表示第一时相遥感图像的第一个多尺度融合特征，表示第二时相遥感图像的第一个多尺度融合特征，D₂表示第二个多尺度差异融合特征，表示第一时相遥感图像的第二个多尺度融合特征，表示第二时相遥感图像的第二个多尺度融合特征，D₃表示第三个多尺度差异融合特征，R[