CN116310828B 一种结合Transformer和CNN的高分辨率遥感图像变化检测方法及装置 （重庆邮电大学）

一种结合Transformer和CNN的高分辨率遥种结合Transformer和CNN的高分辨率遥感图像时遥感图像利用Transformer分支提取双时遥感时遥感图像的局部特征；将Transformer分支各个深度的特征图以及卷积神经网络分支各个深度的特征图输入自适应特征融合模块进行特征入Decoder分支进行逐层解码，将解码特征图采2构建卷积神经网络分支、Transformer分支、自适应特征融合模块以及Decoder分支，为Patch；其他三个单元分别经过2、2、6个VIT块，每一个VIT块包括Transformer中的Encoder，每一个阶段还包括一个系数为2的下采样，使每次输出特征图为输入的1/2；将第一查询向量Q1与第二键向量K2相乘后进行softmax操作后，再与第二值向量V2乘，将第二查询向量Q2与第一键向量K1相乘后进行softmax操作后，再与第一值向量V1乘，通过逐元素求和来集成来自局部分支和全局分支的特征，然后通使用两个全连接层分别在通道嵌入特征的帮助下为局部分支和全局分支生成两个自将预处理后的双时遥感图像利用Transformer分支提取双时遥感图像的全局特征，利将Transformer分支各个深度的特征图以及卷积神经网络分支各个深度的特征图输入将全局局部特征输入Decoder分支进行逐层解码，将解码特征2.根据权利要求1所述的一种结合Transformer和CNN的高分辨率遥感图像变化检测方3.根据权利要求1所述的一种结合Transformer和CNN的高分辨率遥感图像变化检测方34.根据权利要求1所述的一种结合Transformer和CNN的高分辨率遥感图像变化检测方5.一种结合Transformer和CNN的高分辨率遥感实现权利要求1所述的一种结合Transformer和CNN的高分辨率遥感图像变化检测方法，包括属于预处理模块、卷积神经网络分支、Transformer分支、自适应特征融合模块以及预处理模块，用于对输入的双时遥感图像裁剪到固定尺寸，对4[0001]本发明涉及图像处理与计算机视觉技术领域，特别涉及一种结合Transformer和成的破坏)通常被认为是与土地覆盖类型相关的变化。变化检测是希望能够识别这些相关[0007]将预处理后的双时遥感图像利用Transformer分支提取双时遥感图像的全局特[0008]将Transformer分支各个深度的特征图以及卷积神经网络分支各个深度的特征图5Embedding将图片分为Patch；其他三个单元分别经过2、2、6个VIT块，每一个VIT块包括[0022]使用两个全连接层分别在通道嵌入特征的帮助下为局部分支和全局分支生成两6[0033]2)本方法利用卷积神经网络提取图像局部特征，利用Transformer提取图像全局[0034]图1为一种结合Transformer和CNN的高分辨率遥感图像变化检测方法的整体流程[0042]将预处理后的双时遥感图像利用Transformer分支提取双时遥感图像的全局特[0043]将Transformer分支各个深度的特征图以及卷积神经网络分支各个深度的特征图[0046]本次使用的LEVIR数据集是通过GeogleEarthAPI，收集了637个大小为1024×1024像素的非常高分辨率GeogleEarth(GE)图像patch对，这些双时相图像来自美国德克7[0047]图1为本发明基于Transformer和CNN的高分辨率遥感图像变化检测方法的整体流[0049]原始数据集是包含637对1024×1024的双时像高分辨率遥感图像，将数据集裁剪别与卷积特征和Transformer特征进行矩阵相乘后，将特征矩阵相加，生成最终融合的全[0052]S3：将处理好的双时相遥感图像利用Transformer分支和卷积神经网络分支分别[0053]S4：将ResNet50骨干网络的五个阶段不同深度的特征图以及Transformer分支四个阶段的不同尺度特征图分别送入自适应融合模块，充分利用来自Transformer与卷积神[0056]本实施例还提供另一种具体实施方式，本实施中一种结合Transformer和卷积神Decoder分支采用UNet网络中的Decoder分支(Decoder分支包括多个如图2所示的DeBLOCK8[0069]S3：将处理好的双时相遥感图像利用Transformer分支和卷积神经网络分支分别[0072]S4：将ResNet50骨干网络的五个阶段不同深度的特征图以及Transformer分支四个阶段的不同尺度特征图分别送入自适应融合模块，充分利用来自Transformer与卷积神9[0073]1)将Transformer分支