CN119418204A 基于自适应Transformer和可变形卷积的遥感图像变化检测方法 （河海大学）

号基于自适应Transformer和可变形卷积的遥本发明公开了一种基于自适应Transformer搭建了一个融合自适应Transformer和可变形卷适应Cross_Transformer的高阶特征交互模块，Transformer可有效提取变化区域的全局特征，采用的可变形卷积可有效提取变换区域的局部22.根据权利要求1的基于自适应Transformer和可变形卷积的遥感图像变化检测方法，(1.1)在构建得到遥感图像变化检测数据集后，将其中每张图像分割成若干个256x256大小的不重叠图像块，将所有的图像块按照一定的比例划分成训练集、验证集和测试(1.2)对训练集进行一系列数据增强操作，包括水平方向随机翻转、竖直方向随机翻3.根据权利要求1的基于自适应Transformer和可变形卷积的遥感图像变化检测方法，步骤(2)中的，构建的基于自适应Transformer和可变形卷积的遥感图像变化检测网络AT_DCNet，主要包括融合自适应Transformer和可变形卷积的孪生特征提取编码器、自适应用可变形残差模块提取遥感图像的局部特征全局分支使用Patch嵌入模块和自适应Transformer模块提取遥感图像的全局特征其中j＝2,3,4。Patch嵌入模块通过P9输入到自适应Transformer模块以提取全局特征将局部分支提取3局分支提取的全局特征进行逐元素相加得到再输入到一个卷积块注意力模块中进(2.3)将双时相高阶局部_全局特征和输入到自适应Cross_Transformer的高阶(2.4)采用四个差异提取模块对提取的四种尺度双时相特征进行差(2.5)在多尺度融合解码器中，使用特征图拼接操作和基于转置卷积的上采样操作对长为2的3x3转置卷积层、一个批归一化层、一个Relu激活函数层和一个步长为1的3x3转4.根据权利要求3的基于自适应Transformer和可变形卷积的遥感图像变化检测方法，对于输入特征首先构建两个残差单元，每个残差单元包含4然后，再输入可变形残差单元，该可变形残差单元是将残差单元中的第二个3x3卷积层替换为可变形卷积层构建得到，通过该可变形残差单元最终得到3x3表示核大小为3x3的可变形卷积层。5.根据权利要求3的基于自适应Transformer和可变形卷积的遥感图像变化检测方法，自适应Transformer模块首先经过层归一化处理，然后利用自适应多头自注意力捕获a和va分别表示经过自适应平均池化和1x1卷积层处理后的键a和va三个向量对应的映射矩阵，dk表示Ka的维度。基于自适应多头自注意力，得到PSAMSA＝SAMSA(LN(P,))+P,,构建的自适应Cross_transformer模块是将自适应Transformer中的自适应多头自注6.根据权利要求3的基于自适应Transformer和可变形卷积的遥感图像变化检测方法，5该模块包含通道注意力模块和空间注意力模块。通道注并经过sigmoid激活函数得到通道注意力权重Mc，将其与输入特征图逐通道相乘得到通空间注意力模块通过对不同空间位置的特征图入特征图在通道维度上分别进行平均池化和最大池化，然后将两个特征图在通道维度提取的局部全局特征(i=1,2,i=2,3,4)。6基于自适应Transformer和可变形卷积的遥[0001]本发明属于图像处理领域，尤其涉及一种基于自适应Transformer和可变形卷积[0004]Chen等人在2021年IEEETransactionsonGeoscienceandRemoteSensing上示成几个语义tokens，并使用Transformer编码器在基于tokens的时空中对上下文进行建[0005]公开号CN114821350A一种多阶段信息融合的高分辨率遥感图像建筑物变化检测[0007](1)特征表示尺度单一：现有的遥感图像变化检测方法在特征表示上往往局限于7Transformer和可变形卷积的遥感图像变化检测方法。该方法结合了Transformer和CNN的[0012]技术方案：为实现本发明的目的，本发明所采用的技术方案是：基于自适应[0014](2)构建基于自适应Transformer和可变形卷积的遥感图像变化检测网络AT_[0015](3)使用训练集对AT_DCNet网络进行训练，并采用验证集评估训练过程中模型的[0016](4)将测试集输入到训练好的最优模型中，进行变化识别，得到最终变化检测结检测网络AT_DCNet，主要包括融合自适应Transformer和可变形卷积的孪生特征提取编码[0021](2.1)输入双时相遥感图像It1和It2，构建融合自适应Transformer和可变形卷积8支采用可变形残差模块提取遥感图像的局部特征全局分支使用Patch嵌入模块和自适应Transformer模块提取遥感图像的全局特征其中j＝2,3,4。全局分支提取的全局特征进行逐元素相加得到再输入到一个卷积块注意力模块中[0026](2.4)采用四个差异提取模块对提取的四种尺度双时相特征进行差异特征提取。首先，将双时相特征Ft和F⃞,*E{1,2,3,out逐像素相减，再取绝对值得[0029](2.5)在多尺度融合解码器中，使用特9作对提取的多尺度差异特征进行逐级融合。这里的基卷积层替换为可变形卷积层构建得到，通过该可变形残差单元最终得到局部特征[0038]其中，步骤(2.2)和(2.3)中的，自适应Transformer模块和自适应Cross_[0039]自适应Transformer模块首先经过层归一化处理，然后利用自适应多头自注意力′[0048]构建的自适应Cross_transformer模块是将自适应Transformer中的自适应多头自注意力模块改为自适应多头交叉注意力模块(SAMCA)得到的。SAMCA与SAMSA的主要区别22经过自适应处理后得到的与派生出的q1进行交叉注意力计后使用两个1×1卷积层的共享权值多层感知器MLP学习得到每个通道权值，再将两个结果于输入特征图在通道维度上分别进行平均池化和最大池化，然后将两个特征图在通道阶段提取的局部_全局特征A(i=1,2,i=2,对训练集进行数据增强。本发明使用遥感图像变化检测公共数据集LEVIR_CD和CDD进行实[0073](2)如图1所示，构建基于自适应Transformer和可变形卷积的遥感图像变化检测[0075](2.1)输入大小为256×256×3的双时相遥感图像It1和It2，构建融合自适应其中局部分支采用可变形残差模块提取遥感图像的局部特征全局分支使用Patch嵌入卷积层替换为可变形卷积层构建得到，通过该可变形残差单元最终得到局部特征该过[0092](c)将局部分支提取的局部特征和全局分支提取的全局特征进行逐元素相加得到再输入到一个卷积块注意力模块中进一步融合，该模块包含通道注意力模块和注意力权重Mc，将其与输入特征图逐通道相乘得到通道注意力特征图公式如下所于输入特征图在通道维度上分别进行平均池化和最大池化，然后将两个特征图在通道阶段提取的局部_全局特征(i=1,2,j=2,3,4):[0098](2.3)如图5所示，将双时相高阶局部_全局特征和输入到自适应Cross_Transformer的高阶特征交互模块，采用自适应Cross_Transformer对双时相特征和进行信息交互，得到带有语义变化信息的高阶特征和构建的自适应Cross_transformer模块是将自适应Transformer中的自适应多头自注意力模块改为自适应多头处理后得到的与派生出的q2进行交叉注意力计算。自适应Cross_Transformer的高阶特征交互模块由8个自适应Cross_transformer模块堆叠得到；尺度双时相特征进行差异特征提取。首先，将双时相特征和和Fm进行处理，直至得到与原始输入分辨率相同的变化特征图Ffi[0106](3)使用训练集对AT_DCNet网络进行训练，并采用验证集评估训练过程中模型的[0114]Bandara等人在“ATransformer_BasedSiameseNetworkforChange