CN118212532B 一种基于孪生混合注意力机制和多尺度特征融合提取双时相遥感影像中建筑物变化区域方法 （西安电子科技大学）

一种基于孪生混合注意力机制和多尺度特征融合提取双时相遥感影像中建筑物变化区域一种基于孪生混合注意力机制和多尺度特征融合提取双时相遥感影像中建筑物变化区域集依次输入遥感影像建筑物变化检测网络中进输入至训练好的遥感影像建筑物变化检测网络21.一种基于孪生混合注意力机制和多尺度特征融合提取双时相遥感影像中建筑物变所述遥感影像建筑物变化检测网络包括：基于孪生混合注意力机制网络；其中，基于孪生混合注意力机制的建筑物变化特征提取网络将自注意力机制(Self特征信息；基于空洞坐标注意力上采样的变化检测网络采用空洞坐标注意力上采样模块步骤2.1，构建基于孪生混合注意力机制的建筑物变化特征提取网络的混合注意力特首先使用位置分块嵌入，将连续分块信息和位置信息嵌入到最小双注意力机制DA包括多尺度分离卷积模块(Depth一wiseSeparable，DS)和改进的挤输入特征图分别进入两个3x3深度可分离卷积，两个5x5深度可分离卷积，一个1x1改进的挤压激励ISE注意力机制模块由用于目标特征重新校准的通道和空间挤压激孪生网络由两个具有相同结构和权重的分支组成，这两个分3混合注意力特征提取模块HAFE的阶段2和阶段3具有两个相邻级，应的多尺度特征融合模块MSFF具有3个输入分支；令Fk∈RHXWXC表示阶段k的特征图，而Fk-1∈R2HX2WX(C/2)和Fk+1∈R(H/2)X(W/2)X2C是从其较浅的阶段和较深的阶段相邻阶段输出的特征使用全局平均池化(GAP)来融合全局信息并生成通道维特征s∈R1XC；s的第c个元素被c是F的第c个通道；c个元素按照下式计算：；s,c和Fi,c是Fs和Fi的第c个通道；对于只步骤2.3，构建基于空洞坐标注意力上采样的变化检测网络的空洞坐标注意力上采样4Fk-1通过一个1x1和一个3x3卷积得到低层特征图；Fk分支1经过一个1x1和一个3x3并行空洞卷积模块具体如下，以X∈RHxWxC作为输入，将通道注意力分解为水平和垂直将式(9)产生的特征图连接起来，经过4个不同膨胀率(1,2,3,4)的3x3空洞卷积得到步骤3，将步骤1得到的训练集和验证集依次输入至步骤2构建的遥感影像建筑物变化步骤4，将步骤1得到的测试集输入至步骤3训练好的遥感影像建筑物变化检测网络中2.根据权利要求1所述的一种基于孪生混合注意力机制和多尺度特征融合提取双时相步骤1.3，将裁剪后的遥感影像建筑物变化检测数据集划分为训练集、验证集和测试3.根据权利要求1所述的一种基于孪生混合注意力机制和多尺度特征融合提取双时相Sigmoid的二分类交叉熵损失函数BCEWithLogit5所述的带有Sigmoid的二分类交叉熵损失函数BCEWithLogitsLosi表示被预测为正例的的类别；首先，将训练集和验证集中的图像数据输入基于孪生混合4.根据权利要求1所述的一种基于孪生混合注意力机制和多尺度特征融合提取双时相步骤4.1，将步骤1得到的测试集输入到步骤3训练好的遥感影像建筑物变化检测网络6注意力机制和多尺度特征融合提取双时相遥感影像中高泛化的遥感影像变化检测框架。该框架可灵活使用多种经典语义分割模型(如U_Net、[0006]张洋和夏英等作者在其发表的论文“多尺度特征融合的遥感图像目标检测方法”(计算机科学2023年9月第3期第51卷165_173页)中在YOLOv5的基础上提出了一种基于多尺7征金字塔网络LUFPN模块嵌入到基准模型中，该模块能够利用较少的参数去融合多尺度特[0007]ZhiqiHuang和HongjianYou等作者在其发表的论文“MFSFNet:Multi_ScaleFeatureSubtractionFusionNetworkforRemoteSensingImageChangeDetection”[0014]一种基于孪生混合注意力机制和多尺度特征融合提取双时相遥感影像中建筑物8[0017]步骤3，将步骤1得到的训练集和验证集依次输入至步骤2构建的遥感影像建筑物[0018]步骤4，将步骤1得到的测试集输入至步骤3训练好的遥感影像建筑物变化检测网[0021]步骤1.2，对步骤1.1收集的遥感影像建筑物变化检测数据集的数据图像进行裁[0023]所述步骤2中的遥感影像建筑物变化检测网络包括：基于孪生混合注意力机制的[0025]步骤2.1，构建基于孪生混合注意力机cn"cm"on(1)9[0031]改进的挤压-激励ISE注意力机制模块由用于目标特征重新校准的通道和空间挤[0032]孪生网络由两个具有相同结构和权重的分支组成，这两个分支同时处理输入图[0036]混合注意力特征提取模块HAFE的阶段2和阶段3具有两个相邻级，因此阶段2和阶c个元素按照下式计算：；[0053]步骤2.3，构建基于空洞坐标注意力上第k个多尺度特征融合模块MSFF，Fk+1则表示其相邻的深层特征的输出特征，即当k＝3时，[0059]将式(9)产生的特征图连接起来，经过4个不同特征被发送到空洞坐标注意力DCA并生成空洞坐标感知的注意力图，该注意力图乘以Fk分有Sigmoid的二分类交叉熵损失函数BCEWithLogit化特征提取网络的混合注意力特征提取模块HAFE中，提取前后遥感影像的多尺度变化特[0070]步骤4.1，将步骤1得到的测试集输入网络中，加载步骤3.1训练好的遥感影像建筑物变化检测网络权重参数文件“best_[0074](1)本发明设计的混合注意力特征提取模块(HybridAttentionfeatureextraction，HAFE)，是将自注意力机制(SelfAttention，SA)和双注意力机制(Dual[0076](3)本发明设计的空洞坐标注意力上采样模块(DilatedCoordinateAttention[0085]如图1所示，本发明提出了一种基于孪生混合注意力机制和多尺度特征融合提取[0086]一种基于孪生混合注意力机制和多尺度特征融合提取双时相遥感影像中建筑物[0092]本发明设计的遥感影像建筑物变化检测网络结构包括三个主要部分：特征提取、建筑的结构一致性；特征融合部分采用多尺度特征融合模块(Multi_scaleFeature余和噪声干扰；上采样部分采用空洞坐标注意力上采样模块(DilatedCoordinate[0093]步骤2.1，构建基于孪生混合注意力机DA)集成了局部和多尺度形状的全局依赖关系，使模型能够分析不同位置之间的空间关系的建筑物的长期依赖关系，而双注意力机制DA则获取不同位置之间的空间关系和相关性，文本单元，自注意力机制SA将Q和KT映射为加权和，其中权重由每个Qi及其对应Ki之间的cn"cm"on(1)[0101]而改进的挤压一激励ISE注意力机制模块则由用于目标特征重新校准的通道和空路4个阶段进行操作，以提取前后遥感影像的多尺度变化特征，在初始阶段阶段1和阶段2[0109]如图2所示，混合注意力特征提取模块HAFE的阶段2和阶段3(中间级)具有两个相[0120]使用三个并行卷积来重建三个C维向量vk-1、vk和vk+1∈R1×C，并对每个元素执行；[0126]步骤2.3，构建基于空洞坐标注意力上引入并且影响特征图的准确性。坐标注意力(CoordinateA[0134]将式(9)产生的特征图连接起来，经过4个不同特征连接的特征被发送到空洞坐标注意力DCA并生成空洞坐标感知的注意力图，该注意力图乘以Fk分支1得到的低级特征图以增强[0136]步骤3，将步骤1得到的训练集和验证集输入至步骤2构建的遥感影像建筑物变化遥感影像建筑物变化检测网络网络中，batch_size设置为8，训练200轮，初始学习率为化特征提取网络的混合注意力特征提取模块HAFE中，提取前后遥感影像的多尺度变化特[0145]步骤4，将步骤1得到的测试集输入至步骤3训练好的遥感影像建筑物变化检测网[0147]步骤4.1，将步骤1得到的测试集输入网络中，加载步骤3.1训练好的遥感影像建筑物变化检测网络权重参数文件“best_[0150]本发明提出的一种基于孪生混合注意力机制和多