CN117975268B 基于Transformer增强的双流互补卷积神经网络的高光谱图像分类方法 （齐齐哈尔大学）

基于Transformer增强的双流互补卷积神经块和由Transformer组成的注意力模块；混合卷积块旨在挖掘基于局部依赖性的高分辨率的特和空间通道中的关键特征；然后从SpeFES和谱空间权重特征互补模块通过空间标记的光谱权重和光谱标记的空间权重来充分利用标记中大多数基于卷积神经网络和Transformer的方法无法充分利用高光谱图像中的光谱和空间特征21.基于Transformer增强的双流互补卷积神经网络的高光谱图像分类方法，其特征在所述SpeFES包括光谱混合卷积模块和由Transformer编码器组成的光谱注意力机制，由Transformer编码器组成的空间注意力机制和空间混合卷积模块，混合卷积模块使用简所述混合卷积模块由五个卷积层组成，五个卷积层包括四个3D卷积层m+4))*km+1+Sm+1；所述光谱混合卷积模块和空间混合卷积模块处理后的特征图Aspe∈Rcxhxw和Bspa∈Rc步骤S2，采用光谱一空间权重特征互补模块来补充光谱特征To所述光谱空间权重特征互补模块基于矩阵U计算每一个tclsToken中每个元素的期望32.根据权利要求1所述的基于Transformer增强的双流互补卷积神经网络的高光谱图f(x)＝xtanh(softpl3.根据权利要求1所述的基于Transformer增强的双流互补卷积神经网络的高光谱图得通道维度为64的包含不同类型特征的Token之前，还需对这些3D斑块进行Token化处理，具体过程为将clsTokenfERC和POSTokencffERxe分别添加到Aspe∈Rhwx64和Bspa∈Rhw有效地嵌入到光谱和空间Transformer编4.根据权利要求1所述的基于Transformer增强的双流互补卷积神经网络的高光谱图征互补模块将光谱和空间注意力机制的处理之后的和Token从光谱特征Token和空使用自注意力机制来互相补充和中的权重特征，它们被分别作为光谱Token和空间5.根据权利要求1所述的基于Transformer增强的双流互补卷积神经网络的高光谱图望矩阵表达为U∈RCxclass，其中C是元素的总数，基于期望矩阵U计算每一个tclsToken的E46.根据权利要求1所述的基于Transformer增强的双流互补卷积神经网络的高光谱图像分类方法，其特征在于：所述步骤S3的分类过程为基于步骤S2得到的光谱和空间特征Token分别经过Reshape操作处理，并将光谱和空间特征Token输入到具有批量归一化和一个具有光谱空间语义特征的特征Token并通过全连接层获得最终的分类5[0001]本发明涉及图像分类方法领域，具体为基于Transformer增强的双流互补卷积神[0002]遥感技术的发展促进了在数百至数千个光谱带中具有丰富光谱特征和空间特征SwinTransformer网络表现出更好的性能。尽管纯Transformer方法能够捕捉全局范围的[0004]本发明的目的在于提供基于Transformer增强的双流互补卷积神经网络的高光谱6[0005]为实现上述目的，基于Transformer增强的双流互补卷积神经网络的高光谱图像[0006]步骤S1，高光谱图像的高分辨率和光谱一空间通道中的关键性特征提取，使用[0007]所述SpeFES包括光谱混合卷积模块和由Transformer编码器组成的光谱注意力机包括由Transformer编码器组成的空间注意力机制和空间混合卷积模块，混合卷积模块使m+4))*km+1+Sm+1)+f(Xm+3Rc×h×w还需分别进行Token(标记)化的预处理，获取输出通道为64的光谱Token和空间Token，然后将光谱Token(光谱标记)和空间Token(空间标记)分别喂入光谱和空间注意力[0014]步骤S2，采用光谱一空间权重特征互补模块来补充光谱特征Token和空间特征[0021]所述光谱空间权重特征互补模块基于矩阵U计算每一个tclsToken中每个元素的期望的E(xi)并将其作为相应Token的7程为将clsTokenefERX"(在光谱特征图i中表示spe，在空间特征图中i表示spa)和和空间特征Token有效地嵌入到光谱和空间Transformer编块将光谱和空间注意力机制的处理之后的和Token从光谱特征Token和空间特征注意力机制来互相补充和中的权重特征，它们被分别作为光谱Token和空间Token8[0041]优选的：所述步骤S3的分类过程为基于步骤S2得到的光谱和空间特征Token分别空间语义特征的特征Token并通过全连接层获得线，即SpeFES和SpaFES，SpeFES用于提取光谱特征，其中包含了混合卷积模块和由Transformer编码器组成的光谱注意力机制，光谱混合卷积模块旨在提取高分辨率的光谱特征图被馈送到光谱注意力机制中，使网络能够捕获基于全局依赖性的关键性特征，与[0047]图4为本发明和各种对比方法在四个高光谱图像数据集上基于样本比的总体精度9[0058]步骤S1，高光谱图像的高分辨率和光谱一空间通道中的关键性特征提取，使用[0059]所述SpeFES包括光谱混合卷积模块和由Transformer编码器组成的光谱注意力机包括由Transformer编码器组成的空间注意力机制和空间混合卷积模块，混合卷积模块使)+f(Xm+3Rc×h×w还需分别进行Token(标记)化的预处理，获取输出通道为64的光谱Token和空间Token，然后将光谱Token(光谱标记)和空间Token(空间标记)分别喂入光谱和空间注意力[0066]步骤S2，采用光谱一空间权重特征互补模块来补充光谱特征Token和空间特征[0073]所述光谱空间权重特征互补模块基于矩阵U计算每一个tclsToken中每个元素的期望的E(xi)并将其作为相应Token的提取的双流水线，即spectralfeatureexcavationstream(SpeFES)和spatialfeatureexcavationstream(SpaFES)，SpeFES用于提取光谱特征，包括光谱混合卷积模块和由Transformer编码器组成的光谱注意力机制，光谱混合卷积模块旨在提取高分辨率的光谱m+4))*km+1+Sm+1)+f(Xm+3[0094]本实施例从帕维亚大学场景数据中随机选择一个尺寸为(h×w×d)的3D斑块，然二层和第四层中卷积核的大小设置为(3×3×1)，在第五层中的空间卷积核大小设置为(1[0103]了更好地将混合卷积模块处理后得到的斑块嵌入到Transformer编码器中，需要[0104]首先，需要对分别来自光谱混合卷积模块和空间混合卷积模块的两个特征图Aspe3D斑块进行Token化处理过程中包括将clsToken(在光谱特征图i中表示sp空间特征图中i表示spa)和posTokenfERe(在光谱特征图中i表示spe，在空间特征图fER和分别用于分征Token有效地嵌入到光谱和空间Transformer编后并分别构建两个新的和Token，然后，[0115]为了提取特征Token的语义特征，首先对xi∈tcls中的每个元素xi进行softmax处理，然后为每个xi分配一个概率向量pi∈Rclass，其class表示待分类地面所包含的种类数i的期望值E(xi)。光谱空间权重特征互补模块将提取到的光谱和空间特征分别与原有的光谱和空间特征相[0125]本实施例中，经过以上模块的处理后，得到的两个具有语义特征Token分别经过4中，本文描述了各种方法在四个高光谱图像数据集上的总体精度(OA)随着不同训练样本[0130]通常情况下，增加训练样本量的比例可以为数据驱动网络提供更具区分性的特×13时，OA开始下降，特别是在肯尼迪航天中数据集上，与11×11大小的patch相比，当[0134](2)WHU_Hi_Honghu:WHU_Hi_Honghu(Honghu)图像具有940×[0137]为了评估网络的有效性，本发明采用十种不同的高光谱图像分类方法与TECCNet提取残差块中使用了尺寸为(1×1×7)卷积核，在空间特征提取残差块中使用了尺寸为(3[0140](2)FDSSC:FDSSC是专为高光谱图像分类而设计的光谱_空间网络，它采用深度结构,使用尺寸(9×9×b)的卷积核来提取光谱特征，同时使用尺寸为(7×7×7)的卷积核来利用HResNet块来提取多尺度特征，并应用了注意机制来自动校准不同尺度的光谱和空间[0145](7)OSDN:OSDN由两个不同的特征提效地将CNN和自注意机制合并起来从而用于高光谱图像分类，该网络采用两个独立分支来光谱图像块的空间尺寸为(11×11)，每次输入网络的图像块的数量为32，训练周期数为试集中所有类别目标的分类准确率的期望值，Kappa反映了测试集中目标的真实标签与预[0151]本实施例旨在评估TECCNet与基于CNN的方法、基于CNN_Attention的方法和基于CNN_Transformer的方法相比的有效性，其中基于CNN的方法包括SSRN和FDSSC，基于CNN_方法包括SSFTT和MVAHN，这些方法都是使用随机抽样的训练集和测试集进行训练和评估的，在表格8到表格11中记录了这些方法在四个数据集上的总体准确率(OA)、平均准确率[0153]Theaccuracyofc[0156]表9Theaccuracyofc表10Theaccuracyofclassificationfor表10TheaccuracyofclassificationforvariousmethodsontheHouston.[0161]表11Theaccuracyofclassificatio于PU数据集的分类结果如表8所示，就总体准确率(OA)而言，TECCNet在OA方面分别高于混合卷积模块来共同提取高分辨率的光谱和空间特征，然后应用光谱_空间权重特征互补于其特征提取过程仅依赖于3D卷积层和2D卷积层，因此导致特征提取不足，尽管使用了Transformer编码器，信息提取不足仍然导致不满意的分类结果，MVAHN将CNN与Hi_Honghu场景以及休斯顿大学场景进行了实验，从表格9和表格10可以看出，TECCNet在高于其他方法，从WHU_Hi_Honghu分