CN119445257A 基于多尺度卷积傅里叶和双分支自注意力的高光谱图像分类方法 （西安电子科技大学）

基于多尺度卷积傅里叶和双分支自注意力本发明公开一种基于多尺度卷积傅里叶和度Transformer编码器模块和多层感知机分类头测试样本集输入到训练好的分类网络模型得到21.一种基于多尺度卷积傅里叶和双分支自注意力的高光谱图像分类方法，其特征在(1)获取包含多个目标类别的高光谱数据集，对高光谱数据集中的高光谱图像进行预双分支多尺度自注意力子模块的输出端残差连接，第二归一化层的输入端与多尺度卷积2.根据权利要求书1所述的方法，其特征在于，所述多尺度卷积子模块，其包括三个并行的3D卷积块和第一2D卷积3第一3D卷积块，其由卷积核大小为3×3×3的第一3D卷积层、第第二3D卷积块，其由卷积核大小为5×5×5的第二3D卷积层、第第三3D卷积块，其由卷积核大小为7×7×7的第三3D卷积层、第第一2D卷积块，其由卷积核大小为1×1的第一2D卷积层、第一BatchNorm2d层和第四所述多尺度轻量化快速傅里叶卷积子模块，其包括两个并联的轻两个轻量化快速傅里叶卷积块的输出特征和输入特征进行拼接后输入到第二2D卷积第二2D卷积块，其由卷积核大小为1×1的第二2D卷积层、第二BatchNorm2d层和第五全局分支，包括两个并行进行的DW卷积和一个光谱变换模块，全所述局部分支中的第一DW卷积的输出结果与全局分支的第一DW卷积的输出结果相加，所述全局分支中的光谱变换模块输出结果与局部分支第二多尺度全局下采样自注意力分支，其采用平均池化作4将注意力分数attn1和注意力分数attn2进行拼接，拼接的结果通过Softmax函数后拆多尺度DW卷积块包含两个并行的DW卷积，其卷积核大小分8.根据权利要求1所述的方法，其特征在于，步(3b)利用交叉熵损失函数计算训练样本集中样本的真实标签与预测标签之间的损失5[0002]高光谱图像是通过光学传感器对同一场景在不同的光谱波段下拍摄所得的一组[0003]Zhou等人在其发表的论文“Anovelspatial_spectralpyramidnetworkforhyperspectralimageclassification”(IEEETransactionsonGeoscienceandRemoteSensing,2023)中提出了一种新的高光谱图像分类模型，称为光谱空间金字塔网络。该模型利用三维卷积和多尺度卷积相结合的方法提取了大量的不同的空间光谱特征，这种卷积神经网络的分类方法由于受限于卷积核的大小，忽略了高光谱图像的全局信息。[0005]Roy等人在其发表的论文“Spectra_spatialmorphologicalattentiontransformerforhyperspectralimageclassification”(IEEETransactionsonGeoscienceandRemoteSensing,2023,61:1_15)中提出了一种新型的基于Transformer6征提取不充分的问题；通过在双分支多尺度Transformer编码器中使用双分支多尺度自注[0010](1)获取包含多个目标类别的高光谱数据集，对高光谱数据集中的高光谱图像进[0016](2e)将多尺度卷积傅里叶特征提取模块、特征令牌化模块、双分支多尺度Transformer编码器模块和多层感知机分类头依次级联，构成基于多尺度卷积傅里叶和双[0018](4)将测试样本集输入到训练好的分类网络模型的，得到每个测试样本对应的分7[0032](1.2)对降维后的高光谱图像逐波段并行进行简单线性迭代聚类超像素分割[0034](1.4)对高光谱图像的点类别分配到相应的类别集合中，将各类别集合中的邻域块按每类10个训练样本进行采分支多尺度Transformer编码器模8[0038](2.1)建立包括串联的多尺度卷积子模块和多尺度轻量化快速傅里叶卷积子模块[0044]所述多尺度轻量化快速傅里叶卷积子模块包括两个并联的轻量化快速傅里叶卷[0047]将局部分支中的第一DW卷积的输出结果与全局分支的第一DW卷积的输出结果相[0048]该第二2D卷积块由卷积核大小为1×1的第二2D卷积层、第二BatchNorm2d层和第尺度卷积MLP子模块的双分支多尺度Transformer编9[0056]将注意力分数attn1和注意力分数attn2进行拼接，拼接的结果通过Softmax函数后拆分为新的注意力分数attn1,和新的注意力分数attn2,，并分别将attn1,与值V1和[0057]如图5所示，所述多尺度卷积MLP子模块Multi_ConvMLP包括依次连接的第一2D卷第二归一化层的输入端与多尺度卷积MLP子模块的输出端残差连接，构成双分支多尺度[0061](2.4)构建包括一个线性层的多层感知[0064](3.2)将高光谱图像训练样本集中的每个样本作为高光谱图像分类网络模型的输[0067](3.3)使用下述的交叉熵函数计算训练样本集中样本的真实标签与预测标签之间[0082]第一个高光谱数据集是采用AVIRISsensor在印第安纳州西北部的IndianPines[0083]第二个数据集是利用ROSIS高光谱遥感卫星在意大利北部帕维亚大学拍摄获得的[0084]第三个数据集是采用AVIRISsensor在美国加利福尼亚州SalinasValley上空收[0085]第四个数据集是用NASAEO_1卫星在博茨瓦纳奥卡万戈三角洲上空采集的类地物类别123456789类地物类别1Brocoli_green_weeds_123456789[0097]仿真1.采用本发明与现有的九种方法3DCNN、SSRN、HybridSN、A2S2K_ResNet、[0100]仿真2.采用本发明与现有的九种方法3DCNN、SSRN、HybridSN、A2S2K_ResNet、[0103]仿真3.采用本发明与现有的九种方法3DCNN、SSRN、HybridSN、A2S2K_ResNet、[0107]仿真4.采用本发明与现有的九种方法3DCNN、SSRN、HybridSN、A2S2K_ResNet、越多，模型训练所需的计算资源和时间成本就越高。因此，在相同分类精度的情况下，练样本有限的情况下以更低的计算复杂度得到更好的高光卷积傅里叶特征提取模块能够从频域和空间域联合提取高光谱图像中多尺度的局部与全局特征，充分挖掘高光谱图像的深层语义信息；该分类网络模型中的双分支多尺度Transformer使用了双分支多尺度自注意力模仿生物视觉对像素间的全局关系进行建模，[0118]所述3DCNN，是指Luo等人在“HSI_CNN:Anovelconvolutionneuralnetworkforhyperspectralimage[C]//2018InternationalConferenceonAudio,Language[0119]所述SSRN，是指Zhong等人在“Spectral_spatialresidualnetworkforhyperspectralimageclassification:A3_Ddeeplearningframework[J].IEEE[0120]所述HybridSN，是指Roy等人在“HybridSN:Exploring3_D–2_DCNNfeaturehierarchyforhyperspectralimageclassification[J].IEEEGeoscienceandRemoteSensingLetters,2019,17(2):277_281”中提出的基于三维卷积和二维卷积的高[0121]所述A2S2K_ResNet，是指Roy等人在“Attention_basedadaptivespectral_spatialkernelResNetforhyperspectralimageclassification[J].IEEE于注意力机制的高光谱图像分类方法A2S2K[0122]所述GAHT，是指Mei等人在“Hyperspectralimageclassificationusinggroup_awarehierarchicaltransformer[J].IEEETransactionsonGeoscienceand[0123]所述SSFTT，是指Sun等人在“Spectral_spatialfeaturetokenizationtransformerforhyperspectralimageclassification[J].IEEETransactionsonGeoscienceandRemoteSensing,2022,60:1_14”中提出的基于transformer的高光谱图[0124]所述CTMixer，是指Zhang等人在“Convolutiontransformermixerforhyperspectralimageclassification[J].IEEEGeoscienceandRemoteSensing[0125]所述MorphFormer，是指Roy等人在“Spectral_spatialmorphologicalattentiontransformerforhyperspectralimageclassification[J].IEEE和transformer的高光谱图像分类方法Morp[0126]所述MASSFormer，是指Sun等人在“MASSFormer:Memory_AugmentedSp