CN114627370B 一种基于transformer特征融合的高光谱影像分类方法 （青岛理工大学）

一种基于TRANSFORMER特征融合的高光谱影本发明提供的是一种基于TRANSFORMER特征融合的高光谱影像分类方法，通过将空-谱信息的特征融合是将三通道获取的影像分别输入Transformer的三个编码器中，然后利用解码器测是将Transformer融合的空谱特征输入到21.一种基于TRANSFORMER特征融合的高光谱影像分类方法，其特征在于，包括以下步12络均由三维和二维卷积神经网络组成，将三通道卷积神经网络挖掘得到的空-谱信息的特X3new12和T3输入三个Transformer的三个编码器中，这三个编码器具有相同的结S7：采用Transformer的解码器模块进行特征融合，将Xnew和Tnew融合，获得融合特征2.根据权利要求1所述的一种基于TRANSFORM3.根据权利要求1所述的一种基于TRANSFOR4.根据权利要求1所述的一种基于TRANSFORMER特征融合的高T3[0001]本发明涉及高光谱影像分类方法，特别是涉及一种基于TRANSFORMER特征融合的[0003]深度学习方法是目前较流行的高光谱分类方法，与传统出了一种改进的DBN模型，其中在预训练阶段使用多变量DBN和标准化的微调程序。然而，渐成为高光谱分类任务的主流骨干以提取有代表性的空间特征。Lee等人提出了一种上下了降低3DCNN的复杂性并更好地利用。Roy等人将2DCNN和3DCNN结合起来，构建了和一个Transformer分支组成，然后在BiFusion模块中融合。另一种方法其中的空间-变换器（SST）是通过融合CNN和Transformer来构建的。同时Qing等人将注意力机制与4更加有效地挖掘了高光谱影像中的光谱信息和空间信息，与此同时利用Transformer提取[0007]本发明目的在于提高高光谱遥感影像的分类精度，提出了一种基于TRANSFORMER更高层的深层关联信息，得到特征序列Tisw，将得到的Tisw级联后与从光谱空间信息挖掘模块得到的特征图共同输入到Transformer的Decoder模块进行融合，得到融合的空-谱56[0038]A;=(o(p(x⃞;w)))f[0039]其中P(.)表示具有可学习核weRCX的逐点卷积，o(.)是用于规范特征图。[0049]多头注意力机制使模型能够获得输入的不同子空间。通过多头自注意力机7[0050]MLP(T)=Dro(Lin(Dro(GELU(Lin($)TiE(1,2,3)[0063]使用Pytorch在配备有RTX3090GPU的IntelCorei5处理器的计算机上进行了十[0064]第一组实验重点研究训练样本比例(r)和输入图像块邻域宽度(s)对于本发明性们为IndianPines数据集选择了8[0069]对比方法包括基本的高光谱图像分类方法支持向量机（SVM）、二维卷积网络Transformer和VisionTransformer(ViT)。对比方法CNN-Transformer（CTF）是CNN和Transformer的级联结构。但它不包括编码器和解码器之间的融合框架，且CNN和置操作可以很好地挖掘光谱和空间信息。同时，图6中给出了IndianPines数据集的分类