CN116580252B 基于多尺度密集连接和特征聚合网络的高光谱图像分类方法 （西安电子科技大学）

(19)国家知识产权局(12)发明专利(10)授权公告号CN116580252B(21)申请号202310718315.9(22)申请日2023.06.16(65)同一申请的已公布的文献号申请公布号CN116580252A(43)申请公布日2023.08.11(73)专利权人西安电子科技大学路2号(74)专利代理机构陕西电子工业专利中心专利代理师田文英(56)对比文件审查员娄贝贝GO6V10/764(2022.01)权利要求书3页说明书9页附图5页(54)发明名称基于多尺度密集连接和特征聚合网络的高光谱图像分类方法(57)摘要本发明提出了一种基于多尺度密集连接和特征聚合网络的高光谱图像分类方法，其实现步骤为：构建光谱-空间特征提取模块；构建多尺度特征提取模块；构建多层次特征聚合模块；构建多尺度密集连接和特征聚合网络；利用生成的训练集训练多尺度密集连接和特征聚合网络；对高光谱图像进行分类。本发明能够更全面地捕捉高光谱图像的光谱-空间特征，并充分利用高光谱图像空间特征和不同层次特征，从而有效解决现有高光谱图像分类方法中光谱-空间特征表示不构建光谱-空间特征提取模块构建光谱-空间特征提取模块构建多尺度特征提取模块构建多层次特征聚合模块构建多尺度密集连接和特征聚合网络生成训练集和测试集训练多尺度密集连接和特征聚合网络获取高光谱图像分类结果21.一种基于多尺度密集连接和特征聚合网络的高光谱图像分类方法，其特征在于，分别构建光谱-空间特征提取模块、多尺度特征提取模块、多层次特征聚合模块；该分类方法的具体步骤如下：步骤1,构建光谱-空间特征提取模块：搭建光谱-空间特征提取模块，其结构中包含：第一卷积层，第一规范层，第一激活函数层，第四卷积层级联；同时，第一激活函数层和第二激活函数层还分别与concatenate层并联；将第一至第三卷积层的卷积核尺寸均设置为3×3×3,卷积核个数分别设置为8,16,24,将第四卷积层的卷积核尺寸设置为1×1×1,卷积核个数设置为16,将第一至第三卷积层的空洞率分别设置为1,2,3;第一至第三规范层均采用批标准化函数，激活函数层均采用线性步骤2,构建多尺度特征提取模块：搭建多尺度特征提取模块，其结构中包含：多尺度分支，残差分支，交叉注意力层；其中，多尺度分支和残差分支分别与交叉注意力层相联；所述多尺度分支中包含：第一卷积三融合层和concatenate层并联，第三激活函数层分别与第三融合层和concatenate层并联，第四激活函数层与concatenate层并联；将第一卷积层的卷积核尺寸设置为1×1,将第二至第五卷积层的卷积核尺寸均设置为3×3,卷积核个数依次均设置为16,空洞率分别设置为1,2,3,4,将第六卷积层的卷积核尺寸设置为1×1;第二至第五规范层均采用批标准化函数，激活函数层均采用线性整流函数；所述残差分支依次由第七卷积层，第七规范层，第七激活函数层级联；将第七卷积层的卷积核尺寸设置为3×3;第七规范层采用批标准化函步骤3,构建多层次特征聚合模块：搭建多层次特征聚合模块，其结构中包含：输入特征1,输入特征2,输入特征3,输入特征1,聚合特征2,聚合特征3,聚合特征4,concatenate层，第四卷积层；其中，输入特征1、第三融合层、第三卷积层和聚合特征1级联，输入特征2、第二融合层、第concatenate层分别与聚合特征1、聚合特征2、聚合特征3和聚合特征4相连，第一融合层与输入特征4相连，第二融合层与第一卷积层相连，第三融合层与第二卷积层相连；将第一至第四卷积层的卷积核尺寸均设置为3×3;3步骤4,构建多尺度密集连接和特征聚合网络：搭建多尺度密集连接和特征聚合网络，其结构中包含：光谱-空间特征提取模块、第一多尺度特征提取模块、第二多尺度特征提取模块、第三多尺度特征提取模块、多层次特征聚合模块和线性层；其中，光谱-空间特征提取模块、第一多尺度特征征提取模块、第三多尺度特征提取模块、多层次特征聚合模块和线性层级联；所述多层次特征聚合模块分别与光谱-空间特征提取模块、第一多尺度特征提取模块和第二多尺度特征提取模块并联；所述线性层依次由全局平均池化层，第一全连接层，第一激活函数层，第二全连接层，第二激活函数层级联；第一激活函数层采用线性整流函数，第二激活函数采用步骤5,生成训练集：选取一幅大小为145×145×200,空间分辨率为20m的高光谱遥感图像，共有包含200个可用光谱波段、16类土地覆盖物和10249个标记样本；对该高光谱遥感图像依次进行均值方差归一化、主成分分析降维、零值边缘填充操作的预处理；对预处理后的高光谱图像生成邻域块，并对所有邻域块进行随机采样；将采样得到的所有邻域块及其对应标签组成训练集；步骤6,训练多尺度密集连接和特征聚合网络：将训练集输入到多尺度密集连接和特征聚合网络中，使用交叉熵损失函数计算预测标签向量和真实标签向量之间的损失值，利用梯度下降法迭代更新网络参数，直到网络的损失函数收敛，得到训练好的多尺度密集连接和特征聚合网络；步骤7,对高光谱图像进行分类：采用与步骤5相同的方法，对待分类的高光谱图像进行处理；将处理后的高光谱图像输入到训练好的多尺度密集连接和特征聚合网络中，输出该高光谱图像中各像素的类别标2.根据权利要求1所述的基于多尺度密集连接和特征聚合的高光谱图像分类方法，其特征在于，步骤5中所述均值方差归一化指的是，计算高光谱遥感图像中每个波段的平均值和标准差；用每个波段所有像素值减去该波段的平均值后，再除以该波段的标准差完成中心化操作；计算高光谱遥感图像中每个波段的最大值和最小值；用每个像素点该波段的值减去该波段的最小值后，再除以该波段的最大值减去最小值完成标准化操作。3.根据权利要求1所述的基于多尺度密集连接和特征聚合的高光谱图像分类方法，其特征在于，步骤5中所述主成分分析降维指的是，计算均值方差归一化后的高光谱遥感图像协方差矩阵，其大小为b×b,其中b为高光谱数据的波段数；对协方差矩阵进行特征值分解，得到特征值和特征向量；对特征值进行排序，选取前k个特征值对应的特征向量，构成一个k×b的矩阵，该矩阵表示数据在降维后的新坐标系中的方向；将均值方差归一化后的高光谱数据投影到k×b组成的新坐标系中，得到降维后的高光谱图像。4.根据权利要求1所述的基于多尺度密集连接和特征聚合的高光谱图像分类方法，其特征在于，步骤5中所述零值边缘填充操作指的是，对降维后的高光谱图像在高度和宽度维度的边缘填充零值元素，其数目是邻域块大小的一半。5.根据权利要求1所述的基于多尺度密集连接和特征聚合的高光谱图像分类方法，其特征在于，步骤5中所述对预处理后的高光谱图像生成邻域块指的是，以预处理后图像中的每个像素点为中心，取固定大小21×21的区域作为邻域块。46.根据权利要求1所述的基于多尺度密集连接和特征聚合的高光谱图像分类方法，其特征在于，步骤5中所述对所有邻域块进行随机采样指的是，将生成的所有邻域块按其中心像素点类别分配到相应的16个类别集合中，将各类别集合中的邻域块按10%的训练比例进行随机采样，将所有采样得到的邻域块及其对应标签作为训练集；其中，各邻域块的标签为其中心像素点标签。7.根据权利要求1所述的基于多尺度密集连接和特征聚合的高光谱图像分类方法，其特征在于，步骤6中所述交叉熵损失函数如下：标签，In(·)表示以自然常数e为底的对数操作，y。′表示第n个样本的预测标签，L表示预测标签与真实标签之间的损失值。8.根据权利要求1所述的基于多尺度密集连接和特征聚合的高光谱图像分类方法，其特征在于，步骤6中所述梯度下降法如下：其中，@表示模型的权值参数，η表示取值为0.001的学习率，w′表示の迭代更新后的模型权值参数。5基于多尺度密集连接和特征聚合网络的高光谱图像分类方法技术领域[0001]本发明属于图像处理技术领域，更进一步涉及高光谱图像分类技术领域的一种基于多尺度密集连接和特征聚合网络的高光谱图像分类方法。本发明通过对高光谱图像中地背景技术[0002]高光谱图像是一种通过高光谱成像仪器对图像空间范围内地物目标在不同波长的光谱波段上进行同时成像得到的三维图像。相比于普通的彩色图像，高光谱图像可以提供更具区分度的信息，从而用于更精确的地物目标识别和分类。然而，高光谱图像分类技术也面临着如何在有限的训练样本情况下提高分类精度这一挑战。[0003]基于深度学习的高光谱图像分类方法能够自动学习图像中的特征，并通过增加网DBN(DeepBeliefNetwork)、卷积神经网络CNN(ConvolutionalNeuralNetworks)和循环神经网络RNN(RecurrentNeuralNetwork)等模型被广泛应用于高光谱图像分类任务中。其中，CNN因其优异的特征提取能力而取得最好性能。然而，由于高光谱图像具有较高的空间和光谱分辨率，CNN仍然存在空间和光谱特征提取不足的问题。如何充分提取高光谱图像中的空间和光谱信息是提高分类精度的关键。[0004]2D-CNN可以提取高光谱图像的空间特征，但无法提取光谱特征；而3D-CNN可以同时提取空间特征和光谱特征，但计算量较大。将2D-CNN和3D-CNN结合可以进一步提高分类性能。[0005]Roy等人在其发表的论文“HybridSN:Exploring3-D-2-DCNNFeatureGeoscienceandRemoteSensing,2020:277-281)中提出了一种结合3D-CNN和2D-CNN的混合光谱卷积网络(HybridSN)的高光谱图像分类方法。该方法结合了二维和三维卷积的优势，在设计的网络结构中首先使用三层三维卷积，再使用一层二维卷积，最后堆叠两层全连接层和一个Softmax层。这样既发挥了三维卷积的优势，充分提取了光谱-空间特征，也避免了完全使用三维卷积而导致的模型复杂。然而，该方法仍然存在的不足之处在于，仅使用单一尺度卷积核只能捕捉特定大小的特征，导致光谱-空间特征表示不足，无法适应其他不同大小的目标，由此限制了对高光谱图像中不同大小目标的分类，影响了整个图像的分类准确率。[0006]此外，不同的光谱波段和空间像素对分类结果的贡献不同，通过注意力机制突出富含有效信息的波段和像素可以显著提高分类的总体准确度。[0007]西安电子科技大学在其申请的专利文献“基于注意力机制和权值共享的高光谱图种基于注意力机制和权值共享的高光谱图像分类方法。该方法构建的特征提取网络包含三个权值共享且结构相同的特征提取分支，三个分支分别输入不同尺度大小的邻域块以提取6多尺度特征。并且通过在特征提取网络中加入注意力机制从而使模型更加关注重要特征。然而，该方法仍然存在的不足之处在于，并未考虑CNN的多层次特征，带来的存在大量冗余信息和多层次特征未被充分利用，由此限制了对高光谱图像特征的充分利用，从而影响了整个图像分类的平均准确度。发明内容[0008]本发明的目的在于针对上述现有技术的不足，提出了一种基于多尺度密集连接和特征聚合网络的高光谱图像分类方法，旨在解决现有高光谱图像分类方法中光谱-空间特征表示不足、存在大量冗余信息和多层次特征未被充分利用的问题。[0009]为了实现本发明的目的，提出了以下技术思路：本发明构建了一种包含有光谱-空间特征提取模块、多尺度特征提取模块和多层次特征聚合模块的多尺度密集连接和特征聚合网络。由于光谱-空间特征提取模块可以充分利用空洞卷积层提取高光谱图像中的不同目标的尺度特征，由此解决了现有技术单一尺度卷积导致的光谱-空间特征表示不足的问题。由于本发明构建的多尺度特征提取模块，使用多尺度分支提取整个图像中的多尺度空间特征，使用残差分支使信息在浅层和深层之间流动，并使用交叉注意力增强两个分支的特征融合，由此解决了现有技术中空间特征提取不充分和存在大量冗余信息的问题。由于本发明构建的多层次特征聚合模块可以将多个多尺度特征提取模块提取的不同层次特征进行聚合，由此解决了现有技术中多层次特征未被充分利用的问题。[0010]为了实现上述目的，本发明的具体步骤包括[0011]步骤1,构建光谱-空间特征提取模块：卷积层，第二规范层，第二激活函数层，第三卷积层，第三规范层，第三激活函数层，concatenate层，第四卷积层级联；同时，第一激活函数层和第二激活函数层还分别与concatenate层并联；将第一至第三卷积层的卷积核尺寸均设置为3×3×3,卷积核个数分别设置为8,16,24,将第四卷积层的卷积核尺寸设置为1×1×1,卷积核个数设置为16,将第一至第三卷积层的空洞率分别设置为1,2,3;第一至第三规范层均采用批标准化函数，激活函数层均采用线性整流函数；[0013]步骤2,构建多尺度特征提取模块：其中，多尺度分支和残差分支分别与交叉注意力层相联；所述多尺度分支中包含：第一卷积7三融合层和concatenate层并联，第三激活函数层分别与第三融合层和concatenate层并联，第四激活函数层与concatenate层并联；将第一卷积层的卷积核尺寸设置为1×1,将第二至第五卷积层的卷积核尺寸均设置为3×3,卷积核个数依次均设置为16,空洞率分别设置为1,2,3,4,将第六卷积层的卷积核尺寸设置为1×1;第二至第五规范层均采用批标准化函数，激活函数层均采用线性整流函数；所述残差分支依次由第七卷积层，第七规范层，第七激活函数层级联；将第七卷积层的卷积核尺寸设置为3×3;第七规范层采用批标准化函[0015]步骤3,构建多层次特征聚合模块：[0016]搭建多层次特征聚合模块，其结构中包含：输入特征1,输入特征2,输入特征3,输合特征1,聚合特征2,聚合特征3,聚合特征4,concatenate层，第四卷积层；其中，输入特征特征2级联，输入特征3、第一融合层、第一卷积层和聚合特征3级联，输层与输入特征4相连，第二融合层与第一卷积层相连，第三融合层与第二卷积层相连；将第一至第四卷积层的卷积核尺寸均设置为3×3;[0017]步骤4,构建多尺度密集连接和特征聚合网络：[0018]搭建多尺度密集连接和特征聚合网络，其结构中包含：光谱-空间特征提取模块、第一多尺度特征提取模块、第二多尺度特征提取模块、第三多尺度特征提取模块、多层次特征聚合模块和线性层；其中，光谱-空间特征提取模块、第一多度特征提取模块、第三多尺度特征提取模块、多层次特征聚合模块和线性层级联；所述多层次特征聚合模块分别与光谱-空间特征提取模块、第一多尺度特征提取模块和第二多尺度特征提取模块并联；所述线性层依次由全局平均池化层，第一全连接层，第一激活函数层，第二全连接层，第二激活函数层级联；第一激活函数层采用线性整流函数，第二激活函数采用softmax函数；[0020]选取一幅大小为145×145×200,空间分辨率为20m的高光谱遥感图像，共有包含200个可用光谱波段、16类土地覆盖物和10249个标记样本；对该高光谱遥感图像依次进行均值方差归一化、主成分分析降维、零值边缘填充操作的预处理；对预处理后的高光谱图像生成邻域块，并对所有邻域块进行随机采样；将采样得到的所有邻域块及其对应标签组成[0021]步骤6,训练多尺度密集连接和特征聚合网络：[0022]将训练集输入到多尺度密集连接和特征聚合网络中，使用交叉熵损失函数计算预测标签向量和真实标签向量之间的损失值，利用梯度下降法迭代更新网络参数，直到网络的损失函数收敛，得到训练好的多尺度密集连接和特征聚合网络；[0023]步骤7,对高光谱图像进行分类：[0024]采用与步骤5相同的方法，对待分类的高光谱图像进行处理；将处理后的高光谱图像输入到训练好的多尺度密集连接和特征聚合网络中，输出该高光谱图像中各像素的类别8[0025]本发明与现有技术相比具有以下优点：[0026]第一，本发明构建了一个光谱-空间特征提取模块，克服了现有技术中光谱-空间特征表示不充分的不足，实现了不同尺度的光谱-空间特征的提取，使得本发明能够更全面地捕捉高光谱图像的光谱-空间特征，从而有效提升了模型的特征表达能力。[0027]第二，本发明构建了一个多尺度特征提取模块，克服了现有技术中空间特征提取不充分和存在大量冗余信息的不足，实现了多尺度空间特征提取和交叉注意力增强特征融合，使得本发明更加充分利用高光谱图像空间特征，从而有效地提升了高光谱图像的分类准确率。[0028]第三，本发明构建了一个多层次特征聚合模块，克服了现有技术中多层次特征未被充分利用的不足，实现了将多个多尺度特征提取模块提取的不同层次特征进行聚合，使得本发明可以充分利用不同层次特征的互补性和相关性，从而进一步增强模型的特征表达能力和分类性能。附图说明[0029]图1是本发明的流程图；[0030]图2是本发明构建的光谱-空间特征提取模块结构示意图；[0031]图3是本发明构建的多尺度特征提取模块结构示意图；[0032]图4是本发明构建的多层次特征聚合模块结构示意图；[0033]图5是本发明构建的多尺度密集连接和特征聚合网络结构示意图。具体实施方式[0034]下面结合附图和实施例，对本发明作进一步的详细描述。[0035]参照图1,对本发明的具体实现步骤做进一步的详细描述。[0036]本发明所构建的多尺度密集连接和特征聚合网络由光谱-空间特征提取模块、第一多尺度特征提取模块、第二多尺度特征提取模块、第三多尺度特征提取模块、多层次特征聚合模块和线性层组成；其中，所述多尺度特征提取模块包含多尺度分支、残差分支和交叉注意力层。[0037]步骤1,构建光谱-空间特征提取模块。[0038]参照图2,对本发明构建的光谱-空间特征提取模块做进一步的描述。卷积层，第二规范层，第二激活函数层，第三卷积层，第三规范层，第三激活函数层，concatenate层，第四卷积层级联；同时，第一激活函数层和第二激活函数层还分别与concatenate层并联；将第一至第三卷积层的卷积核尺寸均设置为3×3×3,卷积核个数分别设置为8,16,24,将第四卷积层的卷积核尺寸设置为1×1×1,卷积核个数设置为16,将第一至第三卷积层的空洞率分别设置为1,2,3;第一至第三规范层均采用批标准化函数，激活函数层均采用线性整流函数。[0040]步骤2,构建多尺度特征提取模块。9[0041]参照图3,对本发明构建的多尺度特征提取模块做进一步的描述。其中，多尺度分支和残差分支分别与交叉注意力层相联；所述多尺度分支中包含：第一卷积三融合层和concatenate层并联，第三激活函数层分别与第三融合层和concatenate层并联，第四激活函数层与concatenate层并联；将第一卷积层的卷积核尺寸设置为1×1,将第二至第五卷积层的卷积核尺寸均设置为3×3,卷积核个数依次均设置为16,空洞率分别设置为1,2,3,4,将第六卷积层的卷积核尺寸设置为1×1;第二至第五规范层均采用批标准化函数，激活函数层均采用线性整流函数；所述残差分支依次由第七卷积层，第七规范层，第七激活函数层级联；将第七卷积层的卷积核尺寸设置为3×3;第七规范层采用批标准化函[0043]步骤3,构建多层次特征聚合模块。[0044]参照图4,对本发明构建的多层次特征聚合模块做进一步的描述。[0045]搭建多层次特征聚合模块，其结构中包含：输入特征1,输入特征2,输入特征3,输合特征1,聚合特征2,聚合特征3,聚合特征4,concatenate层，第四卷积层；其中，输入特征1、第三融合层、第三卷积层和聚合特征1级联，输入特征特征2级联，输入特征3、第一融合层、第一卷积层和聚合特征3级联，输层与输入特征4相连，第二融合层与第一卷积层相连，第三融合层与第二卷积层相连；将第一至第四卷积层的卷积核尺寸均设置为3×3。[0046]步骤4,构建多尺度密集连接和特征聚合网络。[0047]参照图5,对本发明构建的多尺度密集连接和特征聚合网络做进一步的描述。[0048]搭建多尺度密集连接和特征聚合网络，其结构中包含：光谱-空间特征提取模块、第一多尺度特征提取模块、第二多尺度特征提取模块、第三多尺度特征提取模块、多层次特征聚合模块和线性层；其中，光谱-空间特征提取模块、第一多度特征提取模块、第三多尺度特征提取模块、多层次特征聚合模块和线性层级联；所述多层次特征聚合模块分别与光谱-空间特征提取模块、第一多尺度特征提取模块和第二多尺度特征提取模块并联；所述线性层依次由全局平均池化层，第一全连接层，第一激活函数层，第二全连接层，第二激活函数层级联；第一激活函数层采用线性整流函数，第二激活函数采用softmax函数。[0050]步骤5.1,数据预处理；本发明实施例中选取一幅大小为145×145×200,空间分辨后用每个波段所有像素值减去该波段的平均值后，再除以该波段的标准差完成中心化操[0052]所述主成分分析降维首先计算均值方差归一化后的高光谱遥感图像协方差矩阵，[0053]所述零值边缘填充操作对降维后的高光谱图像在高度和宽度维度的边缘填充零×21的区域作为邻域块；然后将生成的10249个邻域块按其中心像素点类别分配到相应的16个类别集合中；最后将各类别集合中的邻域块按10%的训练比例进行随机采样，采样得[0059]第二步，使用下述的交叉熵函数计算预测标签向量和真实标签向量之间的损失[0070]本发明的仿真实验的软件平台为：操作系统为Windows10,编程语言为python3.7,编程软件为Pycharm2022,深度学习框架为Pytorch。[0072]IndianPines数据集是一幅大小为145地物类别123456789hyperspectralremotesensingimagesw[0080]现有技术光谱-空间残差网络SSRN分类方法是指，Zilong