融合注意力机制与空谱信息的高光谱图像分类技术探索与实践

融合注意力机制与空谱信息的高光谱图像分类技术探索与实践一、引言1.1研究背景与意义高光谱图像（HyperspectralImage,HSI）是一种通过高光谱成像技术获取的具有高光谱分辨率的遥感图像。它在电磁波谱的可见光、近红外、短波红外等波谱区域中，以连续且细分的光谱波段对目标区域成像，通常包含数十至数百个连续的光谱波段，光谱分辨率可达纳米量级。这种高分辨率的光谱信息使得高光谱图像能够详细描述物体的光谱特性，如同为地物赋予了独特的“光谱指纹”。凭借这一特性，高光谱图像在众多领域展现出了巨大的应用潜力。在农业领域，通过分析不同作物在不同生长阶段的光谱特征，高光谱图像可用于农作物的成分定量分析、种类识别以及作物疫病监测，从而为精准农业提供关键数据支持，助力农业生产实现科学化、精细化管理。在军事方面，它能够快速准确地获取地形地貌、地质结构以及军事目标的相关信息，为军事决策、战场态势感知和战略部署提供有力保障。在环境监测领域，高光谱图像能够定量分析污染指标，对水体、土壤和大气中的污染物进行快速检测和识别，为环境污染治理提供科学依据。此外，在地质勘探、生态研究、气象监测等领域，高光谱图像也都发挥着不可或缺的作用。高光谱图像分类技术作为遥感信息处理的核心环节，对于充分挖掘高光谱图像的潜在价值具有不可替代的作用。无论是地物监测、农田规划还是GPS定位等应用，都离不开高光谱遥感影像的准确分类。地物监测中，精确的分类能够实时掌握土地利用变化、植被覆盖动态以及城市扩张等情况，为资源管理、环境保护和城市规划提供及时准确的数据支持。农田规划方面，通过对土壤类型、作物生长状况等信息的分类识别，可以实现合理的种植布局规划，提高农业生产效率。GPS技术结合高光谱图像分类，能够实现更加精准的定位和导航服务，在智能交通、物流配送和应急救援等领域发挥重要作用。高光谱图像分类不仅是后续数据处理的前提和基础，更是推动高光谱图像在各个领域广泛应用的关键技术。其分类结果的准确性直接影响到相关决策的科学性和可靠性，对提高生产效率、保护生态环境、保障国家安全等方面都具有深远的现实意义。然而，高光谱图像分类任务面临着诸多挑战。一方面，高光谱图像具有高维度的特点，数据量巨大且波段之间存在高度相关性，这不仅增加了数据处理的难度和计算成本，还容易导致“休斯”现象，即当训练样本数量有限时，随着特征维度的增加，分类器的性能反而会下降。另一方面，高光谱图像中存在“同物异谱”和“异物同谱”现象，即同一地物在不同的环境条件下可能具有不同的光谱特征，而不同地物却可能具有相似的光谱特征，这进一步增加了分类的难度，使得传统的分类方法难以取得理想的分类效果。此外，高光谱图像分类在训练过程中还存在训练样本有限且对图像信息利用不充分、对图像中细小物体分类错误、对图像中物体边缘区域的分类不准确等问题。为了应对这些挑战，近年来研究人员提出了许多高光谱图像分类方法。其中，将注意力机制和空谱结合的方法成为了研究的热点之一。注意力机制能够使模型自动关注图像中重要的区域和特征，有效缓解数据稀疏性和过拟合问题，提高模型对关键信息的提取能力。而空谱结合方法则充分利用高光谱图像的空间信息和光谱信息，弥补了仅利用单一信息进行分类的不足，从而能够更全面地描述地物的特征，提高分类的准确性。因此，开展基于注意力机制和空谱结合的高光谱图像分类方法研究，对于提高高光谱图像分类精度、推动高光谱图像在各领域的广泛应用具有重要的理论意义和实际应用价值。1.2国内外研究现状高光谱图像分类作为遥感领域的重要研究方向，一直受到国内外学者的广泛关注。随着技术的不断发展，各类分类方法层出不穷，从早期基于光谱特征的传统分类方法，到如今融合多种信息和先进技术的智能分类方法，每一次的突破都推动着该领域向前迈进。同时，注意力机制在深度学习中的广泛应用以及空谱结合方法在高光谱图像分析中的深入研究，也为高光谱图像分类带来了新的思路和发展机遇。在高光谱图像分类的早期阶段，基于光谱特征的分类方法占据主导地位。光谱角匹配法（SpectralAngleMatching,SAM）由Kruse等人于1993年提出，该方法通过计算待分类像元的光谱向量与参照光谱向量的夹角大小来判断类别，认为夹角越小，两个向量所代表的光谱越相似，像元属于同类的可能性就越大。然而，SAM方法仅仅考虑了光谱的形状特征，忽略了不同物体可能具有相似光谱特性的情况，容易导致分类错误。为了克服这一问题，后续学者进行了诸多改进研究。如2010年，Cho等人提出用多单元SAM代替传统SAM，有效降低了种内光谱变异对分类器的影响；2013年，韩静等人提出光谱角匹配加权核特征空间分离变换算法，突出了主成分数据的贡献，增强了目标和背景数据的分布差异，提高了分类精度。光谱信息散度（SpectralInformationDivergence,SID）与SAM在算法思想上有相似之处，其通过计算光谱曲线的信息熵来衡量光谱之间的相似程度，认为信息熵差异越小，光谱越相似。随着计算机技术和机器学习理论的发展，基于机器学习的分类方法逐渐成为研究热点。支持向量机（SupportVectorMachine,SVM）凭借其在小样本、非线性分类问题上的优势，在高光谱图像分类中得到了广泛应用。SVM通过寻找一个最优分类超平面，将不同类别的样本尽可能分开，能够有效处理高维数据。然而，SVM的性能依赖于核函数的选择和参数调整，对于复杂的高光谱数据，难以找到最佳的核函数和参数组合。随机森林（RandomForest,RF）是一种基于决策树的集成学习算法，它通过构建多个决策树并综合它们的预测结果来进行分类。RF具有较好的泛化能力和抗噪声能力，能够处理高维数据和缺失值，但在处理高光谱图像时，由于数据维度高、特征复杂，其计算效率和分类精度仍有待提高。近年来，深度学习技术的迅猛发展为高光谱图像分类带来了新的突破。卷积神经网络（ConvolutionalNeuralNetwork,CNN）作为深度学习的重要分支，具有强大的特征提取能力，能够自动学习高光谱图像的深层特征。Chen等人将CNN应用于高光谱图像分类，通过构建多层卷积层和全连接层，实现了对高光谱图像的有效分类。然而，传统的CNN在处理高光谱图像时，存在对空间信息利用不充分、难以捕捉长距离依赖关系等问题。为了解决这些问题，研究人员提出了多种改进方法。如采用3D卷积神经网络（3D-CNN）来同时提取高光谱图像的光谱和空间信息，通过三维卷积核在光谱和空间维度上进行卷积操作，能够更好地捕捉数据的三维特征。但3D-CNN模型复杂度较高，计算量较大，容易出现过拟合问题。注意力机制的引入为高光谱图像分类提供了新的思路。注意力机制能够使模型自动关注图像中重要的区域和特征，为不同的特征赋予不同的权重，从而提高模型对关键信息的提取能力。在自然语言处理和计算机视觉领域取得显著成果后，注意力机制被逐渐应用于高光谱图像分类任务。一些基于自注意力网络的高光谱图像分类方法被提出，这些方法能够有效地提高分类精度和稳定性。例如，Roy等人提出了基于注意力的自适应光谱-空间核残差网络（Attention-basedAdaptiveSpectral-SpatialKernelResNet），通过引入注意力机制，自适应地调整光谱和空间特征的权重，提高了模型对复杂高光谱数据的分类能力。高玉鹏等人提出了一种基于卷积神经网络与注意力机制的模型（CNNAM），利用坐标注意力（CA）对图像通道数据进行位置编码，并利用以自注意力机制为核心架构的Transformer模块对其进行远距离特征提取，解决了CNN感受野的限制问题，在IndianPines和Salinas两个数据集上取得了较好的分类效果。空谱结合方法也是高光谱图像分类研究的重点方向之一。高光谱图像不仅包含丰富的光谱信息，还蕴含着一定的空间信息，空谱结合方法能够充分利用这两种信息，弥补仅利用单一信息进行分类的不足。早期的空谱结合方法主要是将空间特征提取算法与光谱分类算法相结合，如将灰度共生矩阵、小波变换等空间特征提取方法与SVM、最大似然分类器等光谱分类方法相结合。但这些方法在特征融合和信息利用方面存在一定的局限性。随着深度学习的发展，基于深度学习的空谱结合方法逐渐成为主流。如HybridSN网络，通过结合3D卷积和2D卷积，先利用3D卷积提取光谱-空间特征，再通过2D卷积进一步提取空间特征，实现了对高光谱图像的有效分类。还有一些方法通过构建多分支网络，分别提取光谱信息和空间信息，然后进行融合分类。如提出的双分支高光谱图像分类网络，一条分支利用3D卷积网络提取光谱信息，另一条分支使用区域空间特征提取网络捕捉空间细节信息，并利用协同学习的思想，充分发挥双分支网络的优势，优化预测过程。尽管国内外在高光谱图像分类领域取得了丰硕的研究成果，但仍存在一些问题和挑战有待解决。在注意力机制的应用方面，虽然已经取得了一定的进展，但如何设计更有效的注意力机制，使其能够更好地适应高光谱图像的特点，仍然是一个有待深入研究的问题。例如，如何在高维度的光谱信息中准确地聚焦关键特征，以及如何在保证模型性能的同时降低计算复杂度。在空谱结合方法中，如何更有效地融合光谱信息和空间信息，提高特征的互补性和分类的准确性，也是需要进一步探索的方向。此外，现有的高光谱图像分类方法在面对复杂场景、小样本数据以及噪声干扰时，仍然存在分类精度下降、泛化能力不足等问题。如何提高模型的鲁棒性和泛化能力，使其能够在不同的应用场景中稳定地工作，也是未来研究的重要目标。1.3研究内容与方法本文围绕基于注意力机制和空谱结合的高光谱图像分类方法展开深入研究，旨在突破现有分类技术的局限，提高高光谱图像分类的精度和效率。具体研究内容如下：高光谱图像分类中的注意力机制研究：对现有注意力机制在高光谱图像分类中的应用进行全面分析，包括自注意力机制、通道注意力机制、空间注意力机制等，剖析它们在处理高光谱数据时的优势与不足。通过理论推导和实验验证，探索如何根据高光谱图像的特点，如高维度、光谱连续性、空间相关性等，设计更加有效的注意力机制，使其能够更精准地聚焦于关键的光谱和空间特征，增强模型对重要信息的敏感度，从而提升分类性能。空谱结合的高光谱图像特征提取方法研究：研究高光谱图像的空间信息和光谱信息的特点，分析传统空谱结合方法在特征提取过程中的局限性。针对这些问题，提出创新的空谱特征提取算法，例如设计新型的卷积核结构，使其能够在提取光谱特征的同时，充分捕捉空间上下文信息；或者构建多尺度的特征提取模块，以适应不同大小地物目标的特征提取需求。此外，还将探索如何利用深度学习中的注意力机制，对空谱特征进行加权融合，进一步提高特征的表达能力和分类的准确性。基于注意力机制和空谱结合的高光谱图像分类模型构建：结合上述研究成果，构建基于注意力机制和空谱结合的高光谱图像分类模型。在模型设计中，合理安排注意力模块和空谱特征提取模块的位置与连接方式，使模型能够充分发挥两者的优势。通过大量的实验，对模型的结构参数进行优化，如卷积层的层数、滤波器的数量和大小、注意力模块的权重分配等，以提高模型的分类精度和计算效率。同时，研究模型的训练策略，包括选择合适的损失函数、优化器、学习率调整策略等，确保模型能够快速收敛并达到较好的性能。模型性能评估与分析：选择多个公开的高光谱图像数据集，如IndianPines、PaviaUniversity、Salinas等，对所构建的分类模型进行性能评估。使用多种评估指标，如总体分类精度（OverallAccuracy,OA）、平均分类精度（AverageAccuracy,AA）、Kappa系数等，全面衡量模型的分类性能。与其他经典的高光谱图像分类方法进行对比实验，分析所提模型在不同数据集、不同样本数量和不同噪声环境下的优势和不足。通过可视化技术，如特征映射可视化、分类结果可视化等，深入分析模型的决策过程和特征提取效果，为模型的进一步改进提供依据。为实现上述研究内容，将采用以下研究方法：文献研究法：广泛查阅国内外关于高光谱图像分类、注意力机制、空谱结合方法等方面的文献资料，了解该领域的研究现状、发展趋势以及存在的问题，为研究提供理论基础和思路借鉴。通过对文献的梳理和分析，总结前人的研究成果和经验教训，明确本研究的创新点和突破方向。实验研究法：搭建实验平台，利用公开的高光谱图像数据集进行实验。通过设计不同的实验方案，对所提出的注意力机制、空谱结合方法以及分类模型进行验证和优化。在实验过程中，严格控制实验变量，确保实验结果的可靠性和可重复性。对实验数据进行统计分析，对比不同方法和模型的性能指标，从而得出科学合理的结论。模型构建法：根据研究目标和理论基础，构建基于注意力机制和空谱结合的高光谱图像分类模型。运用深度学习框架，如PyTorch、TensorFlow等，实现模型的编程实现。在模型构建过程中，充分考虑模型的可扩展性、可解释性和计算效率，采用模块化设计思想，便于模型的调试和改进。对比分析法：将所提出的方法和模型与其他相关的高光谱图像分类方法进行对比分析，包括传统的分类方法和现有的基于深度学习的方法。从分类精度、计算效率、模型复杂度等多个角度进行比较，突出本研究方法的优势和特点。通过对比分析，发现现有方法的不足之处，进一步优化本研究的方法和模型，提高其性能和应用价值。1.4创新点本研究旨在突破传统高光谱图像分类方法的局限，在方法和模型结构等方面进行了创新性探索，具体创新点如下：设计新型注意力模块：提出了一种适用于高光谱图像的多尺度注意力模块（Multi-ScaleAttentionModule,MSAM）。该模块结合了空间注意力和光谱注意力机制，能够同时在空间和光谱维度上对高光谱图像进行特征加权。通过多尺度卷积操作，MSAM可以捕捉不同尺度下的重要特征信息，有效增强模型对复杂地物特征的提取能力。与传统注意力模块相比，MSAM不仅能够关注图像中的局部细节，还能捕捉到更广泛的上下文信息，从而提高分类的准确性。例如，在处理包含多种地物类型的高光谱图像时，MSAM能够根据不同地物的空间分布和光谱特性，自适应地调整注意力权重，突出关键特征，减少噪声和冗余信息的干扰。优化空谱融合方式：构建了一种基于特征级融合的空谱联合网络（Spatial-SpectralJointNetworkbasedonFeature-LevelFusion,SSJ-FLF）。该网络通过设计专门的光谱特征提取分支和空间特征提取分支，分别对高光谱图像的光谱信息和空间信息进行深度挖掘。在特征提取过程中，采用了可变形卷积和空洞卷积技术，以更好地适应高光谱图像中地物的不规则形状和不同尺度特征。然后，将提取到的光谱特征和空间特征在特征级进行融合，通过融合模块中的注意力机制对融合后的特征进行加权处理，进一步增强特征的互补性和表达能力。与传统的空谱结合方法相比，SSJ-FLF能够更充分地利用高光谱图像的空谱信息，提高分类模型对复杂场景的适应性。改进分类模型结构：基于上述新型注意力模块和优化的空谱融合方式，提出了一种新型的高光谱图像分类模型——多尺度注意力空谱联合网络（Multi-ScaleAttentionSpatial-SpectralJointNetwork,MSAS-SJN）。该模型采用了分层结构设计，通过多层卷积和池化操作逐步提取高光谱图像的深层特征。在网络的不同层次中，嵌入了多尺度注意力模块，以加强对重要特征的关注。同时，利用空谱联合网络进行特征融合，使得模型能够充分利用高光谱图像的空间和光谱信息。MSAS-SJN模型还引入了残差连接和跳跃连接，有效缓解了梯度消失问题，提高了模型的训练效率和分类性能。实验结果表明，与现有高光谱图像分类模型相比，MSAS-SJN模型在多个公开数据集上取得了更优的分类精度和稳定性。二、相关理论基础2.1高光谱图像概述高光谱图像是一种通过高光谱成像技术获取的，具有高光谱分辨率的遥感图像。其通过搭载在不同空间平台上的高光谱传感器，即成像光谱仪，在电磁波谱的紫外、可见光、近红外和中红外区域，以数十至数百个连续且细分的光谱波段对目标区域同时成像。高光谱图像可看作一个三维数据立方体，其中两个维度代表空间信息，即图像的行和列，对应地面场景的二维平面位置；第三个维度代表光谱信息，每个波段对应一个特定的波长，涵盖了从可见光到近红外甚至中红外的光谱范围，光谱分辨率可达纳米量级。与普通彩色图像（如RGB图像）仅包含红、绿、蓝三个波段的光谱信息不同，高光谱图像的光谱分辨率更高，能够记录每个像素在多个连续光谱波段上的反射或辐射强度，通常包含几十到几百个连续的光谱波段。这种高分辨率的光谱信息使得高光谱图像能够详细描述物体的光谱特性，为地物赋予了独特的“光谱指纹”，从而实现对不同地物的精细识别和分类。高光谱图像具有诸多显著特点，这些特点使其在众多领域展现出独特的应用价值。高光谱分辨率：高光谱图像的光谱分辨率极高，可达纳米量级，能够精确区分不同地物在光谱上的细微差异。例如，在对植被的监测中，高光谱图像可以清晰地分辨出不同种类植被在近红外波段的光谱特征差异，从而准确判断植被的种类和生长状况。这种高分辨率的光谱信息使得高光谱图像能够捕捉到物质的细微光谱特征，实现传统成像无法达到的精细分析，为地物的精确识别和分类提供了有力支持。丰富的光谱信息：每个像素点都包含从可见光到近红外甚至中红外波段的丰富光谱信息，这些信息能够充分反映物体内部的物理结构和化学成分的差异。不同物质对不同波长的光具有不同的吸收和反射特性，高光谱图像通过记录这些特性，为物质的鉴别提供了详细的依据。例如，在矿产勘测中，不同矿石具有独特的光谱特征，高光谱图像可以根据这些特征准确识别矿物的种类和分布情况。高维数据：高光谱图像数据既有空间分辨率（图像的长宽），又有光谱维度（波段数），形成三维数据立方体（spatial-spectralcube）。这种高维数据结构既包含了地物的空间位置信息，又包含了地物的光谱特征信息，能够从多个角度对目标进行描述。然而，高维数据也带来了数据量庞大和处理难度大的问题，对数据的存储、传输和分析提出了更高的要求。数据量巨大：由于包含大量的光谱波段和空间像素信息，高光谱图像的数据量非常庞大。例如，一幅中等分辨率的高光谱图像，其数据量可能达到数百MB甚至GB级别。如此庞大的数据量不仅对存储设备的容量提出了挑战，也增加了数据处理和分析的计算成本和时间成本。在实际应用中，需要采用高效的数据压缩和处理算法，以降低数据存储和处理的难度。光谱与空间结合：光谱维度用于分析每个像素的物理化学性质，空间维度用于捕获物体的形状和结构信息。通过将光谱信息和空间信息相结合，可以更全面地了解地物的特征。例如，在土地覆盖分类中，不仅可以根据光谱信息判断地物的类型，还可以利用空间信息分析地物的分布范围和形状特征，从而提高分类的准确性。2.2注意力机制原理注意力机制最初受到人类视觉注意力系统的启发，其核心在于模拟人类视觉对场景中不同区域赋予不同关注度的能力。在深度学习中，注意力机制通过对输入数据的不同部分分配权重，使模型能够聚焦于关键信息，从而提升任务处理的效果。注意力机制的基本工作流程通常包括三个关键步骤：计算注意力权重、加权求和以及生成注意力向量。首先，计算注意力权重是通过将查询向量（Query）与键向量（Key）进行某种形式的相似度计算来实现的。常见的计算方式有点积、加性以及多层感知机等方法。以点积计算为例，直接将Query和Key进行点积运算，得到的结果反映了它们之间的相似程度。相似度越高，对应的注意力权重就越大，表示该部分信息对于当前任务的重要性越高。加性方法则是先将Query和Key通过一个线性变换映射到同一维度，然后再进行点积运算，这种方式能够在一定程度上增强模型对不同特征的捕捉能力。多层感知机方法则是通过将Query和Key分别输入到多层感知机中进行映射，再进行点积运算，它可以学习到更复杂的特征表示，适用于处理复杂的数据。通过这些计算方式，得到一系列注意力权重，这些权重代表了输入数据各个部分对于当前任务的重要程度。接下来是加权求和步骤，利用计算得到的注意力权重，对值向量（Value）进行加权求和操作。具体来说，将每个Value向量乘以对应的注意力权重，然后将这些加权后的Value向量进行累加，得到一个综合的表示向量。这个向量融合了输入数据中不同部分的信息，并且突出了那些权重较大、即重要性较高的信息。通过加权求和，模型能够根据注意力权重对输入数据进行筛选和整合，从而更加关注与当前任务相关的信息，提高信息处理的效率和准确性。最后生成注意力向量，这个注意力向量就是注意力机制的输出，它包含了经过加权处理后的关键信息，将作为后续模型处理的输入。注意力向量在模型中的作用类似于一个聚焦后的信息表示，能够帮助模型更好地理解输入数据，做出更准确的决策。在高光谱图像分类任务中，注意力机制有着多种应用形式，其中自注意力机制和通道注意力机制是较为常见且重要的类型。自注意力机制（Self-Attention）是一种特殊的注意力机制，它能够在输入数据内部进行注意力计算，捕捉数据中各个元素之间的相互依赖关系。在高光谱图像分类中，自注意力机制可以用于挖掘高光谱图像中不同波段以及不同空间位置之间的潜在关系。假设输入的高光谱图像为一个三维张量X\inR^{H\timesW\timesC}，其中H和W分别表示图像的高度和宽度，C表示波段数。自注意力机制首先将输入张量X分别通过三个线性变换，得到Query矩阵Q、Key矩阵K和Value矩阵V。然后计算Query和Key之间的注意力权重矩阵A，通过Softmax函数对权重进行归一化处理，得到归一化后的注意力权重矩阵。最后，将归一化后的注意力权重矩阵与Value矩阵相乘并求和，得到自注意力机制的输出Y。自注意力机制的优势在于它能够直接在高光谱图像的不同波段和空间位置之间建立联系，从而更好地捕捉到数据中的全局依赖关系。例如，在识别高光谱图像中的不同地物时，自注意力机制可以关注到不同波段之间的协同作用以及地物在不同空间位置上的特征变化，从而提高分类的准确性。通道注意力机制（ChannelAttention）则主要关注特征图的通道维度，通过对通道维度进行加权处理，突出对分类任务重要的通道，抑制无关或冗余的通道。以Squeeze-and-ExcitationNetworks（SENet）中的通道注意力模块为例，它首先通过全局平均池化（GlobalAveragePooling,GAP）操作，将输入的特征图从H\timesW\timesC压缩为1\times1\timesC，这样就得到了每个通道的全局特征向量。然后，将这个全局特征向量通过几个全连接（FC）层进行非线性变换，通常包括一个ReLU激活函数和一个sigmoid激活函数。ReLU激活函数用于增加模型的非线性表达能力，sigmoid激活函数则将输出值压缩到0和1之间，生成一个与输入通道数相同长度的权重向量。最后，将这个权重向量与原始的特征图进行逐通道相乘，得到经过通道注意力加权后的特征图。在高光谱图像分类中，不同的光谱波段对于地物分类的贡献程度是不同的，通道注意力机制可以自动学习每个波段的重要性权重，从而使模型更加关注那些对分类有重要贡献的波段信息，提高分类的精度。例如，在区分植被和建筑物时，某些波段对于植被的光谱特征反应更为敏感，通道注意力机制可以增强这些波段的权重，突出植被的特征，减少其他波段的干扰，从而更准确地进行分类。2.3空谱结合方法原理高光谱图像不仅包含丰富的光谱信息，还蕴含着一定的空间信息，二者对于准确分类地物都具有重要意义。空谱结合方法正是基于这一特性，旨在充分融合高光谱图像的空间信息和光谱信息，以提高分类的准确性。在空谱结合方法中，基于像素邻域的融合方式是较为基础且常用的一种手段。其核心思想是利用每个像素与其邻域像素之间的空间相关性，将邻域像素的光谱信息与中心像素的光谱信息进行整合，从而为分类提供更全面的特征。以一个简单的3×3邻域为例，对于中心像素P_{i,j}，其邻域内包含了周围8个像素P_{i-1,j-1},P_{i-1,j},P_{i-1,j+1},P_{i,j-1},P_{i,j+1},P_{i+1,j-1},P_{i+1,j},P_{i+1,j+1}。在进行特征提取时，不仅仅考虑中心像素P_{i,j}自身的光谱向量S_{i,j}，还将邻域像素的光谱向量纳入考量范围。可以通过计算邻域像素光谱向量与中心像素光谱向量的某种统计量，如均值、方差等，来构建包含空间信息的特征向量。假设将邻域像素光谱向量的均值作为空间特征，那么新的特征向量F_{i,j}可以表示为F_{i,j}=[S_{i,j},\text{mean}(S_{neighbors})]，其中S_{neighbors}表示邻域像素的光谱向量集合。通过这种方式，将空间邻域的信息融入到光谱特征中，使得分类模型能够更好地捕捉到地物的空间分布特征，从而提高分类的准确性。例如，在区分道路和植被时，道路像素通常具有相对均匀的光谱特征，且在空间上呈现连续的分布；而植被像素的光谱特征在邻域内可能存在一定的变化，且空间分布较为分散。基于像素邻域的空谱结合方法能够通过分析邻域像素的光谱信息，更好地识别出这些空间分布差异，从而准确地区分道路和植被。超像素也是空谱结合方法中常用的一种概念。超像素是将图像中具有相似特征的相邻像素合并成一个较大的像素块，这些像素块在空间上具有一定的连续性和相似性，同时在光谱特征上也具有一定的一致性。与基于像素邻域的方法不同，超像素方法是在更高层次上对图像进行划分和特征提取。在高光谱图像分类中，使用超像素进行空谱结合的过程如下：首先，利用超像素分割算法，如简单线性迭代聚类（SimpleLinearIterativeClustering,SLIC）算法，将高光谱图像分割成多个超像素。SLIC算法通过在图像的颜色空间和坐标空间中进行迭代聚类，将相似的像素合并成超像素，每个超像素可以看作是一个具有相对统一光谱和空间特征的区域。然后，对于每个超像素，提取其光谱特征和空间特征。光谱特征可以通过计算超像素内所有像素的光谱均值、方差等统计量来表示，空间特征则可以通过超像素的几何形状、位置等信息来描述。例如，超像素的面积、周长、质心坐标等都可以作为其空间特征。最后，将超像素的光谱特征和空间特征进行融合，作为分类模型的输入特征。通过这种方式，超像素方法能够有效地减少数据量，同时保留图像的重要结构和光谱信息，提高分类的效率和准确性。例如，在对城市区域的高光谱图像进行分类时，将建筑物、道路、绿地等不同地物区域分割成超像素，每个超像素内的像素具有相似的光谱和空间特征。通过融合超像素的空谱特征，分类模型能够更准确地识别出不同地物类型，避免了由于单个像素噪声或光谱变异导致的分类错误。除了基于像素邻域和超像素的融合方式外，还有其他一些空谱结合方法。例如，利用图像的纹理特征作为空间信息与光谱信息进行融合。纹理是图像中一种重要的空间特征，它反映了图像中像素灰度的变化规律和空间分布模式。在高光谱图像中，可以通过计算灰度共生矩阵（Gray-LevelCo-occurrenceMatrix,GLCM）等方法来提取纹理特征。GLCM通过统计图像中一定距离和方向上的像素对之间的灰度共生关系，得到纹理特征矩阵，该矩阵包含了图像的纹理信息，如对比度、相关性、能量和熵等。将这些纹理特征与光谱特征进行融合，可以为分类提供更丰富的信息。例如，在区分不同类型的土壤时，不同土壤的光谱特征可能较为相似，但它们的纹理特征往往存在差异。通过融合光谱和纹理特征，能够更好地区分不同类型的土壤。此外，还有基于多尺度分析的空谱结合方法，通过在不同尺度下对图像进行处理，提取不同尺度的空间和光谱特征，从而更全面地描述地物的特征。在多尺度分析中，通常使用高斯金字塔、小波变换等方法对图像进行降采样或分解，得到不同尺度的图像表示，然后分别在每个尺度上提取空谱特征并进行融合。这种方法能够适应不同大小地物的特征提取需求，对于复杂场景的分类具有较好的效果。三、基于注意力机制和空谱结合的高光谱图像分类模型构建3.1模型总体框架设计本文构建的基于注意力机制和空谱结合的高光谱图像分类模型，旨在充分挖掘高光谱图像的空间和光谱信息，提升分类精度。模型整体架构如图1所示，主要由数据输入、特征提取、注意力机制模块、空谱融合模块以及分类输出等部分组成。图1：基于注意力机制和空谱结合的高光谱图像分类模型总体框架在数据输入阶段，高光谱图像被作为模型的输入数据。高光谱图像通常具有三维结构，包括二维的空间维度（行和列）以及一维的光谱维度，其数据格式可以表示为I\in\mathbb{R}^{H\timesW\timesB}，其中H表示图像的高度，W表示图像的宽度，B表示光谱波段数。在输入模型之前，需要对高光谱图像进行预处理，如归一化处理，将每个波段的像素值归一化到[0,1]区间，以消除不同波段数据范围差异对模型训练的影响。归一化公式为：x_{norm}=\frac{x-x_{min}}{x_{max}-x_{min}}其中，x为原始像素值，x_{min}和x_{max}分别为该波段的最小值和最大值，x_{norm}为归一化后的像素值。特征提取是模型的关键环节之一，旨在从高光谱图像中提取出能够有效表征地物类别的特征。本模型采用了卷积神经网络（CNN）进行特征提取。CNN具有强大的特征提取能力，通过卷积层、池化层等操作，可以自动学习到图像的局部特征和全局特征。在本模型中，设计了多个卷积层和池化层组成的特征提取网络。首先，通过一系列的二维卷积层对输入的高光谱图像进行处理，每个卷积层包含多个卷积核，卷积核的大小和数量根据实际情况进行调整。例如，第一个卷积层可以使用大小为3\times3的卷积核，数量为32个，通过卷积操作提取图像的低级特征，如边缘、纹理等。卷积操作的计算公式为：y_{i,j}^l=\sum_{m=-k}^{k}\sum_{n=-k}^{k}w_{m,n}^l\cdotx_{i+m,j+n}^{l-1}+b^l其中，y_{i,j}^l表示第l层卷积层输出特征图中位置(i,j)的像素值，w_{m,n}^l表示第l层卷积层的卷积核权重，x_{i+m,j+n}^{l-1}表示第l-1层输入特征图中位置(i+m,j+n)的像素值，b^l表示第l层卷积层的偏置，k为卷积核的半径。在卷积层之后，通常会接一个池化层，如最大池化层或平均池化层，用于降低特征图的空间维度，减少计算量，同时保留重要的特征信息。以最大池化层为例，池化窗口大小为2\times2，步长为2，其操作是在每个2\times2的窗口内选取最大值作为输出，计算公式为：y_{i,j}^l=\max_{m=0}^{1}\max_{n=0}^{1}x_{2i+m,2j+n}^{l-1}其中，y_{i,j}^l表示第l层池化层输出特征图中位置(i,j)的像素值，x_{2i+m,2j+n}^{l-1}表示第l-1层输入特征图中位置(2i+m,2j+n)的像素值。通过多个卷积层和池化层的交替堆叠，可以逐步提取高光谱图像的深层特征，得到具有一定抽象程度的特征图。例如，经过多层卷积和池化操作后，特征图的大小可能从原始的H\timesW\timesB变为H/8\timesW/8\timesC，其中C为卷积层输出的通道数，这些特征图包含了丰富的地物特征信息，为后续的分类提供了基础。注意力机制模块是本模型的重要创新点之一，其作用是使模型能够自动关注图像中对分类任务更为重要的区域和特征，从而提高分类的准确性。在本模型中，设计了一种结合空间注意力和通道注意力的多尺度注意力模块（Multi-ScaleAttentionModule,MSAM）。空间注意力机制通过对特征图的空间维度进行加权，突出重要的空间区域；通道注意力机制则通过对特征图的通道维度进行加权，强调对分类有重要贡献的通道。在MSAM模块中，首先对输入的特征图进行多尺度卷积操作，使用不同大小的卷积核（如3\times3、5\times5、7\times7）对特征图进行卷积，得到不同尺度的特征表示。然后，将这些不同尺度的特征表示进行融合，通过拼接或加权求和等方式，得到包含多尺度信息的特征图。接下来，分别计算空间注意力和通道注意力。计算空间注意力时，先对融合后的特征图在通道维度上进行全局平均池化和最大池化操作，得到两个一维向量，分别表示特征图在通道维度上的平均特征和最大特征。然后将这两个向量进行拼接，通过一个卷积层（如卷积核大小为7\times7，通道数为1）进行卷积操作，得到空间注意力权重图。最后，将空间注意力权重图与原始特征图相乘，实现对特征图空间维度的加权。空间注意力权重图的计算过程可以表示为：M_s=\sigma(f_{conv}([\text{avg_pool}(F);\text{max_pool}(F)]))其中，M_s表示空间注意力权重图，\sigma表示Sigmoid激活函数，f_{conv}表示卷积操作，[\text{avg_pool}(F);\text{max_pool}(F)]表示将全局平均池化和最大池化后的结果进行拼接，F表示输入的特征图。计算通道注意力时，先对特征图在空间维度上进行全局平均池化和最大池化操作，得到两个二维向量，分别表示特征图在空间维度上的平均特征和最大特征。然后将这两个向量分别通过一个全连接层（如神经元数量为C/2，C为特征图的通道数）进行降维，再通过另一个全连接层（神经元数量为C）进行升维，得到两个通道注意力权重向量。最后将这两个权重向量相加，通过Sigmoid激活函数得到通道注意力权重向量，再将其与原始特征图的通道维度相乘，实现对特征图通道维度的加权。通道注意力权重向量的计算过程可以表示为：M_c=\sigma(f_{fc2}(f_{fc1}([\text{avg_pool}(F);\text{max_pool}(F)])))其中，M_c表示通道注意力权重向量，\sigma表示Sigmoid激活函数，f_{fc1}和f_{fc2}分别表示两个全连接层的操作，[\text{avg_pool}(F);\text{max_pool}(F)]表示将全局平均池化和最大池化后的结果进行拼接，F表示输入的特征图。通过MSAM模块，模型能够在空间和光谱维度上同时对高光谱图像的特征进行加权，更加关注重要的特征信息，抑制噪声和冗余信息，从而提高分类的准确性。空谱融合模块是本模型的另一个关键部分，旨在充分融合高光谱图像的空间信息和光谱信息，进一步提升特征的表达能力。本模型采用了一种基于特征级融合的空谱联合网络（Spatial-SpectralJointNetworkbasedonFeature-LevelFusion,SSJ-FLF）。在SSJ-FLF网络中，设计了专门的光谱特征提取分支和空间特征提取分支。光谱特征提取分支主要利用三维卷积（3D-CNN）对高光谱图像的光谱信息进行提取。3D-CNN能够在光谱和空间维度上同时进行卷积操作，有效捕捉光谱信息的连续性和空间信息的相关性。例如，使用大小为3\times3\times3的三维卷积核，对输入的高光谱图像进行卷积操作，提取光谱-空间特征。三维卷积操作的计算公式为：y_{i,j,k}^l=\sum_{m=-k}^{k}\sum_{n=-k}^{k}\sum_{o=-k}^{k}w_{m,n,o}^l\cdotx_{i+m,j+n,k+o}^{l-1}+b^l其中，y_{i,j,k}^l表示第l层三维卷积层输出特征图中位置(i,j,k)的像素值，w_{m,n,o}^l表示第l层三维卷积层的卷积核权重，x_{i+m,j+n,k+o}^{l-1}表示第l-1层输入特征图中位置(i+m,j+n,k+o)的像素值，b^l表示第l层三维卷积层的偏置，k为卷积核的半径。空间特征提取分支则利用二维卷积（2D-CNN）对高光谱图像的空间信息进行提取。2D-CNN主要关注图像的空间结构和纹理信息，通过一系列的二维卷积层和池化层，提取图像的空间特征。例如，使用大小为3\times3的二维卷积核，对输入的高光谱图像进行卷积操作，提取空间特征。二维卷积操作的计算公式与前面介绍的二维卷积层相同。在光谱特征提取分支和空间特征提取分支分别提取到光谱特征和空间特征后，将这两个分支的输出特征在特征级进行融合。具体来说，将光谱特征和空间特征沿着通道维度进行拼接，得到融合后的特征。然后，通过一个融合模块对融合后的特征进行进一步处理。融合模块中包含注意力机制，通过对融合后的特征进行加权，增强特征的互补性和表达能力。例如，使用一个通道注意力模块对融合后的特征进行加权，强调对分类有重要贡献的特征。通过SSJ-FLF网络，模型能够充分利用高光谱图像的空谱信息，提高分类模型对复杂场景的适应性。分类输出部分是模型的最后一个环节，其作用是根据前面提取和处理后的特征，对高光谱图像中的每个像素进行分类。在本模型中，使用全连接层（FullyConnectedLayer,FC）作为分类器。全连接层将前面得到的特征图进行扁平化处理，将其转换为一维向量，然后通过一系列的全连接层进行分类预测。例如，经过多个全连接层的计算，得到每个像素属于不同类别的概率分布。假设高光谱图像有N个类别，全连接层的输出为一个长度为N的向量，向量中的每个元素表示该像素属于对应类别的概率。最后，使用Softmax函数对输出的概率分布进行归一化处理，得到每个像素最终的分类结果。Softmax函数的计算公式为：P(i)=\frac{e^{y_i}}{\sum_{j=1}^{N}e^{y_j}}其中，P(i)表示像素属于第i类的概率，y_i表示全连接层输出向量中第i个元素的值，N表示类别总数。通过Softmax函数，模型可以得到每个像素属于各个类别的概率，选择概率最大的类别作为该像素的分类结果。综上所述，本文构建的基于注意力机制和空谱结合的高光谱图像分类模型，通过合理设计数据输入、特征提取、注意力机制模块、空谱融合模块以及分类输出等部分，能够充分挖掘高光谱图像的空间和光谱信息，提高分类的准确性和鲁棒性。3.2注意力机制模块设计3.2.1光谱注意力模块光谱注意力模块旨在增强模型对高光谱图像关键光谱特征的关注，通过对不同光谱波段赋予不同权重，突出对分类具有重要贡献的光谱信息，抑制冗余或干扰性的光谱成分。该模块的设计基于对高光谱图像光谱维度的深入分析。首先，采用全局平均池化（GlobalAveragePooling,GAP）操作，将高光谱图像在空间维度上进行压缩。假设输入的高光谱图像特征图为X\in\mathbb{R}^{H\timesW\timesC}，其中H表示图像高度，W表示图像宽度，C表示光谱波段数。经过全局平均池化后，得到一个大小为1\times1\timesC的向量G，其计算公式为：G_c=\frac{1}{H\timesW}\sum_{i=1}^{H}\sum_{j=1}^{W}X_{i,j,c}其中，G_c表示向量G中第c个元素，即第c个光谱波段在整个空间维度上的平均值。通过全局平均池化，将每个光谱波段在空间上的信息进行整合，得到该波段的全局特征表示。接着，将全局平均池化得到的向量G输入到一个多层感知机（Multi-LayerPerceptron,MLP）中进行处理。MLP由两个全连接层（FullyConnectedLayer,FC）组成，第一个全连接层的神经元数量设置为C/r，其中r为降维比例，通常取值为2、4、8等，用于降低维度，减少计算量，同时提取重要特征；第二个全连接层的神经元数量恢复为C，用于恢复维度，得到与输入光谱波段数相同长度的权重向量W_s。在两个全连接层之间，使用ReLU激活函数增加模型的非线性表达能力。全连接层的计算公式为：y_1=\text{ReLU}(W_1G+b_1)W_s=W_2y_1+b_2其中，W_1和W_2分别为第一个和第二个全连接层的权重矩阵，b_1和b_2分别为对应的偏置向量，y_1为第一个全连接层的输出。最后，将得到的权重向量W_s通过Sigmoid激活函数进行归一化处理，使其取值范围在0到1之间，得到最终的光谱注意力权重向量\alpha_s。Sigmoid函数的计算公式为：\alpha_s=\sigma(W_s)=\frac{1}{1+e^{-W_s}}然后，将光谱注意力权重向量\alpha_s与原始的高光谱图像特征图X在光谱维度上进行逐元素相乘，实现对光谱特征的加权。加权后的特征图X_s计算公式为：X_s=X\cdot\alpha_s其中，“\cdot”表示逐元素相乘操作。通过这种方式，光谱注意力模块能够根据不同光谱波段对分类任务的重要程度，对其进行加权处理，增强关键光谱特征，抑制不重要的光谱特征，从而提高模型对高光谱图像光谱信息的利用效率，提升分类的准确性。例如，在区分植被和建筑物时，植被在近红外波段具有明显的光谱特征，而建筑物在可见光波段有其独特的光谱表现。光谱注意力模块能够自动学习到这些关键波段的重要性，为近红外波段和可见光波段赋予较高的权重，突出植被和建筑物的特征差异，减少其他波段的干扰，使模型更准确地对两者进行分类。3.2.2空间注意力模块空间注意力模块主要用于关注高光谱图像中的重要空间区域，通过对不同空间位置的特征赋予不同权重，使模型能够聚焦于具有判别性的空间信息，从而提高对复杂场景中地物的分类能力。空间注意力模块的设计利用了卷积操作对图像空间特征的提取能力。首先，对输入的高光谱图像特征图X\in\mathbb{R}^{H\timesW\timesC}分别进行沿通道维度的全局平均池化和全局最大池化操作。全局平均池化操作得到一个大小为1\times1\timesC的平均池化特征图G_{avg}，其计算公式与光谱注意力模块中的全局平均池化公式相同。全局最大池化操作得到一个大小为1\times1\timesC的最大池化特征图G_{max}，计算公式为：G_{max,c}=\max_{i=1}^{H}\max_{j=1}^{W}X_{i,j,c}其中，G_{max,c}表示最大池化特征图G_{max}中第c个元素，即第c个光谱波段在整个空间维度上的最大值。然后，将平均池化特征图G_{avg}和最大池化特征图G_{max}沿着通道维度进行拼接，得到一个大小为1\times1\times2C的特征图G_{concat}。拼接操作可以表示为：G_{concat}=[G_{avg};G_{max}]其中，“;”表示沿通道维度的拼接操作。接着，将拼接后的特征图G_{concat}输入到一个卷积层中进行处理。该卷积层的卷积核大小为7\times7，步长为1，填充为3，通道数为1。通过卷积操作，对拼接后的特征图进行特征提取，得到一个大小为H\timesW\times1的空间注意力权重图M_s。卷积操作的计算公式为：M_s=f_{conv}(G_{concat})其中，f_{conv}表示卷积操作。这里使用较大的卷积核（7\times7）是为了捕捉更广泛的空间上下文信息，使模型能够考虑到较大范围内的空间特征。填充为3是为了保持输出特征图的大小与输入特征图相同，避免在卷积过程中空间信息的丢失。最后，将空间注意力权重图M_s通过Sigmoid激活函数进行归一化处理，使其取值范围在0到1之间，得到最终的空间注意力权重矩阵\alpha_{sp}。Sigmoid函数的计算公式为：\alpha_{sp}=\sigma(M_s)=\frac{1}{1+e^{-M_s}}然后，将空间注意力权重矩阵\alpha_{sp}与原始的高光谱图像特征图X在空间维度上进行逐元素相乘，实现对空间特征的加权。加权后的特征图X_{sp}计算公式为：X_{sp}=X\cdot\alpha_{sp}其中，“\cdot”表示逐元素相乘操作。通过这种方式，空间注意力模块能够根据不同空间位置对分类任务的重要程度，对其进行加权处理，突出重要的空间区域，抑制不重要的空间背景，使模型能够更准确地捕捉到地物的空间分布特征，提高分类的准确性。例如，在识别道路时，道路在空间上呈现出连续的线性特征，而周围的植被等背景则具有不同的空间分布。空间注意力模块能够自动学习到道路的这种空间特征，为道路所在的空间位置赋予较高的权重，突出道路的特征，减少背景的干扰，从而更准确地识别出道路。3.3空谱结合模块设计3.3.1基于超像素的空谱结合超像素是一种将图像中具有相似特征的相邻像素合并成的具有相对均匀特性的像素集合，它在高光谱图像空谱结合中发挥着关键作用。基于超像素的空谱结合方法旨在充分利用超像素所包含的空间和光谱信息，以提高高光谱图像分类的准确性。在基于超像素的空谱结合过程中，首先要进行超像素分割。常用的超像素分割算法如简单线性迭代聚类（SimpleLinearIterativeClustering,SLIC）算法，通过在图像的颜色空间和坐标空间中进行迭代聚类，将相似的像素合并成超像素。对于高光谱图像，SLIC算法考虑了光谱信息和空间信息，以生成具有相似光谱和空间特征的超像素。假设高光谱图像为I\in\mathbb{R}^{H\timesW\timesB}，其中H和W分别为图像的高度和宽度，B为光谱波段数。在SLIC算法中，定义每个超像素的中心为C_i=(l_i,a_i,b_i,x_i,y_i)，其中(l_i,a_i,b_i)表示超像素中心在CIELAB颜色空间中的坐标（对于高光谱图像，可将光谱信息转换到类似的颜色空间表示），(x_i,y_i)表示其在图像中的空间坐标。通过不断迭代，使每个像素分配到距离其最近的超像素中心，从而完成超像素分割。完成超像素分割后，需要提取超像素的空谱特征。对于光谱特征，计算超像素内所有像素的光谱均值是一种常用的方法。设超像素S_j内包含N_j个像素，其光谱均值向量\overline{S_j}可表示为：\overline{S_j}=\frac{1}{N_j}\sum_{k=1}^{N_j}s_{j,k}其中，s_{j,k}表示超像素S_j内第k个像素的光谱向量。通过计算光谱均值，可以得到超像素的代表性光谱特征，减少单个像素光谱噪声的影响。在空间特征提取方面，超像素的几何形状和位置信息是重要的特征来源。超像素的面积A_j、周长P_j以及质心坐标(x_{c,j},y_{c,j})都可以作为空间特征。超像素的面积A_j等于超像素内像素的数量；周长P_j可以通过计算超像素边界上的像素数量得到；质心坐标(x_{c,j},y_{c,j})可通过以下公式计算：x_{c,j}=\frac{1}{N_j}\sum_{k=1}^{N_j}x_{j,k}y_{c,j}=\frac{1}{N_j}\sum_{k=1}^{N_j}y_{j,k}其中，(x_{j,k},y_{j,k})表示超像素S_j内第k个像素的空间坐标。这些几何形状和位置特征能够反映超像素在图像中的空间分布和结构信息。为了进一步提高特征的表达能力，还可以考虑超像素之间的邻接关系。构建超像素邻接图是一种有效的方法，图中的节点表示超像素，边表示超像素之间的邻接关系。通过分析邻接图，可以获取超像素的上下文信息，例如某个超像素周围邻接超像素的类别分布等。假设超像素S_j的邻接超像素集合为N_j，可以统计邻接超像素中不同类别的比例，作为该超像素的上下文特征。将提取到的超像素光谱特征和空间特征进行融合，形成完整的空谱特征向量。可以将光谱均值向量\overline{S_j}与空间特征向量（如[A_j,P_j,x_{c,j},y_{c,j}]）进行拼接，得到融合后的空谱特征向量F_j=[\overline{S_j},A_j,P_j,x_{c,j},y_{c,j}]。然后，将这些融合后的空谱特征输入到分类模型中进行分类。例如，可以使用支持向量机（SVM）、随机森林（RF）等传统分类器，也可以使用卷积神经网络（CNN）等深度学习模型进行分类。在使用深度学习模型时，通常会将融合后的空谱特征进行适当的预处理，如归一化处理，以提高模型的训练效果。通过基于超像素的空谱结合方法，能够充分利用高光谱图像的空间和光谱信息，有效提高分类的准确性和鲁棒性。3.3.2基于卷积神经网络的空谱结合基于卷积神经网络（CNN）的空谱结合方法充分利用CNN强大的特征提取能力，分别从光谱和空间维度对高光谱图像进行特征提取，然后将提取到的光谱特征和空间特征进行融合，以实现对高光谱图像的准确分类。在光谱特征提取方面，三维卷积神经网络（3D-CNN）被广泛应用。3D-CNN的卷积核在三维空间（包括光谱维度和空间的二维）上进行卷积操作，能够同时捕捉高光谱图像的光谱信息和空间信息。假设输入的高光谱图像为X\in\mathbb{R}^{H\timesW\timesB}，其中H和W分别表示图像的高度和宽度，B表示光谱波段数。3D-CNN中的卷积层通过三维卷积核对输入图像进行卷积操作，卷积核的大小通常表示为K\timesK\timesK_{s}，其中K表示在空间维度上的卷积核大小，K_{s}表示在光谱维度上的卷积核大小。以一个简单的3D-CNN卷积层为例，其输出特征图Y的计算过程如下：y_{i,j,k}^l=\sum_{m=-K}^{K}\sum_{n=-K}^{K}\sum_{o=-K_{s}}^{K_{s}}w_{m,n,o}^l\cdotx_{i+m,j+n,k+o}^{l-1}+b^l其中，y_{i,j,k}^l表示第l层卷积层输出特征图中位置(i,j,k)的像素值，w_{m,n,o}^l表示第l层卷积层的卷积核权重，x_{i+m,j+n,k+o}^{l-1}表示第l-1层输入特征图中位置(i+m,j+n,k+o)的像素值，b^l表示第l层卷积层的偏置。通过多个3D卷积层的堆叠，可以逐步提取高光谱图像的深层光谱-空间特征。例如，在第一个3D卷积层中，可以使用较小的卷积核（如3\times3\times3）来提取图像的低级光谱-空间特征，如局部的光谱变化和空间纹理；在后续的卷积层中，可以逐渐增大卷积核的大小（如5\times5\times5），以捕捉更广泛的光谱和空间上下文信息。在3D-CNN中，还可以添加池化层（如最大池化或平均池化）来降低特征图的维度，减少计算量，同时保留重要的特征信息。例如，在3D卷积层之后添加一个3D最大池化层，池化核大小为2\times2\times2，步长为2，其操作是在每个2\times2\times2的窗口内选取最大值作为输出，从而降低特征图的空间和光谱维度。对于空间特征提取，二维卷积神经网络（2D-CNN）是常用的方法。2D-CNN主要关注图像的二维空间信息，通过二维卷积核对图像进行卷积操作，提取图像的空间特征，如边缘、纹理等。假设输入的高光谱图像经过某种预处理（如将每个波段的图像进行单独处理）后得到一系列二维图像X^b\in\mathbb{R}^{H\timesW}，其中b=1,2,\cdots,B。2D-CNN中的卷积层通过二维卷积核（大小通常为K\timesK）对输入的二维图像进行卷积操作，输出特征图Y^b的计算过程如下：y_{i,j}^b=\sum_{m=-K}^{K}\sum_{n=-K}^{K}w_{m,n}^b\cdotx_{i+m,j+n}^b+b^b其中，y_{i,j}^b表示第b个波段对应的第l层卷积层输出特征图中位置(i,j)的像素值，w_{m,n}^b表示第b个波段对应的第l层卷积层的卷积核权重，x_{i+m,j+n}^b表示第b个波段对应的第l-1层输入特征图中位置(i+m,j+n)的像素值，b^b表示第b个波段对应的第l层卷积层的偏置。通过多个2D卷积层和池化层的组合，可以提取出高光谱图像的不同层次的空间特征。例如，在第一个2D卷积层中，可以使用3\times3的卷积核提取图像的低级空间特征；在后续的卷积层中，可以通过调整卷积核的大小和数量，以及添加池化层，来提取更高级的空间特征。在分别提取到光谱特征和空间特征后，需要将它们进行融合。一种常见的融合方式是在特征级进行融合。假设3D-CNN提取到的光谱特征为F_s\in\mathbb{R}^{H_s\timesW_s\timesC_s}，2D-CNN提取到的空间特征为F_{sp}\in\mathbb{R}^{H_{sp}\timesW_{sp}\timesC_{sp}}。首先，通过调整特征图的大小，使它们在空间维度上一致（例如，可以使用插值或池化操作）。然后，将光谱特征和空间特征沿着通道维度进行拼接，得到融合后的特征F_f\in\mathbb{R}^{H_f\timesW_f\times(C_s+C_{sp})}。例如，假设通过双线性插值将F_s和F_{sp}的空间大小都调整为H_f\timesW_f，则融合后的特征F_f可以表示为：F_f=[F_s,F_{sp}]其中，“,”表示沿通道维度的拼接操作。融合后的特征F_f包含了丰富的光谱和空间信息，将其输入到后续的分类层中进行分类。分类层通常由全连接层组成，通过全连接层对融合后的特征进行非线性变换，得到每个像素属于不同类别的概率分布。假设分类层有N个类别，则全连接层的输出为一个长度为N的向量，向量中的每个元素表示该像素属于对应类别的概率。最后，使用Softmax函数对输出的概率分布进行归一化处理，得到每个像素最终的分类结果。通过基于卷积神经网络的空谱结合方法，能够充分发挥3D-CNN和2D-CNN在光谱和空间特征提取方面的优势，有效提高高光谱图像分类的准确性。3.4分类器选择与设计在高光谱图像分类任务中，分类器的选择对于模型的性能起着关键作用。经过综合考虑和实验对比，本研究选择支持向量机（SupportVectorMachine,SVM）和多层感知机（Multi-LayerPerceptron,MLP）作为分类器，并对它们在模型中的应用方式进行了精心设计。支持向量机（SVM）是一种基于统计学习理论的分类算法，其核心思想是寻找一个最优分类超平面，将不同类别的样本尽可能分开。SVM在处理小样本、非线性分类问题上具有独特的优势，能够有效地处理高维数据，避免过拟合现象。在本研究中，采用径向基函数（RadialBasisFunction,RBF）作为SVM的核函数，其表达式为：K(x_i,x_j)=\exp(-\gamma\|x_i-x_j\|^2)其中，x_i和x_j是两个样本向量，\gamma是核函数的参数，控制着核函数的宽度。\gamma的值越大，意味着模型对局部数据的拟合能力越强，但也容易导致过拟合；\gamma的值越小，模型的泛化能力越强，但可能会降低对复杂数据的分类能力。通过调整\gamma的值，可以使SVM更好地适应高光谱图像数据的特点。在模型应用中，将注意力机制模块和空谱结合模块提取得到的特征作为SVM的输入，利用SVM强大的分类能力对高光谱图像中的地物类别进行判别。例如，在对IndianPines数据集进行分类时，将经过空谱结合模块处理后的特征输入到SVM中，SVM通过寻找最优分类超平面，将不同地物类别（如玉米地、大豆地、森林等）准确地分开。多层感知机（MLP）是一种前馈神经网络，由输入层、多个隐藏层和输出层组成。MLP通过对输入数据进行多次非线性变换，能够学习到数据的复杂模式和特征，具有很强的非线性建模能力。在本研究中，设计了一个包含多个隐藏层的MLP分类器。输入层接收来自注意力机制模块和空谱结合模块的特征向量，隐藏层通过非线性激活函数（如ReLU函数）对输入进行变换，增加模型的非线性表达能力。ReLU函数的表达式为：y=\max(0,x)其中，x是输入值，y是输出值。通过使用ReLU函数，能够有效地缓解梯度消失问题，加速模型的训练过程。输出层根据隐藏层的输出结果，计算每个样本属于不同类别的概率。例如，在对PaviaUniversity数据集进行分类时，MLP的输入层接收经过注意力机制增强后的空谱特征，隐藏层对这些特征进行层层变换和提取，输出层则输出每个像素属于不同地物类别（如建筑物、道路、草地等）的概率。为了防止过拟合，在MLP中还采用了Dropout技术，即在训练过程中随机忽略一部分神经元，减少神经元之间的共适应现象，提高模型的泛化能力。为了进一步提高分类的准确性和稳定性，本研究还采用了集成学习的思想，将SVM和MLP的分类结果进行融合。具体来说，首先分别使用SVM和MLP对高光谱图像进行分类，得到两个分类结果。然后，通过投票法或加权平均法等方式对这两个分类结果进行融合。以投票法为例，对于每个像素，统计SVM和MLP分类结果中每个类别的票数，将票数最多的类别作为最终的分类结果。通过集成学习，能够充分发挥SVM和MLP的优势，提高分类模型的性能。在对多个公开数据集的实验中，这种融合分类器的方法相较于单独使用SVM或MLP，在总体分类精度、平均分类精度和Kappa系数等指标上都有显著提升。四、实验与结果分析4.1实验数据集为全面且准确地评估基于注意力机制和空谱结合的高光谱图像分类模型的性能，本研究选用了多个具有代表性的高光谱图像数据集，这些数据集在遥感领域广泛应用，涵盖了不同的地物类型和场景，能够充分检验模型在各种复杂情况下的分类能力。4.1.1IndianPines数据集IndianPines数据集是高光谱图像研究领域中经典且广泛使用的数据集之一。该数据集由美国印第安纳州西北部的IndianPines地区的航空高光谱图像组成，成像时间为1992年7月。其空间分辨率为20米，图像大小为145×145像素，在波长范围为0.4-2.5μm内包含220个连续的光谱波段。然而，由于部分波段受到水汽吸收和噪声的影响，数据质量较差，通常在实际应用中会去除20个噪声较大的波段，最终使用200个有效波段进行分析。IndianPines数据集包含了丰富多样的地物类型，共计16种，涵盖了农业、森林、水体、城市等多个领域。其中包括玉米、大豆、小麦等多种农作物，以及草地、森林、湿地等自然植被类型，还有道路、建筑物、停车场等人工地物。这些地物类型在光谱特征和空间分布上存在明显差异，同时也存在一定程度的“同物异谱”和“异物同谱”现象，例如不同生长阶段的玉米可能具有不同的光谱特征，而某些农作物和草地的光谱特征可能较为相似，这为高光谱图像分类任务带来了挑战，也使得该数据集成为检验分类算法性能的理想选择。在农业监测方面，研究人员可以利用该数据集分析不同农作物在不同生长周期的光谱变化，为精准农业提供决策依据；在生态研究中，通过对森林、湿地等地物的分类，有助于了解生态系统的结构和功能。IndianPines数据集在高光谱图像分类算法的开发、验证和比较中发挥着重要作用，众多研究成果都基于该数据集进行展示和评估。4.1.2PaviaUniversity数据集PaviaUniversity数据集来源于意大利帕维亚市的高光谱影像，主要聚焦于帕维亚大学校园及其周边区域。该数据集由反射光学系统成像光谱仪（ReflectiveOpticsSystemImagingSpectrometer,ROSIS）获取，具有较高的空间分辨率，达到1.3米。图像尺寸为610×340像素，光谱范围覆盖了430-860nm，包含115个光谱波段。经过去除噪声和无效波段等预处理操作后，通常使用103个有效波段用于后续分析。PaviaUniversity数据集的地物类型丰富，共包含9种主要地物类别。其中包括建筑物、沥青、裸土、树木、草地等城市和自然环境中常见的地物。这些地物在城市环境中相互交织，空间分布复杂，且不同地物之间的光谱特征存在一定的相似性和差异性。例如，建筑物和裸土在某些波段的光谱反射率较为接近，而树木和草地在近红外波段的光谱特征虽有相似之处，但也存在细微差别。这种复杂的地物分布和光谱特性使得PaviaUniversity数据集成为研究城市高光谱图像分类的重要数据来源。由于该数据集主要针对城市区域，其在城市规划、土地利用监测、城市生态环境评估等领域具有重要的应用价值。在城市规划中，通过对建筑物、道路等人工地物的准确分类，可以为城市的合理布局和发展提供数据支持；在土地利用监测方面，能够及时掌握城市土地的使用情况，为土地资源的有效管理提供依据。PaviaUniversity数据集为城市高光谱图像分类算法的研究提供了丰富的数据基础，有助于推动城市遥感技术的发展和应用。4.1.3Salinas数据集Salinas数据集采集自美国加利福尼亚州的萨利纳斯山谷，是农业领域常用的高光谱图像数据集。该数据集由AVIRIS传感器获取，空间分辨率为3.7米，图像大小为512×217像素，包含224个光谱波段。在实际应用中，通常去除水汽吸收和噪声较大的波段，最终使用204个有效波段进行分析。Salinas数据集主要用于农作物分类和土地利用研究，包含了16种不同的地物类型，其中大部分为农作物，如紫花苜蓿、玉米、生菜、洋葱、葡萄园等，还包括裸土、草地、树木等自然地物。不同农作物在生长过程中，其光谱特征会随着生长阶段、土壤条件、水分含量等因素的变化而发生改变，这使得农作物分类成为一项具有挑战性的任务。例如，不同品种的生菜在光谱特征上可能存在细微差异，而玉米在不同生长时期的光谱反射率也会有所不同。在农业生产中，利用该数据集进行农作物分类和土地利用监测，可以帮助农民及时了解农作物的生长状况，合理安排农事活动，提高农业生产效率；在农业资源管理方面，能够为土地的合理规划和利用提供科学依据，促进农业的可持续发展。Salinas数据集为农业高光谱图像分类算法的研究和应用提供了重要的数据支撑，对于推动精准农业的发展具有重要意义。4.2实验设置4.2.1数据预处理为确保高光谱图像数据能够更好地适配模型训练，并提升分类精度，对所选用的数据集进行了一系列严格的数据预处理操作。在去噪处理方面，考虑到高光谱图像在获取过程中极易受到各种噪声的干扰，这些噪声会降低图像的质量，影响后续的分析和分类结果，因此采用了基于小波变换的去噪方法。小波变换能够将高光谱图像分解为不同频率的子带，其中噪声主要集中在高频子带，而图像的主要信息则分布在低频子带。通过对高频子带进行阈值处理，可以有效地去除噪声，同时保留图像的主要特征。具体来说，对于每个波段的高光谱图像，首先将其进行小波分解，得到