CN117079038B 一种基于自注意的农业高光谱图像分类方法及设备 （武汉理工大学三亚科教创新园）

networkforagriculturalhyper一种基于自注意的农业高光谱图像分类方本发明提供了一种基于自注意的农业高光数据处理模块对待识别农业高光谱图像进行前意模块对备用高光谱图像进行空间维度和光谱尺度自注意光谱特征融合模块对空间光谱特征2基于所述光谱数据处理模块对待识别农业高光谱图像进行前处理，基于所述空间光谱自注意模块对所述备用高光谱图像进行空间维度和光谱维度的自基于所述多尺度自注意光谱特征融合模块对所述空间光谱特征进行多尺度的光谱维基于所述双分支语义特征提取模块对所述增强语义特征分别进行一维空间自注意学基于所述自适应融合模块对所述空间语义特征和所述光谱语义特征进行自适应融合所述空间光谱自注意模块包括深度注意力权重确定子模块、高度注意力所述基于所述空间光谱自注意模块对所述备用高光谱图像进行空间维度和光谱维度基于所述深度注意力权重确定子模块对所述备用高光谱图像进行沿深度方向的光谱基于所述高度注意力权重确定子模块对所述备用高光谱图像进行沿高度方向的光谱基于所述宽度注意力权重确定子模块对所述备用高光谱图像进行沿宽度方向的光谱基于所述备用高光谱图像、所述深度注意力权重、所述高度注意力所述多尺度自注意光谱特征融合模块包括二维卷积单元、第一光谱自注所述基于所述多尺度自注意光谱特征融合模块对所述空间光谱特征进行多尺度的光基于第二光谱自注意单元对所述第一压缩特征图进行自注意学习基于第三光谱自注意单元对所述第二压缩特征图进行自注意学习3对所述第一注意力权重、所述第二注意力权重、所述第三注意力权重所述双分支语义特征提取模块包括空间语义特征提取单元以及光谱语义特征提取单所述基于所述双分支语义特征提取模块对所述增强语义特征分别进行一维空间自注基于所述空间语义特征提取单元、所述初始分类标记和所述初始基于所述光谱语义特征提取单元、所述初始分类标记和所述初始所述基于所述深度注意力权重确定子模块对所述备用高光谱图像进行沿深度方向的获取三维查询向量，并基于所述第一三维卷积单元和所述三维查获取三维键向量，并基于所述第二三维卷积单元和所述获取三维值向量，并基于所述第三三维卷积单元和所述对所述三维查询矩阵、所述三维键矩阵和所述三维值矩阵进行融合所述基于第一光谱自注意单元对所述二维特征图进行自注意学习，获获取一维查询向量，并基于所述第一一维卷积单元和所述一获取一维键向量，并基于所述第二一维卷积单元和所述一维键获取一维值向量，并基于所述第三一维卷积单元和所述一维值对所述一维查询矩阵、所述一维键矩阵和所述一维值矩阵进4所述基于所述第一特征压缩单元对所述二维特征图进行压缩，获得第一压缩特征图，基于所述第四一维卷积层、所述激活函数层以及所述批量归所述基于所述空间语义特征提取单元、所述初始分类标记和所述基于所述融合子单元对所述增强语义特征、所述初始分类标记和基于预设提取参数从所述高光谱降维图像中提取多个权利要求1至6中任意一项所述的基于自注意的农业高光谱图像分类方法中的步5农业高光谱图像的特点导致使用现有的高光谱图像分类技术对农业高光谱图像进行分类[0009]基于所述空间光谱自注意模块对所述备用高光谱图像进行空间维度和光谱维度[0010]基于所述多尺度自注意光谱特征融合模块对所述空间光谱特征进行多尺度的光[0011]基于所述双分支语义特征提取模块对所述增强语义特征分别进行一维空间自注6[0012]基于所述自适应融合模块对所述空间语义特征和所述光谱语义特征进行自适应[0014]所述基于所述空间光谱自注意模块对所述备用高光谱图像进行空间维度和光谱[0015]基于所述深度注意力权重确定子模块对所述备用高光谱图像进行沿深度方向的[0016]基于所述高度注意力权重确定子模块对所述备用高光谱图像进行沿高度方向的[0017]基于所述宽度注意力权重确定子模块对所述备用高光谱图像进行沿宽度方向的[0020]所述基于所述深度注意力权重确定子模块对所述备用高光谱图像进行沿深度方[0026]所述基于所述多尺度自注意光谱特征融合模块对所述空间光谱特征进行多尺度7[0045]所述基于所述双分支语义特征提取模块对所述增强语义特征分别进行一维空间8上述任意一种可能的实现方式中的基于自注意的农业高光谱图像分[0064]图2为本发明提供的基于自注意的农业高光谱图像分类方法的一个实施例流程示9[0079]图17为本发明提供的基于自注意的农业高光谱图像分类设备的一个实施例结构现这些功能实体，或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实[0086]图1为本发明提供的高光谱图像分类模型的一个实施例结[0087]图2为本发明提供的基于自注意的农业高光谱图像分类方法的一个实施例流程示[0089]S202、基于空间光谱自注意模块200对备用高光谱图像进行空间维度和光谱维度[0090]S203、基于多尺度自注意光谱特征融合模块300对空间光谱特征进行多尺度的光[0091]S204、基于双分支语义特征提取模块400对增强语义特征分别进行一维空间自注[0092]S205、基于自适应融合模块500对空间语义特征和光谱语义特征进行自适应融合[0093]与现有技术相比，本发明实施例提供的基于自注意的农通过设置高光谱图像分类模型10包括空间光谱自注意模块200、多尺度自注意光谱特征融合模块300以及双分支语义特征提取模块400，可基于空间光谱自注意模块200实现在空间[0098]S401、基于深度注意力权重确定子模块210对备用高光谱图像进行沿深度方向的[0099]S402、基于高度注意力权重确定子模块220对备用高光谱图像进行沿高度方向的[0100]S403、基于宽度注意力权重确定子模块230对备用高光谱图像进行沿宽度方向的以及宽度注意力权重确定子模块230的数据处理原理和过程均相同，下文以深度注意力权[0143]基于第四一维卷积层331、激活函数层332以及批量归一化层333依次对二维特征[0171]步骤S1603中使用8个大小为3×3×3的卷积核的对立方体图像块进行三维卷积处技术中常用的分类模型在公开的数据集上进行了实验对比，具体地，采用的环境是Intel像分类模型作为对比的现有技术中的模型为ResNet、PyResNet、ContextualNet、SSRN、[0177]具体地，本发明实施例与其他方法在WHU_Hi_HanChuan数据集上的比较实验结果[0180]具体地，本发明实施例与其他方法在WHU_Hi_HongHu数据集上的比较实验结果如[0187]由表1_表3的结果可知，本发明实施例提出的农业高光谱图像分类方法在三个通[0189]需要说明的是：基于自注意的农业高光谱图像分类装置包括高光谱图像分类模[0192]基于空间光谱自注意模块对备用高光谱图像进行空间维度和光谱维度的自注意[0193]基于多尺度自注意光谱特征融合模块对空间光谱特征进行多尺度的光谱维度的[0194]基于双分支语义特征提取模块对增强语义特征分别进行一维空间自注意学习和[0196]上述实施例提供的基于自注意的农业高光谱图像分类装置可实现上述基于自注[0197]如图17所示，本发明还相应提供了一种基于自注意的农业高光谱图像分类设备[0198]处理器1701在一些实施例中可以是一中央处理器(CentralProcessingUnit，[0200]存储器1702在一些实施例中可以是基于自注意的农业高光谱图像分类设备17001702在另一些实施例中也可以是基于自注意的农业高光谱图像分类设备1700的外部存储示在基于自注意的农业高光谱图像分类设备1700的信息以及用于显示可视化的用户界面。基于自注意的农业高光谱图像分类设备1700的部件1701_1703通过系[0205]基于空间光谱自注意模块对备用高光谱图像进行空间维度和光谱维度的自注意[0206]基于多尺度自注意光谱特征融合模块对空间光谱特征进行多尺度的光谱维度的[0207]基于双分支语义特征提取模块对增强语义特征分别进行一维空间自注意学习和设备也可以是其他便携式基于自注意的农业高光谱图基于自注意的农业高光谱图像分类设备1700也可以不是便携式基于自注意的农业高光谱施例提供的基于自注意的农业高光谱图像分类方法中的步[0213]以上对本发明所提供的基于自注意的农业高光谱图像分类方法及设备进行了详