CN118097347B 多光谱图像场景识别方法、装置、电子设备和存储介质 （清华大学深圳国际研究生院）

T.Lu,M.Liu,W.FuandX.HyperspectralImageSpectral-SpClassification.IEEETransaGeoscienceandRemoteSensing,vol.61.2023,1-12.T.Lu,M.Liu,W.FuandX.HyperspectralImageSpectral-SpClassification.IEEETransaGeoscienceandRemoteSensing,vol.61.2023,1-12.HongshengLiandYuQiao.UUnifiedTransformerforEffic2获取待识别的多光谱图像，根据所述多光谱图像的波段对所述多光谱图像进行分组，基于与所述多光谱图像组的波段对应的预设网络结构对所述多光谱图像组进行特征基于预设的跨波段注意力融合网络对所述波段特征信息进行特征所述基于与所述多光谱图像组的波段对应的预设网络结构对所述多光谱图像组进行基于预设的骨干网络对RGB波段的所述多光谱图像组进行特征提取基于预设的多阶段分组光谱特征提取网络对非RGB波段的所述多光谱图像组进行特征将除RGB波段之外的其他波段图像作为多阶段分组光谱特征提取网络段采用分组图像块嵌入层和MGSFE单元，多阶段分组光谱特征提取网络的阶段数可根据波跨波段注意力融合网络基于交叉注意力机制实现，将骨干网络提取到的RGB波段特征用于连接所述多阶段分组光谱特征提取网络单元的输合模块和所述第二前馈神经网络模块之间设有层归3确定每个所述波段特征信息对应的注意力分数，根据所述注意力分数和所述特征值信息，对所述多光谱图像进行上采样以完成对所述多光谱图像分组模块，用于获取待识别的多光谱图像，根据所提取模块，用于基于与所述多光谱图像组的波段对应的预设网络结构对融合模块，用于基于预设的跨波段注意力融合网络对所述波段特征信息进行特征融识别模块，用于输入所述融合波段特征信息至预先训练完所述基于与所述多光谱图像组的波段对应的预设网络结构对所述多光谱图像组进行基于预设的骨干网络对RGB波段的所述多光谱图像组进行特征提取基于预设的多阶段分组光谱特征提取网络对非RGB波段的所述多光谱图像组进行特征将除RGB波段之外的其他波段图像作为多阶段分组光谱特征提取网络段采用分组图像块嵌入层和MGSFE单元，多阶段分组光谱特征提取网络的阶段数可根据波跨波段注意力融合网络基于交叉注意力机制实现，将骨干网络提取到的RGB波段特征48.一种电子设备，包括存储器、处理器及存储程序被处理器执行时实现如权利要求1至6任一项所述多光谱图像场景识别5过一定的算法对图像中包含的地物目标的语义类[0003]现有的针对遥感图像场景分类的技术大多基于RGB图像而设计，针对多光谱遥感图像的场景分类研究较少。目前现有的多光谱场景识别方法大致可以总结为两种技术框[0008]基于与所述多光谱图像组的波段对应的预设网络结构对所述多光谱图像组进行[0010]输入所述融合波段特征信息至预先训练完成的场景识别模型，得到场景识别结[0013]基于预设的多阶段分组光谱特征提取网络对非RGB波段的所述多光谱图像组进行6所述多阶段分组光谱特征提取网络单元的输入端和[0017]根据本发明提供的一种多光谱图像场景识别方法，所述场景识别模型包括分类7序，该计算机程序被处理器执行时实现如上述任一种所述多光谱图像场景识别方法的步指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。8为一个分组也可防止不同波段的信息互相影响，避免每个波段的特征信息被其他波段淹[0049]步骤S130，基于预设的跨波段注意力融合网络对所述波段特征信息进行特征融9[0054]基于预设的多阶段分组光谱特征提取网络对非RGB波段的所述多光谱图像组进行多阶段分组光谱特征提取网络对RGB波段以外波段的多光谱[0056]骨干网络为现有技术中的RGB特征提取网络中的骨干网络，比如UniFormer，UniFormer是一种统一的图像特征提取网络，其将卷积网络的思想和自注意力的思想进行[0060]阶段1和阶段2采用卷积的思想对图像进行特征提取，进行局[0065]本发明将除RGB波段之外的其他波段图像作为多阶段分组光谱特征提取网络像进行特征提取。第一个阶段采用普通的图像块嵌入层和MGSFE单元构成，在后面几个阶[0066]图5是本发明提供的多阶段分组光谱特征提取网络单元的结构示意图，如图5所且使用逐点卷积进行光谱信息的融合，层归一化模块是为了保持网络训练过程的稳定，[0070]UniFormer和MGSFE网络可得到RGB波段和其他各个波段的特征信息，本发明通过跨波段注意力融合网络(Cross_BandAttentionFusion,CBAF)用来动态的融合不同波段/将UniFormer提取到的RGB波段特征信息经过线性层进行特征变换得到特征查询信息[0074]可以理解的是，本发明通过跨波段注意力融合网络对不同波段/分组的特征信息所述分类器用于根据预设的单标签或多标签分类任务对所述融合波段特征信息进行分类，力融合网络和所述分类器实现多光谱图像场景然无法充分利用多光谱图像的光谱信息。本发明基于多光谱图像的不同光谱之间的特点，mAP_82.475.578.8___81.778.165.371.164.552.856.688.083.072.977.671.760.264.185.579.571.975.467.859.862.289.080.977.879.371.765.867.487.681.873.677.570.760.764.089.683.376.479.773.064.867.589.785.781.383.477.670.873.1别召回率和类别F1分数。括号中RGB和ALL分别代表仅使用RGB波段和使用全部波段进行分[0094]提取模块720，用于基于与所述多光谱图像组的波段对应的预设网络结构对所述[0095]融合模块730，用于基于预设的跨波段注意力融合网络对所述波段特征信息进行[0099]此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以指令被计算机执行时，计算机能够执行上述各实施例所提供的多光谱图像场景识别方法，构对所述多光谱图像组进行特征提取，得到每一所述多光谱图像组对应的波段特征信息；以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单以对前述各实