CN115331110B 遥感高光谱图像与激光雷达图像融合分类方法及装置 （苏州大学）

遥感高光谱图像与激光雷达图像融合分类本发明涉及一种遥感高光谱图像与激光雷利用拼接层将多个深度网络支路的输出进行两2S2：将高光谱图像进行本征图像分解得到本征征像元、高光谱光照像元以及激光雷达像元，选取其周围尺寸为sxs的邻域作为该像元的邻域块，其中高光谱图像中每个高光谱像元的邻域块尺寸为sxsxB，激光雷达图像L中激光雷达像元的邻域块尺寸为sxs；和L61和L2的输入为高光谱本征图像中的尺寸为sxsxB的高光谱本征像元，L3和L4的输入为激光雷达图像中的尺寸为sxs的激光雷达像元，L5和L6的输入为高光谱光照图像中的尺寸为sxsxB的高光谱光照像元，和O6，尺寸均为sxsxd；到第10个多模态分组卷积层，得到输出O34564，将O12和O34561输入到第11个多模态分组卷积O121和O34562输入到第12个多模态分组卷积层，得到输出O122，将O122和O34563输入到第13个多模态分组卷积层，得到输出O123，将尺寸为sxsxd的O34564和O123输入尺寸为sxs的二维平均池化层，得到尺寸为1xd的O34565和O124；述步骤S1中在选取高光谱图像与激光雷达图像之后对高光谱图像与激光雷达图像进行归3.如权利要求1或2所述的遥感高光谱图像与激光雷达图像融合分类方法，其特征在i+1XxYB]∈RBx(B+XxY_1)其中IB为尺寸为BxB的单位矩阵；其中αi的形状为(B+XxY_1)x1；S2.3：构建权重矩阵W∈R(XxY)x(XxY)，对权重矩阵中第i行第j列的元Wij进行赋值基于权重矩阵W计算矩阵G＝(IXxY_WT)(IXxY_W)+δIXxY，其中IXxY为3阵K＝(IB_1B1BT/B)log(flatten(H))(IXxY_1XxY1XxYT/(XxY))，其中IB和IXxY分别为尺寸为BxB和(XxY)x(XxY)的单位矩阵，1B和1XxY分别为尺寸为Bx1和(XxY)x1的全1向量；本征图像RE＝eρ和光照图像SH＝elog(H)_ρ,其中e为自然常数，两个图像的2和L3共享所有权4和L5共享所有权重。6.如权利要求1或4所述的遥感高光谱图像与激光雷达图像融合分类方法，其特征在O34和O56的公式为O12＝Concatenation(O1，O2)，O34＝Concatenation(O3，O4)，O56=数据获取模块，其用于获取高光谱图像与激光雷达图像，两幅图于每一个高光谱本征像元、高光谱光照像元以及激光雷达像元，选取其周围尺寸为sxs的邻域作为该像元的邻域块，其中高光谱图像中每个高光谱像元的邻域块尺寸为sxsxB，激光雷达图像L中激光雷达像元的邻域块尺寸为sxs；输入为高光谱本征图像中的尺寸为sxsxB的高光谱本征像元，L3和L4的输入为激光雷达图像中的尺寸为sxs的激光雷达像元，L5和L6的输入为高光谱光照图像中的尺寸为sxsxB的和O6，尺寸均为sxsxd；O562342O343出O122122和O34563输入到第13个多模态分组卷积层，得到输出O123，将尺寸为sxsxd的O34564和O123输入尺寸为sxs的二维平均池化层，得到尺寸为1xd的O34565和O124；4激光雷达图像之后对高光谱图像与激光雷达图像进行归一9.如权利要求7或8所述的遥感高光谱图像与激光雷达图像融合分类装置，其特征在i+1XXYB]∈RBX(B+XXY_1)其中IB为尺寸为BXB的单位矩阵；其中αi的形状为(B+XXY_1)X1；i行第j列的元Wij进行赋值基于权重矩阵W计算矩阵G＝(IXXY_WT)(IXXY_W)+δIXXY，其中IXXY为B_1B1BT/B)log(flatten(H))(IXXY_1XXY1XXYT/(XXY))，其中IB和IXXY分别为尺寸为BXB和(XXY)X(XXY)的单位矩阵，1B和1XXY分别为尺寸为BX1和(XXY)X1的全1向量；基于矩阵G和矩阵K计算矩阵ρ=δKG_1，基于矩阵ρ得到由高光谱图像H分解得到的本征10.如权利要求7所述的遥感高光谱图像与激光雷达图像融合分类装置，其特征在于：5谱图像具有丰富的空间信息和光谱信息，其中空间信息为各波长下像元的空间位置信息，的高程信息，通过将高光谱图像与激光雷达图像进行充分融合可以达到信息互补的效果，激光雷达图像充分融合的方法相继被提出，这些方法对不同图像的信息提取过程进行改[0003]目前遥感领域中高光谱图像与激光雷达图像融合分类方法一般可分为基于经典图像中的高程信息构造特征提取模块以及融合模块，从而实现不同遥感图像间的联合表小化噪声分离(MinimumNoiseFraction，MNF)，线性判别分析(LinearDiscriminant算法等同样发挥重要的作用。此类方法通常提取高光谱图像和激光雷达图像中的判别信分类方法被广泛提出。例如DanfengHong等人于2020年发表在IEEEGeoscienceandRemoteSensingLetters上的DeepEncoder–DecoderNetworksforClassificationof及想更深层嵌入空间的传递。此外，他们同年发表在IEEETransactionsonGeoscienceandRemoteSensing上的MoreDiverseMeansBetter:MultimodalDeepLearningMeetsRemote_SensingImageryClassification提出了一种多模态数据的深度学习框6架，通过在网络训练过程中进行参数交叉选择来对多模态图像间的互补信息进行二次学[0004]但是现有的面向遥感领域中高光谱图像与激光雷达图像融合分类方法存在一定和L61和L2的输入为高光谱s×s×B的激光雷达像元，L5和L6的输入为高光谱光照图像中的尺寸为s×s×B的高光谱光7Hi_1[0025]在本发明的一个实施例中，所述步骤S3中构建深度网络支路训练时的损失函数8[0031]图像分解模块，其用于将高光谱图像进行本征图像分解得到本征图像和光照图×s的邻域作为该像元的邻域块，其中高光谱图像中每个高光谱像元的邻域块尺寸为s×sL5和L6的输出两两拼12[0034]多模态融合模块，其用于将O34和O56输入到第1个多模态分组卷积层，得到输出O34561出O563343122预处理子模块用于在选取高光谱图像与激光雷达图像之后对高光谱图像与激光雷达图像Hi_1[0044]构建权重矩阵W∈R(X×Y)×(X×T)，对权重矩阵中第i行第j列的元Wij进行赋值9[0046]基于矩阵G和矩阵K计算矩阵ρ[0050]2.本发明将高光谱图像本征图像分解理论应用到高光谱图像与激光雷达图像融[0051]3.本发明提出一种将高光谱图像分解得到的光照图像与激光雷达图像进行充分[0053]图1为本发明所提供的一种遥感高光谱图像与激光雷达图像融合分类方法的流程[0054]图2为本发明所提供的一种遥感高光谱图像与激光雷达图像融合分类装置的框架[0057]请参考图1所示，本发明实施例提供一种遥感高光谱图像与激光雷达图像融合分和L61和L2的输入为高光谱s×s×B的激光雷达像元，L5和L6的输入为高光谱光照图像中的尺寸为s×s×B的高光谱光[0065]所述步骤S2中将高光谱图像进行本征图像分解得到本征图像和光照图像的方法Hi_1[0075]所述步骤S2中针对每一个高光谱本征像元、高光谱光照像元以及激光雷达像元高光谱图像H中每个高光谱像元的邻域块尺寸为s×s×B，激光雷达图像L中激光雷达像元达图像L中的尺寸为s×s×B的激光雷达像元，L5和L6的输入为高光谱光照图像SH中的尺寸[0080]所述步骤S4中利用拼接层(ConcatenationLayer)将上述六个深度网络支路的输模态分组卷积层，得到输出O34564，卷积层，得到输出O123，其尺寸为s×s×d，将O123输入尺寸为s×s的二维池化层(Average[0085]所述步骤S6中将O124和O34565输入拼接层得到输入O123456＝Concatenation(O124，论与多模态遥感图像融合分类研究进行高效结合，在模型构建中充分发挥光照图像的优[0087]本发明首次将高光谱图像的本征图像分解引入多模态遥[0088]本发明提出一种将高光谱图像分解得到的光照图像与激光雷达图像进行充分融[0090]本发明提出一种将多模态分组卷积层应用到高光谱图像与激光雷达图像融合分[0091]本发明提出的一种遥感高光谱图像与激光雷达图像融合分类方法采用的高光谱[0099]从共计99600个样本邻域块中随机选择10％的样本邻域块用于训练深度网络模[0101]用本发明提出的遥感高光谱图像与激光雷达图像融合分类方法及装置和目前较[0103]可以看出，本发明方法可以较好得对高光谱图像和激光雷达图像进行融合并分[0104]下面对本发明实施例二公开的一种遥感高光谱图像与激光雷达图像融合分类装遥感高光谱图像与激光雷达图像融合分类方法可[0105]请参阅图2所示，本发明实施例提供一种遥感高光谱图像与激光雷达图像融合分×s的邻域作为该像元的邻域块，其中高光谱图像中每个高光谱像元的邻域块尺寸为s×s12O34561出O563343122[0111]图像分类模块60，将O124和O34565输入拼接层得到输出O123据预处理子模块用于在选取高光谱图像与激光雷达图像之后对高光谱图像与激光雷达图Hi_1[0120]构建权重矩阵W∈R(X×Y)×(X×Y)，对权重矩阵中第i行第j列的元Wij进行赋值[0122]基于矩阵G和矩阵K计算矩阵ρ[0124]本实施例的一种遥感高光谱图像与激光雷达图像融合分类装置用于实现前述的现在流程图一个流程或多