CN115358928B 一种三维图谱合一的高光谱点云数据生成方法及系统 （广东工业大学）

一种三维图谱合一的高光谱点云数据生成本发明提出一种三维图谱合一的高光谱点云数据生成方法及系统，涉及RGB图像光谱超分器设备获取RGB图像数据后，构建多级光谱变换网络和深度预测网络并进行训练，输入单帧RGB图像后分别重建并生成高光谱图像和RGB图像初2S2.构建多级光谱变换网络并训练，将单帧RGB图像输入至训练好的多级光谱变换网S4.确定移动传感器设备的相机初始焦距，根据初始深度信息和初始相机焦距计算生步骤S5中构建的3D点云生成网络由偏移点云网络N.,0和焦距点云网络N,0构成；构建3D点云生成网络后使用Adam优化器对3D点云生成网络进行训练，优化其网络参子；lg,"为图像的中心坐标；;j为焦距调整因子；S6.对S2生成的高光谱图像进行数据处理，获取高光谱图像每个像素点对应多个波段S7.将高光谱图像对应像素点的多个波段光谱信息端到端映射到3D点云像素点的波段3一个光谱注意力模块包括具有HSI空间稀疏且光谱自相似性质的光谱多头自注意力模块和基于优化器Adam，使用步骤S1中获得的128x128RGB_HSI图像对的自采数据集和S3构建的深度预测网络包括用于特征提取的标准主干ResNet50和一个用于预测未知比例获取来自开源数据集的RGB_D图像数据，利用RGB_D图像数据训LO表示图像归一化回归损失ILNR函数d,表示预测的深利用成对正态回归PWN损失来提高局部几;4，将预测出的初始深度信息和初始相机焦距经过坐标变换公式得到失真34其中，(,V)为图像坐标系下的任意坐标点，"t,分别为单帧RGB图像的中心坐标，调整深度信息和调整相机焦距若干次，接着将调整预测得到的深度信息dw与相机焦距其中，(,v)为图像坐标系下的任意坐标点，(,20)表将步骤S5中三维重建生成的3D点云进行点云处理操作的然后循环遍历点云的多维矩阵中的每一个元素，所述每一个元素即为点云的每一个像素图像对应像素点的多个波段光谱信息端到端映射到相匹配的3D点云像素点的波段信息上，5失真3D点云生成单元，用于确定移动传感器设备的相机构建的3D点云生成网络由偏移点云网络.0和焦距点云网络N,0构成；构建3D点云生成网络后使用Adam优化器对3D点云生成网络进行训练，优化其网络参;j波段信息获取单元，用于对高光谱图像重建生成单元中得到的高三维图谱合一单元，将高光谱图像对应像素点的多个波段光谱信息6[0003]为了解决当前采集高光谱图像的成像光谱仪采集的高光谱图像不具备高分辨率发明首先通过高光谱图像和激光雷达点云获取本征映射矩阵，然后分割提取高光谱图像H[0009]S4.确定移动传感器设备的[0011]S6.对S2生成的高光谱图像进行数7[0012]S7.将高光谱图像对应像素点的多个波段[0013]本技术方案利用数据驱动学习的单帧RGB图像光谱超分辨重建和三维重建技术来用RGB图像构建深度预测网络和3D点云生成网络，以及利用RGB_HSI图像对对模型进行训一个单级光谱变换网络由Encoder_Decoder的U形结构模块构成，该U形结构模块由多个光谱注意力模块构成，每一个光谱注意力模块包括具有HSI空间稀疏且光谱自相似性质的光128×128RGB_HSI图像对的自采数据补充到该裁剪得到的数据集中，训练的数据通过随机[0019]获取来自开源数据集的RGB_D图像数据，利用RGB_D图像8[0027]设深度预测网络预测得到的单帧RGB图像的初始深度信息为dinit、初始相机焦距为finit，将预测出的初始深度信息和初始相机焦距经过坐标变换公式得到失真3D点云数w[0036]当调整与预测相机焦距时9征匹配算法对3D点云和高光谱图像进行像素点特征提取与匹配，找到相匹配的像素点对，匹配完成后将高光谱图像对应像素点的多个波段光谱信息端到端映射到相匹配的3D点云元重建并生成高光谱图像，利用图像深度信息获取单元将单帧RGB图像输入至构建出并训得目标或场景的高分辨空间三维特性，亦可在保留RGB图像高空间分辨率的同时获得高光[0057]图1表示本发明实施例1中提出的三维图谱合一的高光谱点云数据生成方法的流[0058]图2表示本发明实施例1中提出的三维图谱合一的高光谱点云数据生成方法的方[0060]图4表示本发明实施例1中根据图3采集的RGB图像重建出的高光谱图像立方体可[0062]图6表示本发明实施例1中根据图3采集的RGB图像重建出的3D点云数据可视化图[0063]图7表示本发明实施例1中根据图4的高光谱图像和图6的3D点云数据生成的不同[0064]图8表示本发明实施例2中提出的三维图谱合一的高光谱点云数据生成方法的系[0076]S4.确定移动传感器设备的[0078]设深度预测网络预测得到的单帧RGB图像的初始深度信息为dinit、初始相机焦距为finit，将预测出的初始深度信息和初始相机焦距经过坐标变换公式得到失真3D点云数w[0094]S6.对S2生成的高光谱图像进行数[0098]S7.将高光谱图像对应像素点的多个波段图像对应像素点的多个波段光谱信息端到端映射到相匹配的3D点云像素点的波段信[0101]本实施例针对步骤S2中构建的多级光谱变换网络、训练及将单帧RGB图像输入至级光谱变换网络由Encoder_Decoder的U形结构模块构成，该U形结构模块由多个光谱注意力模块构成，每一个光谱注意力模块包括具有HSI空间稀疏且光谱自相似性质的光谱多头模块S_MSA将Xin重塑为xeREXWXC，将X线性投影到QeREWXC,keRWXC和[0104]Q＝XWQ,K＝XWK,V＝XWV，其中WQeRCXC,wkeRCXC,wveRCXC为可学习的参E'xoureR(c；利用LN归一化层对特征信息xourER(c进行归一化，得到xoue:o.UWER⃞c，的维度相同的特征图，利用GELU激活函数和Conv1×1构网络模块中的Embedding层降维后得到的作为光谱注意力模块的输入，并利RGB图像数据经过Embedding层降维后的得到作为Encoder编码器的输入数粗到细逐步提高光谱超分辨重建质量；首先将单帧RGB图像数据作为多级光谱变换网络模入到单级光谱变换网络模块中，输出具有多分辨率上用Conv3×3从XSST_out中提取光谱特征信[0116]使用步骤S1中获得的128×128RGB_HSI图像对的自采数据集和NTIRE2022公开然后从NTIRE2022数据集中裁剪出128×128RGB_HSI样本对数据集，并将128×12HSI图像对的自采数据补充到该裁剪得到的数据集中，训练的数据通过随机旋转和翻转来[0117]步骤S3中构建的深度预测网络包括用于特征提取的标准主干ResNet50和一个用[0118]获取来自开源数据集的RGB_D图像数据，利用RGB_D图像[0120]其中，LILNR表示图像归一化回归损失ILNR函数di表示预测[0132]波段信息获取单元106，用于对高光谱图像重建生成单元中得到的高光谱图像进[0133]三维图谱合一单元107，将