CN117911261B 一种激光雷达与相机融合的图像处理方法及装置 （深圳市创想数维科技有限公司）

一种激光雷达与相机融合的图像处理方法本发明公开了一种激光雷达与相机融合的测点云和真实点云求解出分别在网格体的三轴机采集的图像和空间平面采用边缘检测图形识图中的相机虚拟位姿与相机的实际位姿进行匹配定位和建图以完成激光雷达与相机融合的图减少手动调节2获取激光雷达扫描屏幕的点云数据，根据激光雷达的位姿将网格信息进行边缘识别得到预测点云和真实点云，根据预测点基于位姿信息、相机采集的图像和空间平面采用边缘检测图形获取网格地图中的相机虚拟位姿与相机的实际位姿进行匹配定位和建图以完成激光将激光雷达点云和RGB图像作为输入，将三维点云转换为二维深度图外参数T，投影的表达式为y=p·T-x，其中x表示点云中的三维点，y表示转换后的深度Ta·T，则输入深度图ra和随机变换r它们转换为变换矩阵以进一步计算损失函数，平移向量直接用作变换矩阵中的平移项，旋转向量通过罗德里格斯旋转表达式转换为旋转矩阵Rra，旋转表达式为;Lr=lr3获得预测深度图，并计算预测深度图和真实深度图之间的偏差得到深度图的损失La的表点云损失：通过预测深度图和真实深度图的反投影来获得将预测点云和真实点云进行点云分割和点云聚类以估计空间平面对应的平面模型的表达式为ax+gy+cz+d=0，其中d表示激光雷达坐标原点到投影屏幕的距离，a、b采用DBSCAN算法找到样本点的全部密集区域，并将密集区域形成聚类簇内的点，不是核心点也不是边界点；密度可达表示样本点集集合D，若存在任意点序列,若从到p:直接密度可达，则从Dn到p1为密度可达；直接密度可达表信息、相机采集的图像和空间平面采用边缘检测图形识别算法进行信息融合得到网格地4变换矩阵实现参数的变换后根据参数和变换形式输出Q和输入点云间的映射为z()，完,其中a表示输入量以描述各点云。先将激光雷达点云聚类后的目标点云三维矩形框投影到图像上转化为目标点云二维点云二维包络框和目标图像像素二维包络框的坐标分别为、,则激光雷达点云二维包络框和相机图像像素二维包络框的交两种交集部分Boxi。面积的表达式为，对应得到BOXZ和BOX的交并比；采用激光雷达点云二维包络框和相机图像二维包络框交集部分面积与相机图像像素5获取图像当前帧的静态特征点，分别对静态特征点中的边缘点和平面点进行匹配，记当前帧的静态特征点为，匹配的表达式为，其中、分别表示中的边缘点集合和平面点集合，记当前帧对应子图的静态特征点为M库，F"表示转换到全局坐标系下的边缘点，F"表示转换到全局坐标系下的平面边缘点在三维空间中以线的形式存在，通过构建点到线的约束来实现边缘点的匹配，将f(Trx1)构建为优化方程的表达式为6,当悠哈算法收敛后，得到当前帧的精确位姿8.一种根据权利要求1_7任一项所述的激光雷达与相机融合的图像处理方法的激光雷数据获取模块，用于获取激光雷达扫描屏幕的点云数据，根据激点云计算模块，用于将网格信息进行边缘识别得到云和真实点云求解出分别在网格体的三轴上最信息融合模块，用于基于位姿信息、相机采集的图像和7[0002]近年来，XR虚拟拍摄技术取得了巨大的突破，作为虚拟拍摄中的核心功能建图果不断手动修正投射模型的大小比例、角度偏移和坐标位移，修整的精度需达到毫米级别才能在合成渲染层和拍摄层时做到无缝对齐，并能在30帧以上的跟踪过程中无明显际施工过程中，需要投射的屏幕会有施工的误差和多屏幕的拼接造成的各种缝隙，和投射少mapping误差和提高应用过程效率的激光雷达与相机融合的图像处理方法及装置，来解解出分别在网格体的三轴上最多点云落入的空[0008]获取网格地图中的相机虚拟位姿与相机的实际位姿进行匹配定位和建图以完成[0011]通过调节的方式来获得未标定的深度图，并将其作为输入深度图，添加的8[0012]将RGB图像和未标定深度图输入特征提取网络并经过特征聚合网络输出三个自由[0013]使用预测的旋转向量和平移向量，将它们转换为变换矩阵以进一步计算损失函数，平移向量直接用作变换矩阵中的平移项，旋转向量通过罗德里格斯旋转表达式转换为旋转矩阵，旋转表达式为。[0016]深度图损失：设定预测变换矩阵，将变换应用于输入深度图并获得预测深度图，并计算预测深度图和真实深度图之间的偏差得到深度图的损失的表达式为,其中x表示点云中的三维点，表示预测深度图中[0017]点云损失：通过预测深度图和真实深度图的反投影来获9[0019]将预测点云和真实点云进行点云分割和点云聚类以估计空间平面对应的平面模a、b和c分别表示投影平面法向量的笛卡尔分量，激光雷达三维空间点云投影到二维平面圆内的点，不是核心点也不是边界点；密度可达表示样本点集集合D，若存在任意点序列通过变换矩阵实现参数的变换后根据参数和变换形式输出Q和输入点云间的映射为过双线性插值算法取H的整数坐标并根据整数坐标点采集H的特征，在输出Q中融入采集的中X、Y和Z轴方向的待优化卷积权分别是、和，X、Y和Z轴方向的卷积分别为[0034]先将激光雷达点云聚类后的目标点云三维矩形框投影到图像上转化为目标点云,则激光雷达点云二维包络框和相机图像像素二维包络框的交两种交集部分面积的表达式为，对应得到和的交并比；[0035]采用激光雷达点云二维包络框和相机图像二维包络框交集部分面积与相机图像[0037]获取图像当前帧的静态特征点，分别对静态特征点中的边缘点和平面点进行匹示中的边缘点集合和平面点集合，记当前帧对应子图的静态特征点为，则有表示转换到全局坐标系下的边缘点，表示转换到全局坐标系下的平面,其中,当悠哈算法收敛后，得到当前帧的精确位姿维坐标轴下，将激光雷达坐标系经过平移旋转转换到相机坐标系得到激光雷达的位姿信测点云和真实点云求解出分别在网格体的三轴上最了目标融合识别结果的精度，同时可以精确读取实际屏体的尺寸和空间位置信息，减少[0054]参阅图1，本发明提供了一种激光雷达与相机融合的图像处理方法，包括以下步[0058]S13：获取网格地图中的相机虚拟位姿与相机的实际位姿进行匹配定位和建图以输入深度图和随机变换分别对应的表达式为，其中度图，并计算预测深度图和真实深度图之间的偏差得到深度图的损失的表达式为,其中x表示点云中的三维点，表示预测深度图中和d为激光雷达线束扫描目标产生的四个点云，激光雷达线束通过旋转角度扫描到目标[0064]将预测点云和真实点云进行点云分割和点云聚类以估计空间平面对应的平面模a、b和c分别表示投影平面法向量的笛卡尔分量，激光雷达三维空间点云投影到二维平面圆内的点，不是核心点也不是边界点；密度可达表示样本点集集合D，若存在任意点序列通过变换矩阵实现参数的变换后根据参数和变换形式输出Q和输入点云间的映射为过双线性插值算法取H的整数坐标并根据整数坐标点采集H的特征，在输出Q中融入采集的获取局部形状特征需要对中心点的X、Y和Z轴方向完成三级编码卷积操作以确保中心点特[0078]需要说明的是，为了解决激光雷达图像点云引起的目标定性使得点云数据不能有效输入到深度卷积神经网络中，通过max_pooling差异化对称函网络和两个MLP，向高纬空间映射输入的激光雷达三维特征，并利用max_pooling层取[0080]先将激光雷达点云聚类后的目标点云三维矩形框投影到图像上转化为目标点云目标点云二维包络框和目标图像像素二维包络络框和相机图像像素二维包络框的交集部分坐标为，分别得到的面积、的面积和两种交集部分面积的表达式为[0082]采用激光雷达点云二维包络框和相机图像二维包络框交集部分面积与相机图像[0084]获取图像当前帧的静态特征点，分别对静态特征点中的边缘点和平面点进行匹示中的边缘点集合和平面点集合，记当前帧对应子图的静态特征点为，则有表示