CN119048600B 深度相机融合激光雷达的三维稠密点云建图方法及系统 （西安工业大学）

深度相机融合激光雷达的三维稠密点云建本发明提供了一种深度相机融合激光雷达升环境和障碍物信息的获取精度；包括以下步采用光流方法估计图像序列中像素点的光流向2时间同步与空间校准：确保激光雷达与深度相机的点云处理与优化：处理深度相机采集的深度图像动态物体识别：采用光流方法识别图像序列中的动态物障碍物融合与定位：将激光雷达识别的障碍物信息与深度相特征匹配与回环检测：通过特征点匹配进行回环检测，在地图更新与维护：对已构建的三维稠密点云地图进行增量更新和维使用最小二乘法求解旋转和平移矩阵：获取旋转矩阵R和将深度图像中的像素点结合深度信息转换为三维点云，计算出其X=半3接着使用高斯滤波对深度图像中投影至三维空间的点云数据进行滤对深度相机采集的图像中的像素点进行三维位置的估计：从深度相1是相机内参矩阵的逆矩阵；对提取到具体位置的像素点进行三维光流估计：使用连续帧的三维tz分别是光流向量在三维空间中的分量；使用RegionGrowing算法，将阈值判断之后的像素点进行区域再从每个区域的初始光流向量出发，将满足相似性准则的相邻点加4GrowRegion(region,(x,y,z))＝Uall(x,,y,,z,)a种情况下一个邻接点(x,,y,,z,)与向量中心点(x,y,z)i的k个邻近点集；p5Depth6将相邻帧之间的特征点进行过滤与匹配，使用Low'sratiotest改进R使用Low'sratiotest的方7时间同步与空间校准模块，用于确保激光雷点云处理与优化模块，用于处理深度相机采集的深度动态物体识别模块，用于采用光流方法识别图像序列中障碍物融合与定位模块，用于将激光雷达识别的障碍物信数据融合优化模块，用于使用扩展卡尔曼滤波方法优化多传感器数特征匹配与回环检测模块，用于通过特征点匹配进行回环检地图更新与维护模块，用于对已构建的三维稠密点云地图进行增量所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1深度相机融合激光雷达的三维稠密点云建图8解决传统方法在复杂环境中定位与建图精度[0006]根据第一方面，本发明提供一种深度相机融合激光雷达的三维稠密点云建图方9[0010]障碍物融合与定位：将激光雷达识别的障碍物信息与深[0019]使用最小二乘法求解旋转和平移矩阵：获取旋转矩[0059]将二维平面划分为固定大小的栅格，每个栅格记录其包含的点的数量和高度信[0126]当两个帧之间的匹配特征点数目超过设定的阈值，即满足if∣inliers∣>[0140]根据第二方面，本发明提供一种深度相机融合激光雷达的三维稠密点云建图系[0147]地图更新与维护模块，用于对已构建的三维稠密点云地[0152]本发明方法使用一种整合了激光雷达和深度相机的数据以适应室内与室外复杂[0155]图3为本发明一个实施例提供的传感器融合进行障碍物及环境背景分割的流程[0156]图4为本发明一个实施例提供的使用改进RANSAC算法进行特征点匹配及回环检测根据说明书中的描述以及本领域的一般技术知识即可完[0170]使用最小二乘法求解旋转和平移矩阵：获取旋转矩地用于将图像坐标系中的点转换到三维空间坐标系中；对于深度图中的每个像素点(u,v)算法实现，本实施例使用高斯滤波对深度图像中投影至三维空间的点云数据进行滤波处[0184]再对光流向量进行速度估计，得到设定一个素点，使用RegionGrowing算法对动态点进行范围划分，对划分后的动态范围进行校准：[0192]通过EKF对深度相机和激光雷达的运动进行预测，Ft是状[0196]继续上面的步骤，将相邻帧之间的特征点进行过滤与匹配，使用Low'sratiotest改进RANSAC算法，计算描述子之间的汉明距离，并使用最近邻算法进行匹配：使用Low'sratiotest的方法来过滤[0209]本发明实施例还提供了一种深度相机融合激光雷达的三维稠密点云建图方法的理器301可以调用存储在存储器303上并可在处理器301上运行的计算机程序，以执行上述[0210]此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分