CN116007607B 一种多源语义感知下的室内动态slam方法 （中北大学）

具体涉及一种多源语义感知下的室内动态SLAM别并移除分割出运动物体及与其交互的可移动2步骤2中利用畸变校正后的激光雷达三维点云信息对深度图像进行补全和修复，具体步骤3(2.1)设前一帧Ip和当前帧Ic的两组静态匹配点为Pp＝{Pp1,P步骤3.2中利用初始掩膜所覆盖区域的深度信息对深度图像修正，得到物体修复后的深度为初始掩膜和深度掩膜Mi的并集，如式(5)所示；4Obj和SObj分别为运动物体和静态物体的集合，Mfn和Mi,n分别表示运动物体的掩最后，通过形态学方法去除深度图像中的孤立图像块，以确保完全去5[0004](1)SLAM的静态假设有时无法成立，进入摄像机视野范围内的运动物体易干扰摄[0007]本项目拟利用激光雷达及IMU(惯性测量单元)补充视觉SLAM的不足，预先定义室6微分流形方法得到整个场景的全局三维点云图及摄像机7[0028]进一步，所述步骤2中利用畸变校正后的激光雷达三维点云信息对深度图像进行[0036](2)基于极线约束并使用加权RANSAC方法，将潜在动态区域分类为静态和动态匹[0038](2.1)设前一帧Ip和当前帧Ic的两组静态匹配点为Pp＝{Pp1,Pp2,...,Ppm}和Pc=[0043](1)基于物体的初始掩膜标记图像中的物体，得到物体的标签{Obj(1),,Obj8[0050](4)修复后的掩膜为初始掩膜和深度掩膜的并集，如式(5)所9有单视角点云数据得到场景的全局点云及摄像机运的IMU惯性测量单元，多源语义感知的动态SLAM方法包括视觉SLAM系统和激光雷达惯性系[0085]将RGB图像输入轻量化语义分割网络BlitzNet中，得到物体的初始掩膜及语义包[0092](4)基于DBoW2算法利用BRIEF描述子初始化当前帧的候选匹配帧，将候选帧时间[0096]一种多源语义感知下的室内动态SLAM方法，其技术路线如图4所示，包括以下步[0107](2)基于极线约束并使用加权RANSAC方法，将潜在动态区域分类为静态和动态匹[0108](2.1)设前一帧Ip和当前帧Ic的两组静态匹配点为Pp＝{Pp1,Pp2,...,Ppm}和Pc=[0117]计算潜在动态区域中第i个匹配点状态的方法如式(13)所示，其中D和S分别表示[0120](1)基于物体的初始掩膜标记图像中的物体，得到物体的标签{Obj(1),,Obj[0127](4)修复后的掩膜为初始掩膜和深度掩膜的并集，如式(5)所[0151]通过最小化视觉重投影和IMU测量值的残差值，得到的视觉里程计作为激光雷达度信息发送到激光雷达辅助的视觉惯性里程计以辅[0156]激光雷达虽然可以在远距离时捕捉环境的细节，但环境特征缺乏时匹配将会失法通过最小化求解最优变换，如式(17)所示。继而可以得到xi与xi+1之间的变换矩阵Δ[0166]由视觉SLAM系统对候选匹配进行初步判断，使用DBoW2算法对候选图像关键帧提子图，回环检测可以自然地集成到激光雷达惯性系统中。当因子图中更新一个新状态xi+1时，首先搜索该图，找出在欧式空间中与xi+1最接近的已有状态。其次将Fi+1与关键帧[0170]四个SLAM系统的ATE和RPE的均方根误差(RMSE)和标准偏差(S.D.)值如表1～表3[0180]表1和表2分别显示了ATE和平移RPE的结果。本发明在fr3/w/half和fr3/w/xyz方