CN117036404B 一种单目热成像同时定位与建图方法和系统 （北京理工大学）

号robustmonocularthermalSLAMsystem.一种单目热成像同时定位与建图方法和系统本发明涉及一种单目热成像同时定位与建集器采集不受非均匀性校正中断的热红外视频本发明还利用多种策略消除动态目标对SLAM系2采集器采集不受非均匀性校正中断的热红外静态特征提取模块分别提取图像中点特征的关键点和描述子以及线特征的关键线段初始化模块进行以下处理：依据静态特征提取模块中地图点和地图线跟踪中，依次使用帧间跟踪以及局部地图跟踪进行数关键帧选择中，对于一帧热红外图像，与之具有最多共同观测的关局部建图模块通过地图点和地图线的共视关系来更首先对热红外图像执行基于场景的非均匀性校正；同时针对热红将原始图像重塑为多个下采样子图像，并将它们与可调节噪声等3另外，假设另一对平行3D线在第一帧图像和第二帧图像的2D投影的消失同时并行使用ORB_SLAM2中的初始化方法，并在初始化方法中使用随机采样一致性方帧间位姿估计，以当前帧的旋转矩阵R*和平移向量t*作为需要优化的状态变量构建图优化4采用图像与图像之间的匹配策略；将特征的描述子转换成词袋向(3)当前帧跟踪的地图点和地图线少于参考关键帧跟踪的地图点和地图线的一定比在经过优化调整之后，判断关键帧跟踪的某个百分比以56[0001]本发明涉及红外热成像领域，尤其是一种单目热成像同时定位与建图方法和系[0011]静态特征提取模块分别提取图像中点特征的关键点和描述子以及线特征的关键7述子与线特征的描述子通过聚类离线训练基于热红外图像的8[0033]类似的，其在采集器捕获的第二帧图像的2D投影m1,m2的消失点归一化方向另外，假设另一对平行3D线在第一帧图像和第二帧图像的2D投影的消失点归[0038]同时并行使用ORB_SLAM2中的初始化方法，并在初始化方法中使用随机采样一致求的点特征和线特征，点特征的匹配除了要求描述符距离最短之外还需要满足旋转一致ρl为Huber鲁棒性代价函数，引入Huber函数降低代价函数的异常项；分别是点和线的最小重投影误差；9关键帧数据库中找到与当前帧相似的候选关键帧组，并在其中选择符合要求的候选关键[0049](3)当前帧跟踪的地图点和地图线少于参考关键帧跟踪的地图点和地图线的一定[0061]其次，结合极线约束与语义分割减少动态目标的干扰，提高了动态场景下的热高了热红外图像的信噪比，确保热信息在不同环境中得到最大程度的保留，拓宽了视觉[0069]本发明的系统在多个真实世界的动态环境数据序列上与现有的最先进的单目[0078]图9为本发明实施例收集的热红外图像序列的截图；从左到右依次为夜间室外序据集上生成的轨迹与LeGO_LOAM生成的轨迹([0086]图17的(a)是MonoThermal_SLAM的建图效果；(b)是Outdoor1序列的场景快照；集的轨迹与RTK_GNSS获得的轨迹作为真值(灰[0093]=F(O,M;0)最后我们使用LBD(LineBandDescriptor)描述新线段(任何线段描述算法都可以使用)，[0108]其中，x,y表示被检测到的目标的中心坐标，a,p表示边界框的面积和宽高比，则表示下一帧预测目标的中心坐标与边界框的面积。我们通过卡尔曼滤波和匈牙利[0120]通常线段的初始化是使用三焦点张量依靠三幅图像来估[0121]类似的，其在采集器捕获的第二帧图像的2D投影m1,m2的消失点归一化方向另外，假设另一对平行3D线在第一帧图像和第二帧图像的2D投影的消失点归但是可以通过对3x3的矩阵B进行奇异值[0126]R=uvr[0131]为了保证初始化的鲁棒性，我们并行的使用了ORB_SLAM2(一种现有方法)中的初[0134]在地图初始化完成后，我们依次使用帧间跟踪以及局部更新当前帧位姿。我们的方法借鉴了ORB_SLAM2的思路，并针对热红外图像进行了一些调t*eR3作为需要优化的状态变量构建图优化模型，使用列文伯格_马夸尔特法最小化以下代价函数迭代求解：ρl为Huber鲁棒性代价函数，引入Huber函数可以降低代价函数的异常[0143]一旦满足匹配要求，通过解决PnP问题来估计当前帧的相机位姿并根据方程进行[0146]考虑到系统的鲁棒性与实时性，我们从中选择一些有代表性的图像作为关键[0149](3)当前帧跟踪的地图点和地图线少于参考关键帧跟踪的地图点和地图线的90%;方程执行局部光束平差来调整局部地图中的相机姿帧跟踪的90％(具体百分比可以根据具体需要选择)以上的地图点和地图线是否可以被其[0158]虽然局部建图线程可以减少一定程度的误差，但要构建要通过闭环检测消除累积误差。闭环检测使用基于图像外观的相似性来确定是否产生回环。我们重新使用ORB(OrientedFASTandRotatedBRIEF)特征点的描述子与LBD(Line[0175]本实施例使用最小的四优化参数O=[PT,9]T来更新3D直线的标准正交表示，其中[0183]我们使用非线性优化算法库g2o设计了联合光束平差以优化相机位姿、3D地图点pp我们则以高精度实时动态全球卫星导航系统接收机固定状态的测量轨迹为地面真实进行进的SLAM方法。本实施例的系统都运行Ubuntu20.04平台上，所有测试使用了配备Inteli7_9700CPU和NVIDIAi是在图像Ii中加入AWGN得到的，Ni是noiselevelmap。经过训练的[0223]我们在序列Indoor1～3和Outdoor1～6上测试了几个SLAM系统的定位精度。提出经过实时全噪声去除之后的热红外图像为输入。由于单目相机的跟踪轨迹导致尺度不可用，我们通过相似变换与地面真实的轨迹进行对齐，并计算相对位置误差的均方根误差[0230]表2和表3显示了每个SLAM系统在Indoor和Outdoor序列上的定位精度，跟踪路径所示。由于热红外图像的弱纹理特点，仅使用点特征的ORB_SLAM2在特征跟踪方面遇到挑设，导致了错误的数据关联从而跟踪失败。图17描述了Outdoor1序列的跟踪轨迹与的定位精度与鲁棒性。与室外和室外序列评估中所使用的RPE不同，我们使用了theRMSESLAM2方法的表现最接近我们的方法，但在热场景中ORB_SLAM2方法难以检测到正确的回[0245]热红外图像的弱纹理不利于点特征的提取和匹配，但是对于线段反而成为了优