基于可视光与红外图像融合的低光照环境下实时定位与重建

1、 主题：11. 位置导航与信息服务 基于可视光与红外图像融合的低光照环境下实时定位与重建 孙黎波 ，陈龙 中山大学数据科学与计算机学院信息物理系统研究所，广东 广州， 510006，摘要：提出了一种基于可视光与红外图像融合的低光照环境下定位与重建方法。当前基 于视觉定位与重建技术主要依赖于对周围纹理和特征的感知来实现，这使得这种定位方式对光照有着极强的依耐性，在低光照和低纹理的情况下将无法进行。红外图像在低光 照以及夜间环境下具有良好的感知效果，可以用来提供丰富的信息进行定位。本文首次 提出并实现了通过可视光与红外光图像融合，在低光照、低纹理实时定

2、位与重建的思想 与架构。在实际环境中，分别获取同一位置的可视光图像与红外图像，之后分别在两种 图像中探测特征信息，最后在定位的过程中根据特征信息间的对应关系将其包含在同一 定位系统，共同实现实时的定位与稀疏的点云重建。相关的具体试验验证了该方法的可 靠性和有效性。关键词:实时定位与重建；可视光与红外图像融合；低光照；低纹理 1 绪论1.1 研究背景 当前主要的基于视觉的定位与重建技术主要依赖于在光照条件下使用单目、双目或者全景摄像头对周围环境获取感知图像来实现定位。这种基于可视光图像的定位技术由 于需要获取周围环境的 RGB 图像信息，因而对光照有着极强的依赖性。在光照不足的环 境中，由于缺乏

3、足够的周围环境的RGB 信息会使得当前顶尖的视觉定位与重建算法失效。 针对当前视觉定位算法在光照和纹理不足的情况下会失效的情形，红外传感器由于和光照之间没有必然的依赖关系，因此可以被引入来解决这个问题。红外图像于 2012 年1被引入到实时的定位与重建中，并在环境中取得了一定的定位效果。然而，由于红外图像对周围环境物体的温度值存在一定的依赖性，使得其定位在诸如光照较好 的白天但物体温度几乎相同的环境，以及低光照但周围环境温度差异较小的环境中都会 失效。综合考虑到可视光和红光定位的优点和不足，我们首次尝试将可见光和红外图像信息进行融合，相互间取长补短用对方的优点来弥补自身的缺点，从而保证整个实时

4、定位 与重建系统在低光照和纹理环境中的鲁棒性和可靠性。 1.2 研究方法 为了保证整个定位与重建系统的实时性和稳定性，系统被划分为三大模块，即定位、 重建、优化。在具体实现过程中，分别对应三个线程，并行执行。定位模块主要使用获取到的可视光图像和红外图像对当前位置进行定位。在定位开始前一个严格的初始化操作将被执行。在初始化过程中一个基于可视光特征和红外特征 的初始化地图将被创建。当新的可视光图像和红外图像捉到，我们通过其和地图点 之间的 3D-2D 匹配关系从而可以估计出当前的位姿，并通过 Bundle Adjustment2进行 优化位姿。重建模块主要使用实现对周围环境的实时稀疏点云重建，并通

5、过新定位到的地图点更新全局地图。重建模块主要包含两部分功能新点的创建、坏点的删除。对新的两帧 图间匹配到的特征点，我们对其进行一系列的检查判断其是否应该被创建为地图点。新 建的地图点将被包含在全局地图中，并用于后续的定位操作。为了保持地图的准确性和 有效性，对每一个地图点我们会实时的检测其有效性，如果一个地图点判断为坏点，其 将会被剔除。优化模块主要实现对回环的探测，以及累计误差在回环上的分散。累计误差是影响实时定位与重建精度的一个很重要的原因。由于在定位的过程中误差会不断的累计，会 导致随着里程数目的增加误差会不断的被增加和放大。针对累计误差的问题，我们在系 统中引入回环优化功能。当新的图像

6、帧被传入时，其将会被判断和之前的帧之间是否存 在回环，如果找到回环，基于 3D 相似转换的回环优化将会被执行，误差将被分散到回 环上。1.3 实验结果 针对我们提出的基于可视光与红外光图像融合的定位算法(RGB-H),我们针对不同 场景分别采集不同的数据集进行测试，并和当前处于顶尖水平的 ORB3和 LSD4进行了对比，实验结果及对比见图 1 和表 1。 图 RGB-H 算法轨迹和地面实际运动轨迹对比（DarkData03 实验结果）表 1 轨迹均方根误差(m)算法数据集RGORLSB-HB3D4Dark Data01 Dark Data02 Dark Data03 Dark Data04 D

7、ark Data051.790.981.911.02-1.4 分析及结论 我们提出了一种基于可视光图像和红外图像融合的低光照环境定位算法，改方法和当前顶尖的视觉定位算法相比，不仅可以在光照充足的环境中可靠运行并保证精度，同 时在光照不足的环境中也能保证可靠的定位与重建。该算法新颖且具有很强的实用 性，相关的实验结果表明该算法可靠、稳定、鲁棒。参考文献:1StephenVidasand SridhaSridharan,Hand-heldmonocular SLAMinthermal-infrared, in International Conference on Cont

8、rol Automation Robotics& Vision (ICARCV), Guangzhou, China, 2012. 2B. Triggs, P. F. McLauchlan, R. I. Hartley, and A. W. Fitzgibbon,“Bundleadjustment a modern synthesis,”in Vision algorithms: theory and practice, 2000,pp. 298372. 3Ral Mur-Artal and Juan D. Tards. Probabilistic Semi-Dense Mapping from Highly Accurate Feature-Based Monocular SLAM. Robotics: Science and Systems. Rome, Italy, July 2015. 4J. Eng