三维地图创建例会报告

1、移动机器人在未知环境下的基于视觉系统上的地图创建 2015年11月2日 论文的难点：如何从图像中提取稳定的特征点，如何实现相邻连续帧的特征点匹配。移动机器人的运动会引起摄像机位姿在三维模型中的变化，如何实时更新三维模型图中摄像机的位姿。 论文的框架：摄像机成像模型以及标定方法机器人的位姿估计对相机进行标定并给出标定结果在构建三维虚拟场景中完成图像的描绘图像特征点提取和跟踪Kinect介绍及标定Kinect是采用图像辨识的方式，透过摄像头和红外线镜头获取图像，判断使用者的位置和整体动作，甚至还能记录实物画面、以及辨识使用者性别。Kinect的工作原理 Kinect通过CMOS红外传感器的黑白光谱

2、来感知环境，纯黑代表无限远，纯白代表无穷近。黑白之间的灰色地带对应物体到传感器的物理距离。它通过收集视野范围内的每一点，形成一幅代表周围环境的深度图像。传感器以每秒30帧的速度生产深度图像流，通过对图像流的处理可以实时3D的再现周围环境。 Kinect标定由于制造工艺等外部因素，摄像机的成像过程不可能严格满足理想情况下摄像机成像的条件。透镜形状会产生径向畸变，而在整个摄像机的组装过程会产生切向畸变。在成像过程中产生的畸变，导致物体在摄像头成像平面上存在误差。通过标定，可以将错误的图像进行校正，减少图像失真。序列图像的特征提取和匹配 SLAM问题涉及到移动机器人自身的位姿状态和外部环境的信息。本

3、课题的三维重建系统是基于特征点。序列图像特征点提取实时重建三维场景确定摄像机相对位置和姿态相邻图像特征点跟踪匹配相邻图像帧进行拼接 在SLAM系统中，通常用“路标特征”来表述参与定位和重建的特征点。路标特征具有特殊的性质。 这些特性我们概括为: 1，它必须是环境中自带的特征； 2，它的运动情况必须己经知道，我们假设所有的环境特征都是静止不动； 3，在发生视觉转换时，仍能容易辨识，且很少被遮挡。 为了实现对序列图像的跟踪匹配，我们首先需要对图像进行处理，提取图像中容易识别的特征点。这些图像特征应该是独一无二的，或者至少接近独一无二，一般是图像中的斑点、边缘点或角点。它便于与另一张图像中的其它点或

4、者是相同点进行参数的比较。Harris算子、KLT算子、非尺度空间特征点检测算子 Harris算子KLT算子 KLT算法为了得到Z矩阵，需要先进行灰度处理，再二阶求导。根据Z矩阵两个特征值大小判断该点是否可以作为特征点。假设I表示灰度图像，则Z矩阵表达式如下所示: 其中， 为某邻域内一阶x方向导数， 为对应的一阶y方向导数。设 和 为Z矩阵的两个特征值， 表示相邻两帧之间特定窗口上灰度误差平方和。xIyI12 图3-2描述KLT算子如何选择选择特征点：非尺度空间点特征检测算法 传统的算法非常消耗时间，对于在计算机视觉系统中的第一步特征点检测步骤而言，得不偿失。而不包含尺度空间的特征点算法却能达

5、到很高的效率。Fast Corner是非尺度空间类别中的一种算法，只需利用周围像素比较信息就能得到特征点。 Fast Corner认为，一个特征点的特征响应度与其圆形图像域的自相似度有关。它的定义基于特征点周围的图像灰度值，检测候选特征点周围领域的像素值，如果候选点周围领域内有足够多的像素点与该候选点的灰度值差别够大，则把该候选点为当作特征点。这个“周围领域”由一个Bresenham圆来界定。 4.1投影矩阵的求解原理 第四章 三维信息获取和环境地图表示基于立体视觉的实时三维地图构建 本文提出了由视差图实时构建三维地图的算法。视差图到车体坐标系下的三维地图重建建立全局坐标下的全局地图车体坐标系

6、到全局坐标系的转换 由于实时性要求，目前用于导航的地图构建多基于雷达。 本文提出了基于立体视觉的实时三维地图构建，与基于雷达的地图构建相比，它有以下优点： 1摄像机价格较低，且属于被动式，隐蔽性较好; 2此外一般的雷达不能真实的反映地形高度，而摄像机不存在这个问题; 3并且由于现今处理器速度的提高，基于立体视觉的三维地图构建也能达到导航的实时性要求。三维场景重建 视差图到摄像机坐标系下三维坐标的转换 本文的视差图已经由双目立体匹配得到，利用视差图的三维场景重建首先需要求得视差图上各点在摄像机坐标系下的三维坐标。 对于三维空间中任意物点p在摄像机坐标系下z轴上的坐标可以由下式得到: 在得到深度信

7、息之后，可以由摄像机的线性成像几何模型得到任意物点p在摄像机坐标系下的 和 分量。dbfZccXcY摄像机坐标系到车体坐标系的转换 在摄像机坐标下描述的场景依赖于摄像机的安装位置，即当摄像机安装位置相对车体变动时，场景描述也会变动，因此需要实现摄像机坐标系到车体坐标系的转换。转换公式为： 其中 为摄像机坐标系下坐标， 为摄像机安装的俯仰角， 为车体坐标系下坐标， 是摄像机相对于冻结坐标的平移向量。),(,cccZYX),(,wwwZYXTa三维栅格地形表示 直接利用式(3)和(4)来重建三维地貌，在表示场景时存在着如下问题: 1数据量庞大，存在大量冗余信息。 2摄像机成像时空间分辨率的不同，造

8、成远近数据分布的不均匀。 3遮挡引起数据缺失。 解决方案：可以采用将场景等分成若干个小区域，区域内的高度可以根据落入该区域的高度数据来确定，即采用栅格法来描述地形。由于场景被量化成区域，对于场景中数据缺失的位置，其所在区域的高度可以用该区域内的其他数据来弥补。这样，不但大大减少了数据量，而且使场景中每个区域都有高度数据。地图构建 构建全局地图首先必须确立全局坐标系，本文的全局坐标系由惯性导航系统和GPS共同确定。由于当前时刻的地形图是在车体坐标系下，要把它融合到全局地图中，必须要转换到全局坐标系下。 实现车体坐标系到全局坐标系的转换需要知道车体的姿态(附仰角，侧滚角，航向角)和位置信息。附仰角，侧滚角，航向角修正车体坐标系与全局坐标系的旋转角度。车体位置实现车体坐标与全局坐标之间的平移。本文的车体姿态由惯导系统得到，车体位置由GPS得到。GW 是全局坐标系下的坐标， 是自主车在全局坐标系下的坐标 。利用全局坐标系下的即时时刻的地形图我们就可以实时更新和扩充全局地图。实验：为验证本