（控制科学与工程专业论文）alv立体视觉导航技术研究.pdf

国防科学技术大学研究生院学位论文 摘要 陆地自主车( a u t o n o m o u sl a n dv e h i c l e ，简称a l v ) 是一种能够在道路和野外连续、 实时地自主运动的智能移动机器人，具有重大的研究价值和广阔的应用前景。本文旨在从 理论和实践上对立体视觉在a l v 导航中的应用方法与技术进行研究。 本文研究了立体摄像机精确定标方法，探讨并验证了摄像机镜头径向畸变的消除方 法。在各种立体视觉算法中，本文重点研究常用于a l v 导航的基于区域的局部匹配方法， 对各种相似性度量的性能作了定量和定性的评估，分析了匹配窗口的尺寸对匹配结果的影 响，还介绍了金字塔匹配和盒滤波这两种匹配加速方法。 针对常用的a l v 立体视觉导航算法存在的不足，本文提出了直接计算高度的立体视觉 算法在运算效果和速度上有明显的改进。本文还提出了区域重投影算法来专门处理图像 中难以匹配的纹理稀少区域。 立体视觉算法通常输出的是高度图，本文提出了一种基于高度梯度的障碍检测算法， 能有效且快速的检测出场景中的障碍。 我们结合a l v 导航的实际应用背景，对立体视觉与激光雷达的信息融合问题进行了初 步研究。将激光雷达的测量结果引入立体匹配前的高度预测中，提出了立体视觉与激光雷 达在数据层上的信息融合方法；基于d s 证据理论，提出了立体视觉与激光雷达在特征层 上的信息融合方法。仿真实验结果验证了上述方法的有效性。 关键字：立体视觉a l v 导航立体匹配障碍检测多传感器信息融合 第1 v 页 国防科学技术大学研究生院学位论文 a b s t r a c t a 眦o n o m o u sl 盈n dv e h i c l e ( a i ) i sa ni n t e i l i g e n tm o b i l er o b o t ，w h i c hc a nm no nr o a do r c r o s s 。c o u n t r ya u t o n o m o u s l ya n dc o n t i n u o u s l ya l vi so f 铲e a tv a l u ei nr e s e a r c ha 芏l d 印p j i c a t i o n t h i sd i s s e n a t i o na i m sa tt h er e s e a r c ho ns 话r e ov i s i o nm e t h o d sa n dt e c h n o l o 百e sa p p i i e di na l v n a v i g a t i o nf r o mt h ea s p e c t so fm e o r e t i c a ia n dp r a c t i c a i t h ea c c u r a t ec a l i b r a t i o nm e t h o d so fs t e r e oc a m e r a sa r es t u d i e d ，t h ew a yo fe r a s i n gt h e r a d i a ld i s t o n i o no fc a m e r a sh a sb e e nd i s c u s s e da 埘p r ( v e di ne x p e r i m e n t i nv a r i o u ss t e r e o m 曲出i n ga l g o r i 血m s ，o u rr e s e a r c he m p 王l a 占i sa r e a - b a s e dl o c a lm a t c h i n ga l g o r i t h m s t h e q u a l i 协t i v ea n dq u a n t i t a t i v ea i l a l y s e so nt h ep e r f o r r n a i l c e so fv a r i o u ss i m i l a r i t ym e a s u r e m e m sa r e m a d c ，a n dt h ei n n u e eo fm a 主c h i n gw m d o ws i z ei sa l s os t u d k d o 6 ) 组对应点。这样能得到2 n 个方程，再使用最小 二乘法求解出声： = o( 2 6 ) 芦确定后，可由( 2 2 ) 式恢复出摄像机的各内外参数。 这种定标方法过程简单，精度也较高，在实际中应用较广，缺点是必须使用非单一平 面的三维定标模板。现场实施很不方便。为了使摄像机能同时看到三维定标模板的三个平 面，样本数据容易集中在图像的一部分区域而影响最小二乘法的拟合精度。 张正友方法1 根据位雾坷= 平面上的定标点可以建立起关于摄像机内部参数的二个 方程这个特点，使用不同位置和朝向的几个平面来求解内部参数，然后再计算摄像机外部 参数。张正友方法所需的定标模板是平面定标模板，定标时只需在摄像机前任意放置，拍 摄几张定标模板在不同角度时的图像即可，性能可靠，使用方便，适合a l v 导航使用。张 正友方法比较复杂，具体算法见附录。 图2 2 三维定标模板图2 3 平面定标模板 对于立体视觉而言，摄像机定标时不但要确定摄像机的内外参数，还要确定摄像机间 的空间位置几何关系。实际上，摄像机的外参数就表示的是摄像机相对世界坐标系的空间 几何关系，因此只要保证所有摄像机的外参数是在同一世界坐标系中确定的，摄像机间的 空间位置几何关系就确定了。解决这个问题的方法很简单，只要在使用张正友方法时，保 证各个摄像机的定标图像中至少有一个立体图像对就可以了，根据这个立体图像对计算出 的外参数就是在同一世界坐标系中的外参数。 第1 6 页 ； r吲hiiil “ v 一 一以记 一 一 y r m v 一 一“睹 一 一 o 0 z o y o r l 0 z o y 0心 一 国防科学技术大学研究生院学位论文 2 ，2 3径向畸变的消除 由于摄像机光学系统在设计和加工过程中存在误差，获取的图像中包含了各种几何畸 变，如径向畸变、离心畸变和薄棱镜畸变等。对于应用于a l v 导航的立体视觉系统来说， 这些畸变可能会导致较大的测量误差，是必须消除的。在研究中发现，图像的失真主要是 镜头的径向畸变引起的，因此这里只考虑消除径向畸变。 在考虑径向畸变的摄像机简化模型( 2 3 ) 式中，只考虑畸变系数毛和哥：，有： 偿嚣笛2 嚣卜= 踊【匕= 巧( 1 + 向r2 + 屯，4 ) “ 。 即： 瞄：劣鬻二跚州专：嚣 江， l 匕( 髓+ 艺) 圪( 列+ 瑶) 2i l ：j 【艺一匕j 。 由于径向畸变一般著不太大，可以首先用前面所述的方法在不计畸变的情况下估计出 摄像机内外参数，得到n 幅定标图像中的m 个控制点的理想坐标( x 。，匕) 和实际坐标 ( x d ，匕) ，代入式( 2 7 ) 中得到2 m n 个方程，用最小二乘法解得七。和七2 。 这样求得的畸变系数七。和 ：的误差是比较大的。为了提高精确度，还需要以现在求得 的t 和：为畸变系数初始值，用前面所述的方法在考虑径向畸变的情况下重新估计出摄像 机内外参数，再用最小二乘法解得耨的k 。和，这样迭代计算直到收敛后，摄像机的径 向畸变系数的确定工作就结束了。图2 4 显示了图像径向畸变的消除效果，从图中可以看 出，图像的径向畸变得到了很好的消除。 ( a ) 原始图像( b ) 消除径向畸变后的图像 图2 4 径向畸变消除前后的对比 第1 7 页 国防科学技术大学研究生院学位论文 2 3 基于区域的局部匹配方法 立体摄像机定标及消除图像几何畸变的工作结束之后，可以开始进行立体匹配了。从 目前情况看来，绝大多数应用于a l v 导航的立体视觉系统都采用了以像素为基元基于区域 的立体匹配方法，而极少使用以特征为基元的匹配方法。究其原因，主要是因为在室外自 然环境中，受光照变化等因素的影响，特征的提取往往极不稳定，对边缘的组织也很困难， 而且只能得到稀疏的视差图，难以反映整个场景的状况。相反，基于区域的匹配方法能够 直接得到致密的视差图，而且在室外自然环境中显示出一定的鲁棒性，因此得到了广泛的 使用。 在基于区域的匹配方法当中，局部匹配方法计算量小，匹配速度快，但误匹配率较高： 而全局匹配方法匹配准确度较高，但计算复杂度高。由于a l v 导航对立体匹配方法的实时 性要求很高，对准确度要求不太高，因而局部匹配方法更适合应用于a l v 导航。 基于上述原因，本节将对基于区域的局部匹配方法做深入研究。首先研究各种相似性 度量的性能，并做出定量和定性的评估：然后观察匹配窗口的尺寸对匹配结果的影响：最 后介绍金字塔匹配和盒滤波两种加速方法。 2 3 1概述 基于区域的局部匹配方法首先要解决的问题是：对于左图中的一个待匹配点，如何在 右图中选出些点作为候选的对应点来计算相似性度量值，即如何确定对应点的搜索范 围。如果不加限制和约束，右图的所有点都可以是候选对应点，这样搜索范围极大，不可 操作。 常用的解决方法是引入外极线约束( e p i p o l a rc o n s t r a i n t ) 。外极线是指物点p 和左、 右摄像机的光心d po 。这三点决定的平面与图像平面的交线。在外极线约束下，左图中 待匹配点的对应点必然位于右图的外极线上，这样就将二维搜索降为一维搜索。为了方便 搜索，通常在硬件上尽量使两台摄像机的光轴平行，光心处于同一水平面，在软件上还要 对立体图像对的外极线进行校正和配准，使用多种措施来保证图像的外极线是水平的，从 而令对应点的搜索只需要沿图像扫掐线进行。 第1 8 页 国防科学技术大学研究生院学位论文 2 3 2相似性度量 光轴平行 左摄像机 外板线水平 右摄像机 图2 5 立体视觉摄像机常用配置方法 基于区域的匹配方法以像素为匹配基元，并以待匹配像素为中心的一个区域内所有像 素的灰度值分布来表征该像素。这个区域常称为匹配窗口，像素问的匹配实际上成了区域 间的匹配。这样做是因为受图像噪声影响，仅靠单个像素灰度值进行匹配的结果极不可靠， 而且单个像素灰度值匹配的歧义性很大，必须依靠附近像素的邻域支持才能提高结果的可 靠性，并减少匹配的歧义性。这一方法成立的前提假设是匹配窗口内所有像素的视差值相 同。由于匹配窗口一般都不太大，这个假设在绝大多数时候是近似成立的。 如何衡量两个区域内像素的灰度值分布之间的相似性，这是立体匹配研究中的主要问 题之一。现有的方法很多，常用的相似性度量指标有“”： 像素灰度差的平方和，简称s s d ： c 5 s d ( p ，d ) = ( ，f ( x ，y ) 一，( x + 凼，y + 方) ) 2 ( 2 8 ) “y ) e n 像素灰度差的绝对值和，简称s a d ： c s | 。( p ，d ) = l j ，( x ，) 一j ，( x + 出，y + 咖) l ( 2 9 ) ( j y k e 归一化交叉相关，简称n c c ： 第1 9 页 国防科学技术大学研究生院学位论文 ，( x ，y ) ，o + 出，y + 咖) q ，。砖焘覆丽丽 - l vt j y 坤( ，k 为了对立体图像对的亮度差异进行补偿，可以进行区域内像素灰度的零均值化。上述 三种相似性度量指标发展为： 零均值像素灰度差的平方和，简称z s s d ： c z 。( p ，d ) = ( ( ( 工，y ) 一) 一( ，( x 十出，y + 砂) 一t ) ) 2 ( 2 一1 1 ) ( i ，) e 吒 零均值像素灰度差的绝对值和，简称z s a d ： c d d ( p ，d ) = ( y ) 一) 一( ，( x + 出，y + 妙) 一j ，) i ( 2 1 2 ) ( x y ) e 忆 零均值归一化交叉相关，简称z n c c ： ( f ，0 ，y ) 一，) ( ，o + 出，y + 两心一j ，) 。卜磋萧矛萨丽蒸丽 他1 3 ) vf j ，扣( j ，k 另外，在z n c c 的基础上还提出了一种m o r 8 v e c 非归一化交叉翘关，简称! l 【n c c 。经过 修正后，当匹配窗口内像素方差相差太大时，相似度会较低。 2 ( o ，y ) 一五) ( ，o + 出，y + 咖) 一t ) 。卜1 蒜岳丽_ 甄而巧丽 ( x ，忙( 1 ，) e ( 2 1 4 ) 上面各式是计算左图中p 点和右图中d 点的相似度，( 工，y ) 和，( x ，y ) 分别表示左图 和右图，是左图中以p 点为中心的邻域窗口，玉和方表示p 点与d 点的位置差， 出= 一工，咖= _ y 。一y ，t 和，则是左、右图匹配窗口内像素灰度的均值。 另外，z a b i h 和w o o d f i l l 提出了两种基于非参数变换的相似性度量方法r a n k 和 c e n s u s 1 ，在计算相似性度量前对窗口内像素进行非参数变换，能有效消除立体图像对中 亮度差异、辐射度增益及偏差的影响。 r a n k 变换是以窗口内灰度值小于中心像素灰度值的像素个数来代替中心像素的灰度： r i ( x 。，y 。) = l ( 工，y ) 厶( x ，y ) i 聊( u ) m ( 则爿为判别结果，式中s 。、毛为预设门限。 使用基于d s 证据理论的推理来融合分别由立体视觉和激光雷达得到的障碍检测结 果，首先需要对前方场景进行二维网格化表示，每个格表示一定大小的面积。两种途径的 障碍检测都要给出每个格是障碍、非障碍和不确定这三种情况的概率。这样就可以根据 d s 证据组合规则逐格组合基本概率赋值并使用概率赋值判别方法来判别每个格是属于障 碍、非障碍和不确定这三种情况中的哪一种，具体步骤如图4 5 所示。 激光雷达 图4 5 立体视觉与激光雷达的特征层融合方法框图 为了检验上述方法的融合效果，我们进行了仿真实验。立体视觉方面采用真实场景的 立体图像对经立体匹配、障碍检测并表示为二维网格形式：然后选择4 行网格人工赋予三 种情况的概率，模拟由具有4 条扫描线的激光雷达数据得到的障碍检测结果。实验结果如 图4 6 所示，图中网格尺寸为4 0 c m 木4 0 c m ，( b ) ( c ) 两幅障碍分布图中网格越黑表示此格是 障碍的概率越高，网格越白表示是非障碍的概率越高，灰色的网格表示不确定的概率占优。 ( d ) 图是融合判别结果，黑色的格是障碍，白色的格是非障碍，灰色的格不确定。由最后 的融合判别结果来看，比较正确的反映了前方场景的实际状况，可见基于d s 证据理论的 特征层融合方法是有效的。 第5 7 页 国防科学技术大学研究生院学位论文 ( a ) 实际场景( b ) 立体视觉的障碍检测结果 ( c ) 激光雷达的障碍检测结果( d ) 融合判别结果 图4 6 特征层融合仿真实验结果 4 5 本章小结 立体视觉和激光雷达是a l v 上常用的环境感知手段，两者在使用中各有优缺点，不可 互相替代。通过使用多传感器信息融合技术来融合由立体视觉和激光雷达得到的信息，能 获得对外部环境比较完整、准确的表达，更好的为a l v 导航服务。 当立体视觉部分使用直接计算高度的立体视觉算法时，可以将激光雷达的测量结果引 入立体匹配前的高度预测中，使得高度预测更准确。从而实现立体视觉与激光雷达在数据 层上的信息融合。仿真实验表明这种数据层上的融合方法能比较有效的减少输出的高度图 中的噪声。 立体视觉和激光雷达更常用的信息融合方式是在特征层上进行，也就是对有两种途径 分别得到的障碍物分布信息进行融合。基于d s 证据理论的推理g 很好的处理这种情况， 它可以有效的消除障碍物信息中的不确定性和冗余，得到更准确、完整的障碍物分布图。 第5 8 页 国防科学技术大学研究生院学位论文 仿真实验表明这种基于d s 证据理论的特征层融合方法是有效的。 目前，上述两种立体视觉和激光雷达信息融合方法正在我校丁家岭野外试验场进行室 外实车试验，相信在经过一段时间的调试后，这两种融合方法都有望取得照好效果。 图4 7 试验场中拍摄的立体图像对 图4 8 对应的激光雷达数据 第5 9 页 国防科学技术大学研究生院学位论文 第五章总结与展望 本文以a l v 导航为应用背景，从立体视觉算法、基于立体视觉的障碍检测方法和立体 视觉与激光雷达的信息融合方法这三个方面，对立体视觉应用于a l v 导航的方法和技术展 开了深入的研究。本文的主要工作和贡献有： 1 从理论和实际应用上对适应a l v 工作环境的立体摄像机定标方法进行了研究，确 定了使用平面模板的张正友方法性能可靠，使用方便。对消除摄像机镜头径向畸变的方法 进行了探讨和实验，获得了令人满意的结果。 2 在各种立体视觉算法中重点研究了常用于a l v 导航的基于区域的局部匹配方法。 研究中重点对各种相似性度量的性能作了定量和定性的评估，经比较挑选出了较优的相似 性度量算子；研究中还观察了匹配窗口的尺寸对匹配结果的影响：介绍了金字塔匹配和盒 滤波这两种加速方法，实验表明盒滤波的加速效果是极为显著的。 3 针对基于区域的局部匹配方法应用于a l v 导航时存在的不足，提出了直接计算高 度的立体视觉算法。这种算法确定了左右图像点的对应关系与像点高度之间的直接联系， 通过匹配直接计算像点高度，相对常用方法有全面的改进，更适用于札v 导航。实验表明， 直接计算高度的立体视觉算法比常用方法的适用范围更广，鲁棒性更好，速度也更快。 4 针对图像中难以匹配的纹理稀少区域，提出了区域重投影算法来专门处理。将区 域重投影算法与直接计算高度的立体视觉算法结合在一起使用，实验表明结合算法既能改 善匹配效果，也能减少计算时间。 5 在各种基于立体视觉的障碍检测方法中介绍了主平面方法和直方图分析方法。针 对立体视觉输出的高度图，提出了一种基于高度梯度的障碍检测算法，首先计算纵向高度 梯度，然后根据纵向高度梯度进行二值化，最后使用模板检测出障碍点。实验表明，这种 检测方法是有效且快速的。 6 详细介绍了多传感器信息融合技术的发展状况。将激光雷达的测量结果引入立体 匹配前的高度预测中，提出了立体视觉与激光雷达在数据层上的信息融合方法。仿真实验 表明这种融合方法能比较有效的减少输出的高度图中的噪声。 7 基于