（信息与通信工程专业论文）基于fpga的实时立体匹配系统的研究.pdf

摘要 包括月球车在内的无人自主车是一种能够实时自主运动的智能移动机器人， 视觉导航是其中一项关键技术，它的主要任务对场景进行识别和理解，确定自主 车的可行驶区域。立体视觉是视觉导航中最基本的部分，通过图像处理恢复物体 深度信息，是进行障碍物检测和三维场景重建的基础。本文旨在研究实时稳定的 立体视觉系统的设计与实现。 摄像机模型描述了三维空间中的点到图像平面上的点的投影关系，摄像机标 定的目的就是求解模型参数。本文介绍了基于二维平面模板的标定方法，该方法 适合无人自主车的工作环境，实旌方便有效。根据标定结果和极线几何的原理， 可以对立体图像对做几何校正，使其极线水平且对应点纵坐标相同，极大的降低 了立体匹配算法的复杂度。 在区域立体匹配算法中，非参数化区域变换使用像素在邻域中的灰度相对值 排序代替原始灰度值进行相似度比较，对由摄像机位置、电路系统等引起的立体 图像亮度偏差的情况有很好的鲁棒性。同时，非参数化的匹配算法运算简单，多 为比较、异或、累加，不涉及乘法、开方等复杂操作，因此十分适合硬件逻辑电 路设计。匹配窗口的合理选择直接影响到匹配的效率和准确性，另一方面，使用 适当的立体匹配加速方法可以使窗口大小与算法复杂度无关，其代价就是占用一 定的存储资源保留匹配过程的中间数据。 根据视觉导航系统实时性和鲁棒性的要求，本文提出了一种非参数化匹配算 法c e n s u s 在f p g a 上实现的方案。详细介绍了该方案的数据流程和模块设计， 并结合f p g a 的硬件资源进行硬件编程，通过仿真验证该方案的实时性能。立体 视觉图像采集卡的设计实现了视频信号的采集、处理以及与上位机通信。本文使 用的f p g a 器件是图像采集卡的核心部分，可用于实现多种立体匹配算法，并结 合p c 上位机程序进行图像处理算法的测试。采集卡工作性能稳定，满足实时视 觉导航系统的要求。 关键字：视觉导航，摄像机标定，非参数化区域匹配，f p g a ，立体视觉图像采 集卡 a b s t r a c t u n m a n n e dv e h i c l e ，i n c l u d i n gl u n a rr o v e r , i sak i n do fi n t e l l i g e n tr o b o tw h i c h c a l lm o v ea n dm a k em o t i o nd e c i s i o na u t o m a t i c a l l y v i s i o nn a v i g a t i o ni so n eo ft h e m o s ti m p o r t a n tt e c h n i q u e si nu n m a n n e dv e h i c l es y s t e m t h em i s s i o no fv i s i o n n a v i g a t i o ni st ou n d e r s t a n dv i e wi n f o r m a t i o na n dr e c o g n i z et h et a r g e t ，i no r d e rt of i n d ap r o p e rw a y s t e r e ov i s i o ni st h eb a s i cp a r to fv i s i o nn a v i g a t i o n t h i sm e t h o d r e c o v e r sd e p t ho fo b j e c tu s i n gi m a g em a t c h i n g a f t e rt h a t , w ec a nd oo b s t a c l e d e t e c t i o na n d3 dr e c o n s t r u c t i o n t h et h e s i sa i m sa ts t u d yo fs t e r e ov i s i o ns y s t e mf o r n a v i g a t i o na n df o c u s e s o nt h ed e s i g no fr e a l - t i m es t e r e om a t c h i n g c a m e r am o d e ld e s c r i b e st h ep r o j e c t i o nr e l a t i o nb e t w e e nar e a lp o i n ta n da n i m a g ep i x e l t h et a r g e to fc a m e r ac a l i b r a t i o ni st os o l v em o d e lp a r a m e t e r s a c a l i b r a t i o nm e t h o dw i t h2 dp l a n et e m p l a t ei sc h o s e na c c o r d i n gt ot h ew o r k e n v i r o n m e n to fu n m a n n e dv e h i c l e s g e o m e t r i cr e c t i f i c a t i o nc a nb ed o n ea f t e r c a l i b r a t i o n r e c t i f i c a t i o nm a k e sap a i ro fc o r r e l a t i o np o i n t si ns t e r e o p s i st h es a m e p o s i t i o ni nv e r t i c a ld i r e c t i o n i td e f i n i t e l yr e d u c e st h ec o m p l e x i t yo f s t e r e om a t c h i n g a m o n gm o s ta r e ab a s e dm a t c h i n ga l g o r i t h m s ，n o n - p a r a m e t r i cm e t h o dh a s a d v a n t a g e i nu n b a l a n c e di l l u m i n a t i o nc o n d i t i o n s i n c en o n - p a r a m e t r i cs t e r e o m a t c h i n gu s i n gr e l a t w ei n t e n s i t yv a l u ei n s t e a do fo r i g i n a lo n e ，i ti sm o r er o b u s tt o i l l u m i n a t i o nc h a n g e n o n - p a r a m e t r i cm a t c h i n go n l yc o n t a i n ss i m p l eo p e r a t i o n ss u c h a sc o m p a r ee x c l u s i v e o ra n da c c u m u l a t i o n f o rt h i sr e a s o n ，h a r d w a r el o g i cc i r c u i t i m p l e m e n t a t i o ni sp o s s i b l e t h ec h o i c eo fm a t c h i n gw i n d o wd i r e c t l yi n f l u e n c e st h e m a t c hr e s u l t o nt h eo t h e rh a n d ，p r o p e rm e t h o do fa c c e l e r a t i o nc a nb eu s e di nc o s to f l a r g en u m b e r so fd a t as t o r a g e as c h e m eo ff p g ai m p l e m e n t a t i o no fc e n s u ss t e r e om a t c h i n gi sp r o p o s e di n o r d e rt om e e tt h er e q u i r e m e n t si nr e a l - t i m en a v i g a t i o ns y s t e m d e s i g no fd a t af l o w a n dp r o c e s s i n gm o d u l e si sd e s c r i b e di nd e t a i l s i m u l a t i o ni sm a d et ov a l i d a t et h e p e r f o r m a n c eo ft h i ss c h e m e ab i n o c u l a rv i s i o ns a m p l ec a r di si n t r o d u c e d ，w h i c h r e a l i z e st h ef u n c t i o no fv i d e os a m p l i n g ，s i g n a lp r o c e s s i n ga n dd a t at r a n s m i s s i o n i t c a l lb eu s e dt od e s i g na n dt e s ts t e r e om a t c h i n ga l g o r i t h m so ro t h e ri m a g ep r o c e s s i n g m e t h o d s k e y w o r d s ：v i s i o nn a v i g a t i o n , c a m e r ac a l i b r a t i o n ，n o n - p a r a m e t r i cs t e r e om a t c h i n g ， f p g a ，b i n o c u l a rv i s i o ns a m p l ec a r d 浙江大学硕士学位论文 1 1 研究背景 第一章绪论 对月探测是世界上多个国家和研究机构重点关注的研究项目，我国也正在积 极开展相应的研究工作。对月探测主要包括环月飞行、月面探测、取样返回和载 入登月四个阶段。在第二阶段中，月球车是一种能够在月球表面实时自主运动、 进行探测工作的移动机器人。月球车的研制涉及材料、机械、控制、传感器、制 导等多方面的技术和多学科的融合，同时由于月球车要在高温差、地形多变的环 境下工作，因此对各项技术的要求都非常高。 为了实现安全的月面漫游，月球车必须具备稳定的导航系统。尽管可以借助 地面站通过无线电测控进行导航控制，但由于地面站和月球车相对位置变化等的 影响，有时月球车会处于地面站无法测控的区域，因此，月球车使用自身携带的 设备进行自主导航已成为重要的研究方向并越来越受到各研究机构的重视。月球 车自主导航的方法有：惯性导航( 包括航位推算) 、天文导航和视觉导航等。惯 性导航输出信息连续，精度较高，但是其误差会随时间积累。天文导航是一种传 统的完全自主的导航方法，借助太阳、地球及恒星的观测信息进行定位和定向， 不需要与外界进行信息交换，可同时提供位置和航向信息，且精度不受时间、距 离长短的影响。视觉导航是对各种场景进行快速识别和理解，从而确定月球车的 可行驶区域。视觉导航的关键是障碍物的检测和识别，根据视觉处理获取的信息 规划出安全、高效的路径。 获取场景三维信息是实现月球车安全漫游的关键。地形或深度距离的测量方 法可分为主动法和被动法。主动法采用探测器发射信号到目标场景，并接收返回 信号，根据发射信号和接收信号的时间差、频率差或相位差得到距离信息。激光 雷达、声纳等都属于这种方法。被动法不需要信号发射器件，隐蔽性好，视觉传 感器就是其中之一。与激光雷达、声纳等传感器相比，视觉传感器的优点在于信 息量大，多传感器之间干扰小，没有辐射源，且传感器的尺寸也小于激光雷达。 但由于视觉传感器是被动式测量，需要通过一定的运算处理才能得出目标信息， 因此测量精度和鲁棒性不如主动式传感器，由于运算量较大，需要合理选择处理 浙江大学硕士学位论文 方法和硬件系统，以满足实时测量的要求。本文研究的重点就是应用于月球车及 其他无入自主车辆导航中的实时立体视觉系统的设计及硬件实现。 1 2 立体视觉概述 视觉传感器的测量方法通常是立体视觉，即通过对目标场景摄取一组同一时 刻不同视角的图像，由图像之间对应匹配点求取视差，进一步得出场景深度信息。 利用立体视觉获取三维地形图是目前最常用的技术。 1 2 1 视差理论 人眼在观察场景时可以同时感知被观测物体的距离，这是由于双眼的观测角 度稍有不同，使得物体在两眼视网膜上的投影位置不同，这个位置差就称为视差 ( d i s p a r i t y ) 。视差反映了物体的深度信息，人所感知的深度是大脑在视差的基 础上进行加工而获取的信息。根据这个原理，在计算机视觉中，我们使用多个摄 像机获取一组不同视角的图像，通过匹配算法求取图像间的匹配点，从而计算出 视差，再根据三角测量方法得出场景深度。以两个摄像机组成的成像系统为例， 在图1 1 所示的成像模型中，分别标记为左相机( l ) 和右相机( 尺) ，摄像机 光心d l 和d r 的连线称为基线丁，场景中的点尸在两个相机成像平面上的像点分 别是p 和p ，其横坐标分别为x 和x ，相机焦距为厂，根据三角测量关系可得出 视深度 丁 z = 厂j ( 1 1 ) 口 其中d = x r ，即该点的视差。由此成像模型可知，正确求取视差是得到物 体深度信息并恢复三维结构的关键。 2 浙江大学硕士学位论文 p jl x i ji 1 q 卜d 曩 t 图1 i 立体视觉成像模型 在立体图对匹配中，匹配基元的选取直接影响到视差提取的准确性。匹配基 元是匹配的最小对象，可以是：图像灰度，边缘信息( 点、线、边界等) ，尺度， 亮度峰值或重心，高阶特性等。根据匹配基元选取的不同，可以将匹配算法大致 分为区域匹配、特征匹配和相位匹配。区域匹配主要考虑区域相似性，逐像素操 作，可以直接得出致密的视差图，缺点在于运算量大，受噪声、亮度差异等影响 较大。特征匹配往往选取图像的过零点、边缘轮廓、线段等特征作为匹配基元， 不直接依赖于像素灰度，具有较强的抗干扰性，且计算量小，速度快。但由于特 征的稀疏性和不规则性，不能直接获得致密视差图。要获得致密视差图就必须辅 以插值过程，而为了保证插值点的精确度，插值过程往往比较复杂。相位匹配基 于立体图像对中对应点的局部相位相等这个假设，反映了信号的结构信息，对图 像高频噪声有很好的抑制作用，并且对几何畸变和辐射畸变也有很好的抵抗能 力。而一旦局部结构假设不成立，则会出现相位奇点问题，且算法收敛范围与带 通滤波器的波长有关。 良好的匹配特征应具有可区分性、不变性、稳定性、唯一性以及有效解决歧 义匹配的能力。即便如此，立体视觉的不确定性仍然存在，这是因为从三维空间 向二维影像投影时产生了信息缺失。不确定性问题包含了匹配多义性和误匹配两 种情况。对一幅图中给定的匹配基元来说在另一幅图中经常可发现不止一个可能 的匹配基元与之匹配，这样就产生了匹配的多义性。此外在某些歧义区中，诸如 遮挡区域( 即其中一幅图中不存在对应点) ，或者是纹理一致区域、弱纹理区域 浙江大学硕士学位论文 ( 此类区域中的任意点与另一幅图中对应区域的所有点都有很强的匹配相关 度) ，这类歧义区中像素点的匹配求解均属病态问题求解。为降低匹配的不确定 性，在立体匹配算法中通常需要引入一些约束条件，常用的有： ( 1 ) 外极线约束( e p i p o l a rc o n s t r a i n t ) ：根据透视投影成像的几何原理，对应点一 定是位于另一幅图像对应的外极线上，立体图像对经过外极线校正后，外极线与 图像行重合，匹配点搜索只需沿图像的扫描线进行，从而将潜在的二维搜索空间 降至一维。 ( 2 ) 唯一性约束( u n i q u e n e s sc o n s t r a i n t ) ：一般情况下，一幅图像上的一个特征点 只能与另一幅图像上唯一的一个特征点对应。 ( 3 ) 相似性约束( s i m i l a r i t yc o n s t r a i n t ) ：场景中同一点在各图像中的投影点应具 有相似的亮度值。 ( 4 ) 平滑性约束一致性约束( s m o o t h n e s s c o h e r e n c ec o n s t r a i n t ) ：除了遮挡或视差 本身不连续区域外，小邻域范围内视差值变化量应很小或相似。换言之视差曲面 应是分段连续的。 ( 5 ) 顺序约束单调性约束( o r d e r i n g m o n o t o n i c i t yc o n s t r a i n t ) ：一幅图像的一条外 极线对应着另一幅图像中的一条外极线，且其上面的对应点排列顺序是不变的。 ( 6 ) 遮挡约束( o c c l u s i o nc o n s t r a i n t ) ：基准图中如果发生视差不连续，那么发生 不连续的区域在对准图中是遮挡区。 ( 7 ) 视差范围约束( d i s p a r i t yl i m i tc o n s t r a i n t ) ：这起源于心理物理实验，它表明人 类视觉系统只能融合视差比某个限度小的立体图像。该约束限制了寻找对应点时 的搜索范围。 ( 8 ) 互对应约束( m u t u a lc o r r e s p o n d e n c ec o n s t r a i n t ) ：又称左右一致性，若以左图 为基准图，左图上一像素点n 搜索到右图上对应点像素为b ；那么若以右图为 基准图，像素p ，的对应点也应该是左图上的像素点一。该约束常用于遮挡区的 检测。 1 2 2 立体视觉在导航系统中的应用 在移动机器人导航系统中，立体视觉的主要任务是获取场景三维信息。一般 来说，室外无人车以及月球车等移动机器人所处的场景通常缺乏规则的点、线等 4 浙江人学硕十学位论文 特征，并且由于场景的不确定性和光照等因素的影响，特征提取往往不稳定，且 只能得到稀疏的视差图，必须经过插值才能得到致密的视差图进而重建场景。因 此，导航系统中更倾向于采用区域匹配算法。另外，应用于无人车导航系统的立 体视觉还需要满足实时性、鲁棒性等要求。实时性即要求算法运算速度快，能在 车辆移动过程中及时获取场景信息，以便车辆做出行进、避障等决策。区域匹配 算法通常运算量较大，以n x n ) v d 的灰度图像，相关窗口尺寸为w x w ，视差搜 索范围d 为例，直接计算的复杂度为o ( n 2 w 2 d ) 。通过一定的优化技巧虽然可以减 小冗余计算，复杂度可降至o ( n 2 d ) b r o w n 0 3 】，但对于通用处理器而言，仍旧无 法满足实时性要求，因此需要采用硬件加速技术或设计专用硬件电路。鲁棒性要 求主要源于无人车的行驶环境复杂，路面、光照等条件均有较大的不确定性，立 体视觉算法在各种条件下都要保持有效。 对于立体匹配实时性的研究，已有大量学者提出了解决方案，其中有代表性 的如c m u 利用多c 4 0d s p 阵列首次实现了视频速率的立体视觉机，i n r i a 的基 于p e r l e 1 处理器的实时系统 f a u g e r a s 9 3 。一般基于指令的系统虽然可以通过 调整指令结构来达到优化程序性能的目的，但不适合大数据流的操作，并且系统 的主频不高，例如2 0 0 4 年的n a s a 火星车( m a r se x p l o r a t i o nr o v e r , m e r ) 使用 r a d 6 0 0 0 计算机，最高频率为2 5 m h z ，完成一次2 5 6 x 2 5 6 图对的匹配需 3 0 s m a t t h i e s 0 7 。与指令系统相比，f p g a 硬件系统虽然没有通用处理器编程方 便，但可以充分利用并行性计算体系结构及合理的流水线设计，把算法直接映射 到结构上。根据i n r i a 对d s p 和f p g a 的立体视觉系统做出的比较，以2 5 6 x 2 5 6 的测试图对分别对两者进行测试，f p g a 的处理性能是d s p 的3 4 倍 【f a u g e r a s 9 3 。越来越多的研究选择用f p g a 开发实时立体视觉系统，这不仅因 为可以实现视频速率级的图像处理，还考虑到f p g a 的逻辑可编程性，开发周期 及成本都低于专用集成电路( a s i c ) 。早期的研究一般是多f p g a 开发，并且图 像分辨率不高。其中，c o r k 等提出c l p 板开发的立体视觉系统 c o r k e 9 7 ， c o r k e - 9 9 ，每块c l p 板包括2 片8 0 0 0 门的f p g a 用于图像输入输出控制，4 片 1 3 0 0 0 门的f p g a 用于图像数据处理，对于2 5 6 x 2 5 6 的图像使用两块c l p 板， 完成一次图对的匹配需时3 4 m s 。w o o d f i l l 等提出基于p a r t se n g i n e 的立体视觉 系统 w o o d f i l l 9 7 ，共使用1 6 片f p g a 和s r a m ，处理3 2 0 x 2 4 0 图像，视差搜 5 浙江大学硕士学位论文 索范围2 4 ，帧率为4 2 f p s 。r a j d a 提出了使用v c ch o t 板和a d m x r c 板分别 实现立体匹配算法的方案及多种设计的比较 r a j d a - 0 1 。近年来的研究已经可以 实现单片f p g a 处理高分辨率图像的功能，如北京理工大学开发的微型立体视觉 机( m i n i a t u r es t e r e ov i s i o nm a c h i n e ，m s v m ) 使用三目c m o s 摄像头，在一片 f p g a 上完成图像校正、滤波预处理和基于区域的图像匹配，可以以3 0 f p s 的速 率处理6 4 0 x 4 8 0 的图像或以1 2 0 f p s 的速率处理3 2 0 2 4 0 的图像 j i a - 0 4 】。 c u a d r a d o 等提出的实时立体视觉处理器( r t s v p ) 处理1 2 8 0 x1 0 3 2 的图像对的 速率为1 8 f p s ，处理6 4 0 4 8 0 的图对的速率为3 0 f p s c u a d r a d o 一0 6 。k i m 等提出 了应用于机器人眼的实时立体视觉硬件方案，适合嵌入机器人系统 k i m 0 6 】。 p a r k 等设计了基于f p g a 的超大规模集成电路，可实现低错误率的实时立体视 觉计算 p a r k - 0 7 】。 1 3 本文主要研究内容 本文以月球车视觉导航为研究背景，重点探讨和研究了立体视觉在导航系统 中的应用以及实时立体匹配算法的硬件设计，提出了一种非参数化立体匹配方法 的f p g a 实现。各章的具体内容安排如下： 第一章概述了月球车导航的主要方法，介绍了立体视觉的基本原理，综述了 立体视觉在导航系统中的相关研究方案。 第二章介绍了立体视觉中的摄像机标定技术，结合月球车的工作特点使用了 二维平面模板计算摄像机内外参数的标定方法，并据此进行立体图对的外极线校 正，对于降低整个匹配算法的复杂度是一个必不可少的工作。 第三章分析了常用的区域匹配算法，并讨论了各种算法对噪声、光照条件变 化的鲁棒性，以及各算法中参数选取对匹配结果的影响。重点分析了非参数方法 对减少在亮度不均、视差不连续处的误匹配的作用。对于立体视觉的实时性问题 做出分析并给出了针对区域匹配算法的加速方案。 第四章给出了非参数化立体匹配算法的数据流程和基于f p g a 的硬件实现方 案，详细说明了立体视觉图像采集卡的结构设计和硬件资源使用，并给出了使用 该采集卡进行图像数据传输和立体匹配的实验结果。 第五章为全文总结及改进方案。 6 浙江大学硕士学位论文 第二章立体视觉摄像机标定 摄像机标定是指建立摄像机图像中像素位置与三维场景中点的位置之间的 对应关系，其方法是根据摄像机模型，由己知特征点的图像坐标和世界坐标求解 摄像机模型参数。摄像机的数学模型描述了从场景投影到图像的过程。标定过程 的精确与否直接影响到立体视觉测距的精度以及对场景三维重建的准确性。同 时，根据标定结果进行的立体图像几何校正能够降低图像匹配算法的复杂度。因 此，立体摄像机标定是立体视觉研究中的重要工作之一。 2 1 摄像机模型 摄像机通过成像透镜将三维场景投影到摄像机二维平面上，这个投影变换可 用摄像机成像模型描述。多数模型是建立在摄像机物理参数基础上的，称为直接 摄像机模型；也有一些模型只描述了场景点到图像点的过程，不计算出摄像机的 物理参数，称为间接模型。本节首先介绍摄像机成像过程中的常用坐标系及其之 间的转换，然后介绍一种典型的直接摄像机模型一一针孔模型。 2 1 1 坐标系转换 d 摄像机坐标系 图2 1 世界坐标系、摄像机坐标系和图像坐标系 7 浙江大学硕士学位论文 摄像机成像过程中包含世界坐标系( ，乙) 、摄像机坐标系( 鼍，圪，z c ) 和图像坐标系( u ，y ) 、( x ，n 之间的投影关系，如图2 1 所示。在图像中，每一 点的像素坐标( 城 ，) 分别是该像素在数组中的行数和列数，为了描述图像上的 点与三维世界中的点的对应关系，需要建立以物理单位( 如毫米) 表示的图像坐 标系x y 。该坐标系以图像内某一点o l 为原点，该点在u v 中的坐标为( 掰伪v o ) ， x 轴与u 轴平行，y 轴与x 轴正交，每一个像素在x 轴和y 轴上的物理尺寸分 别为出和咖。多数情况下，u 轴与v 轴是正交的，但为了不失一般性，设u 轴 与v 轴的夹角为p ，如图2 2 所示。则图像中任意一个像素在两个坐标系中有如 下仿射变换( a 伍n et r a n s f o r m a t i o n ) ： 用齐次坐标表示为 xy c o t 0 归”磊一 ( 2 1 ) 1 ， 弘v o + 淼 暑 hlo - l c o t o t 。s i n 0 o 粥， ( 2 2 ) 其中工= 瓦1 ，z = 古。 u vi 如t ，则一z c o t p = 。而本文所使用的张正友 的标定方法中，保留了u ，v 轴不垂直因子，故将该项列出。 图2 2 图像坐标系u v 和x i y 8 浙江大学硕士学位论文 摄像机坐标系的x c 轴和y c 轴分别与图像坐标系的x 轴和y 轴平行，x c z c 轴为摄像机光轴，与图像平面垂直，光轴与图像平面的交点即图像坐标系的原点， o 点为摄像机光心，o o l 为摄像机焦距。 摄像机在环境中的位置由世界坐标系( ，k ，z d 描述，摄像机坐标系与世界 坐标系之间的关系可以用旋转矩阵只和平移向量f 来描述。因此，设空间中某一 点p 在世界坐标系和摄像机坐标系下的齐次坐标分别是( ，儿，z 。，1 ) 1 和 ( ，儿，乞，1 ) 1 ，存在如下关系： = 瞄 勘 y w z l 其中，r 是3 x 3 旋转矩阵，t 是三维平移向量，o = ( o ，0 ，o ) 7 。 2 1 2 针孔模型 m 2 s 一y j 5 i ：一l1 、重 图2 3 摄像机针孔成像模型 ( 2 3 ) 图2 3 所示的针孔模型( p i n h o l em o d e l ) 是一种常用的摄像机模型，由一个 投影中心c 和一个图像平面吼组成。世界坐标系中的一个三维点w = 【，儿，z 。】r 9 九列 岁 一 一 一 浙江大学硕上学位论文 投影到图像平面上的点所- - u ，v r ，所是连接w 点和c 点的直线与图像平面吼的 交点。从三维空间到二维平面是透视投影( p e r s p e c t i v ep r o j e c t i o n ) ，使用齐次坐 标谚= 【，凡，乙，1 】r 和历= 【材，l r 分别表示三维点和二维点。 i x , y ，1 r 为棚点在 图像坐标系下的齐次坐标，【，儿，z c ，l r 为空间点w 在摄像机坐标系下的齐次坐 标，厂为摄像机焦距，则透视投影关系可表示为： h _ s iyi = 10 【1 儿o 00 o l i f0 0l 010l j x c y c z c l ( 2 4 ) 其中，s 为任意尺度因子，将式( 2 2 ) 和式( 2 3 ) 代入式( 2 4 ) ，可以得到 世界坐标系与像素坐标系中点的对应关系： = 喜 专 辜 c r t ， h 儿 z ” l x y 。 乙 1 ( 2 5 ) 因此，透视投影变换可以表示为椭= p 话， p 称为透视投影矩阵( p e r s p e c t i v e _ 广i p = a irl ti ( 2 6 ) a = ( 言丢辜 c 2 7 ) 吼，q 是分别以水平和垂直像素单位表示的焦距长度，( ，v o ) 为图像中心点 ( p r i n c i p a lp o i n t ) 坐标，定义为光轴与图像平面的交点，7 是图像中两条坐标轴 1 0 r 矿 。l 1j o o o 0 0 l o 厂j 0 ，0 o 。l1j 9 0 似咖o 五o o 。l = 1，j ” v l 。l 浙江大学硕士学位论文 世界坐标系的关系。 将p p m 写成 豇卧q 在笛卡尔坐标系中，投影点的坐标可表示为： ( 2 8 ) 甜：延坠纽 q 3 ，w + q a 4 ( 2 9 ) 1 ，：q = ；w + 一q 2 4 纸w + q u 式中，当分母为0 时，平面菇w + = o 表示焦平面，焦平面是平行于图像 平面且过光心的平面；当平面q r w + q 。= 0 时，它和图像平面的交线是图像平面 的纵轴； q r w + q 2 4 = 0 时，它和图像平面的交线是图像平面的横轴； 这三个平面的交点，有下式： 争陆。 可以求得光心坐标 c = - q q 面 则p 可以写成： 簟= q l 一伽 空间点与图像点的投影关系表示为： w = c + 2 q 一1 历，兄r 2 2 摄像机标定 光心c 是 ( 2 1 0 ) ( 2 1 1 ) ( 2 1 2 ) ( 2 1 3 ) 摄像机标定的目的就是确定透视投影矩阵p ，由已知特征点的图像坐标和世 界坐标求解摄像机模型参数。矩阵争一共有1 1 个独立参数：其中外部参数包括 围绕三个坐标轴旋转的角度，沿三个坐标轴的平移量；内部参数包括图像中心点 浙江大学硕上学位论文 坐标，像素尺寸以及焦距。国内外许多学者提出了摄像机标定的多种方法，并得 到广泛应用。为了适应不同的视觉任务要求，有些学者提出的算法能够估计出全 部的摄像机模型参数( 包括内部参数、外部参数、径向畸变和切向畸变) ，也有 些学者将摄像机模型简化，只估计出部分模型参数。根据应用环境的特点，采用 张正友的标定方法 z h a n g - 9 9 比较适合于无人自主车。其标定过程只需将平面模 板按任意角度在摄像机前旋转和平移即可，实施起来简单有效，比较符合现场环 境。 张正友的标定方法使用二维平面模板，并假设该平面位于世界坐标系的x y 平面上，即z 。- - 0 。记旋转矩阵r 的第f 列为n ，由式( 2 5 ) 可知，模板平面上的 点m 与其成像点n 满足 5 i = a t h 屯bt 】 x w j ，。 0 l 叫】i ： 4 ， 其中，露= 【hy w1 r 为模板平面上点的齐次坐标，历= 【“y1 r 为模板平面 上点投影到图像平面上对应点的齐次坐标。这样，模板平面上的点m 与对应的 图像点m 之间存在一个矩阵变换h ，有 h = 【h lh 2h 3 】_ 名a 【h r 2 t 】 ( 2 1 5 ) 则：1 ，a 一1 h l ，r 2 ： a 一1 h 2 。的计算是使实际图像坐标m i 与根据式( 2 1 4 ) 计算出的图像坐标碗之间残差最小的过程，目标函数为i i l i n h l i r a , 一商1 1 2 。 根据旋转矩阵的正交性，即f r 2 = o 和l = i i r 29 = l ，每幅图像可以获得以下 两个对内参矩阵的基本约束 h ；a 一，a j 全一h j a = 一h l h 2i ? 一。，(26)2ra ah 【h ；a 。l 刁： p 7 由于摄像机有5 个未知内参数，所以当拍摄3 张以上图像时，就可以线性唯一求 解出a 。外参数可由内参矩阵求得： 毛= 2 a h l ，r 2 = 2 a h 2 ，r 3 = r ix r 2 ，t = 2 a h 3 ( 2 1 7 ) 其中a = l 8 a h 。i i - - 1 l l a h ：i i 1 2 浙江大学硕上学位论文 通常情况下，摄像机镜头是有畸变的。因此，以上述获得的参数作为初值， 进行优化搜索，从而计算出所有参数的准确值。 2 3 极线几何 在一个以两台针孔摄像机组成的双目立体视觉系统中，设c 厶和g 分别是左 右相机的光心，屯和厶分别是左右相机获得的图像，空间中的三维点w 投影到 两个成像平面的点分别为m l 和m r ，m lf m d 称为m r ( 勉) 的对应点。在五 上任取一点m l ，如果知道它在厶上的对应点m r 的位置，则可以计算出空间点w 的三维坐标 f u s i e l l o o o 。因此，立体视觉的关键问题是对龙中的每一点m l 找出 厶中的对应点m r 的位置。m l 的对应点位于厶上由m l 与两个摄像机的相对位置 决定的某一条直线上，该直线称为图像晟上对应于m l 点的极线。一幅图像内的 所有极线相交于一点，称为极点，它是对应摄像机的光心在图像内的投影，即厄 内的所有外极线相交于g 在龙内的投影尻，厶内的所有极线相交于q 在厶内 的投影胁。图2 4 表示了极线几何中的各点的空间位置。 图2 4 极线几何 当q 在右相机焦平面内时，右极点趋于无穷远，右图上所有极线平行。类 浙江大学硕士学位论文 似的，当q 在左相机焦平面内时，左极点趋于无穷远，左图上所有极线平行。 当两个极点都趋于无穷远时，q q 光心连线同时处于两个焦平面中，且平行于 成像平面。校正的过程就是将任意一对立体图像变换为每一幅图像内的极线都平 行且水平。 2 4 几何校正 对于已经标定完成的立体视觉相机，即p p m 已知，设屯，昧分别是两台 相机原始的透视投影矩阵，将两个摄像机绕各自的光心旋转，当旋转到两个摄像 机焦平面共面时( 即图2 5 中所示的位置) ，得到新的投影矩阵晚，昧。这时 左右极点均趋于无穷远，因此极线平行。为使极线水平，基线必须平行于新相机 位置的x 轴，这使得校正后空间任意一点在左右两个摄像机图像内的对应点纵 坐标相同，因此，具有投影矩阵蛇，昧的新相机必须具有相同的内征参数，即 它们的焦距相等，图像平面共面。总的来说，新相机的光心位置与原相机相同， 新相机的朝向( 两台相机相同) 由原相机绕光心旋转得到，两个相机的内参矩阵 相同。因此，新的两个p p m 除了光心位置在x 轴方向有位移，具有相同的旋转 矩阵。 1 4 浙江大学硕上学位论文 图2 5 摄像机几何校正 将晚，如分解，可以得到： 豌= a i r l - r c l ( 2 1 8 ) 歌= a i r l - r c r ( 2 1 9 ) r 甥 。， 1 、新的x 轴平册戡可取，i = 鼎； 1 5 浙江大学硕上学位论文 位矢量，吒= k ar i ，“a 表示矢量积； 3 、新的z 轴与新的x y 平面正交，石= 吒 r 2 。 这种方法在光轴与基线平行时失效，即摄像机只有单一的前向运动。 以左图的校正为例，对于任意的三维点w ，在原相机与新相机成像平面的投 影点有如下关系： 吼2i 嵋 ( 2 2 1 ) 【s r h l = 似 根据式( 2 1 3 ) ，可以求得 肛c t + 乃q 此- i - 丸以， ( 2 2 2 ) 【w = 气+ 以q 础- 1 。 屯r 、7 因此， 毋比= 力q 比q 比- i ，- ，l 乩a 乏( 2 2 3 ) 类似的，右图校正可以得到 毋脯= 兄q 。r q 根- l 朋- 矗名r ( 2 2 4 ) 校正图像中的点在原图像中的对应点通常在非整数像素位置上，因此，校正后的 图像灰度需要进行双线性插值。 2 5 本章小结 本章概述了摄像机成像模型以及使用二维平面模板标定的方法，根据极线几 何的原理，双目立体相机的图像可以校正为极线水平且对应点纵坐标相同的图像 对，由摄像机标定的结果可以求取校正参数。几何校正能够使立体匹配的视差搜 索降至一维，极大的提高了匹配效率，是实时立体视觉系统中不可或缺的一步。 1 6 浙江大学硕士学位论文 第三章双目立体视觉匹配算法 在双目立体视觉中，图像匹配的目的是给定在一副图像上的已知点( 源匹配 点) 后在另一幅图像上寻找与之相对应的目标匹配点( 同名像点) 。图像匹配方 法通常有基于图像灰度( 区域) 的匹配、基于图像特征和基于解释的匹配或者多 种方法相结合的匹配。基于区域的匹配算法以区域相似度为匹配基元，可以直接 得出致密的视差图，缺点是容易受到噪声、亮度差异、遮挡等的影响。特征匹配 方式是基于抽象的集合特征，如边缘轮廓、拐点、几何基元的形状及参数化的几 何模型等，而不是基于简单的图像纹理信息进行相似度的比较。特征匹配的优点 在于匹配精度高，这是因为几何特征的提取可达到亚像素精度，而且由于匹配元 素为物体的几何特征，特征匹配对照明变化不敏感。另一方面，由于几何特征本 身的稀疏性和不连续性，因此特征匹配方法只能获得稀疏的深度图，需要各种内 插方法才能最后完成整幅深度图的提取工作。特征匹配方法需要对两幅图像进行 特征提取，相应的会增加计算量。 在视觉导航系统中，视差的求取是进行障碍物检测、场景三维重建的基础， 匹配算法除了要求对数据处理的正确性，还要求能够实时有效的得出结果。由于 立体视觉多用于障碍物检测，并不需要精确描绘整个场景，因此不必片面的追求 结果的精确性。基于区域的匹配算法尽管精度不高，但可以直接获得致密的视差 图，这种方法对于视觉导航是可接受的 d u 0 3 】。区域匹配受噪声、亮度差异等 的影响可以通过适当的预处理和视差后处理得到改善。同时，为了满足立体视觉 实时性的要求，我们可以采用适当的硬件加速方法来提高匹配的效率。 3 1 基于区域的匹配方法 区域匹配( 或称为块匹配) 对每个图像点计算视差的基本原理是：在基准图 上选取一个以源匹配点为中心的窗口( 或称为模板窗口) ，在配准图上选取同样 大小的一组窗口，将基准图上的模板窗口与配准图上的每一个窗口进行相似度比 较，找出与模板窗口最为相似的窗口，则该窗口的中心点即为模板中心点的匹配 点，两点的横坐标差即为视差。为保证匹配效率，在配准图上需要给出一定的窗 1 7 浙江犬学硕士学位论文 口搜索范围。根据极线几何约束，匹配点一定位于两幅图像中相应的极线上。因 此，只要在匹配前对图像对做几何校正，所有极线水平，就能保证目标匹配点与 源匹配点在同一水平线上，将搜索范围降到一维。另外，对于已经架设完成的立 体相机，可以粗略的估算出最大视差搜索范围d ，因此匹配窗口被限制在相对位 置为肛d 像素的水平线上。 相似度比较有多种度量因子，常用的可分为三类：互相关( c r o s sc o r r e l a t i o n ) 、 灰度差( i n t e n s i t yd i f f e r e n c e s ) 和排列( r a n km e t r i c s ) b r o w n - 0 3 。设s ( 甜，1 ，) 为基 准图上点( 甜，v ) 对应的两个邻域窗口的相似度，厶( “，v ) 为左图( 基准图) 上( “，1 ，) 处的灰度值，石为左图邻域窗的灰度平均值，( 材，) 为右图( 配准图) 上( 甜，) 处的灰度值，z 为右图邻域窗的灰度平均值，d 为搜索范围，常用的相似度算子 有： ( 1 ) 灰度互相关方式( c r o s sc o r r e l a t i o n ) s ( u ，v ) = ( ) ( 甜+ d ，v ) ( 3 1 ) ( 2 ) 归一化灰度互相关方式( n o r m a l i z e dc r o s sc o r r e l a t i o n ，n c c ) ( ) ( “+ d ，y ) 蚋) 2 商丽恧丽丽+ 。2 ( 3 ) 零均值灰度互相关系数方式( z e r om e a l lc r o s sc o r r e l a t i o n ) s ( u ，y ) = ( 厶( 州) 一石) ( ( 甜+ d ，v ) 一乏) ( 3 3 ) ( 4 ) 零均值归一化灰度互相关方式( z e r om e a nn o r m a l i z e dc r o s sc o r r e l a t i o n )