（信号与信息处理专业论文）从立体视觉恢复三维结构的研究.pdf

摘要 本论文研究了从立体视觉恢复三维几何结构，这些几何结构 是物体识别和分类、移动机器人导航和合成虚拟环境等的基础。 本论文结合8 6 3 2 遥科学基金项目“空间科学实验的三维立体观 察技术”，在简要介绍立体视觉原理的基础上，讨论了摄像机定 值估计的准确度，减少畸变参数的影响两个方面出发，提出了一 种高精度的摄像机定标方法，而且实验结果证明具有较好的鲁棒 性。 二、比较了几种极线校正方法的优劣，实现并成功在项目中 应用了一种立体校正算法，它具有准确性高而且速度快的优点。 三、综述、比较了几种线性和非线性的三维重建( 三角化) 的方法，结合它们的优缺点综合实现了一种三维重建方法。 四、提出了一种快速的对称多窗口立体匹配算法，并将其扩 展至正交三目立体匹配中，该算法具有速度快，深度不连续性保 持的要好，在遮断区域的视差值的指定也是合理的即在有遮挡情 况下具有较高的鲁棒性，三目算法在单方向平滑区域都得到了好 的匹配。 五、结合 4 】中动态规划立体匹配方法，实现一种基于z n c c 相似性测度的动态规划立体匹配方法，它在场景为连续变化的情 况下有比较好的表现。 在这些理论和实践工作的基础上，作者与中国科学院上海技 术物理研究所的项目组成员合作完成了一套双目立体视觉系统， 项目于2 0 0 0 年5 月1 1 日通过8 6 3 专家组的验收。了 关键词立体视觉摄像机定标三维重建立体校正立体匹配 a b s t r a c t t h i st h e s i sa d d r e s s e st h r e e - d i m e n s i o n s t r u c t u r ef r o ms t e r e o v i s i o n s u c hs t r u c t u r e s a i ee s s e n t i a lf o r o b j e c tr e c o g n i t i o n a n d c l a s s i f i c a t i o n ，m o b i l e r o b o t n a v i g a t i o n a n d s y n t h e s i s o fv i r t u a l e n v i r o n m e n t b a s e do nt h eb r i e fi n t r o d u c t i o nt h ep r i n c i p l eo fs t e r e ov i s i o n t 1 1 i s t h e s i sd i s c u s s e sc a m e r ac a l i b r a t i o n ，3 dr e c o n s t r u c t i o n ，r e c t i f i c a t i o n a n ds t e r e om a t c h i n g ，a n ds oo na n dd o e ss o m er e s e a r c hi ni m p r o v i n g s y s t e ma c c u r a c y a n d r e d u c i n gc o m p u t a t i o nc o m p l e x i t y , o f f e r s c o n t r i b u t i o n si nt h ef o l l o w i n gf i e l d ： 1 t h i st h e s i sa n a l y z e so ft h ed i 伍c u r i e sa n dp r o b l e m si nc a m e r a c a l i b r a t i o n s t a r t i n g f r o m i m p r o v i n gt h ea c c u r a c y o fi n i t i a lv a l u e e s t i m a t i o na n dr e d u c i n gt h ei n f l u e n c eo fd i s t o r t i o np a r a m e t e r s ，ah i g h a c c u r a c y a n dr o b u s tc a m e r ac a l i b r a t i o nm e t h o di s p u tf o r w a r d ， e x p e r i m e n t ss h o w t h i s 2 s e v e r a lr e c t i f i c a t i o nm e t h o d sa r cc o m p a r e d ah i g hp r e c i s i o n a n dl i n e a rr e c t i f i c a t i o nm e t h o di si m p l e m e n t e d 3 s e v e r a ll i n e a ra n dn o n l i n e a r3 dr e c o n s t r u c t i o n ( t r i a n g u l a t i o n ) m e t h o d sa r e r e v i e w e d t a k i n ga d v a n t a g eo ft h e s em e t h o d s ，a3 d r e c o n s t r u c t i o nm e t h o di ss y n t h e s i z e da n di m p l e m e n t e d 4 af a s ts y m m e t r ym u l t i p l e - w i n d o ws t e r e om a t c h i n ga l g o r i t h m i s p r e s e n t e d a n de x t e n d e dt o o r t h o g o n a lt r i n o u l a rs t e r e om a t c h i n g ， w h i c hw o r k sw e l li nd e p t hd i s c o n t i n u i t y t h e d i s p a r i t ya s s i g n e di nt h e o c c l u s i o na r e ai sr e a s o n a b l ei e t h i s a l g o r i t h m i sr o b u s tu n d e r o c c l u s i o n b e s i d e s ，t r i n o c u l a ra l g o r i t h mg e t sg o o dm a t c h e si ns m o o t h r e g i o ni ns i n g l ed i r e c t i o n 5 a c c o r d i n g t ot h e d y n a m i cp r o g r a m m i n g s t e r e o m a t c h i n g a l g o r i t h m i n 4 ， az n c cs i m i l a rm e a s u r eb a s e d d y n a m i c p r o g r a m m i n g s t e r e o m a t c h i n ga l g o r i t h m i s i m p l e m e n t e d ，w h i c h p e r f o r m sw e l l i nc o n t i n u o u s v a r y i n gs c e n e o nt h e s et h e o r ya n d p r a c t i c a lw o r k s ，c o m b i n i n gw i t ht h ep r o j e c t o f8 6 3 2r e m o t es c i e n c ef u n d “r e s e a r c ho n3 do b s e r v et b c h n i q u e o fs c i e m i f i ce x p e r i m e n ti ns p a c e ”，t h ea u t h o rc o o p e r a t e sw i t ho t h e r p r o j e c tt e a mw o r k e r si n s h a n g h a ii n s t i t u t e o ft e c h n i c a lp h y s i c so f c h i n aa c a d e m yo fs c i e n c ei m p l e m e n tas t e r e o v i s i o ns y s t e m t h e p r o j e c th a db e e n c h e c k e da n da c c e p t e do nm a y 11 ，2 0 0 0b yt h ee x p e r t g r o u po f 8 6 3 k e y w o r d s ：s t e r e ov i s i o n ，c a m e r a c a l i b r a t i o n ，3 dr e c o n s t r u c t i o n ， r e c t i f i c a t i o n ，s t e r e om a t c h i n g 致谢 本论文是在尊敬的导师阮秋琦教授悉心指导下完成的。阮老 师渊博的学识、严谨的治学、开阔的视野、深邃的见解，给我留 下了难以忘怀的印象。从本科时期在阮老师指导下进行学习，到 师从于他攻读硕士学位，从师四年，受益一生。本文的完成凝聚 着阮老师大量的心血，在此谨向阮秋琦教授表示衷心的感谢和诚 挚的敬意。 在攻读硕士学位期间，得到以下教师的指导和热情帮助，他 们是：袁保宗教授、裘正定教授、林碧琴副教授、赵耀副教授、 唐晓芳工程师等。特向他们表示感谢。 在攻读硕士学位期间，曾与许晓斌博士、正在新加坡的师兄 王海滨博士后、张颍、寇园园、李华硕士、李梦东、蔡平、刘建 秋、王延江、刘汝杰、刘渭滨、胡明星等博士研究生，陆俊、陆 宽、陈一帅、李晓东、吴亦川i 、王岩松、王锋、倪蓉蓉等硕士研 究生同学进行了富有意义的讨论与相互交流，受益匪浅，使我得 到了许多启发和帮助，在此一并致以诚挚的谢意。 另外还要感谢意大利u n i v e r s i t yo fu d i n e ，机器视觉实验室的 a n d r e af u s i e l l o 博士给作者提供他的论文：感谢澳大利亚的 c 1 s r o 数学和信息科学部c h a n g m i n gs u n 博士给作者寄来了他的 论文；感谢清华大学电子工程系的章毓晋教授提供了他们最新的 研究论文；感谢中国科学院上海技术物理研究所7 室的郑列华工 程师和张有伟博士，在项目的合作中给作者的帮助；另外本文使 用的实验数据来自卡内基一梅隆图象定标实验室( c m u c i l ) 、 j i s c t 和伊利诺斯大学的b i l lh o f f 。这些都使作者在从事研究中 节省了大量时间，并加快了论文完成。 在漫长的学习与研究期间，我的母亲、妹妹以及关心我的朋 友们都不时地鼓励支持我，我学业的完成也是这些亲人朋友的殷 切期望，他们为我能在学业上不断地取得成绩而感到由衷的骄傲 和高兴，他们对我的深切关怀是我人生道路上不断前进的动力。 本文工作得到了8 6 3 2 遥科学项目基金的支持，在此一并 表示感谢。 第一章综述 北方交通大学硕士学位论文 第一章综述 在所有的感知能力中，视觉一直以来都被认为是最重要和最 具潜力的一种途径。很多生物都把它作为最强有力的收集周围环 境信息的方式。俗话说“百闻不如一见”，就是说视觉感知环境 信息的效率很高，据估计，人类感知外界信息的8 0 是通过视觉 系统，以图象的形式得到。让计算机或机器人具有象智能生物那 样从场景的图象中理解该场景及其中的物体的视觉能力，在某种 程度和某种环境下，可以替代人类的工作，这是人类多年以来的 梦想。生物视觉系统的功能是强大的：它们记录一个频带的电磁 辐射并以此得到那些发射和反射这些电磁波的周围物体的知识。 复制一模一样的生物视觉系统可能没有必要，“飞机没有羽毛也 可以飞”【3 。现在高质量的视觉传感器已经相对来说比较便宜， 而且可以很容易地连接到计算机上，模仿生物视觉的一些功能是 一个可行而且富有挑战性的任务 2 。计算机视觉就是在这样的背 景下随着信号处理理论和计算机的问世而发展起来的一门学科。 计算机视觉的研究目的是使计算机具有通过二维图象认知三 维环境信息的能力。这种能力将不仅使机器能感知三维环境中物 体的几何信息，包括它的形状、位置、姿态、运动等，而且能对 它们进行描述、存储、识别与理解 1 】。据此，视觉感知通常分为 两个过程：低级视觉( 1 0 w l e v e lv i s i o n ) 和高级视觉( h i g h l e v e l v i s i o n ) 。低级视觉主要是提取一些环境的物理性质，如深度，三 维形状，物体边界等。它们通常在图象空间被平等对待的，而且 独立于相应的任务或对某个特定物体已有的知识。相对的，高级 视觉，主要关注于获取形状的性质和空间关系、物体的识别和分 类等问题。高级视觉通常对图象的某个区域进行操作，而且依赖 于计算的目的和对特定物体已有的知识。 低级视觉可以看作是计算机图形学的逆过程。计算机图形学 通过抽象的描述场景和摄像机成象的定律来生成图象，而低级视 觉是通过图象和摄像机成象的定律来获得场景的描述。图形学是 一个前向过程，多对一，而低级视觉是一个逆问题( i n v e r s e p r o b l e m ) ，涉及的是一个一对多的映射。当观察一个场景时，三 维的信息被压缩成为个二维的图象，大量的信息丢失了，给视 塑二兰堡堕 ! ! 查奎望查兰堕主兰竺! ! 羔 觉问题的解决增加了难度。 计算机视觉是一门融合了图象处理、模式识别、计算机技术、 神经生理学和心理学等研究成果的学科，已经成为信息科学和人 工智能领域内一个活跃的和富有成果的部分。从前面的论述，可 以看出计算机视觉是一项很艰巨的工程，它涉及相互作用、相互 影响的很多方面，比如分析颜色、深度、运动、形状和物体的纹 理和应用视觉信息来识别、导航和操作等。 1 1 计算机视觉中三维信息获取的研究 计算机视觉主要是利用计算机提供的手段和方法去完成信息 处理过程。1 9 6 5 年，l r o b e r t s 关于“三维物体的感知”一文提 出了几种获取三维信息的基本方法。这些基本方法至今还被计算 机视觉研究领域普遍采用。目前，三维信息获取的技术手段多种 多样 4 ，5 】，按获取方式分为主动式 1 ，4 和被动式 4 】两大类型，主 动法需要对测试物体加入特殊的人造光源。其中包括：三角光法、 结构光法和飞行时间法。三角光法类似三角测量法，此法需逐点 测量，费时较多。结构光法是把已知结构的图像投影到被测物体 表面，由于该物体表面的取向不同，标准图案会产生畸变，利用 这畸变可算出物体表面的三维坐标。标准图像一般用细线、方格 等。这种方法最早由日本学者y s h i r a i 提出的，具体做法可采用 激光扫描或投影仪来实现。飞行时间测距法是以雷达原理为基础 的方法。这种方法可直接测得物体表面距离而获得三维信息，它 不涉及图像处理问题。具体实现可采用激光雷达或超声雷达，超 声雷达的缺点是聚焦比较困难，但是处理方法比较简单。 被动法是在自然光条件下获得三维信息的方法。其中包括： 从立体视觉恢复结构、阴影恢复形状法、由运动恢复形状法、纹 理恢复形状法和光度学立体法等。从立体视觉恢复结构与人的视 觉原理有许多相似之处，由不同位置上的摄象机获取两幅( 或多幅) 图像，根据三角测量原理，利用立体图像中的对应点的视差计算 出景物的三维信息。因此，两幅图像的匹配是从立体视觉恢复结 构的关键。形状分析法是根据图像中灰度阴影分布、物体的运动、 纹理结构等信息分析计算景物的三维信息。运动序列图像分析法 是依靠物体或摄象机运动时得到的多幅序列图像通过对三维运动 第一章综述 北方交通大学硕士学位论文 参数的计算分析获取三维信息。此方法基本属于形状分析法，在 计算机视觉研究中较受重视，已成为一个重要分支。 总之，三维信息获取是计算机视觉研究的基础，也是目前非 常活跃的课题之一。它是后期视觉处理中的深度分析、识别和理 解的基础。获取的深度图象的优劣将直接影响到其后系统各过程 的性能，比如三维视觉重建的可靠性，三维物体模式识别的准确 性，三维场景描述和理解的可靠性。因此无论在理论上还是实践 上都有举足轻重的作用。 而从图象中获取场景三维模型一直是其中的一个重要的研究 方向，基于上面的需要，本文的研究结合8 6 3 2 遥科学基金项目 “空间科学实验的三维立体观察技术”关注于低级视觉处理中关 于从数字图象中提取三维世界的几何性质部分，论文的工作主要 集中在从立体视觉恢复结构( s t r u c t u r ef r o ms t e r e o ) 。 从立体视觉恢复结构在从立体视觉恢复结构的视觉系统中，通常 包括 1 图像获取：这个过程受环境( 包括光源、计算设备等) 和应用背景影响。 2 摄像机定标( 摄像机建模) ：确定摄像机的内外参数。 3 特征提取：在一些立体视觉技术中需要计算的显著图像 特征( 如边缘) 。 4 匹配分析：计算机视觉要自动确定立体图像对中的对应 点。 5 三角测量：通过左右两幅图像的对应点来计算它们所对 应三维空间点的深度信息。 6 插值( 逼近) ：计算的三维空间的点必须变换成对三维空 间物体表面的某种表示。 由上面的步骤可见基于立体视觉的三维重建的主要问题在摄 像机定标、匹配分析上，同时里面还有极线校正l a - j 题等。下面对 从立体视觉恢复结构的文献进行综述。与本论文内容密切相关的 各种现有算法，将在正文的相应章节再作具体介绍。 第一章综述 北方交通大学硕士学位论文 1 2 摄像机定标研究 摄像机定标是一个确定三维物空间坐标系与摄像机二维图象 坐标系之间变换关系的过程 6 ，摄像机定标的精度和可靠度直接 影响着计算机视觉系统的三维定位精度，尽管这方面的研究在摄 影测量历史中已经形成了一套比较严密完整的理论方法和实验技 术，但是和摄影测量大多使用专业的量测摄像机和高分辩率的照 片相比较，计算机视觉系统中使用的普通c c d 或t v 摄像机有 图象分辨率较低，镜头畸变较大，存在系统误差等缺点。这些普 通摄像机存在的问题，使得摄像机定标存在很多问题和困难。用 于计算机视觉的摄像机定标主要有直接非线性最优化、解析法、 两步方法、双平面方法和基于消失点的方法。 1 2 1 直接非线性最优化 它是以单个图像为基础，凭借数个物方控制点，建立共线方 程，并由非线性最优化理论算法确定内、外方位元素和镜头畸变 模型参数。f a i g 、b r o w n 、s o b e l 都给出了自己的计算模型和算法 6 。北方交通大学信息所的李锦成等 5 8 在一个使用t v 摄像机 的立体视觉系统中采用了光束自检校模型和高斯一牛顿叠代法， 对含2 6 个参数的摄像机进行了定标计算，达到了比较高的精度。 这类方法具有理论上的严密性，用于专业摄影机和照片可以达到 很好的精度。对应使用非量测摄像机的计算机视觉，这类方法效 果不理想。 1 2 2 解析法 根据针孔成象模型的共线方程，可以建立形如( 1 一1 ) 式的三维 物点与二维图像点之间的3 4 透视变换关系。解析方法不是直接 计算摄像机的内外方位元素，而是有已知的三维控制点和图像点 计算摄像机的透视变换矩阵。 苎二兰堡垄 ! ! 查銮望查兰堡主兰垡! ! 苎 参数值可以通过直接通过解析方式求出 3 7 ，5 9 】，不需要迭代运 算。一组由摄像机参数定义的中间参数可以通过求解线性方程组 的方法来求解，然后从这些中间参数可以得到摄像机的参数。但 最初没有考虑镜头畸变失真模型，所以畸变的影响不能校准。 1 2 3 两步方法 这类方法的基本思想是用线性方法直接计算一些参数，然后 在用叠代算法其它一些参数，从而避免全局非线性叠代算法的不 稳定性。 t s a i 1 2 提出了一个基于r a c 的两步法，先用线性最小二乘 法计算r a c 约束关系建立的中间参数，这些中间参数是部分外 方位元素的组合，然后由针孔模型的共线关系叠代计算内方位元 素、剩余的外方位元素和径向畸变失真系数。但是它只能处理径 向畸变，不能扩展 w e n g 1 1 1 提出了一种基于透视投影变换矩阵的两步算法，先 由线性方法计算无镜头畸变的透视变换矩阵，解出内外方位元素 作为初值，然后再由非线性最优化算法叠代计算内外方位元素和 镜头畸变失真系数。但是它对畸变参数考虑的过多而造成定标精 度的不高。 范洪 6 通过对李锦成 6 0 d l t e a 的改进，提出了d l t e a - - i i 算法，虽然可以得到很高的定标精度，但分解出内外参数，精度 并不高，这是因为计算投影矩阵参数时没有考虑到投影矩阵参数 的冗余，这样到分解内外参数时就会产生较大的误差。 1 2 4 双平面方法 在摄像机的成象模型中，图像上的每一点都对应着一条空间 1l，lj 一一 1 i 膨 x y z 1 m = 1j r y ， l 名 笙二兰箜鲨 ! ! 查奎望查兰堡主兰垡丝兰 直线，即所谓视线，也就是连接图像点与空间点的直线。对理想 摄像机的针孔摄像机模型来说，所有视线相交于同一点( 镜头中 心) 。在有畸变的实际情况下，针孔模型并非唯一的摄像机模型。 m a r t i n s 3 8 1 等人首先提出了一个基于非针孔模型的摄像机定标算 法一一双平面方法。该方法的最大特点就是所有图像点的视线并 非交于一点，而是经过空间两个平行的虚拟平面。双平面法的实 质就是根据插值原理，由两个空间平面导航的已知点和对应的图 象点计算出所有视线的插值方程【6 。但是他们的算法中对坐标系 作了很多人为的假设，没有考虑物空间坐标系的转换，如果用实 际系统则还存在问题。后来i z a g u i r r e 3 6 等人对双平面法进一步 扩展，考虑了坐标系转换的计算问题，以便用于移动立体视觉系 统的定标。双平面法的优点是计算过程线性，而且插值计算本身 就包含了对镜头畸变等图象误差的拟合校正，并且具有抑制噪声 的能力，因而是一种误差最小化的方法，但是它待定系数较多， 需要比较密集的定标参考点才能得到好的精度，而且有空间点计 算图象平面的投影点比较困难【6 】。另外马颂德和魏国庆 6 3 ，6 4 ，6 5 在利用双平面法定标方面也作了大量的工作。 1 2 5 基于消失点的方法 空间两条平行直线的图像般并不平行，它们的交点称为消 失点。由于消失点包含了透视投影的几何信息，根据空间结构关 系已知的直线及其消失点，则可以确定摄像机的内外元素。w e i 3 5 1 等人提出了一个基于消失点的三步算法，但他们的算法仅限于模 拟计算，没有给出实际的结果。此外，w e i 的算法仅考虑了镜头 径向畸变。w a n g 和t s a i 6 1 提出了一种基于消失点的方法，但他 们的方法比较简单，精度仅为5 。因此，这类方法的实用性还 有待于进一步的研究。 另外，z h a n g 1 3 提出的通过多个平面定标场来定标是一种很 灵活的方法，定标场的制作也比较简单，比较适合普及的应用。 定标的方法很多，t s a i 1 2 】、范洪 6 】、w e n g 11 、邱茂林等 6 2 也 作了比较详细综述 第章综述 北方交通大学颁士学位论文 1 3 匹配分析研究 目前有关立体匹配的研究基本上分为两个方向 7 ：( 1 ) 从理 解人类视觉的立体融合机制出发，试图建立一个通用的人类双眼 计算模型；( 2 ) 从实际应用和要求出发，建立实用的立体视觉系统。 第一个方向的特点是从视觉生理的角度揭示人类视觉的立体融合 机制，从而建立通用的立体视觉系统。虽然从目前的研究来看， 要构造出如同人类视觉一样的灵活的机器视觉系统还有待于进一 步的研究，但目前已取得的一些研究成果；第二种方法则是针对 不同的应用和要求，以建立更直接的、专用的和面向对象的立体 视觉系统为目的，通过强调场景和任务的约束等手段来降低视觉 处理问题的难度，从而增加系统的实用性。 立体匹配方法主要可以通过两种方式来分：匹配所选择的图 象基元( 即匹配什么) ，匹配算法( 即怎么去匹配) 【3 。另外， 也可以根据计算体系( c o m p u t a t i o n a ls c h e m e ) 来划分，特别是有 着深刻的生理学、心理学背景的方法。 1 3 1 匹配什么 有些算法匹配单个象素 8 ，1 4 ，它可以避免采用基于区域的方 法窗口的选择的问题，更鲁棒一点的方法是基于区域的，通过计 算相似性和相关来匹配两个图象块( 窗口) ，可以计算每个点的 视差。基于区域的匹配关键是窗v i 的选择，k a n a d e 和o k u t o m i 1 8 1 提出的通过考虑局部亮度和视差变化来选择合适的窗口的方法； s c h a r s t e i n 和s z e l i s k i 6 9 提出的通过非线性扩散的方法来自适应的 选择窗口；i n t i l l e 等 2 8 】提出了一种简化的自适应窗口方法，用以 要匹配的点为中心的9 个不同的窗口来代替自适应窗口： m o r a v e c 7 8 通过灰度形态学的方法对图象进行分割，然后对来决 定匹配的窗口，使缺乏纹理的区域可以得到比较好的匹配；h a i 7 9 1 通过对彩色图象分割然后再进行区域匹配，也得到了好的匹配效 果。 因为两幅图象中的灰度不可能完全一致，直接匹配原始的灰 度时会出现很多错匹配。这可以通过匹配用一个带通滤波器( 通 第一章综述 北方交通大学硕士学位论文 常是高斯拉普拉斯滤波器v2 g ，l o g ) 2 1 的输出来克服，也可 以通过计算给定图象点的一族滤波器的响应，它们所构成的向量 表现为图象的局部结构 2 0 】，然后再在另一幅图象上找到一个相 似的向量来得到匹配。w i l l i a m s o n 8 3 通过v 2 g 来增加图象的纹 理，使得在纹理不明显的区域得到好的匹配。 匹配图象特征是常用的更鲁棒的方法，这一类方法称为基于 特征的方法。特征指的是有物理意义的线索，如边缘、直线段、 角点、矩等，它们可通过带通滤波器、微分运算或者非线性运算 得到。m e d i o n i 6 7 等提出了基于直线边缘的匹配算法；l e e 6 8 等 提出了基于矩相似性的匹配算法。 m a r r 立体视觉理论提出的v2 g 得到的特征在立体匹配中得到 广泛应用，它有两个性质：有可调节的参数来滤除高频噪声； v2 g 的积分为零，所以两个摄像机的灰度偏差被消除。1 9 7 6 年 m a r r 1 4 基于其理论建立了模拟人类立体视觉机制的匹配算法， 并由g r i m s o n 在计算机上实现，该算法的核心是首次采用多分辨 率v2 g 的零交叉作为匹配基元，利用零交叉分布特性和由粗到细 引导的多通道协同匹配揭示来解决匹配的歧义性和搜索空间大的 问题。1 9 8 5 年g r i m s o n 2 6 对上述算法进行了改进，在匹配中使用 视差沿零交叉轮廓线连续的约束来保证匹配的一致性。分析表 明，对于某特殊结构的景物，单纯的零交叉匹配基元并不能得到 正确的解释，为此，m a y h e w 6 6 等以视觉生理学的观点对m a r r 的 零交叉匹配基元和匹配约束进行了补充修正，提出v2 g 的卷积峰 也应该是人类立体视觉的匹配输入基元，并基于人类视觉首先观 察重要的目标轮廓信息这一事实，提出了形状连续性约束，在一 定程度上解决了m a r r 理论所存在的问题。 即使如此，j e n k i n 等证明了v2 g 零交叉加卷积峰也同样不能 正确解释所有的景物形式 7 ，而对人类来说，对这些景物的立体 第一章综述 北方交通大学硕士学位论文 融合是十分自然的，因此，必定存在其它更有利于立体匹配的基 元形式。图像相位是一种值得重视的信息，与幅度信息相比，相 位包含了更多的图像信息，幅度信息确定图像的灰度变化，而频 率相位却决定了图像的结构位置。事实上，许多已有的匹配基元， 如零交叉、卷积峰等都对应特定的相位值。早在七十年代，r o b s o n 就从生理学角度证明了人类视觉系统中的简单视细胞是以正交相 位关系形式成对出现的，并且可以用一对实部和虚部相互正交的 复数滤波器来模拟【7 】。j u l e z 7 0 等也指出相位信息在人类解释景 物象点之间的过程中起着非常重要的作用，相位信息可能是人类 立体融合中最理想的基元形式。通过f o u r i e r 或g a b o r 变换计算得 到的图象的局部相位也可以用来匹配 1 6 ，2 2 。游素亚等 8 9 于提 出了采用h a r d y d 、波变换相位为基元的匹配算法。周军 1 7 等提出 了由双正交小波基通过h i l b e r t 变换构造复小波变换核的方法，其 实部和虚部正交，具有线性相位，并把它用于相位匹配。 1 。3 2 怎么匹配 当选定了匹配基元，就该考虑如何匹配了。相关技术可以通 过计算左右两幅图象基元的相关，最大的相关值所对应的平移量 就是视差。现在已经提出了有很多种相关测度，如互相关( c r o s s c o r r e l a t i o n ) 、归一化互相关( n o r m a l i z e dc r o s sc o r r e l a t i o n n c c ) 、 零均值归一化互相关( z e r o m e a nn o r m a l i z e dc r o s sc o r r e l a t i o n z n c c ) 2 5 1 、误差绝对值和( s u m o f a b s o l u t ed i f i e r e n c e s ，s a d ) 、 误差平方和( s u mo fs q u a r e dd i f f e r e n c e ，s s d ) 2 4 和零均值归一 化误差平方和( z e r o m e a nn o r m a l i z e ds u mo fs q u a r e dd i f f e r e n c e z n s s d ) ，实际中由于z n c c 和z n s s d 在由左右两个摄像机不同 引起的仿射变换下几乎不变保持的最好 2 3 ，而且由于它们对均 值和方差进行了归一化，所以它们与亮度和对比度的差别不相 关。基于相关的比较好的方法有o k u t o m i 和k a n a d e 18 1 、c o x 8 1 、 f u s i e l l o 2 4 。 松弛法先根据相似性准则给出匹配基元间的匹配概率，然后 利用匹配基元间的几何和视差等约束，用非线性最优化方法或者 迭代算法通过扩散约束条件调整上述概率，直到达到某个平衡点 第一章综述 北方交通大学硕士学位论文 f 1 ，1 4 ，2 6 1 。b a r n a r d 7 1 等提出了以m o r a v e c 兴趣点为匹配基元、以 视差连续性约束为松弛迭代准则的算法。在k i m 7 2 的零交叉匹 配中也采用了松弛迭代技术。 动态规划技术通过采用一个代价函数，再加入约束条件来取 得最优的匹配关系 4 ，8 ，2 5 ，2 7 ，2 8 】。结果是一个在匹配空间【8 ，2 7 或 者视差空间f 2 8 的一条曲线。通常，代价函数都是根据贝叶斯理 论导出的 8 ，2 7 ，2 9 ，使得在遮断情况下的也能得到很好的匹配。 b a k e r s l l b i n f o r d 7 3 1 的算法首先通过动态规划方法匹配边缘点，然 后对两个同一水平扫描线上连续的边缘点之间的区域通过灰度的 动态规划方法来匹配。c o x 8 1 以单一象素为匹配基元用动态规划 方法实现较好的立体匹配效果。 立体匹配是典型的病态问题，p o g g i o 7 4 1 认为初级视觉处理中 的很多问题都可以统一在正则化框架下，通过加入一定的约束使 病态解转化为良态解。在立体视觉领域中，一般是利用匹配连续 性约束将匹配视差限制在平滑解空间里。在此存在两个有待解决 的问题，其一是如何有效地保护视差表面不连续信息， t e r z o p o u t o s 7 5 提出了含有不连续信息的通用正则化模型，通过 引入一个可控制平滑度的权函数来保护解的不连续信息。1 9 8 9 年，m a r c h 7 6 的正则化算法也都利用这一方式：其二是如何避免 出现局部最小的问题，b a r n a r d 7 7 提出采用由粗到细的多尺度引 导策略和模拟退火技术来解决这一问题，而c o x 8 通过使视差不 连续的数目最少来从选取最优解。正则化方法的最大优点是可以 全局最优地生成密集视差场f 7 1 。 近年来，随着科学的发展，许多新理论已被引入立体匹配领 域，典型的如神经网络分析法 8 0 ，8 1 和小波分析法 1 7 ，8 2 ，8 9 。现 有的许多算法都可以转化为神经网络实现，如p o g g i o 的正则化模 型是一个三层前反馈网络，其价值函数最小化可用h o p f i e l d 网络 来求解1 7 ：动态规划算法可以映射为多级神经网络等等。但目前 的研究来看，这些算法并未反映出人类视神经感知网络的本质， 真正构造模仿生物视觉系统的立体匹配方法还有待于进步研 究。小波理论是新兴的种时频域分析理论，小波多分辨率变换 思想与视觉中的由粗到细的多分辨率分析过程是一致的，而且小 波变换的多分辨率分解特性，更加符合人类的视觉特性，更家适 合于视觉信息的处理。 o 第一章综述 北方交通大学硕士学位论文 一种新的匹配方法是通过把图象的水平扫描线用本质曲线 ( i n t r i n s i cc u r v e ) f 3 0 表示，本质曲线对图象的平移是不变的， 这个性质可以在匹配的时候应用。 s u n 8 5 1 、c h e n 8 6 和z i m i c k 等【8 7 】在整个三维匹配空间进行 匹配的最优化，这时视差表面由在这个三维匹配空间中局部最大 相似值决定。s u n 8 5 1 把- 维的动态规划立体匹配方法利用视差梯 度有限约束推广到三维，并结合由粗到细的计算体系；c h e n 8 6 】利 用v o l u m e t r i c 的方法，在用最大相关法得到初始匹配后，选定种 子体素，然后通过表面跟踪得到最优的视差表面；z i t n i c k 等 8 7 利用v o l u m e t r i c 的方法，通过扩散相邻匹配值间的支持来迭代更 新似然函数值，迭代收敛后，遮断的区域可以明确标出。 1 3 3 计算体系 关于计算体系，算法可分为协同( c o o p e r a t i v e ) 、由粗到细 ( c o a r s et of i n e ) 、多通道等方法。 七十年代出现的m a r t 立体视觉理论被认为是目前人类立体视 觉过程最完整的论述，作为其理论重要组成部分立体匹配三大约 束( 唯性、相容性和连续性) 、零交叉匹配基元以及多通道协 同处理方法对立体视觉的发展起了巨大的推动作用 7 。协同模型 最早由m a r r 和p o g g i o 1 4 1 提出的，他们设计了一个简单的协同算 法利用唯一性和连续性两个约束来扩散视差估计间支持。z i t n i c k 矛d k a n a d e 8 4 1 中的协同算法是在匹配空间计算一个三维的匹配值 数组，每一元素对应参考图象中一点和一个视差，通过扩散相邻 匹配值间的支持用更新函数产生连续和唯一的值，初始的匹配值 可以通过逐点相关得到，迭代收敛后，遮断的区域可以明确标出。 由粗到细方法 2 5 ，3 3 ，8 5 1 ，是把在不同的尺度空间计算的视差 融合来产生最后的视差。生物视觉系统中，是通过多个不同空间 分辨率的滤波器来实现的。在机器视觉中，主要通过对图象进行 金字塔( 多分辨率) 分解得到。它主要有三个有用的性质 2 5 1 ： 搜索范围可以缩小，因为在较粗的级别上，只需要得到粗略的初 始值：收敛速度加快；找到的正确匹配的可靠性增加。s u n 2 5 在 金字塔图象的最高层上用动态规划方法得到粗略的视差值，在往 第一章综述 北方交通大学硕士学位论文 下面的层扩散得到的视差，在一个较小的搜索范围进行动态规 划，对表面比较连续的场景得到的效果比较好。 多通道方法是根据人类视觉系统早期信息处理的多通道理论 为基础的方法，h o 趣3 1 提出了基于多通道的、匹配和重建体 化的立体算法，游素亚 3 2 】等提出了基于多方向通道的立体算法。 另外还有不在这几种分类方法里面的其它匹配方法，如光流 法 1 5 等。立体匹配的方法很多，游素亚 7 、c o x 8 、贾波 9 】、 d h o n d 1 9 1 也作了比较详细的综述。 1 4 立体校正研究 立体校正是立体视觉算法中的一个重要组成部分，它可以使 立体匹配的搜索只用在图象坐标系的一个坐标轴方向进行，降低 了计算的复杂度。假设同场景的的一对从不同视点拍摄的立体 象的对极几何关系已经确定，两幅图象中的匹配点必须满足所谓 的极线约束( 见第四章) ，这样对一幅图象中一点，匹配点只用 在另一幅图象中对应的极线上搜索。一般极线不与坐标轴平行， 所以这个计算过程比较费时间，而且必须在图象中的斜线上比较 象素的相似性。如果对应的极线都在同扫描线上，匹配的算法 可以简化并且效率也可以提高。这可以通过对每幅图象应用一 个二维的投影变换来实现，这个过程称为立体校正。 对立体校正的方法很多，极线校正的概念很早就被摄影测量 研究者们使用了【8 8 】。摄影测量方法象绝大多数计算机视觉中的 方法【2 ，4 3 ，4 4 】，假设知道投影矩阵即摄像机已定标。f a u g e r a s 2 通过找到两个图象平面的交线，然后再把两幅图象重投影到包含 这条交线且平行于两个摄像机光线的连线的平面上，尽管此方法 从三维几何上很容易解释，但是实际实现起来确有些不容易，而 且没有考虑到最优的选择；a y a c h e 4 4 虽然可以保证极线校正的 结果，但是解不是唯一的；a n d r e af u s i e l l o 4 3 的方法，输入为为 左右图象的透视投影矩阵，计算过程完全是线性的，输出为左右 极线校正变换矩阵和校正后的左右透视投影矩阵，然后分别应用 校正变换矩阵对左右图象进行重投影即可得到极线校正后左右图 象，虽然是线性算法，准确性确比较高。 最近的一些算法 4 5 ，4 6 ，4 7 ，4 8 ，8 8 不用完全定标，而只需要知 道两幅图象的对极几何关系就可以进行校正，称为射影极线校 第一章综述 北方交通大学硕士学位论文 正。p a p a d i m i t r i o u 4 5 给定的假设条件太严格( 要求两个摄像机坐 标系的垂直轴平行) ：r o b e r t 等 4 6 中的试图优化校正过程使畸变 最小，但是他们的畸变最小准则是基于简单启发性的几何关系并 不能取得最优解；h a r f l e y 4 8 】中的方法是基于对基础矩阵的检验， 它的优点是简化了二维射影变换使得再投影的速度加快，文中还 给出了射影极线校正的理论；l o o p 和z h a n g 4 7 n 过把极线校正 矩阵分解成射影和仿射两个部分，通过最小化射影畸变来得到射 影变换部分；然后在把仿射变换分解成相似和错切( s h e a r i n g ) 两个变换，前者是用来满足极线校正的约束要求，后者用来进一步 减少由射影部分带来的畸变；i s g r o 8 8 提出了一种不需要显式的 计算出对极几何关系的校正算法。 4 6 ，4 7 ，4 8 ，8 8 这些算法校正过 程都需要非线性最优化，计算量比较大。 论文工作与结构安排 从立体视觉恢复结构长期以来一直是计算机视觉中的研究热 点，本论文结合8 6 3 - 2 遥科学基金项目“空间科学实验的三维立 体观察技术”在一下几个方面进行了研究： 1 ) 摄像机定标 本文通过分析摄像机定标中存在的问题，从提高初始值估计 的准确度，减少畸变参数的影响两个方面出发，提出了一种高精 度的摄像机定标方法，而且结果具有较好的鲁棒性。 2 ) 立体校正 本文比较了几种极线校正方法的优劣，实现并成功在项目中 应用了一种立体校正算法，它具有准确性高而且速度快的优点。 3 ) 立体匹配 本文提出了一种快速的对称多窗口立体匹配算法，并将其扩 展至正交三目立体匹配中，该算法具有速度快，深度不连续性保 持的要好。在遮断区域的视差值的指定也是合理的即在有遮挡情 况下具有较高的鲁棒性，三目算法在单方向平滑区域( 如屋檐等) 都得到了好的匹配。另外还结合【4 】中动态规划立体匹配方法，实 现一种基于z n c c 相似性测度的动态规划立体匹配方法，它在场 景为连续变化的情况下有比较好的表现。 另外还综述、比较了几种三维重建( 三角化) 的方法，结合 笙二兰箜鲨 j ! 查奎望查兰堡主兰垡! 望蔓 它们的优缺点综合实现一种三维重建方法。 本论文的结构安排如下： 第二章有关的理论基础知识 为了使本论文能够独立成文，第二章集中介绍了有关的理论 基础知识，给出了一些射影几何的概念及透视投影摄像机成象的 几何过程，它是后面章节摄像机定标、理解同一