（电路与系统专业论文）基于双目立体视觉的三维重构部分算法研究.pdf

o 。：、 独创性声明 本人郑重声明：所提交的学位论文是本人在导师指导下独立进行研究工作所 取得的成果。据我所知，除了特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果。对本人的研究做出重要贡献的个人和集体，均 已在文中作了明确的说明。本声明的法律结果由本人承担。 学位论文作者签名：温缢日期： 学位论文使用授权书 本学位论文作者完全了解东北师范大学有关保留、使用学位论文的规定，即： 东北师范大学有权保留并向国家有关部门或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅。本人授权东北师范大学可以采用影印、缩印或其它 复制手段保存、汇编本学位论文。同意将本学位论文收录到中国优秀博硕士学 位论文全文数据库： ( 中国学术期刊( 光盘版) 电子杂志社) 、中国学位论文全 文数据库( 中国科学技术信息研究所) 等数据库中，并以电子出版物形式出版 发行和提供信息服务。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：避 日 期：趁。碰! 丛 学位论文作者毕业后去向： 工作单位： 通讯地址： 指导教师签名： 日期： 电话： 邮编： ， iij 摘要 双目立体视觉是从两个视点获取不同视角下的感知图像，通过成像几何原理 计算图像像素间的位置偏差( 视差) ，进而获取物体的三维信息的过程，类似于 人类视觉的立体感知过程。双目立体视觉一直是计算机视觉的研究重点之一。随 着技术的进一步完善，双目立体视觉技术在地形勘测、机器人导航等方面将有更 广阔的发展前景，因此对该课题的研究具有重要的现实意义和应用价值。 本文首先系统地介绍了双目立体视觉的基本原理和基本步骤( 摄像机标定， 图像立体匹配，三维重构) ，其次重点研究了基于双目立体视觉的三维重构剖分 算法。 本文的所有程序都是以v i s u a lc + + 为平台实现的。在摄像机标定部分，考虑 到摄像机情况和实验条件，采用张正有标定来获取摄像机的相关参数。在图像立 体匹配部分，选取经过预处理的图像的角点作为特征点，采用基于区域匹配和基 于特征匹配相结合的匹配算法，得到特征点的视差图，进而计算出数据点的深度 信息( z 坐标) 。在三维重构部分，空间点的重建方法采用的是b o w y e r - w a t s o n 算法来生成d e l a u n a y 三角网，并改进了其点定位搜索策略，还提出了一种新的 数据结构，提高了三角剖分程序的执行效率。剖分后的d e l a u n a y 三角网，经过 0 p e n g l 与v i s u a lc + + 联合编程的方式，最终实现物体的三维可视化。 关键词：立体匹配；三维重构；d e l a u n a y 三角网：逐点插入法；o p e n g l a b s t r a c t b i n o c u l a rs t e r e ov i s i o n ，w h i c h a c q u i r e sp e r c e p t i v ep i c t u r e s i nd i f f e r e n t p e r s p e c t i v e sf r o mt w oe y ep o i n t s ，i sap r o c e s st h a to b t a i nt h et h r e e - d i m e n s i o n a l s t r u c t u r eo ft h i n g st h r o u g hc a l c u l a t i n gp o s i t i o n a ld e v i a t i o nb e t w e e ni m a g ep i x e l s b a s e do ni m a g i n gg e o m e t r yp r i n c i p l e t h a ti ss i m i l a rt oh u m a n sv i s u a lp e r c e p t i o n p r o c e s s b i n o c u l a rs t e r e ov i s i o ni sa l w a y so n eo ft h ek e yr e s e a r c ho fc o m p u t e rv i s i o n w i t ht h ed e v e l o p m e n to ft e c h n o l o g y ，b i n o c u l a rs t e r e ov i s i o nw i l lb ew i d e l ya p p l i e di n t o p o g r a p h i cs u r v e y , r o b o tn a v i g a t i o n , a n ds oo n t h e r e f o r e ，t h er e s e a r c ho ft h i s s u b j e c th a ss i g n i f i c a n tp r a c t i c a ls i g n i f i c a n c ea n da p p l i c a t i o nv a l u e f i r s t l y , t h eb a s i cp r i n c i p l ea n ds t e p s ( c a m e r ac a l i b r a t i o n ，s t e r e om a t c h i n ga n d3 d r e c o n s t r u c t i o n ) o fb i n o c u l a rs t e r e ov i s i o ns y s t e ma r ei n t r o d u c e dd e t a i l e d l yi nt h i s p a p e r t h e n ，i tf o c u s e so nt h er e s e a r c ho ft r i a n g u l a t i o na l g o r i t h mo fb i n o c u l a rs t e r e o v i s i o n a l lp r o g r a m si nt h ep a p e ra r ec o m p l e t e db a s e do nt h ep l a t f o r mo fv i s u a lc + + i n t h es t a g eo fc a m e r ac a l i b r a t i o n , c o n s i d e r i n gt h ec 盈t m e r aa n de x p e r i m e n t a lc o n d i t i o n s , w eu s et h em e t h o do fz h a n gz h e n g y o ud e m a r c a t et oo b t a i nt h er e l e v a n tp a r a m e t e r s o fc a m e r a i nt h es t a g eo fs t e r e om a t c h i n g , b ys e l e c t i n ga n g u l a rp o i n ta sf e a t u r e sa n d u s i n gm a t c h i n ga l g o r i t h mf o u n do nt h ec o m b i n eo ft e m p l a t em a t c h i n ga n df e a t u r e m a t c h i n g , w ec o u l dc a l c u l a t et h ef e a t u r ep o i n t so fi m a g e t h e n ，t h r o u g hc a l c u l a t i n g p a r a l l a xo fs e l e c t e dp o i n t sa f t e rc 卸l i l e r ac a l i b r a t i o na n ds t e r e om a t c h i n g , s oa st o o b t a i nt h ed e e pi n f o r m a t i o no fd a t ap o m i nt h es t a g eo f3 dr e c o n s t r u c t i o n , m e t h o d s o fs p a t i a l p o i n t s r e s t r u c t i o n a g eu s e dt o g e n e r a t ed e l a u n a yt r i a n g u l a t i o nb y b o w y e r - w a t s o na l g o r i t h m ，a n di m p r o v es e a r c h i n gs t r a t e g i e so fp o i n tl o c a t i o n m e a n w h i l e ，i ta d v a n c e sa n e wd a t as t r u c t u r e , w h i c hi m p r o v e st h ee x e c u t e de f f i c i e n c y o ft r i a n g u l a t i o np r o g r a m s d e l a u n a yt r i a n g u l a t i o n ，w h i c hh a sb e e nd i s p o s e d , a c h i e v e s t h r e e - d i m e n s i o n a lv i s u a l i z a t i o nb yp r o g r a m m i n gw i t ho p e n g la n dv i s u a lc + + f i n a l l y k e yw o r d s ：s t e r e om a t c h ；3 dr e c o n s t r u c t i o n ；d e l a u n a yt r i a n g u l a t i o n ；i n c r e m e n t a l i n s c n i ；o p e n u l ， ；j 目录 摘 要。一。一。一。一一一。i a b s t r a c t 。一一一。一。一。一】匝 e j j 素。一。一。一一。一一一。：l i i 第一章弓i 言一。一一一一一一。一。一。一1 1 1 计算机视觉理论概述1 1 2 双目立体视觉理论2 1 3d e l a u n a y 三角网的发展现状4 1 4 本论文的主要工作5 第二章摄像机标定。一。一一。一。一。一6 2 1 计算机视觉坐标系6 2 1 1 摄像机坐标系：( ) ( c ，y 。，z c ) 6 2 1 2 世界坐标系：( ) ( - ，y i ，z - ) 7 2 1 3 图像坐标系：( u ，v ) 7 2 1 4 像平面坐标系( x ，y ) 8 2 2 摄像机模型( 针孔模型) 。9 2 3 摄像机标定方法1 1 2 3 1 直接线性变换( d l t 变换) 定标基本原理。1 1 2 3 2 平面模板两步法( 张正友) 基本原理。1 1 2 4 本章小结1 3 第三章 立体匹配算法一。一一。一。一。一一14 3 1 图像预处理1 4 3 1 1 中值滤波1 4 3 1 2 直方图均衡化1 5 3 1 3 拉普拉斯锐化1 6 3 1 4 图像预处理结果1 6 3 2 立体匹配基本理论1 7 3 2 1 基于特征的匹配。1 7 3 2 2 基于区域匹配1 8 3 2 3 基于相位匹配。2 0 3 3 立体匹配的约束条件2 0 3 4 本文立体匹配算法。2 1 3 5 本章小结2 1 第四章三维重构及o p e n g l 显示。一一。一2 2 4 1 引言2 2 4 2 视差原理2 2 4 2 空间点重建算法。2 3 4 4 三角剖分算法。2 4 i i i 4 4 1 三维重构基本方法2 4 4 4 2d e l a u n a y 三角剖分算法。2 5 4 4 3 逐点插入法的基本流程及其发展2 7 4 4 4 本文中数据结构的建立及算法的具体实施过程2 8 4 4 5 本文三角剖分结果及数据分析3 2 4 5o p c n g l 显示3 2 4 5 10 p e n g l 概j 述。3 2 4 5 2o p e n g lt 作流程3 3 4 5 3o p e n g l 绘制三维图像3 4 4 6 软件界面及显示结果。3 8 参考文献一一。一。一一。一。一4 1 i v 东北师范大学硕士学位论文 第一章引言 感觉是人的大脑与周围信息联系的桥梁，我们的思维活动是以我们对客观世界与环 境的认识为基础的。视觉则是人类最重要的感觉，人类对外界信息的感知有8 0 9 6 来自视 觉。视觉对正常人来说是生而有之，毫不费力的能力，但实际上视觉系统所完成的功能 却是十分复杂的。信号处理和计算机出现以后，人们试图利用计算机实现对客观世界的 三维场景的感知、识别和理解，即用计算机实现对人类的视觉功能，这就形成了一门新 兴的学科一计算机视觉u j 。 1 1 计算机视觉理论概述 计算机视觉的研究目标是根据感知到的图像对实际的目标和场景做出有意义的 判断【。作为一个新的学科，计算机视觉开始于2 0 世纪6 0 年代初，发展于2 0 世纪 8 0 年代，进一步完善于近十年，发展十分迅速。现在计算机视觉已成为一门不同于人 工智能、图像处理、模式识别等相关领域的成熟学科l 2 j 。 2 0 世纪7 0 年代中期以m a r r 、b a r r o w 、t e n e n b a u m 等人为代表的一些研究者提出了 一整套视觉计算的理论来描述视觉过程，其核心是从图像恢复物体的三维信息。 2 0 世纪8 0 年代，m i t ( 麻省理工) 的m a r r 提出了第一个较为完善的视觉系统框 架，这个理论使得人们对视觉信息的研究有了明确的内容和较完整的基本体系。 b l a r r 理论把视觉过程看作信息处理过程，从这个角度把信息处理过程分成三个层 次，即计算理论、算法与数据结构和硬件实现【2 1 。把视觉过程的主要目的规定为定量 地恢复出图像所反映的场景中的三维的形状和空间位置，将这一恢复过程分为三个阶 段：初级视觉( 要素图) 、中级视觉( 2 5 维图) 、高级视觉( 3 维图) 。 表1 1m a r r 理论的视觉系统的三个层次 计算理论层次算法与数据结构层次硬件实现层次 两个论点：计算的是什么两个选择：选择处理的输入表象和物理上具体实现以上 东西，为什么要计算这些输出表象，选择一个实际上能完成算法的装置，同一个算 东西。表象变换的算法法可以用完全不同的 最后得到的运算仅由它要点：算法的选择往往主要取决于技术途径来实现 必须满足的约束条件唯所使用的特殊的表象，即使对于一 一的确定。个给定的固定表象，也常常有好几 实际上是实现一种信息 种能完成同样处理任务的算法 1 东北师范大学硕士学位论文 i 型墨二壁笪皇笪堕塾ili m a r r 理论的基本框架如下： 图像j 霸磊面h 丽丽蕊肛丽砷3 d 描述 1 - j 1 一i - j tt 要素图( 2 维)2 5 维图 图1 - 1m a r r 框架 随着研究的深入，人们对m a r t 计算视觉理论提出了一些质疑和批评。主要有以 下几个方面【3 】： ( 1 ) 输入是被动的，给什么图像，系统就处理什么图像 ( 2 ) 整个处理过程基本上是自低向上的，没有反馈 ( 3 ) 处理的目的不变，总是恢复场景中物体的形状和位置等 针对上述问题，人们提出了新的理论框架如下： 图1 2 改进的m a r r 框架 虽然m a r r 理论存在不够完善的地方，但它仍然是计算机视觉的主流理论。当前 的视觉理论框架都是在m a r r 视觉理论基础上提出的，是对它的补充和发展。 2 0 世纪9 0 年代以来，计算机视觉的研究有了很大的发展，但是各国的研究人员 把主要精力都集中在m a r t 理论的前两个层次上，即计算理论和表达与算法层次。对 于硬件实现，目前只有少数比较成熟的部分如低层次处理的去噪声，边缘抽取；对简 单二维物体的识别及简单场景下的视觉方法，已有专用的芯片或其他并行处理体系结 构方面的研究和试验产品；从系统上构造一般的视觉系统，虽有一些尝试，但一般并 不成功，或缺乏通用性，或抗噪声能力低，或存在多解性。 1 2 双目立体视觉理论 在对生物视觉系统的研究中，人们发现，几乎所有具有视觉的生物都有两个眼睛， 用两个眼睛观察周围物体时，会有深度和远近的感觉。双目立体视觉正是利用这一仿生 2 东北师范大学硕士学位论文 原理，从两个视点( 两台摄像机) 观察同一景物，从不同角度同时获取两幅感知图像， 通过成像几何原理计算图像像素间的位置偏差( 视差) ，来获取景物的三维信息。这一 过程与人类视觉的立体感知过程非常相似。一个完整的双目视觉系统通常分为图像获 取、摄像机标定、特征提取、立体匹配、深度信息恢复等部分【1 1 。 p ， ， ，、 ， 、 。茛再 图1 3 摄像机拍摄空间物体p 1 图像获取 立体图像的获取是立体视觉的基础，采集的图像不但要满足系统要求，还要考虑视 点差异、光照条件、摄像机性能以及景物特点等因素的影响。在感知范围不太大遮挡比 较少的情况下，可以采用基线共线，光轴平行的方法布置摄像机，可以简化后续处理过 程。 2 摄像机标定 摄像机标定是根据有效的模型，获取摄像机的内外部属性参数，以确定空间坐标系 中的物点与它在图像平面上像点之间的对应关系。在双目立体视觉中，每个摄像机都要 分别标定。如果摄像机是固定的，只需要标定一次即可。 3 特征提取 双目立体视觉借助两个不同观察点对同一景物间的视差来求取3 d 信息( 尤其是深 度信息) 。判断同一景物在不同图像中的对应关系是关键的一步，这就需要选择合适的 图像特征进行两幅图像之间的匹配。 4 立体匹配 立体匹配时根据所选的特征进行计算，建立特征间的对应关系，从而建立同一个空 间点在不同图像中的像点的对应关系，便可由此得出相应的视差图像。立体匹配是双目 视觉的难点问题。当把空间三维场景投影为二维图像时，同一景物在不同视点下的图像 会有很大不同，光照条件、景物几何形状和物理特性、噪声干扰以及摄像机特性，都对 匹配形成一定干扰。 5 深度信息恢复 通过立体匹配得到视差图像后，就可以确定深度图像并恢复物体3 d 信息了。对应 点关系建立以后，深度信息的计算只是一个三角运算，然而对应点的不精确性和不可靠 3 东北师范大学硕士学位论文 性，也会带来很多问题。一般来讲，距离测量精度与匹配定位精度成正比，与摄像机基 线长度成反比。 图摄图 立 深 。 像像像体 度角 口 口 获机预匹信剖 o 取 _ _ _ _ _ _ _ _ _ _ _ 息 - j 分 - - - j p 标 处 配 - - 一- 叫_ 。叫 定理恢 显 复 不 图1 _ 4 双目立体视觉基本流程 1 3d e l a u n a y 三角网的发展现状 在计算机视觉领域中，我们把由两幅或多幅图像恢复空间景物的三维几何形状的问 题称为三维重构。三维重构是三维计算机视觉中一个核心问题，也是用计算机模拟人眼 视觉功能所需要完成的最后一步，即恢复物体的三维信息，属于m a r r 理论框架中的中 级视觉部分。三维重构的方法主要有以下几种：( 1 ) 空间点的重建；( 2 ) 空间直线、空间 二次曲线的重建；( 3 ) 全像素的三维重构。三种方法最常用的是空间点的重构。而由于三 角形网络有譬如：通用性较强程序代码简单易理解，可表示复杂的三维曲面等优点。空 间点的重构通常采用三角剖分的方法来重建点与点间的关系。 1 9 0 8 年，g v o r o n o i 首先从数学上限定了每个离散点数据的有效作用范围，并定义 了二维平面上的v o r o n o i 卧5 1 。1 9 3 4 年，b d e l a u n a y 由v o r o n o i 图演化出了实用性更强 的d e l a u n a y 三角网【6 】。从此v o r o n o i 图和d e l a u n a y 三角网被广泛的应用于数字地形模型 建立和与2 5 维图像分析等相关领域中。 d e l a u n a y 三角网由于具有空外接圆和最小内角最大两个性质，使它具有了极大的应 用价值。而研究人员又在数学上证明了d e l a u n a y 三角网是二维平面三角网中唯一的， 最好的。m i l e s 证明d e l a u n a y 三角网是“好的刀三角网，s i b s o n 提出“在一个有限点集 内只存在一个局部等角的三角网，这就是d e l a u n a y 三角网一，t s a i 进一步论证了。在不 多于3 个相邻点共圆的欧几里德平面中，d e l a u n a y 三角网是唯一的一 7 1 。 d e l a u n a y 三角网按其生成方式可以分为三类：分治算法、逐点插入法、生长法。随 着计算机视觉的发展，空间物体的三维重构引起了研究人员的广泛关注，研究人员把空 间离散点关系重建的重点放在了d e l a u n a y 三角网的生成上，并且不断对已经提出的算 法进行改进：l e e 和s c h a c h t e r 完善了由s h a m o s 和h o e y 提出的分治算法嗍，喇发展了 由l a w s o n 提出的逐点插入法 7 1 ，m c c u l l a g h 改进了由g r e e n 和s i b s o n 首次完成的生长 j 去【9 1 。 4 东北师范大学硕士学位论文 1 4 本论文的主要工作 本文在m i c r o s o f tv i s u a lc + + 6 0 开发平台上编写软件，实现基于双目立体视觉 的三维重构。读入由同一相机在不同角度拍摄的两幅图片，经过对同一特征点在两幅图 片中的视差计算，获取特征点的深度信息( 三维坐标) ，通过d e l a u n a y 三角剖分算法重 构出三角形网格，并最终通过0 p e n g l 合理的重构、显示出物体的三维形态。 主要工作如下： 1 了解计算机视觉及双目立体视觉相关理论。 2 利用v i s u a lc + + 6 0 编写对话框程序。 3 研究双目立体视觉的摄像机标定方法和外极线校准方法，对双摄像机进行张正 友标定。 4 编写程序对获取的图像进行平滑、滤波等预处理。本文选取角点作为匹配的特 征点，采用基于特征和基于模板相结合的图像匹配算法进行立体匹配。计算同 一特征点在两幅图片中对应像点的视差值。 5 根据视差原理及标定得到的摄像机参数，计算特征点的深度信息( z 坐标) 6 总结目前三角剖分技术的发展情况及面临的问题，并以v i s u a lc + + 6 0 为操作 平台，编写d e l a u n a y 三角剖分程序。本文选择的是现在流行的b o w y c r - w a t s o n 算法，提出了一种新的数据结构，改进了点定位搜索方式。 7 在v i s u a lc + + 6 0 平台上，结合o p c n g l ( - - 维图形处理库) ，编写三维物体显 示程序。在程序编写过程中采用了链表结构，它支持多种数据类型的访问，增 加了程序的灵活性。 5 东北师范大学硕士学位论文 第二章摄像机标定 双目立体视觉系统是从两台摄像机获取图像开始，通过成像几何原理计算图像像素 间的位置偏差( 视差) ，来获取景物的位置、形状等信息的。空间物体表面点的三维几 何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的。通过实 验和计算获得这些摄像机参数的过程称为摄像机标定( 或称定标) 。 摄像机参数可以分为内部参数和外部参数：内部参数描述摄像机的内部光学和几何 特征，如图像中心、焦距、镜头畸变等：外部参数主要描述的是摄像机相对于世界坐标 系的三维位置和方向。摄像机标定是双目立体视觉系统的第一步，也是必不可少的一步， 标定矩阵的精度直接影响最终的重建精度。 2 1 计算机视觉坐标系 为了分析摄像机成像的几何规律，我们定义了以下四个坐标系：世界坐标系、图像 坐标系、像平面坐标系和摄像机坐标系。本小节的内容是简要的介绍一下四种坐标系。 2 1 1 摄像机坐标系：( 】【c ，y c ，z c ) 摄像机坐标系是以摄像机的光心( 这里把摄像机镜头的光心简称摄像机的光心) 为 原点定义的坐标系。如图2 1 所示，以c 点为坐标原点，由】( c ，y c ，z c 轴组成的直角坐标 系称为摄像机坐标系。其中c 点称为摄像机的光心，) 【c 轴和y c 轴分别与图像平面的x 轴、y 轴平行，z c 轴为摄像机的视轴，它与图像平面垂直。c c l 为摄像机的焦距，视轴 与图像平面的交点即为图像平面坐标系的原点c l 。 图2 1 摄像机坐标系 6 东北师范大学硕士学位论文 2 1 2 世界坐标系：( x - ，y i ，z - ) 由于摄像机可以安放在环境中的任意位置，所以我们选择了一个客观坐标系来描述 摄像机在环境中的位置，该坐标系称为世界坐标系。世界坐标系是客观三维世界的绝对 坐标系，也称客观坐标系。一般的三维场景都是用这个坐标系来表示的。 z w 。圪 图2 2 世界坐标系 世界坐标系由x 霄，y - ，乙三个轴组成，如图2 2 所示。世界坐标系与摄像机坐标 系之间的关系可以用旋转矩阵r 与平移向量t 来描述。设一维空间中任意一点m 在世 界坐标系与摄像机坐标系下的齐次坐标分别为( x 狮y 聊乙，1 ) t 和( x c ，y c ，z c ，1 ) t ，则存在如下 关系： x c k z c 1 ，rt 、 。lo 1j 、， x w x w x w 1 一p 2 x w x 憎 x w 1 其中，r 为3 3 单位正交矩阵，t 为三维平移向量，p 2 为4 4 矩阵。 2 1 3 图像坐标系：( u ，v ) ( 2 - 1 ) 图像坐标系是计算机内部数字图像采用的坐标系。摄像机采集的图像以标准模拟视 频电视信号的形式输入计算机，经过计算机中图像采集卡模数转换成数字图像数据，每 幅数字图像在计算机内为m n 数组，图像中的每一个元素被称为像素或像元( p i x e l ) 。 图像坐标系是在数字图像上定义的一个直角坐标系u v ，如图2 3 所示，坐标系原 点c d 位于图像的左上角，每一个像素坐标( u ，v ) 只表示该像素在数组中的列数为u ，行 数为v ，单位为像素，并没有物理单位来表示像素在图像中的位置。每个像素的数值即 是该坐标点像素的灰度。 7 东北师范大学硕士学位论文 c o c 1 - 1 r r v y 图2 3 图像坐标系与像平面坐标系 2 1 4 像平面坐标系( x ，y ) 在图像坐标系中( u ，v ) 只是表示像素在数组中行数和列数，并没有描述出该像素在图 像中的位置，因此我们需要再建立一个以物理单位表示的像平面坐标系x - y 。像平面坐 标系是在摄像机靶面( 像平面) 上定义的坐标系。该坐标系x 轴、y 轴分别与u 轴、v 轴平行。在x - y 坐标系中，摄像机视轴与图像平面的交点c 1 定义为原点，该点一般位于 图像中心处。图像坐标系与像平面坐标系的关系如图2 3 所示。 若c l 在u - v 坐标系中的坐标为( 1 1 0 ，v d ，每一个像素在x 轴与y 轴方向上的物理尺 寸为( d x ，d y ) ，则图像中任意一个像素在两个坐标系下的坐标有如下关系： x 扣石棚。 z 归石+vo(2-2) 将式( 2 2 ) 用齐次坐标与矩阵形式可以表示为： 逆关系可以写成： 【|】_ o o 0o 1 或0 0 d y 00 8 叫工 圈 ( 2 - 3 ) 东北师范大学硕士学位论文 2 2 摄像机模型( 针孔模型) 从客观场景到数字图像的通用成像变换的流程图如下： 世界坐标系摄像机坐标系像平面坐标系图像坐标系 _ - - - - - - _ - - p ( x 狮y w ，劭 。叫 p ( x c ，y c ，z o 叫 p ( x ，y ) - - 叫 p ( u ，v ) 图2 - 4 摄像机成像坐标变换流程图 针孔摄像机模型是目前使用最广泛的摄像机模型。如图2 5 ： 免 图2 5 针孔摄像机模型 三维空间任意一点p 在图像上的成像位置可以用针孔模型近似表示，即光心c 与p 的连线c i 与图像平面的交点为任意点p 在图像上的投影位置p ，这种关系也称为中心 射影或透视投影。 由比例关系有如下关系式： 、xl i b xc z , 1yi戌zc(2-5) 其中，( x ，y ) 为p 点的像平面坐标，阪y c ，z o 为空间点p 在摄像机坐标系下的坐标。 用齐次坐标与矩阵表示上述透视投影关系： 料匪 00 0 1 厂0 0 1 010l j x t k z c 1 从世界坐标系到图像坐标系的转换过程如下： 1 从世界坐标系到摄像机坐标系的变换，表示如下： x t k z 。 1 。 o a x 。 匕 z w 1 2 从摄像机坐标系到像平面坐标系的变换，表示如下： 9 ( 2 - 6 ) ( 2 7 ) 东北师范大学硕士学位论文 z：【i】。【歪 兰； 三】 3 从像平面坐标系到图像坐标系的变换， 【i】i 1 一 _ 0 雎o d j 1 0 了 口j 0o1 x c k z c 1 表示如下： ( 2 - 8 ) ( 2 9 ) 将上述三个步骤结合起来，就可得到以世界坐标系表示的p 点坐标与其投影点p 的像素坐标( u ，v ) 的关系： z 骨 1 石。口。 一 1 0 了 d j 001 勉0 h 。 o 必 0 01 上式中，b 一 rt 1 l0 t 1i lj 0 000 硝 ， ll 。t1 1 i l j x 。 匕 z w 1 工0 l i o o 必 00 1 一e p 2 x 。 匕 z ， 1 x 。 l z 。 1 一p x 。 匕 z 。 1 ( 2 - 1 0 ) ，称为摄像机的内部参数，只与摄像机内部结构 有关，由摄像机有效焦距，、c c d 像元在x 、y 方向的单位长度( d i ，d y ) 和图像中心坐标 ( 1 l o ，v 。) 共同决定。b 。 o r 称为摄像机的外部参数，由摄像机相对于世界坐标系 的方位决定。p 就是摄像机的成像模型投影矩阵，它是一个3 x 4 的矩阵。 1 0 东北师范大学硕士学位论文 2 3 摄像机标定方法 摄像机的标定方法大致可分为三种：传统标定方法、基于主动视觉的标定方法和自 标定方法。传统标定方法的特点是需要使用精密加工的定标块，通过建立定标块上三维 坐标已知的点与其图像点间的对应，来计算摄像机的内外参数，算法比较复杂，但是精 度较高【蚺1 2 1 。 传统摄像机标定方法的优点是可以使用于任意的摄像机模型，标定精度高。缺点是 标定过程复杂，需要事先知道高精度的结构信息。而在实际应用中，很多情况下是无法 使用参照物的，所以这种方法主要在实验室内进行摄像机标定，其中比较常用的传统标 定方法有直接线性变换( d l t 变换) 和张正友标定两种。下面简要的介绍一下两种方法 的基本原理。 2 3 1 直接线性变换( d l t 变换) 定标基本原理 a b d e l - a z i z 和k a r a r 8 于7 0 年代初提出了直接线性变换的摄像机标定方法，他们从 摄影测量学的角度深入研究了环境物体和所采集图像之间的关系，建立了摄像机成像几 何的线性模型，通过求解线性方程就可以求得摄像机参数1 1 3 l 。 骨 x w 匕 z w 1 ( 2 - 1 1 ) 式( 2 1 1 ) 中p 为3 x 4 矩阵，s 为未知尺度因子。 根据n 个像点和物点的成像几何关系，在齐次坐标系下的透视投影矩阵建立方程， n 个空间点可以得到含有2 n 个方程的方程组： a l = 0 ( 2 - 1 2 ) 其中a 为2 n x1 2 的矩阵，l 为透视投影矩阵元素组成的向量【p l l ，p 1 2 ，p 1 3 ，p 1 4 p 2 l p 笼，p 2 3 ，p 2 4 ，p 3 1 ，p 3 2 ，p 3 3 ，p 如1 。摄像机标定的任务就转变为寻找合适l ，使得：a u 为最 小。一般由最小二乘法计算出投影矩阵。只需要计算线性方程就可以求得摄像机参数， 是直接线性变换方法的优点，但是它也带来了一个问题就是没有考虑摄像机过程中的非 线性畸变，影响精度。 2 3 2 平面模板两步法( 张正友) 基本原理 1 9 9 8 年，张正友提出了平面模板两步法。首先利用线性和非线性方法求取内外参数 1 1 东北师范大学硕士学位论文 的初值，然后再解非线性最小化方程，来对内外参数求解1 1 4 j 。这种方法不需要定标块， 只需要一个标有方格或棋盘的平面模板，减小了对实验条件的限制，使摄像机标定更容 易实现，目前被广泛使用。但是由于该方法也未考虑切向畸变，故对于切向畸变较大的 场合也不适用。 该方法假定模板平面在世界坐标系z = 0 的平面上，在图像平面中像的坐标为p j ： z 骨毗 吒b x y 0 1州，团 其中，k 为摄像机内部参数矩阵，【) ( y 1 】t 为模板平面上点的齐次坐标，【吼1 】t 为模 板平面上的点投影到图像平面上对应点的齐次坐标， r l ，r 2 ，r 3 和t 分别为摄像机坐标系 投影到图像坐标系的旋转矩阵和平移向量。定义单应矩阵h = k r 1 ，1 2 ，q ，设m = 【) ( y 1 】t ， m - u , v , 1 t ，( 2 1 3 ) 式简化为： z 。i n h m ( 2 - 1 4 ) 令：h = 阻，k ，h 3 l - z g r , ，r 2 ，q 得： f e l bm l b0 根据旋转矩阵的性质，即。i i r l , l l z - i i r 2 l l 。1 每幅图像可以获得以下两个对内参数矩 阵的约束： f 鬼r k 刁k h 屯k 寸k 。k 1 乒k 一蠢i (2-16) 由于摄像机有5 个未知的内参数，所以当所摄取的图像数大于等于3 时，就可以线 性唯一求解出k ，具体求解方法如下【1 6 11 1 7 l ： 1 、由n 幅图像得到线性方程a m 一0 ，采用奇异值分解方法求解出。 2 、由- k r k ，根据c h o l e s k y 分解求解内部参数矩阵k 。 3 、由单应矩阵h 求解外部参数。 4 、采用牛顿迭代法对内、外部参数进行非线性优化。 1 2 $ d q m 如 乩 4 k k 1 一a 1 一a i h 巳 东北师范大学硕士学位论文 2 4 本章小结 本章主要介绍了计算机视觉坐标系的定义、以针孔模型为例的摄像机标定技术基本 原理以及常用的传统标定方法。 1 3 东北师范大学硕士学位论文 第三章立体匹配算法 立体匹配技术是计算机视觉领域中一个关键的研究分支。立体匹配的目的是寻找同 一景物在不同成像面上的对应关系。许多的计算机视觉问题，如运动分析、物体识别等 都是在解决好立体匹配的前提下进行的，因此，好的立体匹配算法对于理论的深化和工 程应用都具有十分重要的意义。 对于任何一种立体匹配方法，都需要解决以下三个问题：( 1 ) 选择正确的匹配特性； ( 2 ) 寻找特征间的本质属性；( 3 ) 建立能正确匹配所选特征点的稳定算法【1 8 j 。立体匹配的 研究工作都是围绕着这三方面进行的，并且已经提出了大量各具特色的匹配方法。但是 由于立体匹配涉及的问题太多，譬如：同一景物在不同视点下的图像会有很大不同、场 景中的光照条件、景物物理特性、噪声干扰等，至今仍未得到很好的解决。尤其是在复 杂场景中，如何提高算法的去歧义匹配和抗干扰能力，降低实现的复杂程度和计算量， 都需要进行更深入的探索和研究。 从真实环境中获取的图像，往往受到各种噪声的干扰，再加之不同摄像机间存在亮 度差异，如果直接进行立体匹配，很难保证匹配的精度，更加无法得到高质量的视差图， 所以在匹配之前需对获取的图像进行预处理。 3 1 图像预处理 任何一幅未经处理的图像，都会由于多种因素的影响，存在一定程度的噪声干扰， 噪声使得图像质量恶化，淹没了图像原有的特征，给进一步的分析带来困难，这就需要 图像预处理来改善图像的质量，为下一节的立体匹配做好准备。 图像预处理的主要目的是消除图像中无关的信息、恢复有用的真实信息、增强有关 信息的可检测性和最大限度地简化数据，从而增加特征提取、图像分割、匹配和识别的 可靠性。预处理过程一般有数字化、几何变换、归一化、平滑、复原和增强等步骤。本 文采用了中值滤波来去噪声，直方图均衡化来除去亮度差异，拉普拉斯算子来对图像进 行锐化。下面就三个步骤做一下简要的介绍。 3 1 1 中值滤波 中值滤波是一种非线性的信号处理方法，与其对应的中值滤波器当然也是一种非线 性的滤波器。中值滤波器由j w j u k e y 于1 9 7 1 年提出中值滤波在一定条件下可以克服 1 4 东北师范大学硕士学位论文 线性滤波器如最小均方滤波和均值滤波等带来的图像细节模糊，而且对滤除脉冲干扰及 图像扫描噪声最为有效【1 9 1 2 0 1 。 设一个一维序列，取该窗口长度为m ，对一维序列 ，尼， ， 进行中值滤波，就 是从序列中相继抽取m 个数m , i - 1 。 t i + l ，瓜，其中j f i 为窗口中心点值， v = ( m - 1 ) 2 。再将这m 个点值按其数值大小排序，取中间的那个数作为滤波输出，用数 学表达式如下： y i = m e d f i v ，t i - 1 。j f i 。i + 1 ，加其中i e z ，v - - - ( m - 1 ) 2 。( 3 - 1 ) 二维中值滤波可表示为下式： y i = m e d ( 3 - 2 ) 二维中值滤波的窗口形状和尺寸对滤波影响很大，往往需要根据不同的情况选择。 窗口尺寸一般先从3 开始，再取5 ，逐点增大。 中值滤波的性质【刎： ( 1 ) 非线性， ( 2 ) 对尖峰性干扰效果好 ( 3 ) 对噪声延续距离小于w 2 的噪声抑制效果好 本文中选用的是3 x 3 的窗口进行中值滤波。 3 1 2 直方图均衡化 直方图均衡化的基本思想是把原始图像的直方图变换为均匀分布的形式，这样就增 加了象素灰度值的动态范围，从而达到增强图像整体对比度的效果【2 1 1 2 2