（计算机应用技术专业论文）数码相机双目立体视觉的三维重建.pdf

， a ， i i k 鲞 、 3dr e c o n s t r u c t i o no f d i g i t a lc a m e r ab i n o c u l a rs t e r e ov i s i o n w r e ic h u n m i a o b e ( l a n z h o uu n i v e r s i t yo f t e c h n o l o g y ) 2 0 0 7 at h e s i ss u b m i t t e di np a r t i a ls a t i s f a c t i o no ft h e r e q u i r e m e n t sf o rt h ed e g r e eo f m a s t e ro f e n g i n e e r i n g l n c o m p u t e ra p p l i c a t i o nt e c h n o l o g y i nt h e g r a d u a t es c h o o l o f l a n z h o uu n i v e r s i t yo ft e c h n o l o g y s u p e r v i s o r a s s o c i a t ep r o f e s s o rz h a o f u - q i n g m a y ，2 0 11 30洲7，58眦8iiiily 一 一 j 奢 ， k ，五 龟 兰州理工大学学位论文原创性声明和使 原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独 研究成果。除了文中特别加以标注引用的内容外，本论文不 集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均 已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名：兹懈 f u ，v ，- ” 日期舢l1 年夕月“日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权兰州理工大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同 时授权中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据 库，并通过网络向社会公众提供信息服务。 作者签名：缝龟南百 刷噬名：勃前 ( o 7r l 1 日期：d 。l1 年夕月移乡日 日期：，年钥扩e l j ， “ 么 2 3 摄像机标定方法1 2 2 。3 1t s a i 两步法1 2 2 3 2 基于平面棋盘格的摄像机标定1 4 2 4 摄像机标定结果1 5 2 5 本章小结1 6 第3 章棋盘格角点检测1 7 3 1 棋盘格角点图像特点与检测思想1 7 3 1 。l 棋盘格角点处图像特点1 7 3 1 2 角点检测思想1 8 3 2 棋盘格角点检测算法1 8 3 2 1 角点检测方法1 8 3 2 2 检测点列( 行) 分类算法及其收敛性分析2 0 3 2 3 漏点补测方法2 3 3 3 角点检测结果2 4 3 3 1 算法提取结果检验2 4 3 3 2 与h a r r i s 角点提取算法比较2 5 3 3 3 漏点的补充提取2 7 ， ， - ， _ ， - ， 1 k 、 数码相机双目立体视觉的= 维匹建 3 4 本章小结2 8 第4 章立体匹配与基本矩阵估计2 9 4 1 极线几何2 9 4 2 立体匹配约束准则3 0 4 3 点特征提取及匹配3 0 4 3 1h a r r i s 角点检测与匹配方法3 l 4 3 2s i f t 算法3 3 4 4 基本矩阵求解一3 5 4 5 摄相机外部参数3 6 4 6 本章小结3 7 第5 章三维信息的获取与重建3 8 5 1 三维空间点的获取3 8 5 2 三维重建系统3 9 5 3 三维重建实验4 0 5 3 1 图像获取4 0 5 3 2 特征匹配4 0 5 3 3 三维重建4 l 5 4 本章小结4 2 总结与展望4 3 研究总结4 3 未来工作展望4 3 参考文献4 5 蓟【 射4 8 附录a攻读学位期间所发表的学术论文4 9 i i o ， 一 ， 、 ， 、 硕十学何论文 i, i ii i i l = i ii 舅舅皇曼量曼! 曼皇曼曼曼曼曼曼曼曼曼笪苎曼曼曼曼曼! 曼曼曼曼曼蔓曼曼蔓曼曼曼皇曼皇曼曼曼曼蔓曼曼曼鼍曼曼曼曼曼曼 摘要 双目立体视觉通过模拟人类视觉机理可以获取图像的深度信息最终实现物 体的三维重建，是计算机视觉中一个重要的研究方向。面对数码相机拥有率不断 提高的今天，普通用户如何利用数码相机获取的二维景物信息，实现景物信息的 三维重建是一个亟待解决的问题。本文以双目立体视觉理论为基础，借助同常生 活中的普通数码相机，设计完成了一个基于双目立体视觉的三维重建系统，并对 三维重建系统中的摄像机标定，立体匹配进行了研究，主要完成了一下工作： 1 、对摄像机标定的理论和方法进行了研究，制作了平面棋盘格标定模板， 并针对标定过程中的棋盘格角点检测算法进行了改进，最后对数码相机进行了标 定，获取了摄像机内参数。 2 、研究了基于特征的立体匹配方法，对基于h a r r i s 和s i f t 的特征检测进行 了介绍，最后根据匹配结果获取基本矩阵，利用基本矩阵以及内参数求取了外参 数。 3 、根据现有条件构建了三维重建系统，利用已经获得的摄像机内外参数和 立体匹配结果，根据立体视觉原理实现了对特征点的三维坐标计算，最后利用 o p e n g l 将这些点显示出来，实现了物体的三维重建。 关键词：计算机视觉；摄像机标定；立体匹配；角点检测；三维重建 j t p ， 蕾 ， l 数码相机双目+ 进体视觉的维讴建 a b s t r a c t b i n o c u l a rs t e r e ov i s i o nr e a l i z e st h e3 dr e c o n s t r u c t i o no fo b j e c t sb ys i m u l a t i n g h u m a nv i s i o nm e c h a n i s mt og e tt h ed e e pi n f o r m a t i o no fi m a g e ，w h i c hi sa s i g n i f i c a n t r e s e a r c ht o p i ci nm a c h i n ev i s i o n n o w a d a y s ，w i t ht h ec o n s t a n t l ys u r g eo fd i g i t a l c a m e r a ，i th a sb e c o m eab u r n i n gp r o b l e mf o rc o m m o nu s e r st oc a p t u r e2 ds c e n e r yb y d i g i t a lc a m e r aa n dr e a l i z e t h e3 dr e c o n s t r u c t i o no ft h e s c e n e r y t h i st h e s i s a c c o m p l i s h e dab i n o c u l a rs t e r e ov i s i o nb a s e d3 dr e c o n s t r u c t i o ns y s t e mw i t ht h e f o u n d a t i o no fb i n o c u l a rs t e r e ov i s i o nt h e o r y u s i n gc o m m o nd i g i t a lc a m e r aa n d l e a r n e dt h ec a m e r ac a l i b r a t i o na sw e l la st h es t e r e om a t c h i n gi n3 dr e c o n s t r u c t i o n t h em a i nw o r ki ss h o w na sf o l l o w s ： 1 t h e o r i e sa n d a l g o r i t h m s o fc a m e r ac a l i b r a t i o nw e r es t u d i e da n d p l a n a r c h e c k e r b o a r dc a l i b r a t i o nt e m p l a t ew a sd e s i g n x - c o r n e rd e t e c t i o na l g o r i t h mi n t h ec a l i b r a t i o np r o c e s sw a sm o d i f i e d f i n a l l y ，d i g i t a lc a m e r aw a sc a l i b r a t e da n d i n t e r n a lp a r a m e t e r sw e r eo b t a i n e d 2 s t e r e om a t c h i n ga l g o r i t h mw a ss t u d i e d h a r r i sb a s e da n ds i f tb a s e df e a t u r e d e t e c t i o na lg o r i t h m sw e r ec o m p a r e d f i n a l l y ，f u n d a m e n t a lm a t r i x e sw e r eg o t a c c o r d i n g t o m a t c h i n gr e s u l ta n de x t e r n a lp a r a m e t e r sw e r ec a l c u l a t e du s i n g f u n d a m e n t a lm a t r i x e sa n di n t e r n a lp a r a m e t e r s 3 3dr e c o n s t r u c t i o ns y s t e mw a sb u i l tb yc u r r e n tc o n d i t i o n s 3dc o o r d i n a t e so f f e a t u r ep o i n t sw e r ec a l c u l a t e dw i t hs t e r e ov i s i o np r i n c i p l eu s i n gt h ei n t e r n a la n d e x t e r n a lp a r a m e t e r so ft h ec a m e r aa sw e l la st h es t e r e o m a t c h i n gr e s u l t s e v e n t u a l l y ，t h e s e c o o r d i n a t e sw e r es h o w nw i t h o p e n g l a n dt h e3 d r e c o n s t r u c t i o nw a sr e a l i z e d k e yw o r d s ：c o m p u t e rv i s i o n ，c a m e r ac a l i b r a t i o n ，s t e r e om a t c h i n g ，c o r n e r d e t e c t i o n 3dr e c o n s t r u c t i o n i l r 图3 4 粗提取结果2 5 图3 5 检测结果对比( 左) 所提算法( 右) h a r r i s 算法2 6 图3 6h a r r i s 算法检测结果2 6 图3 7 漏点示意图2 7 图3 8 漏点补充示意图2 8 图4 1 双目立体视觉中的几何关系一2 9 图4 2d o g 尺度空间局部极值检测3 3 图4 3 由关键点领域梯度信息生成特征向量3 5 图5 1 三维重建系统流程图一3 9 图5 2 立体像对图4 0 图5 3 粗匹配结果图一4 0 图5 4 剔除误匹配结果图4 l 图5 5 墨水瓶盒三维重建点云4 l l i l ， i v f 硕十学何论文 1 1 引言 第1 章绪论 视觉是一个古老的课题，同时又是人类观察世界，认识世界的重要功能和手 段。伴随着电子技术，信息技术，生物技术等相关技术的飞速发展，人们开始探 索如何借助计算机模拟人的视觉机理来获取和处理信息。计算机视觉就是使用计 算机及相关设备，对生物视觉的一种模拟( 如图1 1 所示) ，它的主要任务是通 过对采集的图片或视频进行处理以获得相应场景的三维信息，就像人类和许多其 他类生物每天所做的那样。双目立体视觉是计算机视觉的一种重要形式，它基于 视差原理利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对 应点间的位置偏差，来获取物体的三维几何信息。利用双目立体视觉可以实现对 物体的三维重建，并可以进一步的获取物体的空间信息，在航空航天，测绘，虚 拟现实，工业检测，医学诊断，军事应用等方面有着广泛的应用，是目前研究的 一个热点。 景物 左眼 物点 ? 。 右眼 图1 1 双目立体视觉原理示意图 1 2 计算机视觉的发展 计算机视觉是通过模拟生物的视觉机理借助当今电子技术以及计算机技术 来探索通过二维信息获取三维信息的学科。经过多年的研究与发展，计算机视觉 己经发展起一套独立的计算理论与算法n3 。计算机视觉的萌芽可以追溯到2 0 世纪 5 0 年代的统计模式识别，当时的主要工作集中在二维图像分析、识别和理解上。 到了6 0 年代，美国的m i t 的r o b e r t s 心1 对积木进行了三维景物分析，把过去简单的 数码相机双目立体视觉的维重建 二位图像分析拓展到了复杂的三维景物，这标志着计算机视觉的诞生。到了7 0 年代中期，国际上许多知名学者参与到了计算机视觉的理论、算法、系统设计的 研究过程中来，计算机视觉迅速发展了起来。在1 9 7 7 年，计算视觉理论在m a r r 的研究下被创立。m a r r 首次将图像处理、心理物理学、神经生理学和临床精神病 学的研究成果从信息处理的角度进行概括，创立了视觉计算理论框架1 。视觉计 算理论对立体视觉的进一步发展产生巨大的推动作用，逐渐形成了从开始的图像 获取到最终的景物三维表面重建的完整体系。m a r r 从三个层f 纠次对视觉系统进 行研究。这三个层次分别为：计算理论层，表达与算法层和硬件实现层。这三个 层次的含义如表1 1 所示： 表1 1 视觉系统研究的三个层次的含义 层次含义以及要解决的问题 计算理论 什么是计算的目的，为什么要这样算 表达和算法如何实现计算理论，输入输出表达是什么，用什么算法实现表达见的转换 硬件实现如何在硬件上实现表达和算法，计算结构的具体细节是什么 在m a r r 的计算理论框架中，将系统分为自上而下的三个阶段，即视觉信息从 最初的原始数据( 二维图像数据) 到最终的对三维环境的表达经历了三个阶段，如 图1 2 所示： 要素图2 5 维图 图1 2m a r t 视觉框架的三个阶段 早期视觉处理阶段，构成“要素图 或“基元图”，基元图由基本几何元素 和特征组成。第二阶段是中期视觉处理阶段，主要工作是对物体进行2 5 维描述， 对物体局部的三维信息进行描述。此时在以观察者为中心坐标系下对物体进行重 建。由于这时候的重建没有在一个固定的坐标系下，所以称之为2 5 维。第三阶 段的后期处理阶段就是对2 5 维描述的信息进行进一步处理，完整的描述物体的 三维信息，要求必须在某一固定坐标系中。 m a r r 视觉理论在2 0 世纪8 0 年代成为了计算机视觉研究中一个重要的理论框 架，对计算机视觉得发展产生了巨大的推动作用。到了8 0 年代中后期，随着机器 人技术、人工智能，模式识别的等技术研究的不断深入，计算机视觉与之密切结 合，空间几何方法以及物理知识也被用到计算机视觉研究中来，这个阶段引入了 2 j 一 硕十学何论文 主动视觉1 的研究方法。在这个过程中计算机视觉技术的研究也在向着实用化方 向发展。到了9 0 年代以来，计算机视觉的研究取得了很大的成果，在许多方向上 也趋于成熟，在摄像机标定，立体匹配，以及多摄像机立体视觉和实时立体视觉 等方面都取得了很大的成果。 1 3 双目立体视觉研究现状 双目立体视觉是计算机视觉的一个重要分支，是对人类双眼视觉的一个模 拟。8 0 年代美国麻省理工学院人工智能实验室的m a r r 提出了一种视觉计算理论 并应用在双目匹配上，使两张有视差的平面图产生在深度的立体图形，奠定了双 目立体视觉发展理论基础。国内外对于双目立体视觉的研究主要从摄像机标定和 特征匹配这两个方面进行。 ( 1 ) 摄像机标定 摄像机标定就是通过试验的方法来获取摄像机内部参数的过程，是从二维图 像获取三维欧氏空间信息必不可少的一步。摄像机标定过程中采用的摄像机模型 有两种，包括线性模型和非线性模型。线性模型没有考虑到镜头畸变产生的影 响，因此计算的时间复杂度较低，相反非线性模型充分考虑了镜头的径向畸变和 切向畸变，计算量相比线性模型而言有所增加。传统的摄像机标定方法需要高精 度的标定物作为空间参照物，通过建立物点与像点之间的摄像机参数约束关系， 然后通过优化算法来求取摄像机内部参数，利用传统标定法获取的标定结果精度 比较高。1 9 8 6 年，r y t s a i 提出了一种基于径向约束的两步标定法，第一步利 用最小二乘法求解超定线性方程，得到外部参数，第二步求解内部参数，这种方 法计算量适中，精度较高。1 9 9 9 年张正友拍1 提出一种利用平面模板的标定方法， 该方法只需从不同角度对平面模板拍摄几幅图像，通过每幅图像的单应矩阵即可 计算出摄像机内参数，并可利用反投影法优化求精，由于该方法所需平面靶标制 作简单，因此得到了广泛应用。随着摄像机标定技术的不断发展，人们又提出了 基于主动视觉系统的摄像机标定方法7 1 ，通过准确控制摄像机的运动获取多幅 图像以此来实现摄像机的标定。该方法具有计算简单、鲁棒性好的特点，不需要 高精度的标定物，但必须知道摄像机在获取图像过程中的运动信息，当然这种方 法也有很多不足之处，例如运动平台搭建难度较高，价格昂贵等。裴明涛，贾云 得提出了一种基于主动视觉得摄像机标定方法口1 ，通过一次轴向运动和三组正交 运动就可标定出带畸变因子的摄像机参数，如果不存在畸变只需2 组正交运动即 可实现摄像机标定。庄春华，李振宇踊1 运用主动视觉原理和对极几何约束，推导 出包括摄像机内外参数并能评价标定结果好坏的目标函数，采用遗传算法求其最 小得到标定结果，该方法只需控制摄像机作1 次共面的平移运动，对硬件设备没有 数码相机双目立体视觉的二维。藿建 特殊要求。2 0 世纪9 0 年代初，人们又提出了摄像机自标定思想哺q ，该方法克服 了传统摄像机标定方法和基于主动视觉系统的摄像机标定方法的缺点，它不需要 标定物也不需要对摄像机运动作严格限制，使得在场景未知和摄像机任意运动的 一般情形下标定成为可能。考虑到实际应用中摄像机内参数会实时改变的情形， 人们进一步提出了可变内参数下摄像机自标定的概念。自标定方法主要利用了摄 像机参数自身存在的约束，其不足之处在于其鲁棒性较传统摄像机标定方法和基 于主动视觉系统的摄像机标定方法较低。在摄像机自标定研究方面，国际上有代 表性的研究组有：英国牛津大学的z i s s e r m a n 组，比利时的v a ng o o l 组，瑞典的 h e y d e n 组，法国的f a u g e r a s 组和t r i g g s 及s t u r m 组，美国1 1 1 i n o i s 大学的m ay i ， m i c r o s o f t 研究院的张正友，澳大利亚的h a r t l e y ，以色列的s h a s h u a 等。自标定 方法可以应用于度量精度要求不太高的场合。 ( 2 ) 特征匹配 特征匹配是基于抽象的几何特征( 如边缘轮廓、角点，几何基元的形状及参 数化的几何模型等) 等进行的匹配，其内容包含两个方面：特征提取和特征匹配。 特征检测中常用的特征有线特征，区域特征和点特征。著名的特征检测算法 有s u s a n 1 2 1 算法， c a n n y 1 】算法，h a r r i s h 算法，s i f t 算法。15 j 。h a r r i s 算法是 目前工程上应用较多的点特征检测算法，其检测结果分布均匀，通过内插方法可 以达到亚像素级检测精度。c a n n y 算法是边缘检测计算理论的创始人c a n n y 提出 来的，对于噪声有很好的鲁棒性。近几年，d a v i dg l o w e 提出了s i f t 检测算法， 在不同尺度下寻找稳定的特征点，对图像旋转，尺度缩放以及亮度变化等都保持 不变性。m i k o l a j c z y k 和s c h m id 针对不同的场景，对光照变化、图像几何变形、 分辨率差异、旋转，模糊和图像压缩等6 种情况，就多种最具代表性的描述子 进行了实验和性能比较，结果表明在以上各种情况下，s i f t 描述子的性能最 好【l5 1 。西北工业大学杨恒和王庆提出提出h a r r is d i f f e r e n c e 算法 14 1 ，首先以 多尺度的h a r r is 角点作为初始点，然后在其附近一定范围内搜索d o g 函数的局 部空间极值点作为特征点的位置和尺度信息，最后为每个特征点计算主方向。 h a r r is d i f f e r e n c e 具有比h a r r is - l a p l a c e 和f a s t h e s s i a n 更高的可重复率，并 且比d o g 算法具有更好的抗干扰能力。此外p e n gs h a o h u ，m k h a i r u l 等提出了 一种基于小波变换的利用图像局部变化的检测方法【l6 1 。在特征匹配方面，利用 特征点的点匹配受到人们的广泛关注，点匹配主要利用点所在区域图像的亮度信 息和梯度信息n ，首先为特征点的特征参数构造特征描述向量，最后利用相关 性测度进行特征匹配。目前基于s i f t 特征点的匹配方法是研究的热点。在匹配中 通常利用极线几何进行约束，而p r i t c h e t t 和z is s e r m a n 等提出了用单应矩阵取代 传统的灰度相似性和极线约束作为匹配的准则。此外还可以对线基元进行线匹 4 ， 硕十学何论文 配。在对含有大量直线或曲线特征的环境中，例如人工场景中的建筑物，利用直 线或曲线进行匹配具有极为重要的意义8 1 91 。l o u r a k is 等人n 州提出基于图像 平面射影不变量的直线匹配算法。s c h m id 和z is s e r m a n 利用点的极线约束关系和 灰度相关进行短基线直线匹配。 随着对双目立体视觉技术研究的进一步深入，国内外在双目立体视觉研究中 也取得了一些成果。 日本大阪大学利用双目立体视觉原理研制出了自适应双目视觉伺服系统，该 系统的不需要事先知道摄像机的运动情况和内部参数，也不需要知道目标的运动 状况。麻省理工学院利用双目立体视觉获取目标的深度信息，采用图像分割算法， 能够在高速环境下对视频图像中的目标位置进行检测。n i h o n 大学将双目视觉系 统用于人体身高的测量。美国勇气号和机遇号火星探月车利用双目立体视觉技术 实现了探测车的路径规划以及目标定位的功能。在国内张爱华，姚孝国等人利用 双目视觉原理对脉搏图像信息进行检测。哈尔滨工业大学机器人研究所利用双目 立体视觉开发了双臂作业型服务机器人，该系统使用两个c c d 摄像头组成双目系 统，对目标物体进行定位。两个c c d 摄像头平行安装在机器人头部，机器人头部 可做两自由度运动。上海航天局8 0 5 所研制的月球车攻关样机心们m r 一3 上利用双 目立体视觉原理进行路径规划，该系统包括图像获取立体匹配，三维重建，路径 规划等模块。北京航空航天大学机器人研究所针对外科手术中导航光学定位仪进 行了双目立体视觉简化系统的研究。 随着光学、电子学以及计算机技术的发展，双目立体视觉的研究将不断向前， 在应用中也将越来越广。目前在国外，双目体视技术已广泛应用于生产生活中， 而我国正处于初始阶段，尚需广大科技工作者共同努力，为其发展做出贡献。在 计算机视觉不断的发展的同时也遇到了很多新的挑战。由于计算机视觉所解决的 问题属于逆向问题，图像获取时容易受到各种外界环境的影响，例如光照，物体 形状，表面材质、颜色以及图像采集设备性能好坏等。因此由图像灰度信息反向 求解摄像机系统的参数，经常是非线性的，对于噪声的影响极为敏感，获取的结 果不稳定。从这个层面来讲，计算机视觉自身就存在一些问题，因此需要更进一 步的探索新方法，采用新技术，来解觉计算机视觉中遇到的问题。 1 4 选题意义 视觉是人类观察和认识世界的重要手段。据统计，人类从外部世界获得的信 息约有8 0 是由视觉获得的，然而现实世界是三维的，而我们所触及的几乎所有 介质，印刷的、照片或影像都是二维的。三维世界的信息在转换成为二维时会将 大量的信息丢失，对于我们很好的了解和探索外界将产生很大的影响。特别在一 5 数码相机舣日立体视觉的_ 二维厦建 些人类无法直接观测的环境中，如果能获取物体的三维信息，将有助于我们更快 的对其进行发现，研究。随着信号处理技术和计算机技术的发展，人们对信息的 获取已经从传统的二维平面图像，转向了三维立体信息，并在进一步考虑如何通 过三维模型获取空间信息。人们开始探索如何通过计算机以及相关设备来获取可 观的三维信息，三维重建正是在此情况下而提出的。在三维重建中，双目立体视 觉是一个重要方法。美国m i t 的r o b e r t 完成的三维景物分析工作，把过去的二维 图象分析推广到了三维景物。特别是m a r r 在7 0 年代末创立的视觉计算理论对立体 视觉的发展产生了巨大影响。经过多年的研究，双目立体视觉在机器人视觉、空 间测量、智能控制、医学诊断及工业检测中的应用越来越广，所以对双目立体视 觉的研究具有十分重要的意义。本课题的出发点就是针对普通用户，研究如何利 用手中数码相机拍摄的景物进行三维重建。 1 5 论文的主要研究工作 ( 1 ) 搭建三维重建系统。研究了双目立体视觉方法，在分析双目立体视觉 关键技术后，利用普通数码相机以及简单的设备构建了三维重建系统。 ( 2 ) 摄像机标定。摄像机标定过程中，分析了现有摄像机标定方法，对摄 像机标定过程中比较关键的角点检测进行了仔细研究，改进了棋盘格角点检测算 法，提高了棋盘格角点检测的自动化程度以及检测精度。最后对数码相机进行了 标定，获取了内参数。 ( 3 ) 立体匹配。对基于特征的立体匹配进行了研究。分析对比了基于h a r r i s 方法和基于s i f t 方法的特征匹配，选取了基于s i f t 的匹配方法对拍摄的两张 图像进行了特征点提取以及特征匹配。 ( 4 ) 三维重建。利用特征点匹配结果，求取反应两幅图像间关系的基本矩 阵。利用基本矩阵以及极线几何约束对获取的像对进行进一步的特征匹配，同时 利用匹配点求取两幅图像拍摄时摄像机的运动关系，最后用三角法计算出物体表 面特征点的三维坐标并实现可重建。 1 6 论文的组织结构与安排 本论文的具体组织结构如下： 第l 章、绪论。首先对计算机视觉理论的发展史进行了简单的介绍，其中重 点介绍了m a r r 的视觉理论。然后对双目立体视觉中关键的两份部分：摄像机标定 和特征匹配进行了介绍，并对其目前的国内外发展状况进行了讨论并介绍了目前 国内外研究的最新成果。最后介绍了选题意义和本论文的安排。 第2 章、摄像机标定。本章首先对摄像机标定进行了概述，包括摄像机标定 6 硕十学位论文 过程中几个常用的坐标系统，以及摄像机成像模型。重点介绍了基于平面模板的 张氏摄像机标定方法，对其求解方法进行了说明。最后利用m a t l a b 标定工具箱对 相机进行了标定。 第3 章、棋盘格角点检测。针对棋盘格角点检测这个课题行了深入研究，分 析了目前棋盘格角点检测算法中存在的问题，提出了一种自动化的棋盘格角点检 测算法，并进行了试验验证。 第4 章、特征匹配与基本矩阵估计。本章对立体匹配进行了简单介绍，给出 了立体匹配的约束准则。重点介绍了特征匹配，对h a r r i s 算法和s i f t 算法进行了 重点介绍。最后介绍了基本矩阵的估计方法以及摄像机外参数的计算方法并给出 了实验结果。 、 第5 章、三维信息的获取与重建。本章介绍了三角法测量原理，根据实际条 件搭建了三维重建实验系统，并进行了三维重建实验。 最后对于本论文所做的研究工作进行了总结，并展望了今后可改进，扩展的 功能以及以后的研究方向。 7 数码相机双目立体视觉的二维藿建 第2 章摄像机标定方法 双目立体视觉中摄像机标定是必不可少的环节，其目的就是要通过实验来获 取摄像机的内部参数。通过相应的摄像机模型建立物点与像点之间的约束关系， 然后通过这些约束关系即可获取摄像机的内部参数。摄像机模型包括线性模型和 非线性模型。当对摄像机标定精度要求较高时，由于镜头畸变的存在，摄像机的 成像几何关系不能再用线性模型来描述，而要用非线性模型。目前摄像机标定的 方法概括起来可以分为以下三种：第一种为传统摄像机标定方法，这种标定方法 标定结果精度高，但需要结构已知的高精度实验器材，例如标定过程中的3 d 靶 标，这些器材制作比较困难，从而影响了其使用范围。1 9 9 9 年微软的张正友提出 了一种基于2 d 靶标的摄像机标定方法，简化了靶标的制作，该方法得到了广泛 的应用。第二种方法为基于主动视觉的摄像机标定方法。基于主动视觉的摄像机 标定方法主要是通过精确控制摄像机的运动来获取多张图像，利用图像信息对摄 像机进行标定，此类法不用制作标定靶标，也能获得精度较高的标定结果，但是 需要高精度的运动控制系统，因此其使用具有一定的局限性。第三种方法为摄像 机自标定方法。摄像机自标定方法既不需要标定靶标，也不需要精准的运动控制 平台，直接依靠多幅图像中对应点的关系进行摄像机标定。自标定方法是三种标 定方法中使用最灵活最方便的方法，但其的缺点是标定精度不高，在精度要求高 的视觉系统中不能有效的应用。摄像机标定结果将直接影响立体视觉系统的精 度，因此有极其重要的研究意义。本章对摄像机标定方法进行了介绍，最后考虑 到实验条件以及系统的精度要求，选用了张氏平面标定法对相机进行了标定并给 出了标定结果。 2 1 计算机视觉坐标系统 在计算机视觉系统中经常会涉及到图像中像点，物点以及摄像机位置之间关 系的描述。为此在计算机视觉研究中定义如下三种坐标系：图像坐标系，摄像机 坐标系，世界坐标系。 所谓图像坐标系指直接建立在图像上的直角坐标系，如图2 1 所示。甜、d 和 工、y 均为图像坐标系，区别在于两者的度量单位不同，前者以像素为单位，而 后者一般以毫米为单位。此外两者的坐标原点也有区别，“、d 图像坐标系的原 点0 n 在图像的左上角，而瓜y 图像坐标系的原点q 为摄像机光轴与图像的交 点。设( u 。、) 为d 1 在以像素为单位的图像坐标系中的坐标，在水平方向和垂直 8 硕十等位论文 i i , - - i i 皇曼曼皇曼量皇曼曼舅曼鼍鼍曼曼曼曼曼曼璺曼曼曼! 曼曼曼曼皇舅曼曼曼曼皇曼皇曼曼皇曼皇曼曼皇 ix r 可栅。 - ， 【d5 万仙。 h ldl = l j 伤 i 1 _ o 。 橱 ” 。专a u 。 j 0o1 r 甜 d l - l r ( 坳v 曲 x 1 r1】， ( 2 2 ) 图2 1 图像坐标系 摄像机坐标系指的是在摄像机所处位置建立的三维坐标系，其构成是将以距 离为单位的图像坐标系沿光轴平移到摄像机光心。处构成摄像机坐标系的x 轴和 y 轴，在将摄像机光轴作为摄像机坐标系的z 轴，摄像机光轴必然垂直与像平面， 此外称摄像机光心与光轴和像平面的交点之间的距离0 0 为摄像机的焦距。如图 2 2 所示，图中0 一x y z 三维直角坐标系即为摄像机坐标系。 由摄像机坐标系的概念可知，摄像机坐标系不是唯一的，有多少个摄像位置 就有多少个摄像机坐标系。为了方便描述不同摄像机坐标系间的位置关系，以及 对周围环境物体有一个统一的位置描述，可以选择一个坐标系定义为基准坐标 系，这个坐标系即为世界坐标系。世界坐标系具有唯一性。在图2 2 中由xw ，匕， z 。组成了世界坐标系。 9 向量，则空间点p 的世界坐标( x 。，l ，z 。，1 ) r 与摄像机坐标( 工，y ，z ，1 ) r 存在如下关 系： il ：r 尺t i y w l 0 r1 z w l1 = m 2 x w l z w 1 ( 2 3 ) 其中，r 为3 3 正交单位矩阵，t 为三维平移向量，m 2 为4 4 投影矩阵。 2 2 摄像机成像模型 摄像机成像模型是摄像机( 数码相机) 在拍照时物点与像点之间约束关系的 数学描述。在对摄像机成像过程仔细研究后学者们提出了线性模型和非线性模 型，线性模型不考虑镜头的畸变，是一种理想模型。实际应用中镜头都是有畸变 存在的，而且这种畸变是透镜的固有特性，无法消除。非线性模型针对线性模型 1 0 平面中的点p ，由o p 与像平面相交得到。对于线性模型，由成像中的比列关系 可以得到如下转换关系： ix ：鱼 1y ：复 4 l z 式中( x ，y ) 和( 工，y ，z ) 分别为p 点的图像坐标和摄像机坐标系下的坐标。厂为 镜头焦距，式( 2 4 ) 用矩阵可表示为： s 阢k ll o 00o l i f 00 l 010l j 2 p ( 2 5 ) 其中，s 为一比例因子，p 为透视投影矩阵。由式( 2 4 ) 和( 2 5 ) 可得： 陵( ! ogr 皿一 1 0 舢o ll 矿ll 10 0l0 i 。 j lj 瓣鞠期一 式中口，= 厂拟为“轴上的尺度因子；a y = f d y 为d 轴上的尺度因子。m 是 投影矩阵。口，、口，、“。，v o 即为通过实验所要获取的摄像机内参数。 2 2 2 非线性模型 理想情况下像点的位置在物点与摄像机光心构成直线与像平面的交点处，但 现实中镜头都有无法避免的畸变现象存在，这将导致实际获取的像点与理想状况 下的像点位置存在一定的偏差。非线性模型对这种偏差进行了修正，因此能更真 实的反映成像关系。设空间物点p 在理想线性模型性下的图像坐标系为( x ，】，) ， 但实际获取的像点坐标为( x ，】，) ，非线性模型得主要目的就是给出( x ，】，) 和 ( x7 ，y ) 之间的关系，假设这两个坐标之间存在如下关系： q o 。一盯 。 一一坳枘 一 广，卜二-_tr，_一 m 倒 数码相机双日寺体视觉的二维嗄建 肛篓、q ( 2 7 ) ly = y7 + 盯， 。 式中仃，和t 7 ，是畸变修正量，其大小与点( x ，】，) 在像平面中所处的位置有关， 离光心越远畸变修正量越大。理论上摄像机镜头在径向和切向上都有畸变现象的 产生，但现实中试验结果表明切向畸变往往可以忽略，因此只考虑径向畸变，径 向畸变修正量可以用下面的公式计算： o盯，=：。(x，一-uo，)。(尼k。l，r：2+七k：2，r。4+y0 0 ； c2 8 ， i 盯y = ( 一 ) ( 尼i ，2 + 七2 ，4 + ) 式中( u o , d 。) 为精确的像主点坐标，而 ，2 = ( x 一材o ) 2 + ( 】，一u o ) 2 ( 2 9 ) 上式表明：x 方向和y 方向的畸变相对值( 盯，x ，盯，y ) ，与径向半径的平方 成正比。对一般的视觉系统，一阶径向畸变以足以描述非线性畸变，这时有： 卜。! 兰叫渺- 厂2 ， ( 2 1 0 ) l 仃y = ( y 一v o ) k l 厂2 线性模型参数口一口，、u 。，u o 与非线性畸变参数岛和屯一起构成了摄相机 非线性模型的内部参数。 2 3 摄像机标定方法 目前传统的摄像机标定方法得到了广泛的使用，传统的摄像机标定方法有： 直接线性变换方法( d l t 方法) ，t s a i 的两步法以及张正友提出的基于平面 棋盘格靶标的摄像机标定方法。本节主要对后两种方法进行介绍。 2 3 1t s a i 两步法 19 8 6 年t s a i 首次提出了两步法摄像机标定方法，这种方法标定精度比较高。 该方法在进行摄像机标定时分两步：第一步求解摄像机外部参数；第二步求解摄 像机内部参数。首先利用解析方法直接线性计算出部分参数，然后将这些参数作 为非线性优化的初值，对其余参数进行迭代优化求解，故称为两步法。在t s a i 的 方法中，c c d 阵列中感光元在水平方向和垂直方向上单位像素问的距离d 。，d ， 被认为是已知的，并且假设主点坐标位于图像的中心。 1 2 硕十学何论文 图2 3 带有透镜畸变的摄像机模型 在图2 3 中，设物点p 的世界坐标为( x 矿，岛，z ) ，摄像机坐标为( x 。，艺，z 。) q x y 是像平面坐标系。( x 。，y 。) 为理想像点，( 勤，y d ) 为实际像点。不考虑切向 畸变时，径向畸变不会影响0 1 和( x 。，y 。) 以及( 勤，y d ) 共线以及线段l 。平行于线段 厶的性质。两步法就是基于这样的约束提出来的。 第一步：求解旋转矩阵r ，平移向量t 的t ，t y 分量。 由r a c 条件可得下面等式： 墨：立：( u - u o ) d 。：刍垄笙垒鱼堡垒垒 ( 2 11 ) 匕y d( o - - o o ) d yx 矿+ 吩+ r 6 z + f j 整理可得： 防聊y 击，】，聊y 出，y 讲，一x 所x 西，一y 聊x 出】 r , t ， r l | tp tx | t 口 r 4 t ， r s | t 一， ( 2 1 2 ) 一ad 对于含有共面特征点的图像，确定n 个点的图像坐标，当n 5 对上式求解可 得： r l = f y ，呓= r 2 t _ ，t ：= t j t j ，呓= r 4 t ，= 吩f ， ( 2 1 3 ) 利用刷拘正交性可以计算出旋转矩阵欠，平移向量t 的，t ，t ，分量。 第二步求解有效焦距平移向量f 的t ：分量和透