（机械设计及理论专业论文）基于计算机视觉中双目立体匹配技术研究.pdf

江苏大学硕士学位论文 摘要 立体视觉技术是计算机视觉领域一个经典的研究课题，它以尽可 能逼真的模仿人类的双目视觉功能为目标。所谓双目立体视觉，是从 两个不同的角度来观察同一个景物，以获取在不同视角下的感知图 像，通过成像几何原理计算图像像素之间的位置偏差( 视差) ，进而 获取景物的三维信息。 作为立体视觉领域的热点，尤其是在排爆机器人确定危险目标， 无人车自动避障，人造卫星的目标识别等领域，该课题的研究可以解 决很多实质性问题。因此，对它进行进一步研究，将会非常有意义。 双目立体匹配技术的实现可分为图像获取、摄像机标定、特征提 取、立体匹配和三维重建几个部分。论文针对双目立体视觉的几个关 键技术进行了深入的研究。 ( 1 ) 在摄像机参数标定中，采用了一种介于传统标定方法和自 标定方法之间的方法张正友的基于平面标定模板的摄像机标定 方法( 张氏标定法) ，通过手工方法和h a r r i s 角点检测获取模板特征 点的图像坐标，进而通过实验和计算来获取摄像机的参数。 ( 2 ) 立体匹配时寻找一个同一目标点在两幅图像中的成像位置， 匹配特征的选取、匹配准则的确定、匹配算法的实现是立体匹配的三 个重要步骤。在基于特征的立体匹配方法中，本课题采用基于s i f t 算子的特征点提取和匹配算法进行编程，并且通过实验获得空间点数 据。提出了基于s i f t 算子的m s i f t 算子，进而进行实验验证，通过与 江苏大学硕士学位论文 原算子s i f t 的比较，得到了预期的结果，并通过m s i f t 算子下的程序 获取了匹配点的图像坐标。 ( 3 ) 根据立体视觉基本原理及三维坐标计算方法，完成了三维 坐标计算，将特征点的距离信息与激光传感器测距进行比较获得误 差，并对误差原因进行了分析，最后根据测量结构生成了轮廓深度图。 论文中应用m a t l a b ，c + + 进行基于实验算法的编程。 关键词：双目立体视觉；摄像机标定；s i f t 算子；特征提取；立体匹 配；三维重建 i i 江苏大学硕士学位论文 a b s t r a c t t h es t e r e ov i s i o nt e c h n i q u ei so n eo ft h eb a s i c a l l yc l a s s i c a li s s u e s ，i tc a nm o s t p o s s i b l yi m i t a t et h eh u m a n se y e s s oa so n eo ft h eh o t s p o t ，i tw i l lb em e a n i n g f u lt o m a k ed e e p e rr e s e a r c h s o m ek e yf a c t o r s ( s u c ha ss t e r e ov i s i o n ) a r ep r o f o u n d l ys t u d i e d t h es t e r e ov i s i o nt e c h n i q u em e n t i o n st h a ti to b s e r v e so b j e c t sf r o mt h et w od i f f e r e n t v i e w p o i n t s ，a n dt h e ng e t st h es p a t i a li n f o r m a t i o na n dt h ec o n t o u ri n f o r m a t i o nu n d e r t h eh e l po fs o m ei m a g i n gg e o m e t r yp r i n c i p l e sw h i c hc a ng e tar e s u l tb yc a l c u l a t i o n ， a n dt h e ng e tt h er e s u l to ft h es u b j e c t s3 di n f o r m a t i o n t h eb i n o c u l a rs t e r e o m a t c h i n gt e c h n o l o g yc a l lb ed i v i d e di n t o t h e i m a g e o b t a i n i n g ，c a m e r ac a l i b r a t i o n ，f e a t u r ee x t r a c t i o n ，s t e r e om a t c h i n g a n d3 d r e c o n s t r u c t i o n a n di nt h ep r o c e s so ft h ec a l i b r a t i o n ，as p e c i a lw a yc a l l e dz h a n g s c a l i b r a t i o nm e t h o dw h i c hi sb a s e do i lt h ep l a n ec a l i b r a t i o nt e m l a t ei su s e d ，a n di t r a n g e sf r o mt h et r a d i t i o n a lc a l i b r a t i o nw a y st ot h es e l f - c a l i b r a t i o nw a y s ，a n dt h e nt h e i m a g ec o o r d i n a t eo ft h es u b j e c t s f e a t u r e si so b t a i n e db yw a y so fh a n dw o r k i n g m e t h o da n dt h eh a r r i sc o m e rd e t e c t i n g ，a n dt h e nt h ec a m e r ap a r a m e t e r sc a nb e o b t a i n e db yt h ec a l c u l a t i o na n dt h ee x p e r i m e n t w h e nt h es t e r e om a t c h i n gi sw o r k i n g , i tf i r s tn e e d st of i n dt h er e s p e c t i v ep o s i t i o no ft h es a m es u b j e c to nt h et w oi m a g e s ，a n d t h e nf m dt h em a t c h i n gf e a t u r e s ，d e c i d et h em a t c h i n gp r i n c i p l ea n dt h ea l g o r i t h m i m p l e m e n t a t i o n ，w h i c ha r et h em o s ti m p o r t a n ts t e p so nt h es t e r e om a t c h i n g m e t h o d s a m o n gt h es t e r e om a t c h i n gm e t h o d sb a s e do nt h ef e a t u r e s ，t h es i f t f e a t u r e e x t r a c t i n ga n dt h em a t c h i n ga l g o r i t h ma r ea p p l i e d ，a n dt h e nt h em a t c h i n gp o i n t s c o o r d i n a t e sa r eo b t a i n e d a tl a s t ，t h e3 dc o o r d i n a t ec a nb eo b t a i n e da c c o r d i n gt ot h e b a s i cp r i n c i p l eo ft h es t e r e ov i s i o na n dt h ec o o r d i n a t ec a l c u l a t i o nm e t h o d s ，a n dt h e n c o m p a r et h ef e a t u r es p a t i a li n f o r m a t i o nr e s u l tw i t ht h er e s u l tf r o mt h el a s e rs e n s o r , t h e e r r o rw i l lb eo b t a i n e d ，t h e nt h ee r r o ra n a l y s i si st a k e n ，a n dt h ec o n t o u rd e p t hg r a p hi s o b t a i n e db yt h es p a t i a lp o i n tc o o r d i n a t e t h ep r o g r a mb a s e do ft h es i f tf e a t u r ee x t r a c t i n ga l g o r i t h mi sc o m p i l e du n d e rt h e c i r c u m s t a n c eo ft h em a f l a ba n dc + + i i i 江苏大学硕士学位论文 k e yw o r d s ：b i n o c u l a rs t e r e o ；t h ec a m e r ac a l i b r a t i o n ；s i f ta l g o r i t h m ；f e a t u r e e x t r a c t i n g ；s t e r e om a t c h i n g ；3 dr e c o n s t r u c t i o n i v 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部 内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口， 本学位论文属于在年解密后适用本授权书。 不保密函 学位论文作者签名： o - 切年月斗日 彩程 指导教师签名：蔫7 5 i 专晗 , 7 0 o - 年石月乒日 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已注明引用的内容以外，本论 文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：啦移 日期：山f 口年多月日 江苏大学硕士学位论文 1 1 计算机视觉技术介绍 1 1 1 研究背景 第一章绪论 现实的世界是三维的空间，人类通过两只眼睛去认识自然界物体的三维立体 信息。经过摄像机成像后，对于很多信息都进行了剔除，包括距离，空间物体的 被遮挡部分等诸多元素，变成了二维图像。信号处理理论与计算机出现后，人们 试图用计算机获取图像并将这个图像转化成数字信号，用计算机实现对视觉信息 处理的全过程，这样，便形成了一门新的学科计算机视觉。 计算机视觉中的一个很重要的分支，便是立体视觉，即从两个或者多个视点 去观察同一场景，获得在不同视角下的一组图像，然后通过不同图像中对应像素 间的视差，推断出场景中目标物体的空间几何形状和位置，这种方法就称为立体 视觉( s t e r e ov i s i o n ) ，它是计算机视觉中的核心内容。 目前，立体视觉的技术已经广泛的应用到了日常生活中，并且正在改变着生 活的质量及方式，如美国“探索者 登月卫星上的机器人视觉系统，数码相机中 的人脸捕捉，排爆机器人对危险物的识别，无人自动车的避障系统等，都将立体 视觉技术进行了有效的应用，并且已经影响了日常的生活方式。因此，对立体视 觉进行进一步研究，将会非常有意义。 1 1 2 国内外发展概况及研究现状和难点 可视信息的处理地位非常重要，尤其是在人类的智能活动中，它关系到人类 的思考方式，动机选择等。计算机视觉的目的就是为了让计算机能够处理可视信 息，以使其能够从中提取空间结构的信息。1 9 7 5 年，计算机视觉这个名词首先被 提出来，迅速形成了一个研究计算机视觉的热潮，接着出现了许多各种各样的模 型和理论【1 1 。8 0 年代，美国麻省理工学院人工智能实验室的m a r r 提出了一种视觉 计算理论，其核心是从图像中恢复物体的三维形状，该计算理论可以描述视觉过 程，所以其理论影响非常深远【2 】【3 】o m a r r 认为：视觉是一种复杂的信息处理过程。它的输入和输出非常明确，目 的性较强。他提出：人类视觉信息的处理过程需要有三个层次表达( 图1 1 ) 这 江苏大学硕士学位论文 三个层次分别为：要素图、2 5 维图，以及三维模型。而在这三个层次处理中，如 何获取2 5 维图，一直是人们研究的热点。 - - - - 图1 1 m a r t 的分层理论 在m a r t 的视觉计算理论的框架下，计算机视觉被应用到工业自动化、智能机 器人、摄影测量、医学诊断、自动车避障、排爆机器人、无人驾驶机等一些列领 域，目前已经在多个方向上获得良好的成果，为人类的生活和学习带来了巨大的 便利。 然而进入到九十年代后，计算机视觉研究的进展却缓慢起来，在各个领域都 没有突破性的进展。这个时候，人们开始对m a r t 的理论框架进行深入的思考，发 现其中存在着很多问题，这些问题制约着计算机视觉前进的步伐【4 】【5 1 。近年来，不 断有学者提出新的理论框架，策略等，如基于模型的视觉、定性视觉、面向任务 的视觉等。这些理论和思想都是通过强调场景和任务约束，通过一些先验知识等 手段，从而达到降低视觉处理的难度，促进视觉从研究走向应用。 计算机视觉还是计算机科学和人工智能的一个分支，该领域的重点以及难点 同样是通过计算机来模拟生物的视觉功能，以便使计算机具有与人类水平相当的 视觉能力，因此计算机视觉最重要的研究目标就是使计算机具有通过二维图像认 知三维环境信息的能力，即对人眼视觉系统的一些功能模仿。通过这些功能模仿， 不仅可以使机器能够感知三维环境中物体的几何信息，还包括其形状、位置、姿 态、运动以及其它参数信息，同时还可以对它们进行描述、存储、识别和理解。 例如目前使用的摄像机系统，只能对三维物体采集特征，最终以二维的形式保存、 记录下来，因此会丢掉很多信息诸如灰度、形状特征、位置特征等等。而计算机 立体视觉研究可以有效地解决部分问题，它是利用计算机技术和光学手段，从采 集到的一幅或者多幅图像中还原出被采集物体的立体形状、空间位置、三维信息 2 江苏大学硕士学位论文 等，进而获得三维空间数据值。 目前，国内该领域也有一定的研究成果，如哈工大采用异构双目活动视觉系 统实现全自主足球机器人导航【6 1 。该机器人的视觉采样系统是一个固定的摄像机 和一个水平可以旋转的摄像机，分别安装在机器人的顶部和中下部，可以同时监 视不同方位视点，以获取来自不同方向的信息数据。通过资源的分配以及协调机 制，可以使机器人的视野范围、测距精度及处理速度方面达到最佳匹配效果，对 于信息的筛选和定位有很大的帮助。双目协调技术可以使机器人同时捕捉多个目 标，通过第三方程序平台，可以对有效目标进行筛选，观测相同目标时通过数据 融合，也可以提高测量精度。在实际比赛中，即使其它传感器失效，在双目协调 的情况下仍然可以实现全自主足球机器人的导航，仍然可以进行比赛。 目前，计算机视觉系统还处在实验室研究阶段，但是，随着视觉理论和大规 模集成电路的发展，以及计算机计算能力的飞跃提高，我们相信，在不久的将来， 视觉技术会如现在的计算机技术一样，深入到我们生活中的每一个方面。 1 2 双目立体视觉技术 1 2 1 双目立体视觉概述 双目立体视觉就是从两个视点观察同一个场景，以获取在不同视点上的两幅 图像，通过影像匹配与三角测量原理计算同一场景在两幅图像上成像的偏差，以 此来获取景物的位置信息。如图1 2 。这一过程与人类视觉的立体感知过程是非常 相似，它可以模拟人类双眼处理景物的方式，简便可靠，在许多领域均有应用价 值，如三维测量学、虚拟现实、微操作系统的位姿检测与控制、机器人导航与航 测等 7 1 1 8 1 一个双目立体视觉系统通常应该包括以下几个部分：图像获取、图像预 处理、摄像机标定( 相对定向) 、立体匹配、三维内插和高度计算等几个部分。 3 江苏大学硕士学位论文 图1 - 2 双日立体图像获取系统 1 2 2 图像获取 双目立体视觉的图像获取是由不同位置的两台或者一台摄像机( c c d ) 经过 移动或者旋转拍摄同一幅场景，获取立体圈相对。 1 23 图像预处理 采集图像时，两台摄像机所处的方位不同。因此不同视角接收到的光强也不 同，又由于各摄像机的增益、电平不能保证完全一致，图像采集卡不同遥道之间 的噪音也不完全相同等等这些原因将导致在实际获得的立体图像对中相同场景 点的像素灰度值存在着差异。如果在立体匹配之前没有对这些差异进行消除，将 会对立体匹配的结果产生很不利的影响。因此，在进行立体匹配之前先要对图像 对进行预处理。图像预处理主要是对相机获取的图像进行图像增强、图像恢复、 噪声平滑滤波、几何校难等处理。 1 2 4 摄像机标定 摄像机标定是为了确定摄像机的位置、属性参数和建立成像模型，以便确定 空间坐标系中物理点同它在图像平面上像点之间的对应关系。摄像机标定方法可 分为两大类，第一类是直接估计摄像机位置、光轴方向、焦距等参数：第二类是通 过最小二乘拟合，确定二维空间点映射为二维图像点的变换矩阵。建立一个有效 江苏大学硕士学位论文 的摄像机模型，除了能够精确地恢复出空间景物的三维信息外，还有利于解决立 体匹配问题。 对于双目立体视觉而言，c c d 摄像机、数码相机是利用计算机技术对物理世 界进行重建前的基本测量工具，对它们的标定是实现立体视觉基本而关键的一步。 通常先采用单摄像机的标定方法，分别得到两个摄像机的内外参数，再通过同一 世界坐标系中的一组定标点来建立两个摄像机之间的位置关系。传统的摄像机标 定法利用至少1 7 个参数描述摄像机与三维物体空间的约束关系，计算量非常大。 目前常用的单摄像机标定方法主要有： 直接线性变换法。涉及的参数少，便于计算。 透视变换矩阵法。从透视变换的角度来建立摄像机的成像模型，无需初始值， 可进行实时计算。 相机标定的两步法。首先采用透视矩阵变换的方法求解线性系统的摄像机参 数，再以求得的参数为初始值，考虑畸变因素，利用最优化方法求得非线性解， 标定精度较高。 双平面标定法 在双摄像机标定中，需要精确的外部参数。由于结构配置很难准确，两个摄 像机的距离和视角受到限制，一般都需要至少6 个以上( 建议取1 0 个以上) 的已 知世界坐标点，才能得到比较满意的参数矩阵，所以实际测量过程不但复杂，而 且效果并不一定理想，大大地限制了其应用范围。此外双摄像机标定还需考虑镜 头的非线性校正、测量范围和精度的问题，目前户外的应用还很少。 1 2 5 立体匹配 立体匹配的目的是在图像对的左右图像上寻找到同名的点，并通过某种手段 计算出视差。在实现三维立体再现的过程中，立体像对的匹配时最复杂，也是最 重要的工作。按照匹配基元的划分，立体匹配可以大致分为以下几类： ( 1 ) 基于区域的相关匹配 基于区域匹配的方法是以基准图的待匹配点为中心创建一个窗口，用领域像 素的灰度值分布来表征该像素，然后在对准图中根据匹配准则约束寻找这样一个 像素，以其为中心创建同样的一个窗口，并用其邻域像素的灰度值分布来表征它， 然后依据适当的相似性测度，比较两个窗口的灰度分布的相似性，两者间的相似 5 江苏大学硕士学位论文 性必须满足一定的阂值条件，从而通过这一方式实现两幅图像的匹配，最终的匹 配结果不受特征检测精度的影响，可以获得很高的定位精度和密集的视差表面， 但是这种方法过分地依赖于图像灰度统计特性，使得匹配对景物结构、光照 反射和成像等都非常敏感，在空间景物表面缺乏足够纹理细节、成像失真较大( 如 基线长度过大) 的场合存在一定的困难，不能获得满意的结果；同时，匹配窗口 大小选择没有具体的标准，这使得无法对于计算量有一个确切的估计；该法的使 用对于图像的要求条件比较高。 ( 2 ) 特征匹配 基于图像特征的匹配不直接利用灰度值进行匹配，而是利用狄度信息抽象得 到的图像特征实现匹配因此它对图像的要求较低，对图像的光照条件和噪声影响 不敏感，具有对外界的变化不敏感、稳定性好、精度高、匹配速度快等优点，获 得了较广泛的应用。 但是这种方法同样也存在一些不足，特征在图像中的稀疏性决定特征匹配只 能得到稀疏的视差场，特征的提取和定位过程直接影响匹配结果精确度，改善办 法是将特征匹配的鲁棒性和基于灰度匹配的致密性充分结合，利用对高频噪音不 敏感的模型来提取和定位特征。 ( 3 ) 基于相位的匹配算法 基于相位的匹配算法是利用多尺度的空间频率分析方法，提取图像不同频段 的信息进行匹配，视差精度可到亚像素级，视差场密集。最常用的相位匹配方法 有相位相关法和相位差频率法。 由于相位本身反映的是信号的结构信息，因此，对图像的高频噪声有很好的 抑制作用。相位匹配适于并行处理，对几何畸变和辐射畸变有很好的抵抗能力， 能获得亚像素级精度的致密视差。但是，当局部结构存在的假设不成立时，相位 匹配算法因带通输出信号的幅度太低而失去有效性，也就是通常提到的相位奇点 问题。此外，相位匹配算法的收敛范围与带通滤波器的波长有关，通常要考虑相 位卷绕，随视差范围的增大，其精确性会有所下降。 1 2 6 三维内插介绍 要对空间点进行重建，必须获得两个方面的参数，一个是空间任一点在两个 图像中的对应坐标，另一个就是两台摄像机参数矩阵。这样就可以获得4 个线性 6 江苏大学硕士学位论文 方程，这4 个方程式可以该点在世界坐标中的参数，通过使用最小二乘法，可以 求解这4 个线性方程，继而获得该点的世界坐标。在实际重建中，通常采用外极 限约束法来实现这一目的。所谓极线，就是指空间点和两个摄像机的光心，这三 点组成的平面分别与两个成像平面产生交线，这个交线称为该空间点在这两个成 像平面中得极线。通过对两摄像机的内外参数的确定，利用两个成像平面上的极 线之间的约束关系建立起一个对应点之问的关系，再通过联立方程，即可以求出 图像点的世界坐标值。对于具体的目标，可以通过使用图像的全像素三维重建来 实现，但是这样计算量大且效果不明显，在实际使用中并不理想。 由于通过图像匹配，仅仅能获得比较稀疏的视差表面，因此需要寻求另一途 径来解决这个问题。选择使用内插的方法恢复出密集的视差表面，并将视差数据 转换为三维数据。 1 3 双目立体视觉系统的理想模型 图1 3 给出了一个理想的双目立体视觉模型。 图1 - 3 理想的双目立体视觉模型 图中，、l 分别表示不同视点下的图像平面，d 1 、0 2 分别为摄像机的光 心位置。通过以下公式可以推导出空间任一物点的距离公式： 7 江苏大学硕士学位论文 z ：l 五一而 ( 1 1 ) b 为摄像机光心之间的距离，也是基线长度；厂是摄像机焦距，在上面模型 中，两个摄像机的焦距相同；x a 、恐分别为空间某一物点在图像平面上形成像点 异、只沿扫描线方向的坐标，x a x 2 为视差。 通过上面的计算公式可以看出，距离计算的公式相对比较简单，但是要通过 某一途径寻找出空间任一物点在左右影像上的视差却比较困难。而对于双目立体 匹配来说，其核心问题就是要寻求某一途径来寻找同名点( c o r r e s p o n d e n c e p o i n t s ) ，并求出该同名点的视差。 1 4 论文主要工作 立体视觉技术研究范围广泛，应用领域也日益增多。本文的研究重点是在标 定部分跟特征匹配部分，其中在标定部分中，通过实验结果的对比，探索出一种 适合于本课题背景的标定方法，以精确获得摄像机的内外部参数：而在特征匹配 部分，通过对s i f t 特征算子的改进，获得一种优化算法，并且通过程序的编译， 以验证改进算子m s i f t 更加适合应用于本课题的特征匹配及提取。 全文一共由五章组成，论文的主要内容和组织如下： 第一章绪论主要介绍了m a r r 的视觉计算理论，立体视觉技术的发展以及双 目立体视觉技术的原理及组成。 第二章摄像机标定技术对摄像机标定技术进行了研究与综述，讨论了摄像机 的成像模型、典型的摄像机标定方法、双目立体摄像机标定方法，并对本文中使 用的一种新的立体影像对的校正方法做了介绍，通过对t s a i 两步法与张正友提出 的张氏标定法进行比较，选取了最适合本研究领域的标定方法一张氏标定法， 并且基于张氏标定法的思想，进行m a n a b 平台下的程序编译，选定标定模板，通 过模板实验，最终获得摄像机的内外部参数。 第三章立体匹配技术的研究介绍了常用的立体匹配算法，并且通过对基于区 域和基于特征的立体匹配算法的讨论，提出了基于边缘特征约束及高斯核径向基 函数网络的视差估计算法。本章重点详述了s i f t 这样一个相当优秀的检测算子， 它对光照变化、尺度变化和旋转等具有良好的不变性、稳定性，对于目标的运动、 8 江苏大学硕士学位论文 遮挡、噪音等因素也保持了较好的匹配性。基于此，本文在s i f t 算法的基础上进 行了简化，提出了基于s i f t 算子的m s i f t 算法，详细介绍了m s i f t 算法的过程， 然后基于该算法的原理进行程序编译，实验中通过程序运行，获得实验结果。与 基于s i f t 算法下的程序匹配结果进行对比，m s i f t 下的程序在降低了匹配点的数 量的同时，也较大的提高了计算机处理的实时性，与预期的结果相同。 第四章三维数据的获取及三维重建重点阐述了立体视觉的基本原理和三 维空间坐标的计算方法，最后对于实验图像进行三维高程数据的采集，以及获取 空间点坐标。通过对常用空间点重建方法的比较，选择了一种新的空间点的3 d 坐标求取方法，并对该方法进行了实验验证，以及分析比较。并在c + + 平台下进 行程序编译，通过实验，获得待重建图片的三维轮廓图，得到了预期的效果。 第五章总结与展望总结了全文的研究工作，对该课题的进一步完善和研究 方向进行了更深一步的探讨，同时对下一阶段的研究工作做了一些展望。 最后是致谢和参考文献列表。 9 江苏大学硕士学位论文 第二章双目立体视觉系统的数学模型和摄像机的标定 在三维视觉系统中，三维物体的位置、形状等几何信息都是从摄像机获取的 图像信息中得到的。为了获取空间点到摄像机图像像素点的对应关系，首先必须 对摄像机进行标定。因此，双目立体视觉系统的标定时建立在被测对象表面点的 二维投影图像坐标与三维世界坐标之间的桥梁，是实现三维模型重构的基础，也 是立体视觉运用研究领域中的重点和难点之一。摄像机标定的目的是利用给定物 体的参考点坐标和它的图像坐标来确定摄像机内部的几何和光学特性( 内部参 数) ，以及摄像机在三维世界中的坐标关系( 外部参数) 。内部参数包括镜头焦距， 镜头畸变系数，坐标扭曲因子，图像坐标原点等参数。外部参数包括摄像机坐标 系相对于世界坐标系的旋转矩阵和平移向量等参数。 2 1 双目立体视觉系统的数学模型 如图2 - 1 所示的双目立体视觉系统【9 】在理想的针孔成像模型基础上考虑了透镜 的径向畸变因素。图中，a ( x 。，匕，z 。) 是三维世界坐标系仉x z 。中的对象点； q 置k 磊和d r x ，r z ，分别为左右摄像机的坐标系；坐标中心点q 和d ，分别为左 右摄像机的光学中心； 图2 - 1 双目立体视觉系统的理想模型 z f 和z ，轴分别与左右摄像机光轴重合；q x ，k 和q x ，y 分别是左右摄像机 1 0 江苏大学硕士学位论文 成像平面的坐标系，图像中心q 为光轴z ，与左摄像机图像平面的交点，图像中 心q 为光轴z ，与右摄像机成像平面的交点；置和k 轴分别与左摄像机坐标系的 而和奶轴平行，z ，和r 轴分别与右摄像机坐标系的_ 和”轴平行；o t u ，q 和 o , u ，咋分别是左右摄像机的成像在计算机中的( 帧存) 图像坐标系，采集到的图 像在计算机帧存中的坐标单位以像素数( p i x e l ) 表示。( 邑，k ) 是a 点在理想 针孔成像模型下的图像坐标。( 髟，匕) 是a 点的实际图像坐标，因透镜的径向 变形而偏离了其理想图像坐标( 邑，匕) 位置。有效焦距厂是光学中心到图像平 以左摄像机的成像过程为例，将物体点的三维世界坐标( x 。，匕，z 。) 变换到计 ( 1 ) 从物体三维世界坐标( x w ，匕，z 。) 到摄像机三维坐标( x ，y ，z - ) 的变换： 三 = 尺 耋 + r c 2 1 ， r 崔割 江苏大学硕士学位论文 = c o s f l s i n r r t 3 = s i n a s i n 厂一c o s a s i nf l c o s 7 仫= c o s a s i n 7 + s i n a s i n f l c o s r r 3 3 = c o s f l c o s r 平移矢量丁= 瓦弓t z r ，则表明了摄像机相对于世界坐标系的位置关系。 ( 2 ) 摄像机三维坐标( x ，y ，z ) 在理想的小孔成像模型下经投影变换至图 像( 邑，k ) ： 邑= 厂兰 ( 2 2 ) k = 厂上 ( 3 ) 考虑摄像机透镜的径向畸变因素，将理想图像坐标( x 。，k ) 转换成 实际图像坐标( x , t ，虼) ： 邑= x 。( 1 + o - 2 ) 一1 ( 2 3 ) 匕= k ( 1 + 打2 ) - 1 其中，在公式( 2 3 ) 中，= 、= 云i 可，它表示图像中心q 到实际图像坐标 ( x d ，匕) 的距离；k 表示透镜径向畸变系数。摄像机镜头的非线性畸变包括径 向畸变，离心畸变和薄棱镜畸变。经过实验验证，表吲1 0 l ：一般情况下，非线 性摄像机模型只需采用上述第一项径向畸变已能足够描述非线性畸变因素的影 响。如果考虑更多的非线性畸变参数( 如离心畸变和薄棱镜畸变) 会使摄像机标 定问题的求解需要使用非线性优化算法。过多的非线性参数的引入不但不能提高 精度，反而会引起求解过程的不稳定。 ( 4 ) 实际图像坐标( 邑，匕) 到计算机图像坐标( z f ，1 ，) 的变换： 跖= 邑虬+ u 0 ( 2 4 ) y2y d 虬+ 其中，( d o , v o ) 表示图像中心d f 的计算机图像坐标( p i x e l ) ：虬，虬表示图像平 1 江苏大学硕士学位论文 面上单元距离内包含的像素数。 从物体三维世界坐标( x ，匕，z w ) 到计算机图像坐标( 甜，) 的变换表示了 三维物体在单个摄像机中的成像过程。根据立体视觉的三角测量原理可知，由左 右两台摄像机对空间物体进行观察所获取的两幅图像( 其计算机图像坐标分别用 ( u i ，h ) 和( “2 ，屹) 表示) 。则可以唯一确定物体的空间三维位置( x 。，匕，z 。) ( 5 ) 以上四个步骤表示了单摄像机在考虑径向畸变因素时的透视投影变换过 程，以下是双摄像机立体视觉系统在考虑径向畸变的情况下，由对象点a 的左右 二维图像坐标( ，h ) 年o ( u 2 ，v 2 ) 恢复三维世界坐标p 。，匕，z 。) 的过程。为了 便于称呼，分别用1 和“2 ，来表示左右摄像机的相关参数。 对于左边的摄像机，( 2 1 ) 可以表述如下所示： 展开成方程组的形式： 卧 由( 2 6 ) 式可以得到： 五2 ( 1 ) 吃2 ( 1 ) 吃2 ( 1 ) ，i 3 ( 1 乞( 1 ) ( 1 )匿 + 刭 沼5 ) 而= t i i ( 1 ) x 。+ ，i 2 1 匕+ r 1 3 0 ) z w + l m = 2 1 ( 1 ) x ，+ 饧1 匕+ 仫n z 。+ 弓1 ( 2 - 6 ) 毛= r 3 1 ( 1 ) x 。+ r 3 2 1 ) y 。+ r 3 3 a ) z 。+ 互1 量：芷墨芷鳖芷互互i ( 2 7 ) 毛r 3 1 ( 1 ) x 。+ 吩2 1 k + 1 z + 互1 筮：垒! ! ! ! 兰! 型! ! 玉垒竺刍互! 毛r 3 1 ( 1 ) x w + r 3 2 0 k + r 3 3 0 ) z + t 1 在( 2 - 7 ) 式中，里面包含了所有摄像机的参数互1 、弓l 、1 、q 、屈、乃( 这 些都成为摄像机的外部参数) ，他们可以确定左边摄像机相对于世界坐标系的位 置和姿态。 将( 2 3 ) 式和( 2 4 ) 式代入( 2 2 ) 式，可以得到： 江苏大学硕士学位论文 岛= 掣( 蛩 2 + ( 钏她 岛= 蛩( 蛩 2 + ( 蛩 2 詈 ( 2 8 ) 在上米阿尼公式中，a x 、岛是为方便公式推导而设定的中间参数；( 1 1 ，v 1 ) 是 对象点a 在左图像平面上的像素坐标。( 2 8 ) 式中的参数包含有，、。、虬。、 m 。、五、白，这些都属于摄像机的内部参数，它们表示了摄像机的内部特性。 由上可得，( 2 7 ) 式可以写成： 口一t l i ( 1 ) x 。+ ，i 2 ( 1 k4 - t 1 3 ( i ) z 。+ l 酽x 。- i - t 3 2 1 k + r 3 3 1 ) z 。+ t 1 6 = 糍筹糍 经过变换，( 2 9 ) 式可以简写成： 其中， 盔= 竹1 x 。+ 2 匕+ ，1 1 3 z ， 畋= l x 。+ 匕+ 3 z ， 1 = 吒譬一口l 搿 ，1 1 3 = 巷一q 罐 n t 2 2 = 蠼l 岛蠼 么= 口1 互。一互， 对于右边的摄像机，同样有： ，1 1 2 = 程一q 蠼 ，= 搿一岛搿 m 2 3 = 璎一岛搿 d 2 = 岛。一弓t 如= l x 。+ i n 3 2 匕+ 3 z 。 d 4 = 1 1 1 4 l x + ，匕+ m 4 3 z w l = ，i 宁一口2 搿 = 一口2 搿 鸭2 = 程一口2 蟛 m 4 ，= 酱一吃搿 1 4 ( 2 9 ) ( 2 1 0 ) ( 2 1 1 ) 江苏大学硕士学位论文 = 瑶一6 2 蟛 = 曙一6 2 搿 铲掣卜 ( 蛩 2 + ( 蛩 2 ) 去 如= 蛩卜 ( 蛩) 2 + ( 蛩) 2 k r三m萎21象m22戛m23r耋yw=r萎 ( 2 1 2 ， ll i 口2l i 鸭1 他2 3i i ，7il 口3i 一 l l 他2 j 一 。l 口4 j m k 外。 ( 2 1 3 ) 矩阵m 和d 中的元素包含了摄像机的内部，以及外部的所有参数。其中对于 左摄像机来说，有q 、层、乃、乏。、u o ，、虬1 、虬、五、毛。 对于右摄像机来说，口：、展、跏互：、弓：、t ：、虬z 、u z 、厶、 屯，一共有2 4 个参数在以上系列方程中。 由式( 2 1 3 ) 可以求得对象点三维坐标( x 。，匕，z 。) 的最小二乘解： 脚栩场 弦 2 2 摄像机标定 在立体视觉系统中，三维计算机视觉系统应该能够从摄像机获取的图像信息 江苏大学硕士学位论文 出发，计算三维环境中物体的位置、形状等几何信息，并由此识别环境中的物体。 图像上的每一点的亮度反映了空间物体表面某点反射光的强度，而该点在图像上 的位置则与空间物体表面的相应点的几何位置有关。这些位置的相互关系，由摄 像机成像几何模型所决定。该几何模型的参数称为摄像机参数，这些参数必须通 过实验与计算来确定，这种实验与计算的过程称为摄像机的标定。摄像机标定的 结果将直接影响到后面的三维重建的精度，因而实现立体摄像机对的标定工作是 三维重建系统中必不可少的一步【1 1 - 1 2 1 。 摄像机的标定首先在摄影测量学中提出来，随着计算机视觉的发展，已经成 为该领域的研究热点之一。计算机视觉系统是建立在摄像机标定基础之上的三维 测量系统。摄像机标定的目的是确定三维物体的世界坐标系到摄像机上图像坐标 系的映射关系，其中包括摄像机成像系统内外几何及光学参数的标定和两个或者 多个摄像机之间的相对位置关系的标定。摄像机标定的精度是决定立体视觉系统 三维重建精度的关键因素之一，也是系统误差的主要来源之一。 2 2 2 摄像机成像模型 ( 1 ) 世界坐标系、摄像机坐标系和图像坐标系 摄像机采集的图像以标准电视信号的形式输入到计算机，转换成数字图像。 每幅数字图像在计算机内为m x n 数组，m 行n 列的图像中的每一个元素( 称为 像素) 的数值就是图像点的亮度( 或者称为灰度) 。如图2 - 2 所示，在图像上定义 直角坐标系u 、v 每一个像素的坐标( u ，v ) 分别是该像素在数组中的行数和列数。 所以( u ，v ) 是以像素为单位的图像坐标系的坐标。必须指出，( u ，v ) 并没有用物 理单位表示出该像素在图像中的位置，因而需要再建立以物理单位( 例如毫米) 表示的图像坐标系。该坐标系以图像内某一点o ，为坐标原点，x 轴和y 轴分别与 u 、v 轴平行。这里的( x ，y ) 表示以毫米为单位的图像坐标系。在x ，y 坐标系中， 原点定义在摄像机的光轴与图像平面的交点，该点一般位于图像的中心处，但是 由于摄像机制作的原因，也可能有些偏离。若0 1 在u ，v 坐标系中的坐标为， v o ) ，每一个像素在x 轴与y 轴方向上的物理尺寸为d x ，d y ，则图像中任意一个像 素在这 两个坐标系下的坐标有以下关系【1 3 1 ： 1 6 江苏大学硕士学位论文 z u = + u o dx ，= 姜+ 方 u 图2 - 2 图像坐标系 用齐次坐标与矩阵的形式表示以上式子： i ； = ( 2 1 5 ) i = 簖嚣蝴 1 7 加 “ o 土匆o 1 一如 o o ，砭，z c ) ，黑? 器嚣删怖z 舶 舯呐躲竺= 一淼，删与图 槲删疆篓的? 。一：二蛹， 像平面的交点，由点d 与x 。，e ，z c 轴组成网且用翌1 h 。”“ 谢如彬w 竺= 鬈篓f 篡4 _ - r - 世：蛹辨雠 脚秆鲫芝竺，罢等雾姜州桫谳泵 系下的齐次坐标如果设定为岱， 匕z w j 司p 一剖 1 8 z 江苏大学硕士学位论文 x 。 k z 。 1 2 2 3 传统的摄像机标定方法 三 t , o x w 匕 z w 1 = m l l i 匕l i ( 2 1 7 ) z wl 1 传统的摄像机标定的基本方法是在一定的摄像机模型下，基于特定的实验条 件如形状、尺寸等已知的参照物。经过对其进行图像处理，利用一系列数学变换 和计算方法，求取摄像机模型内部参数和外部参数。按照其算法思路可以分成线 性方法，非线性优化法，两步法，双平面方法，张正友标定以及其他的一些方法 等【1 3 1 5 1 。 1 线性方法 一般的线性求解方法是透镜变换方法和直接线性变换方法( d l t ) 。d l t 方法与 透视变换线性标定方法类似，但是相差一个比例因子。该法的优点是不需要迭代， 速度较快，计算优势比较明显。缺点是不能进行系统误差的修正，标定精度不是 很高。 2 非线性优化方法 当镜头畸变较明显，线性模型不能准确地描述成像几何过程，这就引入非线 性模型。在计算机视觉中，对非线性问题进行优化求解的方法，通常分为两大类， 一类是拟线性化方法，一类是完全非线性法。 3 t s a i 两步法 t s a i ( 1 9 8 6 ) 给出了一种基于径向约束的标定方法两步法( t w o s t a g e ) 。在该 法求解摄像机参数的过程中分为两步。第步是利用最小二乘法解超定线性方程， 给出外部参数；第二步求解内部参数，如果摄像机无透镜畸变，可以由一个超定 线性方程解出。反之，如果存在径向畸变，则可结合非线性优化的方法获得全部 参数【1 6 1 。两步法的优点是迭代参数较少，能够提供较好的初始值，求解速度快， 精度比较高。平均精度可以达到1 4 0 0 0 ，深度方向精度可以达到1 8 0 0 0 。它同时 具有求解速度快和非线性优化计算准确的优点，目前，在两者都能兼容的算法中， 它是比较好的一种方法。 4 张正友标定法 1 9 江苏大学硕士学位论文 张氏标定发用的是针孔模型，但是其标定的具体方法是在自标定和传统标定 之间采用的一个妥协的方法。该方法假设标定用平面图板在世界坐标系中z - - - o ， 通过线性模型分析计算得出摄像机参数的优化解，然后用基于最大似然法进行非 线性求精。在这个过程中标定出考虑镜头畸变的目标函数，最后求出所需的摄像 机内、外部参数。这种标定方法的优点是具有良好的鲁棒性，不需要昂贵的精制 标定块，实用性很强。缺点是在广角镜畸变比较大的情况下，校正效果偏差比较 大。 5 双平面定标法 m a r t i n s 等研究小组首先提出了双平面模型，该模型不像针孔模型那样要求所 有投射到成像平面上的光线必须经过光心。给定成像平面上的任意一个图像点， 便能够计算出两个定标平面上的相应点，从而确定了投射到成像平面上产生该图 像点的光线。对每一个定标平面，利用一组定标点，建立彼此独立的插值公式。 这种方法的优点是利用线性方法就可以解有关参数。双平面定标法的缺点是要求 解大量的未知参数，存在过分参数化的倾向，从而增加大量的计算，损耗硬件资 源。 6 自标定技术