（控制理论与控制工程专业论文）基于双目立体视觉的三维重建技术研究与实现.pdf

论文题目：基于双目立体视觉的三维重建技术研究与实现 学科专业：控制理论与控制工程 指导教师：钱富才教授 梁炎明讲师 摘要 签名：三量缝_ 签名：氧宴才 签名：絮薹! 嗣 三维重建是计算机视觉技术的主要内容之一，研究了由两幅或多幅二维图像恢复出被拍 摄物体的深度信息的方法。其中基于两幅图像的双目视觉技术是一个研究热点。双目立体视 觉模仿人眼与人类视觉的立体感知过程，从两个视点观察同一景物，以获取不同视角下的图 像，通过三角测量原理计算图像像素间的位置偏差，以获取景物的深度信息。双目立体视觉 技术在虚拟现实、机器视觉、多媒体教学、数字娱乐、产品外观设计、雕刻与建筑等领域都 有着广泛的应用。 本文在分析研究大量相关技术和文献的基础上，对立体视觉领域中的摄像机标定、立体 匹配、三维重建这三个关键技术进行了研究。主要研究如下： 1 自制标定模板，用普通数码相机拍摄两幅不同角度的带有标定模板的手机照片。利 用t s a i 两步法对照相机进行标定，求出了照相机的内外参数。 2 。对所拍摄的照片进行滤波、锐化等图像处理，采用基于特征的匹配方法，从两幅图 像中分别提取特征点，然后利用极线约束等匹配准则对一幅图像中的特征点在另一幅图像中 寻找匹配点。 3 在已获得照相机的内外参数和完成左右图像的特征点匹配的基础上，根据立体视觉 原理实现了对特征点的三维重建，给出了特征点的空间坐标。最后在计算机上通过o p e n g l 编程将这些点显示出来，实现了手机的三维重建。 关键词：立体视觉；摄像机标定；立体匹配；三维重建：o p e n g l t i t l e ：r e s e a r c ha n di m p l e m e n t a t i o no n3 dr e c o n s t r u c t i o n b a s e do nb i n o c u l a rs t e r e ov i s i o n m a j o r ：c o n t r o lt h e o r ya n dc o n t r o le n g i n e e r i n g n a m e ：l i m i nw a n g s u p e r v i s o r ：p r o f f u c a iq i a n s i g n a t u r e ：止血边憎 s i g n a t u 阳：覃5 型蛳刎 l e c t u r e ry a n m i n gl i a n g s i g n a t u r e ： a b s t r a c t o n eo ft h em a i nc o m p o n e n to ft h ec o m p u t e rv i s i o ni s3 dr e c o n s t r u c t i o n i ti st or e s t o r et h e d e p t hi n f o r m a t i o n o fa l lo b j e c tb yt w oo rm o r et h a nt w oi m a g e so ft w o - d i m e n s i o n a l t h e t e c h n o l o g yo fb i n o c u l a rs t e r e ov i s i o nb a s e do nt w oi m a g e si sah o tp o i n t t h eb i n o c u l a rs t e r e o v i s i o nh a sas t r o n gr e s e m b l a n c et ot h ev i s u a lp e r c e p t i o np r o c e d u r eo fm a n k i n d w ec a l lg e t d i f f e r e n ti m a g e sw i t ht w od i f f e r e n tv i e wp o i n t sa n dt h e nc a l c u l a t et h ep o s i t i o nd e v i a t i o no fi m a g e s p i x e l sb a s e do nt r i a n g u l a rm e a s u r e f i l l a l l y ，w ec a na t t a i nt h ed e p t hi n f o r m a t i o no ft h eo b j e c t 1 k b i n o c u l a rs t e r e ov i s i o nw i d e l yu s e di nm a n yf i e l d ss u c ha sv i r t u a lr e a l i t y , m a c h i n ev i s i o 玛 m u l t i m e d i ae d u c a t i o n ，d i g i t a le n t e r t a i n m e n t , a p p e a r a n c ed e s i g no fi n d u s t r i a lp r o d u c t s ，s c u l p t u r e a n da r c h i t e c t u r ee t e b a s e do nt h ea n a l y s i sa n dr e s e a r c ho fm u c ht e c h n o l o g ya n dl i t e r a t u r e sc o n c e r n e d , t h i sp a p e r s t u d i e st h eb a s i cp r o b l e m so fs t e r e ov i s u a ld o m a i ns u c ha sc a m e r a c a l i b r a t i o n , s t e r e om a t c h i n ga n d t h e3 dr e c o n s t r u c t i o na n ds oo n 。皿1 ec o r r e s p o n d i n gw o r ka r eg i v e na sf o l l o w s ： i d ot h ec a l i b r a t i o nt e m p l a t eb yo u r s e l ft h e ns h o o tt w od i f f e r e n ta n g l e si m a g e so ft h ec e l l p h o n ew i t ha c a l i b r a t i o nt e m p l a t e w eu s et h et s a i st w o - s t e pm e t h o df o rc a l i b r a t i o na n do b t a i n e d t h ei n t e r n a la n de x t e r n a lp a r a m e t e r s 2 p r o c e s st h e s e p h o t o sb yi m a g es m o o t h i n g ，i n l a g es h a r p e n i n g a n do t h e r i m a g e p r e - p r o e e s s i n g w eu s et h eo p e r a t o rt o o b t a i nt h ef e a t u r ep o i n t so fb o t hi m a g e s w es e a r c ht h i s i m a g e sm a t c h i n gp o i n ti no t h e ri m a g eb a s e do nt h ee p i p o l a rl i n er e s t r i c t i o na n d s oo n b a s e do nt h e m a t c h i n gm e t h o do ff e a t u r e 3 b a s e do nt h er e s u l t so ft h ec a m e r a sc a l i b r a t i o na n df e a t u r e p o i n t sm a t c h i n g ，w e r e c o n s t r u c t e dt h ec h a r a c t e rp o i n t sa c c o r d i l l gt ot h ep r i n c i p l eo ft h es t e r e ov i s i o n ，a n dg e tt h e3 d c o o r d i n a t e so ft h ec h a r a c t e rp o i n t s a tl a s tw eu s eo p e n g lp r o g r a mi nt h ec o m p u t e rt od i s p l a yt h e 西安理工大学硕士学位论文 d i s p e r s ep o i n t sa n di m p l e m e n tt h et h r e e d i m e n s i o n a lr e c o n s t r u c t i o no f t h ec e l lp h o n e k e yw o r d s ：s t e r e ov i s i o n ；c a m e r ac a l i b r a t i o n ；s t e r e om a t c h i n g ；3 dr e c o n s t u r c t i o n ；o p e n g l 独创性声明 秉承祖国优良道德传统和学校的严谨学风郑重申明：本人所呈交的学位论文是我 令人在导师指导下进行的研究工作及取得的成果t 尽我所知，除特别加以标注和致谢 的地方外，论文中不包含其他人的研究成果。与我一同工作的同志对本文所研究的工 作和成果的任何贡献均已在论文中作了明确的说明并已致谢。 本论文及其相关资料若有不实之处卜由本人承担一切相关责任 论文作者签名：。王立囱。砌& 年5 月拿目 学位论文使用授权声明 本人至五趣； 在导师的指导下创作完成毕业论文。本人已通过论立的答辩， 并已经在西安理工大学申请博士硕士学位三1 本人作为学位论文著作权拥有者，同意 授权西安理工大学拥有学位论文的部分使用权j 一即；一1 ) 已获学位的研究生按学校规定 提交印刷版和电子版学位论文，学校可以采用影印、缩印或其他复制手段保存研究生 上交的学位论文广可以将学位论文的全部或部分内容编入有关数据库进行检索；2 ) 为 教学和科研目的，学校可以将公开的学位论文或解密后的学位论文作为资料在图书馆、 资料室等场所或在校园网上供校内师生阅读、浏览。 本人学位论文全部或部分内容的公布( 包括刊登 授权西安理工大学研究生部办 理。 ( 保密的学位论文在解密后。适用本授权说明 论文作考签名i j 三五敏：导师签名， 细。塞年j 月罗日 绪论 1 绪论 1 1 引言 现实世界是三维的，但是我们所触及的几乎所有介质，印刷的、照片或影像，都是二维 的。这是因为一般的摄影系统只能做到把三维的物体信息以二维的形式记录下来，这就使得 大量的物体的三维信息丢失。随着计算机技术的发展，人们对信息的获取已经从传统的二维 平面图像，转向了三维立体图像。三维重建正是在此情况下而提出的 1 1 。 三维重建是一项多学科的综合技术，它集计算机技术、计算机图形学、图像处理技术、 信息合成技术、显示技术等诸多高新技术于一体。三维重建也是计算机视觉、模式识别、计 算机图形学、视景仿真、虚拟现实、科学计算可视化等众多领域最热门的研究方向之一。近 年来，由于计算机的计算能力迅速提高，所配置的内存容址、磁盘空间不断扩大，网络功能 增强许多，主要的图形生成及图像处理算法均可用硬件实现，速度大大加快。因而，三维重 建技术的快速发展己经成为可能。 在三维重建算法中，立体视觉是一个重要分支。立体视觉直接模拟人类视觉处理景物的 方式，因此立体视觉成了计算机视觉研究的重点和热点之一，在虚拟现实、多媒体教学、机 器人视觉、医学、工业产品的外观设计、三维轮廓测量、艺术雕塑、建筑等领域有着广泛的 应用。 1 2 双目立体视觉 用双目立体视觉方法进行三维重建，在计算机视觉中是指由两幅二维图像恢复物体三维 可见表面几何形状的方法。对生物视觉系统，人们早就注意到，几乎所有具有视觉的生物都 有两个眼睛。用两个眼睛同时观察物体时，会有深度或远近的感觉。立体电影之所以有逼真 的深度感，也是仿照了立体视觉原理。在立体电影拍摄中，用两个摄像机同时拍摄，而在放 映时，将两个摄像机拍摄的图像同时投影到屏幕上，并利用偏振光的原理，使人的双眼分别 看到左右摄像机拍摄的图像，从而使人感到真实三维场景的立体感。 双目立体视觉就是仿照这个原理，由不同位置的两台或一台摄像机经过移动或旋转拍摄 同一幅场景，然后利用三维重建原理，由计算机重建景物的三维形状，恢复出物体的空间位 置信息。如图1 1 所示。 西安理工大学硕士学位论文 i p 、 、 图1 一l 双目立体视觉原理 f i g 1 1t h ep r i n c i p l eo f b i n o c u l a rv i s i o n p 为空间任意一点，a 、见是它在两幅图像中对应的像点，0 l 、q 是摄像机光心，通 过分析像点珐、改的坐标关系，建立三维空间重建算法，恢复点p 的三维坐标。 在这个重建过程中，涉及了三个关键部分：摄像机标定、立体匹配、三维重建您1 。 1 摄像机标定 摄像机标定是为了确定摄像机的位置、属性参数和建立成像模型，以便确定空间坐标系 中物理点同它在图像平面上像点之间的对应关系。摄像机标定方法可分为两大类，第一类是 直接估计摄像机位置、光轴方向、焦距等参数；第二类是通过最小二乘拟合，确定三维空间 点映射为二维图像点的变换矩阵。建立一个有效的摄像机模型，除了能够精确地恢复出空间 景物的三维信息外，还有利于解决立体匹配问题。 2 立体匹配 立体匹配是指根据对所选特征的计算，建立特征之间的对应关系，将同一个空间物理点 在不同图像中的映像点对应起来。立体匹配方法主要分为基于面积的匹配方法、基于特征的 匹配方法和基于相位的匹配方法。 3 三维重建 立体视觉的关键在于图像匹配，一旦精确的对应点建立起来，我们就可以对深度进行计 算，恢复场景的三维信息，实现物体的三维重建。 双目立体视觉直接模拟人类双眼处理景物的方式，具有简单、可靠、灵活、使用范围广 等特点，可以进行非接触、自动、在线的检测，具有广阔的应用前景，在机器人视觉、车辆 自主驾驶、多自由度机械装置控制、非接触自动在线检测等领域均具有很大的应用价值。 1 3 基于双目立体视觉的三维重建 1 3 1 国内外研究现状 三维重建涉及计算机视觉、计算机图形学、图像处理、虚拟现实等研究领域，是今年来 的研究热点t 3 1 。国外在基于双目立体视觉的计算机三维重建方面，主要是对特征检测、特征 匹配、摄像机标定几个部分进行研究。 在特征点检测方面，常用的匹配特征有特征点、特征线、特征区域，其中以点特征研究 2 绪论 较多。点特征主要有零交叉点、角点。d r e s c h l e r 和n a g e l 等提出了基于g a u s s i a n 曲率原则 的检测方法。s m i t h 提出了著名的s u s a n 角点检测算子，该方法对像素周围区域最小化用 统计特性来决定该像素的属性，即角点、边上的点还是圆上的点。k i t c h e n 和r o s e n f e l d 提出 的角点检测器利用了灰度沿边界轮廓梯度方向变化最大的性质。n o b e l 试图用微分几何给出 角点检测的理论公式，并归纳出了在p l e s s e y 算法下的检测原则。1 9 8 8 年h a r r i s 和s t e p h e n s 对p l e s s e y 角点进行了改进，提出了h a r r i s 算子。d a v i dg l o w e 在2 0 0 4 年正式提出了一种基 于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子，即 s i f t 算子。 在特征匹配方面，b e a r d s l e y 等提取角点作为特征点，运用相关性进行匹配，将匹配的 结果用奇异值分解求取了基础矩阵。p r i t c h e t t 和z i s s e r m a n 等提出了用单应矩阵取代传统的 灰度相似性和极线约束作为匹配的准则。另外，他们试图寻找一种整体相似变换，以使两幅 图像在相差一个常数因子的情况下具有最大相关性，根据整体变换，估计图像间局部区域的 仿射变换，用局部变换来寻找匹配点。p r i t c h e t t 等的方法对于某些含有丰富平面信息的图像 特别有效。l h u i l l i e r 和l o n gq u a n 等提出了一种稠密匹配的新策略，该策略综合了以对极几 何约束为代表的全局约束和以灰度相似、单应矩阵为代表的局部约束。该方法对于纹理稠密 的图像特别有效，缺陷是精度不高。m p i l u 提出了一种基于奇异值分解的匹配方法，整个计 算过程中全部是代数意义下的运算，因此匹配的精度有待进一步提高。 在摄像机标定方面，微软研究院的张正友提出了一种利用平面模板的标定方法，该方法 只需从不同角度对模板拍摄几幅图像，通过每幅图像的单应矩阵即可计算出摄像机内参数， 并可利用反投影法优化求精。f a u g e r a s 、l u o n g 和m a y b a n k 等提出了自标定的概念，从射影 几何的角度出发证明了每两幅图像间存在着两个形如k r u p p a 方程的二次约束，通过直接求 解k r u p p a 方程组可以解出内参数。鉴于直接求解k r u p p a 方程的困难，研究者们又提出了分 层逐步标定的思想，即首先对图像序列做射影重建，在此基础上再进行仿射标定和欧氏标定， 该类方法以h a r t l e y 的q r 分解法、t r i g g s 的绝对二次曲面法、p o l l e f e y s 的模约束法等为代 表。 近年来国外出现了一些较为成功的三维重建系统。t o m a s i 和k a l l a d e 等在假定摄像机为 正交投影模型的前提下，利用仿射分解的方法解出了三维结构和摄像机运动。该系统使用基 于光流的跟踪器技术来解决特征点的匹配问题。但由于该系统采用的摄像机模型是正交投影 模型，这种模型只有在当物体的深度远大于物体的尺寸时才合理，因此有一定的局限性。 z i s s e r m a n 等完成的视觉导航系统利用了分层重建的思想，即首先对图像序列做射影重建， 再将射影重建逐步提升到仿射重建和欧氏重建。d e b e v e c 、t a y l o r 等完成了著名的建筑物重 建系统f a c a d e 。该系统要求首先得到建筑物的粗略几何模型和摄像机运动参数，然后将该模 型反投影到图像上与实际图像作比较，通过减小反投影误差最终算出建筑物的精确三维结 构。为增强视觉效果，该系统还使用了基于视点的贴纹理技术。该系统的不足之处在于需要 预先得到建筑物的几何模型，而且建筑物的几何结构不能太复杂。h y s h u m 等提出了一种人 3 西安理工大学硕士学位论文 机交互式重建系统，可以从一组全景图中恢复出三维结构，或者将场景表示成一系列按深度 划分的分层的集合。该系统不需要做图像间的匹配，但要求用户在重建过程中交互式地确定 场景中的一些几何约束，如共面、平行、垂直等。f a u g e r a s 等的系统利用分层重建、自标定 等方法从图像序列中重建出了建筑物。在他们的系统中，考虑了建筑物的特殊性，主要利用 建筑物上的己知点、已知角度和平行线等物理信息标定摄像机，并将待重建场景用多面体来 表示。该系统主要用于为c a d 、c a m 等提供原始的几何模型。p o l l c f e y s 等提出的物体表面 自动生成系统运用了可变内参数下的摄像机自标定技术。该系统仅要求手持摄像机围绕物体 拍摄一系列图像，即可自动实现自标定和分层重建。 目前国内在计算机立体视觉方面，也进行了大量的研究，在理论和算法实现方面也取得 了一些成就，在算法的具体实现方面，中科院自动化研究所机器人视觉研究组已经取得了很 大的成就。机器人视觉研究组的雷成博士实现了c v s u i t e 软件，该软件主要完成了特征点的 提取、特征点的匹配、像机的自标定、模型的三维显示的功能。该软件比较方便，能对不同 来源的二维图像进行处理，但是它的缺点也比较明显，实际匹配过程中明显感觉到效率不高， 速度非常慢。另外，机器人视觉研究组的钟云德博士利用一种称为半稠密匹配的方法进行立 体图像对的匹配，这种方法是对稀疏匹配和稠密匹配的一种折衷，所以在匹配过程中增加了 大量的新的匹配点，从而更好的实现了模型的三维显示，当然也在一定程度上增加了匹配过 程所用的时间。此外，天津大学的陈明舟实现了基于主动光栅投影的双目立体视觉方法。清 华大学的王磊提出了一种基于平面投影变换和遗传算法的匹配算法。 1 3 2 存在的问题 计算机视觉的问题本质上都是逆问题。输入图像的灰度受物体的几何特征、材料表面性 质、颜色、环境光照及摄像机参数等许多因素的影响，由灰度反推以上各种参数是一个逆过 程，往往都是非线性的，问题的解不具有唯一性，而且对噪声或离散量化引起的误差极其敏 感，所以计算机视觉本身存在一定的病态性。如何得到问题的鲁棒解成为三维重建过程的难 点所在t 4 l 。 随着计算机视觉理论研究和实践应用的发展，人们将对图像处理的自动化程度提出更高 的要求。而目前在三维重建过程中对图像的特征提取和匹配，多数还是通过人工干预实现的。 这不仅增加了人为的干扰因素和操作时间，同时对操作人员的素质提出了较高要求，影响了 处理和识别过程的自动化程度。 我们发现，虽然许多三维重建的实施方案和数学模型在理论上是比较完善的，但往往受 到现场条件的许多限制，严重地影响了其在工程中的应用。例如：有些需要测量出一些与拍 摄有关的现场参数或需要放置复杂标定装置；有些对相机的拍摄过程有相当严格的要求，如 相机需要有一定的俯角，有相当的高度或有较大的物距，甚至需要有严格位置关系的双相机 拍摄。另外，有些方案虽然可以得到较为满意的重建结果，但其复杂的处理过程也会影响到 其在许多场合的应用。这些复杂过程有些需要较多的己知参数，有些则是要求一次解出较多 绪论 的未知参数，大量的运算影响了实时性的要求。因此，如何既能获得较为满意的处理结果， 又能简化操作过程，是目前三维重建工作研究工作的一个主要内容。 1 4 本文的主要研究工作 本文以立体视觉为基础，用数码相机拍摄的两幅n o k i a 手机图片，通过摄像机标定以 及立体匹配恢复出三维数据，然后利用这些数据在计算机中构造出手机的三维造型，实现手 机的三维重建，主要工作如下： 1 自制标定模板，用普通数码相机拍摄两幅不同角度的带有标定模板的手机照片。利 用t s a i 两步法对照相机进行标定，求出了照相机的内外参数。 2 对所拍摄的照片进行平滑、锐化等图像处理，采用基于特征的匹配方法，从两幅图 像中分别提取特征点，然后利用极线约束等匹配准则对一幅图像中的特征点在另一幅图像中 寻找匹配点。 3 在已获得照相机的内外参数和完成左右图像的特征点匹配的基础上，根据立体视觉 原理实现了对特征点的三维重建，给出了特征点的空间坐标。最后在计算机上通过o p e n g l 编程将这些点显示出来，实现了手机的三维重建。 图1 2 给出了本课题研究的主要内容。 图像采集 和预处理摄善0 吲立体匹配标定r - 1 1 o p e n g l 编程实现 恢复图像 三维信息 图1 - 2 课题的主要内容 f i g 1 - 2t h em a i nt o p i cc o n t e n t 1 5 论文各章内容安排 论文结构安排如下： 1 第一章是绪论。主要介绍了双目立体视觉，基于双目立体视觉三维重建的原理、国 内外的研究现状以及存在的问题等。 觉方面的研究现状部分， 2 第二章介绍了小孔成像原理，从小孔模型推导出透视投影的基本方程。介绍了投影 过程的一些参数及其含义，讲述摄像机的标定过程，给出标定结果。 3 第三章介绍了图像处理的相关知识，包括图像的滤波、图像的锐化等。介绍了特征 点提取、极线几何以及立体匹配的方法，给出匹配结果。 4 第四章给出了立体视觉中空间点的三维重建过程，介绍了o p e n g l 的相关知识并在 v c 抖6 0 平台上用o p e n g l 编程实现了手机的三维重建。 5 西安理工大学硕士学位论文 6 5 第五章对本文的研究内容进行了总结，并对下一步的研究工作做出了展望。 摄像机标定 2 摄像机标定 在三维视觉系统中，三维物体的位置、形状等几何信息是从摄像机获取的图像信息中得 到的。为了获取空间点到摄像机图像像素点的对应关系，摄像机的标定必不可少。摄像机标 定的目的是利用给定物体的参考点坐标和它的图像坐标来确定摄像机内部的几何和光学特 性( 内部参数) ，以及摄像机在三维世界中的坐标关系( 外部参数) 。内部参数包括镜头焦距，镜 头畸变系数，坐标扭曲因子，图像坐标原点等参数。外部参数包括摄像机坐标系相对于世界坐 标系得旋转矩阵和平移向量等参数。 2 1 摄像机标定简介 学术界在最近1 0 余年对摄像机定标进行了广泛的研究，基于不同的出发点和思路取得 了一系列成果。总的来看，现有的摄像机定标方法大体可以归结为两类：传统的摄像机定标 方法和摄像机自定标方法 6 - 7 1 。 2 1 1 传统的摄像机标定方法 传统摄像机标定的基本方法是在一定的摄像机模型下，基于特定的实验条件如形状、尺 寸已知的参照物，经过对其进行图像处理，利用一系列数学变换和计算方法，求取摄像机模型 内部参数和外部参数。按照其算法思路可以分成线性方法，非线性优化法，两步法，双平面方 法，张正友标定法以及其他的一些方法等t s - i o i 。， 1 线性方法 一般的线性求解方法是透镜变换方法和直接线性变换方法( d l t ) 。d l t 方法与透视变换 线性标定方法类似，只相差一个比例因子。线性求解方法的优点是不需迭代，速度较快。缺 点是不能进行系统误差的修正，标定精度不高。 2 非线性优化方法 当镜头畸变较明显，线性模型不能准确地描述成像几何过程，这就引入非线性模型。在 计算机视觉中，对非线性问题进行优化求解的方法，通常分为两大类，一类是拟线性化方法， 另一类是完全非线性法。 3 两步法， t s a i ( 1 9 8 6 ) 给出了一种基于径向约束的两步法标定方法。该方法求解摄像机参数的过程 分为两步。第一步利用最小二乘法解超定线性方程组，给出外部参数：第二步求解内部参数。 两步法的优点是迭代参数较少，能够提供较好的初始值，求解速度快，精度比较高。它同时 具有求解速度快和非线性优化计算准确的优点，是目前较好的一种方法。 4 张正友标定法 这种方法虽然也是使用针孔模型，但是它的具体标定是在自标定与传统标定之间的一个 妥协方法。该方法假设标定用平面图板在世界坐标系中z = 0 ，通过线性模型分析计算得出摄 像机参数的优化解，然后用基于最大似然法进行非线性求精。在这个过程中标定出考虑镜头 7 西安j e _ r _ 大学硕士学位论文 畸变的目标函数，最后求出所需的摄像机内、外部参数。这种标定方法的优点是具有较好的 鲁棒性，不需昂贵的精制标定块，很有实用性。缺点是在广角镜畸变比较大的情况下，校正效 果偏差比较大。 5 双平面定标法 m a r t i n s 等首先提出了双平面模型( t w o - p l a n em o d e l ) 。双平面模型不像针孔模型那样要求 所有投射到成像平面上的光线必须经过光心。给定成像平面上的任意一个图像点，便能够计 算出两个定标平面上的相应点，从而确定了投射到成像平面上产生该图像点的光线。对每一 个定标平面，利用一组定标点，建立彼此独立的插值公式。这种方法的优点是利用线性方法 就可以解有关参数，缺点是要求解大量的未知参数，存在过分参数化的倾向。 6 其他标定方法 针对摄像机标定的研究，许多人提出了更多有实用价值的新方法 1 - 1 2 1 。这其中包括孟晓 桥、胡占义的圆标定方法，其使用模板不同于张正友的矩形平面模板，而是圆环模板。还有吴 毅红等的平行圆标定方法。这些新发展的新方法，为摄像机标定提供了更多针对性更强的新 方向。 2 1 2 摄像机自定标方法 传统的摄像机标定法可以获得较高的标定精度，但不适用于无法使用标定物的场合。例 如，在很多情况下，由于存在经常性调整摄像机的要求，而且设置己知的定标参照物也不现 实，这时就需要一种不依赖定标参照物的方法，即摄像机自定标方法n 。自定标 ( s e l f - c a l i b r a t i o n ) ，试图仅利用摄像机在运动过程中周围环境的图像与图像之间的对应关系对 摄像机进行标定。其优点在于不依赖于标定装置而在线进行。目前已有的自标定技术可以分 为利用绝对二次曲线和极线变换性质解k r u p p a 方程的摄像机自标定方法、分层逐步标定法、 基于二次曲面的自标定方法、基于主动视觉的摄像机自标定技术以及其他改进的摄像机自标 定技术。摄像机自标定相对于传统方法有更好的灵活性和实用性，但其精度有待于进一步提 高。 2 2 成像变换与摄像机模型 在图像采集中需要将客观世界的3 d 场景投影到摄像机真的2 d 像平面上，这个投影可 用成像变换描述。最常用的成像变换是几何透视变换，它的特点是，随着3 d 场景与摄像机 之间的距离变化，像平面上的投影也发生变化。在有些场合，特别是场景与摄像机的距离很 大时，也有用正交投影变换近似透视变换的。在正交投影中，景物在像平面上的投影并不随 3 d 场景与摄像机之间的距离变化而变化。 2 2 1 立体成像 立体成像的方式主要由光源、采集器和景物三者的相互位置和运动情况所决定订1 。最简 单的是单目成像，即用一个采集器在一个固定位置对场景取一幅像。此时有关景物的立体信 8 摄像机标定 息是隐含在所成像的几何畸变、明暗度( 阴影) 、纹理、表面轮廓等因素之中的。如果用两个 采集器各在一个位置对同一场景取像( 也可以用一个采集器在两个位置先后对同一场景取像) 就是双目成像。此时两幅像间所产生的视差可用来帮助求取采集器与景物的距离。如果用多 于两个采集器在不同位置对同一场景取像( 也可以用一个采集器在多个位置先后对同一场景 取像) 就是立体成像( 双目成像是其中一种特例) 。 2 2 2 四个坐标系 成像变换涉及不同坐标系统之间的变换，主要涉及四个坐标系统：计算机帧存坐标系、 实际图像坐标系、摄像机坐标系、世界坐标系。 1 计算机帧存坐标系 摄像机采集的图像以标准电视信号的形式输入计算机，经过计算机中的专用数模转换板 卡变换成数字图像。每幅数字图像在计算机内为m x n 数组，m 行列的图像中的每一个 元素( 称为像素，p i x e l ) 的数值即是图像点的亮度( 或称为灰度) 。如图2 1 所示，计算机帧存 坐标系以图像的左上角d 0 为坐标原点，每个像素的坐标( 甜，v ) 表示该像素位于数组中的列 数与行数。 0 1 ( t - o 。v n ) rv1 y 图2 1 计算机帧存坐标系与实际图像坐标系 f i g 2 - 1c o m p u t e rf l a m ec o o r d i n a t e sa r i dt h ea g r l a ji m a g ec o o r d i n a t e 2 实际图像坐标系 帧存坐标并没有用物理单位表示出该像素在图像中的位置，因而需要再建立用物理单位 ( 如毫米) 表示的坐标系图像坐标系。图像坐标系以图像中心点q 为原点，x 轴与y 轴 分别与u ，1 ，轴平行，设d i 在u ，1 ，坐标系中的坐标为( ，) ，每一个象素在x 轴与y 轴方 向上的物理尺寸为出，方，则图像中任意一个象素在两个坐标系下的坐标关系可表示为下 面的公式： x 以= 一+ dx 。 称1 d x 、1 咖分别为沿x ，y 轴的尺度因子。 v = 万y + 吒 咖 。 ( 2 1 ) 9 西安理工大学硕士学位论文 图2 - 2 摄像机成像几何关系 f i g 2 - 2c a m e r ai m a g i n gg e o m e t r y 3 摄像机坐标系 摄像机成像几何关系可由图2 2 表示，其中0 点称为摄像机光心，z 轴和r 轴与图像 的x 轴与y 轴平行，互轴为摄像机的光轴，与图像平面垂直。光轴与图像平面的交点，即为 图像坐标系的原点，由点d 与置，e ，互轴组成的直角坐标系称为摄像机坐标系。 4 世界坐标系 由于摄像机可安放在环境中的任何位置，我们在环境中还选择一个基准坐标系来描述摄 像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系，由x ，】，z 轴组成。它是客观世界的绝对坐标，因此也称为客观坐标系统。一般的3 d 场景都是用这个 坐标系统来表示的。 摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵r 与平移向量f 来描述。空间中 某一点尸在世界坐标系与摄像机坐标系下的齐次坐标如果分别是( l ，匕，乙，1 ) 2 与 ( ( 置，艺，z c ，1 ) 。，存在如下关系 x ： 艺 z c 1 = 瞄 x y z l = m x 】厂 z l ( 2 2 ) 其中，r 为3 3 正交单位矩阵；f 为3 x l 平移向量；0 = ( o ，0 ，o ) 1 ；m 为4 x 4 矩阵。 2 2 3 摄像机模型 1 线性摄像机模型 在线性投影模式下，物体点p ( 鼍，e ，z c ) 和光心的连线与图像的交点为它在图像上的像 点p ( x ，y ) 。根据透视投影模型有如下关系 1 8 1 ： x f y f、。 瓦2 瓦瓦2 一z c j 将上式写成齐次坐标与矩阵形式： 1 0 门一 摄像机标定 000 l f00i ol o j x c k 乙 1 由式( 2 1 ) 和式( 2 4 ) 口- - i 得物体点p 的世界坐标和它的图像坐标之间的关系： 抖乙 1 1 j z _ + u o a x y 。 茅+ v o l = z c f - 舌厂0 。0 三t lo 01 o l j 1 瓦o o 圭v o 砂 001 x 。 匕 乙 1 i = 年o o 缎 ， 0 j z ，- v o 0 砂 o0l0 云1 o ，、 1 o 万 oo1 x 。 匕 乙 1 h 历” 1 五o 1 o 万 o0l = m 1 m 。= 凇。 ( 2 4 ) ( 2 5 ) m 为内部参数，必为外部参数，m 就是投影矩阵。 如果已知道摄像机的内外参数( 投影矩阵m ) 对任何空间点p ，如己知它的坐标 x = ( x ，y ，z ，1 ) 。就可求出它的图像点p 的位置( “，v ) 。反之，如果已知图像坐标，和膨矩阵 是不能求出p 点的坐标的，因为m 是不可逆矩阵，由式( 2 4 ) 给出的三个方程中消去乙，只 可得到关于x ，】，z 的两个线性方程，由这两个线性方程组成的方程组即为射线o p 的方 程，也就是说，投影点为p 的所有点都在该射线上。 由标定点求投影矩阵的方法： 将上式写成如下形式 m 1 2 m 1 3 m 2 2 m 2 3 m 3 2 m 3 3 x d 圪 z d 1 ( 2 6 ) ( 扎，瓦，z 州) 为第f 个标定点的世界坐标。( ，v ) 为对应的图像坐标。将上式写成方程的形 式 乙吩= 确l 以+ 码2 圪+ 3 z 二+ 确4 乙= l 九+ 圪+ ，1 2 3 乙+ 乙= l x a + 鸭2 圪+ 鸭3 乙+ 消去乙后得 k f 强l + 匕f 2 + 乙现3 + 4 一担i i 心1 一”f 匕鸭2 一”f z w 鸭3 扎坞l + 匕+ 乙，+ 一l ，鸭l 一匕匕鸭2 一乙，鸭3 ，o o 。l = 1j x y 1 。l 乙 lj t l 2 3 册 m 胍 。l i l 1j 咋坼1 。l 乙 西安理工大学硕士学位论文 如果已知疗个世界坐标的点，和它们相对应的图像坐标点，可得到2 刀个关于m 矩阵元素的 线性方程 k l匕l乙l 1000 0 一k l一坞瓦l一z 州 0 0 0 0 k l乓lz 们 1 一m k i v l 匕lv l z 川 k 匕z 。 10000 0000 kkz 肼1 一匕 一蟛易 m ，k 1 】l 鸭4 甜 ，4 k 厅b 4 ( 2 7 ) 在式( 2 7 ) 中，我们令鸭。为1 ，可得到具有1 1 个未知量的线性方程，这样，由已知的 6 个空间点及它们相应的图像坐标，就可得到m 矩阵。实际标定时需要多一些点，以便采 用最小二乘法求解，降低误差的影响。 2 非线性摄像机模型 在实际成像过程中，一般都会存在非线性畸变，线性模型不能够准确的描述成像几何 关系 1 9 - 2 0 1 0 描述非线性畸变可用下列公式 x = x + 疋( x ，y )y = y + 6 ，( z ，y ) ( x ，y ) 为由线性模型计算出来的图像点坐标的理想值，( x ，y ) 为实际的图像坐标。疋，艿，为 非线性畸变，它与图像点在图像中的位置有关。 t ( 训) = 毛x ( x 2 + y 2 ) + ip l ( 3 x 2 + y 2 ) + 2 p ：x yh ( x 2 + y 2 ) 6 y ( x ，y ) = k a y ( x 2 + y 2 ) + lp ：( 3 x 2 + 少2 ) + 2 a 砂l 坞( x 2 + y 2 ) 第一项为径向畸变，第二项为离心畸变，第三项为薄棱镜畸变。一般情况下，径向畸 变已经足够描述非线性畸变。 如果只考虑径向畸变则，描述非线性畸变的公式可写为 x = x ( 1 + 墨，2 ) y = y ( 1 + k 2 r 2 ) 其中：，2 = x 2 + ，。该式表明，x 方向与y 方向的畸变相对值( 瓯x ，8 y y ) 与径向半径 的平方成正比，即在图像边缘处的畸变较大。 2 3t s ai 两步法标定 2 3 1 带有透镜径向畸变的摄像机模型 这是对小孔成像模型的一个修正，它考虑了沿径向的畸变1 2 1 1 如图2 3 所示。 1 2 ， 2 3 4 q 2 3 博 2 b肭批肌肌胞胞膨胞鹏脾肚 摄像机标定 图2 - 3 考虑透镜径向畸变的小孔摄像机模型( 前投影模型) f i g 2 - 3c o n s i d e rr a d i a ld i s t o r t i o nl e n so f t h ep i n h o l ec a m e r am o d e l 设( ，凡，乙) 是三维世界坐标系中物体点p 的三维坐标。( x ，y ，z ) 是同一点尸在摄像 机坐标系中的三维坐标，摄像机坐标定义为：中心在d 点，z 轴与光轴重合。( x ，l ，) 是中 心在q 点平行与x ，y 轴的图像坐标系。有效焦距厂是图像平面和光学中心的距离。( 五，艺) 是在理想小孔模型下p 点的图像坐标，( 蜀，巧) 是由透镜畸变引起的偏离( 丘，e ) 的实际图 像坐标。需要注意的是图像在计算机中的坐标( x ，e ) ，的单位是像素数，所以需要将物 体点的三维坐标( ，儿，乙) 变换到图像平面坐标。 1 变换的步骤为 ( 1 ) 三维空间刚体位置变换从( ，凡，乙) 到( x ，y ，z ) h_ lyl = r iy ，i + t ( 2 9 ) h【z wj 式中只为3 3 的正交变换阵：t 为3 x l 的平移矢量。 ( 2 ) 假设z 厂，那么小孔摄像机模型下的理想投影变换为 trrx 五。2 ，_ y ：厂z - _ ， z ( 3 ) 用一个二阶多项式近似径向的透镜畸变 x = 髟= 五( 1 + 扫2 ) 1l 】，= 艺= 艺= ( 1 + k r 2 ) qj 式中厂2 = 研+ 野；k 为畸变系数。 ( 4 ) 实际图像坐标到计算机图像( 帧存) 坐标变换 ( 2 1 0 ) ( 2 1 1 ) 西安理工大学硕士学位论文 x ，= n x + x 1 i ：n y l y + y 。 ( 2 1 2 ) 式中( 置，艺卜计算机图像中心坐标( 即图中d f 点的帧存坐标) ； ( m ，卜图像平面上单位距离上的像素点数。 2 需要标定的参数 ( 1 ) 外部参数 图2 3 中物体点从世界坐标系至摄像机坐标系的平移r 和旋转变换矩阵置中的参数称为 外部参数，外部参数有6 个，它们是相应与足的用欧拉角表示的侧倾角西、俯仰角p 、旋 转角9 ，及相应于平移矢量t 的三个分量c ，l ，t ：。于是旋转矩阵r 可以表示为9 6 、0 、 9 的函数。 lc o s 妒c o s oc o s q 自s i n o s i n t p s i n 妒c o s c p c o s q 6 l s i n o c o s c p s i r 矽s i m pl r = i5 f 却c o s os i n d ? s i n o s i n q d + c o s 咖c o s q , s i n 妒s i n o c o s c p + c o 和s i n c pl ( 2 13 ) 【