（通信与信息系统专业论文）关于摄像机标定与三维重建技术的研究.pdf

捅要 摘要 视觉是人类获取信息、认识世界的重要途径。计算机视觉就是用计算机模拟人眼的 视觉功能，从图像中提取信息，对客观世界的三维景物和物体进行形态和运动识别。在 最近三十年内，计算机视觉技术有了突飞猛进的发展，其应用范围遍及工业、农业、医 学、军事等多个领域。 摄像机标定是计算机视觉领域中的关键技术，标定的过程是通过建立摄像机图像像 素位置与场景点位置之间的关系，最终确定摄像机内部几何和光学特性( 内部参数) 以及 摄像机在三维空间坐标系中的位置和方向( 外部参数) 。摄像机标定的精度直接影响着整 个视觉系统的精度，此项技术也是三维重建技术得以实现的重要基础。 三维重建技术是研究如何通过二维信息来获取物体在空间中的三维信息的技术，它 涉及到的学科非常广泛，包括特征点提取、图像匹配、摄像机标定、多视图几何理论、 数值分析方法、计算机图形学等多个领域的理论，具有广泛的应用前景。 本文针对计算机视觉中摄像机标定和三维重建技术进行了较深入的理论研究和充 分的实践工作。分析了摄像机标定的多种实现方法，并针对双目和多目视觉系统等多种 应用场合，提出了一些切实可行的摄像机标定方法。结合实验，总结出了影响摄像机标 定精度的诸多因素。实现了一种基于图像序列的三维重建技术，对其中涉及到的特征点 提取和匹配、射影重建、摄像机自标定、稠密匹配等技术进行了详细的阐述。在若干具 体环节上提出了一些有效的方法，如误匹配点的剔出、基准图像对的选择、重叠匹配、 添加图像的选择，自适应r a n s a c 算法求解运动等等。实验证明，本文实现的三维重建系 统能够较好的还原出实际物体的外观，并且具有较高的重建精度。 关键词：摄像机标定；三维重建；特征点提取；图像匹配 a b s t r a c t a b s t r a c t v i s i o ni sas i g i l i f i c a n tw a ) 7t 0a c q u i r ei n f o m a t i o na i l dc o 印i z et h e 、o r l d c o m p u t e r v i s i o n ，s i m u l a t i n gt h ef u c t i o no fh u m a j l se y e s ，i st h ep r o c e s se x 仃a c t i n gi n f l o 肿a t i o n 舶m i m a g ea n dd i s t i n g u i s h i n gt h es h a p ea i l dm o t i o no fm e3 ds c e n e sa 1 1 do b j e c t s i i ll a t e s e t3 0 y e a r s ，t l l et e c l l l l o l o g i e so fc o m p u t e rv i s i o nh a v ed e v e l o p e ds h a 叩l ya n dt h e 印p l i c a t i o ni s i n v o l v e di nm a l l ya r e a ss u c ha si n d u s t a g r i c u l t u r e ，m e d i c i n e ，m i l i t a d ，a f r a i r sa n ds oo n c 锄e r ac a l i b r a t i o ni sas i g n i f i c a n tt e c l u l i q u ei nc o m p u t e rv i s i o n i ti s t 1 1 ep r o c e s so f d e t e m i i l i n gt h ei n t e m a lc 锄e r ag e o m e t r i ca i l do p t i c a lc h a r a c t e t i s t i c s ( i n t r i n s i cp 觚哪e t e r s ) a 1 1 dm e3 dp o s i t i o na i l do r i e n t a t i o no ft l l ec 锄e r as y s t e mr e l a t i v et 0ac e n a i n 、o r l d c o o r d i n a t es y s t e m ( e x t r i n s i cp a 眦l e t e r s ) t h ee x a c t i o no ft 1 1 ec a l i b r a t i n gr e s u l t sa f r e c t st h e p r e s i o no ft h e ，h o l ev i s i o ns y s t e m sa i l d t h et e c l l i l i q u eo fc 锄e r ac a l i b r a t i o ni sa l s ot h e i m p o r t a i l tb a s i so f3 dr e c o n s t n l c t i o n t l l et e c h n 0 1 0 9 yo f3 dr e c o n s t m c t i o ni s 廿l er e s e a r c ho fh o wt og e tt h e3 di n f o 吼a t i o n f 如mt 1 1 e2 di n f o 肌a t i o no ft h eo b j e c t s nr e f e r st oab r o a ds c o p es u c ha st h ep r i n c i p l e so f f e a n l r ep o i n t se x t r a c t i o n ，i m a g em a t c h i n g ，c a m e r ac a l i b r a t i o n ，m u l t i p l ev i e wg e o m e t 】 c o m p u t e r 伊a p 王l i c sa i l ds oo n s o ，i th a sap r o s p e r i t ef u _ t u r e t h i sp 印a rh 2 l sf i n i s h e dad e e pt l e o r e t i cs t u d ya i l ds u 伍c i e n tp r a c t i c a lw o r k s n 柚a l y z e s s o m ep r a c t i c a lm e m o d so fc 锄e mc a l i b r a t i o na n dp m p o s e ss o m ep r i a c t i c a lm e t h o d sf o r v a r i o u sc o n d i t i o n ss u c ha st w ov i e w sa n dm u t i v i e w sv i s i o ns y s t e m s w i me x p e r i m e n t a l r e s u l t s ，s o m ef a c t o r sa 虢c t i n gt h ep r e c i o no fc a l i b r a t i o na r ec o n c l u d e d at e c l l l l i q u eo f3 d r e c o n s t r u c t i o ni sf i n i s h e di nm i sp 印e ra i l ds e v e r a lt e c h n o l o g y ss u c ha u sf e a n l r ep o i n t e x 仃a c t i o na n dm a t c h i n g ，p r o j e c t i v er e c o n s t m c t i o n ，c 锄e r as e l f - c a l i b r a t i o n ，d e l l s em a t c h i n g ， 3 dc o n s 仃l j c t i o na r ec 1 撕f i e d s e v e r a le 筋c i e n tm e t h o d sa r ep r o p o s e di ns o m eb r i e fp r o c e s s e s ， s u c ha st h em e m o do fe 1 1 r o rm a t c h e se x c l u s i o n ，c h o i c eo fb a s i cv i e w s ，o v e r l a pm a t c h i n g ， c h o i c eo fa d d i n gi m a g e ，s e l f 二a d a p t i n gr a n s a co fc o m p u t i n gt h ec 锄e r am a t r i xa 1 1 ds oo n t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h es y s t e mo f3 dc o n s t r u c t i o nc a nr e c o v e rt 1 1 eo r i g i n a l a p p e a r a n c eo f t l l er e a io b j e c t sw i t ha h i g h e rp r e s i o n k e yw o r d s ：c 锄e r ac a l i b r a t i o n ； 3 dr e c o n s t m c t i o n ； f e a t u r ee x t r a c t i o n ； i m a g em a t c t l i n g 河北大学 学位论文独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写的研究成果，也不包含为获得河北大学或其他教育机构的学位或证书 所使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示了致谢。 作者签名：日期：竺i 年鱼月上同 学位论文使用授权声明 本人完全了解河北大学有关保留、使用学位论文的规定，即：学校有权保留并向国 家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。学校可以公布 论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 本学位论文属于 1 、保密口，在年月同解密后适用本授权声明。 2 、不保密砂。 ( 请在以上相应方格内打“ ) 作者签名： 导师签名： 玉兰 日期：盟年厶月上同 日期：塑年厶月r 保护知识产权声明 本人为申请河北大学学位所提交的题目为薛专鼢椭多稚鼋蘧拯龋存魄 的学位论文，是我个人在导师连生) 指导并与导师合作下取得的研究成果，研 究工作及取得的研究成果是在河北大学所提供的研究经费及导师的研究经费资 助下完成的。本人完全了解并严格遵守中华人民共和国为保护知识产权所制定的 各项法律、行政法规以及河北大学的相关规定。 本人声明如下：本论文的成果归河北大学所有，未经征得指导教师和河北大 学的书面同意和授权，本人保证不以任何形式公开和传播科研成果和科研工作内 容。如果违反本声明，本人愿意承担相应法律责任。 声明人：趁垒筮日期：丛年南上日 作者签名： 导师签名： 日期：2 竺塑l 年l 月二同 ， 日期：塑监年厶月上日 第1 章引言 1 1 选题背景及其意义 第1 章引言 视觉是人类获取信息、认识世界的重要途径。当人的眼睛从自己周围的环境获取大 量信息，并传入大脑后，由大脑根据知识或经验，对信息进行加工、推理等处理工作， 最后识别、理解周围环境。计算机视觉就是用计算机模拟人眼的视觉功能，从图像或图 像序列中提取信息，对客观世界的三维景物和物体进行形态和运动识别。 在近三十年内，计算机视觉技术有了突飞猛进的发展，尤其是三维立体视觉的应用 越来越广泛。在医学上，通过透视扫描可以重建出内脏的三维模型，有利于对病人病情 的分析；在军事上，通过拍摄实战场地来重建出战场模型，从而实现在虚拟场景中指挥 作战；在考古上，可以将历史古迹进行重建，并在虚拟场景中对损坏的部分进行修复， 从而恢复出文物本来的模样；在动画和影视上，运动捕捉系统可以捕捉到人的动作和表 情，并将其很好的应用到电影、动画、游戏制作中；利用立体视觉原理制作出来的三维 扫描仪，可以实现被拍摄物体的高精度三维建模，其重建出的三维模型可以很好的用于 数字雕刻、模型铸造等方面；利用三维虚拟现实技术，三维视觉系统可以实时的捕获人 的动作，并能够实现人与虚拟环境的交互：不久前，我国嫦娥一号环月卫星传回了月球 表面的三维立体图像，其也向世人昭示了立体视觉技术的巨大应用前景。 1 2 课题来源及研究现状 摄像机标定技术是立体视觉中的一项关键技术，也是计算机视觉领域中从二维图像 获取三维空间信息必不可少的步骤。标定的过程是通过建立摄像机图像像素位置与场景 点位置之间的关系，最终确定摄像机内部几何和光学特性( 内部参数) 以及摄像机在三维 空间坐标系中的位置和方向( 外部参数) 。般地，摄像机标定可分为两种：基于标定物 的标定方法和自标定方法。 基于标定物的标定方法需要使用经过精密加工的标定物，通过建立标定物上的三维 坐标己知的点与其图像点间的对应，来计算摄像机的内外参数。该方法应用广泛，其优 1 河北人学t 学硕十。7 ：何论文 点在于可以获得较高的标定精度；但其标定过程费时费力，不适用于现场标定和不能使 用标定物的场合。 2 0 世纪9 0 年代初，f a u g e r a s ，h 积l e y 等提出了摄像机自标定的概念，使得在场景 未知和摄像机任意运动的一般情况下的标定成为可能。f a u g e r a s 首先从射影几何的角度， 利用两幅图像间存在着两个形如鼬u p p a 方程的二次非线性约束，通过直接求解l 锄j p p a 方程组求解出内参数1 。之后人们提出并完善了分层重建理论，利用逐步标定的思想出 现了以h a r t l e y 的q r 分解法、t r i g g s 的绝对二次曲面法m 1 、p o l l e f e y s 的模约束法等为 代表的标定方法。针对在实际应用中摄像机内参数会实时改变的情形，p o l l e f e y s 等研究 出了可变内参数下的摄像机自标定方法3 。 作为立体视觉研究中要解决的重要问题之一的三维重建技术，近几年受到了国内外 学术界越来越多的关注和重视。尤其在攻克了摄像机自标定技术问题之后，三维重建技 术得到了快速的发展和广泛的应用。在三维重建技术中，通过拍摄物体的多幅图像，最 终恢复出物体和摄像机在实际场景中的位置关系，并且还原出物体真实的三维形状。此 项技术涉及到特征点提取、图像匹配、多视图几何理论、数值分析方法、计算机图形学、 三维建模等多个领域的理论和技术难题。三维重建系统的构建需要很多的流程和环节， 其中每一细节都直接影响到最终重建的效果。近年来，研究人员对三维重建技术进行了 广泛的研究并取得了显著的进展，但此项技术中仍然存在一些未解决的难题，需要人们 在今后的工作中做进一步的研究。 1 3 本文所做工作 本文针对计算机视觉领域中的摄像机标定和三维重建技术进行了较深入的理论研 究和较充分的实践工作。分析了摄像机标定的多种实现方法，并根据不同的应用背景， 提出一些具有切实可行的摄像机标定方法。实现了基于图像序列的三维重建技术，对其 中涉及到的特征点提取和匹配、射影重建、摄像机自标定、稠密匹配等技术进行了详细 的阐述。 本文所作具体工作如下： ( 1 ) 对立体视觉技术中涉及到的基本理论和数学方法进行了阐述，包括射影几何原 理、双视图几何原理、摄像机自标定理论等。 2 第1 章引言 ( 2 ) 分析了摄像机标定的多种实现方法，并针对双目和多目视觉系统等多种应用场 合，提出了一些简便实用的摄像机标定方法。结合实验，总结出了影响摄像机标定精度 的诸多因素。 ( 3 ) 设计出一种基于图像序列的三维重建系统，详细地阐述了系统实现的流程，对其 中涉及到的特征点提取与匹配、图像间关系建立、运动与结构的更新、自标定、稠密匹 配等多种技术进行了研究，详细地阐述了若干具体环节的实现方法，如误匹配点的剔出、 基准图像对的选择、重叠匹配、添加图像的选择，自适应蝌s a c 算法求解运动等。 本文的具体结构如下： 第l 章首先介绍选题背景和研究现状。 第2 章详细阐述了立体视觉中的2 d 和3 d 几何原理以及摄像机的成像模型。 第3 章详细阐述了了两视图几何理论以及涉及到的相关原理。 第4 章分析几种实用的基于标定物的摄像机标定方法，对于标定的具体实现方法进 行了详细的介绍，并结合实验，总结出了影响摄像机标定精度的诸多因素。 第5 章阐述了摄像机自标定理论，介绍了几种重要的摄像机自标定技术的实现方法。 第6 章介绍了本文设计的基于图像序列的三维重建系统的全部流程，对涉及到的相 关技术进行了详细的阐述。利用本文设计的系统对某场景进行了重建实验，给出了各流 程的实验结果，并附有重建效果图对重建结果进行展示。 3 河北人学t 学硕十学伊论文 第2 章射影几何原理概述 射影几何原理是立体视觉分析的数学基础，其也是构成本文理论体系的最基本的依 据。本章首先概述了点、面、线、二次曲线、二次曲面等元素在2 d 和3 d 射影几何中的表 示形式，并介绍了空间变换的层次和性质。然后针对摄像机的几何成像原理，详细介绍 了摄像机成像模型。对摄像机模型的分析是研究摄像机标定和三维重建理论的重要基 础。 2 12 d 射影几何原理 2 1 1 平面上点和直线的表示方法 对于摄像机拍摄到的二维图像，可以将图像上的像素坐标化。我们用一对二维坐标 似来表示平面上的一点。这里，引入点和线的齐次表示。 ( 1 ) 平面上直线的齐次表示 平面上的一条直线可用形如缄+ 砂+ c = 0 的方程来表示，因此一条直线可以用矢量 f ，口，6 ，c 夕7 表示。对于任意非零的七，矢量r 口，6 ，c 夕r 与足阳，6 ，c 夕r 表示同一直线，即这两个 只相差一个缩放因子的矢量是等价的。这种等价关系下的矢量等价类被称为齐次矢量。 ( 2 ) 平面上点的齐次表示 点聊= f ，x ，y ，) 7 在直线，= f ，口，6 ，c 夕r 上可表达为饿+ 砂+ c = 0 。用矢量内积的形式可表 示为厂x ，彭1 夕f ，口，6 ，c 夕r = f ，五y ，l 夕，= 0 ，即把“1 ”作为增加的最后一个坐标使其增加一维为 三维。因而得到一个点的二维齐次坐标为所= f ，x 。，x ：，x ，夕r ，其表示二维点 聊= f ，x i x 3 ，x 2 x 3 ) 7 1 。从而可知，当x 3 = d 时m 表示无穷远的点。 2 1 2 平面上的二次曲线与对偶二次曲线 ( 1 ) 二次曲线 4 甜2 + 吣+ 秒2 + 出+ 缈+ = o( 2 1 ) 对应于一个二阶多项式，通过替代x = 一x 3 ，y = x ：x 3 齐次化得到 锻1 2 + 如l x 2 + 蹦2 2 + 出1 + 聒2 + 办3 = 0( 2 2 ) m 7 锄= o 其中c = l 6 2 c口2 ( 2 3 ) i 口6 2d 2 i d 2p 2 厂i 在齐次坐标下，过二次曲线上点朋的切线，可以表示为，r 所= d ，由( 2 3 ) 式可以得 ，= c m 或所= c - 1 ， ( 2 - 4 ) f ，c 1 ，) rc f ，c 一1 ，夕= ，r c 一1 ，= ，r c ，= o ( 2 5 ) 2 23 d 射影几何原理 2 2 1 三维点的表示 与平面上2 d 坐标的表示方法类似，三维空间的一点m 用齐次坐标表示为一个4 维 矢量。具体的说，当x 。o 时，齐次矢量m = 似，x 2 ，x ，。x 。) 表示三维空间中非齐次坐 标( x y z ) 7 的点，其中 x = x ，x ，x = x ? x ，z = x ，x j( 2 6 ) 5 河北人。学+ i ：学硕十学伊论文 例如，伍f z ) r 的一种齐次形式可表示为m = 伍，z ，j j7 1 ) 。当x 。= o 时，m 点表示三维 空间中的无穷远点。 三维空间上的射影变换是由非奇异4 x 4 矩阵给出的，它是关于齐次4 维矢量的线性 变换。点m 付m 的射影变换可以表示为 m = h m ( 2 7 ) 变换矩阵日是齐次的4 x 4 矩阵，并有1 5 个自由度。 2 2 2 三维空间中平面的表示 在三维空间中，齐次坐标下的平面可以写成 丌l 五+ 万2 五+ 丌3 五+ 7 r 4 托= 0 、 ( 2 8 ) 因此，平面可以用4 维矢量兀= ( ，巧2 ，万，7 r 。) r 来表示。同时，( 2 - 8 ) 式可以更简洁的记成 兀7 1 m = 0 ( 2 9 ) 其中，7 r 的前3 个分量对应于欧式几何中平面的法线，因此( 2 9 ) 可变成3 维矢量形式下 的平面方程 元厨+ d = 0 ( 2 1 0 ) 其中亓= f ，石，乃，乃) 7 ，觑= ( x ，】，z ) 7 ，而d = 7 r 。在此式中d 硎，z l | 是原点到平面的距离。 类似于点的射影变换，平面的射影变换可以表示为 石= 日一7 万 ( 2 1 1 ) 2 2 3 二次曲面与对偶二次曲面 三维空间中，三维空间点m 在二次曲面上满足下列方程 m 7 叫= o( 2 1 2 ) 其中q 即为二次曲面的矩阵表示形式，它是一个4 x 4 的对称矩阵。在点的射影变换 m = h m 下，二次曲面相应的变换为 6 第2 苹射影j 乙伺原理概述 q = 日一r 妒一( 2 1 3 ) 上述二次曲面是以点来定义的，同样可以用平面的方程定义对偶二次曲面：点二次曲面 q 的切平面石满足 兀7 咖= o ( 2 1 4 ) 其中q + 是q 的伴随矩阵，如果q 可逆，则q 为9 。同样对偶二次曲面的变换为 q ，= 幽日7 ( 2 1 5 ) 当q 的秩为3 时，得到的是退化的二次曲面。 2 2 4 空间变换的层次 表2 1 各种空间变换的对比 变换变换矩阵条件失真 不变性质 _ 射影 彳f 和哟3 舳意矩阵相冒 切 y r1 - 么f一! 1 平面的平行性，无穷远 仿射咖矩阵 母平砜( 胧5 节) o 7 1 s rt 意常数船f 柏 雌瓯饥 相似 o 7 1 欧式刚同上一体积 三维空间射影变换存在着几种特殊情况，每一种特殊情况都是一种子群，并可以由 它的矩阵形式来刻画。如前所述( ( 2 - 7 ) 式) ，空间变换是由变换矩阵麒4 x 4 ) 决定的，当日 矩阵里面元素满足不同条件时，变换可分为：射影变换、仿射变换、相似变换、欧式变 换。前两者相应的重建结果分别为射影重建、仿射重建，后两者重建结果只差一个尺度 因子，不影响重建结果的效果，因此一齐称为度量重构。三维空间中，由点组成的物体 7 河北人学i j 学硕十学位论文 经过不同的变换后所得到的失真效果不同，每种变换所保留的不变的性质也不同。我们 把它们概括在表2 1 中。三维重建的任务就是实现度量重构，以恢复场景的真实形态。 2 2 5 无穷远平面 三维空间中所有的无穷远点组成一个平面，称这个空间平面为无穷远平面。由( 2 8 ) 式可知，当平面的齐次坐标满足万。= f ，o ，o ，o ，万4 夕7 f ，万。o ) 时，其表示所有无穷远点的 集合，即无穷远平面。其标准形式为7 r 。= f ，o ，0 ，0 ，1 ) 7 。无穷远平面是在任何仿射变换下 保持不动的平面，但它在射影变换下是移动的。 2 3 摄像机模型 2 3 1 摄像机基本针孑l 模型 图2 1 摄像机针孔模型 摄像机的基本成像模型，通常表示为针孔模型，可由三维空间到平面的中心投影变 换给出。如图2 - 1 所示，令空间点d c 为投影中心，它到成像平面万的距离狮空间点心 在平面刀上的投影( 即像) m ，是以点q 为端点并经过点心的射线与平面石的交点。平面 7 r 称为摄像机的像平面，点q 称为摄像机中心( 或光心) ，称为摄像机的焦距，以点q 为 端点且垂直于像平面的射线称为光轴或主轴，主轴与像平面的交点朋。称为摄像机的主 点。在图像平面上，以主点肌。为像平面坐标系的坐标原点d ，以水平线与铅直线分别为 x 轴枷轴，建立图像坐标系唧。在三维空间中，以摄像机中心q 为摄像机坐标系的坐 标原点，以主轴为乙轴，以平行于x 轴且通过摄像机中心d f 的直线为x 。轴，以平行于y 轴且通过摄像机中心q 的直线为轴艺，建立摄像机坐标系0 f 丘t z c 。空间点m 。在摄 像机坐标系中的坐标记为厨。= r x 。，e ，z 。夕r ，它的像点m 在图像坐标系中的坐标记为 历= 似，y 夕7 。根据三角形相似原理，可推知空间点m 。与它的像点m 满足下述关系： 仁轰笼 亿峋 【y = 皿z 。 、 枷黜嘲丘 亿 其中m 。= f ，t ，艺，z f ，1 夕7 ，m = f ，x ，y ，1 夕厂分别为空间点和图像点的齐次坐标。如果记 2 3 ，2 摄像机内部参数模型 用于计算机处理的图像通常都是用c c d 摄像机所获取的数字图像，或者是由模拟信 号摄像机获取的图像再经过特别设备进行数字离散化的数字图像。，一般情况下，数字图 像上的像素点阵坐标可用来作二维图像坐标。因此，摄像机成像过程不能直接由针孔模 9 删j 匕人亍：i 。亍：缈! t 了：何化又 标为纸= f ，x 。，蜘夕r ，则摄像机内部参数矩阵变为： k = p 2 。，k = jo厂i( 2 2 0 ) lo o1 i 离散化后的像素是一个矩形，矩形的长与宽分别为矾、矾。设图像点f ，五j ，1 ) 7 在离散化 1 m 酮 p 刎 1 罩馏 p 2 2 ， f dx 一知t g e fd x x a y t g e ) dx k = l o 厂s 加p d y y os 加p 由 i ( 2 - 2 3 ) loo l i k = 4 ， 其中a = 厂d ，卢= 厂s 加臼d 。为摄像机在“轴和v 轴方向上的尺度因子， 1 0 第2 章射影几何原理概述 倾斜因子。 2 3 3 摄像机内部畸变模型 图2 2 摄像机畸变模型 2 3 2 节所述的摄像机模型为线性的，但是实际中摄像机的镜头都存在畸变，如果要 精确描述摄像机的成像过程，需要对镜头畸变建立模型。 如图2 2 所示，平面7 r 。为摄像机归一化的投影平面，即光心到平面的距离为单位距 离( 产1 ) 。设投影到此平面上点的坐标为p ，理想情况下即无畸变时的坐标记为 仇= f ，x 。，儿，1 夕r ，经过畸变之后的坐标为办= f ，勤，儿，1 夕r 。由( 2 - 1 6 ) 式可知 多。= m 。z 。= 厂x ，z 。e z 1 ，7 ( 2 - 2 5 ) 摄像机镜头畸变分为径向畸变、切向畸变等，其中起决定作用的是径向畸变1 1 ，其畸变 模型由下式表示 n = ，l + 七l ，2 + 也，4 + + 毛，2 一，p 。 ( 2 2 6 ) 其中r = x 。2 + 儿2 为理想像点离主点的距离，t 为摄像机第i 阶畸变系数。由( 2 2 6 ) 式可 知，图像的畸变程度与像点离主点的距离成正比。在实际中，高阶的畸变可以忽略不计， 只考虑1 或2 阶径向畸变已经足够了。由于计算上存在非线性问题，不好直接求解，一般 情况下可先用线性模型计算出初始值，再将畸变模型代入系统中，利用非线性优化方法 将畸变系数求解出来。 河北人学l ：学硕十学伊论文 2 3 3 摄像机外部参数模型 2 3 2 节所介绍的摄像机模型都是以摄像机坐标系为基准的。由于摄像机的中心和主 轴等事先都是未知的，这个坐标系不能给出空间点的具体坐标值。另外，实际中摄像机 可安放在环境中的任何位置，所以需要一个基准坐标系来描述空间点和摄像机的位置。 这个基准坐标系通常称为世界坐标系。 r t 图2 3 世界坐标系与摄像机坐标系的关系 世界坐标系与摄像机坐标系之间的关系可以用一个旋转矩阵和一个平移向量来描 述。如图2 3 所示，令空间点在世界坐标系与摄像机坐标系下的坐标分别为 m = ( ，x ，】，z ，1 j r ，m 。= f ，鼍，z ，乙，1 夕7 ，则它们之间的关系为 m 。= 肼+ ，( 2 2 7 ) 其中r 为3 x 3 的正交矩阵，其称为旋转矩阵，代表坐标系之间的旋转关系；，为3 x 1 平移向 量，代表坐标系之间在三个坐标分量上的平移。r 和f 一起被称为摄像机的外部参数。 综上所述，摄像机成像完整的线性模型可由下式来表示 s 聊= k ( r ，f ) m = 肼 ( 2 2 8 ) 其中，尸被称为摄像机矩阵，它包含着摄像机内部和外部参数信息，实现了摄像机二维 到三维变换关系。 2 4 本章小结 计算机视觉技术是利用摄像机将三维空间中的景物投影到二维图像上，再对二维图 像进行分析并提取出三维信息的过程。由此可知，立体视觉技术是建立在空间几何学上 1 2 第2 章射影几何j 承理概述 的一门科学，因此需要首先引入射影几何的一些概念和原理。 本章主要概述了点、面、线、二次曲线、二次曲面等元素在2 d 和3 d 射影几何中的 表示形式，并介绍了空间变换的层次和性质，这些构成了立体视觉理论分析的具体范畴，- 也是摄像机标定和三维重建技术的数学基础。 本章第3 节详细阐述了摄像机的成像模型。摄像机的成像过程实质为三维空间到二 维平面的一种退化的空间变换，这种变换是通过摄像机矩阵实现的。摄像机矩阵由内部 参数和外部参数，其包含了摄像机的内部特性和摄像机与空间坐标系的位置关系。针对 摄像机镜头的成像畸变，引出了摄像机的畸变模型，由此完整地构建了摄像机的成像特 性。对于摄像机模型的分析是研究立体视觉技术的基础，其中一些重要的原理和公式在 本文后续的文章中也被多次引入。 1 3 河北人学+ l ：学硕+ 学何论文 第3 章两视图几何 犹如人通过双眼能够获取周围环境的位置信息，在视觉系统中，两幅视图构成了从 二维图象中恢复三维信息的最小配置。对两视图几何原理的分析，是立体视觉理论的重 要组成部分，其中涉及到的一些概念和性质也是三维重建理论的重要基础。 3 1 对极几何 图3 一l 两视图对极几何 图3 1 表示的是两视图的对极几何关系： 通过两个摄像机光心0 和0 的平面丌称为极平面。两个摄像机光心的连线称为基线， 任意两张极平面均相交于基线，所以极平面的全体构成共基线的平面束。两个摄像机的 极几何由极平面导入。 极平面与摄像机像平面的交线称为极线。同一张极平面万与两个摄像机像平面的交 线，称为一对对应的极线。显然，极平面丌上任一点朋在第一个摄像机像平面上的投影 聊必位于极线，坍，上；同样，点m 在第二个摄像机像平面上的投影聊必位于极线上。肌，m 通常被称为点对应，并记作所h 聊。搿和瑶分别为朋和聊的反投影线。 基线与像平面的交点称为极点。两个摄像机像平面上的极点分别记为巴p 。显然，e 是第二个摄像机光心在第一个摄像机像平面上的投影，p 是第一个摄像机光心在第二个 摄像机像平面上的投影。由于所有极平面都通过基线，所以第一个像平面上的所有极线 都相交于极点p ，从而第一个像平面上的所有极线构成共极点e 的平面线束；同样第二个 1 4 第3 苹两视图儿何 像平面上的所有极线构成共极点p 的平面线束。 总结上述讨论可得到对极几何约束：若存在聊付聊7 ，则m 必位于肌对应的极线 上，历必位于m 对应的极线，上，即，z z 小聊乇。此约束没有利用场景的任何几何 结构信息，因此对极几何约束与场景的几何结构无关，它是两幅图像间的固有射影性质。 3 2 基本矩阵 的反投影线搿的参数方程为 = p 肌= ( p d ) ( 尸( s ) ) = ( ( p d ) ( 尸，尸+ m + 妒d ) = ( 尸d ) ( 尸，p + m ) = 【e 】。p 9 + 肌( 3 2 ) f - d 一吩乃 ( 这里，用k l = i 乃 d qi 表示三维向量口= q ，嘭，吩) 7 的反对称矩阵) ，由( 3 2 ) 式 【- 一吒 口， dj ，二= ，p _ ，。尸垆+ 朋( 3 3 ) 应极线间的对应关系： 河北人学。f ：学硕+ 学何论文 由于图像点，z 在第二幅图像上的对应点m 在极线，二上，所以必有 并且有 历，rf 锄= o 凡= o f r p 0 ( 3 - 6 ) ( 3 - 7 ) 因此，基本矩阵赅0 划了两幅图像间的对极几何。 基本矩阵鹏二维空间( 第一个图像平面) 点线性映射到共点线束( 第二幅图像平面上 的极线束) ，而共点线束构成一维空间，因此，的秩必为2 。基本矩阵是一个齐次变换矩 阵，它有8 个参数需要确定，而阳胛尼= 2 导致腑在一个约束沈，仞= d ，因此基本矩阵 一共有7 个自由度。对每一个图像点对应，( 3 6 ) 式为基本矩阵提供一个约束。所以，在 一般情况下，利用7 对以上的图像点对应就可以确定基本矩阵。 假定两个摄像机的内参数矩阵为肺k ，则第二个摄像机相对于第一个摄像机的方 位为俾，移，则第一与第二个摄像机的投影矩阵可表示为 尸= k 厂，10 ，p = k 7 厂尺if _ 7( 3 - 8 ) 经过推导可以得到 ，= ，k f 7 。k 胀= k ，。麒= k 一胀7 1 厂艘7 1 f ，。( 3 9 ) 可见，基本矩阵蕴含了所有摄像机参数信息。但是单纯根据已知的基本矩阵无法求解出 摄像机的内外参数。 基本矩阵的求解方法有8 点法【2 5 1 、7 点法等。实际中通常采用7 点r a n s a c 方法【7 】 对基本矩阵进行估计。 3 3 由基本矩阵实现摄像机对的射影重构 到 根据摄像机投影模型，一空间点m 投影到摄像机对俾p ) 上的图像为似，聊：) ，可以得 篇三篇俘虢 p m t - p lm = ( p lh ) ( h 。、m ) = p im 其中日为任意非奇异的4 x 4 空间射影变换矩阵，( 户= 朋，户，= 尸，日) 为经过膨变换后得到的 1 6 第3 章两视图几何 另一摄像机对，以= 日一m 为m 经过日一1 变换后的空间点。由此可知，已知摄像机对上 的多组对应点，可以唯一确定它们之间的基本矩阵。但是满足此基本矩阵的摄像机对可 能有多个，他们相差一个射影变换矩阵日，即他们是射影相关的。换句话说，在相差右 乘一个射影变换矩阵脚拘意义下，一个给定的基本矩阵可唯一确定一对摄像机矩阵。 基本矩阵由两幅图像间的点对应所确定，两组摄像机对射影相关的充要条件是它们 有相同的基本矩阵。所以，由两幅图像点的对应，可以在射影重建意义下确定两幅图像 的摄像机对，即利用基本矩阵可以恢复射影意义下的摄像机对。在射影意义下恢复摄像 机对，通常也称为两幅图像的射影重构。 鉴于摄像机对射影重建的多义性，我们可以构造出具有规范形式的摄像机对，即令 第一个摄像机矩阵为户= 厂，io _ 7 。经过推导，对于给定的基本矩阵f ，一对规范形式的 摄像机矩阵的一般公式是 p = fl q 】，p t = f fe 3 x f + e v i 九e i 】0 - 、) 其中v 是任意3 维矢量，a 是一任意正标量，p 为第二个视图的极点，可由( 3 7 ) 式求出。 实际中，实现射影重建通常情况下可以选择摄像机对矩阵为 p = 厂，10 ，尸名盯p 7 ，。fp 7 歹 ( 3 - 1 2 ) 此摄像机对矩阵确定后，射影重建出的结果与真实情况只相差一个射影变换矩阵。一 旦日求解出便能将射影重建升级到欧式重建。 3 4 本质矩阵 给定两幅图像似，：) ，令第二幅图像的摄像机相对于第一幅图像的摄像机之间的运动 为俾，砂，在它们的内参数矩阵kk 已知的情况下，可以对两幅图像作规范化变换： 聊。= k 一1 聊，脚。，_ k 一1 聊( 3 1 3 ) f ，聊。，肌。7 为图像点对r 聊，聊夕经规范化后的图像坐标；对整幅图像进行规范化可以得到 两幅新图像f ，。，。) ，称它们为原图像的规范化图像。由( 3 6 ) 和( 3 9 ) 式可以推导出 聊7 7 。f 切= 聊7 1 足h 厂，上兄k 一1 m = 脚。，上尺m 。( 3 1 4 ) 17 河北人学- 广学硕十。亨：何论文 所以，规范化图像l ，。间的极线约束方程必为 朋，厂f 7 。r 研。= o( 3 1 5 ) 即方程( 3 1 5 ) 是由矩阵 e = 厂f _ 7 。r( 3 - 1 6 ) 所确定的，通常称这个矩阵e 为本质矩阵。由( 3 1 4 ) 式可以得到本质矩阵与基本矩阵的关 系如下式 e = ( t l x r = lf k一l n 本质矩阵描述了两幅规范化图像间的极几何，它与基本矩阵一样也是一个秩为2 的 矩阵。由于本质矩阵消去了内参数的作用，所以它与基本矩阵的不同之处是它仅与摄像 机的运动参数有关。因此，从本质矩阵出发可估计出摄像机的欧氏运动参数。 本质矩阵是秩2 的，它仅有5 个自由度。由8 个图像点对应，应用( 3 1 5 ) 式可建立关于 本质矩阵的线性约束方程，因此由点对应可线性求解出本质矩阵阴。另外，在已知基本 矩阵所口内参数矩阵kk 的情况下，通过( 3 1 7 ) 式也可求出本质矩阵e 。 3 5 由本质矩阵估计欧式运动参数 由3 4 节可知，本质矩阵e 中包含着所有外部参数信息，通过对本质矩阵的分解，我 们能够估计出外部参数俾，砂。 由( 3 1 6 ) 式设 e = 7 。尺= 艘 ( 3 - 1 8 ) 玳表一反对称矩阵。因此可以推导出，e 有两个相同的奇异值和一个零奇异值，即对e 进行奇异值分解( s v d ) 网有 e = 咖f ，s ，s ，o ，) y 。 ( 3 1 9 ) 其中泖哟正交矩阵。由于实际中数据存在误差，计算出的e 往往没有零奇异值和两个相 等的奇异值。我们可以将e 的最小奇异值置为零，另两个奇异值置为它们的平均值，从 而可以得到最小二乘意义下的最佳近似。 这罩引入两个特殊矩阵 l r 第3 章两视图儿何 形= o一1o 1oo oo1 z = 01o lo o oo o ( 3 2 0 ) 由反对称矩阵的分解方法【7 】可知，对逝行分解可以得到 s = s 泌u 7 ( 3 2 1 ) 其中哟正交矩阵，s 为任意常数。对z 进行奇异值分解为 z = s 坊昭f ，1 ，1 ，0 夕形 ( 3 2 2 ) 因此，在相差一个尺度意义下可以得到 e = 艘= 咖f ，l ，1 ，0 ) f ，聊，尺( 3 2 3 ) 由( 3 - 2 3 ) 和( 3 19 ) 式可推出 尺= 缈r 或者唧7 矿7 ( 3 2 4 ) 由于s = 【，l ( ，则& = o 。由( 3 1 8 ) 和( 3 2 1 ) 式可知，在相差一尺度下 f = u f ，o ，0 ，1 ，j 7 = 甜3( 3 - 2 5 ) 其中“3 为u 的最后一列。然而，的符号不确定，同时尺有两个解，于是我们能够得到f ，尺，j 的四个解 r u 所蚝j ? r u 聊矿，叫3 夕j r 矿y 7 ，“3 夕j 矿矿7 ，吲3 ) ( 3 2 6 ) 这四绢解的几何解释如图3 2 所示。 图3 2 运动参数四组解的儿何解释 1 9 洞北人。学f ：学硕十学伊论文 图3 2 中，么、b 为左右两摄像机，在实际中，空间点总是位于摄像机前面的，即符 合图3 2 中第一幅图的情况，因此我们需要从利用这个条件从上述这四组解中判断出正 确的解。将上述四组解分别代入摄像机成像模型，分别计算出各摄像机在四组解下的投 影矩阵尸。选取任一点进行三维重构( 见3 7 节) ，使此点的脞标为正的一组解即为正确解。 另外由方程( 3 1 5 ) 可知，本质矩阵e 具有齐次性，其包含一个不确定的尺度因子。因 此，从本质矩阵中提取出来的平移向量f 也是相差一个尺度因子。在不要求精确刻度的场 合如三维模型的重建，这个尺度不影响重建的效果。在实际中，利用实际场景中的一些 已知的距离信息可以计算出f 的尺度。 3 6 单应矩阵 o 图3 3 由空i 司平面诱导的单应 3 1 节所讨论的对极几何约束与场景结构无关，也就是说极几何约束对于任何三维场 景结构的两幅图像都成立。因此它不能给出两幅图像点间的一一对应关系，只能给出点 对应的必要条件，即图像点在另一幅图像上的对应点位于对应的极线上，但不可能给出 对应点的确切位置。本节讨论空间平面在两个摄像机下的投影几何：空间一平面投影到 两个摄像机下的图像点具有一一对应关系，这个一一对应关系是齐次线性的，可由一个 3 阶矩阵即所谓的单应矩阵胨描述。 如图3 3 ，给定两幅视图的摄像机矩阵尸= 厂，io ，、尸，= ，彳i 口，和由石7m = 0 定义 的一张平面，其中7 r = f ，p 7 ，1 ) 7 ，则有 聊7 = p x = 厂彳l 口7 x = 彳m 一印7 历= f ，彳一印。，) 所 ( 3 2 7 ) 上式表明，空间平面上的点在两个摄像机上的投影存在一一对应关系，即 2 0 第3 覃两视图儿何 聊= 砌 ( 3 - 2 8 ) 由此可知，平面在两个摄像机下的图像之间的关系是一个二维射影变换。其中，h 为3 x 3 的可逆矩阵，称为单应矩阵，其实现了从第一个像平面与第二个像平面的一一对应。 一般情况下，两个摄像机的摄像机矩阵的形式为尸= k 厂10 7 ，p ，_ k 厂尺lf 7 。设 空问平面巧的齐次坐标为丌= 阳7 1 ，d ，则由( 3 2 8 ) 式，两摄像机关