（计算机应用技术专业论文）计算机视觉中的摄像机自标定.pdf

两安建筑科技大学硕士论文 计算机视觉中的摄像机自标定方法研究 专业：计算机应用技术一 硕士生：邹华 指导老师：李昌华教授 摘要 随着计算机图形学、模式识别等学科的发展，计算机视觉也有了飞速的发展。摄像 机标定是从二维图像获取三维信息必不可少的步骤，目前，线性( 小孔) 模型摄像机标 定已成为计算机视觉领域的研究热点之。 摄像机标定大体可以归结为两类：传统的摄像机标定方法和摄像机自标定方法。传 统摄像机标定的基本方法是：基于特定的实验条件如形状、尺寸已知的标定物体，经过 对其图像进行处理，求取摄像机的内部参数和外部参数。摄像机自标定方法是：利用多 视图的几何关系，求解基本矩阵，进而得到摄像机的内部参数和还原摄像机的外部参数。 本论文介绍了作为摄像机标定所需要的数学背景的射影几何理论，阐述了传统的线 性摄像机标定方法，并对非线性因素进行了分析。讨论了目前应用广泛的摄像机自标定 方法，并对它的低鲁棒性原因进行了分析。本论文在已有的摄像机自标定的基础上，构 造了种基于纯旋转运动求摄像机内参数的初值，再利用k m p p a 方程迭代求精的方法。 对此方法用c c d 摄像机对参照物拍摄的像片为数据源进行实验，并对实验结果进行分 析。 关键字：计算机视觉摄像机自标定绝对二次曲线k r u p p a 方程基本矩阵 西安建筑科技大学硕士论文 t h e s t u d yo nc a m e r a s e l f - c a l i b r a t i o nt e c h n i q u e s i nc o m p u t e rv i s i o n m a j o r c o m p u t e r a p p l i c a t i o nt e c h n o l o g y n a m e ：z o uh u a i n s t r u c t o r ：p r o f l ic h a n g h u a a b s t r a c t c o m p u t e rv i s i o nt e c h n i q u e sh a v eb e e nd e v e l o p e df a s ta l o n gw i t ht h o s eo fc o m p u t e r g r a p h i c sa n dp a t t e r nr e c o g n i t i o n t h ec a l i b r a t i o no fc a m e r a si sa l li n d i s p e n s a b l es t e pt oo b t a i n 3 dg e o m e t r i ci n f o r m a t i o nf r o m2 i ) i m a g e s t h ec a l i b r a t i o no fal i n e a rc a m e r ah a sb e c o m e o n eo ft h em a j o rr e s e a r c ha r e a si nc o m p u t e rv i s i o nt e c h n o l o g y c a m e r ac a l i b r a t i o nt e c h n i q u e sc a nb ec l a s s i f i e di n t ot w ot y p e s ：t r a d i t i o n a lc a m e r a c a l i b r a t i o na n ds e l f - c a l i b r a t i o n i nt h ec a s eo ft r a d i t i o n a lc a m e r ac a l i b r a t i o np i c t u r e sa r e p r o c e s s e da n dt h ei n t e r n a lp a r a m e t e r sa r et h e r e f o r eo b t a i n e df o rg i v e no b j e c ts h a p e sa n ds i z e s o nt h ec o n t r a r y , f o rc a m e r as e l f - c a l i b r a t i o nt e c h n i q u e st h em a t r i xa r es o l v e db a s e do nt h e g e o m e t r i cr e l a t i o n s h i p sb e t w e e nt h em u l t i - v i e wi m a g e sa n dt h ei n t e m a lp a r a m e t e r sf o rt h e c a m e r aa r et h u sa c q u i r e da n dt h ee x t e r n a lp a r a m e t e r sa r er e t r i e v e d f o c u s i n go np r o j e c t i v eg e o m e t r y , t h em a t h e m a t i cb a s i sf o rc a m e r ac a l i b r a t i o n ，t h i sp a p e r d i s c u s s e dt h el o n g - e s t a b l i s h e dl i n e a rc a l i b r a t i o nm e t h o da n da n a l y z e dt h en o n l i n e a rf a c t o r si n t h i st e c h n i q u e t h ec a m e r as e l f - c a l i b r a t i o nt e c h n i q u e ，w h i c hi sm o r ec o m m o n l yu s e d n o w a d a y s ，w a sa l s od i s c u s s e da n dt h er e a s o nf o ri t sl o wr o b u s t n e s sw a sa n a l y z e d an e w m e t h o dw a sd e v e l o p e d ，w h i c ha p p l i e d ( p u r er o t a r ym o v e m e n t st or e t r i e v et h ei n i t i a lv a l u e sf o r t h ec a l l l e r a si n t e r n a lp a r a m e t e r sa n dt h ev a l u e sw e r er e f i n e du s i n gt h ei t e r a t i v ep r o c e s s e s b a s e do nt h ek r u p p ae q u a t i o n s e x p e r i m e n t so nt h ei m a g e so b t a i n e db yc c dc a m e r a su s i n g t h i sm e t h o dw e r ec o n d u c t e da n dt h er e s u l t sw e r ep r e s e n t e da n dd i s c u s s e d k e yw o r d s ： c o m p u t e rv i s i o n c a m e r as e l f - c a l i b r a t i o na b s o l u t ec o n i c k r u p p ae q u a t i o n s f u n d a m e n t a lm a t r i x 2 声明 本人郑重声明我所呈交的论文是我个人在导师指导下进行的研究工作及取 得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含本人或其他人在其它单位 已申请学位或为其它用途使用过的成果。与我一同工作的同志对本研究所做的 所有贡献均已在论文中作了明确的说明并表示了致谢。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 论文作者签名堡 l 7 期：町6 关于论文使用授权的说明 本人完全了解西安建筑科技大学有关保留、使用学位论文的规定，即：学 校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的 全部或部分内容，可以采用影印、缩印或者其它复制手段保存论文。 ( 保密的论文在论文解密后应遵守此规定) 论文作者签名：彳j ) 绎 导师签名： 友：请将此页附在论文首页。 阁 日期： 西安建筑科技大学硕士论文 _ i f l i i i _ i i i _ i i i i i i i i i | i i i i i i - i i i i i 第1 章绪论 计算机视觉是通过计算机技术对人类视觉信息处理的一种探索及模拟。计算机视觉 既是工程领域，也是科学领域中的一个富有挑战性的重要研究领域【1 】。计算机视觉是一 门综合性的学科，它已经吸引了来自各个学科的研究者参加到对它的研究之中，其中包 括计算机科学和工程、信号处理、物理学、应用数学和统计学，神经生理学和认知科学 等。计算机视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领 域中各种智能自主系统中不可分割的一部分。由于它的重要性，一些先进国家，例如 美国把对计算机视觉的研究列为对经济和科学有广泛影响的科学和工程中的重大基础 问题，计算机视觉面临的挑战是要为计算机和机器人开发出具有与人类水平相当的视觉 能力。机器视觉需要图像信号，纹理和颜色建模，几何处理和推理，以及物体建模。一 个有能力的视觉系统应该把所有这些处理都紧密地集成在一起。作为一门学科，计算机 视觉开始于6 0 年代初，但在计算机视觉的基本研究中的许多重要进展是在8 0 年代取得 的。有不少学科的研究目标与计算机视觉相近或与此有关。这些学科中包括图象处理、 模式识别或图像识别、景物分析、图像理解等。由于历史发展或领域本身的特点这些学 科互有差别，但又有某种程度的相互重叠。为了清晰起见，我们把这些与计算机视觉有 关的学科研究目标和方法的角度加以归纳。 1 摄像机标定 摄像机标定是通过摄像机获取物体的一系列二维像片来确定摄像机内外参数。例 如，在一般情况的我们可以通过物体的三张不同角度的像片上的同名点列出目标函数， 解出内外方位元素，从而得到物体的空间相对坐标。这正是本论文所做的工作。 2 图像处理 图象处理技术把输入图像转换成具有所希望特性的另一幅图像。例如，可通过处理 使输出图像有较高的信噪比，或通过增强处理突出图像的细节，以便于操作员的检验。 在计算机视觉研究中经常利用图像处理技术进行预处理和特征抽取。 3 模式识别( 图像识别) 1 西安建筑科技大学硕士论文 模式识别技术根据从图像抽取的统计特性或结构信息，把图像分成预定的类别。例 如，文字识别或指纹识别。在计算机视觉中模式识别技术经常用于对图像中的某些部分， 例如分割区域的识别和分类。 4 图像理解( 景物分析) 给定一幅图像，图像理解程序不仅描述图像本身，而且描述和解释图像所代表的景 物，以便对图像代表的内容做出决定。在人工智能视觉研究的初期经常使用景物分析这 个术语，以强调二维图像与三维景物之间的区别。图像理解除了需要复杂的图象处理以 外还需要具有关于景物成像的物理规律的知识以及与景物内容有关的知识。 1 1 摄像机标定研究的应用价值及发展状况 1 1 1 摄像机标定的应用价值 摄像机标定很早以前就应用在摄影测量学里，主要是用于航空摄影测量。发展到今 天传统的航空摄影测量已经形成一套完整，严密的体系，而且有专业的设备和成熟的软 件支持。用航空摄影测量方法重建的三维模型精度较高，但价格昂贵，一般只用于专业 测量【2 1 。在计算机视觉中摄像机的标定应用于机器人定位，通过摄像机获取得像片信息 判断机器人与环境的相对位置关系，来控制机器人。摄像机标定还可应用工业控制，通 过摄像头来获取机器操作的情况，进行实时控制。这些应用也对设备有较高的要求。目 前随着数码相机和家用电脑的普及和性能的提高，所提供的像片的清晰度越来越高，微 型电脑的处理数据能力也越来越强。基于普通数码相机拍摄的像片的三维重建也有了广 泛的市场。摄像机的自标定成为近景摄影测量和计算机视觉研究的热点问题。 1 1 2 摄像机标定的发展状况 摄影测量学中所使用的方法是数学解析分析的方法，在标定过程中通常要利用数学 方法对从数字图像中获得的数据进行处理。通过数学处理手段，摄像机标定提供了专业 测量摄像机与非量测摄像机的联系。所谓的非量测摄像机是指这样一类摄像机，其内部 参数完全未知、部分未知或者原则上不稳定，内部参数如主点( 图像中心) 、焦距、径向 2 曲安建筑科技大学硕士论文 镜头畸变、偏轴镜头畸变以及其它系统误差参数。而专业量测摄像机的内部参数往往是 己知的，所拍摄的相片精度较高【2 】。 对于计算机视觉研究而言，在利用计算机技术实现对三维景物的描述、识别和理解 这一任务时，c c d 摄像机是对物理世界进行三维重建的一种基本测量工具。总体来说， 摄像机标定的计算方法与摄影测量学中所使用基本相同，这些问题在计算机视觉中得到 了进一步研究，这是因为计算机视觉中的问题与摄影测量学中的问题相比，有着显著不 同的特点【3 1 ： 1 ) 计算机视觉系统中使用c c d 摄像机作为价格低廉的非量测摄像机摄像机参数未 知或者不稳定，从而导致成像过程不稳定，并且c c d 摄像机数字化图像分辨率低，存 在量化误差，存在较大的非线性镜头畸变； 2 ) 计算机视觉中所测量的一般为近景，为了使系统小巧，两摄像机之间的基线长度 不可能很长，从而使得系统计算误差较大； 3 ) 在计算机视觉中，进行三维重建需要大量的图像点，有时要求实时地处理数据并 给出结果。 此外，不同的应用背景也对标定技术提出了不同的要求。在立体计算机视觉中，如 果系统的任务是物体识别，则物体相对于某一个参考坐标系的绝对定位显得并不特别重 要，更重要的是物体特征点间相对位置的精度。举例来说，在一个基于c a d 的物体识 别系统中，所研究的物体上的特征的相对位置必须具有足够高的精度，才能进行有效的 匹配和识别。如果系统的任务是物体的定位，相对于某一个参考坐标系的绝对定位精度 就特别重要，例如，在一个自主车辆导航系统中自主式移动机器人必须准确地知道其自 身的位置、工作空间中障碍物的位置、以及障碍物的运动情况，才能有效地、安全地进 行导航。c c d 摄像机的上述特点和应用问题的要求使得标定技术、精度和实时性等问 题的研究显得特别重要，同时也导致了研究成果的多样性。 总的来看，现有的摄像机标定技术大体可以归结为两类：传统的摄像机标定方法和 摄像机自标定方法【2 j 。 传统摄像机标定研究的主要问题是，在一定的摄像机模型下，基于特定的实验条件 3 西安建筑科技大学硕士论文 如形状、尺寸已知的标定参照物，经过对其图像进行处理，利用一系列数学变换和计算 方法，求取摄像机模型的内部参数和外部参数，大致有基于单帧图像的基本方法和基于 多帧已知对应关系的立体视觉方法。 摄像机自标定的基本方法是利用多视图的几何关系，求解基本矩阵，进而得到摄像 机的内部参数和还原摄像机的外部参数。 1 2 论文安排工作 对于传统的摄像机标定如直接线性变换方法，可以较好的得到内外方位元素的初 值。但应用到计算机视觉中时，没有对摄像头的畸变进行校正，而且比较难以实时得到 结果。而自标定中常用的基于绝对二次曲线方法往往受初值的影响较大，极有可能住运 算中结果不收敛，而且鲁棒性较差。 本论文介绍了摄像机标定所需要的数学背景：射影几何理论，阐述了传统的线性摄 像机标定方法。讨论了目前应用广泛的摄像机自标定方法，并对它的低鲁棒性原因进行 了分析。本论文在已有的摄像机自标定的基础上，构造了种基于纯旋转运动求摄像机 内参数的初值t 再利用k r u p p a 方程迭代求精的方法。本论文的内容主要按照如下章节 进行安排： 第二章主要系统的讲述了介绍了摄像机标定所需要的数学背景射影几何理论。 第三章主要讨论了线性摄像机标定方法，并对非线性因素进行了分析。 第四章主要讨论了摄像机自标定方法。 第五章主要讨论了目前应用广泛的摄像机自标定方法的低鲁棒性原因进行了分析。 并在已有的摄像机自标定的基础上，构造了一种新的效果较好的标定初值的选择方法， 并对它进行了实现和结果分析。 第六章对全文进行了总结，概括了本文主要研究成果以及有待于进一步改善和改进 的问题，并对摄像机标定的发展前景作了展望。 4 西安建筑科技大学硕七论文 第2 章几何理论 在摄像机标定中，从一开始对摄像机进行几何建模到在建立图像坐标与世界坐标间 的转换关系，引入内外参数，再到后来利用传统的直接线性变换方法或利用绝对二次曲 面建立k r u p p a 方程解算内外参数，都用到了大量的几何知识，在这里，做一简单的论 述。 2 1 射影几何理论 概括的说，射影几何学是几何学的一个重要分支学科，它是专门研究图形的位置关 系的，也是专门用来讨论在把点投影到直线或者平面上的时候，图形的不变性质的科学。 2 1 1 射影平面 在实际生活中常遇到把一个平面图形映射到另一个平面图形，如航空摄影把地面 ( 假定是平的) 上的景物摄到底片上，这可以看成是地面到底片的映射【“。 对以前接触过的空间几何或平面几何的概念加以以下补充，称为扩大的笛卡尔平 面，也可称为射影平面口1 。 1 每一直线在无穷远处有一无穷远点。 2 平行直线上的无穷远点是同一点。 3 平面上所有无穷远点都在一条直线，称为无穷远直线。 扩大的笛卡尔平面记为e ，有两个重要特点： 1 e 上任意两点必在条直线上； 2 e 上任意两条不同直线交于一点。 2 1 2 坐标系与齐次坐标 在平面上，一般用( x ，y ) 二维坐标确定点的位置，而在扩大的笛卡尔平面上，可以 用非零三元有序组( x y z ) 来表示点的坐标，这里要求： 5 西安建筑科技大学硕士论文 1 成比例的三元有序数组表示同一点； 2 ( x ，y ，o ) ( x ，y 不全为零) 表示无穷远点； 3 ( x ，y z ) ( z o ) 表示普通点( x z ，y z ) 。 在扩大的笛卡尔平面上，直线也可表示用三维坐标表示。当一条直线通过一个点时， 有： f l m = 0 ( 2 1 ) l 表示直线坐标，m 表示点坐标。 把齐次坐标应用到三维空间，点的坐标可由非零四元有序组( x ，y z ，w ) 来表示点的坐 标，这里要求： 1 成比例的四元有序数组表示同一点 2 ( x ，y ，z ，t x x ，y ，z 不全为零) 表示无穷远点； 3 ( x ，y z ，t ) ( w 0 ) 表示普通点( x t ，y t ，z t ) 。 在齐次三维空间中，平面也可由四维坐标来表示。当一个点在一个平面上时，有： o 肘一o 表示平面坐标，m 表示点坐标。 2 1 3 射影几何中的变换 正交变换【5 】 ( 2 2 ) 定义：平面的一个点变换，如果保持点之间的距离不变，这称它为正交变换。正交 变换可以如下表示： 1 e 1 2 r 龆 r 勰驯州引 沼， 6 n 魄如 *-f，。t。l 盯 拳 ，l l l l l j ； x f 孑 -。，。l 热耕懈数， ： i l l 芝 1 1 2 r u 一。i t 1 4 l 龇 r 皇lr 2 馨 其中s 是比例系数，l 脚 心 为一正交矩阵。为平移坐标。 在齐次坐标中，上式可以写成彬 一t 村舅。 t 村“ a r l l 种2 l 碉咯l o 正交变换可用下图表示： 撑r 1 2仃r 1 3l x o w 2 2o r 2 3t y 0 1 3 2 口如3t z 0o1 m e t r i c ( s i m i l a r i t y ) t m 图2 1 正交变换示意图 ( 2 4 ) 由图2 1 可以看出正交变换可改变几何体的大小、位置，使几何体旋转，但它保持 直线的夹角不变；两条平行直线再经过正交变换后仍然保持平行：几何体经过正交变换 后保持形状不变。 仿射变换1 5 定义：平面的个点变换，如果它在一个不一定正交的坐标系( 通常称之为仿射坐 标系) 中的表示为： a 1 2 m 2 臻3 奎 囊 妻 + 10 1 4 w 证hd e t t ，乒。：， 在齐次坐标系中，上式可表示为： m l m 其中 7 m 锄锨 -t-。-t，-_-_l 耋耋 ，llillj p p、r。i-。l 西安建筑科技大学硕士论文 t a ” 仿射变换可右下图表示： n l 口名t 8 3 l a f - f i n e 图2 2 仿射变换示意图 ( 2 5 ) 共线三点的简单比 定义：设a ，b ，c 是共线三点，设a b = a b c ，a 叫做共线三点的简单比，记为( a c ，b ) 。 仿射变换有两点重要性质： 1 仿射变换把平行直线变成平行直线； 2 仿射变换不改变共线三点的简单比。 射影变换【5 1 定义：设p l 是一射影平面，p 2 为另一射影平面，p 1 上一点a ( x ，yz ) ，在p 2 上的 投影为b r l 盐 r r 勰 囊量】 在齐次坐标中，上式可写成掣一t pm 其中 8 ( 2 6 ) 蛳蛾蛳o 2 4 - 2 m 善l 辩0 i 翻舀 蛳o in 他倦 _。l # 祟 1j ， x y z -t_。-_。_。l 西安建筑科技大学硕十论文 t p p i l p 1 2 伽ip 挫 辩l 撇2 辨1 弘蛾 如图2 3 所示 挑3p l t 触3 尹锐 笋鞋3 缸触 纵3p 獬 p r o j e c t i v e 耳 ( 2 7 ) 图2 3 仿射变换示意图 交比：假设有四个共线的点m l ，心，h 3 和m ，这交比为 m r , m 2 ；”拈弑：弑 沼。， 射影变换有一条重要性质就是保持共线四点的交比不变【6 l 。 可以这样认为：正交变换是仿射变换的特例，仿射变换是射影变换的特例。 2 1 4 不变量 射影变换保持直线，直线与点的结合性以及直线上点列的交比不变。仿射变换在具 备以上性质外，还保持直线上点列的简单比不变以及直线与直线的平行性不变。正交变 换除了具备以上性质外，还保持两条相交直线的夹角不变，两点间的距离不变。这些都 是不变量。 不变量的严格数学定义7 1 ：一组几何元素由t 个参数组成的向量只表示，若t 为某 一变换，t 为某一变换群的元素，这组几何元素经t 变换后，其参数组成的向量由只变 成只，则函数i ( p ) 称为在变换群g 下的绝对不变量【“。假如 9 曲安建筑科技大学硕士论文 i ( e ) = l ( t 暑) = i ( 只) ( 2 - 9 ) 上述定义中i ( p ) 为由参数计算出来的标量，可以是实数或复数，而且只要变换t 属 于同一变换群g 、i ( p ) 与变换t 的具体参数无关。所有的正交变换、仿射变换、射影变 换、分别构成变换群g e 、g a 、g p ，而且g e 为g a 的子群，g a 是g p 的子群。 2 2 几何元素在射影几何中的表示及关系 2 2 1 点在射影几何中的表示 点在二维欧氏平面中有它的坐标o ，) ，) 来表示，也可以用一个二维向量0 ，y ) 7 来表 示。三维欧氏空间上的一个点有它的坐标( x ，y ，z ) 来表示，同样可以用0 ，y ，z ) 7 。 在射影平面上点用齐次坐标0 ，y ，f ) 来表示，当f 一0 ，齐次坐标和欧氏坐标可以这 样转换”1 ： xv 硝 2 y 如果t 一0 ，则g ，y ，o ) 对应扩充平面的无穷远点。 同样，对于三维欧氏点z 一 ，y ，z ) 7 ，在射影空间用齐次坐标0 ，y + ，z ，f ) 来表示， 当t 一0 ，齐次坐标和欧氏坐标可以这样转换： 兰z ，旦。y ，三。z ttt 如果f 一0 ，则o 。，y ，z 。，0 ) 对应扩充空问的无穷远点。 2 2 2 平面直线及点线对偶关系 ( 2 1 0 ) 平面上的直线可以由线上一点及它的方向来表示。一个点需要两个参数，则一条直 线需要三个参数来描述。直线最少的可由两个参数描述。 一种方法是选取直线上一点r n 使得蜊= m 与直线垂直。设直线的单位方向向量为 u ，那么i i i u ；0 ，这样我们就只需要一个参数来描述点m ，o m 称为直线的法线1 6 。 另一种方法称为法线式，它由两个参数表示：一个是法线长p ，即原点o 到直线的 1 0 西安建筑科技人学硕士论文 垂线长，也就是p 一4 h 另一种是法线与x 轴的交角n 。直线的方程为 x c o s a + y s i n a p ；o ( p 0 ) ( 2 1 1 ) 其中0 ，y ) 为赢线上任意一点。如图2 4 y 埘 ，7 ，7 口 a心 ， 图2 4 直线的法线表示法 如果将方程乘以任何一个不为零的数，这个方程仍描述同一直线。所以直线方程的 一般形式为 硝+ b y + c = o 因此一条直线可用齐次坐标l = ( 口，b ，c ) 7 来表示。 ( 2 一1 2 ) 将方程写成向量形式：l ；f ；0 ，其中“一为向量的点积，在方程中点和线处于相 同的位置( 即关于点的坐标趸和直线坐标l 是对称的) 。这就是对偶原理。把一个证明了 的定理中的点和线的概念对调，则所得的定理也仍然是成立的。举两个例子： 1 有两个不重合的点趸。和趸：所决定的直线l 的坐标为 1 = - 芟l 譬2 ( 2 1 3 ) 两个不重合的直线l 。和l ：所决定的点( 交点) 芟的坐标为 趸= 1 1 1 2 ( 2 1 4 ) 2 三点共线趸。，趸2 ，趸，共线的充分必要条件是 1 1 西安建筑科技大学硕士论文 夏l ( 趸2 趸3 ) - - o ( 2 1 5 ) 三直线共点的充分必要条件是 2 2 3 空间平面及点面对偶关系 ( 2 1 6 ) 一个平面由空间三个点决定，它需要九个参数。简单的方法州是用平面上一点m 和平面的法线向量n 来表示如图2 5 。 是 z x 图2 5 平面的简单表示法 如果点m 的坐标是o 。，y 。，z 。) 7 ，法线向量n 的方向数是以，b ，c ) 7 ，那么平面方程 a ( x j o ) + b ( y y o ) + c ( z z o ) = 0 ( 2 1 7 ) 点m 可以是平面上任何一个点，选与原点最近的点m 。作为m ，它只需要一个参 数，即点到原点的距离，记为p 。平面的发现需要两个参数来表示，所以描述一个平面 1 2 西安建筑科技大学硕十论文 只需要三个参数。设平面法向量为( n ，b ，c ) 7 ，那么上述的平面方程变为 a x + b y + c z - p = o ( 2 - 1 8 ) 若上述方程用一个不等于零的常数遍乘，它所表示的仍为同一个平面，所以平面方 程的一般式为 u x + w + w z + 5 = 0 ( 2 - 1 9 ) 方程不能描述无穷远平面。因此对空间进行补充，用点的射影坐标以y ，而f ) 来表示， 这样平面可表示为 “x + v y + w z 十s t = 0 ( 2 2 0 ) 因此 ，y ，叻可同时为零。当平面方程为t ：o 时，由于该平面上所有的点的齐次坐 标的第四元素恒等于零，即t = o 所以该平面上所有的点都是无穷远点，故t = o 代表无 穷远平面。 ，v w 声) 称为平面的射影坐标。 任何不全为零的四个数j f = o ，y ，z ，t ) 7 可以作为一个点的坐标，任何不全为零的四 个数p = 0 ，v ，w # ) 7 表示一个平面。点5 f 在平面p 上或平面p 通过点复都可由方程来表示， 若譬和p 相互对调，方程仍然不变。这个对称关系导出空间中的“对偶原则”： 1 点在平面上的对偶为平面通过点； 2 两平面可以决定条直线的对偶为两点可以决定一条直线，则直线的对偶仍然是 直线； 3 不共线的三点确定可决定一个平面的对偶是不共线的三个平面可以确定一个点 对第3 条将进行说明 设趸l = 瓴，y l ，z l ，t 1 ) 7 ，趸2 = 2 ，y 2 ，z 2 ，t ：) 7 ，夏3 = 0 ，y 3 ，z ，t ，) 7 为不共线的三点， 则有这三点可以决定一个平面，其方程为 1 3 西安建筑科技大学硕士论文 v2t y 1z lt l y 22 2t 2 y 32 3t 3 = 0 ( 2 2 1 ) 其中；f = o ，y ，z ，f ) 7 为平面上任意一点，这个命题的对偶为：设 p 1 = l ，r 1 ，w 1 ，s 1 ) 7 ，p 2 = 2 ，v 2 ，w 2 ，j 2 ) 7 ，p 3 = ( “3 ，v 3 ，w 3 ，s 3 ) 7 为不共线的三个平面，则有 这三个平面可以决定一个点，其方程为 vws v 1w 1 s 1 v 2w 2s 2 屹w 35 3 = 0( 2 2 2 ) 其中p = ( h ，v ，w 声) 7 为通过点的任意一平面，三平面相交的点的齐次坐标分是上述方 程的“，v ，w 和s 系数。 2 2 4 空间直线及二次曲线与二次曲面 空间直线的描述 空间直线的表示方法有很多，如可由直线上的一个点和直线的方向来描述。这种描 述方法不是唯一的，因为任何一个在直线上的点都可以来描述同一直线。 一种常用的方法是用普吕克坐标来表示，由两个三维向量( u ，d ) 组成，共需六个参 数 s i 。如图2 6 所示。 1 4 西安建筑科技大学硕士论文 图2 6 空间直线的表述 向量u 是直线的方向向量。向量d 的定义： d u m( 2 2 3 ) 其中m 是直线上任何一点，是向量叉积。对直线上不同的点m ，我们得到同一个d ， 因此这个表示法和空间直线是一对应的。通过对普吕克坐标的讨论中，可以发现一条 空间直线只需要四个独立参数来表示，一种表示方法是利用两个平面决定直线的事实， 比如一条直线可由下述两个平面的相交来表示： x = n z + p ，y = b z + q ( 2 2 4 ) 这条直线经过点0 ，q ，o ) 7 ，其方向向量为0 ，6 ，1 ) 7 。但是，方程不能表示与x y 平面 平行的直线，为了表示所有的直线，应结合以下两种表示法： y = a x + p ，z = b x + 日 ( 2 2 5 ) 它不能表示与弦平面平行的直线； z = a y + p ，z = b y + 目 它不能表示与嚣平面平行的直线。 ( 2 2 6 ) 还有一种最少参数表示法f 4 】，只需要一组四维坐标来表示一条直线l ： 西安建筑科技大学硕七论文 其中；，“，是直线l 的单位方向向量的x 和y 分量；z + 和y 。是直线l 和平面p 的交 点在平面p 上的欧氏坐标，平面p 是通过原点法线向量为 。，“。，撕= ：j = 虿) 7 的平面， 即通过原点并和直线l 垂直的平面，这个表示法的一个缺点是参数完全定义在一个局部 坐标系中，操作不方便。 二次曲线与二次曲面【5 1 平面上的二次曲线可由下述方程表示： 7 筒；0( 2 - 2 7 ) 其中军- o ，y ，妒，a 是个3 x 3 对称矩阵，a 乘以任何一个不为零的标量仍描述同一个 二次曲面。 空间上的二次曲面的方程为 孑7 a j 7 ，0 ( 2 2 8 ) 其中量- ，y ，z ，1 ) 7 ，a 是4 x4 一个对称矩阵，a 乘以任何一个不为零的标量仍描述同一 个二次曲面。 2 3 小结 本章主要讨论了在摄像机标定中数学背景：射影几何理论。射影几何理论主要由射 影平面理论和射影空间理论组成。在射影几何中，几何元素一般都是用齐次坐标来表示。 射影几何中的变换主要有：射影变换、仿射变换和欧氏变换( 正交变换) 。在这些变换 中，正交变换可以看作是仿射变换的一个特例，而仿射变换有可以看作射影变换的一个 特例。这些变换中，都存在一些不变量。不变量建立了变换中的约束。 几何元素在射影几何中的表示不同于欧氏几何中的表示，而且在射影几何中，几何 元素间都存在对偶关系。对偶关系是在约束中，元素的表示处于相同的地位，也就是它 1 6 西安建筑科技大学硕士论文 们可以互换。例如在射影平面中，直线与点存在对偶关系。在射影空间中；点与面存在 对偶关系；二次曲线与二次曲面可以互换。 1 7 两安建筑科技大学硕七论文 第3 章摄像机的几何模型及标定基础 3 1 摄像机几何模型 成像设备有许多种类，从动物的眼睛到视频摄像机和雷达望远镜，它们可以安装镜 头，也可以没有镜头。最早在十六世纪发明的照相机暗箱模型并没有镜头，而是使用一 个针孔将光线聚焦到墙上和半透明的屏幕上。发展到今天，按所具备的摄影测量功能分 类，摄像机可分为量测摄像机、网格摄像机、半量测摄像机和非量测摄像机。前三类摄 像机是为量测目的而设计制造的，非量测摄像机设计制造的初衷不是出于量测的目的， 但随着科技的进步，非量测摄像机的精度越来越高、镜头光学畸变越来越小，逐渐能满 足量测的需要。在本论文中进行实验所采用的摄像机为非量测c c d 摄像机。在此简单 介绍下针孔摄像机和c c d 摄像机的原理。 3 1 1c c b 摄像机 电荷耦合器件( c c d ) 摄像机于1 9 7 0 年推出，它已经在大部分现代应用中取代 了摄像管摄像机，从消费者用的摄像机到适合显微镜或天文学应用的专门摄像机，c c d 传感器采用敷设在薄硅片上组成矩形网格的电荷收集晶格，来记录到达每个晶格的光能 总量的某种度量，每个晶格是通过在硅片上生长一层二氧化硅，然后在二氧化硅上渗入 导电门结构的方式组成的。当光子击中硅片时，电子空穴对就产生了( 光电转换) ，而 电子则被加载有正电压的门所形成的势能阱捕获，每个晶格将在个固定时间问隔t 内 产生的电荷收集起来。 1 8 西安建筑科技大学硕士论文 收集嚣阵列 l e 一i jj ir r 冉彳于寄存_ 2 肆 卜 像素传递 。1 。1 i 图3 1c c d 传感器原理简图 此时，存储在每个晶格内的电荷使用电荷耦合方式往外传递，通过控制门电势的方 法，每个晶体存储的电荷成组地从一个晶格传输至另一个晶格，组与组之间保持一定间 隔。图像从c c d 按一次行方式读出，每行平行地往一个串行输出寄存器传输，每次 传一列的一个元素。在读出两行之间，寄存器将电荷逐个传递到一个输出放大器中，放 大器随之产生一个与它所收到的电荷量成正比的信号。这个过程直到整幅图都读出才结 束。对视频应用场合，图像读出过程每秒重复3 0 次，( 电视帧率) ，而在天文学等地亮 度应用中，这个过程较慢，以便留出成倍的时间( 秒、分甚至小时) 收集电荷。大部分 c c d 摄像机的数字输出在内部先转换成模拟电视信号，再送到图像帧采集卡中，才构 成最后的数字图像i l l 。 3 1 2 线性模型摄像机 可以想象一下，将一个盒子的一侧扎一个小孔，然后将另外侧改为一块半透明板。 你可以在半透明的板上看见颠倒的蜡烛头像，这个图像是从景物投射到盒子的光线形成 的。如果假设针孔可以缩小成一个点的话( 在物理上是不可能的) ，那么就只有唯一的 一条光线穿过三个点，成像板的平面( 或称为成像面) 上的一个点，针孔以及景物中的 某个点1 1 】。 1 9 西安建筑科技大学硕七论文 图3 2 针孔模型示意图 在现实中，针孔总不是无限小的，成像平面上的每个点收集的是具有一定角度的锥 形光束的光线，因此严格的说来理想化的、极简单的成像几何模型时不成立的。再加上 实际的照相机一般都配有镜头，情况更加复杂。然而针孔透视投影模型在数学上是很方 便的。而且能清楚地描述成像的原理。 对该模型进行数学简化，并加入一个坐标系( d ，以- ，后) ，它的原点d 与针7 l 重 合，而向量f 与，组成一个与图像平面万平行的向量平面的基，石平面位于沿k 向量 正方向距离针孔，处( 见图3 3 ) 。用p 表示景物中坐标为( j ，y ，z ) 的一点，p 是它 的图像，坐标为( 算，y ，z ) 。因为p 处在图像平面中，所以有z = ，。又因为p ，0 ， 尸7 这三点共线，则应有 图3 3 针孔模型的数学简化 2 0 西安建筑科技大学硕士论文 斗 o p l = 九o p 所以 因此有 3 1 3 摄像机标定中的坐标系 三个层次的坐标系统 ( 3 1 ) a ：生y ( 3 2 ) x y z ( 3 3 ) ( 1 ) 世界坐标系( 石。l z 。) ：也称真实或现实世界坐标系，或全局坐标系它是客观世 界的绝对坐标，由用户任意定义的三维空间坐标系。一般的3 d 场景都用这个坐标系来 表示。 ( 2 ) 摄像机坐标系( z 。o v a - 以小孔摄像机模型的聚焦中心为原点，以摄像机光轴为 z 。轴建立的三维直角坐标系。一般x 。，与图像物理坐标系的工，耳平行，且采取 前投影模型。 ( 3 ) 图像坐标系，分为图像像素坐标系和图像物理坐标系两种：图像物理坐标系其原 点为透镜光轴与成像平面的交点，x 与y 轴分别平行于摄像机坐标系的x 。与r 轴，是 平面直角坐标系，单位为毫米。 图像像素坐标系【计算机图像( 帧存) 坐标系1 ：固定在图像上的以像素为单位的平面 直角坐标系，其原点位于图像左上角，x ，l 平行于图像物理坐标系的x 和y 轴。对 2 l 一 舡 砂 池 鲁 掣 x y ，l，、，l x z y z 广 ， 三 = x y r，、l 西安建筑科技大学硕士论文 于数字图像，分别为行列方向。 3 , 2 摄像机参数 摄像机的参数是决定摄像机在空问坐标系中的位置和朝向的要素。摄像机的内参数 是恢复摄影时光束形状的要素，即确定摄像机坐标系和理想坐标系的关系；摄像机的外 参数是确定摄像机在世界坐标系里的位置和方向1 7 1 。 3 2 1 摄像机的内参数 为摄像机建立一个归一化图像平面，这个图像平面平行于摄像机的物理成像平面， 且到针孔的距离为单位长度。在这个平面上建立一个坐标系，原点定在光轴和这个平面 的交点。物理成像平面的位置一般和归一化平面的位置不同；它位于距离针孑l ，一1 的 位置上 8 1 。如图3 4 y 物理成像平面 图3 4 归一化图像平面 图像坐标( j c ，y ) 一般用像素表示，一般把图像的一角而不是中心定为摄像机坐标 系的原点，则c c d 阵列的中心与光轴穿过的主点c 0 不同嗍。需添加两个参数t 和c 。， 而且像素般不是正方形，而是长方形，所以需要用两个额外比例因子n 和p 。，最后 由于制造误差，摄像机坐标系可能产生偏歪，即两个坐标轴不完全垂直，如图 西安建筑科技大学硕士论文 i i 图3 5 摄像机内参数示意图 得到物理成像平面的坐标( x ，y ) 与归一化图像平面的坐标( ，y 。) 转 毒节船 4 ， 其中对变换矩阵的表示进行简化的 卜川萃 ( 3 5 ) 最后用m 表示成像平面的坐标，k 表示变换矩阵，i l l 。表示归一化图像平面 坐标，公式可简化为： 盘# 。 其中( 丘，j ，c ；，c ，) 称为摄像机的内参数。 3 2 2 摄像机的外参数 ( 3 6 ) 摄像机的外参数 e l 是确定摄像机在世界坐标系里的位置和方向。一张像片共有六个 外参数，其中三个为直线元素，即坐标值( x ；，k ，z 。) ，用以描述摄影中心s 在物 方空间坐标系的位置；三个角坐标( 妒，0 7 ，j r ) ，用以描述光束在物方空间坐标系中 2 3 西安建筑科技大学硕士论文 的朝向。如图 z 图3 6 摄像机外参数示意图 摄像机坐标系c 在世界坐标系中的位置记为 阱滢w p ) 限7 ， 结合内参数的变换公式得： 。m - k 俾力”p( 3 8 ) r = ：r 是旋转矩阵，t = 。o 。是平移向量，p 一( ，”_ ) ，”z ，1 ) 7 表示p 向量在坐标系w 下的齐次坐标。 这是一般形式的投影方程，可以利用它得到摄像机光心o 在世界坐标系中的位置。 3 3 摄像机的标定 从摄像机的模型上分类，摄像机可分为线性模型和非线性模型。非线性模型较为复 杂，但大都可以用线性模型进行模拟。再代入一些关系式进行校正。 西安建筑科技大学硕士论文 3 3 1 线性模型摄像机的标定 线性摄像机标定时般都会引入一个标定参照物，摄像机通过对该参照物拍摄像 片，同是对该物体进行测量，通过分析参照物在像片中和在空间中的信息，建立摄像机 的线性模型，来获取摄像机的内外参数 9 1 。 如图，测量参照物上这些特征点的空间位置只( ”x ；，”) ，；，2 。 1 ) ( 在世界坐标系中的坐 标，可选为立方体三条棱边) 后，获取这些点在像片上的投影点图像坐标0 。，v i ) ，再通 过这些点求参照物图像的投影矩阵f 3 0 1m = k 俾f ) ” h 1 z 。l v ；l = k ( rf ) ” 【，j ”一 ”y f ”z f 1 一m ”x ”y ”z 1 鼍 ”y 。 ”z i 1 ( 3 9 ) 鼻( 、，”z 。，1 ) 为空间第i 个点的坐标；以。，y ，1 ) 为第i 点的图像坐标；m 口为投影 矩阵m 的第i 行j 列元素。方程( 3 3 - 1 ) 可写为： z c f “f i m l l ”x f +