（计算机应用技术专业论文）vmd系统中摄像机标定及目标跟踪方法研究.pdf

西北_ _ l 、此大学砸l 论文 摘奠 摘要 在航空测量领域，运动物体运动参数的非接触式测量是非常重要的研究内 容，一般采用视频变形测量( v i d e om e a s u r e m e n td e f o r m a t i o n ，v m d ) 的方法， 视频测量技术用于确定三维空间物体坐标和与之相对应的二维图像坐标之间的 关系，对摄像机的精确定标，获取摄像机的有关参数，从而确定空间对应的几何 关系是先决条件。基于飞机翼面变形测量的背景，我们主要对摄像机的标定进行 了深入的研究，并对光流跟踪的方法做了一定的分析。 本文首先对摄像机的标定原理及方法进行了全面地研究和总结，基于经典的 摄像机标定方法和飞机翼面变形测量的特殊研究背景下，提出- - 7 十减少摄像机内 部参数和外部参数强相关性的最优化标定方法，并包括了对镜头变形参数的标 定。然后通过具体的实验来标定摄像机的参数，根据标定的结果将目标点重新投 影到图像中去和原图像中的点比较，分析它们之间的偏差来验证标定结果是否正 确，从而确定该方法的适用性和有效性。 另一方面，也研究并实现了种基于光流的目标跟踪方法。本文首先总结了 光流的概念和光流约束方程，然后介绍了几种光流计算的方法。在根据光流进行 跟踪时，采用了l u c a s k a n a d e 方法，通过实验验证了该方法的普遍性和稳定性， b 明该方法适合于飞机翼面变形测量。 关键词：视频变形测罨，摄像机标定，机器视觉，摄像机参数，光流法 目标跟踪 西北tj k 大学硕土论文 摘要 a b s t r a c t i nt h ef i e l do fa v i a t i o ns u r v e y , t h eu n t o u c h a b l es u r v e yo ft h em o v i n go b j e c t s p a r a m e t e r si sv e r yi m p o r t a n t ，c u r r e n t l y ，i tu s e st h ew a y so fv i d e om e a s u r e m e n t d e f o r m a t i o n ( v m d ) ，t h et e c h n o l o g yo fv i d e om e a s u r e m e n ti su s e dt oc o n f i r mt h e r e l a t i o n s h i po f3 ds p a c ec o o r d i n a t ea n d2 di m a g ec o o r d i n a t e ，c a l i b r a t i n gt h ec a n l e r a e x a c t l ya n dg e t t i n gt h ep a r a m e t e r so ft h ec a m e r ai st h ep r e d e t e r m i n a t ec o n d i t i o n b a s eo nt h eb a c k g r o u n do ft h em e a s u r e m e n td e f o r m a t i o no ft h ea e r o f o i l ，w eg od e e p i n t ot h er e s e a r c ht ot h ec a m e r ac a l i b r a t i o nm o s t l y , a n dm a k ea n a l y s i st ot h ew a y so f t h et r a c k i n gb a s e dt ot h eo p t i c a lf l o w a tf i r s t ，w er e s e a r c ha n ds u m m a r i z et h et h e o r yo fc a m e r ac a l i b r a t i o n ，a n dw e p r o p o s ea no p t i m i z a t i o nm e t h o do fc a m e r ac a l i b r a t i o nt h a tc a nr e d u c et h ec o r r e l a t i o n b e t w e e ne x t e r i o ra n di n t e r i o ro r i e n t a t i o np a r a m e t e r s ，w h i c hi sb a s e do nt h ew a y so f c l a s s i cc a m e r ac a l i b r a t i o na n do u rs p e c i a lr e s e a r c hb a c k g r o u n d w ec a l i b r a t et h e c a m e r ap a r a m e t e r st h r o u g ht h ee x p e r i m e n t a t i o n ，a n dr e p r o j e c tt h et a r g e t st ot h e i m a g eb a s e do nt h er e s u l t f i n a l l y ，w ec o n f i r mt h ee f f i c i e n c ya n de x a c t n e s so fo u r m e t h o dt h r o u g hc o m p a r i n gt h er e p r o j e c t i o nt a r g e t st ot h eo r i g i n s o nt h eo t h e rh a n d ，w ea l s or e s e a r c ht h ew a y so fo b j e c tt r a c k i n gb a s e do nt h e o p t i c a lf l o w a tf i r s t ，w es u m m a r i z et h ec o n c e p t i o no ft h eo p t i c a lf l o wa n de q u a t i o n s b a s e do nt h eo b l i g a t i o no fo p t i c a lf l o w , a n dp r o d u c es e v e r a lw a y so fo p t i c a lf l o w c o m p u t i n g t h ew a y o fl u c a s k a n a d ei su s e dw h e nw et r a c kt h eo b j e c t ，a t1 a s t ，w e v a l i d a t et h i sm e t h o dt h r o u g hp o s s e s s e de x p e r i m e n tt os h o wt h a tt h em e t h o da d a p tt o t h em e a s u r e m e n td e f o r m a t j o no f t h ea e r o f o i l k e y w o r d s ：v i d e om e a s u r e m e n td e f o r m a t i o n ，c a m e r ac a l i b r a t i o n ，m a c h i n ev i s i o n c a m e r ap a r a m e t e r s ，o p t i c a lf l o w , o b j e c tt r a c k i n g “ 西北_ _ l = 业犬学硕j ：论文 第章绪论 第一章绪论 这章主要阐述了本文的选题背景、研究意义和国内外研究现状，并介绍 了本论文的研究内容以及本论文的组织。 1 。1 选题背景及研究意义 随着中国加入w t o 及世界经济全球化的发展，飞机已经成为重要的交通 1 ：具，它的性能关系到乘客的安全和国家财产的安全，在国防中战机的先进性 也体现着国家的综合实力。飞机在飞行时，由于气动载荷作用在机翼l ，产生 的应力引起结构变形，使得飞行器的主升力面产生形变和位移。若飞机机翼一 边变形，会使左右两翼阻力不等，影响毪机方向的平衡。所以变形和位移量的 火小不仅影响飞机的结构和气动性能，剥于战斗机所搭载的武器系统的影响也 十分巨大。 在航空测带领域，运动物体运动参数的非接触式测量是非常重要的研究内 容，因为在航空器，推进器，武器系统，风洞流场等的性能测试中，往往会遇 到难以使用接触式传感器进行测量的情况。例如，飞行器飞行周围流场的分析； 飞行器试飞中机身，机翼，水平尾翼，垂商尾翼等的变形测量；商升飞机旋翼 在小同转速时的变形测量；航空发动机迸气道流场畸变的测量；机载导弹挂架 投放导弹后的变形测量等等。因此，研究非接触式测量的新方法具有重要的理 论意义和广泛的应用价值。 飞行器翼面的变形测量是飞行试验中经常遇到的实验内容之一，对于飞机 翼而变形测最的研究不仅可以应用于飞机设计时飞机模型的主升力丽在风洞内 的变形测星，还可以用于飞机安装后进行地面测试时的翼面变形测量；同时这 研究还可以进一步推广到飞机着陆时起落架的变形测最研究，以及导弹投放 外挂架投放导弹的轨迹测量。 除了实施地面测最利分析，如果将标定妤的数字摄像机安装在飞机卜，就 可以实时获取高速飞行中的飞机翼面变形图像序列，通过机载计算机的实时处 理，获得飞机在某种载荷和气动条件下的升力面变形，调整e 机的飞行参数来 保证飞机的安全以及投放机载武器的有效性。 美国困家宇航局( n a s a ) 早在j t , - 。年代末期就开始了飞机翼面变形测鞋技 术的研究，一期使用的是红外线定位仪和高精度经纬仪，试验的机犁是x - 2 9 。 西北上业人学硕士论文第薛绪论 但用上述手段进行测试要求的环境非常高，而且只能在地面测试。对于某种气 动和武器载荷的条件r 匕机翼面的变形数据无法实时获取，也无法获得连续变 化的变形数据。视频变形测量技术( v i d e om e a s u r e m e n td e f o r m a t i o n ，v m d ) 很快弥补了其不足。 将数字图像序列处理分析技术和飞行器升力面变形测量技术结合在一起的 研究起始于美国n a s a 朗力研究中心和阿米斯研究中心 1 - 2 。他们首先给风洞 试验巾的飞机模型翼丽上有规律的布最许多特征点，利用数字摄像机实时高帧 率地获取机翼的变形图像，然后进行数据处理，关键是摄像机的参数标定和图 像序列分析。 数字视频分析技术，早期被称为图像序列分析，是近年来的研究热点，处 寸：现代信息科学的前沿。国外这方面的研究始于七十年代，最初的研究主要用 于卫星云图的分析。随着它的发展，图像序列处理和分析的研究内容已扩展到 运动目标的分割，检测，跟踪等方面。同时，数字视频处理技术在工业监测， 故障分析等领域也有很多的应用，已经发展成为工业测试测量领域进行非接触 检测技术的一利i 有效工具。 国外对于飞机翼而变形测量的研究起步较早，n a s a 的科学家在九十年代 开始使t 【_ 1 j 视频变形测量的方法对其进行研究和分析，获得了大量的资料和经验 3 4 1 。我国在这方面的研究起步较晚，结合摄像机标定技术和数字视频处理的 飞机翼而变形测量的研究在国内还处于开始阶段。通过对该问题的研究，、叮以 为我国的航空测试领域提出新的方法，同时，这项技术也可以推广到更多的航 空测试中盘。 1 2 摄像机标定的研究现状 摄像机标定是计算机视觉领域里从二维图像提取三维空间信息必不可少的 关键一步，图像上每点的亮度反映了空问物体表面菜点发射光的强度，而该 点在图像i 的位置则与空问物体表面对应点的几何位置有关。这些位置的相- ： 关系，由摄像机成像几何模型所决定，该几何模型的参数称为摄像机参数，这 些参数必须通过实验计算确定，这一过程称为摄像机标定。 摄像机标定方法根据标定方式的4 i 同，主要归结为三种方法：传统标定方 法，主动视觉标定方法和l 目标定方法。 传统标定方法：传统的摄像机标定方法利用已知的景物结构信息( 常用到 标定块) 作为空间参照物，通过空间点和图像点之间的对应关系来建赢摄像机 西北 二、比大学碳士论文 第。章绪论 模型参数的约束，然后通过优化算法求取这些参数，传统方法可以使用l 二任意 的摄像机模型，标定精度高，但标定过程复杂，需要高精度的已知结构信息。 传统方法的典型代表有d l t 方法 3 ，t s a i 的r a c 标定方法 5 ，8 。 主动视觉标定方法：所谓基于主动视觉的摄像机标定，是指已知摄像机的 某些运动信息而进行的摄像机标定方法。一般说来，该方法下的摄像机模型参 数通常可以线性求解，鲁棒性比较高，不能使用于摄像机运动未知和无法控制 的场合。这方面具有代表性的工作是马颂德于1 9 9 6 年在i e e e t r a n s r a 上的工 作。 自标定方法：自标定方法依靠多幅图像之间的对应关系进行标定，仅需要 建立图像之问的对应，灵活性强，潜在应用范围广，它属于非线性标定，鲁棒 性不高。 由于传统的摄像机标定方法具有较高的标定精度，适合在测最领域中使用， 本文的背景是要对飞机翼而的变形进行测量，因此本文主要对传统的摄像机标 定方法进行研究。 1 3 本论文的研究目标和主要内容 本文主要进行了如下两个方面的研究： 第，完成对摄像机的参数标定。我们要通过视频序列对飞机翼面的变形 进行测量，就必须建立起平面视频图像坐标到三维空间坐标的对应关系，这便 是摄像机标定所要完成的工作。通过对掇像机正确有效的标定，确定出摄像机 的内部参数和外部参数以及镜头变形参数，就可以将每一帧图像中飞机翼面i 二 的特征点映射到三维空问中去，然后基于此才能对飞机翼面的变形进铀：测基。 第二，基于光流的方法对序列图像中的目标进行跟踪。在进行飞机翼面变 形的视频测量时，会在飞机翼面j 二标记若干个特征点，只要确定山特征点在每 一帧图像中的位置，根据标定好的摄像机，就可以将其映劓到三维空间。但是 特征点一般有很多个，对于相邻帧的图像，前一帧图像上的某一特征点究竟划 虑于后一帧图像l 的哪一点，这就必须加上一个约束条件，我们在这里采用对 目标进行光流跟踪的方法来约束。 整个过程的流程如下图所示： 3 西北上、l k 人1 硕士论文第章绪论 图1 1 整个过程的流程圈 本文的主要_ 丁作如下： 苗先，深入研究了摄像机的标定原理及方法 1 7 1 8 ，从分析摄像机针孔模 型的成像原理开始，给出了透视投影方程，然后引入摄像机参数的概念，介绍 了两种经典的标定方法，对于线性模型的d l t 方法 3 和对于非线性模型的r t s a i 的r a c 标定方法【5 ，8 】。 其次，由j ：本文所研究的背景是飞机翼面的变形测量，它的实验场合一般 是在风洞中，适合摄像机拍摄的窗口很少，并且飞机翼面的变形有着其特殊性， 就是飞机机翼在翼展方向几乎不发生形变 1 2 】，这就使得我们使用单摄像机进 行测量成为i _ j 能。本文基于此提山一种单摄像机的最优化标定方法，可以减少 摄像机内部参数和外部参数之间的强相关性，简洁有效，然后我们通过实验剥 该方法进行了验证。 最后，研究了基于光流的方法对序列图像中的目标进行跟踪。给出了光流 的概念和光流约束方程，然后介绍了几种光流计算的方法。在根据光流进行跟 踪时，采用了l u c a s k a n a d e 方法 1 4 1 ，通过实验验证了该方法的普遍性和稳定 性，说明该方法适合于飞机翼面变形测量。 1 4 本论文的组织 第章绪论，着重阐述了基于视频序列进行飞机翼面变形测量的研究意义 嗣1 国内外研究现状，并概括介绍了本论文的研究内容和成果。 第二章摄像机的标定原理及方法，主要讲述了摄像机成像的几何基础，通 过刈透视投影方程的推导，给山了摄像机内外参数的一般定义，晟后介绍了两 利l 经典的标定方法：d l t 方法和r t s a i 的r a c 标定方法。 第三章种中摄像机的最优化标定力法，讲述平蜘j 以减少摄像机内部参 4 西北工、i k 大学硕士论文第一章绪沦 数和外部参数之间强相关性的最优化标定方法，并采用一组实际图像进行标定 实验，最后对参数的正确性进行检验。 第四章基于光流的同标跟踪，讲述了光流的概念，并由光流和运动场之间 的关系给出光流约束方程，最后根据l u c a s k a n a d e 算法进行光流跟踪，并进行 实验。 第五章总结和展望，总结了本文所做的工作和研究成果，指出了研究中的 彳i 足和今后的重点研究方向。 西北工业大学硕士论文 第二章摄像机的标定原胖及方法 2 1 引言 第二章摄像机的标定原理及方法 计算机视觉的主要任务是利用计算机技术实现对三维景物的描述、识别和 理解，摄像机是对物理世界进行三维重建的一种基本测量工具，它所获取的j 乏 维物体的二维图像是以像素为单位的，如何确定物体的三维空间坐标和二维图 像的对应关系是摄像机标定工作所要解决的问题。空间物体表面某点的三维几 何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定 的。这些几何模型参数就是摄像机参数，为了得到这些参数而进行的实验与计 算的过程称为摄像机标定。 摄像机标定的概念首先来自于摄影测量学【3 ，摄影测量学中所使用的方法 是数学解析分析的方法，在标定过程中通常要利用数学方法对从数宁图像中获 得的数据进行处理。摄像机的内部参数指的是摄像机成像的基本参数，包括主 点( 摄像机镜头的光心在成像平面的投影) ，焦距，径向镜头畸变、切向镜头畸 变以及其它系统误差参数，而摄像机的外部参数指的是摄像机相对：，：外部世界 坐标系的方位。摄像机标定的目的就是获取这些内外参数。 摄像机标定在如下应用中起着重要的作用： 1 从计算机图像坐标中导出三维几何信息 由摄像机标定所确定的摄像机模型和参数能够提供一种给定某目标点的图 像坐标，确定一- 条实际目标点在其上的空间直线的方法，这样就可确定出该目 标点的空间位置，这种极为重要的信息可以应用于立体测黾、机电元件的自动 装配、机器人视觉等重要领域中 2 利用机器视觉模型的检测和装配应用中，关于物体三维空间位鼹和方向 的一个假设可以利用摄像机模型和参数转化为对其所成图像的一个假设，对比 该假设图像和实际拍摄的图像即可拒绝或确、认对物体及其空间位置的假设。 在本章t p 主要讲述摄像机成像的几何基础，摄像机参数的概念以及两种经 典的传统摄像机标定方法。 2 。2 摄像机成像的几何基础 摄像机成像系统将三维场景变换成二维图像，这种变换可以用一个从三维 空间到二维空间的映射来表示： 第二章摄像机的标定原理及方法 ，：r3 尺。 o 、 i z 1j ( x ，y ，z ) j ( x ，y ) 、 三维空间到二维窄问的常用映射有两种：透视投影变换和正交投影变换。 2 2 1 透视投影和正交投影 透视投影是最常用的成像模型，可以用针孔成像模型来近似表示。透视投 影成像模型的特点是所有来自场景的光线均通过一个投影中心，它对应于透镜 的中心。经过投影中心且垂直于图像平而( 成像平面) 的直线称为投影轴或光 轴，如图2 1 所示： 圈2 1 透视投影倒直成像几何示意图 其中妒是固定在摄像机上的赢角坐标系，遵循右手法则，其原点位于投影中 心，z 轴与投影轴重合并指向场景，_ 轴，y 轴与图像平面的坐标轴z 。和y 。平行， 驯平面与图像平面的距离为f ，一般称为摄像机的焦距。在实际摄像机中，图 像平面位于投影中心后面距离为f 的位置( 图2 1 ) ，其投影图像是倒立的。为 了避免这种倒立图像，假定图像平面位于投影中心的前面，如图2 2 所示： 西北工业、学硕士论文第一蕈摄像机的扫；定原理及方法 y 22 透视投影几何示意到 场景中点0 ，y ，z ) 在图像平面上的投影位置( x ，y ) 可以通过计算点( ，y ，z ) 的视 线( 空间点与投影中心的连线) 与图像平面的相交位置得到。 点( x ，y ，z ) 的视线，点( 墨y ，z ) 到z 轴的垂赢线段以及z 轴形成了一个三角 形。图像平而卜点( x 。，y ) 的视线，点( x ，y ) 到2 剁】垂直线段以及z 轴形成了另一 个= 三角形。这两个三角形是相似三角形，f h 此得到透视投影方程 三：旦：! ( 2 2 ) j y z 点( j ，y ，z ) 在图像平面中的位胃由f 式给山 x i ：!yx y ：! y( 2 3 ) x2 一 = 一y l j ， zz 正交投影指用平行于光轴的光将场景投射到图像平面上，因此也称为平行 投影，如图2 3 所示： 9 西北工业大学硕士论文 第二章摄像机标定原理及方法 y 图2 3 正交投影几何示意图 正交投影是透视投影的一个特例，当透视投影模型的焦距f 很大且物体距 投影中心很远时，透视投影就可以用j f 交投影来近似。正交投影方程为 x = x y = y( 2 4 ) 2 2 2 视觉系统坐标系 z 在计算机视觉系统中涉及到以f 几种坐标： 1 像素坐标：表示图像阵列中图像像素的位置； 2 ，图像平面坐标：表示场景点在图像平丽上的投影： 3 摄像机坐标：即以观察者为中心的坐标，将场景点表示成以观察者为中 心的数据形式； 4 场景坐标：也称作绝对坐标( 或世界坐标) ，用于表示场景点的绝对坐 标。 像素坐标也称为图像阵列坐标或网格坐标。图像处理通常是在图像阵列的 像素坐标系中进行，其中图像的行数和列数 f ， 对应于图像网格的整数嫩标， 即像紊的坐标是整数值，像素【o ，0 位于图像的左上角，f 指向一f 9 - ，指向右 方。这种图像像素坐标系，正好对应计算机程序里的阵列语法。使用摄像机几 何假设条件町以将像素点坐标转化成图像平面坐标。 图像。f 面坐标( x 1 ，y 1 ) 定义如下：假定摄像机主点，即光轴与图像平面的交 话北工业大学颁士论殳第，章摄像机的标定原婵及方法 点，位 卜图像的中心点，若图像阵0 为h ，则图像半而坐标的中心坐标为 ：。：掣蠢= 掣 ( 25 ) 其中( c x , 唧) 表示中心坐标的估计值，图像平面坐标x 1 轴方向足列数标号增自i i 的 方向，但v 轴方向指向行数标号增加方向的反向。假定图像阵列的行列间距是 相等的，则像素坐标 i ， 到图像坐标( x 1 ，y ) 的变换公式为 x + ：，一掣：一( i - y掣) ( 2 6 ) x2 ，一_ 。一二一j l z o j 如果图像阵列的行列间距不相等，并设列间距为s ，行间距为s 。，则像素 坐标到图像坐标的变换式为 x 。= 删一掣) y = 一( i - 掣) ( 2 7 ) 为了简化运算，在机器视觉应用中普遍要求摄像机的像素为正方形像素， 如果使用了非正方形像素摄像机，则必须考虑非正方形像素对测量的影响。若 有影响，则必须在测量之前将其坐标转化为标准的图像平面坐标。 2 2 3 坐标系变换和刚体运动 沿用c r a i g ( 1 9 8 9 ) 的符号 1 8 ，把坐标系f 中点p ( 向量v ) 的坐标l 柚量记 ”p = 西= ( i 车，石= 并，+ ，矿+ z 膏 c 2 8 ， 我们考虑两个坐标系的情况：( 4 ) = ( q ，l ，k 。) 和( b ) = ( 吼，。，k 。) ，坐标系 的变换就是将8 p 表示成“p 的函数。首先考虑一种简单情况( 即， f 。= i b , 。= 。，。= k b ) ，这两个坐标系的基向帚i 行嘭耵10 。，但是原点位置不 第：章摄像机的标定原娜及方法 p 图2 4 坐标系变换：纯平移 i b 在这种情况下，我们称两个坐标系之间是纯平移关系，且有 o 。p = 呸q + g p ，则 8 p = 。尸+ 8 吼 ( 2 9 ) 如果曲个坐标系的原点重合( 即o 。= 吼= 0 ) 但是基向量不同，我们称它 们之间是纯旋转关系( 见图25 ) ： ( a ) i 矧2 5 坐标系变换：纯旋转 我们把这种关系用旋转矩阵米描述，定义为：m ，这里下标指示被表示的 对象，而上标指示用来表示对象的坐标系，所以；m 是指坐标系a 在坐标系b 中的旋转矩阵。 西：i l 工q k 大学硕士论文 筇二章摄像机的标定原理及方法 fi 。f 。f 。女。f 。1 ：m = li 。厶l ，。厶l ( 2 1 0 ) l f a 。j a k bk a k 日j 当k 。= k 。= k 时，用口表示f 。和i b 间的夹角，当f 。绕女旋转臼后到达，我们有 rc o s 0s i n 毋o 、 ：m 2 l 一8 了口c ：臼? j 2 1 1 ) 两个坐标系之问的旋转可以通过逐步绕f 。或。旋转得到，一般来说，旋转矩阵 可以分解为绕f ，k 旋转的基本旋转矩阵的乘积。 设直角坐标系中三个坐标轴分别为x ，y ，z ，空间角可用赢角坐标系中的 欧拉角描述：绕z 轴旋转角d ，绕y 轴旋转角，绕z 轴旋转角y ，如图2 6 所 图2 6 欧拉角示意图 我们将旋转矩阵用m 来表示，那么矩阵各元索如f 西北工、i k 大学顺l 论文 第_ 章摄像机的杯定原理及方法 m i l = c o s 卢c o s y m 12 = s i n a s i n ，c o s y + c o s t 2s i n ， m l3 = 一c o s ds i n 卢c o s y + s i n t 2 s i n y 2 1 = 一c o s 卢s i n y m 2 2 = 一s i n as i n f l s i n y + c o s t 2c o s ? ( 2 13 ) r r 2 3 = c o s 口s i n 3s i n y + s i n e zc o s ， 鸭l = s i n m 3 2 = 一s i n 口c o s f l m 3 2c o s a c o s 卢 2 3 摄像机的参数 对于针孔摄像机，物点p 的世界坐标x ，y ，：与它在成像平面上的坐标x ，y 满 足透视方程( 2 - 3 ) 。实际上，这个方程成立是有条件的，所有距离必须在摄像机 坐标系下衡量，而且图像坐标的原点要和摄像机的光心( 摄像机的对称轴穿过 成像平丽的点) 重合。在实际应用中，用一些物理参数表示摄像机坐标系与世 界坐标系的关系，包括焦距，像素大小，主点的位置，摄像机的位置和方向。 我们把摄像机参数分为内部参数和外部参数 18 ，前者是摄像机坐标系与 理想坐标系之问的关系，而后者表示摄像机在世界坐标系里的位置和方向，在 使用方程f 2 3 ) 的时候不考虑透镜引起的非线性畸变。 2 3 1 内参数 我们，t j 以为掇像机建立一个归一化图像平面，这个平丽平孑了于摄像机的物 理成像平面，h 到针孔的距离为单位l 垂度。接着在这个平面上建立一个坐标系， 原点定在光轴和这个平砸的交点处，即图2 7 中的e 点。则透视投影方私( 2 3 ) 可以写成如下形式： 女：三i ：上f 2 1 4 1 zz 我们定义p = ( i ，i ，1 ) 7 是点p 投影到这个平面上的点声的齐移( 坐标表示。 ! 塑型望堕墅堑兰墼 笙三兰堡堡丛堕堡塞璺些丝塑鲨 物趔成像乎而 图27 物理成像和归一化成像坐标系 物理成像平面的位置1 。般与我们定义的归一化平面位置不同f 参见图2 7 ) ， 它位于距离针孔f 1 的位置上( 这里我们假设摄像机聚焦在无穷远处，则针孔 到图像平面的距离等于焦距) ，图像坐标( “，v ) 一般用像素表示。但像素般不 是正方形，而是个氏方形，所以需要用两个额外的比例因子k 和f ，且 “= 矿兰 v ：扩上( 2 1 5 ) 如果假设，是用米来表示的距离，像素的大小是 。；，其中 和，的举位 是像素米。参数女，f ，f 是相关的，如果用像素单位表示，有a = 可和b = 扩。 一般把图像的一角而不是中心定为摄像机坐标系的原点，则c c d 阵列的中 心与光轴穿过的主点c o 不同。需要添加两个参数和v o 来定义c ( ，在摄像机坐标 系内的位疑，那么有： “= d 兰+ “。v = b - - y + v o( 2 t 6 ) 最后，由于制造误差，摄像机坐标系可能会产生偏歪，即两个坐标轴不完 全垂直，在这种情况下，上式改写为： “。口i x 。t 曰考拖r 。志s i l l 詈+ ( 2 1 7 ) z z z 通过式( 2 】4 ) 和( 2 1 7 ) ，我们可以写日j 物理摄像机坐标系和归一化的图像坐 标系之间的关系： 西北工业大学顷士论文 赫一章摄像机的标定胤理段方法 p 2 印濮中p 2 71 且如 口= 二尺尸 a c o t 口“， i 丽 0l 【2 18 ) ( 2 1 9 ) 其l 卜lr 定义j , j ( k o ) ，尸( x ，z i ) 7 表示在摄像帆坐标系里的齐次坐标。 2 3 2 外参数 摄像机坐标系c 在世界坐标系w 中的位置记为 阱 铲。搿1 代入式f 21 9 1 得到 ，= 二r p ，其中，月= k ( mt ) ( 22 0 ) m = 善m 是旋转矩阳，f 一吼足、i 移向赶，p = ( “z ，儿”：，1 ) 表不向量j d 在坐 标系下的齐次坐标，我们把矩阵r 称为投影矩阵。这是一般形式的透视投影 程，可以利用它得到摄像机的光心。在世界坐标系中的位置。 那么投影矩阵可以由5 个山参数( d b ，目) 和6 个外参数( 三个表示旋 转 的角度，另三个表示平移t ) 显示表达： i c t c o t o m ；+ “o ； m ；+ h 畸 s 【1 1 d 日一a c o t s ，v + u o t d s i n 0 ，。 v o f = 其中，m j ，卅；，m 3 7 表示m 的三行，；是向量，的坐标c 2 4 摄像机的几何标定 ( 22 i ) 摄像机的儿，0 标定是捐建市罔像像素位置和场景点位置之间的关系，因为 每个像素都是通过透射投影得到的，它对应于光学中心与场景点形成的条射 线。摄像机标定问题就是确定这条射线在场景绝对坐标系中的力程。要建立图 像平面坐标和绝列坐标之间的关系，必须首先确定摄像机的位置和方m 以及摄 像平面嫩标和绝刑坐标之问的关系，必颈首先确定摄像机的位置和方向以及摄 6 西北工业大学硕士论文 第一章搬像机的标定原婵及方法 像机常数，建立| 墨j 像阵列位置( 像素坐标) 和图像平面位置之间的关系，必须 确定主点的位置，行列比例因子和透镜变形。摄像机标定问题包括刚体变换外 部参数和摄像机自身的内部参数，下面讲述两种常用的标定方法。 2 4 1 直接线性变换方法( d l t ) a b d a l a z i z 和k a r a r a 于7 0 年代初提出了直接线性变换像机定标的方法 3 ， 他们从摄影测量学的角度深入的研究了像机图像和环境物体之间的关系，建立 了像机成像几何的线性模型，这种线性模型参数的俩计完全可以由线性方程的 求解来实现。 将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵( 见公式 2 2 0 ) 的形式： 纠 x 誓 z 1 ( 2 2 2 ) 其中，( 置，l ，z ，1 ) 为第i 个点在世界坐标系中的齐次坐标，( “，t ，1 ) 为第i 个点 在图像坐标系中的图像坐标，r , j 为投影矩阵r 的第f 行第j 列元素，s 为未知尺 度因子。 将上述矩阵方程展开： s “，= _ l x ，+ 2 + r l 3 z + 4 s v 。= 匕l 一十t 2 i + 毛 z i + ( 22 3 ) s = r 3 , x ，+ 吩2 r + 3 z ，+ b 4 将上式中的第一式除以第三式，第二式除以第三式分别消去s ，可以得到 两个关于f 的方程： 置i 十! + 铂3 + 4 一一置1 一“，一“，z f 岛2 “r r 3 4 4 1 x j t l + f t 2 + z 。3 + r 2 4 一v ，x 。r 3 i v e 2 一v ，z ，b 3 = v j r 3 4 将上式中的两边分别除以r 3 。，得到下面方程 厶x ，+ l 2 + 厶z ，+ l 4 一“- 厶x ，一“，l l 。一“，l l l z 一= u i f 2 2 5 ) 丘置+ k i + 五7 z ，+ 岛一u 。墨一v , l ，。r 一叶，z 。2v ， 通过这样的变形，上述方程组包含有从l 。到厶；共1 1 个参数，它们与摄像 塑! ! 三、业查堂堡生堕兰 塑：童一童堕堂型堕壁窒堕里堕! 互墨 机的内部参数和外部参数有一定的关系，我们把这些参数称为d l t 参数，该方 程就是d l t 方程。 如果空间中基有h 个目标点，我们知道了它们在世界坐标系和图像坐标系 中的坐标，就可以求解山这1 1 个参数。将上式写成矩阵形式： x z 1 l 000 0 一“l x l 一“l x 一“l z 000 0 x zz 11 一v t x l v 【z v t z 以匕z 。1 00 0 0 一x 。一“。k - l t n z n 00 00 x 。_ z 。1 一v 。x 。一v o 一v o z 。 “” v ” ( 2 2 6 ) 将上式简写为b l = c ，那么d u f 参数的最小二乘解为 l ：( b 7 b ) b 7 c ( 2 2 7 ) 由j 二共有1 1 个参数，那么如果已知空间6 个以上点的世界坐标和图像坐标，使 可以求解i 这些参数。在一般的标定过程中多使用数卜个已知点，便方程的个 数大大超过未知数的个数，从而用最小二乘法求解以降低误差造成的影响。 这科，方法的优点是整个计算过程比较简单赢观，且除了要求知道所有控制 点在三维世界坐标系中的坐标值和其在二维图像上的坐标以外，不再需要其它 的额外信息。事实l ：，l 矩阵中的1 1 个参数并非互相独立，雨是存在着变量间 的约束关系。但是划线性方程组求解时，并没有考虑到这些变量问的约束关系。 因此，在数据有误差的情况下，计算结果中的误差就比较明显。所以采用这种 方法来进行摄像机标定，酋先，必须要有较多个数的控制点：其次，对控制点 的测昂误差也要尽可能的小。 2 4 2r t s a i 的r a c 标定方法 下面介绍由t s a i 总结的一种摄像机标定的基本方法，8 0 年代中期t s a i 提出 的基j r a c ( 径向 致约束) 的标定方法是摄像机标定方面的一项重要工作 5 ， 8 】，该方法的核心是利用径向。致约束来求解除t ( 摄像机光轴方向的平移) 厶如厶厶岛厶厶厶厶厶厶 西北工业大学硕士论文第章摄像机的标定原婵及方法 外的其它摄像机外参数，然后再求解摄像机的其它参数。基j 二r a c 方法的最大 好处是它所使用的大部分方程是线性方程，从而降低了参数求解的复杂性，因 此其定标过程快捷，准确，该方法在计算机视觉中得到广泛的应用。 设p ：表示图像平面的原点位置，一表示从点戍出发到图像点= ( ，j ) 的 矢量，只= ( ，h ，z ) 是一个标定点，表示从光轴上的点( o ，0 ，z ) 出发到只的矢 量，如图2 8 所示： z x 图28 摄像机透视投影与透镜径向变形几何示：鼓罔 如果仅是由于径向透镜变形而造成实际图像坐标( i ，夕。) 偏离理想图像坐标 ( ，y f ) ，那么彳平行于i ，我们把这个条件称为径向一致约束。摄像机常数和 在：方向上的平移并不影响的方向，因为两个图像坐标分量是以| 吾】样的b b i i 缩放的。 假设标定点位于：= 的平面中，并假设摄像机相对于这个平面的位置关系 满足下面两个重要条件： l绝对坐标系中的原点不在视场范围内； 2 绝对坐标系中的原点不会投影到图像上接近于图像平面坐标系统的y 四北工业夫学硕士论文 第一章摄像机的标定原理搜方法 轴。 条件l 消除了透镜变形对摄像机常数和到标定平面距离的影响；条件2 保 证了刚体平移的y 分量不会接近于0 ，因为y 分量常常出现在下1 | _ 许多方程的分 母巾，这两个条件在许多成像场合下是很容易满足的。例如，假定摄像机放在 桌子的正上方，镜头朝下正好看到桌子的中间位置。绝对坐标系可以定义在桌 子上，其中z = 0 对应于桌子甲面，x 利y 轴分别对应于桌子的边缘，桌子的顶 角足绝埘坐标系的原点，位1 i 视场之外。 假定啊”个标定t i ，每个标定点的绝对坐标为( t ，y 。，z i ) ，未修正图像坐标 为( 一，歹) 。根据这些观测值形成个矩阵爿，设它的第i 行为d ，那么 a ，= ( 只x ，歹，咒，- - x i x i ，一x y ，9 ，) ( 2 2 8 ) 设“= ( “，“：，坞，“。，“，) 是含有1 j 刚体变换参数有关的未知参数的矢量 “= ( u i , “2 ，“3 ，z f 4 ，“5 ) 一f 盟鱼堕丝蔓1 ( 2 - 2 9 ) l )f ，f yf yy j 其中m ，是旋转矩阵m 的第f 行第j 列元素，是平移向量，的分量。 那么”个标定点可以形成一个矢鬣6 = ( 量，i ：，i 。) ，显然使用5 个以上标 定点，就可以得到关于参数矢量“的线性方程组：a u = 6 ，求解这个线性系统， 并使用方程解“= ( “，“：，“，“。，“；) 来计算除f ：之外的所有刚体变换参数。f ：是摄 像机常数的比例函数，将在后面确定。 首先，计算出平移的y 分量的人小，如果碣，“：不同时为o ，t 2 3 , “。不同时为 o ，那么： 【，一u 2 4 ( j r 4 - - l 2 2 3 ) 2 r 2 ( u l “4 一“2 ) 2 其中u = “? + “；+ “；+ “；。如果“i ，“：同时都为0 ，则 女 i 果“，“。同f 1 、j 者f j 为o ，贝 ；2 百瓦 ，l 2 万赢 ( 2 3 0 ) ( 2 3 i ) ( 23 2 1 耍! ! 三些奎堂塑主堕壅 塑三翌塑堡盟! 堕壁生堡坠! ! 壁 其次，确定f 的符号。选取标定点p = ( z ，y ，：) ，这个点在图像平面上的投 影点是离图像中心最远的图像点( 位于视场边界的场景点和其对应的图像点) ， 根据式( 2 2 9 ) 计算i i ，所【2 ? 7 1 2 j ，m 2 2 和f ，。 设 。= m 。x + m ，：y + t 。和 ，= m 2 1 x + m 2 2 y + t ，如果f ，和j 同号，f ，和歹也 同号，7 9 z , ，。具有正的符号，否则在f 。前加上一个负号。7 - b ：意，在不考虑r ，的 符号时，上述刚体变换讣算参数都是正确的，不需要改变。 第三，计算余下的刚体变换参数 1 3 = 1 一研i i 一五 ( 2 3 3 、 ，= j m ；一脚轰 凶为旋转矩阵是正交规范化矩阵，则m 7 m = ，一定成立。使用这一性质来 计算旋转矩阵最后一行中的各个元素则有 m 3 1 ：= l - 衍i - - r r l l 2 m 2 1 m ，1 卅、一1-#?722-ml 2 1 # 2 1 ( 23 4 ) 。 m 2 3 m ，= j l - m 3 1 m t3 - - m 3 2 d 1 2 3 如果m l i m 2 1 + 硎1 2 坍2 2 的符号是正的，则在州：，前加负号，在下面计算摄像 机常数之后，鸭，卅，：的符号可能会有所变动。 第四，计算摄像机常数f ( 即投影中心到摄像机平面的距离，也就是摄像 机的焦距) 和平移的z 分最，；，为了估计f 和f ：，可使用所有的标定点来构成线 性方程组 a v ：b ( 2 3 5 ) 使用每一个标定点来计算对应的矩阵行 a i ：m ：。x ，+ ， ：y ，+ f y , - d 夕，) ( 2 3 6 ) 并计算出方程( 2 3 4 ) 右边所对应的矢量元素 包= ( _ + m 3 ：m ) 嘭兄 ( 23 7 ) 欠量v 包括所要估汁的参数，即 v ：f f ，1 7 ( 2 3 8 ) 使用奇异值分解求解这个方程组。如果摄像机常数， o ，则在刚体变换的旋转 西北工业大学硕士论文 第二萼摄像机的标定原理及方法 矩阵元素。m ，：前加负号。 第五，使用前面各个步骤得到的f 和，：的估计值作为非线性回归的初盘台条 件，计算一阶透镜变形系数符，并进一步得到f 和r ，的更精确的估计值。通过 透视投影来建立真实( 修正) 图像平面坐标( ，7 ，) 与摄像机坐标系中的标定点 ( 心，y 。，z 。) 之间的关系式： x f ：f 立 。 f 2 3 9 ) y7 = 尸生 假定使用径向透镜变形模型的第一项建立真实图像平面坐标，其与未修止 图像平面坐标之间的关系为 yx，=：x歹(1。+kktr，2：j c za 。， y = 歹( 1 + k r2 ) 。 其中半干争，的计算公式如下： r = j 2 + 夕2( 2 4 1 ) 注意，未修正图像平面坐标( 王，歹) 不同于像素坐标 f ， ，因为前者的计算过 程中已经用到了图像巾心位置坐标( q ，勺) ，行间距或，列间距氐以及比例系数 估计值g - 一。 使用透视投影和透镜变形方程中的y 分量以及绝对坐标与摄像机坐标之间 的刚体变换公式，可以得到有关摄像机常数f ，z 平移和透镜变形的个约束 条件 刚+ 一一：f 塾尘旦型型( 2 4 2 ) 这将形成求解参数f ，t ：和k i 的个非线性回归问题。我们使用y 轴测量值， 而补使