（通信与信息系统专业论文）摄像机标定多视点校正算法.pdf

山东大学硕士学位论文 摘要 摄像机标定是从物体的二维平面图像中获取三维信息的关键步骤，并且也是 摄影测量和计算机视觉的经典问题，摄像机标定结果的好坏直接决定着三维重建 结果的好坏。所以，研究摄像机的标定算法具有重要的理论意义和实用价值。 摄像机标定方法根据标定方式的不同可分为传统标定方法，基于主动视觉的 标定方法和自标定方法。传统标定方法是利用已知标定物的结构信息，通过计算 三维空间点与二维图像点之间的对应关系进行标定；基于主动视觉的标定方法是 已知摄像机的某些运动信息；自标定方法是不需要标定物，仅依靠多幅图像之间 的对应关系进行标定。 摄像机模型分为线性模型和非线性模型，在非线性模型中存在着镜头畸变。 这两种模型的成像过程中用到了四种参考坐标系，它们是定量描述摄像机成像过 程的基础。计算机视觉在发展过程中出现了多种摄像机标定技术，在总结、分析 这些技术的基础上，介绍了一种新的非常高效的摄像机标定算法摄像机标定 多视点校正算法。 摄像机标定多视点校正算法利用一种规则的黑白棋盘状网格作为标定物，从 任意的视点对其进行亚像素级特征提取，并将这些特征映射到无畸变和校正图像 的相应点来估计摄像机的内部参数和外部参数，而这些无畸变和校正图像是由一 个与该摄像机具有相同焦距、无任何镜头畸变和角度偏差的理想摄像机产生的。 多视点校正算法作为一个非线性最d , - - 乘优化问题，它的二次成本函数表示了剩 余登记误差降低到最小程度。多视点校正算法的计算精度，是利用带有镜头畸变 的摄像机拍摄的一组不同视点的实际图像和由这些实际图像的合成图像两个方 面进行实验测试的，最后通过比较b o u g u e t 图像获得的投影误差与合成图像获得 的剩余登记误差的结果，证实了多视点校正算法有较高的精度和鲁棒性。 摄像机标定多视点校正算法利用图像校正来计算所有内部参数和外部参数 山东大学硕士学位论文 的理念比较先进，同时每个视点的外部参数和摄像机焦距都是从相关的矩阵系数 中计算出来的，并且计算得到的像素宽高比作为建立三维旋转角度上的零交叉， 这一过程在计算机视觉领域是非常具有吸引力。 2 关键词：摄像机标定；摄像机参数；摄像机模型；多视点 山东大学硕士学位论文 a b s t r a c t c a m e r ac a l i b r a t i o ni st h ek e ys t e po fr e c o v e r i n g3 ds h a p ef r o m2 di m a g e sa n d t h ec l a s s i c a lp r o b l e mo fp h o t o g r a m m e t r ya n dc o m p u t e rv i s i o n c a l i b r a t i o nr e s u l t sw i l l d e t e r m i n et h eo u t c o m eo ft h r e e - d i m e n s i o n a lr e c o n s t r u c t i o nd i r e c t l y t h e r e f o r e , t h e r e s e a r c ho fc a m e r ac a l i b r a t i o na l g o r i t h mh a sa ni m p o r t a n tt h e o r e t i c a ls i g n i f i c a n c ea n d p r a c t i c a lv a l u e a c c o r d i n gt oc a l i b r a t i o nm e t h o d s ，c a l i b r a t i o nc a n l e r ac a l lb ed i v i d e di n t ot h r e e c a t e g o r i e s ：t r a d i t i o n a lc a l i b r a t i o nm e t h o d , m e t h o db a s e do i la c t i v ev i s i o nc a l i b r a t i o n a n ds e l f - c a l i b r a t i o nm e t h o d t r a d i t i o n a lc a l i b r a t i o nm e t h o di s 瑚i n gt h ek n o w n s t r u c t u r ei n f o r m a t i o no fc a l i b r a t i o no b j e c tt oc a l i b r a t e ，t h a ti sb yc o m p u t i n gt h e c o r r e s p o n d i n gr e l a t i o n s h i p sb e t w e e nt h e3 dp o i n t sa n d2 di m a g ep o i n t s ；t h em e t h o d b a s e do na c t i v e v i s i o nc a m e r ac a l i b r a t i o ni ss o m eo ft h ek n o w nm o v e m e n t i n f o r m a t i o no fc a m e r a ；s e l f - c a l i b r a t i o nm e t h o dd o e s n tn e e dt h ec a l i b r a t e do b j e c t , i t a c h i e v e sc a l i b r a t i o nb yu s i n gt h ec o r r e s p o n d i n gp o i n t so fm u l t i p l ei m a g e s c a m e r am o d e lc a nb ed i v i d e di n t ot h el i n e a rm o d e la n dt h en o n - l i n e a rm o d e l ， t h e r ea r el e n sd i s t o r t i o ni nt h en o n 1 i n e a rm o d e l f o u rr e f e r e n c ec o o r d i n a t e sa r eu s e d i nt h ep r o c e s so fc a m e r ai m a g i n i n g ，t h e ya r et h eb a s i so fq u a n t i t a t i v ed e s c r i p t i o no f t h e c a m e r ai m a g i n gp r o c e s s t h ev a r i o u sc a l t i c l - ac a l i b r a t i o nt e c h n i q u e sg e n e r a t ei nt h e d e v e l o p m e n to fc o m p u t e rv i s i o n o nt h eb a s i co fs u m m a r i z i n ga n da n a l y s i n gt h e s e t e c h n i q u e s , t h ep a p e r i n t r o d u c e san e w h i g h l y e f f i c i e n tc a l i b r a t i o n a l g o r i t h m - - m u l t i - v i e wc o r r e c t i o nc a m e r ac a l i b r a t i o na l g o r i t h m ar e g u l a rb l a c k - a n d - w h i t ec h e c k e r b o a r di su s e da sc a l i b r a t i o no b j e c ti nt h e a l g o r i t h m , t h ef e a t u r e se x t r a c t i o nw i t hs u b p i x e la c c u r a c yf r o mv 耐o u sv i e w so fa r e g u l a rb l a c k - a n d - w h i t ec h e c k e r b o a r d ，t h ei n t e r n a la n de x t e r n a lp a r a m e t e r so fc a m e r a a r ee s t i m a t e db ym a p p i n gt h e s ef e a t u r es e t si n t ot h ec o r r e s p o n d i n gp o i n t so ft h e u n d i s t o r t e da n dr e c t i f i e di m a g et h a tw o u l db eg e n e r a t e db ya ni d e a lp i n h o l ed i 百t a l c a m e r aw i mt h es a m ef o c a ll e n g t ha st h ec a m e r at oc a l i b r a t eb u td e v o i do fl e n s d i s t o r t i o na n dp e r s p e c t i v ew a r p t h em u l t i v i e wc o r r e c t i o na l g o r i t h mi sf o r m u l a t e d a san o n l i n e a rl e a s t - s q u a r e so p t i m i z a t i o np r o b l e mw h e r eaq u a d r a t i cc o s tf u n c t i o n e x p r e s s i n gt h er e s i d u a lr e g i s t r a t i o ne r r o rh a st ob em i n i m i z e d t h em u l t i - v i e w 3 4 山东大学硕士学位论文 i i i _ _ _ _ _ _ _ _ 一 c o r r e c t i o na l g o r i t h m sc a l c u l a t i o na c c u r a c yh a sb e e nt e s t e dw i t hi m a g e st a k e nw i t ha c a m e r aw i t hl e n sd i s t o r t i o no fag r o u po fd i f f e r e n ta n ds y n t h e t i cv e r s i o n so ft h e s e i m a g e s f i n a l l y , t h ec o m p a r i n gr e s u l t s ，t h a to b t a i n e dt h ep r o j e c t i o ne r r o rw i m b o u g u e t si m a g e sa n do b t a i n e dt h er e m a i n i n gr e g i s t r a t i o ne l f o rw i t hs y n t h e t i c v e r s i o n so f t h e s ei m a g e s , c o b f l r l n st h eh i 【g ha c c u r a c ya n dr o b u s to f t h ea l g o r i t h m d u r i n gt h em u l t i - v i e wc o r r e c t i o nc a m o g ac a l i b r a t i o na l g o r i t h m , t h ec o n c e p to f e s t i m a t i n g a l it h ei n t e r n a la n de x t e r n a lp a r a m e t e r st h r o u g hi m a g er e c t i f i c a t i o ni s u n p r e c e d e n t e d a tt h e 跚et i m e ，t h ee x t e r n a lp a r a m e t e r so fe a c hv i e wa n dt h ef o c a l l e n g t ho f t h ec a m c t aa r ce s t i m a t e df r o mt h er e l a t i v eh o m o g r a p h sc o e f f i c i e n t s0 1 1 c ct h e p i x e la s p e c tr a t i oh a sb e e nc o m p u t e d a st h ez c r o - c r o s s i l l go ft h e3 dr o t a t i o na n g l e s t h i sr e s u l tr e p r e s e n t sa na t t r a c t i v ea l t e r n a t i v ei nt h ef i e l do fc o m p u t e rv i s i o n k e yw o r d ：c a m c r ac a l i b r a t i o n ；c a m e r ap a r a m e t e r s ；c a l n c l - am o d e l ；m u l t i - v i e w 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：缢垃 日期：趁堕丝：趁 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：箍童拯 导师签名：期：逻堕二 山东大学硕士学位论文 1 1 课题研究背景与意义 第一章绪论 人类对外部环境的认识是人类日常思维活动的基础，而搭建人类与外部环境 认识之间桥梁的就是感觉，它使人类的思维与周围的外部环境建立对应关系，感 觉的重要来源就是视觉。据统计，人类8 0 以上的外界信息是通过视觉获得的n 1 。 现在人类正处于信息时代，计算机已经成为人们生活中的必需品，而人类的梦想 就是希望计算机能像人那样通过视觉观察去理解世界，适应世界。也就是说，希 望计算机能和人一样通过视觉、听觉等器官去认识世界，并与外界交换信息。随 着科学技术的迅速发展，人类正朝着这个目标前进。 计算机视觉是多学科的交叉与结合，与其相关的学科有图像处理、计算机图 形学、模式识别、人工智能、媒体计算和认知科学与神经科学，而这些学科的迅 速发展也推动了计算机视觉的快速发展，使计算机视觉在工业领域、机器人、遥 感、医学图像分析、安全鉴别、监视与跟踪、图像与视频检索、游戏、动商、体 育、人机交互等各个领域都有广泛的应用。 研究计算机视觉就是想让计算机具有通过二维图像认知三维世界的能力，这 种能力不仅包括让计算机感知三维世界中物体的形状、位置、姿态、运动等几何 信息，而且还包括对三维世界中的物体进行描述、存储、识别与理解。随着计 算机技术的发展，人们在这些方面的需求也与日俱增，从而推动计算机视觉很快 地发展成一套独立的计算理论与算法体系。 八十年代初麻省理工大学的d a v i dm a r r 教授盥3 首次从信息处理的角度系统地 综合了图形图像处理、心理物理学、神经生理学及临床精神病学的研究成果，提 出了至今为止比较完善的视觉理论框架1 。这一理论框架将视觉系统分为三个阶 段，第一阶段将输入的原始图像进行特征提取形成基元图；第二阶段利用输入图 像和基元图来恢复二维半图；第三阶段利用输入图像、基元图、二维半图恢复、 表示和识别三维物体。因此可以看出m a r r 建立的计算视觉理论的研究目的是从二 山东大学硕士学位论文 维图像中恢复三维物体可见表面的几何结构，这一过程称为三维重建。在计算 机视觉中，三维重建主要由三个步骤组成：图像对应点的匹配，就是从不同图 像中找出同一空间点在这些图像上的投影点；标定摄像机，就是确定摄像机本 身具有的与光、电特征及几何结构有关的内参数；在以上两点的基础上，进一 步确定不同图像间摄像机的运动参数，也就是求解外参数嘲。从上面的三个步骤 可以看出，摄像机标定是三维重建的重要步骤，摄像机标定结果的好坏直接决定 着三维重建的结果。因此，研究摄像机的标定算法具有重要的理论意义和实用价 值。 1 2 摄像机标定的主要内容 计算机视觉就是利用摄像机获取的图像信息计算出三维空间中物体的几何 信息，并利用这些几何信息重建和识别三维空间中的物体，而摄像机成像的几何 模型决定了三维空间中物体表面某点的三维几何位置与它在二维图像中对应点 之间的相互关系。我们将摄像机成像的这些几何模型参数称为摄像机参数。通常， 这些参数都必须通过实验与计算得到，这个过程称为摄像机定标n 1 ( 或称为标 定) 。 摄像机标定内容包括建立成像模型和求解摄像机参数两个过程，这两个过程 是相辅相成的。摄像机成像模型包括线性模型和非线性模型。线性模型是根据小 孔成像原理，建立的物体像点、投影中心和空间点三者共线的一个理想情况。非 线性模型是由于摄像机自身光学系统的不完善，使物体像点、投影中心和空间点 不共线，因此需要建立镜头畸变校正模型，利用这个校正模型将数据修正为近似 理想数据后，带入线性模型中去求解摄像机的参数。 1 3 摄像机标定方法分类 摄像机标定方法可以分三类：( 1 ) 传统摄像机标定方法睁姗；( 2 ) 主动视觉 摄像机标定方法钏。1 4 1 ；( 3 ) 摄像机自标定方法h 睁螂。 1 3 1 传统摄像机标定方法 传统的摄像机标定方法是在一定的摄像机模型下，用一个精度很高、己知结 构信息的标定物作为空间参照物，利用空间点与图像点之间的对应关系建立摄像 6 山东大学硕士学位论文 机模型参数的约束条件，再利用一系列的数学变换和优化算法，求取摄像机模型 的内部参数和外部参数。根据摄像机参数不同的计算方法，传统的摄像机标定方 法分为最优化算法的标定方法嘲，利用摄像机透视变换矩阵的标定方法l 町，以 及考虑畸变补偿的t s a i 两步法呻一们。 传统的摄像机标定方法的优点是可以使用任意的摄像机模型，标定精度高； 缺点是标定过程复杂，需要高精度标定物的已知结构信息。 1 3 2 主动视觉摄像机标定方法 计算机视觉早期的应用方向是视觉机器人的自主导航，主动视觉是根据视觉 机器人技术应用的一些特点产生出来的一个新的研究方向。这种标定方法可以人 为的控制摄像机的运动获取图像的信息来线性求解摄像机的参数。1 9 9 6 年马颂德 研究员在i e e e - t r a n s r a 上的工作n 1 1 代表了主动视觉的摄像机标定方法。 主动视觉摄像机标定方法优点是可以线性求解，计算简单，鲁棒性比较高； 缺点是不能在摄像机运动未知和无法控制的场合使用。 1 3 3 摄像机自标定方法 摄像机自标定方法不需要任何外在的特殊或某些已知三维信息的标定物，而 是直接利用图像对应点的信息求解摄像机的内参数。这种标定思想不仅给摄像机 自标定方法提供了灵活性，而且使得计算机视觉技术具有广阔的应用领域，从而 使研究摄像机自标定技术成为计算机视觉领域的主要方向。1 9 9 2 年f a u g e r a u s 和 m a n y b a n k n 毛1 6 1 首次提出摄像机自标定方法，从那以后这种技术不断发展成熟起 来。摄像机自标定方法是利用摄像机内参数仅与绝对二次曲线或绝对二次曲面的 图像有关而与摄像机运动无关的性质，通过求解绝对二次曲线或绝对二次曲面的 图像来标定摄像机的内参数。 摄像机自标定方法的优点是仅需要建立图像之间的对应，灵活性强；缺点是 非线性标定，鲁棒性不高。 1 4 论文的结构和主要内容 论文共分为五章： 第一章论述了计算机视觉研究的目的和意义，并介绍了摄像机标定方法的 内容和分类。 7 山东大学硕士学位论文 第二章系统介绍了摄像机成像的四种坐标系，镜头畸变产生的原因以及线 性摄像机模型和非线性摄像机模型。 第三章介绍并总结了摄像机标定在计算机视觉发展过程中出现的各种标定 技术。 第四章介绍了一种新的高效的摄像机标定算法，并详细给出了算法原理和 实验结果。 第五章总结全文，并对该项研究进行展望。 山东大学硕士学位论文 2 1 坐标系 第二章摄像机针孑l 模型及成像原理 为了更好地描述摄像机的成像过程，首先介绍四个参考坐标系。它们是：图 像坐标系，成像平面坐标系，摄像机坐标系和世界坐标系n j 川。 2 1 1 图像坐标系( p i x dc o o r d i n a t es y s t e m ) 摄像机采集的图像输入到计算机中，经计算机中的专用数模转换板转换成数 字图像，并在计算机内利用二维数组来存储，数组中的每一个元素( 称为像素， p i x e l ) 的值就是该图像点的灰度( 或称亮度) n 1 。如图2 - 1 所示的以d 0 为坐标原点 的直角坐标系0 0 一w 中的任意一点坐标( “，d 分别代表像素在数组中的列数和 行数，也就是说，图像坐标系中的“，v ) 是以像素为单位的坐标。 圈2 - 1 图像坐标系与成像平面坐标系 2 1 2 成像平面坐标系( r e t i n a lc o o r d i n a t es y s t e m ) 从上面我们可以知道，图像坐标系仅仅表示出像素处于数字图像中的列数和 行数，没有表示出该像素点在图像中的物理位置，因此就需要建立以物理单位度 量的成像平面坐标系。如图2 - 1 所示的以点d ，为坐标原点的坐标系d ，一砂称为 成像平面坐标系，这里的坐标( z ，) ，) 就是以物理单位度量的坐标，原点d ，处在摄 像机光轴与图像平面的交点处，该点称为图像的主点( p r i n c i p a lp o i n t ) ，它一 般位于图像的中心，但由于摄像机本身光学系统的不完善，会有些偏差。若d ，在 9 山东大学硕士学位论文 坐标系o o l n ，中的坐标为似o ，v o ) ，每个像素在工轴和y 轴方向上的物理尺度为 以，d y ，那么图像牮标系与成像平面坐标系的关系为： =汨 j ( 2 1 ) 其中_ 1 ，分别是沿j 轴和y 轴的尺度因子，r 是摄像机成像平面坐标系中 a xa y 的两个坐标轴互不正交产生的倾斜因子( s k e wf a c t o r ) 。 2 1 3 摄像机坐标系( c a m e r a c o o r d i n a t es y s t e m ) 摄像机针孔模型下的成像几何关系可用下面图2 2 表示，图中的原点d 称为 摄像机光心，丘轴和匕轴与成像平面坐标系的j 轴和j ，轴平行，z c 轴与成像平 面垂直，z c 轴称为摄像机的光轴，z c 轴与成像平面的交点q 是成像坐标系的 原点称为图像的主点，直角坐标系d 一丘】z z c 称为摄像机坐标系，其中o o , 为 摄像机的焦距。 r 。f ， j- y c j c 硝 蒯评匠杉 ，乞x e j i i ，一， o：纱 d ， 届攀 系 z c 标系 图2 - 2 摄像机坐标系与世界坐标系 2 1 4 世界坐标系( w o r l dc o o r d i n a t es y s t e m ) 因为摄像机和物体可以安放在客观世界环境中的任何位置，这就需要在客观 1 0 山东大学硕士学位论文 环境中选择一个参考坐标系来描述摄像机和物体的位置，这个参考坐标系称为世 界坐标系，如图2 2 中的x z 所示。利用旋转矩阵r 与平移向量t 可以反映 出摄像机坐标系和世界坐标系之间的关系。例：空间中一点p 在世界坐标系的齐 次坐标为( ，巧，z w ，1 ) r ，在摄像机坐标系的齐次坐标为( t ，k ，z c ，1 ) r ，那么 它们之间存在如下关系： x c 匕 z c 1 1 = 列z y w 矿 l1 = m x w 昂 z 矿 l ( 2 2 ) 其中，r 是3 3 的正交单位旋转矩阵，t 是三维平移向量，0 = ( 0 , 0 ，o ) r ，m 是两 个坐标系之间的联系矩阵。 2 2 摄像机模型 2 2 1 针孔模型( p i n h o l em o d e l ) 针孔模型又叫线性模型。在计算机视觉中，摄像机成像的几何模型决定了客 观环境中某一三维空间点和它在成像平面上的成像点之间的位置关系。在针孔摄 像机模型下，空间任意一点p 在成像平面上的像点p 是摄像机的光心d 和点尸的 连线与成像平面的交点，这种关系称为中心透视投影，如图2 - 3 所示。 光心d ，z c ) 图2 - 3 中心透视投影模型 其中，为摄像机的焦距。空间点尸在摄像机坐标系下的坐标为( k ，匕，z c ) ， 像点p 在成像平面坐标系下的坐标为( 五少) ，从图2 3 可以看出，点0 ，p ，p 三点共线，因此可以得出摄像机坐标系与成像平面坐标系之间的比例关系为： 山东大学硕士学位论文 舻厂尝扩厂老 汜3 ) 将这个比例关系用齐次坐标和矩阵的形式可以表示为： 料 ( 2 4 ) 将公式( 2 1 ) 和( 2 2 ) 代入公式( 2 4 ) ，可以得到图像坐标系与世界坐标系之间的 关系为： z 抖 ， 0 0 ， 必， 0 = 陷啡 三0 f 兰0 ；暑 o r t ：习辜 17 oolof l j i ” = k 【r t p = n p ( 2 5 ) 其中，无= ，工= ，= r t 厂，包括旋转矩阵和平移向量的【rt 】是摄像机的 口，口。， 外参数矩阵，k 是3 x 3 的内参数矩阵，( u 。，v 。) 是主点坐标，f h ，f t 分别表示图像 坐标系中u 轴和v 轴上的尺度因子，r 是描述两个图像坐标轴倾斜程度的参数，n 是3 4 的摄像机投影矩阵。公式( 2 5 ) 表达了摄像机在针孔模型下的成像原理。 2 2 2 非线性成像模型 一般的摄像机模型在成像过程中都存在两方面的误差，一方面是光学系统产 生的非线性误差，另一方面是图像匹配时产生的误差和噪声。当计算精度要求较 高时，线性模型就不能准确地描述摄像机的成像几何关系，并且在远离图像中心 处会有较大的畸变。描述非线性模型可以用下面的公式： 嘞2x ud - 万。l ( x ，u “) ! ( 2 6 ) y d = y 。+ 6 2 讧h ，y j 其中，( 勤，y 一) 为实际图像点的坐标，( 气，咒) 为在线性模型下计算出来的图像点 的理想坐标，最，疋是非线性畸变值，这些值与图像点在图像中的位置有关。现 1 2 k 圪乙。 r1=h1 o 0 o 山东大学硕士学位论文 在，只考虑径向畸变、离心畸变和薄透镜畸变三种情况n m 2 ，如图2 4 所示。 厂她么r 弋 、| 理想位置 实际图像点的位置 d ，t 径向畸变 吐t 切向畸变 图2 4 径向畸燹和切问畸变 1 径向畸变( r a d i a ld i s t o r t i o n ) 径向畸变是由透镜曲面的工艺缺陷造成的。它有正负两种偏移效应，正的径 向畸变使得外部的点向外扩散，尺寸变大；负的径向畸变使得外部的点向内部集 中，尺寸缩小，因此图像会产生枕形畸变和桶形畸变，如图2 - 5 所示。这些径向 畸变是光心对称的，用下面的数学模型来表示径向误差 以= k i p 3 + 是2 p 5 + k 3 p 7 + a a ( 2 7 ) 其中，p 是图像点到光心q 的径向距离，p = + 允，k ik ：，k 3 是径向畸变系 数。 因为屯= p c o s q 之户6 ：c o s 妒 ( 2 8 ) 儿2 p s m 9 ，d 矿2 0 s m 缈 所以耋盎! 麓；淼鹚 隰9 ) a ：桶形畸变 b ：枕形畸变 图2 - 5 桶形畸变和枕形畸变 1 3 2 离心畸变( d e c e n t e r i n gd i s t o r t i o n ) 离心畸变又称为图像中心点偏移失真，是由于摄像机成像光学系统不能保证 所有的透镜光心都在一条线上造成的，从而产生了径向和切向的误差。这个误差 可以用下面的式子表示： 要矿3 u c + j 2 p 。4 + 人) s 域9 一) ( 2 1 0 ) 屯= u p 2 + j 2 p 4 + 人) c o s 劬一) 其中，是最大切向畸变轴和z 轴正方向的夹角。将公式( 2 1 0 ) 表示成沿x 轴 和夕轴方向上的误差公式为： 阱窿爿纠 隰m 由于c o s 矽= ，s i n 伊= y ，令p i = s i l l ，p 2 = 1 , c o s 荦) o 礁4 ： ，2p i ( 3 x ，2 + y 2 ，) ，+ 2 p 2 x y + l l o ( x , y ) 4 j ( 2 1 2 ) 如= p 2 0 2 + 砂2 ) + 2 p l 矽+ p ( 工，y ) 4 j 7 3 薄透镜畸变( t h i np r i s md i s t o r t i o n ) 薄透镜畸变是由透镜在设计、制造或组装上造成像面不平而产生的。产生的 径向和切向误差可以表示为： 艿, a = ( 1 i p 2 ，+ f 2 p 4 。+ a ) s 嘶一矿i ) ( 2 1 3 ) 屯= ( i l p 2 + 乞尸4 + 人) c o s ( p 一仍) 其中，仍是最大切向畸变轴与工轴正方向之间的夹角，值得注意的是薄透镜畸变 模型的最大切向畸变轴与离心畸变模型的最大切向畸变轴是不一定重合。 令j l = 一i ls i n q ，l ，j 2 = i lc o s 仍可得： 郜- ： ，黔力：j i ( 2 1 4 ) “= s 2 0 2 + y 2 ) + 慨五j ，) j 4 总畸变( t o t a ld i s t o r t i o n ) 综合公式( 2 9 ) ( 2 1 2 ) ( 2 1 4 ) ，我们就可以得到沿j 轴和y 轴方向上的总 畸变，即： 麓(x,y力)=制ktx(x2+y门2)+也(p,(p3x2+k2p + 3 y y 榴：鬈端 汜 艿，( x ，力=x ( z 2 + y 2 ) + ( 2 ( x 22 ) + 2 p i 习，) + s 2 ( 工2 + y 2 ) 。 1 4 山东大学硕士学位论文 公式( 2 1 5 ) 等号右侧的第一项是径向畸变，第二项是离心畸变，第三项是薄透 镜畸变，k l ，屯，p ，p 2 ，s ，s ：称为非线性畸变系数。通常，公式( 2 1 5 ) 等号右侧 的第一项径向畸变就已经能够描述非线性畸变了，如果引入过多的非线性畸变项 反而会引起解的不稳定。但是也有一些研究表明，引入离心畸变和薄透镜畸变在 使用某些摄像机镜头时是能提高模型精度的。 1 5 山东大学硕士学位论文 3 1 光束法平差技术 第三章摄像机标定技术 光束法平差技术在摄影测量分析方面是经典的摄像机标定算法之一c 2 2 1 。光束 平差法是以一个摄影光束作为平差计算的基本单元，它有较为严密的控制点加密 方法作为理论支撑，而共线条件方程是它的理论基础晗羽。它的内部和外部参数通 过最小均方距离来计算，而这个距离是指在标定板的基准三维点的图像平面的观 察位置和基于图像形成过程中衍生出来的多视点投影规律与几何镜头畸变的数 学模型的预测位置之间的距离。在这种技术中需要解决两个问题，一个是非线性 优化问题，另一个是为了使算法收敛到最优解，怎样精确初始化参数的计算，而 这两个问题直接影响着光束平差法计算性的强弱。 3 2 直接线性转换技术( d ir e c tlin e a rt r a n s f o r m a tio n ) 随着计算机技术的发展，很多人建议简化或线性化光束法乎差技术，于是在 1 9 7 1 年a b d a l - a z i z 和k a r a r a 提出了直接线性转换技术( d l t ) 。他们从摄影测量 学的角度研究了摄像机图像与客观环境中物体之间的关系，建立了摄像机成像几 何的线性模型，而这种线性模型参数的计算是可以通过求解线性方程来实现嘲1 。 直接线性转换技术不考虑镜头畸变，3x4 的投影转换矩阵系数的齐次坐标是通 过线性最小二乘算法来计算的脚。8 0 年代中期t s a i 提出了通过向径向排列约束 条件中加入径向镜头畸变的标定方法瞄1 ，这种方法在计算机视觉领域中广泛流行， 它计算内部和外部参数是通过把摄像机模型分解为线性和非线性两个部分。这种 标定技术最大好处是它所使用的大部分方程是线性方程，降低了参数求解的复杂 性，标定过程快捷、准确瞳钔。 3 3 自标定技术 摄像机自标定技术是指不需要标定物，而是通过图像点之间的对应关系对摄 像机进行标定的过程1 。自标定算法的内部参数有：镜头有效焦距、像素宽高比、 图像平面轴之间的倾斜角和主点坐标。自标定技术的内部和外部参数的计算是通 1 6 山东大学硕士学位论文 过场景的多视点之间的自我约束条件来实现的。而在这些具有开创性的工作中， m a y b a n k 和f a u g e r a s t 拍1 提出了能在摄像机标定和几何形状之间的关系的绝对二 次曲线或绝对二次曲面的方法。后来，也有人通过考虑摄像机不同的内部参数、 各类摄像机的运动和几何场景而进一步发展了这一理论乜7 剖。在此期间，也存在 一些其他技术，这些技术利用更多的精密模型去描述摄像机的内部几何构型并通 过二维或三维目标取得了高精度的标定结果。 3 4 张正友的标定技术 张正友的标定算法通常利用平面或规则的目标作为标定物阳8 1 。这种标定技 术介于传统标定技术和自标定技术之间，它既避免了传统标定技术所要求的设备 高，操作繁琐等缺点，又比自标定技术符合办公、家庭使用的桌面视觉系统的标 定要求的精度高嘲】，已成为计算机视觉的主流。张正友标定算法的摄像机内部和 外部参数的计算是通过计算标定目标和标定目标的多个图像模型之间的齐次方 程获得的。在这种标定技术中，为了说明镜头畸变引入了一个简单的双参数映射 模型，正是由于这个模型的加入使得只有前两个径向畸变系数可以在一个线性最 小二乘算法中计算，其它的内部和外部参数都通过一个最小限度的适当成本函数 来获得1 ，而这两步的交叉使用就达到了算法的收敛。由于切向畸变系数产生 非线性方程，使得张正友的算法不能直接延长到高阶镜头畸变的模型中。 3 5 无标定物的标定技术 无标定物的标定技术在计算镜头畸变参数时是没有用到标定物体的，因此对 物体的三维结构是一无所知的。这种标定技术是利用了一个理想的投影摄像机将 空间的三维直线映射到图像平面的二维直线时，在图像弯曲处提取直线特征时理 应是直线的这样一个事实，同时在这种标定技术中，利用镜头也可以计算几何畸 变池捌。与此同时，也有人提出了一些更为先进的算法，这些算法都考虑到利 用参数的减少来描述简单模型的镜头畸变。一些研究人员还分析了摄像机标定 精度对测量误差，对图像平面和标定物的依赖性啪瑚1 。 1 7 山东大学硕士学位论文 第四章摄像机标定多视点校正算法 41 标定模型的建立 奉章介绍的数学模型和几何构型都来自于摄像机c ( 毒) 的标定。符号c ( 营) 强 调了摄像机的图像在形成过程中对内部参数毒的依赖，同时 也描述了因为自身 光学系统的不完善而产牛的镜头畸变。正是基于这些参数，由摄像机镜头或镜头 系统产牛的几何畸变都能被控正，因此由摄像机c ( 专) 获得的图像也能被转换成 无畸变的图像，而这些无畸变的图像是通过一个理想的针孔摄像机舻产牛的。摄 像机p 可以通过透视投影方程将三维物体点转换成二维图像点”7 。 4 1 1 制定问题 让“学( x ) 川：。，= 删r r 2 】表示标定板0 j 的一组用摄像机c ( ) 从不 同视点拍摄的图像。标定板0 可以将任何规则的二维图像模型映射到一个平面 上，并且它所显不的特征或标记可以从板本身的图像进行亚像素级精度的提取。 论文介绍的摄像机标定多视点校正算法采用了一种规格黑白棋盘板作为标定板 的模型，因为这种黑白棋盘板的拐点很容易被提取并用作基准点。图41 表不 了从一个视点拍摄的图像。 图4 - 1 从一个视点拍摄的图像 摄像机标定多视点校正算法的目的是计算内部参数喜和摄像机d 鲁) 的几何 构型，为了得到这个结果，算法需要两步操作来完成：首先t 将标定板日韵k 个 山东大学硕士学位论文 视点的图像进行亚像素级特征提取；其次，将其转换到无任何镜头畸变和角度偏 差的参照系的对应点上。这种无畸变和校正的图像是由一个理想的针孔摄像机p 产生的，并且摄像机p 和c ( 参) 有相同的焦距，矽的摄像机坐标系的两轴平行于 标定板的一侧，第三边光轴正交标定板的中心。 4 1 2 摄像机的外部几何构型和透视投影方程 图4 2 显示了标定板秒和两个摄像机舻和c ( 磊) 的位置安排。让o o x j o z o 表 示标定板秒的物体坐标系。让o x t z 表示摄像机矽的摄像机坐标系，起点d 位 于摄像机舻的焦点，z 轴和l ，轴平行于标定板秒的两边，光轴z 。轴与标定板p 正 交。让o x y 表示摄像机舻的图像平面坐标系，这里o x y 是一个虚拟的图像平 面，而实际图像平面位于z = - f ，o x y 平行于平面o x t ，并且和o x t 有厂 的距离，厂是摄像机舻的有效焦距，z 轴与图像平面0 x y 的交点0 是摄像机矽 的主点。让o x y z 表示摄像机c ( 参) 的摄像机坐标系，起点0 位于摄像机嘶) 的 焦点，z 轴指向标定板口。让o x y 表示摄像机c ( 磊) 的图像平面坐标系，由于摄像 机自身光学系统的不完善，摄像机c ( 六) 的主点0 很少与用摄像机c ( 参) 获得图像 的实际物理中心0 重合，正是由于这个偏移距离，引入第二个参考坐标系o x y ， o x y 表示摄像机c 候) 的索引图像平面。 图4 - 2 标定板矽和两个摄像机舻和c ( 点) 的位置安排 1 9 山东大学硕士学位论文 正是基于图4 - 2 的模型，摄像机p 的摄像机坐标系中的三维点( x ，p ，z t ) 就可以根据两个透视投影方程转换成图像平面上的二维点( 工。，y 。) ，可以得到： ，x jx i z ，y ) p i z ( 4 i ) 其中，六= 矿，= i f 。当w = l k ，j i = 1 z 分别是像素的宽度和高度时，则 p = 正= l k = w h ，那么p 就被定义为像素的宽高比嘲。如果厂用米作为度 量单位，则l , k 的单位就是像素米。 公式( 4 1 ) 也可表示成齐次坐标为m 嘲： 工 y l 0 0 l ，0 o l ( 4 2 ) 理想摄像机矽的焦点d 与标定板0 之间有z = l + f 的距离( 见图4 2 ) ， 这个距离虽然是任意的，但标定板口的图像，o ) ，x = h 】f r 2 是完全包含在 o x y 平面中的，从而使得图像( x ) 通过两个恒定因素正( + 门和l ( l + 厂) 进行简单计算后可以与标定板p 一样。因此，问题就能被转换到标定板0 自身的k 个视点的投影上。 假定标定板的第k 个图像纾( 曲是从摄像机c 皤) 的某一个视点中获得的。如 果用( ，y p ) 表示图像平面坐标系唧中主点d 的坐标，那么从唧到d j 少就有一 个简单转换为： r i = x - ( 4 3 ) b = y 一蚱 因此，摄像机c 辑) 的透视投影方程就可以写为： 2 0 山东大学硕士学位论文 结合公式( 4 3 ) 和( 4 4 ) 就可以写成齐次坐标为： 眺昙镧 ( 4 4 ) ( 4 5 ) 从公式( 4 2 ) 和( 4 5 ) 可知，摄像机的轴线接近于完全正交，因此图像平 面坐标轴之间的倾斜角度可以假设为零瑚1 。 摄像机矽、c ( 参) 的摄像机坐标系o x t 2 、o x y z 分别通过三维刚性转换可 以表示为： x = r ( ) x + t ( ) 其中，x = 【x 泫】r r 3 ，x l = 【x 。y z 】r ( 4 6 ) e r 3 , t 仕=