（模式识别与智能系统专业论文）摄像机阵列标定方法研究.pdf

摘要摘要摄像机阵列具有较大视场，在视觉监控、基于真实场景图像的虚拟漫游与三维重建等方面具有广泛的应用。摄像机标定是从二维图像获取三维信息必不可少的步骤，并由此重建和识别物体。目前对单个摄像机标定的研究已经比较成熟，并且能够得到较好的标定结果。因此，在单摄像机标定方法的基础上，研究摄像机阵列的标定，具有重要的理论研究意义和实际应用价值。为了实现摄像机阵列的标定，本文研究了单个摄像机的标定，选用合适的标定方法，将其扩展至摄像机阵列的标定。首先使用基于平面模板的标定方法对每个摄像机进行标定，然后再通过一定的方法，标定出所有摄像机之间的相对位置关系。针对其中的各个环节，本文所做的工作如下：1 ) 通过研究国内外主流摄像机标定方法，采用基于平面模板的标定方法对单个摄像机进行标定，实验结果较好。2 ) 利用标定模板平面和摄像机图像平面之间的单应性矩阵的性质，使用矩阵分解的方法得到所有摄像机的投影矩阵和模板平面参数。加入标定模板的几何约束，将分解得到的结果变换为同一参考坐标系下的摄像机之间的相对位置关系。3 ) 本文提出了一种基于逐步优化的摄像机阵列标定方法，该方法是对基于平面模板的单摄像机标定方法的扩展。使用基于平面模板的方法求解出各个摄像机的内参数以及各个摄像机相对于模板的位置关系。选定一个摄像机作为参考摄像机，再逐步地标定出其它的摄像机相对于参考摄像机的位置，最后得到所有的摄像机在同一个世界坐标系中的位置关系。对摄像机阵列标定的实验结果表明，所提出的方法可得到准确的摄像机内外参数以及相互之间的位置关系。关键词：摄像机阵列标定三维重建矩阵分解逐步优化a b s t r a c tw i t hal a r g e rf i e l do fv i e w ，c a m e r aa r r a yi sw i d e l yu s e di nv i r t u a lr e a l i t y ，s u r v e i l l a n c e i m a g e b a s e dr e n d e r i n ga n d3 dr e c o n s t r u c t i o n t h ec a m e r ac a l i b r a t i o ni sa ni n d i s p e n s a b l es t e pf o rr e c o v e r i n g3 di n f o r m a t i o nf r o m2 di m a g e sa n dp r o v i d e st h eu n d e r l y i n gb a s i sf o ro b j e c tr e c o n s t r u c t i o na n dr e c o g n i t i o n t h ec u r r e n ts t u d yo ns i n g l ec a m e r ac a l i b r a t i o ni sr e l a t i v e l ym a t u r e ，a n dc a l lg e tg o o dr e s u l t s t h e r e f o r e ，c a l i b r a t i o no fc a m e r aa r r a yb a s e do i lt h es i n g l ec a m e r ac a l i b r a t i o nm e t h o dh a si m p o r t a n tt h e o r e t i c a ls i g n i f i c a n c ea n dp r a c t i c a lv a l u e i no r d e rt oc a l i b r a t ec a m e r aa r r a y s ，w ec h o o s ea p p r o p r i a t es i n g l ec a m e r ac a l i b r a t i o nm e t h o d ，a n de x t e n di tt ot h ec a m e r aa r r a yc a l i b r a t i o n e a c hc a m e r ai sc a l i b r a t e db a s e do np l a n a r b a s e dc a l i b r a t i o nm e t h o d ，a n dt h e n ，t h er e l a t i v ep o s i t i o n sb e t w e e na l lt h ec a m e r a sa r ec a l i b r a t e d h e r ea l et h ed e t a i l so fs e v e r a lp a r t sm e n t i o n e da b o v e ：l 、t h r o u g hs t u d y i n gt h em a i nm e t h o d so fc a m e r ac a l i b r a t i o n ，w ec h o o s ep l a n a r - b a s e dc a l i b r a t i o nm e t h o dt oc a l i b r a t es i n g l ec a m e r a , a n dt h er e s u l t sa r eg o o d 2 ) u s i n gt h eh o m o g r a p h ym a t r i xb e t w e e np l a n a ra n di m a g ep l a n e ，a l lt h ec a m e r a sp r o j e c t i o nm a t r i xa n dt h et e m p l a t ep a r a m e t e r sa r eo b t a i n e dv i af a c t o r i z a t i o n t h e n t h er e s u l t so ff a c t o r i z a t i o na r et r a n s f o r m e di n t ot h es a l l l er e f e r e n c ec o o r d i n a t es y s t e mt og e tr e l a t i v ep o s i t i o nb e t w e e nc a m e r a s 3 ) w ep r o p o s eas t e p w i s er e f i n e m e n tc a m e r aa r r a yc a l i b r a t i o nm e t h o d s e l e c tac 锄e r aa sar e f e r e n c e a n dt h e nt h er e l a t i v ep o s i t i o no fo t h e rc a m e r a st ot h er e f e r e n c ec 砸n e ma r eo b t a i n e ds t e pb ys t e p f i n a l l y , w ec a ng e ta l lc a m e r a s p o s i t i o ni nt h ew o r l dc o o r d i n a t es y s t e m t h ec a l i b r a t i o nr e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o dc a no b t a i na c c u r a t ei n t e r n a la n de x t e r n a lc a m e r ap a r a m e t e r sa n dr e l a t i v ep o s i t i o nb e t w e e nc a m e r a s k e yw o r d s ：c a m e r aa r r a y ，c a l i b r a t i o n ，3 dr e c o n s t r u c t i o n ，f a c t o r i z a t i o n ，s t e p w i s er e f i n e m e n ti i插图目录插图目录图1 - 1 若干摄像机阵列2图2 1 参考坐标系- 5图2 2 透视投影模型示意图6图2 3 摄像机的镜头畸变9图3 1 用于标定实验的平面模板。2 2图3 2 用于标定实验的一组实际图像2 2图3 3 角点检测结果2 3图3 4 摄像机外参数示意图2 4图3 5 重投影误差2 4图4 1多摄像机成像示意图_ 2 7图4 2 模板平面参考点在坐标系中的位置示意图”2 8图4 3 相对单应性矩阵2 9图4 4 摄像机阵列拍摄的真实图像3 2图4 5 摄像机阵列标定实验重投影误差3 4图5 1 标定流程图3 6图5 2 立体视觉中双摄像机几何关系3 7图5 3 摄像机阵列外参数示意图4 2图5 4 摄像机阵列标定实验重投影误差4 2v i表格目录表格目录表3 1基于平面标定板的标定法仿真实验”2 1表3 2 真实图像实验得到的摄像机参数结果2 3表4 1 摄像机的内参数实验结果3 3表4 2 摄像机的外参数实验结果3 3表5 1 摄像机的内参数实验结果4 1表5 2 摄像机的外参数实验结果”4 1中国科学技术大学学位论文原刨性声明本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均己在论文中作了明确的说明。作者签名：签字日期：中国科学技术大学学位论文授权使用声明作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。保密的学位论文在解密后也遵守此规定。口公开口保密( 年)作者签名：签字日期：导师签名：签字日期：绪论1 1引言第一章绪论视觉是人类最重要的感觉，人类对外界信息的获取，8 0 以上是通过视觉得到的。人类通过视觉感知外界获取信息，对于正常人来说是一件非常简单的事情，然而视觉系统获取信息的过程却是十分复杂的。随着信息时代的到来，计算机的应用越来越广泛，人们希望计算机也和人类一样具有视觉，于是便催生了一门新兴的综合学科计算机视觉。计算机视觉的研究目标( 马颂德等，1 9 9 8 ) 是使计算机可以通过二维图像和图像序列来识别和认知三维世界，并且得到三维世界中物体的位置，形状，运动和姿态等信息。计算机视觉的发展得益于神经科学，心理科学和认知科学对动物视觉系统的研究。但目前的研究对视觉系统原理的认识还非常有限，尤其是对大脑皮层处理视觉信息的过程的研究还是十分肤浅的。大脑的神经网络是极其复杂的，与当前的计算机体系结构有很大的差别，因此计算机视觉无法通过对人类大脑的仿真来实现，而是发展出一套独立的计算理论与算法。这些算法广泛的应用于工业自动化，移动机器人的视觉导航，医学图像分析，遥感图像分析，安防系统，虚拟现实等领域，并且研究者们不断地改进和完善旧算法，提出新算法。当今计算机视觉领域的基本理论框架是由麻省理工学院的d a v i dm a n 教授在二十世纪八十年代初提出的。m a r r 的视觉计算理论( 马尔，1 9 8 8 ) 立足于计算机科学，系统地概括了神经生理学、心理学和认知科学等方面的研究成果。m a r t 建立的视觉计算理论，使计算机视觉研究有了一个比较明确的理论体系，并且大大推动了计算机视觉研究的发展。虽然该理论不是十分完善，许多方面还有争议，引发了研究者的质疑和批评，但是到目前为止，该理论在计算机视觉领域仍然占据统治地位。m a r t 的视觉计算理论( 贾云得，2 0 0 0 ) 将视觉看作是一个信息处理系统，认为对此系统的研究应该分为三个层次：计算理论层次，表示与算法层次，硬件实现层次。m a r r 将视觉过程划分为自下而上的三个阶段，第一阶段是对输入的原始图像进行处理，抽取图像的基本特征如角点、边缘、线条、纹理等，得到基元图；第二阶段是由原始图像和基元图得到场景可见部分的法向、深度、轮廓等组成的2 5 维图；第三阶段是在某个坐标系下得到物体的三维信息。从摄像机获取的二维图像信息出发计算场景和物体的三维信息，并由此重建和识别物体是计算机视觉的主要目的之一( 张广军，2 0 0 5 ) 。而三维世界中物体表面某点的三维几何位置与其在图像中对应点之问的相互天系是由摄像机几何成像的模型决定的几何模型的参数就是摄像机的参数。通常情况f 这些参数必须经过计算得到，通过实验计算求解这些参数的过程就称为摄像机标定。摄像机标定时三维重建必不可少的步骤，摄像机标定的精度大小直接影响着三维重建的精度。12 摄像机阵列简介近年来，随着立体视觉技术和数字成像设各的发展，摄像机阵列系统开始应用于虚拟现实、娱乐和监控等领域。将多个摄像机通过一定的连接方式组成阵列的结构，能够同时采集图像。相比于单目视觉系统摄像机阵列组成的多目视觉系统能够同时获取场景的信息，具有更_ 大的视场范围，通过完整的场景信息能够对场景进行精确的三维重建。目前，国外在摄像机阵列方面的研究很多，而且已经应用于娱乐，安全监控等领域。斯坦福大学的w i l b u m 等人使用9 6 个c m o s 图像传感器组成一个摄像机阵列系统( w i l b u r ne ta l2 0 0 2 ) ，使用f p g a 对摄像机获取的数据进行压缩然后传送到计算机上进行处理。该系统能够提高成像性能获得高动态范围和高分辨率的视频，并能对视频合成获得高速视频。圈1 1 若干摄像机阵列麻省理工学院的y a n g 等人使用6 4 个o r a n g e m i e r o i b o t 摄像机组成一个稠密的摄像机阵列系统( y a n ge ta l2 0 0 2 ) ，并提出一种分布式光场绘制算法，对各摄像机获得的信息进行分布式处理，然后再传输到计算机上，从而减少了带宽的使用能够实时完成基于图像的绘制。卡内基梅隆大学的z h a n g 等人使用4 8 个a x i s 2 0 5 网络摄像机组成一个摄像机阵列系统( z h a n ga n dc h e n2 0 0 4 ) ，摄像机安装在一个移动部件上，能够旋转和侧移。该系统使用一个高效的图像绘制算法，能够实时生成新视角的合成图像。并且该系统具有自重构功能，通过算法对摄像机进行旋转和侧移的控制获得最绪论优的图像绘制结果。目前国内对摄像机阵列的研究较少，国防科技大学的谭树人等使用c m o s传感器与f p g a ，d s p 相结合自制摄像机单元( t a ne ta 1 2 0 0 7 ) ，并使用1 6 个摄像机组成一个阵列系统。该系统完成了对数据的采集，压缩及同步功能，具有分辨率高，易扩展等优点。1 3 摄像机阵列标定摄像机阵列系统的标定不仅需要对单个摄像头的参数进行标定，还需要标定出各个摄像机之间的相对位置关系。摄像机阵列的标定方法( c u ie ta 1 2 0 0 7 ) 主要可以分为两类，一类是基于摄像机自标定，同时对摄像机阵列的所有摄像机的内部参数和外部参数进行标定，另一类通常是先使用一定的方法对单个摄像机进行标定，得到内部参数，然后再对整个系统进行标定得到各个摄像机之间的相对位置关系即外部参数( w a n g2 0 0 5 ) 。近年来，研究者们提出了很多基于矩阵分解和全局约束的多摄像机标定方法。u e s h i b a 和t o m i t a 提出了一种基于平面标定模板的分解算法( u e s h i b aa n dt o m i t a2 0 0 3 ) ，将一块几何信息已知的二维平面标定板放在不同的位置，分别用摄像机阵列采集图像。确定角点和图像投影点之间的对应关系，计算出标定板平面和图像之间的单应性矩阵，得到摄像机的投影矩阵和平面参数矩阵。利用所有摄像机和标定板平面得到的单应性矩阵构造系统的测量矩阵，对该矩阵进行分解得到摄像机阵列的投影矩阵，最后得到各摄像机的参数。s t u r m 提出了一种基于多个平面模板的标定方法( s t u r m2 0 0 0 ) ，在视场范围重叠很小的情况下也能使用。该方法建立了一个一般模型，首先通过计算得到缺失的数据，使得每个平面模板在所有的摄像机的视场范围内都是可见的，然后通过单应性矩阵分解得到各摄像机的参数和相对位置关系。还有研究者提出其他的方法，使用一维标定物体( w ue ta 1 2 0 0 5 ) 或虚拟标定物体，来代替二维标定模板得到点之间的对应关系，再通过矩阵分解得到标定结果。上述方法要求标定物体对所有的摄像机同时可见，在实际的应用中存在一定的局限性。在摄像机阵列的标定过程中，每个摄像机的内部参数不会发生变化，因此使用一定的标定算法先标定出每个摄像机的内部参数，然后再利用一些约束条件和坐标变换的方法，计算出各个摄像机之间的相对位置关系。s l u s a l l e k 等人使用s f m 算法得到摄像机对的相互关系( c h e ne ta 1 2 0 0 0 ) ，然后使用迭代三角化方法将所有的摄像机标定到一个坐标系下。i h r k e 等人提出一种基于极线约束的方法( i h r k ee ta 1 2 0 0 4 ) ，先估计出摄像机之间的相对位置关系，然后使用图3绪论论的方法计算出所有摄像机间的旋转矩阵和位移向量。c u i 等人( c u ie ta 1 2 0 0 7 )在上述方法的基础上，引入隐式正交约束，从而保证了计算得出的旋转矩阵是正交矩阵，结果更加准确。1 4 本文的主要内容和结构本文在参考国内外已有的摄像机阵列标定算法的基础上，研究分析了标定过程中需要解决的一系列问题，并将算法应用于实际的系统。本文的结构如下：第一章是绪论，主要介绍摄像机阵列标定方法的研究背景和意义，国内外的研究现状，论文内容和结构安排。第二章研究了摄像机的成像模型和各种摄像机标定方法。第三章使用一种基于平面标定板的标定方法对摄像机进行标定，并给出实验结果。第四章提出一种基于矩阵分解的摄像机阵列标定方法。第五章提出一种基于逐步优化的摄像机阵列标定方法。第六章总结并评价了本文的研究，并对未来的研究方向进行展望。4摄像机成像模型及标定方法第二章摄像机成像模型及标定方法2 1摄像机针孑l 模型及成像原理2 1 1 参考坐标系计算机视觉中经常需要对坐标进行变换，涉及到四个参考坐标系( g e y e ra n dd a n i i l i d i s1 9 9 8 ) ，如图2 1 所示( t s a i1 9 8 7 ) 。图2 1 参考坐标系x ，如墨p ( 鬻即，跚)( 1 ) 世界坐标系( w o r l dc o o r d i n a t es y s t e m )图2 1 中的o w x w y w z 、】v 坐标系被称为世界坐标系，该坐标系中的坐标值( x w ，y w ，z w ) 是客观世界的绝对坐标。世界坐标系用来描述场景中摄像机和物体的位置，通常可以由用户选定。( 2 ) 摄像机坐标系( c a m e r ac o o r d i n a t es y s t e m )图2 1 中的o x y z 坐标系被称为摄像机坐标系，其中o 点称为摄像机的光心，x 轴和y 轴与成像平面坐标系的坐标轴平行，z 轴为摄像机的光轴，与成像平面垂直。摄像机成像模型及标定方法( 3 ) 成像平面坐标系( r e t i n a lc o o r d i n a t es y s t e m )图2 1 中的o l x y 坐标系被称为成像平面坐标系，其中o l 点是光轴与成像平面的交点，称为主点( p r i n c i p a lp o i n t ) ，该点一般位于图像中心处，但由于摄像机制造工艺问题，也会有些偏离，o o l 为摄像机的焦距( f o c a l ) 。该坐标系中的坐标值( x ，y ) 表示图像中的像素点在图像中的物理位置。( 4 ) 图像坐标系( p i x e lc o o r d i n a t es y s t e m )固定在图像上的以像素为单位的坐标系被称为图像坐标系，通常情况下，其原点位于图像的左上角，u 轴和v 轴分别平行于成像平面坐标系的x 轴和y 轴，对应于行方向和列方向，分别向右和向下为正。图像中像素的坐标( u ，v ) 表示像素在图像的列数和行数。2 1 2 摄像机模型摄像机采集得到的图像上每一点的亮度反映了空间物体表面某点反射光的强度，而该点在图像中的位置与物体表面点在三维世界中的位置有关。摄像机成像模型( b a k e ra n d n a y a r1 9 9 8 ) 将三维空间的点与图像平面上的点对应起来，可以用一个从三维空间到二维空间的映射来表示：f ：r 3 啼r 2，o1 、( 瓦，匕，乙) 专( 甜，v )透视投影是最常用的成像模型，可以用针孔成像模型来近似表示，如图2 2所示( 马颂德等，1 9 9 8 ) 。针孔成像模型中，所有来自于场景的光线均通过一个投影中心，即摄像机的光心，投影到成像平面上。图2 2 透视投影模型示意图z )其中，( ) ( ，y ，z ) 是空间点p 在摄像机坐标系下的坐标，( x ，y ) 是点p 在成像平面坐标系下的坐标，光心到成像平面的距离是摄像机的焦距。为了计算方便，假设在摄像机镜头前方有一个虚拟成像平面，虚拟成像平面到光心的距离为焦6摄像机成像模型及标定方法距，与成像平面平行，坐标轴方向相反。2 1 3 坐标变换关系f 喜 = r 茎 + r = 茎i 差耋 萋 + 乏c 2 2 ，x】厂z1= 翱x w匕乙l( 2 3 )其中，( ) ( w ，y w ，z w ) 是世界坐标系的坐标，( x ，y ，z ) 是摄像机坐标系的坐标，t 是世界坐标系原点在摄像机坐标系中的坐标，矩阵r 是正交旋转矩阵，矩阵元素满足下式：。，：，。+ ，：。：+ ，乃，= 三：三二( 2 4 )正交旋转矩阵实际上只有3 个独立变量，再加上t 的3 个变量，一共有6个参数决定了摄像机光轴在世界坐标系中的位置，这6 个参数被称为摄像机的外部参数。( 2 ) 摄像机坐标系到成像平面坐标系的变换摄像机坐标系到成像平面坐标系的变换是一个透视投影变换，可以由图2 2中的相似三角形关系可以得到下面的关系式：用齐次坐标的形式可以表示为：、xx2 。z1 ，y = 1 =么( 2 5 )摄像机成像模型及标定方法000 2i厂o ol010jx】，zl( 2 。6 )其中，( ) ( ，y ，z ) 是摄像机坐标系的坐标，( x ，y ) 是成像平面坐标系的坐标，f 是摄像机的焦距。( 3 ) 成像平面坐标系到图像坐标系的变换成像平面坐标系到图像坐标系的变换是图像数字化的过程，将像素点的物理坐标变换为图像的像素坐标。设主点在图像坐标系中的坐标为( u o ，v o ) ，每一个像素在x 轴和y 轴方向上的物理尺寸为d x ，d y ，则图像坐标变换关系可由下式表示： i = 吲 i 弦8 ，z i = 喜丢辜 喜詈；量 ；：x 。匕乙l( 2 9 )上面的关系式是在假设图像坐标轴互相垂直的情况下推导得出的，但是通常情况下，两个坐标轴之间并不是严格垂直的，引入倾斜因子s 描述图像坐标轴的倾斜程度。最终得到针孔成像模型的数学表达式如下：z 案1 1 _ jlos， ，0“0 1小丁】jx 。匕乙1= k f rt 1ljx 。匕z 。1= px 匕z 。1( 2 1 0 )其中，和f y 分别为x 和y 方向的等效焦距，k 称为摄像机的内部参数矩阵8，o0，。l=1jxy 。，。lz力互xy蹦杪=三出旦砂=一一摄像机成像模型及标定方法或摄像机矩阵( r ，t ) 称为摄像机的外部参数矩阵，p 称为投影矩阵22 非线性模型上面推导出的模型是在理想情况下得出的，由于摄像机存在镜头畸变，光学系统并不是按理想的针孔成像原理工作，物体点在成像平面上实际所成的像与理想像点之间有一定的误差。主要的畸变误差( w e n g1 9 9 2 ) 分为三类：径向畸变，偏心畸变和薄棱镜畸变，径向畸变只产生径向位置的偏差，偏心畸变和薄棱镜畸变既产生径向偏差，也产生切向偏差。由畸变引起的非线性模型可由下式表示：j 7 2 。+ 正( t y ( 2 1 i )眵2 ，+ t ( y )其中( x ，y ) 是成像平面坐标系的实际坐标，( 置力是理想坐标值，t 是x方向的畸变，民是y 方向的畸变。( a ) 畸变一一一一一一一一一一一一一一一( b ) 理想圈2 3 摄像机的镜头畸变径向畸变主要是由光学镜头径向曲率的变化引起的，这种畸变使得真实图像点沿径向移动，离中心点越远，畸变越大。正的径向畸变使图像点向远离图像中心的方向移动，负的径向畸变使图像点向靠近图像中心的方向移动。径向畸变的数学模型可由下式表示：艇器：篇菇：茹亿l “= 与y ( ，+ y 。) + 也y ( 一+ y ) 2偏心畸变主要是由于装配误差组成光学系统的多个光学镜头的光轴不可能完全共线引起的，由径向形变分量和切向形变分量共同构成，数学模型可由下式表示：一一一一一一一一一一一一一一一一一一一一一一-一一一一_一摄像机成像模型及标定方法 如8 , d ：= p l ( 3 x 2 + y 2 ) + ：2 p 2 x ：y 2 p 。x y + p 2 ( x + 3 y )像1 3 )l 如=2。)薄棱镜畸变是由光学镜头制造误差和成像敏感阵列制造误差引起的，这类畸变相当于在光学系统中附加了一个薄棱镜，由径向形变分量和切向形变分量共同构成，数学模型可由下式表示：屯6xp：=sl(x2+yy2s2：j( 2 1 4 )【= ( x 2 + y 2 )、非线性畸变主要是上述三种畸变的叠加，可由下式表示：嚣雾：老亿【= 妨+ + 7一般情况下，径向畸变已能足够描述非线性畸变，对引入径向畸变后的模型进行标定已能满足精度要求。非线性模型可由下式表示：j 二2 x + 岛x ( x 2 + y 2 ) + 乞x ( x 2 + y 2 ) 2( 2 1 6 )【y = y + l q y ( x 2 + y 2 ) + 乞y ( x 2 + y 2 ) 22 3 摄像机标定方法2 3 1 传统标定方法传统的摄像机标定方法是在定的摄像机模型下，采集形状和尺寸已知的标定物的图像，对图像进行处理，得到标定物的特征点在图像中的对应点的位置，通过空间点和图像点的对应关系来建立约束条件，从而对摄像机模型进行求解得出其内部参数和外部参数。典型的传统标定方法有f a i g 的基于最优化算法的标定方法( f a i g1 9 7 5 ) ，该方法引入了摄像机针孔成像模型的共面约束条件，考虑了摄像机成像过程中的各种因素。该方法建立了一个至少包含1 7 个参数的模型，描述了每幅图像与三维空间的约束关系，计算量非常大。a b d e l a z i z 和k a r a r a 在1 9 7 1 年提出了直接线性变换法d l t ( d i r e c tl i n e a rt r a n s f o r m a t i o n ) ，该方法( a b d e l a z i za n dk a r a r a1 9 7 1 ) 在不考虑畸变的情况下，通过求解线性方程得到摄像机模型的参数，标定结果的精度不高。t s a i 给出了种基于径向约束的两步法标定方法( t s a i1 9 8 7 ) ，该方法的核心思想是第一步先利用径向一致约束条件，求解除了摄像机在光轴方向的平移之外的所有其它的摄像机外参数，第二步再求出内参数和摄像机在光轴方向的平1 0摄像机成像模型及标定方法移。该方法的精度比较高，适用于精密的测量。m a r t i n s 提出了双平面标定法( m a r t i n se ta 1 1 9 8 1 ) ，该方法并不明确的使用某种摄像机模型，而是利用世界坐标系下从工作场景前后两个平面出发到图像上某点的连线，用插值的方法计算出视线向量。在图像中用三角形标画标定格和顶点的交点，在三角形内用线性样条插值，再利用线性方法解出有关参数。该方法存在过分参数化的倾向，需要求解大量的未知参数。h 【h 和k l a a s e n 提出了利用透视变换矩阵的摄像机标定方法( l u ha n dk l a a s e n1 9 8 5 ) ，该方法忽略了镜头畸变的非线性因素，将透视变换矩阵中的元素作为未知参数。在给定一组对应的图像点与三维物体点的情况下，利用线性方法直接求解透视变换矩阵中的元素，在本质上与直接线性变换方法，没有区别。马颂德等提出了一种基于直线的摄像机标定方法( m ae ta 1 1 9 9 3 ) ，首先提取图像中的一些直线，然后利用这些直线相交来获得其交点，利用交点的信息来求解摄像机投影矩阵p 。该方法直接使用标定参考物上的直线与它们在图像上对应的投影来标定摄像机，避免了在使用点信息标定摄像机时由直线求交点引入的误差。d e b e v e c 也对传统的摄像机标定方法做了一些改进( d e b e v e ca n dm a l i k1 9 9 7 ) 。他将摄像机标定分为两步：第一步，用棋盘格作为标定参考物，通过对摄像机拍摄的图像进行处理，来获得摄像机镜头的径向畸变系数，对该摄像机拍摄的图像进行校正，使校正后的图像成为真正的透视投影图像，即保持三维空间中的直线在图像上的投影仍为直线。第二步，对两个垂直相交的平面标定参考物从不同的角度拍摄图像，并校正图像的径向形变，恢复摄像机的内、外部参数。由于预先已经知道标定参考物的几何信息和几何结构，因此可以解出含有1 1 个参数的摄像机投影矩阵，从而获得摄像机的内、外部参数。传统标定方法的优点( 邱茂林等，2 0 0 0 ) 在于可以获得较高的精度，但是通常算法比较复杂，并且依赖于高精度的标定块，而实际应用中很多情况下无法方便地使用标定块。因此，当摄像机的参数不发生变化，而且要求的精度很高时，应当选用传统的标定方法。2 3 2 自标定方法不依赖于标定参照物或某些三维信息已知的参考点的标定方法称为自标定方法( 雷成等，2 0 0 1 ) 。摄像机的自标定仅仅利用图像与图像之间的对应关系，确定摄像机参数之间的约束关系，从而标定出参数，与场景和摄像机的运动无关。这类标定方法具有巨大的灵活性，在许多实际的应用中，摄像机的参数需要经常改变，因此需要实时标定，在这些情况下，需要借助于特殊的标定物的传统标定摄像机成像模型及标定方法方法已经不再适合。f a u g e r a u s 和m a y b a n k 在1 9 9 2 年提出摄像机的自标定方法( m a y b a n ka n df a u g e r a u s1 9 9 2 ) ，基本思想是利用绝对二次曲线a c ( a b s o l u t ec o n i c ) 和绝对二次曲面( a b s o l u t eq u a d r i c ) l 拘像在摄像机做刚体运动时的不变性，建立关于摄像机内参数矩阵的k r u p p a 方程。然后利用k r u p p a 方程求得多幅图像上的像点到对应极线的距离之和，并对这个距离采用l m 算法求最小值，就可求出摄像机的内参数。t r i g g s 最早将绝对二次曲面的概念引入摄像机的自标定( t r i g g s1 9 9 7 ) ，在本质上与基于k r u p p a 方程的方法是一致的。由于绝对二次曲面包含了绝对二次曲线和无穷远平面的所有信息，在对所有图像做射影重建的基础上计算绝对二次曲面，保证了所有图像中无穷远平面的一致性。由于直接求解k r u p p a 方程是十分困难的，又提出了分层逐步标定的方法。该方法的核心思想是在对图像序列做射影重建的基础上，以某一幅图像为基准做射影对齐，从而减少未知参数的数量，再进行仿射标定和欧氏标定，通过非线性优化算法同时解出所有未知参数。分层逐步标定法的初值只能通过预估得到，不能保证收敛性。空间中的平行线经过一定的投影变换后，在图像中可能不再保持平行，它们的交点被称为消失点( v a n i s hp o i n t ) ，由所有消失点组成的直线被称为消失线( v a n i s hl i n e ) 。利用消失点的摄像机标定方法的一般步骤是找到空间中三组平行线在图像中的投影，求解其交点从而获得消失点，然后根据消失点来计算摄像机的内、外部参数。利用消失线的摄像机标定方法的一般步骤是在获得多个消失点的基础上，进一步计算出消失线，根据消失线对摄像机进行标定。这种方法可以在只有一幅图像的情况下标定出摄像机的参数，不需要迭代，算法速度快。但是该方法所使用的信息量少，如果不引入其它约束条件或借助其它技术，标定出的摄像机参数的准确性较低，有时不能得到全部的参数。w a n g 等人对一个正六边形拍摄图像( w a n ge ta 1 1 9 9 1 ) ，由于正六边形有三组互相平行的边，使用这些边在图像中的投影来得到消失点，从而对摄像机进行标定，得到摄像机的位置、方向和焦距。该方法由于使用了对边平行的六边形作为标定物，简化了整个标定的过程，但并未获得摄像机所有的内部参数。c i p o l l a 等人提出了一种改进的标定方法( c i p o l l ae ta 1 1 9 9 9 ) ，将消失点和图像中的其它线特征结合起来，计算出摄像机的投影矩阵，然后利用内极线约束和其它约束条件对标定结果进行优化。目前主要的自标定方法还有基于摄像机可变参数的自标定方法( p o l l e f e y sa n dg o o l1 9 9 9 ) ，基于特殊摄像机运动或特殊场景的自标定方法等。通常情况下，摄像机成像模型及标定方法摄像机的自标定方法需要估计的参数比较多，精度不太高，鲁棒性较差。2 3 3 基于主动视觉的标定方法主动视觉是指观察者以确定或不确定的方式运动来跟踪环境中的目标物体，从而感知物体的技术和方法。在主动视觉中，观察者和目标物体可以同时运动，观察者的运动为研究目标的运动、距离和形状提供了附加条件。主动视觉是任务驱动的，根据任务需求和外部环境，控制摄像机的运动，使摄像机进行参数已知的平移运动或旋转运动，从而获取关于周围环境中的与任务相关的信息。基于主动视觉的标定方法，通过控制摄像机的运动，获取多幅图像，利用图像的对应点进行标定，求解出摄像机的内参数。目前主要的方法有基于摄像机纯平移运动的标定方法，基于摄像机纯旋转运动的标定方法，基于摄像机正交运动的标定方法等。h a r t l e y 提出了基于摄像机纯旋转运动的标定方法( h a r t l e y1 9 9 4 ) ，该算法的核心思想是控制摄像机至少做两次绕光心的旋转轴不互相平行的旋转运动，在每次旋转下通过图像间的对应点求解相应的单应性矩阵，然后通过c h o l e s k y 分解得到摄像机的内参数矩阵。由于在实际的标定过程中摄像机光心的具体位置事先并不知道，因此很难控制摄像机做绕光心的纯旋转运动。李华等人提出了基于摄像机平面正交运动的标定方法( 李华等，2 0 0 0 ) ，该方法需要控制摄像机做多组( 大于等于5 ) 两次互相正交的纯平移运动，每组纯平移运动前后得到的两幅图像的极点相同。然后解线性约束方程，再做c h o l e s k y 分解即可求得摄像机的内参数矩阵。这种方法的稳定性比较高，但是对设备的要求也比较高，而且对于多组正交运动之间应该满足的条件还未很好解决。m a 等人提出了基于摄像机三正交平移运动的标定方法( m a1 9 9 6 ) ，该方法需要控制摄像机做两组两两正交的三次平移运动，根据图像的对应点求出对应的六个极点。根据极点的性质可以得到四个关于内参数的约束方程，并且证明当六次平移运动中任意四次不共面时，可以得到内参数的唯一解。这种方法只有在倾斜因子s 为0 的情况下才成立，因此只能求得四个内参数，而且对噪声比较敏感。基于主动视觉的标定方法由于在标定过程中已知关于摄像机的运动信息，摄像机的参数可以线性求解，且计算简单，鲁棒性较高，不足之处在于必须精确的控制摄像机的移动。2 4 本章小结1 3摄像机成像模型及标定方法本章主要介绍了摄像机的针孔成像模型，得出了理想情况下空间物体点与图像对应点之间的坐标转换关系。由于摄像机镜头存在畸变，引入非线性模型加以描述，使其更符合实际应用的情况。摄像机成像模型是摄像机标定的基础，求解模型参数的过程即是摄像机标定。然后对目前已有的摄像机标定方法进行了分类介绍，包括传统的摄像机标定方法，自标定方法和基于主动视觉的标定方法，并比较了各类方法的优缺点及适用范围。1 4基于平面标定板的标定方法第三章基于平面标定板的标定方法3 。1 标定方法简介张正友提出了一种介于传统标定与自标定之间的标定方法( z h a n g1 9 9 9 ) ，这种方法也使用了针孔成像模型。将平面标定板放置在不同的位置，摄像机从不同的角度拍摄若干张模板图像，检测出图像中的特征点。假设标定板平面在世界坐标系中z = 0 ，通过线性模型分析计算得出摄像机参数的近似解，然后进行非线性优化得到摄像机的内外参数和畸变系数。具体的流程由下所示：( 1 ) 选取并打印合适的模板，贴在一个平面上；( 2 ) 将平面模板放置在不同的位置，拍摄若干张图像；( 3 ) 检测出图像中的特征点，得到特征点与图像投影点之间的对应关系；( 4 ) 估计单应性矩阵，求出摄像机的内参和外参：( 5 ) 利用非线性模型求出畸变系数；( 6 ) 使用l m 算法对参数进行优化。这种标定方法不需要制作昂贵的标定块，且具有较好的鲁棒性，很有实用性。但是由于假定模板平面上的直线经透视投影后在图像上仍然得到直线，进而进行图像处理，检测得到亚像素精度的角点坐标，实际上引入了误差。3 2 基本方程3 2 1 单应性矩阵记三维空间中的一点m 的坐标为 x ，y ，z r ，其对应的图像点m 的坐标记为陋，1 ，】r ，对应的其次坐标分别记为【x ，y ，z ，1 1 r 和 甜，v ，1 7 。根据第二章的成像模型将公式( 2 1 0 ) 改写为：s i v = k rr l m( 3 1 )其中s 是尺度因子，k 是内参数矩阵，r 是旋转矩阵，t 是平移矩阵，上面的公式反应了空间点与图像点之间的坐标变换关系。假设将平面模板在世界坐标系中z = 0 的平面上，即平面模板上所有点的z 坐标值为o ，则式( 3 。1 ) 可以简化为：1 5基于平面标定板的标定方法j i = k c l 吒岛丁，xyo1钢，阐慨2 ，s m = 研1r 2t m = h m( 3 3 )其中和吒表示由旋转矩阵尺的第一列和第二列组成的向量，h 是一个3 x 3的矩阵，称为单应性矩阵( z h a n g2 0 0 0 ) ，它表示空间平面上的点到图像平面上的点之间的映射关系。3 2 2 摄像机内参数约束平面单应性矩阵在摄像机标定和三维重建方面有着重要的作用( l i e b o w i t za n dz i s s e r m a n1 9 9 8 ) ，世界坐标系的z = 0 平面与图像平面之间的单应性矩阵可以提供两个关于摄像机内参数的线性约束。假设单应性矩阵h 的三个列向量为h l ，h 2 ，h 3 ，从式( 3 3 ) 可以得到：【7 i l 红吃】= 兄k 【吃t 】( 3 4 )其中，五是一个常数因子。由旋转矩阵r 的正交性可以得到7 眨= 0 ，l = 恢i i ，因此得到下面的公式：k t k - h 22 0( 3 5 )【啊r k j k j = 7 k 丁k j 。其中，k 叮k 。是绝对二次曲线的像，设m 是绝对二次曲线上点的像点，则根据成像模型可以得到：所r k r k 一1 m = 0( 3 6 )这说明绝对二次曲线的像也是图像空间里的一条二次曲线，无穷远直线与空间上一张有限远平面上的圆的交点为圆环点( 1 ，f ，0 ，0 ) 7 和( 1 ，一f ，0 ，0 ) 7 ，位于绝对二次曲线上。圆环点的像满足式( 3 6 ) ，代入方程并化简得到：( 啊f ) 7 k 一7 k 。1 ( 7 j i + i h 2 ) = 0( 3 7 )虚部和实部分别为o ，也能得到两个对摄像机内参数的约束方程，上面的推导过程也是对式( 3 5 ) 的几何解释。当摄像机至少在3 个不同的方位，获得至少3 幅图像时，每幅图像可以提供两个约束方程，对方程组进行求解就能够得到摄像机的内参数。1 6基于平面标定板的标定方法3 3 标定算法3 3 1角点检测在标定前首先要对图像进行角点检测，获得图像点与标定板上点的对应关系。角点是图像的重要局部特征，它决定了目标在图像中的位置以及轮廓信息。角点一般定义为图像中梯度值和梯度变化率都比较高的点，或者是图像边界方向变化不连续的点。目前的角点检测方法主要可以分为两类，一类是基于图像边缘特征进行检测，算法性能依赖于边缘检测的效果，并且计算量较大，因此使用范围较小；另外一类是直接利用图像的灰度信息，计算曲率及梯度来进行角点检测。在计算机视觉领域中使用非常广泛的角点检测算法是h a r r i s 角点检测算法，该算法过程简单，检测结果稳定，而且能够在噪声干扰、灰度变化以及图像旋转等情况下准确地提取出角点。h a r r i s 角点检测算法是在m o r a v e c 算法的基础上提出的一种基于信号自相关函数的点特征提取算子( h a r r i sa n ds t e p h e n s1 9 8 8 ) ，基本思想是在图像中设计一个局部检测窗口，当该窗口沿各个方向做微小移动时，考查窗口内的平均能量变化。提前设定一个阈值，当能量变化值超过阈值时，就认为窗口的中心像素点是一个角点。记图像像素点( x ，y ) 的灰度值为f ( x ，y ) ，用微分算子计算窗口内灰度强度的变化，这样使得角点检测算子具有旋转不变的性质。窗口内的灰度强度变化可用下式表示：e ，( x ，少) = 呒， 厂o + “，y + ，) 一f ( x ，州2：妻睨，t x 篆+ y 万o f + c x ：+ y z ，z( 3 8 )其中，睨，是高斯窗口在位置( “，v ) 处的系数，为了提高抗噪能力，对图像窗口进行了高斯平滑，选用了如下的高斯窗口：呒，= e x p 一去( 甜2 + v 2 ) 万2 】( 3 9 )z在实际的应用中，需要选择合适的高斯窗口( t i s s a i n a y a g a ma n ds u t e r2 0 0 4 ) ，若高斯窗口的尺寸较小，则