（光学专业论文）摄像机标定与三维重建.pdf

摘要 三维计算机视觉的中心任务是从二维图像恢复三维空间物体的几何形状，主要步骤有：图像对 应点的确定，摄像机内外参数的标定，关键点重建，稠密点重建，纹理映射等。本文主要围绕摄像 机标定和关键点重建等内容开展了一些工作。论文的主要工作有以下四部分： 1 ：提出了利用平行平面的投影来求解两个视点间的无穷远平面的单应矩阵，用代数方法构造性 地证明了下述结论：( a ) 如果场景中含有- - n 平行平面，则可以通过求解一个一元4 次方程来确定两 个视点间的无穷远平面对应的单应矩阵：( b ) 如果场景中含有两组平行平面，则可以线性地确定两个 视点间的无穷远平面对应的单应矩阵并对上述结果给出了相应的几何解释和具体算法 2 ：探讨了摄像机正交平移运动下关于内参数方程的独立性问题。一般来说，5 组摄像机的正 交运动就可以线性标定摄像机的5 个内参数。然而，关于这5 组摄像机运动应满足什么条件才可以 保证所产生的5 个线性约束方程是独立的，文献中对这个问题至今没有答案。一种流行的猜测是只 要这5 组正交运动下的平移向量任意3 个不共面，则对应的5 个摄像机内参数约束方程必然独立。 我们证明了当5 组正交运动中其中的三组构成一个三正交运动时，此时尽管构成5 组正交运动的7 个平移向量没有任意三个共面，但产生的5 个约束方程却可能不独立，并给出了一个不独立的具体 例子。 3 ：系统地研究了摄像机简化模型对3 d 重构的影响。主要工作有：( 1 ) 当摄像机在两幅图像间 的运动为纯平移运动时，从理论上证明了使用摄像机简化模型重构空间点与实际空间点之间满足仿 射变换：实验表明，简化模型焦距与实际摄像机焦距的相对误差在1 0 范围之内，使用简化模型 所重构的物体保持原物体的形状。( 2 ) 当摄像机在两幅图像间的运动为一般刚体运动时，理论分析 和实验表明，使用简化模型的重构只有在满足下述两个条件下才能较好地保持原物体的形状：条件 a 、简化模型焦距与实际摄像机焦距的相对误差在士2 范围之内；条件b 、对一幅5 1 2 5 1 2 的图像， 实际摄像机的主点坐标误差在5 个像素范围之内。一般地，使用简化模型的重构不能很好地保持 原物体的形状：( 3 ) 指出在简化模型下，基于k r u p p a 方程的方法所估计的焦距精度不能满足3 d 重 构的要求。因此，在3 d 重构中，我们不能使用简化模型，必须对摄像机内参数进行全面地标定。 4 ：提出了基于单个平行四边形单幅图像的物体定位方法。主要结论有：如果平行四边形的两组 边长均未知的话，则从该平行四边形的单幅图像，仅可以确定物体坐标系与摄像机坐标系之间的旋 转矩阵和平移向量的方向，平移向量的大小无法确定。当知道平行四边形任一绸边长时，旋转矩阵 和平移向量均可以唯一确定。另外，诸如相邻边长之比，相邻边之间的夹角等信息，由于它们不是 射影不变量，所以它们对基于单幅图像的物体定位来说，提供不了任何有用的额外信息。 关键词：三维计算机视觉，摄像机标定，三维重建，物体定位。 a b s t r a c t 3 dc o m p u t e rv i s i o ni sp r i m a r i l ym e a n tt or e c o v e rt h eg e o m e t r i cs t r u c t u r eo fs c e n ef r o m i t sp r o j e c t e d2 di m a g e s ，a ni n t e n s er e s e a r c hf i e l di nt h er e c e n ty e a r s ，w h i c hi n c l u d e ss u c hk e y s t e p sa s ：c o r r e s p o n d e n c eo fi m a g ep o i n t s ，c a m e r ac a l i b r a t i o n ，k e yp o i n tr e c o n s t r u c t i o n ，d e n s e p o i n tr e c o n s t r u c t i o na sw e l la st e x t u r em a p p i n g t h i st h e s i si sf o c u s e do nt h et w oo fs u c h s t e p s ，n a m e l yc a m e r ac a l i b r a t i o na n d3 dk e yp o i n tr e c o n s t r u c t i o n t h em a i nw e r kc a nb e s u m m a r i z e da st h ef o l l o w i n g4p a r t s ： l ：t h eh o m o g r a p h yi n d u c e db yt h ep l a n ea ti n f i n i t yb e t w e e nt w oi m a g e s ，n a m e l yt h e i n f i n i t eh o m o g r a p h y , p l a y sav e r yi m p o r t a n tr o l ei n3 dc o m p u t e rv i s i o ns i n c em a n yv i s i o n p r o b l e m sc o u l db es u b s t a n t i a l l ys i m p l i f i e db yk n o w i n gi t u n l i k eh o m o g r a p h i e si n d u c e db y o r d i n a r yp l a n e sw h i c hc a nu s u a l l yb ed e t e r m i n e db yc o r r e s p o n d e n c e so fi m a g ep o i n t s ，t h e i n f i n i t eh o m o g r a p h ym u s tb ed e t e r m i n e di n d i r e c t l ys i n c en or e a lp h y s i c a lp o i n t sl i eo nt h e p l a n ea ti n f i n i t y i nt h ef i r s tp a r to ft h i st h e s i s ，w es t u d i e dh o wt od e t e r m i n et h ei n f m i t e h o m o g r a p h yt h r o u g h s c e n ep a r a l l e l p l a n e s ，a n de s p e c i a l l yp r o v e dt h ef o l l o w i n gt w o c o n c l u s i o n s ：( 1 ) i fo n l y ap a i ro fp a r a l l e lp l a n e si s p r e s e n ti nt h es c e n e ，t h e i n f i n i t e h o m o g r a p h yc a nb eo b t n n e db ys o l v i n ga4 ”o r d e rp o l y n o m i a l ，m a da tm a x i m u m ，4p o s s i b l e s o l u t i o n se x i s t ( 2 ) i fa tl e a s tt w o p a i r so fp a r a l l e lp l a n e se x i s ti nt h es c e n e ，a n di fp l a n e si n d i f f e r e n tp a i r sa r en o tp a r a l l e l ，t h e nt h ei n f i n i t eh o m o g r a p h yc a nb el i n e a r l ya n du n i q u e l y d e t e r m i n e d i na d d i t i o n ，ag e o m e t r i ci n t e r p r e t a t i o nt ot h ea b o v er e s u l t s ，a n ds o m ep r a c t i c a l a l g o r i t h m sa r ea l s op r o v i d e d t h ep r o p o s e dr e s u l t si nt h ep a p e ra r eo fi n t e r e s t si nc a m e r a s e l f - c a l i b r a t i o na n di m a g eb a s e d3 dr e c o n s t r u c t i o nu n d e rb o t ht h e o r e t i c a la n dp r a c t i c a l s t a n d p 0 i n t s 2 ：t h eo r t h o g o n a l - m o t i o nb a s e dc a m e r ac a l i b r a t i o ni sa ni m p o r t a n ta p p r o a c hi n a c t i v e v i s i o nb a s e dc a l i b r a t i o n i ng e n e r a l ，e a c hp a i ro fo r t h o g o n a lc a m e r am o t i o n se a r l g e n e r a t ea1 i n e a rc o n s t r a i n to nt h ec a m e r a s5i n t r i n s i cp a r a m e t e r s a n d5s u c hm o t i o np a i r sa r e s u m c i e n tt ol i n e a r l yc a l i b r a t et h ec a m e r a + h o w e v e ra no p e nq u e s t i o ni st h a tu n d e rw h a t c o n d i t i o n so fs u c h5p a i r so fo r t h o g o n a lm o t i o n st h a tt h er e s u l t i n gc o n s t r a i n t sm u s tb e i n d e p e n d e n t ，al a r g e l yh e l dv i e w i st h a ti f n ot h r e em o t i o n sa r ec o p l a n a ro f t h e5m o t i o np a i r s t h ec o r r e s p o n d i n g5c o n s t r a i n t ss h o u l db ei n d e p e n d e n t i nt h es e c o n dp a r to fm i st h e s i s w e s h o wt h a ti ft h r e es e t so u to ft h ef i v e o r t h o g o n a lm o t i o n s e t s h a p p e n t of o r ma t h r e e - o r t h o g o n a lm o t i o ns e t ( i ，e ，t h r e em o t i o n sa r em u t u a l l yo n h o g o n a l ) ，t h e ni nt h i sc a s e e v e ni fn ot h r e em o t i o n sa m o n gt h et o t a ls e v e no n e sa r ec o p l a n a r , t h er e s u l t i n g5c o n s t r a i n t s a r en o tn e c e s s a r i l yi n d e p e n d e n t ，a n dac o n c r e t en o n i n d e p e n d e n te x a m p l ei sa l s op r o v i d e d t h i se x a m p l es h e d ss o m el i g h to nt h ed i f f i c u l t i e so fo b t a i n i n gm o t i o nc o n f i g u r a t i o n sf o ra u n i q u es o l u t i o n 3 ：t h ee f f e c t so f t h es i m p l i f i e dc a m e r am o d e lo n3 dr e c o n s t r u c t i o n 丘o mt w oi m a g e sa r e i n v e s t i g a t e di nt h et h i r dp a r to ft h i st h e s i s t h em a i nc o n e l u 【s i o n sa r e ：f 1 1 m e l lt h ec a m e r a m o t i o nb e t w e e nt h et w oi m a g e si sap u r et r a n s l a t i o n ，i ti sp r o v e dt h a tt h er e c o n s t r u c t e do b j e c t u n d e rt h es i m p l i f i e dc a m e r am o d e li sa na m n et r a n s f o r r n a t i o no ft h eo r i g i n a lo n e i na d d i t i o n e x p e r i m e n t a lr e s u l t ss h o wt h a ti ft h er e l a t i v ee r r o ro ft h ee f f e c t i v ef o c a l1 e n g t ho ft h e s i m p l i f i e dc a m e r aw i t hr e s p e c tt ot h eg r o u n dt r u t hi s l e s st h a l l 1 0 t h er e c o n s t r u c t e d 0 1 _ i e c tu n d e r 也es i m p l i f i e dm o d e lc a r lf a i r l yp r e s e r v ei t so r i g i n a ls h a p e ( 2 ) w h e l lt h ec a m e r a m o t i o nb e t w e e nt h et w oi m a g e si sag e n e r a lr i g i dm o t i o n ，t h e o r e t i c a la n a l y s i sa sw e l la s e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ef o l l o w i n gt w oc o n d i t i o n sm u s tb es a t i s f i e ds i m u l t a n e o u s l y i n0 r d e rf o rt h er e e o n s t r u c t e do b j e c tu n d e rt h es i m p l i f i e dc a m e r am o d e lt ob ef a i t h f u lo fi t s o r i g i n a ls h a p e ：at h er e l a t i v ee r r o ro ft h ee f f e c t i v ef o c a ll e n g t ho ft h es i m p l i f i e dc a m e r aw i t h r e s p e c tt ot h eg r o u n dt r u t hm u s tb el e s st h a n 2 ：b f o ra5 1 2 5 1 2i m a g e ，t h ee r r o ro f t h ep r i n c i p l ep o i n tm u s tb el e s st h a n 5p i x e l s ， ( 3 ) u n d e rt h es i m p l i f i e dc a m e r am o d e l ， t h ee s t i m a t e de f f e c t i v ef o c a ll e n g t ht h r o u 曲t h ek r u p p ae q u a t i o ni si ng e n e r a ln o ta c c u r a t e e n 0 1 1 nf o r3 dr e c o n s t r u c t i o n b a s e do nt h ea b o v e3p o i n t s ，w ec o n c l u d et h a taf u l lc a m e r a c a l i b r a t i o ni sg e n e r a l l yn e e d e df o rr e a la p p l i c a t i o n si n3 dr e c o n s t r u c t i o n ，a n dt h es i m p l i f i e d m o d e li si ng e n e r a ln o tav i a b l er e p l a c e m e n t 4 ：t h ep o s ed e t e r m i n a t i o nb yas i n g l ei m a g eo fas i n g l es p a c ep a r a l l e l o g r a mi s i n v e s t i g a t e di nt h ef o u r t hp a r to ft h i sw o r k t h em a i nr e s u l t s a r e ：i fo n l yas i n g l ei m a g eo fa s i n g l ep a r a l l e l o g r a mi sk n o w n t h er o t a t i o nm a t r i xa n dd i r e c t i o no ft h et r a n s l a t i o nv e c t o rf r o m t h ec a m e r as y s t e mt ot h eo b j e c ts y s t e mc a nb ed e t e r m i n e d i fa d d i t i o n a l l yt h el e n g t ho fo n eo f t h ep a r a l l e l o g r a m ss i d e si sk n o w n ，t h et r a n s l a t i o nv e c t o rc a l la l s ob ed e t e r m i n e d i na d d i t i o n ， w es h o wt h a tt h ee n t i t i e ss u c ha st h el e n g t h - r a t i oo ft w oa d j a c e n ts i d e s o rt h ei n c l u d i n ga n g l e o ft w oa d j a c e n ts i d e so ft h ep a r a l l e l o g r a m ，s i n c e ，t h e ya r en o tp r o j e c t i v ei n v a r i a n t s ，t h e y c a n n o tp r o v i d ea n ya d d i t i o n a lu s e f u lc o n s t r a i n t s0 1 2t h ep o s ep a r a m e t e r s k e y w o r d s ：3 dc o m p u t e rv i s i o n ，c a m e r ac a l i b r a t i o n ，3 dr e c o n s t r u c t i o n ，p o s ed e t e r m i n a t i o n 首都师范大学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究 工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或 集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体， 均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：孑厣k r 毛 日期：挪磊白多日 首都师范大学位论文授权使用声明 本人完全了解首都师范大学有关保留、使用学位论文的规定，学校有权保留 学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版。有权将学 位论文用于非赢利目的的少量复制并允许论文进入学校图书馆被查阅。有权将学 位论文的内容编入有关数据库进行检索。有权将学位论文的标题和摘要汇编出 版。保密的学位论文在解密后适用本规定。 学位论文作者签名：施 日期：力嘭年舌月彩日 第一章前言 1 1 三维计算机视觉及其重要性 计算机视觉( c o m p u t e rv i s i o n ) 的根本目的就是通过计算的手段( 即通过计算机) 对图像进行理 解。 1 9 8 2 年，m i t 的d m a r t 教授的s i o n ac o m p u t a t i o n a li n v e s t i g a t i o ni n t ot h eh u m a n r e p r e s e n t a t i o na n dp r o c e s s i n go f v i s u a li n f o r m a f i o n 1 一书问世，标志着计算机视觉成为了一门独立学 科。在大量神经生物学、神经解剖学、病理学和心理学研究成果的基础上，m a n ：提出“对物体可见表 面的重建是人类视觉的主体( p 3 6 ) ”，因而计算机视觉的根本任务也就是从多幅二维图像来恢复空间物 体的三维几何结构即三维重建。尽管上世纪9 0 年代中期，人们对m a n 计算视觉理论提出了这样那 样的质疑和批评，并试图提出新的理论框架，如目的视觉( p u r p o s i v ev i s i o n ) 2 ，主动视觉( a c t e v i s i o n ) 3 ，定性视觉( q u a l i t a t i v ev i s i o n ) j 4 等，但是这些新的框架并没有代替m a r t 框架，仅仅从某种程 度上或多或少地丰富或完善了m a r r 视觉框架近年来神经生物学的发展表明立体视觉通道是人类视 觉的最主要的通道之- - 5 ，p 8 3 3 ，因此，从二维图像重建可见表面的几何结构仍然是计算机视觉研究的 核心任务。 计算机视觉有着广泛的应用，其主要应用领域有： 视觉监控； 工业应用，如视觉机器人导航，基于视觉的工件检测，物体定位； 航空应用，如基于视觉的遥控( 如火星探测器) ， 空间机器人对接： 虚拟现实中的基于视觉的建模； 考古中的应用，如占遗址的复原： 通讯中的应用，如可视电话中的建模等。 可以这样说，计算机视觉是众多应用技术的基础。正因为如此，目前各国都有很多研究人员从事这方面 盼研究。尽管计算机视觉有各种不同的应用，不同的应用有其不同的特点和难点，但作者认为：计算机 视觉有四个核心问题( 如图1 - 1 所示) 长期以来一直没有得到很好的解决，很多应用中出现的问题，晟 终都可以归结到这四个问题上。如果这四个问题的任一个有所突破，均可以大大推动计算机视觉的发展。 图1 一l 计算机视觉的四个核心问题 从二维图像来恢复空间三维物体的几何结构可以分为基于单幅图像和基于多幅图像二大类方法 基于单幅图像的方法主要是s h a p ef r o mx 类，如s h a p ef r o mc o n t o u r s ，s h a p ef r o ms h a d i n g 6 ，c h a p t e r2 3 1 ， s h a p ef r o mf o c u s i n g 7 等，此类方法由于鲁棒性( r o b u s t n e s s ) 不足，所以，研究报道相对比较少基于多幅 图像方法的核心原理是立体视觉( s t e r e ov i s i o n ) 原理如图1 - 2 所示，立体视觉有三个主要组成部分：第 一是对应点的确定问题( p o i n tc o r r e s p o n d e n c ea c r o s si m a g e s ) ，即确定同一空间点( 肘) 在不同图像上投影 点的对应关系( 肼付玳。) 第二个问题是确定图像点与摄像机光心的连线( 厶) 本质上是确定摄像 机的内参数( c a m e r ai n t r i n s i cp a r a m e t e r s ) ，既摄像机标定问题( c a m e r ac a l i b r a t i o n ) 第三个问题是确 定两个摄像机坐标系之间的刚体变换关系，即旋转矩阵五和平移向量t 因为只有知道两个摄像机坐标 m 一、 图1 - 2 从二幅二维图像重建三维空间点的原理 系之间的变换关系，才能通过三角原理( t r i a n g u l a t i o n ) 把在不同坐标系下对应的空间直线( 厶r ) 相交 从而确定空间交点m 当然，上述原理不限于仅研究二幅图像的情况，因为，从主体上来说，多幅图像 2 的情况与二幅图像的原理是一样的 上述三维重建框架在2 0 多年的研究过程中遇到了不少困难，特别是在计算鲁棒性方面遇到的严重 困难，这也是为什么在上世纪九十年代初人们对m a r t 视觉框架提出批评和质疑的主要原因。九十年中 后期人们提出了分层重建框架( s t r a t i f i e dr e c o n s t r u c t i o n ) 8 】，给三维计算机视觉注入了巨大的活力，形成 了继m a n 视觉提出后的第二个研究高潮。1 0 多年来，该框架下的研究方兴未艾，计算机视觉的最高奖 一m a r r 奖，连续多次授予该方面的研究工作。所谓的分层重建理论，如图1 - 3 所示，就是指重建过程 不是从图像直接到欧几里德空间，而是从图像先进行射影重建( p r o j e c t i v er e c o n s t r u c t i o n ) ，然后再提升 到仿射重建( a f t m er e c o n s t r u c t i o n ) ，最后达到欧几里德空间的重建( e u c l i d e a no rm e t r i cr e c o n s t m c t i o n ) 在分层重建的框架下，从低层提升到高层的过程中，由于涉及到的未知变量比较少，易于对相关的非线 性目标函数进行优化，所以，分层重建理论从原理上来说较传统方法具有一定的优势 图1 - 3 分层重建框架示意图 本文主要对三个核心问题中的后两个问题，即摄像机标定和三维重建问题进行一些探讨。图像对应 问题是一个经典的问题，尽管也非常重要，且近年来又有很多研究人员从事这方面的工作，特别是大基 线rw i d eb a s e l i n e ) 下基于仿射不变量描述子( a f f i n ei n v a r i a n tb a s e dd e s c r i p t o r ) 的匹配方法和基于图切割 ( g r a p hc u t ) 的全局优化方法，但本论文没有进行这方面的探讨，感兴趣的读者可奄阅相关文献。如 l o w e 的s i f t ( s c a l ei n v a r i a n tf e a t u r et r a n s f o r m a t i o n ) 9 】，m a t a s 的m s e r ( m a x i m a l l ys t a b l e e x t r e m a l r e g i o n s ) 1 0 以及s c h m i d 1 l 】等人的工作。 1 2 摄像机标定及其重要性 摄像机标定，一般是指确定摄像机内参数的过程。 要从多幅二维图像来恢复空间物体的几何结构，即三维重建，对摄像机进行标定是必不可少的，如 图1 4 。所以，研究摄像机标定具有重要的理论意义和应用价值。 回回回 ooo 摄像机标定必然步骤 图1 - 4 文献中摄像机标定可大体分为三种不同的形式：传统标定方法、自标定方法和基于主动视觉的标定 方法。传统的摄像机标定方法是指用一个结构已知、加工精度很高的标定块作为空间参照物，通过空间 点和图像点之间的对应关系来建立摄像机模型参数的约束，然后通过优化算法来求取这些参数。传统方 法的典型代表有d l t 方法( d i r e c tl i n e a r t r a n s f o r m a t i o n ) 1 2 j ，t s a i 的方法u 3 ，w e n g 的迭代法 1 4 ，以 及z a a n g 1 5 等人的简易标定方法。传统方法的优点是可以使用任意的摄像机模型，标定精度高，其不 足是标定过程复杂，需要高精度的标定块，而实际应用中在很多情况下无法使用标定块，如空间机器人， 危险、恶劣环境下工作的机器人等。所以，当应用场合所要求的精度很高且摄像机的参数不经常变化时， 传统标定方法应为首选。自标定方法( s e l f - c a l i b r a t i o n ) 不需要标定块，是指仅依靠多幅图像对应点之 间的关系直接进行标定的过程。摄像机自标定是上世纪9 0 年代中后期在计算机视觉界兴起的最重要的 研究方向之一。白标定由于仅需要建立图像对应点，标定方法灵活性强，潜在的应用范围广。自标定方 法最大的不足是鲁棒性差。这主要是由于自标定方法不论以何种形式出现，均是基于绝对二次曲线( t h e a b s o l u t ec o n i c ) 或绝对二次曲面( t h e a b s o l u t eq u a d r i c ) 的方法，需要求懈多元非线性方程 1 6 1 。自标 定方法的主要应用场所是精度要求不高的场合，如通讯，虚拟现实等。在这些场合，视觉效果而不是绝 对精度为首要考虑的问题。这事实上也是为什么近年来自标定方法会受到人们如此重视的根本原因。鉴 于传统方法和自标定方法的不足，人们提出了基于主动视觉的摄像机标定方法( a c t i v ev i s i o nb a s e d c a m e r ac a l i b r a t i o n ) 1 7 】。即指“己知摄像机的某些运动信息”下标定摄像机的方法。这里，“已知摄像 机的某些运动信息”包括定量信息和定性信息。定量信息如摄像机在朝某一方向平移某一给定量，摄像 机的二平移运动正交等。定性信息如摄像机仅作纯平移运动或纯旋转运动等。基于主动视觉摄像机标定 方法的主要优点是由于在标定过程中知道了一些摄像机的运动信息( 或可以控制摄像机作特定的运动) ， 所以一般来说，摄像机的模型参数可以线性求解，因而算法的鲁棒性比较高。目前，基于主动视觉的摄 像机标定的研究焦点是如何尽量减少对摄像机运动的限制但仍能线性求解摄像机的模型参数。这里需要 指出的是，“尽量减少对摄像机运动的限制”不等于“对摄像机的运动毫无约束”。如果对摄像机的运动 毫无约束的话，标定过程本质上是一个多元非线性优化问题，基于主动视觉的标定就回到了自标定的范 4 畴了 1 _ 3 摄像机标定方面国内外的研究状况 在上述三大类摄像机标定方法中，摄像机白标定方面的研究占绝对主导地位。自标定首先由 m a y b a n k 和f a u g e r a s 以及h a r t e l y 于1 9 9 2 年分别独立提出 1 8 ，1 9 。而后人们提出了一系列改进的 理论和方法。在十多年的研究中，比较有重要意义的工作有：1 9 9 4 年，h a r t l e y 证明了任何一个射影 重构与空间的欧氏重构相差一个唯一的射影变换，回答了重构空间的唯一性问题 2 0 。1 9 9 5 年h a r t l e y 提出了归一化的8 点算法( n o r m a l i z o d8 - p o i n ta l g o r i t h m ) ，使得该算法成为该领域计算基础矩阵 ( f u n d a m e n t a lm a t r i x ) 的一个标准算法 2 1 。1 9 9 5 年s h a s h u a 提出了三幅图像之间的t r i f o c a l t e n s o r 约束的概念 2 2 ，而后又推广到4 幅图像之间的q u a d f o c a lt e n s o r 约束。1 9 9 5 年，f a u g e r a s 证明了 当图像之间的个数大于4 时，图像对应点之间不再构成新的约束 2 3 ，以及关于分层重建的系统理论框 架 8 。1 9 9 6 年，t r i g g s 提出了基于因式分解的射影重构方法( f a c t o r i z a t i o nb a s e dp r o j e c t i v e r e c o n s t r u c t i o n ) 2 4 1 9 9 6 年，p o l l e f e y s 提出了模约束的概念( m o d u l u sc o n s t r a i n t s ) 2 5 1 9 9 7 年，t r i g g s 首次提出了基于绝对二次曲面的标定方法 1 5 。1 9 9 8 年，f a u g e r a s 提出了一维摄像机 标定的概念( 1 dc a m e r ac a l i b r a t i o n ) 2 6 。1 9 9 9 年，z h a n g ( 张正友) 提出了简易摄像机标定方法 ( e a s yc a m e r ac a l i b r a t i o n ) 1 5 s t r u m 等对标定的临界运动进行了系统的研究 2 7 。可以说，到 2 0 0 0 年时，这方面的理论已经比较成熟2 0 0 0 年h a r t l e y 与z i s s e r m a n 合著的书“m u l t i p l ev i e w g e o m e t r yi nc o m p u t e rv i s i o n ”是这方面工作的一个很好的总结 2 8 近j l 年，这方面的工作主要集中在如何建立鲁棒性算法和如何提高算法的应用能力。最著名的鲁棒 性算法是所谓基于r a n s a c ( r a n d o ms a m p l i n gc o n s e n s u s ) 框架的估计方法 2 9 ，3 0 。 1 4 论文的研究内容和意义 本论文是在国家“8 6 3 ”高技术研究与发展计划项目“单幅图像场景精确测量技术”( 2 0 0 2 a a l 3 5 1 1 0 ) 和国家自然科学基金项目“摄像机自标定理论与算法研究”( 6 0 3 0 3 0 2 1 ) 和“p n p 问题的鲁棒性分析” ( 6 0 3 7 5 0 0 6 ) 的资助下完成的。论文采用理论分析( 建模) 和实验相结合的研究方法，以摄像机标定和 物体定位为主要研究内容，研究包括： 1 物体三维重建过程中摄像机简化模型可能导致的重建误差 2 利用平行平面的投影来求解两个视点间的无穷远平面的单应矩阵的方法 3 探讨摄像机正交平移运动下关于内参数方程的独立性问题。 4 讨论基于平行四边形单幅图像的物体定位方法。 上述这些研究对于摄像机的标定和三维重建具有重要意义。本文的部分研究成果已在自动化学报 软件学报等国内重要刊物发表。 1 5 论文的组织结构 论文共有6 章，第一章主要介绍计算机视觉的任务，摄像机标定的重要性及其国内外的研究状况。 第2 章主要讨论如何利用平面信息来确定无穷远平面的单应矩阵( h o m o g r a p h ya ti n f i n i t y ) ，进而确 定摄像机的内参数，是关于摄像机自标定的内容。第3 章讨论摄像机正交平移运动下关于内参数方程的 独立性问题，是基于主动视觉的摄像机标定内容。第4 章通过大量仿真实验和理论分析，重点研究了摄 像机简化模型对重建精度的影响。第5 章讨论了一种基于平行四边形单幅图像的物体定位方法。第6 章给出了涵盖全文的结论和对未来工作的展望。最后，附录部分给出了物体的成像过程的一些简单介 绍 1 6 论文的主要贡献 1 ：提出了利用平行平面的投影来求解两个视点间的无穷远平面的单应矩阵的方法。证明了下述结 论：( a ) 如果场景中含有一组平行平面，则可以通过求解一个一元4 次方程来确定两个视点间的无穷远平 面对应的单应矩阵；( b ) 如果场景中含有两组平行平面，则可以线性地确定两个视点间的无穷远平面对应 的单应矩阵并对上述结果给出了相应的几何解释和具体算法 无穷远平面的单应矩阵在三维计算机视觉中扮演了极其重要的角色。可使众多的三维计算机视觉问 题的求解得到简化，因此，讨论求解无穷远平面的单应矩阵的方法，具有重要的理论意义和实用价值该项 工作已于2 0 0 3 年发表于软件学报( 第1 4 卷，第5 期，p p 9 3 4 4 4 ，2 0 0 3 ) 2 ：探讨了摄像机正交平移运动下关于内参数方程的独立性问题。一般来说，5 组摄像机的正交运动 就可以线性标定摄像机的5 个内参数。然而，关于这5 组摄像机运动应满足什么条件才可以保证所产生的 5 个线性约束方程是独立的，文献中对这个问题至今没有答案。一种流行的猜测是只要这5 组正交运动下 的平移向量任意3 个不共面，则对应的5 个摄像机内参数约束方程必然独立。我们证明了当5 组正交运动 中其中的三组构成一个三正交运动时，此时尽管构成5 组正交运动的7 个平移向量没有任意三个共面，但 产生的5 个约束方程却可能不独立，并给出了一个不独立的具体例子。 基于两正交运动的摄像机标定方法是主动视觉标定的一种重要、易行的方法，阐清它的解的唯一性 条件将对实际 i 程起一定的理论指导作用。本文对该标定方法的约束方程提供了新的阐释，有利于唯一 解条件的解决。对进一步讨论和解决基于两正交运动进行标定时解的唯一性问题有帮助和启发的作用。 该项工作已被自动化学报录用。 3 ：系统地研究了摄像机简化模型对3 d 重构的影响。主要工作有：( 1 ) 从理论上证明了当摄像机在 两幅图像间的运动为纯平移运动时，使用摄像机简化模型重构空间点与实际空间点之间满足仿射变换； 6 实验表明，简化模型焦距与实际摄像机焦距的相对误差在1 0 范围之内。使用简化模型所重构的物 体保持原物体的形状。( 2 ) 理论分析和实验表明当摄像机在两幅图像间的运动为一般刚体运动时，使用 简化模型的重构只有在满足下述两个条件下才能较好地保持原物体的形状：条件a 、简化模型焦距与实 际摄像机焦距的相对误差在2 范围之内；条件b 、对一幅5 1 2 x5 1 2 的图像，实际摄像机的主点坐 标误差在5 个像素范围之内。一般地，使用简化模型的重构不能很好地保持原物体的形状：( 3 ) 指出 在简化模型下，基于k r u p p a 方程的方法所估计的焦距精度不能满足3 d 重构的要求。因此，在3 d 重构 中我们不能使用简化模型，必须对摄像机内参数进行全面地标定。 本文的这些结论，对于计算机视觉及相关领域的研究人员和工程人员，具有一定的参考价值。该项 工作已于2 0 0 5 年在计算机辅助设计利图形学学报上发表( 第1 7 卷，第1 0 期，p p 2 2 5 7 2 2 6 2 ，2 0 0 5 ) 。 4 ：提出了基于单个平行四边形单幅图像的物体定位方法。主要结论有：如果平行四边形的两组边 睦均未知的话，则从该平行四边形的单幅图像，仅可以确定物体坐标系与摄像机坐标系之间的旋转矩阵 和平移向量的方向，平移向量的大小无法确定。当知道平行四边形任一组边长时，旋转矩阵和平移向量 均可以唯一确定。另外，诸如相邻边长之比，相邻边之间的夹角等信息，由于它们不是射影不变量，所 以它们对基于单幅图像的物体定位来说，提供不了任何有用的额外信息。 该项工作已被自动化学报录用。 参考文献 1 d m a r l , v i s i o r l _ 一ac o m p u t a t i o n a li n v e s t i g a t i o ni n