（计算机应用技术专业论文）基于视觉图像的三维重构的研究与实现.pdf

摘要 舢 7y 1 摘要 8 8 9 。, = 3 h l m l , 8 m r l i6lll i l l 计算机视觉的目标是通过感知的图像理解世界中的各种物体。需要理解的物体的属 性信息众多，其中最重要的信息是物体的整体三维结构，所以基于视觉图像的三维重构 自从计算机视觉的诞生以来就成为计算机视觉研究的热点和重点。经过将近三十年的研 究，此问题已经得到部分解决，并促进了计算机视觉- - i 1 分支一计算机多视图几何的诞 生。基于视觉图像的三维重构涉及到四种关键技术，包括摄像机标定、特征提取和匹配、 运动估计和结构计算。论文从已有的研究成果的基础上，做了以下五个方面的工作： ( 1 )为了克服传统优化算法的缺点，提高摄像机标定的精度，第3 章首次将量子 粒子群优化算法应用到摄像机标定中。首先，该方法运用传统的线性方法获得初始值， 然后使用q p s o 优化初始值，得到一个比较优秀的值。实验数据表明，基于q p s o 的摄 像机标定的平均反投影误差小于一个像素，是一种可行的方法，且与智能优化算法p s o 相比，基于q p s o 的摄像机标定具有更小的误差。 ( 2 )论文指出如果两个平面间存在四组点对应，则这两个平面的笛卡尔坐标系之 间存在一个非奇异线性变换，即平面单应。这就是射影几何中著名的莫比乌斯定理。2 5 节从射影几何的基本定义出发，严格证明了莫比乌斯定理，并给出了计算平面单应的方 法。 ( 3 )运动估计是基于视觉图像的三维重构的核心问题，所谓的运动估计就是从拍 摄得到的多幅图像中计算出摄像机之间相对位置的过程。h a r t l c y 首次给出了从本质矩阵 恢复运动的一种估计方法。第5 章对该方法进行了深入的研究，首次对h a r t l c y 方法提 出了一种简单易理解的证明过程。 ( 4 )一般的三维重建系统利用角点等作为特征点进行匹配，这些匹配容易出现较 高的错误匹配率。为提高匹配的准确度，第7 章构建的实验系统用尺度空间中不变点作 为特征点，使用s i f t 算法提取和匹配这些点。实验效果显示使用该方法是有效的，具 有一定的应用价值。 ( 5 )第4 章提出了一种直观且简单的不变特征点提取的统一思想框架，统一了 s i f t 、s u r f 以及h a r r i 等特征点提取算法，指明了不变特征点提取的研究方向。 关键词：三维重构，摄像机标定，莫比乌斯定理，量子粒子群优化算法，不变特征 点，运动估计，h a r t l e y 定理，结构计算 a b s t r a c t a b s t r a c t n l eg o a lo fc o m p u t e rv i s i o ni st om a k ed e c i s i o n sa b o u ta l lk i n d so f o b j e c t si n t h ew o r l d f r o mt h es e n s e di m a g e s t h e s ei m a g e sf u l f i l ln u m e r o u si n f o r m a t i o na b o u tt h e i rp r o p e r t i e si n w h i c ht h et h r e ed i m e n t i o n a ls t r u c t u r ei st h em o s t n o t e w o r t h y , s ot h r e e d i m e n s i o n a l r e c o n s t r u c t i o nf r o mp e r s p e c t i v ev i e w si sa ni m p o r t a n ta n dh o tp o i n ts i n c et h eb i r t ho f c o m p u t e rv i s i o n t h er e s e a r c ht o p i ch a sb e e np a r t l yr e s o l v e dw c l la n db r o u g h tan e w d c c i p l i n c - m u l t i p l yv i e w sg e o m e t r y - o fc o m p u t e rv i s i o n t h e r ea r ej u s tf o u rk e y t e c h n o l o g i e si nr e s p e c tt ot h i sr e s e a r c ht o p i c ，i n c l u d i n gc a m e r ac a l i b r a t i o n ，f e a t u r ee x t r a c t i o n a n dm a t c h i n g ，m o t i o ne s t i m a t i o n , a n ds t r u c t u r ec o m p u t a t i o n b a s e do nt h ep r e v i o u sr e s e a r c h , m i st h e s i sh a sd o n es o m e w o r kf o l l o w e df r o mf i v ea s p e c t s ： ( 1 ) t h eq u a n t u m b e h a v e dp a r t i c l es w a r mo p t i m i z a t i o nh a sb e e nf i r s t l ya p p l i e dt o c a m e r ac a l i b r a t i o n ，i nc h a p t e r 3 ，i no r d e rt oi m p r o v et h ea c c u r a c ya n do v e r c o m et h e d r a w b a c k so ft r a d i t i o n a lo p t i m i z a t i o na l g o r i t h m f i r s t l y , t h i sm e t h o du s e st h et r a d i t i o n a ll i n e a r m e t h o dt oa c h i e v et h ei n i t i a lv a l u e ，a n dt h e no p t i m i z c st h ei n i t i a lv a l u ew i t h q p s o e x p e r i m e n t a ld a t a s h o w st h a tc a m e r ac a l i b r a t i o nb a s e do nq p s oh a sl e s s a v e r a g e b a c k - p r o j e c t i o ne r r o rt h a nap i x c la n di sa ne f f c c t i v ea n dr e l i a b l em e t h o d e x p e r i m c n ta l s o s h o w st h a tt h i sa p p r o a c hh a sl o w c re r r o rt h a nt h eo n eb a s e do np s o ( 2 ) t h et h e s i sp o i n t so u tt h a ti ft h e r ea r ef o u rc o r r e s p o n d i n gp a k so fp o i n t sb e t w e e nt w o p l a n e s ，t h e r ew i l lb ce x i s t i n go n en o n - s i n g u l a rl i n e a rt r a n s f o r m a t i o n ，i ch o m o g r a p h y t h i si s t h ef a m o u sm o b i u st h e o r e mi np r o j e c t i v eg e o m e t r y s e c t i o n2 5p r o v e st h em o b i u st h e o r e m f r o mt h eb a s i cd e f i n i t i o no fp r o j e c t i v eg e o m e t r ya n dg i v e st h e h o m o g r a p h yc a l c u l a t i o n m e t h o d ( 3 ) m o t i o ne s t i m a t i o ni st h ec o r ei s s u ei nm e d i m e n s i o n a lr e c o n s t r u c t i o nf r o m p e r s p e c t i v ev i e w s ，w h i c hi st oc a l c u l a t et h er e l a t i v ep o s i t i o n sa m o n gc a m e r a sf r o mm u l t i p l e i m a g e st a k e no fo n eo b j e c tf r o md i f f e r e n tv i e w p o i n t s o n eo u t s t a n g i n gm e t h o dh a sf i r s t l y a p p e a r e di nh a r t l e y 2 7 2 8 】f o re s t i m a t i n gm o t i o nf r o me s s e n t i a lm a t r i x c h a p t e r5d o e s s o m ed e e pw o r ko nt h i sm e t h o da n db r i n g so u tan e wa n de a s yp r o o f t oi t ( 4 ) t h eg e n e r a ls y s t e m so fn 北e - d i m e n s i o n a lr e c o n s t r u c t i o no f t e nu s ec o m e ra sf e a t u r e p o i n t sf o rm a t c h i n g ，b u tt h er a t eo fm a t c h i n gi sp r o n et ob ch i g h e r t oi m p r o v et h ea c c u r a c yo f m a t c h i n g ，c h a p t e r7c o n s t r u c t so n ee x p e r i m e n t a ls y s t e mw h i c hu s e se x t r e m ep o i n t si ns c a l e s p a c ea s f e a t u r ep o i n t sa n ds i f tt o e x t r a c ta n dm a t c ht h e s ep o i n t s 。刀砖e x p e r i m e n t d e m o n s t r a t e st h ef e a s i b i l i t ya n dv a l u eo ft h i sm e t h o d ( 5 ) t h ef o u r t hc h a p t e ra d d r e s s e so n ei n s t i n c t i v ea n ds i m p l eu n i f i e df r a m e w o r kw h i c h u n i f i e sal o to fa l g o r i t h m s ，s u c ha ss i f t , s u r fa n dh a r 对a n dd i r e c t st h cr e s e a c hf o r e x t r a c t i n gt h ei n v a r i a n tf e a t u r ep o i n t s k e y w o r d s ：t l 鹏e d i m e n s i o n a lr e c o n s t r u c t i o n , c a m e r ac a l i b r a t i o n , m 6 b i ut h e o r e m , q p s o ，i n v a r i a n tf e a t u r ep o i n m o t i o ne s t i m a t i o n , h a r f l e y 砀e o r c m 。s t r u c t u r ec o m p u t a t i o n 目录 目录 摘要i a b s t r a c t i i 第一章绪论1 1 1 引言1 1 2 国内外研究状况。3 1 3 本文的主要工作5 1 4 论文各章内容与联系6 第二章摄像机标定。8 2 1 引言8 2 2 针孔摄像机模型8 2 3 直接线性变换( d l l ) 1 1 2 4t s a i 的两步法1 2 2 4 1 利用径向一致约束求线性解1 2 2 4 2 非线性优化1 4 2 5 平面单应计算的射影几何基础1 5 2 5 1 一维射影对应的基本定理。1 5 2 5 2 二维射影坐标的定义1 5 2 5 3 射影坐标的变换1 7 2 5 4 莫比乌斯( m 6 b i u ) 定理的证明1 8 2 6 张氏标定法2 1 2 6 1 平面单应的计算。2 1 2 6 2 摄像机内外参数约束2 2 2 6 3 求解摄像机内外参数2 3 2 6 4 考虑畸变的摄像机标定。2 5 2 6 摄像机自标定2 6 2 7 本章小结2 6 第三章量子粒子群优化算法在摄像机标定中的应用2 7 3 1 引言2 7 3 2p s o 优化算法2 7 3 3q p s o 优化算法2 7 3 3 1 量子力学诞生2 7 3 3 2q p s o 理论基础与算法过程2 8 3 4 基于q p s o 优化算法的摄像机标定3 1 3 5 实验与实验分析3 2 3 6 本章小结3 3 目录 第四章特征点提取与匹配3 4 4 1 引言3 4 4 1 1 不变特征点提取的统一思想框架3 4 4 2 基于k d 树匹配的s i f t 算法。3 4 4 2 1 尺度空间金字塔与差分尺度空间金尺字塔3 5 4 2 2 极值点的检测和特征点精确定位。3 5 4 2 3 特征点方向的分配3 6 4 2 3 特征点局部描述子的生成一3 7 4 2 4 利用k d 树进行特征点匹配3 7 4 2 5 实验。3 7 4 3 本章小结3 8 第五章基础矩阵的计算与运动恢复3 9 5 1 本质矩阵3 9 5 1 1 本质矩阵3 9 5 1 2 本质矩阵的性质。4 0 5 2 基础矩阵的计算4 1 5 2 1r a n s a c 鲁棒算法4 1 5 2 2 基础矩阵f 基本方程组4 3 5 2 3 七点法4 3 5 2 4 归一化八点法4 4 5 2 5 基础矩阵f 自动计算4 5 5 3 运动恢复4 5 目录 7 2 实验与分析5 8 第八章总结6 4 8 1 总结6 4 致谢6 5 参考文献6 6 附录：作者在攻读硕士学位期间发表的论文7 0 n 1 第一章绪论 第一章绪论 1 1 引言 动物通过自己的感受器官从周围环境中获取三维的信息，从而躲避天敌，捕获猎物，在 充满危险和竞争的大干世界里获得生存和发展；人类利用同样的方式从环境中或从别人 那里学习和获取知识，用知识创造和改变着纷繁的世界。在这所有的感受器官中，动物 和人类的眼睛扮演着非常重要的角色。自从1 9 4 6 年人类发明第一台电子计算机以来， 科学家们一直在寻找各种各样的方法使计算机也能拥有像人类一样“眼睛 ，这样就导 致了一门新的计算机学科计算机视觉的诞生。 计算机视觉的研究可以追溯到2 0 世纪的6 0 年代，美国麻省理工学院r o b e r t 用计算 机程序从二维数字图像获取立方体和棱柱体等多面体的结构，并描述这些多面体的形状 和他们之间的空间关系。r o b e r t 对积木世界的创造性的研究标志着以理解三维场景为目 的的计算机视觉研究的开始。以r o b e r t 的研究为起点，科学家和工程师们开始了以理解 更复杂的三维场景为目的计算机视觉的研究，并创造了许多具有一定应用价值的视觉系 统，至今这样的研究已经取得辉煌的成就，并且深入的研究还在继续。 上个世纪8 0 年代初美国麻省理工学院的m a r t 教授创立视觉的计算理论，标志着计 算机视觉这门学科成为- - f q 独立的学科。m a r t 视觉理论为研究计算机视觉提供了一种全 新的观点和理论框架，m a r t 视觉的计算理论框架主要包括三个方面。一方面m a r t 认为 视觉是一个信息处理系统，分析和研究信息处理系统包括三个层次，即计算理论层次、 表达与算法层次、硬件实现层次。计算理论层次说明信息处理系统做什么和为什么要处 理这些信息：表达与算法层次告诉信息处理系统怎样去做，怎样设计存储信息的数据结 构以及构建和操作数据结构的过程：硬件实现层次描述怎样从硬件上构建信息处理系 统。另一方面，从计算理论层次上看，m a r t 认为视觉系统中信息处理过程经历了三个阶 段：第一阶段的信息称为基元图( p r i m i t i v es k e t c h ) ，点、边和区域等二维图像的基本特征 构成了基元图；第二阶段的信息叫做2 5 维描述( 2 5 ds k e t c h ) ，即对物体部分的，不完整 的三维信息描述；第三阶段的信息是完整的三维信息描述，即三维图( 3 dm o d e l ) ；最后 一方面，从计算机视觉信息变化的过程来看，可以知道到计算机视觉的内容主要包括三 个方面的内容：低层视觉( 1 0 wl e v e lv i s i o n ) ，中层视觉( i n t e r m e d i a t el e v e lv i s i o n ) ，高层 视觉( h i g hl e v e lv i s i o n ) 。低层视觉的工作是对输入的原始图像进行处理，处理这些图像 的目为了是为了获取诸如角点、边缘、线条、边界以及色彩等构成的基元图，常用的算 法主要是数字图像处理的基本算法，包括图像增强、图像复原以及图像分割等。中层视 觉的主要目的是恢复场景的深度、表面法线方向、轮廓等2 5 维描述信息，实现的算法 是所谓的从x 恢复形状的估计方法。高层视觉在低层视觉和中层视觉输入的基础上，恢 复出完整的物体的三维信息描述。图1 1 十分清楚的描述了m a r t 视觉计算理论的框架。 江南大学硕士学位论文 u 低层视觉 兀 中层视觉 维高层视觉 图 ( 1 0 wl e v e lv i s i o n ) = l ( i n t e r m e d i a t e_ n( h i g hl e v e lv i s i o n ) l e v e lv i s i o n ) 述 图1 - 1m a r r 视觉计算理论框架 f i g 1 1f r a m e w o r ko fc o m p u t a t i o n a lt h e o r yo fv i s i o n m a r r 的视觉理论虽然是计算机视觉研究的主流理论框架，但是也存在一些不足之 处：视觉理论框架的输入是被动的；框架的主要目的是恢复物体的位置和形状，目的比 较单一；没有认识到高层知识在框架中的指导作用；信息流在框架中流动方向是单向的 自上而下的，缺乏反馈；m a n 没有利用数学理论对框架中的视觉信息进行严格的描述。 为了弥补m a r t 视觉理论框架的不足，以后的科学家和工程师们提出了各种各样的视觉 理论框架，但是m a r r 的视觉理论框架的基本内容还是被包含在其中。 计算机视觉以m a n 视觉的计算机理论为基础，是用计算机来模拟人的视觉机理获 取和处理信息的能力。计算机视觉利用成像系统替代人类的眼睛，从周围环境中获取二维 图像，用计算机代替人的大脑，分析和理解图像，从而达到使人工智能系统适应自然环境的 目的。这样的目的必然使计算机视觉成为一门复杂的学科。她有着坚实的数学理论基础 和强大的数学工具射影几何、矩阵分析、数理统计和数值分析等，拥有众多的相关 领域，与计算机数字图像处理、计算机图形学、机器视觉、人工智能以及模式识别有着 千丝万缕的联系。计算机视觉与这些学科具有相辅相成的关系，下面给予简单的说明： a ) 计算机视觉与计算机数字图像处理 计算机数字图像处理的方法有两类：输入或者输出都是计算机数字图像；输入是数 字图像而输出的是从图像中提取的属性或者是图像的一些基本特征。计算机视觉系统的 最终目的是恢复出整的三维信息描述，而在低层视觉的处理阶段必须用到计算机数字图 像处理的基本方法获取基元图。所以计算机数字图像处理是计算机视觉必不可少的模 块。 b ) 计算机视觉与计算机图形学 计算机图像学考虑的核心问题是如何将三维物体描述转换成在二维上的显示，相 反，计算机视觉千方百计地从二维原始图像获取场景的三维描述。可以不严格的讲计算 机图形学是计算机视觉的逆问题。 c ) 计算机视觉与机器视觉 计算机视觉和机器视觉的相同之处是他们都是视觉系统，都要从原始二维图像中获 取描述三维场景中的视觉信息，不同之处主要体现在三个方面：首先从实施主体看，计 算机视觉系统的实施主体是计算机，而机器视觉系统的实施主体是具有传感器和动作设 备的机器；其次他们感知的视觉信息有所不同，计算机视觉系统可以感知视觉的所有相 关信息，机器视觉重在感知三维场景中的物体的形状、位置、姿态以及运动等空间几何 信息；最后，他们的应用领域不一样，机器视觉系统主要应用于工业制造和具有危险性 的工作场合，而计算机视觉系统应用的场合则比较广泛。从两个视觉系统的异同点分析， 可以看到计算机视觉为机器视觉提供了理论和技术基础。 第一章绪论 d ) 计算机视觉与人工智能 人工智能是采用人类的技术和手段模拟人类智能行为的- - i q 计算机科学的分支，这 些智能行为包括：判断、推理、证明、识别、感知、理解、学习、动作执行以及问题求 解等人类智能活动。根据以上定义，机器视觉视觉显然是人工智能的一个分支，因为他 模拟了几乎人类视觉全部的智能活动，而计算机视觉着重模仿人类的视觉智能思维活 动，同样属于人工智能的一个分支。 e ) 计算机视觉与模式识别 模式识别是指对事物或现象进行描述、辨认、分类和解释的过程。模式识别有两种 基本的模式识别方法，即统计模式识别和句法模式识别。统计模式识别结合统计概率论 的贝叶斯决策系统进行模式识别的技术；句法识别模式利用模式和子模式分层结构的树 状信息进行模式识别。将模式识别的方法和技术应用到图像处理领域，从图像中识别出 某种事物或现象的图像区域称为检测，而从众多图像中识别出具有某种特征的图像称为 图像识别。计算机视觉系统处理的是二维图像信息，所以用到众多模式识别的方法。 计算机视觉从低层视觉、中层视觉到高层视觉，充满着众多的计算机视觉任务。计 算机视觉的任务包括物体识别、基于内容的目标检索、姿势估计以及运动分析等。在所 有的计算机视觉的任务中，基于视觉图像三维重构是计算机视觉研究的热点之一，她属 于计算机视觉低层视觉和中层视觉的研究内容。视觉图像是通过立体视觉的方式获得的 不同角度的二维图像，基于视觉图像三维重构就是利用得到的不同角度的二维图像计算 机出三维物体结构的过程。实现视觉图像三维图像重构的处理过程包含如下几方面内 容：摄像机标定，特征的提取和匹配，运动估计结构( s t r u c t u r ef r o mm o t i o n ，简称s f m ) 以及纹理贴图等。摄像机标定，特征的提取和匹配属于低层视觉研究的内容，运动估计 结构以及纹理贴图则属于中层视觉研究范畴。 1 2 国内外研究状况 国内外在基于视觉图像的三维重构方面的研究主要分为三个方面：摄像机的标定、特 征提取和匹配以及和运动估计结构。 摄像机方法可以分为两大类：传统的摄像机标定方法和摄像机自标定。a b d e l a z i z 和k a r a r a 1 年首次提出摄像机的直接线性变换( d l t ) 方法。直接线性变换方法通过求解 线性方程组得到摄像机矩阵。这种方法没有考虑摄像机的畸变因素，为了提高解的精度， 将畸变因素考虑进来，进而通过线性方法求解。t s a i 2 首次给出了摄像机标定的两步法， 她首先运用径向( r a d i c a la l i g n m e n tc o n s t r a i n t 简称黜蛇) 一致约束求解旋转矩阵灭和平 移矩阵丁的2 ，、2 ：分量，接着令畸变系数k 等于零求等效焦距和平移矩阵丁的s ，最后利 用非线性优化方法优化反投影误差公式得到一组优秀的内外参数估计。微软研究院的张 正有在z h a n g 3 提出著名的摄像机标定方法，该方法已经广泛应用于非实时的和标定精 度较高的摄像机标定场合。摄像机自标定出现在f a u g e r a s 4 ，使用了k r u p p a 方程。摄像 机自标定方法主要有利用绝对二次曲面的标定、基于k r u p p a 方程的自标定、分层求解方 法、从旋转摄像机自标定、平面自标定、平面运动自标定以及双眼装置的自标定等。摄 像机自标定分层求解的代表方法有h a r t l e y 5 的q r 分解法，t r i g g s 6 的绝对二次曲面法、 3 江南大学硕士学位论文 p o l l e f e y s 7 的模约束法。h a r t l e y 8 给出了绕中心旋转的摄像机的自标定情况。最早的双 眼装置的自标定方由z i s s e r m a n 9 提出。a r m s t r o n g 1 0 最早给出了单个摄像机平面运动 方法。摄像机自标定的精度相比传统的标定较低，但其自动化程度高，能够适用于实时 的标定场合。 特征提取和匹配在众多情况下是两个分离的算法，但有时也组合在一起，出现在一 种算法中。常使用的特征包括：特征点、特征线以及特征区域。特征点在计算机视觉中 是使用最广泛的，常用的有尺度空间中的极值点和角点。2 0 世纪7 0 年代，m o r a v e c 1 1 1 2 】 给出了角点检测的第一个算法。针对m o r a v e c 算子只能检测水平和竖直方向变换较大 的特征点的问题，h a r r i s 和s t e p h e n s 1 3 提出了h a r r i s 算子。s u s a n 是s m i t h 和b r a d y 1 4 】 提出的角点检测算子，在检测点周围选择选择一个近似圆形的模板，对于模板内的所有 像素点计算角点的响应函数的数值，如果大于阈值且为局部极值，则认为该点是角点。 c a n n y 1 5 禾l j 用变分法原理给出了著名的边缘检测算法。z h a n g 1 6 提出在h a r r i s 角点周 围选择一个相关窗口，用这些相关窗口去进行匹配，然后用对极几何中的基础矩阵约束 消除野点。s c h m i d 和m o h r 1 7 表明不变的特征点能够被用于普遍的图像识别问题，而 不要用到大量的图片，同时她也用h a r r i s 算子去检测角点，用不变的特征点描述子进行 匹配。h a r r i s 角点的检测容易受到噪声的干扰，对于图像的变形不是保持不变的，且角 点匹配的程度不高。d g l o w e 1 8 提出s i f t 算法，在d g l o w e 1 9 得到充分的理论和 实验的说明。k e 和s u k t h a n k a r 2 0 用p c a 去对特征点周围的梯度块进行降维处理，替 代s i f t 的直方图。基于p c a 的局部描述子和s i f t 描述子一样，独立性高，对图像的 变形具有鲁棒性，但是p c a s i f t 并没有提高特征点提取的速度。b a y 和t u y t e l a a r s 2 1 】 提出了一个加速的鲁棒特征点提取和匹配方法s u r f ，利用积分图像去进行图像的卷积 操作和用f a s t h e s s i a n 检测特征点。 人类通过在物体周围的移动观察而获取物体三维结构的信息，计算机视觉为模仿人 类的这种行为，提出了所谓的“运动估计结构 问题。h n a g e l 2 2 ，j k a g g a r w a l 和 n n a n d h a k u m a r 2 3 与t s h u a n g 和a n n e t r a v a l i 2 4 给出了运动估计结构问题的综 述。“运动估计结构问题是u l l m a n 2 5 】在标定正交投影装置时提出的。 l o n g u e t - h i g g i n s 2 6 首次引入本质矩阵( e s e n t i a lm a t r i x ) ，并给出了计算本质矩阵的线性 方法，同时提出了一种计算摄像机相对位置的非迭代算法。h a r f l e y 2 7 2 8 】指出 l o n g u e t - h i g g i n s 2 6 q b 的摄像机假设不符合实际情况，给出摄像机未标定情况下恢复摄 像机投影矩阵的非迭代算法。f a u g e r a s 2 9 也独立地提出了未标定摄像机恢复场景结构的 方法。非迭代算法得到的线性解容易受到噪声的影响，可能严重偏离精确解，为了消除 这种影响，一些非线性优化算法被引入s f m 的分析中。通过求解非线性方程分析运动 与结构的思想可以追溯到j wr o a c h 和j k a g g a r w a l 3 0 。j u y a n gw e n g 3 1 结合线性方 法和优化方法分析运动与结构，首先利用s f m 线性方法求得线性解，将线性解作为初 始值，运用非线性优化方法最小化代价函数。z h a n g 3 2 1 综合线性方法和优化方法，给出 了一个多步骤的二视图结构和运动的计算方法。 4 第一章绪论 在摄像机的标定、特征提取和匹配以及和运动估计结构的问题中，噪声的引入是不 可避免的，为了提高各种算法的鲁棒性，计算机科学家提出了各种各样的鲁棒算法，著 名的鲁棒算法有随机抽样一致算法( r a n d o ms a m p l ec o n s e n s u s 简称r a n s a c ) 矛d ( l e a s t m e d i a ns q u a r e s 简称l m s ) 。m a r t i na f i s c h l e r 和r o b e r tc b o l l e s 3 3 给出了著名的 r a n s a c 。 计算机视觉在国外经过近三十年的发展，获得了重要的成就和一些著名的计算机视 觉系统，这些系统之中包括一些著名的三维重建系统。1 9 9 1 年，t o m a s i 和k a n a d e 3 4 】 构建了最早的一个三维重建系统，该系统假设摄像机模型为正交投影模型，利用仿摄分 解方法给出了空间三维结构和摄像机的运动，使用基于光流的跟踪技术解决特征点的匹 配问题。p a u lb e a r d s l e y 3 5 等在1 9 9 6 年利用分层重构的思想完成视觉导航系统的构建。 著名的建筑物三维重建系统f a e a d e 由d e b e v e c 和t a y l o r 3 6 在1 9 9 6 完成。该系统需要 预先知道建筑物的几何模型，且只能构建出具有简单几何模型的建筑物。一种人机交互 三维重建系统在1 9 9 8 年由h ys h u m 3 7 提出并构建。f a u g e r a s 3 8 用分层重建和自标定 技术从图像序列中构建出三维建筑物。p o l l e f e y s 将在摄像机内参数可变的条件下的自标 定技术运用到物体表面的自动生成。文献 5 8 】在最新研究动态的基础上，总结了立体视 觉下三维重构的一般框架：文献【5 9 提出了一种线性多视图重构的新算法。 中国国内著名的计算机视觉研究机构主要有：莲花山计算机视觉和信息科学研究 院，中国科学院自动化研究所。2 0 0 4 年，世界顶级计算机视觉科学家朱松纯和中美两国 计算机视觉与图形图像专家在湖北鄂州创办中国大陆首家非营利性学术机构湖北 莲花山计算机视觉和信息科学研究院，并担任院长。2 0 0 3 年，朱松纯教授获得国际计算 机视觉大会颁发的马尔奖，并被国际模式识别委员会( i a p r ) 授予2 0 0 8 年度j k a g g a r w a l 奖。计算机视觉领域最项尖的国际会议：国际计算机视觉会议( i n t e r n a t i o n a l c o n f e r e n c eo nc o m p u t e rv i s i o n 简称i c c v ) 、欧洲计算机视觉会议( e u r o p e a nc o n f e r e n c eo l l c o m p u t e rv i s i o n 简称e c c v ) 矛i 国际计算机视觉和模式识别会议( i n t e r n a t i o n a lc o n f e r e n c e o i lc o p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n 简称c v p r ) 等。计算机视觉领域最项尖的杂志： i e e et r a n s a c t i o n sp a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ( p a m i ) 和i n t e r n a t i o n a lj o u m a l o fc o m p u t e rv i s i o n ( i j c v ) 。计算机视觉领域最杰出的研究成果都是在这些会议和杂志 上发表的。 1 3 本文的主要工作 本文的主要工作体现在四个方面： ( 1 )量子粒子群优化算法在摄像机标定中的应用 为了能够提高摄像机标定的精度，克服传统优化算法易陷入局部最小，反投影差误 大等缺点，本文首次将量子粒子群优化算法( q u a n t u m - b e h a v e dp a r t i c l es w a r m o p t i m i z a t i o n ，简称0 p s 0 ) 应用于摄像机标定中。该方法首先利用传统的线性方法求得初 始值，然后利用o p s o 对初始值进行优化。实验数据表明，基于o p s o 的摄像机标定的平 均反投影误差小于一个像素，是一种可行的方法，且与智能优化算法p s 0 相比，基于q p s o 5 江南大学硕士学位论文 的摄像机标定具有更小的误差。第2 章具体叙述了量子粒子群优化算法在张氏摄像机标 定中的应用。 ( 2 ) 莫比乌斯( m 6 b i u ) 定理的证明 如果两个平面之间存在四点点对应，那么这两个平面之间是否存在一个非奇异线性 变换? 莫比乌斯( m 6 b i u ) 定理回答了这个问题，这种非奇异线性变换是存在的，即通 常所说的单应，所以该定理是计算平面单应的理论基础。平面单应的计算在计算机视觉 领域非常重要。2 5 节的内容给出了莫比乌斯( m 6 b i u ) 定理详细的证明过程。 ( 3 ) 从本质矩阵恢复运动的方法一种新的证明( h a r t l c y 定理的证明) 给出了对于从本质矩阵恢复运动的方法一种新的证明，这种方法首次出现在文献 h a r t l e y 2 7 2 8 中。这些文献给出了对这种方法的一个粗糙的证明，证明过程不详细， 这使得不了解矩阵分析的读者深刻理解该方法比较困难。于是，一种简单容易理解的证 明方法在本文被提出来。5 3 节给出了详细的证明过程。定理5 9 和推论5 1 0 是本文需 要证明的核心内容，它们是计算摄像机投影矩阵的理论基础。 ( 4 ) 利用s i f t 进行特征点的提取和匹配 利用s i f t 提取尺度空间不变点作为特征点，匹配这些特征点。根据这些匹配的特 征点去计算基础矩阵、恢复两摄像机之间的相对运动以及计算物体的三维空间点。4 2 节叙述了s i f t 算法，第7 章详细给出了了基于s i f t 的二视图三维重构的实验。实验方 法显示，该方法是有效。 1 4 论文各章内容与联系 全文分为八章，各章节的主要内容如下： 第一章绪论 介绍了m a r r 计算视觉理论，课题的国内外研究现状，以及本文的主要工作； 第二章摄像机标定 介绍了摄像机的畸变模型，两种经典的摄像机标定方法，张氏标定法以及自标定， 着重论证了计算单应的射影几何基础，证明了莫比乌斯定理； 第 将 验，证 第 首 详细论 第 首 论证了 第 介 示物体 第一章绪论 第七章系统实现 描述了系统的整个框架图，给出了每个阶段的式样数据和最后的三维重构效果； 第八章总结 详细分析了课题在研究和过程中的若干未解决的问题，明确了以后进一步研究的方 向。 图1 1 描述了论文中各章之间的联系，从图中可以看出各章通过各种参数联系，关 系十分密切，并都是为了实现二视图三维重构这个最终的目标。 图1 1 各章节之问关系 7 江南大学硕士学位论文 第二章摄像机标定 2 1 引言 摄像机标定是基于视觉图像的三维重构的第一步。摄像机标定一般是指通过所获取 的二维图像获取摄像机内参数的过程。内参数包括等效焦距、主点位置以及