（系统分析与集成专业论文）基于图像序列的三维重建技术研究.pdf

目录 摘| 要。i i i a b s t r a c t i v 第一章绪论l 1 1 研究背景和意义1 1 1 1 引言l 1 1 2 本文研究目的2 1 2 相关研究现状2 1 2 1 计算机视觉的发展2 1 2 2 国内外研究现状3 1 3 本文内容及结构安排4 1 3 1 本文技术基础及主要内容4 1 3 2 文章结构安排5 第二章图像三维重建基础。7 2 1 基础知识与概念7 2 1 1 绝对二次曲线( 面) 。7 2 1 2 对极几何与基础矩阵7 2 1 3 单应矩阵9 2 2 摄像机模型9 2 2 1 坐标系和符号定义。9 2 2 2 线性模型1 0 2 2 3 畸变模型1 2 2 3 图像预处理1 3 2 3 1 图像增强与阈值处理1 3 2 3 2 图像滤波13 2 3 3 图像尺寸调整和亚采样1 9 2 4 本章小结1 9 第三章特征元识别与匹配2 0 3 1 特征点检测与匹配2 0 3 1 1 引言2 0 3 1 2 特征点检测与描述方法2l 3 1 3 特征匹配2 3 3 2 椭圆点集定位与描述2 6 3 2 1 椭圆特征识别与参数表示2 6 i 3 2 2 射影不变描述2 7 3 2 3 真实模板实验。2 9 3 3 本章小结3 1 第四章摄像机标定3 2 4 1 现有摄像机标定方法。3 2 4 1 1 传统的摄像机标定方法。3 2 4 i 2 基于主动视觉的摄像机标定3 4 4 1 3 摄像机自标定方法3 5 4 2 基于平面模板的摄像机标定方法3 7 4 2 1 基于平面模板的摄像机标定基础3 7 4 2 2 基于圆点平面模板的标定4 0 4 2 3 实验与分析4 3 4 2 4 结论4 8 4 3 一种自上而下的精确标定方法。4 8 4 3 1 引言4 8 4 3 2 模型假设和基本工具4 9 4 3 3 算法描述。4 9 4 3 4 实验结果和分析5 3 4 3 5 结论5 6 4 4 本章小结一5 6 第五章图像序列的标定与重建结果。5 7 5 1 图像匹配5 7 5 2 摄像机初标定和稀疏三维重构5 9 5 2 1 基于e x i f 信息的初始内参估计5 9 5 2 2 稀疏重构。6 0 5 3 摄像机参数优化和重建6 0 5 4 本章小结6 3 第六章结束语6 4 6 1 工作总结“ 6 2 问题与展望6 4 参考文献6 6 致谢7 l 作者简介7 2 摘要 基于图像序列的三维重建是计算机视觉和计算机图形学技术的结合，其通 过对场景或目标拍摄一系列图像还原出摄像机参数和场景三维信息。建模简单、 更新速度快的基于图像序列的三维建模技术，在考古学、建筑学、地质学、虚 拟现实、机器人导航、精密工业测量、物体识别、现场勘测以及军事领域等有 着非常广阔的应用前景。如何尽可能自动地实现三维重建是当前的一个前沿课 题，本文对三维重建各部分方法的研究考虑了自动实现问题。 本文介绍了多视图几何、射影几何的基本概念和摄像机模型的建立过程， 对基于图像序列的三维重建中图像预处理、特征元的检测和匹配以及摄像机标 定等工作进行了深入探讨。论文的主要工作分为以下几个部分： 第一部分是图像噪声的检测和滤除，本文研究了中值滤波及其各种改进方 法，提出一种基于b p 神经网络检测噪声的自适应开关滤波方法。该方法充分利 用像素本身及邻域信息，噪声检测效率高，实现自动滤除。 第二部分是图像特征匹配，本文介绍了三维重建中适用的特征检测和匹配 技术，并利用随机抽样一致性算法( 凡蝌s a c ) 和基础矩阵、单应矩阵的约束 优化匹配。针对摄像机标定使用的模板，实现了一种基于射影不变性的模板特 征描述。 第三部分是摄像机标定，该部分介绍了基于圆点集平面模板的摄像机标定 方案，实现了自动的准确性较高的摄像机标定，适用于多角度立体视觉中小目 标物的标定。同时，研究了一种精标定算法，利用降尺度图像上的多视角立体 视觉方法和光束平差优化实现摄像机参数更精确的标定。 最后，利用实际拍摄的图像序列，结合本文中讨论的部分方法实现了图像 序列的摄像机参数估计和场景三维信息还原。另外，本文在技术实现上结合了 从运动恢复结构( s f m ) ，多视角立体视觉( m v s ) 和光束平差( b a ) 方法。 关键词：图像预处理，特征匹配，摄像机标定，从运动恢复结构，光束平差 a b s t r a c t t h ei m a g e b a s e dm o d e l i n gi san e wt e c h n i q u ec o m b i n i n gc o m p u t e rv i s i o nw i t h c o m p u t e rg r a p h i c s ，w h i c hr e c o v e r s3 di n f o r m a t i o na n dc a m e r ap a r a m e t e r sf r o ma s e r i e so fi m a g e st a k e na r o u n ds c e n eo ro b j e c t 3 dr e c o n s t r u c t i o nb a s e do ni m a g e s e q u e n c e s ，w i t ha d v a n t a g e so fs i m p l em o d e l i n ga n dr a p i dr e n e w a l ，i so fv e r yb r o a d a p p l i c a t i o ni nt h ef i e l d so fa r c h e o l o g y ，a r c h i t e c t u r e ，g e o l o g y ，v i r t u a lr e a l i t y ，r o b o t n a v i g a t i o n , p r e c i s i o ni n d u s t r i a lm e a s u r e m e n t , o b j e c tr e c o g n i t i o n , s i t ei n v e s t i g a t i o n a n dm i l i t a r y , e t e o n ec h a l l e n g i n gp r o b l e mi sh o wt oo b t a i n3 dr e c o n s t r u c t i o n 觞 a u t o m a t i c a l l ya sp o s s i b l e ，s oa u t o m a t i ci m p l e m e n t a t i o ni sc o u s i d e r e di nt h i sp a p e r t h eb a s i cc o n c e p t so fm u l t i - v i e wg e o m e t r y , p r o j e c t i v eg e o m e t r ya n dc a m e r a m o d e l i n gp r o c e s sh a v eb e e nl e a r n e df i r s t l y ，a n dt h e nt h ep a p e rg o e sd e 印i n t ot h e r e s e a r c ho fi m a g ep r e p r o c e s s i n g ，f e a t u r ec o r r e s p o n d e n c ea n dc a m e r ac a l i b r a t i o ni n i m a g e b a s e d3 dr e c o n s t r u c t i o n t h i sp a p e ri sd i v i d e di n t ot h ef o l l o w i n gp a r t s ： n o i s ed e t e c t i o na n df i l t e r i n g a l 。t e rs t u d i e so fv a r i o u sm e d i a nf i l t e ra n di t s i m p r o v e dm e t h o d s ，a na d a p t i v es w i t c h i n gf i l t e rb a s e d - 0 n n e u r a ln e t w o r kn o i s e d e t e c t o ri sp r o p o s e d t h i sm e t h o dd e s c r i b e se a c hp i x e lw i t hp i x e lv a l u ea n di t s n e i g h b o r h o o dc h a r a c t e r i s t i c sa n dt a k e st h e s ea si n p u t so ft h en e u r a ln e t w o r kt o i d e n t i f yp i x e l sw h i c ha r el i k e l yt ob ec o n t a m i n a t e db yn o i s ew i t ht h et r a i n e dn e u r a l n e t w o r ka u t o m a t i c a l l y f e a t u r e c o r r e s p o n d e n c e c l a s s i c a la n d m u l t i s c a l ef e a t u r ed e t e c t i o na n d m a t c h i n gm e t h o d sa r es t u d i e d ，c o m b i n e dw i t hr e s t r a i n to ff u n d a m e n t a lm a t r i xo r h o m o g r a p h ym a t r i xa n dr a n s a ca l g o r i t h m t h e na i m e da tp l a n a rp a t t e r nu s e di n c a m e r ac a l i b r a t i o n ，ad e s c r i p t o rb a s e do np r o j e c t i v ei n v a r i a n c ei si n t r o d u c e d c a m e r ac a l i b r a t i o n t h i ss e c t i o nf o c u s e so na u t o m a t i cc a m e r ac a l i b r a t i o n m e t h o db a s e do nr u b u s tp l a n a rp a t t e r n 谢t 1 1c i r c l ed o t s ，s u i t a b l ef o rm u l t i v i e w s t e r e or e c o n s t r u c t i o n so fs m a l lo b j e c t s m e a n w h i l e ，a l la c c u r a t ec a l i b r a t i o na l g o r i t h m i ss t u d i e d ，w i t hm v so nd o w u s c a l i n gi m a g e sa n db u n d l ea d j u s t m e n l f i n a l l y , c o m b i n e dw i t hp a r t so fm e t h o d sd i s c u s s e di n t h i sp a p e r , c a m e r a p a r a m e t e r s ee s t i m a t i o na n d3 dr e c o n s t r u c t i o nf o rr e a li m a g es e q u e n c ea l er e a l i z e d i na d d i t i o n , s o m em e t h o d so fs t r u c t u r ef r o mm o t i o n ( s f m ) ，m u l t i - v i e ws t e r e o ( m v s ) a n db u n d l ea d j u s t m e n t a ) a r ec o m b i n e di nt h ew h o l ei m p l e m e n t a t i o n k e yw o r d s ：i m a g ep r e p r o c e s s i n g ；f e a t u r ec o r r e s p o n d e n c e ；c a m e r ac a l i b r a t i o n ； s t r u c t u r ef r o mm o t i o n ；b u n d l ea d j u s t m e n t i v 第一章绪论 第一章绪论弟一早三；酉了匕 1 1 研究背景和意义 1 1 1 引言 在当今计算机技术和数字化仪器设备不断发展的时代，三维物体在各个领域都有大量 需求，建立与真实世界某场景或物体相对应的三维模型，在考古学、建筑学、地质学、虚 拟现实、机器人导航、精密工业测量、物体识别、现场勘测以及军事领域等都有着广阔应 用前景。 目前，人们在三维建模方面已提出了几种方法玷1 ：利用3 d m a x 、m a y a 、p r o e 、a u t o c a d 等软件手工完成三维物体的重建，该方法能够准确反映设计意图，可操控性高，但建模过 程需要有较高技术能力的人员，且对已知物体建模时缺乏精度，需要额外的测量工作；基 于图像的绘制( i m a g e - b a s e dr e n d e r i n g ) 也是描述三维物体常用的一种建模方法，主要有同 心拼图法和视图变形法。该类方法的优点是重建出的三维模型逼真生动，缺点是由于缺乏 深度信息，所以难以控制，造成视点的不连续等；因此，基于图像的三维重建得到更广泛 的应用。到目前为止，国内外文献中的基于图像的三维重建系统大致分为以下两类：主动 视觉方法和被动视觉方法。主动视觉方法包括基于结构光的方法、基于激光的方法m 1 等。 主动式方法的特点就是需要向场景发射人为控制的结构光源，从结果图像中提取已知光源 在场景中的投影信息，通过几何计算来获得原始场景的几何信息。基于结构光的方法重建 结果精度高，目前已有许多成熟的产品，但这种方法测量速度较慢，且不适用于室外场景。 基于激光扫描的方法精度也比较高，但相应的设备非常昂贵，限制了它的推广。而被动式 方法对场景没有影响，设备可以简化到只用一台手持摄像机，其应用前景是很广泛的。基 于图像的被动视觉三维重建( 图1 1 ) 又分为：基于单幅图像重建几何模型、基于立体像 对方法重建几何模型和基于图像序列同时恢复场景几何和相机运动等。 基于图像的建模 主动视觉法 基于结构光的方法 基于激光的方法 被动视觉法 基于单幅图像建模 基于立体像对建模 基于图像序列恢复场景、 相机信息 图1 1 基于图像建模的分类 南京信息工程大学硕士学位论文 基于图像序列的三维重建技术是计算机视觉和计算机图形学技术的结合，从二维投影 的图像序列中恢复场景几何及相机参数等信息，即研究二维空间中元素的对应关系以及二 维与三维空间中元素间的对应关系，分析并确定空间物体位置关系和相对大小，从而实现 景物的三维重建。由于其建模简单、更新速度快，只需要很低成本的硬件，没有场景尺寸 的限制，而且可以较好地保持纹理信息，是国内外三维重建研究的热点且前沿的课题，对 国民经济发展也非常有意义。 1 1 2 本文研究目的 尽管基于图像的三维重建研究已成为热点，但其面临一些难题，如图像多义性，即三 维景物投影到二维图像时丧失深度信息和遮挡部分信息，使得图像对景物的约束不够充分； 另外，图像受到各种因素的干扰，如光源、物体材质以及成像过程引入的畸变和噪声等， 对三维重建的精度造成影响；同时，由于理解场景的知识匮乏，对自动地获取场景信息提 出很高要求，希望在三维过程中更加智能化，尽量实现自动化三维重建。而归结起来，计 算机视觉面临的根本问题其实是鲁棒性问题，如果不考虑这个问题的话，计算机视觉几乎 所有的问题都不存在了。因此，通过不断完善算法，协调任务系统的各个子系统，并进行 全局优化，保证其鲁棒性，成为计算机视觉真正研究的任务。 从图像提取和恢复场景的三维信息是计算机视觉的主要任务之一，而三维重建是一个 很大的系统和课题，它的一系列子问题相互关联和渗透，因此都需要深入的讨论和研究。 本文通过研究基于图像序列的三维重建中图像处理、特征匹配、摄像机标定、三维点信息 获取与显示等问题，以提高鲁棒性和自动化程度为目标，避免因专业知识和器材成本的限 制而缺乏的灵活性和普遍适用性，对整个三维重建系统的研究工作有较高的应用价值。 1 2 相关研究现状 1 2 1 计算机视觉的发展 视觉是人类感知和认识世界的重要手段，统计指出人类从外部世界获得的信息大约 8 0 由视觉获得f 1 1 。随着信号处理理论和计算机技术的发展，人们通过计算机模拟视觉感知 环境，实现对视觉信息处理的全过程，从而形成了一门新兴学科计算机视觉【2 j 。计算机 视觉的研究目标就是使计算机能像人类那样通过视觉观察和理解世界，如感知环境中目标 物体的形状、位置、姿态、运动等，并进行描述、存储、识别和理解等，甚至完成人类视 觉不能完成的任务。 计算机视觉的萌芽可以追溯到很早时候，但直到2 0 世纪7 0 年代后期，随着计算机的 性能的提高，性能满足处理图像之类的大规模数据后，计算机视觉才真正得到关注并逐步 发展起来。视觉问题是一种复杂的系统问题，因此需要相应的系统框架和理论基础。 1 9 8 2 年，m a r r 首次总结了人工智能、神经生理学、图像处理等领域已取得的一些成果， 提出了视觉理论框架 3 1 ，他认为，视觉系统的任务是对环境中三维物体进行识别、定位和 运动分析，他将视觉系统的研究分为三个层次：计算理论层次、表达与算法层次和硬件层 次，其视觉理论可分为几个阶段：从2 1 ) 图像到基元图( p r i m a ls k e t c h ) ，到2 5 d 图( 2 5 d s k e t c h ) ，最后是3 d 信息的完整表达。尽管人们对m a r t 计算视觉理论提出了多种质疑和批 2 第一章绪论 判，但其视觉理论仍然是计算机视觉的主流理论，在该理论框架的基础上，学者们提出和 完善了各种理论，使计算机视觉有了长远的发展。 近年来迅速发展的几何计算机视觉。将复杂的数学理论( 如射影几何等) 引入到计算 机视觉的研究中，形成了“多视图几何4 】，在这个理论基础上逐步发展起的分层重构理 论和方法，被认为是2 0 世纪9 0 年代以来计算机视觉发展中最大的成果。 作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多 维数据中获取信息的人工智能系统，其在视觉导航、三维游戏、虚拟现实、数字城市等诸 多领域具有广阔应用前景。计算机视觉的具体应用通常是某些复杂问题的大规模系统的组 成部分( 如工业制造中的视觉测量，医学图像的处理与重建等) ，有时其完成的任务本身就 是一个复杂的系统( 如三维重建、虚拟现实系统等) 。在计算机视觉领域，三维重建是一个 具有极高应用价值的技术，其主要通过二维投影图像恢复物体三维信息，即研究二维空间 中元素的对应关系以及二维与三维空间中元素间的对应关系，分析并确定空间物体位置关 系和相对大小，从而实现景物的三维重建。 1 2 2 国内外研究现状 基于图像序列三维重建的主要问题就是从同一场景不同角度拍摄得到的图像还原出场 景中点的三维位置。三维重建是一个系统的工作，受到很多因素影响，从前期图像预处理， 特征匹配，到摄像机标定，三维欧氏重建的实现和显示，每一步的失误都有可能造成重建 结果的不理想甚至重建失败( 完全看不出重建的物体或重建结果偏差很大) 。通过研究可知， 目前用于三维重建的主流方法都离不开摄像机标定，因此，摄像机标定是三维重建中非常 重要的工作。如果每幅图像的位姿( 即在世界坐标系中的位置和方向) 已知，就可以运用 三角测量的原理还原三维场景。因此，通常可以事先标定出投影矩阵，或通过图像本身信 息得到摄像机参数，在此基础上通过将图像的匹配点反变换到三维空间从而实现三维重建。 目前摄像机标定主要依靠两类方法：第一是基于模板的标定( c h a r t - b a s e dc a l i b r a t i o n - - c b c ) ，即选择一个尺寸已知的标定模板( 2 d 或3 d ) ，拍摄一系列包含该模板的图像，根 据模板特征与图像特征对应得到摄像机参数 7 - 9 1 。第二类方法被称为“从运动恢复结构” ( s m a e m r ef r o mm o t i o r r 唱f m ) ，即场景形状尺寸和相机参数都需要通过场景和图像特征 匹配估计【4 】【l o 】。在此之前假设摄像机内参已知或通过自标定方法得出，最后通过光束平差 ( b u n d l e a d j u s l m e n t - - b a ) 得到优化的欧氏重建，即场景信息和摄像机信息。 无论是c b c 方法或是s f m 方法，要实现标定以及重建，匹配特征的选择( s e l e c t i o no f f e a t u r ec o r r e s p o n d e n c c s - - s f c ) 都是至关重要的，特征提取和匹配可以是手动或者( 半) 自动实现，标定结果的准确实现往往依靠不断优化的特征匹配。因此，选择合适的图像特 征与匹配方法，以及标定结果与匹配结果的不断优化，是非常重要且紧密联系的。 本文大量参阅了国内外基于图像的三维重建研究，发现针对不同的应用有不同的方法， 每种方法的算法也有变化，在这里简要说明下国内外的研究概况。对于三维重建的研究， 国际上比较著名的有： f a u g e r a s 1 l l i l 2 1 提出了基础矩阵在射影重建中的应用，证明只要已知两幅图像间的基础 矩阵，就可以实现射影重建。因此，基础矩阵常被用在特征匹配和相机自标定当中。同时， 3 南京信息工程大学硕士学位论文 精确估计基础矩阵也显得尤为重要。在这一方面，h a r t l e y 【1 3 1 等做了许多工作，结合随机一 致性算法( r a n s a c ) 1 8 7 1 是一种更加稳健实用的估计方法。 另外，h a r t l e y l 4 1 在欧氏重建方面提出一种非线性迭代算法，对相机内参数不做限制， 但该方法需要赋给相机参数和三维空间点坐标一个适当的初值，否则无法收敛。 法国i n r i a 的b o u g n o u x 1 4 】等人开发的t o t a l c a l m 系统，需要半手工地完成图像的匹配， 摄像机标定以及三维重建，以获得较好的重建结果，不利于自动化实现 比利时k u l e u v e n 大学的p o l l e f e y s 1 s 等人开发的物体三维表面自动生成系统，允许 摄像机参数在拍摄过程发生变化，有效实现了可变参数的相机自标定。用户仅需用手提摄 像机围绕要重建的物体拍摄图像序列，通过图像点的密集匹配，即可自动地实现摄像机的 自标定和分层重建。该系统在欧洲的考古学、文物保护等领域得到了成功的应用。 英国剑桥大学计算机视觉研究组开发的p h o t o b u i l d e r i l 6 三维重建系统。该系统需要手 工指定空间中三组正交平行线在图像中的。灭点”来标定摄像机的内参数。其适用的范围 较窄，自动化程度不高。有学者提出用图像直线自动检测和编组的方法来提取平行线，提 高了重建的自动化程度。 近几年，y a s u t a k af u m k a w a 在三维重建方面的研究非常卓越，他的v “l s u a lh u l l 1 q 重建 方法，运行效率很高，但比较适用于小规模数据。在多角度立体视觉( m u l t i v i e ws i e 嗽广 m v s ) 的研究方面，他的p m v s 方法成功地从图像和已知的摄像机参数中还原出场景三维 信息，在m v s 的研究中被视为目前最成功的方法【闭。最近两年，他在m a n h a t t a n - w o r l d t l 9 】 的研究基础上提出缺少纹理、结构化场景的重建方法【2 0 】。 目前国内在计算机视觉、三维重建方面也有很多研究，大多数集中在理论和算法方面。 国内多所大学在三维重建方面都做了大量研究【2 1 调。中国科学院自动化研究所对计算机视 觉理论做了系统化介绍和应用研究，代表的有马颂德、胡占义、吴福朝等，最近，该研究 所提出了一种室内场景的三维重建系统口7 1 ，通过控制相机的运动实现室内场景的重建，取 得了较好的效果。浙江大学的刘培君等利用建筑物的几何结构做约束，并通过交互式操作 等实现场景建筑物的重建。西南交通大学虚拟现实与多媒体技术实验室利用未标定视频图 像进行三维重建，取得了一定成果i s 4 j 。 1 3 本文内容及结构安排 1 3 1 本文技术基础及主要内容 多角度立体视觉( m v s ) 在还原三维场景信息时表现出稳定良好的结果，并且操作简 单。据s e i t z 等【l3 1 的比较研究，目前的m v s 算法能够还原出物体9 5 的覆盖范围，在深度 信息测算时，仅用1 6 个低分辨率相机( 6 4 0 * 4 8 0 ) ，对直径1 0 c m 的物体深度检测精度达到 0 s m m 。若使用高分辨率相机( 1 2 m 像素) ，m v s 在基于图像建模方面将取得更好的几何 精度：例如，在同样的实验条件下，假设精确度随分辨率线性变化，1 2 m 像素相机 ( 4 0 0 0 3 0 0 0 ) 可达到1 1 2 0 0 的精确度( 即1 0 c m 宽的物体测深精度为0 0 8 r a m ) 。因此，随 着当前相机技术的发展，m v s 算法在基于图像的建模方面显现出更大的优势。本文着重研 究了前期图像处理、特征匹配和摄像机参数的计算与优化，对于三维重建的实现，主要应 4 第一章绪论 用了f u r u k a w a 的p m v s 方法，该方法充分利用图像一致性和全局的可视信息约束，从一 系列匹配特征点得到致密的面元，还原场景的三维信息。 m v s 算法虽具有较好的保真度，但对于摄像机标定提出了较高的要求。在摄像机标定 中，基于模板的标定是常用的方法，其在可控环境或桌面视觉系统中广泛使用。本文在研 究了经典的张正友基于棋盘格模板的标定方法后，用一种更易于检测的圆点模板做标定模 板，实现了自动化的、精度较高的标定结果。同时，s f m 方法仅依靠图像得到摄像机参数， 具有很高的灵活性，本文无标定物的摄像机参数还原的技术基础即利用了s f m 方法。但 s f m 方法本身的内参是假设已知的或者通过自标定方法得到，并完全依靠特征点的对应得 到最后结果，因此需要对标定结果进行优化，最常用的方法是结合光束平差( b a ) 得到全 局优化的重构结果。n o a h l 2 8 的s f m 方法将两者结合，得到较好的结果，同时，l o u r a k i s l 2 9 的光束平差方法是目前比较成熟稳定的b a 算法实现软件，在本文的实验阶段直接应用。 本文在得到摄像机参数和三维信息的基础上，采用一种自上向下的精确标定方法，即先利 用不精确的摄像机参数实现初步重建，再利用重建点信息和重投影误差对摄像机标定结果 进一步优化。 另外，考虑到脉冲噪声会影响特征检测的正确性，本文还对图像预处理部分的脉冲噪 声滤除做了一定研究，提出利用成熟的b p 神经网络方法检测图像脉冲噪声，并实现自适 应滤波。该内容作为三维重建图像预处理部分在文章详细叙述。 1 3 2 文章结构安排 第一章绪论 本章简述了计算机视觉和三维重建的研究发展现状，重点介绍了本文关键技术和理论 背景以及需要解决的问题，并给出了本文研究思路和内容以及总体结构框架。 第二章图像三维重建基础 首先，为了使本文的主要内容有充分的理论基础，给出了摄像机模型、射影几何等相 关概念。然后，对图像预处理部分的主要工作( 如图像亚采样、图像滤波、阈值处理等) 做了介绍，并研究了用b p 网络检测图像的脉冲噪声的方法，在精确检测的基础上利用窗 口大小自适应方法滤除图像脉冲噪声，得到了较理想的实验结果，且无需人工干扰，实现 了自动化去噪。 第三章特征元识别与匹配 介绍了常用的特征提取和匹配方法，比较了经典的h a r r i s 方法和多尺度方法，分析了 两种多尺度方法( s i f t 和s u i 溥) 的适用情况。为了方便后续基于特殊模板的标定方法的 介绍，提出一种椭圆点集特征定位和独特的描述方法，使特征集具有射影不变性。 第四章摄像机标定 本章首先分类简介了摄像机标定的方法，并在张正友二维平面模板的标定方法基础上， 介绍了一种基于圆点模板的简单标定方法，整个标定过程无需人工干涉，且标定结果准确。 另外，使用一种自上而下的标定优化方法，在现有方法( 如c b c ，s f m ) 进行初标定的基 础上，不直接使用光束平差进行全局优化，而是先用标定结果进行初始重建，通过重建点 的位置方向等信息不断优化匹配，从而实现摄像机的更精确标定和重建。 5 南京信息工程大学硕士学位论文 第五章图像序列的标定与重建结果 本章利用前几章讨论的图像匹配和摄像机精标定方法，结合s f m 技术，实现了对实际 拍摄图像序列的摄像机参数估计和较准确的三维信息还原，给出了标定结果和三维信息， 利用m e s h l a b 和m a t l a b 实现了可视化。 第六章结束语 总结了本文工作，并提出了存在的问题，以及对未来工作的展望。 6 第二章图像三维重建基础 第二章图像三维重建基础 2 1 基础知识与概念 2 1 1 绝对二次曲线( 面) 在摄像机自标定和三维重构中，有两个非常重要的概念：绝对二次曲线和绝对二次曲 面p 川。在欧氏坐标系下，空间中点的齐次坐标为x = ( k ，儿，乙，f ) r ，齐次项f = o 对应着 无穷远平面上的元素。同样，二维平面上的点对应的齐次坐标为m = g ，少，f 厂，t - - 0 对应 着无穷远直线上的元素。 绝对二次曲线q ( a b s o l u t ec o n i c ) 是无穷远平面上的一条虚二次曲线，令 x = ( k ，凡，乙，0 ) 7 是它上面的点，则满足： j + 允+ 蠢= 0 ：o x r x = 0 ( 2 1 1 ) lf = 0 这些点x 在摄像机矩阵为p = k ( r ，t ) ( 具体意义将在2 2 中给出) 的作用下成像为 m 兰k r x ( 这里的“兰”表示相差一个常数因子下的相等) ，则得到x 兰r r k m ，代 入上式可得： m r k r r r 7 k 一1 m = m r k r k 一1 m = 0( 2 1 2 ) 在上式中，用缈记矩阵k 刁k ，代表绝对二次曲线的像，用国表示缈的对偶( 指所 有与缈相切的直线簇组成的包络) 。 绝对二次曲面盯( a b s o l u t eq u a d r i c ) 是绝对二次曲线q 的对偶，为三维空间中退化的对 偶二次曲面。在代数上，q 在欧氏坐标系下可由秩为3 的4 * 4 矩阵表示： q = i ：l 泣 在射影空间中，若设p 为投影矩阵，则心和绝对二次曲线的像0 3 应满足： 睑p r k 】l 加矿r x 勒 泣， 上式非常重要，是许多自标定方法的基础。绝对二次曲线q 和绝对二次曲面q 都是欧氏 变换下的几何不变量。 2 1 - 2 对极几何与基础矩阵 立体视觉存在着对极几何关系。如图2 1 所示，o ，和o ：分别是两个相机的光心。设 三维空间中的点x 矿，m l 是其在第一幅图像上的点，m 2 是其在另一幅图像上的点。此时， m i ，m 2 是空间点x 矽分别在两个相机下的投影，称为点对应，记为m lhm 2 。 7 南京信息工程大学硕士学位论文 0 i t ，r ) 图2 1 两视图极几何关系 1 ) 极平面：通过光心o l 、0 2 和空间点x 矽的平面称为极平面。两个光心的连线称为基 线，可知所有极平面均交于基线。 2 ) 极线：同一极平面与相机像平面的交线l 。和l ，为对应外极线。显然，极平面上任意一 点x 矿在第一幅图像上的投影m l 必然位于极线i l 上，同理，m 2 必然位于1 2 上 3 ) 极点：基线与像平面的交点称为极点。两个相机像平面上的极点为e l 和e 2 。显然，e l 为第二个相机光心在第一个相机像平面上的投影，e ，为第一个相机光心在第二个相机 像平面上的投影。 通过以上概念可以得到关于对应点的约束，即己知空间点在一幅图像中的投影，对其 在另一幅图像中的搜索必然被限定在相应的极线上。表达成公式为：若i l l l l 1 1 ，则m 2 1 2 。 假设两个相机的内参分别为k 1 和k 2 ，相对位移和旋转为( t ，r ) m m 1 = o ，f = k 2 一r t 】。r k l 。1 ( 2 1 5 ) 其中，【t 】。为平移向量t 的反对陈矩阵。这里的3 x 3 矩阵f 称为基础矩阵，f 具有以 下重要性质： 令f 是两幅图像的基础矩阵，e 1 和e 2 是极点，m l 付m 2 是任一点对应，则： 1 ) 1 2 = f m l 是m l 对应的极线，l l = l z r m 2 是m 2 对应的极线：或等价地表示为 m ；f m l = 0 ； 2 ) 两极点分别满足方程：f e l = 0 ，f 1 e 2 = 0 ； 3 ) r a n k ( f ) = 2 ，基础矩阵有7 个自由度。 4 ) 对任一极线对应l l 付1 2 ，必有1 2 = f e l 】。l l ，i l = f 1 e 2 】。1 2 。 可以看出，基础矩阵f 表述了图像点与其极线的对应关系，包含了两幅图像间的几何 信息，因此精确地计算f 对于优化匹配、标定和三维重建初始化结构有重要意义。计算f 的 方法有很多，具体方法参见 3 1 1 。 2 、 ， 、 、 、 ， ， ， x ， ， 第二章图像三维重建基础 2 1 3 单应矩阵 设万为空间中不通过两摄像机光心的任意平面。令x w 是平面上的任一点，它在两个 摄像机下的图像分别为n 1 和i n ，空间平面万与两个像平面之间存在两个单应矩阵h ，和 h 2 使得m l 兰h l x 矿，m 2 兰h 2 x 矿，h 1 和h 2 实现了平面万到对应的像平面的之间的二 维射影变换。因此n l l 和i l l 2 之间也存在一个二维射影变换h = h 2 h 1 1 使得 m 2 兰h m l ( 2 1 6 ) 即平面在两图像间的单应矩阵，矩阵h 是可逆矩阵。利用单应矩阵，从一幅图像上的点 可以得到另一幅图像上的对应点，单应变换可看作二维射影变换。 假定第一个摄像机( 或第一幅图像) 的内参矩阵为k ，第二个摄像机的内参矩阵为k ， 第二个摄像机相对于第一个摄像机的方位( 或者说两幅图像间的相对方位) 为( rt ) 。若n 为平面石在第一个摄像机坐标系下的单位法向量，d 为摄像机坐标原点到平面的距离，则 平面万的单应矩阵还可以表示为【3 2 】： h = k ( r + 吉t n r ) k 。1 ( 2 7 ) 当d 0 0 时，( 2 1 8 ) 为无穷远平面刀乙关于两视点的单应矩阵。 h 。= k r k 一1 ( 2 1 8 ) 2 2 摄像机模型 摄像机标定是整个系统工作中不可分割的部分，所谓标定就是要利用各种方法较准确 地还原摄像机的参数，因此，首先需要对摄像机参数进行建模。图像的采集是将客观世界 中的三维场景投影到二维的成像平面上。通常研究的摄像机模型为小孔成像模型，又称中 心透视模型，成像方式是透视投影。 2 2 1 坐标系和符号定义 成像过程涉及到不同坐标系之间的变换，因此首先要介绍几个重要的坐标系，如图2 2 。 ( r ，t ) 图2 2 摄像机成像模型 实际应用中应该有一个基准坐标系来描述空间点和摄像机的位置，因此将世界坐标系 ( o 。一k 凡乙) 作为基准坐标系，用来描述环境中所有物体的位置，包括摄像机的位置。 9 南京信息工程大学硕士学位论文 设空间点o c 到平面万的距离为。空间点x 矽在平面万上的投影( 或像) m 是以点0 c 为 起点并经过x 矽的射线与平面的交点。平面万称为摄像机的像平面，o c 为摄像机中心( 或 称光心) ，为摄像机焦距，以摄像机中心o c 为坐标原点建立摄像机坐标系o c t 咒乙 图像物理坐标系o l 一砂中，以主点0 1 为像平面坐标系的坐标原点， ，) 表示以像素为 单位的图像像素坐标系的坐标，原点为o 。以o r 为端点且垂直于像平面的射线为光轴或 主轴，光轴与像平面的交点为摄像机的主点。 在空间点x c 在摄像机坐标系中的齐次坐标记为x c = ( t ，咒；乙，1 ) 7 ，它的像点m 在 图像坐标系中的齐次坐标记为m = o ，y ，1 ) 1 。 2 2 2 线性模型 1 ) 外部参数定义 世界坐标系与摄像机坐标系之间的关系可以用旋转矩阵和平移向量来描述。令空间点 在世界坐标系与摄像机坐标系下坐标分别为x 矽= ( ，儿，z 。，1 ) 7 和x c = ( ，虬，乙，1 ) 2 ， 则它们之间的关系为： x c = 口 一砬1 y 1 广 ( 2