（计算机软件与理论专业论文）基于图像的几何三维重建.pdf

嬲煳必f 原创性声明和关于论文使用授权的说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：缉日期：衄 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名如聋 导师签名： 日期： 1 盟 一 1 1 引言1 1 2 研究现状2 1 3 本文的主要工作5 1 4 论文的组织结构6 第2 章相关工作7 2 1 基于图像的三维重建的概念、组成7 2 2 基于图像的几何三维重建1 0 2 2 1 基于图像的几何三维重建的基本原理1 0 2 2 2 几何三维重建的一般步骤1 2 2 3 特征线段提取1 2 2 4 本章小结1 3 第3 章基于建筑物图像的三维重建系统1 5 3 1 系统简介1 5 3 2 特征点提取15 3 2 1 输入和输出1 6 3 2 2 用户交互1 6 3 2 3 细节描述1 6 3 3 多视图几何编辑1 7 3 3 1 输入和输出1 7 3 3 2 用户交互1 7 3 3 3 细节描述1 7 3 4 形状编辑1 8 3 4 1 输入和输出1 9 jf 山东大学硕士学位论文 3 4 2 用户交互1 9 3 4 3 细节描述1 9 3 5 纹理编辑2 l 3 5 1 输入和输出2 1 3 5 2 用户交互2 1 3 5 3 细节描述2 2 3 6 本章小结2 2 第4 章基于点云数据的足迹提取算法2 3 4 1 形状编辑阶段存在的问题2 3 4 2 基于霍夫变换的足迹提取算法2 4 4 2 1 基于霍夫变换的足迹提取算法2 4 4 2 2 白适应参数2 6 4 3 用户界面设计2 7 4 4 实验分析2 8 4 5 本章小结3 2 第5 章总结与展望3 3 5 1 本文主要工作总结3 3 5 2 未来工作展望3 4 参考文献3 5 致谢3 9 攻读学位期间参与的科研项目4 0 ， 山东大学硕士学位论文 t a b l eo fc o n t e nt s a b s t r a c ti nc h i n e s e i a b s t r a c ti ne n g l i s h i c h a p t e r1i n t r o d u c t i o n 1 1 1r e s e a r c hb a c k g r o u n d 1 1 2r e s e a r c ho v e r v i e w 2 1 3m a i nc o n t r i b u t i o n s 5 1 4o u t l i n e so f t h et h e s i s 6 c h p a t e r2r e l a t e dw o r k s 7 2 1c o n c e p ta n dc o m p o s i t i o no ft h r e e - d i m e n s i o n a li m a g e - b a s e dr e c o n s t r u c t i o n 7 2 23 dr e c o n s t r u c t i o no f g e o m e t r yf r o mi m a g e 1 0 2 2 1b a s i cp r i n c i p l e so f i m a g e - b a s e d3 dr e c o n s t r u c t i o n 1 0 2 2 2g e n e r e ls t e p so f3 dg e o m e t r yr e c o n s t r u c t i o n 1 2 2 3l i n es e g m e n td e t e c t i o n 。1 3 2 4s u m m a r y 1 4 c h p a t e r3 dr e c o n s t r u c t i o na n dm o d e l i n gb u i l d i n gf r o mp h o t o g r a p h s 1 5 3 1s y s t e mo v e r v i e w 1 5 3 2f e a t u r ep o i n te x t r a c t i o n 1 5 3 2 1i n p u ta n do u t p u t 1 6 3 2 2u s e ri n t e r a c t i o n s 1 6 3 2 3d e t a i l e dd e s c r i p t i o n 1 6 3 3m u l t i v i e wg e o m e t r yb u i l d e r 1 7 3 3 1i n p u ta n do u t p u t 1 7 3 3 2u s e ri n t e r a c t i o n s 1 7 3 3 3d e t a i l e dd e s c r i p t i o n 1 7 3 4s h a p ee d i t o r 1 8 3 4 1i n p u ta n do u t p u t 1 9 3 4 2u s e ri n t e r a c t i o n s ，1 9 - ，一lr 飞|止l 山东大学硕士学位论文 3 4 3d e t a i l e dd e s c r i p t i o n 1 9 3 5t e x t u r ee d i t o r 2 1 3 5 1i n p u ta n do u t p u t 2 1 3 5 2u s e ri n t e r a c t i o n s 2 1 3 5 3d e t a i l e dd e s c r i p t i o n 2 2 3 6s u m m a r y 2 2 c h a p t e r43 dr e c o n s t r u c t i o no fg e o m e t r yf r o mi m a g e 。2 3 4 1i s s u e se x i s t e di ns h a p e re d i t o r 2 3 4 2f o o t p r i n te x t r a c t i o na l g o r i t h mb a s e do nh o u g ht r a n s f o r m 2 4 4 2 1f o o t p r i n te x t r a c t i o na l g o r i t h mb a s e do nh o u g ht r a n s f o r m 2 4 4 2 2a d a p t i v ep a r e m e t e r 2 6 4 3u s e ri n t e r f a c e 2 7 4 4e x p e r i m e n tr e s u l t s 2 8 4 5s u m m a r y 3 2 c h a p t e r5c o n c l u s i o na n df u t u r ew o r k 3 3 5 1c o n c l u s i o n 3 3 5 2f u t u r ew o r k 3 4 r e f e r e n c e 3 5 a c k n o w l e d g e m e n t 3 9 t h ep r o j e c t sp a r t i c i p a t e df o rt h em a s t e r sd e g r e e 4 0 j，_一 y，-l 9 ， 摘要 三维模型获取是计算机视觉和计算机图形学领域的一个基本研究问题。在实 际生活当中，3 d 模型的重建广泛应用于对象识别，工业自动设计，视频游戏，动画制 作，建筑物原貌恢复等方面，同时要求重构有较高的效率以实现实时计算。然而， 利用建模软件( 比如m a y a 和3 dm a x 等) 手工构建三维模型是十分繁琐和代价 昂贵的工作。因此，研究如何从现实世界直接和快速地获取三维模型，成为该领 域的研究热点。 基于现实物体的三维模型获取方法主要分为主动方法和被动方法。其中，主 动方法以使用三维扫描仪的方法为代表。被动方法是基于二维图像的三维重建方 法。基于图像的三维建模方法具备低成本，灵活和直接获取彩色纹理等特点，能 够快速，逼真的重建出场景的三维模型。 基于图像的三维重建是一个有意义的工作，目前有全自动的三维重建，但是 重建效果不理想。我们认为可以加上用户的交互，添加形状编辑部分，增加系统 的灵活性，但是过多的人机交互又会增加用户的负担。因此，本文的工作主要就 是针对添加了手动交互操作的建筑物的三维重建系统，设计相应的算法，减少用 户的工作量。 本文的主要工作包括： 1 介绍了一种新的基于图像的建筑物的三维重建方案，可以让普通用户， 利用普通的相机拍摄一组建筑物的图片来得到带有纹理的建筑物的三维模型。 2 提出了更人性化的交互设计，系统前两个阶段得到的三维点云数据，相 对于三维扫描仪获取的精确点云，是不均匀，稀疏的，且包含一些误差，对三维 模型的重建造成一定困难。由于大部分的基于计算机自动的重建方法效果不是很 好，我们在重建过程中适当的增加人为交互的方法。通过人工辅助，一方面可以 使算法更加简单，另一方面，也可以使重建的效果更好。 3 提出了基于点云数据的建筑物的足迹提取，由于点云数据的稀疏性和不 精确性，首先对对象进行分类，针对分类的对象，设计相应的算法。即在用户画 足迹之前，在鼠标移动过程中，系统显示相应的点在图像中的位置，帮助用户理 解点云数据；用户输入第一条建筑物的足迹线段后，利用霍夫变化和最小二乘拟 一一【飞 ，i 山东大学硕士学位论文 合等方法推测出其它的足迹线段；并且给出了一套自适应的参数；然后用户对系 统给出的足迹进行选择。 关键字：基于图像的重建；三维模型；点云数据；建筑物足迹 i l ijld 、 山东大学硕士学位论文 a b s t r a c t t h l - e e d i m e n s i o n a lr e c o n s t r u c t i o ni sab a s i cr e s e a r c hq u e s t i o no fc o m p u t e r g r a p h i c sa n dc o m p u t e rv i s i o n i nr e a ll i f e ，3 dm o d e lr e c o n s t r u c t i o ni sw i d e l yu s e di n o b j e c tr e c o g n i t i o n ，i n d u s t r i a la u t o m a t i cd e s i g n ，v i d e og a m e s ，a n i m a t i o n ，r e s t o r et h e o r i g i n a la p p e a r a n c eo fb u i l d i n g sa n ds oo n ，w h i l eah i g h e rr e c o n s t r u c t i o ne f f i c i e n c y r e q u i r e dt oa c h i e v er e a l - t i m ec a l c d a t i o n h o w e v e r , u s i n gs o f t w a r e ( s u c ha s3 dm a x a n dm a y a , e r e ) c o n s t r u c tt h r e e - d i m e n s i o n a lm o d e lb yh a n di sav e r yt e d i o u sa n d c o s t l yw o r k t h e r e f o r e ，s t u d y i n gh o wo b t a i nt h r e e - d i m e n s i o n a lm o d e ld i r e c t l ya n d q u i c k l yf r o mt h er e a lw o r l d ，b e c o m ea h o ti s s u ei nt h ef i e l d r e a l i s t i ct h r e e d i m e n s i o n a lr e c o n s t r u c t i o ni sd i v i d e di n t oa c t i v ea n dp a s s i v e m e t h o d s a c t i v em e t h o di sr e p r e s e n t e db yt h r e e - d i m e n s i o n a ls c a n n e rm e t h o d p a s s i v e m e t h o di st h a tt w o d i m e n s i o n a l i m a g e - b a s e dt h r e e d i m e n s i o n a l r e c o n s t r u c t i o n i m a g e - b a s e d3 dm o d e l i n gm e t h o dw h i c hh a sl o wc o s t , f l e x i b l ea n dd i r e c t l yg e tt h e c o l o rt e x t u r e ，c a nr e c o n s t r u c tt h r e e - d i m e n s i o n a lm o d e lf a s ta n dr e a l i s t i c i m a g e b a s e dt h r e e - d i m e n s i o n a lr e c o n s t r u c t i o ni sas i g n i f i c a n tw o r k ，t h e r ea r e a u t o m a t i ct h r e e d i m e n s i o n a lr e c o n s t r u c t i o n ，b u tr e c o n s t r u c t i o nr e s u l t i sn o t s a t i s f a c t o r y w et h i n kt h a tt h eu s e rc a ni n t e r a c t 、析t hs y s t e m , a d ds o m es h a p ee d i t i n g a n di n c r e a s ef l e x i b i l i t yo ft h es y s t e m ，b u tt o om a n yh u m a n - c o m p u t e ri n t e r a c t i o nw i l l i n c r e a s eb u r d e nt ot h ee n du s e r t h e r e f o r e ，t h i sw o r ki sm a i n l yd e v o t e dt om a n u a l l y a d dt h ei n t e r a c t i o no ft h r e e d i m e n s i o n a lr e c o n s t r u c t i o no ft h eb u i l d i n gs y s t e m s ， d e s i g nt h ec o r r e s p o n d i n ga l g o r i t h mt or e d u c ee n du s e rw o r k l o a d t h em a i nc o n t r i b u t i o n sa r et h ef o l l o w i n g 1 p r e s e n tab u i l d i n gr e c o n s t r u c t i o na n dm o d e l i n gs y s t e mw h i c ha l l o w sn o v i c e u s e r st oc r e a t et e x t u r e dp o l y g o n a lm o d e l sf r o mas e to fp h o t o g r a p h so fab u i l d i n g 2 a tp r e s e n t ，t h ee x t r a c t e di n f o r m a t i o nc o n t a i n st o om a n yi n c o n s i s t e n c i e s ， m i s s i n gf e a t u r e s ，a n du n w a n t e dn o i s et ob ec o m p l e t e l yr e l i a b l e t h e r e f o r e ，w ea i m a tc r e a t i n gas e m i a u t o m a t i cs o l u t i o nw h i c hh e l p sr e d u c es t e p si nf o o t p r i n td r a w i n g p r o c e s sa n di n c r e a s et h ea c c u r a c yo ft h er e s u l t i i i p r 吣 山东大学硕士学位论文 3 e x a c t i n gb u i l d i n gf o o t p r i n tf r o mp o i n tc l o u d w eh a v ed e s i g n e da na l g o r i t h m t op r e d i c tt h ec o n t i n u a t i o no fau s e r - t r a c e dl i n es e g m e n t ，a n dp r o v i d e dv i s u a lc u et o a s s i s tt h ed r a w i n gp r o c e s s a st h eu s e rm o v e st h em o u s e ，t h es y s t e md i s p l a y s c o r r e s p o n d i n gp o i n t si nt h ei m a g et oh e l pt h eu s e rd r a wt h ef i r s tl i n es e g m e n t o n c e t h ef i r s tl i n es e g m e n ti sd r a w n ，t h es y s t e m , g i v e nas e to fa d a p t i v ep a r a m e t e r s ，u s e s h o u g ht r a n s f o r ma n dl e a s t s q u a r ef i t t i n gm e t h o d st oa u t o m a t i c a l l yd e d u c es u b s e q u e n t l i n es e g m e n t s u s e rc a r lt h e no p tt oc o n f i r mo rr e je c tt h ed e d u c e dl i n es e g m e n t s k e y w o r d s ：i m a g e b a s e d3 dr e c o n s t r u c t i o n ；3 dm o d e l ；p o i n tc l o u d ；b u i l d i n g f o o t p r i n t i v 、1碍 r ， 山东大学硕士学位论文 1 1 引言 第1 章绪论 三维模型获取是计算机图形学和计算机视觉领域的一个基本研究问题。然 而，利用建模软件( 比如3 dm a x 和m a y a 等) 手工进行三维模型构建是一项十 分繁琐和代价昂贵的工作。因此，研究如何从现实世界直接和快速地获取三维模 型，成为该领域的热点研究问题。目前，现实物体的三维结构获取作为一种数字 存储和记录技术，在物体建模、场景建模、真实感绘制、机器人导航、目标识别 和三维测量等科学和工程领域以及考古学、广告、娱乐等其他文化领域有广泛的 应用需求。 目前，基于真实对象的三维模型获取方法主要分为主动方法和被动方法。其 中，主动方法以使用三维扫描仪的方法为代表。被动方法则指基于图像的三维重 建方法。事实上，这些主动方法虽然是精确获取物体三维模型的主流方法【1 】【2 1 ， 然而，也具有若干弱点： 一代价昂贵：一般三维扫描仪价格为几十万元或者更高。 二使用方法有侵略性：无法应用于部分对象( 比如文物、人脸、毛发等) 。 三使用范围受限：不同的三维扫描仪具有不同的测量范围限制。 四通用性差：就现有技术水平而言，还没有通用性很强的三维信息获取方 法。 五分辨率模式单一：大部分三维扫描仪的分辨率模式都是单一的，即不同 型号的三维扫描仪分辨率不同。 六数据采集不完善：很多三维扫描仪不具备彩色数据的采集功能，使最终 的三维数据缺乏纹理信息。 因此，基于图像的三维重建方法具备低成本，灵活，直接获取彩色纹理等特 点，能够快速，逼真的重建出场景的三维模型。 基于二维图像的三维建模方法主要分为基于标定图像和基于未标定图像两 种方法。其中基于标定图像的方法需要在目标场景中预先放入几何结构己知且测 量精确的标定物，具有时间和空间的限制性。基于未定标图像的三维重建方法克 n-，k 山东大学硕士学位论文 服了基于标定图像方法的限制，仅依赖图像间的特征匹配，恢复不同视图的几何 约束关系，具备良好的应用前景。 1 2 研究现状 客观世界在空间上是三维的，而现有的图像采集装置所获取的图像是二维 的。尽管图像中含有某些形式的三维空间信息，但要真正在计算机中使用这些信 息进行进一步的应用处理，就必须采用三维重建技术从二维图像中合理地提取并 表达这些三维信息。三维重建技术能够从二维图像出发构造具有真实感的三维图 形，为进一步的场景变化和组合运算奠定基础，从而促进图像和三维图形技术在 航天、造船、司法、考古、工业测量、电子商务【3 】等领域的广泛深入的应用。 三维信息获取的技术手段多种多样，通常，人们获取物体三维模型的方式有 三种：第一种方式利用建模软件构造三维模型；第二种方式通过仪器设备获取三 维模型；第三种方式利用图像或者视频来重建场景的三维模型。 目前，在市场上可以看到许多优秀建模软件，比较知名的有3 d m a x 、m a y a 以及a u t o c a d 等等。它们的共同特点是利用一些基本的几何元素，如立方体、 球等，通过一系列几何操作，如平移、旋转、拉伸以及布尔运算等来构建复杂的 几何场景。用这种方法建模的优点是可以精确地构建许多人造物体的三维模型， 特别是建筑物、家具等；可以生成一些奇异的渲染效果，这一点被广泛地运用于 影视作品和广告特效中；此外，也可以让人们更好地控制光照和纹理。其缺点在 于，首先人们必须充分掌握场景数据，如场景中物体的大小比例，相对位置等等， 缺乏这些信息就难以建模；第二，这些软件的操作都十分复杂，以3 d m a x 为例， 其中包括百余个基本操作以及数倍于此的扩充功能，如各种插件。这些操作分散 在许多菜单、工具条中，同时还要求用户填写大量的参数。这也令这种方法的自 动化程度低：第三，由于操作复杂，使得建模周期长，同时需要熟练的操作人员， 因而提高了制作成本；最后，对于许多不规则的自然物体或者人造物体，用建模 软件构造的模型往往真实感不高。 第二种方法是利用某些具有测距功能的设备来获取物体的三维信息，如各种 深度扫描仪( r a n g es c a n n e r ) 1 4 【5 1 。这些设备利用激光、超声波或者红外线测距，能 够获得比较精确的三维数据，适用于有一定精度要求的建模应用中，如复杂机械 2 j_1一 备 山东大学硕士学位论文 鲁量鼍曼曼曼曼曼曼曼曼曼曼曼暑曼曼曼曼曼! ! ! ! ! ! ! ! ! ! ! ! 曼! 詈曼曼曼曼曼曼曼曼曼吕曼舅曼笪曼笪曼曼曼曼曼曼曼曼曼皇曼曼量量曼曼曼曼曼曼曼曼鼍皇 零件建模。除了精度高的优点外，另一个优点是使用比较简单方便，并且建模所 需时间很少。然而这样的设备都比较昂贵，携带不便，对于一些无法搬动的物体 或者室外较大的物体就无法适用了。 第三种建模方法【8 】是根据图像或者视频建模。通过对场景实拍一系列图像， 可以恢复出具有相片级真实感的场景或者物体模型，同时建模过程自动化随着技 术的进步也在不断提高，使得人工劳动强度越来越轻，降低了建模成本。基于图 像建模所需的设备也非常简单，只需要一部数码相机，或者一个普通摄像头。因 此，在需要真实感建模的场合，基于图像的建模无疑具有很高的实用价值。根据 视频实时生成模型是另外一个诱人的应用，但就目前的技术手段以及硬件水平来 看难道比较大。通常的做法是使用参数化模型【6 】 7 1 ，通过实时跟踪特征点改变参 数模型。这方面的技术已经应用在虚拟视频会议中。 图像是二维数据，但是在关于某一场景或物体的一幅或者多幅图像中可以找 到许多线索，从中人们能够推知图像所记录的场景或物体的几何信息。这些线索 包括物体边与边之间的几何关系、两幅图像的视差关系、两幅图像中特征点的对 应关系以及物体轮廓信息等等。这些线索是场景中物体所具有的，称为“被动线 索” 8 1 。有时候根据需要还可以创造线索，如在物体表面上用光线打上条纹或者 制造出阴影。这样的人造线索称为“主动线索”【9 】。 对于使用主动线索的方法而言，又可以分为以下两类。 第一类利用场景中已知形状的物体或者某些简单几何元素之间的关系进行 建模。其中某些方法利用了场景中的一些结构信息，例如物体边与边的平行或垂 直关系，这样的方法只用一幅图像就可以构造出物体模型。文献【l o 】提出了一种 利用场景中的已知形状，如立方体，棱锥等等，通过参数化几何模型来建模的方 法，严格地说，这是一种基于图像和基于几何的混合方法。首先手工指定物体的 部分边缘，根据这些边的投影关系列出一系列方程，方程中包括相机内外参数和 物体几何参数，进而通过最d x - - 乘法求出这些参数。这些参数求出来，物体模型 就确定了。然而，真实拍摄的图像中不一定能找到所需的简单几何体，而且，对 不同的几何体有不同的参数模型，无法用统一的式子进行优化。文献【l l 】提出了 一种用单幅图片建模的方法，这种方法有些象p h o t o s h o p 这样的图像处理软件， 它需要用户手工绘制出场景的深度图。尽管提出了许多辅助方法帮助用户绘制深 山东大学硕士学位论文 度，然而对于一般用户而言这一步仍然是比较繁琐的。此外，这种建模方法使用 了一些简单几何体来简化建模过程，这有些类似于文献【1 2 】的方法。用单幅图像 建模有一个突出的好处，要么无需相机标定，要么标定时可以避免用立体像对标 定时可能出现的关键运动序列问题。这对于以建筑物为主的场景而言是非常有用 的。文献 1 2 】中提出的方法可以用一张或两张图片恢复出建筑物模型，其中用到 了建筑物中常见的几何结构作为约束，例如平行和正交性。 第二类使用物体的轮廓信息【1 1 】【1 4 】。物体在图像上的轮廓是理解物体几何形 状的一个重要线索。假设从不同的角度拍摄一个三维物体得到一系列图像，每张 图像中都可以抽取出物体的轮廓，从投影中心发出经过轮廓点的射线构成了一个 锥壳，锥壳和锥壳内的部分占有空间中一块体积。不同角度拍摄的图像各自具有 这样的锥体。所有这些锥体的交集称为物体的视觉包络( v i s u a lh u l l ) 。对于凸物 体而言，这种方法简单可靠。但是实际生活中大部分物体要么有起伏，要么有孔 洞，对于这样的非凸物体使用基于轮廓的方法重建会丢失凹进部分的细节。文献 【1 5 提出一种方法找出非凸物体中哪一部分与几何外形有关。为此文中把视觉包 络分成两部分：外包络( e x t e r n a lh u l l ) ，即所看到的物体外形的凸包与视点所成的 锥；内包络( i n t e m a l h u l l ) 臣i j 物体外缘与视点所成的锥。接下来作者分析给出了计 算内外包络的算法以及复杂度。文献 1 6 】用代数曲面根据物体的轮廓线来恢复三 维表面。这是一个线性方法，利用了三维点和切平面之间的对偶性质，并且用代 数曲面来表示三维表面，其中代数曲面是隐式的二次或更高次多项式。利用物体 轮廓建模一般需要较多的图像。 被动法是在自然光条件下获得三维信息的方法，其中包括：阴影恢复形状法、 纹理恢复形状法、手动交互操作法等；基于多幅图像的三维重建方法包括：立体 视觉法、运动图像序列法、光度立体学方法等。 对于以上所述可以用图1 1 来表示： 4 ， 山东大学硕士学位论文 1 3 本文的主要工作 图1 - 1 三维建模技术 本文的主要工作包括： 1 介绍了一种新的基于图像的建筑物的三维重建方案，可以让普通用户， 利用普通的相机拍摄一组建筑物的图片来得到带有纹理的建筑物的三维模型。 2 提出了更人性化的交互设计，系统前两个阶段得到的的三维点云数据， 相对于三维扫描仪获取的精确点云，是不均匀，稀疏的，且包含一些误差，对三 维模型的重建造成一定困难。由于大部分的基于计算机自动的重建方法效果不是 很好，我们在重建过程中适当的增加人为交互的方法。通过与用户进行交互，一 方面可以使算法更加简单，另一方面，也可以使重建的效果更好。 3 提出了基于点云数据的建筑物的足迹提取，由于点云数据的稀疏性和不 精确性，首先对对象进行分类，针对分类的对象，设计相应的算法。即在用户画 足迹之前，在鼠标移动过程中，系统显示相应的点在图像中的位置，帮助用户理 解点云数据；用户输入第一条建筑物的足迹线段后，利用霍夫变化和最小二乘拟 合等方法推测出其它的足迹线段；并且给出了一套自适应的参数；然后用户对系 统给出的足迹进行选择。 山东大学硕士学位论文 1 4 论文的组织结构 第一章是本文的绪论部分，重点描述了本文的研究背景及相关研究现状，总 结和概括了本文的研究内容及贡献，并介绍了本文的组织结构。 第二章介绍相关的背景知识，包括基于图像的建模技术、几何建模和特征线 段提取。 第三章给出了基于图像的建筑物的三维重建系统的整体设计，首先介绍特征 点提取，其实是多视图几何编辑和形状编辑，最后是纹理编辑。 第四章是本文的核心部分，主要介绍了基于点云的几何三维重建过程，人机 交互设计，以及为了增加系统的友好性和实用性，所做的改进。由于点云数据的 稀疏性和不精确性，首先对对象进行分类，针对分类的对象，设计相应的算法。 即在用户画足迹之前，在鼠标移动过程中，系统显示相应的点在图像中的位置， 帮助用户理解点云数据；用户输入第一条建筑物的足迹线段后，利用霍夫变化和 最4 , - - 乘拟合等方法推测出其它的足迹线段；并且给出了一套自适应的参数；然 后用户对系统给出的足迹进行选择；最后是实验分析和结果。 第五章对本文的研究工作进行了总结和归纳，并给出未来工作的展望。 0 山东大学硕士学位论文 第2 章相关工作 2 1 基于图像的三维重建的概念、组成 基于图像的三维重建的目标是从序列图像中获取三维几何模型。三维重建的 处理过程分为以下几个步骤： 1 ) 原始数据获取，通常使用手持相机或者摄像机围绕静态场景拍摄一系列 图像， 2 ) 视频序列的预处理( 包括帧选取、除噪声、光照处理等) ， 3 ) 从视频序列中获取场景的三维模型， 4 ) 最后，绘制三维模型或导出特殊格式的三维模型。 一般的，三维重建强调的是步骤3 的工作，三维重建的四个主要部分及其流 程，如图3 1 所示。 母t-一匿d粼lonh&翟motionm。tchlngh 匿卜e 旧 谠阮卜卅卜科：= 羔卜- 叫粕榭叼“一i 髭： - ji 韩嘲嗍i i 一 一jl_ j 吲 图3 1 三维重建流程图 1 ) 特征提取与匹配( f e a t u r ed e t e c t i o na n dm a t c h i n g ) ：在不同的图像中寻找 相同的特征然后进行匹配。 2 ) 结构和运动恢复( s t r u c t u r ea n dm o t i o nr e c o v e r y ) ：恢复提取的特征的三 维坐标以及摄像机的方向、位置和内外部参数信息。 3 ) 立体匹配( s t e r e om a p p i n g ) ：结合恢复的结构信息，构建稠密匹配图。 4 ) 建模( m o d e l i n g ) ：构建场景的格网模型并进行纹理映射。 这是最一般的三维重建过程，其他不同的三维重建处理过程可以很容易的映 射到该过程。比如p o l l e f e y s 的三维重建框架【2 0 】，如图3 2 所示，可进行如下映 射：( a ) 和( b ) 映射为数据输入，( c ) 和( d ) 映射为步骤1 ，( e ) 和( f ) 映射为步骤2 ，( g ) 映射为步骤3 ，( h ) 映射为步骤4 ，( e ) 映射为输出 7 山东大学硕士学位论文 图3 2 三维重建过程的映射 1 特征提取与匹配 该阶段在不同图像间进行特征提取和匹配，创建不同图像间的关联，为下一 阶段的结构和运动恢复做准备。目前，在结构恢复阶段使用的特征一般是点( 比 如 1 7 ，1 8 】) 和线( 比如 1 9 】) ，在特征提取与匹配中有两个重要的概念：提取器 和描述器。特征提取器在不同图像中提取特征并获取特征的位置信息，或者缩放 信息。好的提取器具备可重复性和可靠性的特点。可重复性意味着不同的图像中 可以提取出相同的特征，可靠性是指提取的特征点或线具备足够的特征使得其匹 配候选集最小。在特征点或线中搜索匹配对时需要描述器以特征向量的形式提供 特征的信息描述。描述器应是旋转、缩放和仿射变换的不变量，使得相同的特征 在不同的图像中具备相同的值。图3 3 显示了提取器和描述器在特征提取和匹配 中的作用。 毋 山东大学硕士学位论文 1 0 1 a m a a a j 熙确躲翟卜 i 卜i 唾l 缸懒n 卜- lo ：0 卜_ - 瓿，油礴 麟翟赐缓 毖戳浏 l 塑塑堕j。1 丝丝i i ! 竺竺ill 磁则 图3 3 提取器和描述器在特征提取和匹配中的作用 2 结构与运动恢复 三维结构和运动信息恢复的理论基础是几何分层概念学说和多视点几何学。 结构恢复是指二维图像场景的三维坐标的构建，运动恢复指的是拍摄图像的摄像 机的位置、方向和内部参数信息的获取。二维场景的三维结构信息通过特征点的 三维坐标的恢复而构建。从参与三维重建的视图中提取的特征点进行匹配后，各 视图之间将建立几何约束，从这些几何约束，可以恢复表示摄像机运动信息的摄 像机矩阵，最终，通过三角化技术，获取特征点的三维坐标，从而获得最终的场 景度量结构。该过程如图3 - 4 所示。 图3 4 结构与运动恢复过程 3 校正与立体映射 上一阶段获得的结构是离散的，不足以进行可视化，要构建三维模型还需要 建立稠密深度图( d e n s ed e p t hm a p ) 。这项任务可分为两项子任务：校正 ( r e c t i f i c a t i o n ) 和稠密立体匹配( d e n s es t e r e om a p p i n g ) 。校正是指