（控制科学与工程专业论文）基于图像的建模技术研究.pdf

国防科学技术大学研究生院学位论文 捅要 基于图像的建模和绘制技术( i b m r ) 是当前计算机图形学界一个极其活跃的研究领 域，它直接使用图像重建三维场景，克服了传统的基于图形绘制技术的不足。但是研究一 种鲁棒性好、精确度高、性能稳定和适用性强的基于图像的建模方法依然面临巨大挑战， 并且具有重要的理论意义和实用价值。 本文对i b m r 技术进行了深入的研究，主要完成的工作有： 1 直线提取和匹配技术：直线是图像分析中一个非常重要的中层描述符号，在计算 机视觉领域有着广泛的应用。现有的直线提取和匹配算法虽然已经有很多，但是大部分都 比较耗时，不能满足实时性的要求。本文针对机器人遥操作等实时性较强的应用，提出了 一种基于直线支持区域的稳健、快速的直线提取和匹配算法。实验结果表明了该算法的有 效性。 2 规则物体建模技术：本文通过两幅图像中的匹配直线和基于物方的几何约束条件， 实现了规则物体的快速建模算法，提高了建模精度，减少了人工交互，一定程度上实现了 规则物体的自动建模。 3 求解可见外壳技术：本文深入研究了v i s u a lh u l l 算法的基本原理，用轮廓跟踪算 法代替八叉树算法，改进并实现了一种用多幅图像构造可见外壳的方法，该方法可以非常 灵活地获取场景中三维物体的几何模型；对于背景比较单一的图像建模，本算法与其他建 模算法相比具有较大优势。本文针对不同复杂度物体的图像进行了测试，实验结果表明， 利用该方法生成的模型准确、真实，能够满足虚拟现实的应用的要求。 4 基于三维点云的三角剖分技术：本文针对可见外壳算法得到的三维物体的点云模 型，改进并实现了一种直接对三维点云进行三角剖分的算法，本文用立方栅格对三维点云 进行划分，有效降低了搜索区域，提高了搜索效率，并能得到空洞较少的高质量三角网格。 实验证明该算法适应性广，具有准确、高效的特点。 基于以上的研究成果，本文实现了一个简单的基于匹配直线的建模系统( s t e r e o v i s i o n ) 和一个完整的可见外壳建模系统( v h ) ，为进一步的课题研究提供了可靠的实验 平台。 关键词：摄像机投影矩阵，直线提取，特征匹配，可见外壳，三角剖分 第1 页 国防科学技术大学研究生院学位论文 a b s t r a c t n o w a d a y s ，i m a g eb a s e dm o d e l i n ga n dr e n d e r i n g ( i b m r ) i saq u i t ea c t i v er e s e a r c h d i r e c t i o ni nc o m p u t e rg r a p h i c sf i e l d ，w h i c hc a nr e c o n s t r u c tt h e3 ds c e n ed i r e c t l yu s i n gi m a g e s a n dc o n q u e rt h es h o r t a g eo ft r a d i t i o n a lg e o m e t r y - b a s e dg r a p h i c s t h e r ei sa g r e a tc h a l l e n g et o w o r ko u tar o b u s t ，p r e c i s e ，s t a b l e ，a n d a p p l i c a b l ei m a g eb a s e dm o d e l i n ga n dr e n d e r i n g a l g o r i t h m ，w h i c hi sb o t ht h e o r e t i c a l l ya n dp r a c t i c a l l yv a l u a b l e i nt h et h e s i s ，w es t u d ya ti b m r t e c h n i q u e t h em a i nw o r kc a nb es u m m a r i z e da sf o l l o w s ： 1 l i n e se x t r a c t i n ga n dm a t c h i n gt e c h n i q u e ：s t r a i g h tl i n e ，w h i c hi s w i d e l yu s e di n c o m p u t e rv i s i o n ，i sv e r yi m p o r t a n tm i d d l e - l e v e ls y m b o li ni m a g ea n a l y s i s t h e r ea r em a n y a p p r o a c h e st oe x t r a c t i n ga n dm a t c h i n gs t r a i g h tl i n e s ，b u tt h e ya r ea l lt i m e c o n s u m i n g ，w h i c h l i m i tt h e i ru s e si nt h er e a l - t i m es y s t e m a i m e da tt h er e a l t i m e a p p l i c a t i o n ，s u c ha sr o b o t t e l e o p e r a t i o ns y s t e m ，am e t h o df o rr o b u s ta n df a s te x t r a c t i n ga n dm a t c h i n gl i n es e g m e n t sb a s e d o ns u p p o r tr e g i o no fl i n e si sp r o p o s e di nt h ep a p e r , t h ev a l i d i t yo ft h i sa p p r o a c hi si n d i c a t e d b y e x p e r i m e n t a lr e s u l t s 2 t h er e g u l a ro b je c t sm o d e l i n gt e c h n i q u e ：t h ep a p e re n h a n c e st h ep r e c i s i o no f m o d e l i n g ，r e d u c e st h em a n u a lw o r ka n dr e a l i z e st h ef a s tm o d e l i n ga l g o r i t h mf o rt h er e g u l a r o b j e c t su s i n gt h ee x t r a c t i n gl i n e so ft w oi m a g e sa n dt h eg e o m e t r i cl i m i t e dc o n d i t i o nb a s e do n o b j e c t s t h ea l g o r i t h mr e a l i z e st h ea u t o m a t i z a t i o no fm o d e l i n gi nac e r t a i ne x t e n t 3 e v a l u a t i n gt h ev i s u a lh u l lt e c h n i q u e ：t h ep a p e rm a d e sd e e ps t u d yo nt h ep r i n c i p l eo f v i s u a lh u l la n dan e w a p p r o a c h ，t h a ti sm u l t i p l ei m a g e sa r eu s e dt og e n e r a t ev i s u a lh u l lm o d e l s ， i sp r o p o s e di nt h ep a p e r r e a l i s t i cm o d e l so f3 ds c e n e sc a nb en e a t l yo b t a i n e d 、 ，i t ho u rm e t h o d c o m p a r e dw i t ho t h e ra p p r o a c h e s ，t h em e t h o di sp r o v i d e dw i t hl a r g e ra d v a n t a g e s ，a i m i n ga t m o d e l i n gf r o mt h es a t e l l i t ei m a g e sb e i n go fs i n g l eb a c k g r o u n d w et a k eat e s tf o rt h ed i f f e r e n t c o m p l e x i t y so b j e c t sa n dp r a c t i c es h o w st h a tt h er e s u l t sa r ec o r r e c ta n dr e l i a b l es oa st om e e tt h e r e q u i r e m e n tso fv i r t u a lr e a l i t ya p p l i c a t i o n s 4 t r i a n g u l a t i o nt e c h n i q u eb a s e dt h e3 dp o i n t sc l o u d ：t h ep a p e ri m p r o v e sa n dr e a l i z e s an e w a p p r o a c ho fd i r e c t l yt r i a n g u l a t i o no f3dp o i n t sc l o u da i ma tt h ep o i n t sm o d e l so f3 d o b j e c t sa c q u i r e df r o mv i s u a lh u l la l g o r i t h m w ec a r v eu pt h e3 dp o i n t su s i n gc u b i cm e s h ，s oa s t or e d u c et h es e a r c h i n ga r e a ，i m p r o v et h ec o r r e c t n e s sa n dc o n f i r mt h eq u a l i t yo ft h et r i a n g u l a r m e s h t h em e t h o di sp r o v e dt ob eh i g h l ye x a c ta n de f f i c i e n t b a s e do nt h ea b o v er e s e a r c hf r u i t s ，t h ep a p e rr e a l i z e sas i m p l em o d e l i n gs y s t e m ( s t e r e o v i s i o n ) b a s e do nt h em a t c h i n gl i n e sa n da ni n t e g r a t e dm o d e l i n gs y s t e m ( v h ) b a s e do nv i s u a l h u l l ，w h i c ho f f e rac r e d i b l ee x p e r i m e n t a t i o np l a t f o r mf o rt h ef a r t h e rr e s e a r c h 。 第1 i i 页 国防科学技术大学研究生院学位论文 k e yw o r d s ：c a m e r ap r o j e c t i o nm a t r i x ，l i n e sm a t c h i n g ，f e a t u r em a t c h i n g ，v i s u a lh u l l ， t r i a n g u l a t i o n 第页 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学位或证书而使用过的材 科与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目： 基王国篮鳗建搓技苤盟窥 学位论文作者签名： 肄一叩讹月多日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定，本人授权国防科学技 术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允许论文被查阅和 借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印，缩印或 扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权) 学位论文题目： 基王圈篮的建搓拉苤丑窥 学位论文作者签名：压盔 日期： 作者指导老师签名：童! l 煎盎日期： 年z b 多日 年1 2 月，日 国防科学技术人学研究生院学位论文 第一章绪论弟一早三百1 = 匕 本章主要阐述了基于图像建模技术的研究意义及本课题的研究背景，概括介绍了该问 题的技术难点，综述了国内外研究状态，最后，简要介绍了本文的主要研究工作、研究成 果和论文结构。 1 1 课题背景及意义 在许多远程、危险和极限环境的机器人遥操作问题中，为了能使遥操作指挥人员全面、 及时了解远程环境和机器人系统状况，并据此进行各种灵活、机动的指挥控制，需要在遥 操作端建立三维远程虚拟环境，以减小通讯时延影响，将操作结果实时、形象地反馈给操 作者。同时，通过对机器人操控过程的高保真虚拟预测仿真预演，帮助操作员形象地感知 遥操作动作序列规划是否可行、合理和高效，减少遥操作在未知环境下的不确定性，增强 操作的安全性。 计算机图形三维建模方法主要有：几何造型法、用三维激光扫描仪等硬件获取三维模 型的方法和基于图像的建模方法。几何建模方法建造的场景具有良好的交互性，且视点自 由，但真实感不强，创作过程复杂，工作量大；三维激光扫描方法使用方便，精度高，但 只能获取景物的几何信息，而且高精度三维扫描仪等硬件的价格昂贵，不利于广泛推广； 基于图像的建模和绘制技术，即i m a g eb a s e dm o d e l i n ga n dr e n d e r i n g 技术，简称i b m r 技术，是指利用计算机视觉和计算机图形学知识，从单幅图像、立体图像对或图像序列中 恢复出物体的几何模型。广义的基于图像建模还包括从图像中恢复出物体的视觉外观、光 照条件以及运动学特性等多种属性，建造出具有照片真实感的虚拟场景。与其他建模算法 相比，i b m r 有以下突出的优点： 复杂场景建模容易：不需要耗费大量的精力和技巧，因为拍摄照片比较容易。另 外，相机这类设备不仅能直接体现真实景物的外观和细节，而且从照片中还可以抽取出场 景的几何特征、对象的运动特征等。 绘制快：不需要复杂的计算，直接从已有的图像中合成新的视图，例如只要根据 不同的视线方向映射全景图像相应的部分即可。 真实感强：基于图像的方法能真实地反映景物的形状和丰富的明暗、材料以及纹 理细节，不需要额外的光照模拟。 特别是在未知环境中，由于事先无法获知未知对象几何模型，因此，利用多幅图像快 速地对目标进行三维建模表现出明显的优势。本课题主要研究基于多幅图像的未知对象外 观建模方法。 第1 页 国防科学技术人学研究生院学位论文 1 2i b m r 的技术难点 虽然基于图像的建模有很多优点，仍然会受到图像质量、相机参数变化、遮挡、匹配 算法、建模算法、模型拼接等各方面的影响，这些影响都会给精确、快速的三维建模带来 一定困难。如何解决这些问题、改进重建算法，一直是基于图像建模的研究内容，其中主 要难点为以下几个方面： 1 摄像机标定问题。摄像机标定技术是i b m r 技术的关键，几乎所有基于图像的建 模方法都要首先进行摄像机标定，摄像机标定的好坏将直接影响到三维重建的质量。虽然 国内外学者在这一方面做了大量的研究【5 0 j 【5 5 j ，仍然存在很多难题，比如摄像机自标定技 术的鲁棒性问题、基于多幅图像建模过程中多摄像机矩阵的恢复问题等。 2 重建算法的复杂度问题。三维建模算法往往涉及大量的高维空间的复杂计算，比 如基于v i s u a lh u l l 理论的三维空间中的体求交计算、三维点云的三角剖分计算等。如何简 化、分解这些复杂计算，降低算法的复杂度也是基于图像的建模方法需要重点解决的难题。 3 三维模型的真实表现问题。任何物体都具有它本身的材质信息。在不同的环境下， 人们的眼睛看到的物体呈现不同状态，如何建立环境光照明模型，如何给不同材质的物体 表面应用光照明模型，如何把物体表面所体现的材质信息，纹理信息和物体拓扑结构建立 对应关系都是需要大量研究的问题。 总之，对基于图像的建模系统而言，鲁棒性、准确性和处理速度是三个基本性能指标， 对于不同的应用场景，有不同的要求。本文重点研究了三维重建算法效率问题。 1 3i b m r 的国内外研究现状 2 0 世纪9 0 年代中期国际上兴起了i b m r 技术的研究热潮，经过1 0 多年的发展，中 外学者对基于图像的建模方法进行了大量的科学研究，提出了许多有效的建模和试验方 法，归纳起来可分为主动线索建模方法和被动线索建模方法两大类，如图1 1 【2 6 j 所示。 主动线索建模是指利用主动测距技术获取建模对象的空间信息，从而建立对象的三维 可视化模型。被动线索建模利用图像中表现出的物体几何特征或先验知识建立对象的可视 化模型。根据建模所用的图像数目不同，被动线索建模又分为：基于立体图像对建模、基 于单幅图像建模和基于多幅图像建模等几种。在基于立体像对建模中，根据立体像对匹配 算法不同，又可以分为利用区域匹配的方法重建、利用相位匹配的方法重建、利用能量函 数匹配的方法重建和交互式重建等几种。在基于单幅图像建模中，根据重建使用的几何元 素不同，可以分为以体为重建元素的建模、以平面为重建元素的建模以及曲面重建等几种。 基于多幅图像的建模方法主要有求解可见外壳的建模方法和基于正交投影的建模方法组 成。 第2 页 围防科学技术人学研究生院学化论文 图1 1 基丁：图像的建模方法分判2 6 】 1 3 1主动线索建模方法 主动视觉1 36 j 也称为主动测距技术。使用这类技术的系统从景物目标的表面获取离散化 的三维坐标信息，广泛用于各类自动化装配线、机器人导航、医学诊断以及军枣任务中。 a l o i m o n o s 等1 3 6 j 指出，许多在被动测距中的病态问题在主动测距中将转变为良态问题，易 获得精确稳定的解。较常使用的主动测距方法是主动t 角形法。 主动三角形法【”j 【3 8 】【3 9 】也称为结构光法，是一种既利削图像又利用可控光源的测距技 术。结构光从光源的几何形状i ：说有点状、条状、网状等许多种，可以采刚激光或白光。 其基本思想是利用照明光源中的几何信息帮助提取景物中的几何信息。文 4 0 】介绍了结构 光法的理论，文 4 1 和 4 2 给出了几种应用结构光技术的测最系统。z a i m i n gy a n g 在文 4 3 】 中对结构光系统的误差问题做了全面综述。b o u q u e t t 副提出了一一种根据主动线索重建场景三 维模型的方法。如图1 2 所示，这种方法需要有两个互相垂直的甲而，把物体放在水平面上。 操作者要在光源前面移动一根细杆，通过细卡t 与阴影的关系来求出物体的深度信息。 图1 2b o u q u e t 提出的一种根据主动线索厦建场景二维模型的方法 第3 页 熬 国防科学技术人学研究生院学何论文 根据主动线索建模的方法成本低廉，获得的模型精度较高，但是操作复杂，无法自动 完成，建模速度慢，不适合大型场景。 1 3 2被动线索建模方法 被动线索建模是指利用场景中物体本身所具有的一些特征进行建模，如某些几何特征 和纹理特征。因为根据被动线索建模利用了图像中物体本身的特征信息，从而减少了获取 图像前的准备工作，是基于图像建模的常用方法。下面本节逐一对基于立体图像对、基于 单幅图像和基于多幅图像的建模方法进行综述。 1 3 2 1 基于立体像对的建模技术的研究现状 基于立体图像对建模的基本原理在于根据两幅差别较小的透视图像求出空间点的深 度。如图1 3 ( a ) 所示，在输入为单幅图像时，图像点p 对应的三维空间点p 可以在相机 成像中心c 和图像点p 的连线上任意移动。也就是说，在没有其它先验知识的前提下， 从单幅图像是无法求出p 点深度信息的，也就无法重建出物体的三维模型。而在图1 3 ( b ) 中，图像点p 1 和p 2 相匹配，所以它们对应的三维空间点p 可以由直线c l p l 和c 2 p 2 的交 点来确定。因此，只要确定了相机的参数和图像点的匹配情况，p 点的深度就确定了，进 而可以从图像中重建出物体的三维模型。基于立体图像对的建模技术是i b m r 技术中应 用最广的一个分支，国内外有许多学者都对这个技术进行了深入的研究，取得了许多令人 欣喜的科研成果。 ， c 1 f p ， c 2 ( a ) 单幅图像空间点与图像点对应关系( b ) 根据图像对重建原理 图1 3 基于立体图像对重建原理 p o l l e f e y s 1 i t 4 1 5 】提出的方法可以自动地完成建模工作的整个过程，如图1 4 所示，其算 法也是利用立体图像对进行建模的典型流程，主要包括以下几步：( 1 ) 抽取特征点，并进 行特征点匹配，求解投影矩阵；( 2 ) 利用投影矩阵和特征点标定相机内外参数；( 3 ) 根据 相机参数将图像对重投影，得到重投影图像对；( 4 ) 重投影后的图像对逐点匹配，求解各 点的深度，得到密深图；( 5 ) 将计算出深度的三维离散点三角化，进行纹理映射，得到纹 第4 页 国防科学技术人学研究，上院学位论文 理映射后的最终物体表面模型。p o l l e f e y s 的方法具有自动化程度高和可以处理比较复杂的 曲面的优点。但是，我们应该看到，这种方法需要花费的时i 自j 较k ，对匹配的准确性要求 较高。 蠹麟醚 m u l t i v i e w r e l a t i o n s p r o j e c t i v e 3 dr o o d e m e t r i c 3 dr o o d e d e n s e d e p t hm a p s t e x t u r e dm e t r i c 3 ds u r f a c em o d e l 图1 4p o l l e f e y s 提出的基j 立体图像对建模的方法 周骥【6 】运用相似的过程进行了基于立体图像对建模工作的探索，并在特征点匹配、深 度图匹配等方面进行了改进。利用多种优化方法，提高了特征点匹配和密深图匹配的效果， 在算法稳定性方面取得了长足的进步。 c a l w a y 87 】利用傅立叶变换把信号的时域信息转化为频域信息，然后利用频域信息进 行立体像对的匹配。因为窗口傅立叶变换是线性变换，所以利用频域信息进行匹配，速度 快；而且对于噪声和图像模糊的抗干扰能力也较强。但是这类算法往往有更多的参数需要 调整，匹配效果也不稳定。 第5 页 田防科学技术人学研究牛院学位论文 w e n g l 2 7 1 提出了利 j 光流场进i j ：匹配的方法，他们用像素灰度作为相似性量度，州时 用光流场连续性条件作为约束，进步提高了特征匹配的稳定性。 c i p o l l a l 7 儿踟提出了一种针对建筑物模型的交：式建模j i 7 2 , , ，根据建筑物的特点，交互 地指定了两幅图像之问的匹配，_ ，缩短了匹配的时间，进一步优化了埘建筑物的建模效果。 但是同时也增加了手工交互的工作餐，并且只能根据两幅幽像求 h 建筑物的局部模型。 1 3 2 2 基于单幅图像的建模技术的研究现状 理论上来说，如果没有任何其它的先验知识，从单幅图像是无法恢复出物体的_ ：二二维模 型的。但是如果充分利刚人对自然场景理解的先验知识，从单幅图像完全可以恢复出建筑 物等场景的三维模型。由于这种方法具自较强的实用性，许多研究人员在这方面做了大量 工作。 利用场景巾的已知形状或某些结构信息，如场景中直线的垂直或平行关系等，可以从 单幅图像中重建出物体的三维模型。针埘建筑物的规整性，d e b e v e c 9 j 【l o j 【1 1 1 提出了一种以 体为重建单元的建筑物模型重建方法，如幽1 5 所示。首先，在系统中定义多i i j l 何模型 构件，如长方体、棱锥等，通过尺寸和形状变量将这些几何模型参数化。利用手j 1 ：交：在 图像上指定建筑物模型各部分对应的几何模型和各构件之间的依赖关系。然后根据图像上 建筑物轮廓信息的投影关系列出一系列方程，这些方程以相机内、外参数、各部分对j 衄的 几何模型的参数和各部分之间相对位置为自变量。通过非线性优化算法求解列出的方程， 可以得到建筑物场景各部分对应的模型构件j t _ 、j 和相对位置，求出的各部分模型合并在一 起组成完整的建筑物模型。 图1 5d e b e v e c 提出的基j ：单幅图像建模的力法 d e b e v e c 提出的该重建方法简单实用，操作也非常方便，扩展性也比较强，对特定的 建筑物模型是非常有效的。但是它也存在一些不足：( 1 ) 不灵活。因为该方法要在系统中 定义很多种几何模型并将它们用特定的变量参数化，这项工作本身的工作量就比较人；( 2 ) 建筑物场景中通常包含一些无法用特定的参数化模型描述的部分，如不规则的多面体等， 第6 页 国防科学技术人。学研究生院学位论文 这样就会造成该方法失败；( 3 ) 因为不同的几何模型有不同的参数，所以很难用统一的形 式进行优化。 因为规则场景中平面是常见的几何元素，所以对以平面为重建单元的建模方法的研究 也比较广泛。其中l i e b o w i t z 【1 2 】的方法最具有代表性。其方法的基本思想是确定一个基平 面，该基平面确定了一个二维图像空间，如果可以找到空间点在基平面上的投影，就可以 求解出该点的投影在二维图像空问上的坐标，再求解出该点到基平面的距离，该点的三维 坐标就确定了。s t o r m 1 3 】等提出了一种类似的重建方法，他们把图元之间的几何关系归纳 为三种约束：点共面约束、矢量或平面法向量垂直、矢量或平面法向量平行，最后将所有 约束关系表达为一个非线性问题的求解，通过优化方法求解得出平面和点的位置，从而恢 复出场景物体的表面模型。w i l c z k o w i a k 1 4 1 提出了利用场景中的平行六面体标定相机参数， 然后利用单幅图像或两幅图像重建平面组成物体的方法。 l iz h a n g t l 5 】等提出了一种基于单幅图像的交互式自由曲面重建技术。他们将物体表 面形状用五种约束关系来描述：点约束、表面不连续约束、折缝约束、平面区域约束、边 缘曲线约束。点约束指的是要重建表面的位置或者是表面的法向量；表面不连续约束描述 了重建表面的裂缝；折缝约束( c r e a s ec o n s t r a i n t ) 描述了表面法向量不连续的折缝边缘； 平面区域约束表明表面上某些小区域在同一平面上；边缘曲线约束能够让用户沿着图像上 任意曲线控制重建表面的平滑性。通过这五种约束，物体表面各部分之间的相互关系可以 用各自的约束方程形式表示出来，最后问题转换成一个在线性约束下的二次非线性优化问 题。求解该优化问题，就可以得到满足交互指定的约束条件的物体平滑表面。 对于曲面重建，这些方法都可以得到相当不错的结果。但是一般来说，它们只适用于 一些较小的连续的曲面重建。对于建筑物或者其它较大的场景，或者并非连续表面的场景 重建，它们就无能为力了。而且，它们的交互量一般都很大，操作较繁琐，往往要经过多 次调整才能取得较好的效果。 1 - 3 2 3 基于多幅图像的建模技术的研究现状 物体在图像上的轮廓是理解物体几何形状的一个重要线索。假设从不同的角度拍摄一 个三维物体得到一系列图像，每张图像都可以抽取物体的轮廓，则从摄影中心发出经过轮 廓点的射线构成了一个锥壳，锥壳和锥壳内的部分占有空间中的一块体积。不同角度拍摄 的图像各自具有这样的锥体，所有这些锥体交集就构成了物体的三维模型。如果采样足够 密集，则通过这种方法可以得到比较精确的实体模型。m a r t i na n d a g g r a w a l l l 6 1 最早提出了 利用物体轮廓进行模型重建的方法；c h i e na n da g g r a w a l 1 7 j 提出了利用正交投影从多幅图 像提取实体模型的方法；s r i v a s t a v a 1 8 】提出了利用任意多幅透视投影视图构建实体模型的 方法；l a u r e n t i n i t l 9 j 提出了可视外壳( v i s u a lh u l l ) 理论。如图1 6 所示，v i s u a lh u l l 的思 想是从一组二维阴影图像的轮廓信息中获取三维物体，若所取的二维图像角度越多，则获 取的三维物体表面越逼近真实的物体，且这种表面通常是等于或紧紧包围实际物体的。 第7 页 囤防科。、技术人学研究，卜院学位论文 图1 6 生成l j 见外壳的基本原理 自从v i s u a lh u l l 的概念提出以来，基于v i s u a lh u l l 的建模方法得到了人力发展。 p o t m e s i l 2 0 1 和s z e l i s k i l 2 1 1 建。泣了v i s u a lh u l l 的八叉树表示，输入为从任意视角拍摄的透视 投影照片。上述方法在每一个视角拍摄的照片上，都要进行物体的侧影轮廓线与所有八义 树节点投影的求交测试，而测试过程是- f 1 ：非常耗日寸的工作，受限r 二这些缺点，v i s u a lh u l l 技术在提出之初没有得到广泛应用。但是，2 01 l 纪9 0 年代以来，随着各利，快速算法的完 善和计算机技术的高速发展，v i s u a lh u l l 技术在虚拟现实等领域中得到了成功的应用，人 们实现了众多基于多视角视频图像的动态建模和绘制系统。 m a t u s i k1 2 2 j 【2 3 1 提出了一种基r 同标成像平面的算法。这种方法属于基于图像绘制方法 范畴。该方法中，计算单位是目标图像平面上的像素。目标图像的每一个像素是根据视点 和输入图像计算得到。其基本思想是利用可见外壳表面的点，来建立目标图像的每一个像 素和输入图像各个像素的映射火系。这类方法简单快速，每改变一次视点，就合成一张新 的f 1 标图像，但并不真正建立物体的三维模型。文献 2 3 】提出一种基于二维确j 尔运算的算 法。每张输入图像都可以根据侧影轮廓线得到一个锥体，该算法的依据是最终【l j 见外壳的 一个面片必然落在某个锥体的表面上，并且这个面片位于其他所有锥体的内部，从三维锥 体内部投射到平而l 必然是在其他所有锥体表面投影的内部，然后可用二维布尔求交来得 到可见外壳的表面。如图1 7 所示，在这个算法的基础上，m a t u s i k 完成了一个求解v i s u a l h u l l 的实时建模系统。 图1 7 求解v i s u a lh u l l 的实时建模系统 第8 页 国防科学妓术人学研究生院学位论文 c h e nl i a n g 2 8 1 2 9 矛hk w a n - y e e 3 0 3 1 】 3 2 x + j 可见外壳算法进行了大量的研究，提出 了大量的关 二v i s u a lh u l l 的有效算法，完成了。些求解v i s u a lh u l l 的应用系统。k e i t h f o r b e s 3 3 3 4 3 5 】利用两面镜子求出了一幅未标定图像的可见外壳，如图1 8 所示，为计 算物体的可见外壳提供了。种新的思路。 图1 8 利川两面镜子求解v i s u a lh u l l 住图内，摹_ r v i s u a lh u l l 的建模方法的研究起步比较晚，但是也取得了一定的成果， 刘钢等1 2 4j 提出了一种基于自适应采样距离场的一叮见外壳生成算法，这种算法可以得到逼 真的结果，但是算法的存储量和计算量都非常大；陈越等【25 j 提出了基于退化多边形的方 法生成可见外壳，简化了计算量。 基于可见外壳的方法建模效率高，但该方法不能重建表面有l 1 陷的物体。凶为这类方 法只利用了图像中物体侧影轮廓线，而侧影轮廓线不能表达物体的凹陷部分的信息。 1 3 3i b m r 方法比较 表1 1 是主要的基于图像的建模方法在建模性质、自动化程度、算法实现难易程度、 建模质量、建模所需时i 、 ：1 j 长短以及适用领域等方面的比较。可以看出，各种基于图像的建 模方法所适用的领域不同，各有优缺点。 由此表可以知道，人的参与在基于单幅图像的建模工作中还是非常重要的。如果有人 的先验知识参与，完全可以从单幅图像中恢复出场景物体的维模型。可以说， d e b e v e c 9 】【1 0 】【l lj 的方法是其中最简单并且易于实现的，但是在有些情况下并不适用，如拓 扑结构比较复杂的物体无法用重建单元来表示。 一止譬d e b e v e 的方法难以处理的场景，l i e b o w i t z 1 2 i 的以甲而为重建单元的方法可以很 好的处理，但是他们的方法很难重建场景的完整模型。 p o l l e f c y s 1 】【4j 1 5 j 的算法可以重建建筑物等形状比较规则的场景，但足这种算法的匹配 时f 自j 长，而且由于误配率的增加将会导致最终重建效果不好。 v i s u a lh u l l 算法可以精确的恢复凸形物体的三维模型，但是基丁可见轮廓的重建方法 需要对每幅图像进行精确的摄像机标定。 根掘以一卜所述，似乎是每种重建算法都存在着这样或那样的问题，如何解决这些问题， 第9 页 囝防科学技术人学研究生院学位论文 把各种基于图像的建模方法结合在起，是一个值得研究的课题。 表1 1 各种基丁图像建模方法的比较 建模方法性质臼动化算法难易程建模质量建模适用领域 程度度时问 基于立体图像 完伞皋可以实需要强壮的 物体表面适用于纹理中富、复杂 于图像现自动算法，所以较 精度受到 很长 场景建模。受匹配算法 对的重建方法匹配算法影响，不合适于纹理稀 的建模化雉实现 的影响疏对象建模 适用于规则的建筑物， 基 以体为元 町以得到完整物体三维 于 素的重建 可以比较 模型，对难以参数化的 酋 方法 精确的恢 形体不适合 幅 基于图 交互式 比较容易实 图 以平面为 像和几 建模，1 i 现 复出物体 较短 的表面模 适合子甲面组成的多面 像 元素的重 何混合 能实现型 体重建，但只能得到部 的 建方法 式建模 算法的 分表面模型，无法得到 建自动化 完整模型 模 涉及到荐种 町以比较 技交互式曲精确地表 较长 适应于较简单的曲面重 术 面重建 曲面约束方 示曲面表建 程，实现较难 面 基于町见轮廓 皋于多和图像采一般需要物体的多幅图 幅图像 可以自比较容易实 样密度有一般像，适合背景易分割的 的蘑建方法动实现现 的建模关凸物体重建。 根据比较，本文在对比较简单的规则物体建模时，采用立体视觉与重建单元相结合的 方法；对于拓扑结构比较复杂的人造物体，采用求解可见外壳的方法建模。 1 4 1 主要工作和成果 1 4 论文概述 本文对基于图像的建模技术进行了深入的研究，主要研究内容包括：两幅图像的直线 匹配问题、基于匹配直线的规则物体建模问题、利用可见外壳建模问题、对空间三维点云 进行三角剖分问题等，主要研究工作和成果如下： 1 对于规则物体建模，本文针对机器人遥操作等实时性较强的应用，提出了一种基 于直线支持区域的稳健、快速的直线提取和匹配算法，然后通过两幅图像中的匹配直线和 基于物方的几何约束条件，实现了规则物体快速建模算法，提高了建模精度，减少了人工 交互，一定程度上实现了规则物体的自动建模。 2 深入研究了v i s u a lh u l l 算法的基本原理，本文用轮廓跟踪算法代替八叉树算法， 改进并实现了一种用多幅图像构造可见外壳的方法，可以非常灵活地获取场景中三维目标 第l o 页 国防科学技术人学研究生院学何论文 的几何模型。实验结果表明，对于背景比较单一的图像建模问题，不论是规则物体还是拓 扑结构比较复杂的物体，本算法都具有较高的鲁棒性。 3 v i s u a lh u l l 算法得到的并不是三维物体的表面模型，而是三维物体表面的采样点， 本文针对v i s u a lh u l l 算法得到的三维物体的三维点云，改进并实现了一种直接对三维点 云进行三角剖分的算法，通过对三维点云进行网格划分，有效降低了计算时间，并能得到 空洞较少的高质量三角网，实验证明该算法适应性广，具有准确、高效的特点。 4 编程实现了一个简单的基于匹配直线的建模系统( s t e r e ov i s i o n ) 和一个完整的可 见外壳建模系统( v h ) ，为进一步的研究提供了可靠的实验平台。 1 4 2各章简介 第一章，绪论。主要阐述了基于图像建模问题的研究意义、研究背景及技术难点，综 述了国内外研究现状，简要介绍了本文的主要研究工作、成果和论文结构。 第二章简要介绍了i b m r 技术的基本流程以及所需要使用的一些基本几何理论，包括 摄像机模型的建立、多视图几何约束、摄像机标定问题、多摄像机矩阵的恢复等。这一章 是下面几章的数学基础。 第三章提出并实现了一种基于直线信息和直线支持区域相结合的稳健、快速的直线提 取和匹配算法，然后通过两幅图像中的匹配直线和基于物方的几何约束条件，实现了规则 物体的快速建模算法。 第四章研究了v i s u a lh u l l 建模方法，本文用轮廓跟踪算法代替八叉树算法，改进并 实现了一种用多幅图像构造可见外壳的方法。 第五章针对v i s u a lh u l l 建模中的生成的三维采样点云，用划分立方栅格的方法改进 并实现了一种对三维散乱点云直接进行三角剖分算法。 第六章为总结与展望，总结了本文所做的工作，指出了研究中不足和今后的重点研究 方向。 第1 1 页 国防科学技术人学研究生院学位论文 第二章i b m r 的基本原理 本章主要介绍三维重建过程中需要使用的一些基本几何理论，包括摄像机成像几何模 型的建立、多视图几何约束、基础矩阵的估计问题和摄像机标定问题。为i b m r 系统的 的建立奠定数学基础。 2 1 摄像机成像几何模型 摄像机模型描述了三维场景经过变换后投影到二维图像的过程，摄像机模型确定后， 就可以知道三维空间中的某点在二维图像平面上的投影点的位置。常用的摄像机模型是针 孔模型【4 5 】【4 6 】【4 7 】。首先定义几个在建立摄像机模型时所需要的坐标系，如图2 1 ： l 、世界坐标系q 一以名乙：在环境中选择一个参考坐标系来描述摄像机和景物的位 置，该参考坐标系称为世界坐标系； 2 、摄像机坐标系d r 一茸耳z c ：以小孔摄像机模型的聚焦中心为原点，以摄像机光轴 为z 轴的三维坐标系； 3 、成像平面坐标系0 ，一x y ：原点为透镜光轴与成像平面的交点( 即主点) 、x 与y 轴分别平行于墨轴的二维坐标系； 4 、像素坐标系o 一y ：原点位于图像左上角，轴向下，y 轴向右。( 这样定义的像 素坐标系与b m p 图像的数据排列格式是一致的，当然还有其它的定义方法) ，该坐标系 中的每个坐标分别表示像素点在图像中的行数和列数。 图2 1 坐标系示意图 所谓摄像机建模过程，就是建立空间中任意一点x 。= ( 瓦，匕，乙) 7 从世界坐标系到它 第1 2 页 国防科学技术入学研究生院学位论文 在像素坐标系中像点u = ( ，p ) 。的映射模型。如图2 2 ，世界坐标系和摄像机坐标系可以 通过旋转和平移变换相联系，对于在世界坐标系下的任意一点x 。= ( x w ，匕，乙) ，设其在 摄像机坐标系下的坐标为x c = ( 鼍，耳，五，) 7 ，他们的齐次坐标分别为又。= ( 扎，匕，乙，1 ) 7 1 和文f = ( 鼍，z c ，1 ) 7 1 ，存在下面的等式： x c = i r 件 眩， 如图2 2 的左图，摄像机坐标系中一点x f = ( 墨，z f ) 7 在图像平面的像点为 x = ( x ，y ) ，如图2 2 的右图，依据简单的三角形相似关系，可以得到： x = ( x c z f ，“，z a 7 ( 2 2 ) i = 去卜擎 娩3 ， 其中i = ( x ，y ，1 ) r 和文c = ( 墨，圪，z f ，1 ) 7 1 分别表示x 和x f 的齐次坐标。 图2 2 摄像机坐标系剑图像坐标系的变换示意图 摄像机采集的图像以标准电视信号的形式经高速图像采集系统变换为数字图像，并输 入计算机。每幅数字图像在计算机内为m n 数组，m 行n 列的图像中的每一个元素的 数值既是图像点的亮度。如图2 3 所示： 第1 3 页 国防科学技术人学研究生院学f 讧论文 q ( 硒，) 弘 x 图2 3 像素坐标系的定义 像素坐标系内的每一个像素的坐标( ，y ) 分别是该像素在数组中的列数和行数，而成 像平面内的每一个点的坐标( x ，y ) 则用物理单位描述出