（计算机科学与技术专业论文）安全多面体可视外壳及应用研究.pdf

摘要 基于视频图像的三维重建技术是计算机视觉、虚拟现实、计算机仿真等领域重要的 研究内容，该技术利用多幅视频图像中的信息来恢复物体的三维模型。现有的基于图像 的建模方法中，可视外壳建模方法能够利用侧影轮廓信息快速恢复物体的三维模型，其 中多面体可视外壳建模方法具有不依赖于视点、计算速度快、易于图形硬件加速等优点， 因而广泛应用在建模与交互系统中。但是当场景中包含多个物体或者复杂形状的凹面体 时，可视外壳方法构建的模型可能存在冗余体现象，不能准确表示原来的物体。为解决 这一问题，本文在分析研究各种可视外壳建模方法及冗余体去除技术基础上，结合基于 图像绘制的安全外壳思想，围绕基于多面体可视外壳的准确性建模技术方面进行了分析 和研究： 1 通过对多面体可视外壳建模方法的研究，采用几何投影技术及极线几何的增量运 算，将三维空间计算转化为二维平面的交集计算，加速建模过程，同时结合优化的多边 形裁剪算法，减少求交集操作的次数，能够实时构建出视点无关的三维模型。 2 在分析研究各种冗余体去除技术的基础上，给出安全多面体可视外壳建模方法。 该方法结合基于图像绘制的安全外壳思想，充分利用图像侧影轮廓信息进行区域划分， 对构建的粗略多面体模型进行优化，完全去除不属于真实物体的冗余多面体，得到准确 的三维模型。 3 结合几何投影技术，给出一种快速有效的多面体模型的分割与合并算法，将三维 空间的体操作降到二维平面的多边形上进行计算，得到多边形的差和并的结果，然后反 投回多面体的相应多边形，快速得到多面体分割与合并结果，用于安全多面体可视外壳 建模过程。 最后实现上述算法并对实验结果进行比较和分析，然后在自由视点视频合成系统及 虚实交互演示系统中进行验证。实验表明，本文提出的方法在不增加侧影轮廓数量的基 础上，能够完全去除多面体可视外壳建模产生的冗余体，提高建模的准确度，得到视点 无关的安全多面体可视外壳模型。 关键词：可视外壳，安全外壳，多面体可视外壳，几何投影，区域划分，纹理映射 r e s e a r c ha n da p p l i c a t i o no f s a f ep o l y h e d r a lv i s u a lh u l l s s uh u a n h u a n ( c o m p u t e rs c i e n c ea n dt e c h n o l o g y ) d i r e c t e db ya s s o c i a t ep r o f c h e r tg u o j u n a b s t r a c t r e c o v e r i n gs h a p e so ft h r e ed i m e n s i o no b j e c tf r o ma c q u i r e dr e a lv i d e oi m a g e sw i t h g e o m e t r i ct o p o l o g ya n dt e x t u r ei n f o r m a t i o ni nc o m p l i c a t es c e n eh a sl o n gb e e na l li m p o r t a n t r e s e a r c hs u b j e c ti nc o m p u t e rv i s i o n ，v i r t u a lr e a l i t ya n dc o m p u t e rs i m u l a t i o n s e v e r a lm e t h o d s h a v eb e e np r o p o s e dt os o l v et h i sp r o b l e m ，a m o n gw h i c ht h em e t h o do fv i s u a lh u l l ( v h ) o r s h a p e - f r o m - s i l h o u e t t e ( s f s ) s h o w st h eb e s ta p p r o x i m a t es h a p eo fa no b j e c ta c c o r d i n gt ot h e s i l h o u e t t e so fi m a g e sa c q u i r e dw i t hm u l t ic a m e r a si ni n t e r a c t i v er a t e ，e s p e c i a l l y , t h e p o l y h e d r a l v i s u a lh u l lf f v i - i ) p r o d u c e dap o l y g o ns u r f a c em o d e lo fv i s u a lh u l l ，a v i e w - i n d e p e n d e n ta p p r o x i m a t i o n ，w i t hg o o dq u a l i t ya n ds p e e d ，a n de a s yf o ra c c e l e r a t i o nb y g r a p h i c sh a r d w a r e ，t h e r e f o r e ，w a sw i d e l yu s e d i nm o d e l i n ga n di n t e r a c t i v e s y s t e m s n e v e r t h e l e s s ，w h e nt h e r ew e r ec o m p l i c a t e do b j e c t sw i t hs e l f - o c c l u s i o n ，o rm u l t i p l eo b j e c t s w i t hi n t e r - o c c l u s i o ni nt h es c e n e ，t h er e c o n s t r u c t e dv i s u a lh u l lm a ye x h i b i tp h a n t o mv o l u m e s ， w h i c hc o u l dn o tb ea l la c c u r a t er e p r e s e n t a t i o no fo b j e c t si nt h es c e n e t os o l v et h ep r o b l e m ， a f t e rr e s e a r c h i n gal a r g en u m b e ro fl i t e r a t u r ei nt h ea r e ao fc o n s t r u c t i n gt h ev hm o d e la n d r e m o v i n gt h ep h a n t o mv o l u m e s ，c o m b i n i n gw i t ht h et e c h n o l o g yo f t h es a f eh u l lw h i c hw a sa m e t h o do n l yr e n d e r i n gt h ei m a g eo fs c e n eb u tn o tt h ei n t a c tm o d e l ，w ee m b a r k e do nt h e f o l l o w i n ga s p e c t so fa n a l y s i sa n d r e s e a r c hi nt h i sp a p e r ： 1 a _ f 论rr e s e a e h i n gt h em e t h o do fc o n s t r u c t i n gt h ep m o d e l ，w e 订a n s f o r m e dt h e t h r e e d i m e n s i o n a ls p a t i a li n t e r s e c t i o no p e r a t i o ni n t ot w o - d i m e n s i o n a lp l a n ec a l c u l a t i o n ，b y i n t r o d u c i n gt h eg e o m e t r i cp r o j e c t i o nt e c h n o l o g ya n de p i p o l a rg e o m e t r yw i t hi n c r e m e n t a l c o m p u t a t i o n ，t h e nt a k e nf u l la d v a n t a g eo fo p t i m i z e dp o l y g o nc l i p p i n ga l g o r i t h mt or e d u c et h e n u m b e ro fi n t e r s e c t i o no p e r a t i o n ，f i n a l l yc o n s t r u c t e dt h ev i e w - i n d e p e n d e n tt h r e e - d i m e n s i o n a l m o d e li nr e a lt i m e 2 o nt h eb a s i so fa n a l y z i n gv a r i o u sm e t h o d so fp h a n t o mv o l u m e sr e m o v a l ，w ep r o p o s e d t h es a f ep o l y h e d r a lv i s u a lh u l l ( s p v h ) m o d e l i n gm e t h o d ，w h i c hd i v i d e dt h er e g i o n so n p l a n ea n ds p a c et oo p t i m i z et h ea p p r o x i m a t ep o l y h e d r a lm o d e l ，c o m b i n i n gw i t ht h ei d e ao f t h es a f eh u l l ，m a k i n gt h em o s to ft h es i l h o u e t t eo fr e f e r e n c ei m a g e s ，f i n a l l yw eo b t a i n e dt h e a c c u r a t et h r e e - d i m e n s i o n a lm o d e lw i t ht h ep h a n t o mv o l u m e sr e m o v e dc o m p l e t e l yw h i c hw e r e n o tb e l o n gt ot h er e a lo b j e c t s 3 c o m b i n i n gw i t ht h eg e o m e t r i cp r o j e c t i o nt e c h n o l o g y , w ep r o p o s e daf a s ta n de f f e c t i v e m e t h o do ft h e p a r t i t i o n a n dc o m b i n a t i o no fp o l y h e d r a lm o d e l ，w i t hr e d u c i n gt h e c o m p u t a t i o n a ld i f f i c u l t yb yt r a n s f o r m i n g t h et h r e e - d i m e n s i o n a ls p a t i a lp o l y h e d r o ni n t o t w o - d i m e n s i o n a lp l a n ep o l y g o n ，t h a ti s , w eo n l yc a l c u l a t e dt h ei n t e r s e c t i o na n du n i o no f p o l y g o n st oc o n s t r c t i o nt h es p v hm o d e l f i n a l l y , t h em e t h o dw ep r o p o s e dw a sv e r i f i e dt h r o u g hs o m ee x p e r i m e n t s ，c o m p a r i n g w i t ht h ef o r m e rm e t h o di nt h e3 dm o d e l i n ga n di n t e r a c t i v es y s t e m t h er e s u l t ss h o w nt h a t ， w i t h o u ta d d i n gm o r ec a m e r a s ，t h i sm e t h o dp r o v i d e dv i e w - i n d e p e n d e n ts p v ha c c u r a t em o d e l w i t hp h a n t o mv o l u m e sr e m o v e dc o m p l e t e l yt oi m p r o v et h ea c c u r a c yo fm o d e l k e yw o r d s ：v i s u a lh u l l s ，s a f eh u l l s ，p o l y h e d r a lv i s u a lh u l l s ，g e o m e t r i cp r o j e c t i o n ， r e g i o np a r t i t i o n ，t e x t u r em a p p i n g 1 1 1 关于学位论文的独创性声明 本人郑重声明：所呈交的论文是本人在指导教师指导下独立进行研究工作所取得的 成果，论文中有关资料和数据是实事求是的。尽我所知，除文中已经加以标注和致谢外， 本论文不包含其他人已经发表或撰写的研究成果，也不包含本人或他人为获得中国石油 大学( 华东) 或其它教育机构的学位或学历证书而使用过的材料。与我一同工作的同志 对研究所做的任何贡献均己在论文中作出了明确的说明。 若有不实之处，本人愿意承担相关法律责任。 学位论文作者签名：惹越虹 日期：加f q 年夕月2 j 7 日 学位论文使用授权书 本人完全同意中国石油大学( 华东) 有权使用本学位论文( 包括但不限于其印刷版 和电子版) ，使用方式包括但不限于：保留学位论文，按规定向国家有关部f - j ( 机构) 送交学位论文，以学术交流为目的赠送和交换学位论文，允许学位论文被查阅、借阅和 复印，将学位论文的全部或部分内容编入有关数据库进行检索，采用影印、缩印或其他 复制手段保存学位论文。 保密学位论文在解密后的使用授权同上。 学位论文作者签名： 茹! 燃 指导教师签名：日日 711， ，1 月月 ，r 年年 卜p 圳矽 期期 中国石油大学( 华东) 硕士学位论文 第一章绪论 1 1 课题来源及意义 本课题来源于国家重点基础研究发展规划9 7 3 课题“混合现实的理论和方法”子课 题“虚实混合环境的驱动引擎技术与系统”( 2 0 0 9 c b 3 2 0 8 0 5 ) 。 基于视频图像的三维重建是计算机视觉，虚拟现实、计算机动画、游戏等领域重要 的研究内容。三维重建使得从真实世界中获取具有真实感的三维场景模型成为可能，将 人1 f _ 】从枯燥繁重的几何建模工作中解脱出来，实现了建模的自动化。离线三维重建技术 已经比较成熟，但是实时三维建模由于对速度和通用性有更高的要求，因此还存在很多 技术难点。实时三维建模通过一定的方法和手段实时获取三维物体的形状、纹理、材质、 光影等信息，并由此重建出其对应的三维模型，可以用于虚实交互、动作捕捉、运动序 列重建、娱乐和游戏等方面，对于柔性可变形物体的状态跟踪与模型库构建、材质动态 性能分析、生物行为研究、体育和表演类项目的训练与评测、虚拟手术培训等也具有潜 在的应用前景。 基于视频图像的三维建模方法有很多，其中应用比较广泛的是基于侧影轮廓图的重 建方法( s t r u c t u r ef r o ms i l h o u e t t e ，s f s ) ，该方法能够从多幅图像的侧影轮廓实时恢复 出物体的三维模型，其输出为物体的可视外壳，因此也称为可视外壳( v i s u a lh u l l ，) 方法。可视外壳算法总体上分为两大类：基于体的方法与基于面的方法。基于体的方法 使用离散体素单元，只能重建出近似的三维模型，精确性较差：基于面的方法能够提高 建模的精确性，其中多面体可视外壳方法( p o l y h e d r a lv i s u a lh u l l s ，p v h ) 是比较常用 的一种建模方法，该方法直接从侧影轮廓图计算可视外壳的精确多面体表示，是一种独 立于视点的描述，而且很容易利用图像硬件进行快速渲染，可用于实时交互等。但是该 方法重建的模型存在冗余体( p h a n t o mv o l u m e s ) ，不能准确表示原来的物体。为解决 这一问题，本课题拟采用一种多面体可视外壳的准确性建模技术，该技术在不增加侧影 轮廓数量的同时能够有效地去除冗余体，提高实时建模的准确度。 1 2 国内外研究现状 从建模所需时间上，三维重建分为离线建模与实时建模两大类。离线建模不限制建 模的时间，只要得到物体的模型；而实时建模能够重建复杂、快变的动态物体，获取物 第一章绪论 体在每个时刻的运动状态信息，记录那些无规律、不可预测、不可重现、非标准的运动， 从而实现三维空间与时间的四维建模，还可支持交互式应用，因此实时建模是一种对建 模速度和通用性具有更高要求的建模技术。 从获取三维模型的途径上，三维重建分为：( 1 ) 利用传统几何造型技术直接构造 三维模型：( 2 ) 利用三维扫描设备对真实物体进行扫描，进而重建出三维模型； ( 3 ) 采用基于图像的建模方法，利用从各个视角拍摄的真实物体的多幅图像来重建出模型。 前两种一般只能获取景物的几何信息，虽然能够得到精确的表面信息，但是由于需要用 到的设备非常昂贵，并且必须接触物体，因此对大型的物体不适用；第三种相对来说比 较廉价，其适用于多数物体，这种方式的另一个特点是能够通过图像信息绘制复杂物体 的表面来得到物体的贴图，为生成具有真实感的合成图像提供了一种自然的方式，缺点 是算法比较复杂，使得生成一个三维模型需要耗费较多的计算资源【卜3 1 。 因此基于图像的三维建模技术迅速成为目前计算机图形学领域中的研究热点，事实 上，从真实场景图像中获取三维信息一直是计算机视觉领域研究的重要内容，而其关注 重点即是建模的实时性和准确性。 1 2 1 基于图像的建模技术 由于图像本身包含着丰富的场景信息，因此我们可以从图像中获得逼真的场景模 型。通常我们所说的基于图像的建模技术是指利用图像中的信息来恢复出物体的几何模 型，这里的图像包括真实照片、绘制图像、视频图像以及深度图像等，而广义的基于图 像建模技术还包括从图像中恢复出物体的视觉外观、光照条件以及运动学特性等多种属 性，其中的视觉外观包括表面纹理和反射属性等决定模型视觉效果的因素【4 】。 基于图像的三维重建技术主要包括：基于立体视觉的重建方法( s t r u c t u r ef r o m s t e r e o ) 、由运动恢复形状的重建方法( s t r u c t u r ef r o mm o t i o n ) 、由明暗恢复形状的重 建方法( s h a p ef r o ms h a d i n g ) 、基于光流的重建方法( s t r u c t u r ef r o ml i g h tf l o w ) 、基于深 度图像的重建方法( s t r u c t u r ef r o md e p t hi m a g e ) 以及基于侧影轮廓的重建方法等，其中 很多方法都不能满足实时建模的实时性要求，或者是对算法做了些假设，这些假设有时 不会满足实际条件，而s f s 方法没有这些约束，能够实时地通过目标物体多视点的侧影 轮廓得到其对应的三维模型 3 - 1 2 】。由于s f s 的输出是物体的可视外壳，因此也称其为可 视外壳v h 方法，l a u r e n t i n i u3 】在1 9 9 4 年提出可视外壳的概念，可视外壳是由空间物体的 所有已知侧影轮廓决定的该物体的空间包络，当拍摄视角足够多时，可视外壳可被认为 2 十目i 大学( * ) 碰# * 女 是空间物体的一个台理的逼近可视外壳建模可以应用于静态物体或者运动物体视频序 列的每个时刻”1 。图l - l 为物体可视外壳模型示意图，图中采用五个视角拍摄足球 得到相应的可视外壳。 圈i i 可视外壳 f i g l - 1 v i s u a lh u l l s 122 基于可视外壳的建模方法 2 0 世纪9 0 年代以来- 可视外壳生成方法在虚拟现实领域中得到了成功的应用，研究 者们也从许多不同的角度对v h 方法进行了研究和改进。可视外壳算法总体上分为两大 类：基于体的方法与基于面的方法。基于体的方法( 如图1 2 所示) 是早期的研究者 们提出的一类方法，该方法是利用在物体表面附近的空间点对预估计物体所在空间进行 切割，并将这些点保存在八叉树结构当中，得到体素网格表示的模型。这种空间表达方 式能够高效地存储物体的三维信息，井能简化运算。该方法能够处理带有复杂拓扑的物 体，但由于所使用的空间是离散的体索单元，只能得到近似的结果，与其复杂性相比， 精确性较差：基于面的方法( 如图i - 3 所示1 ) 正是为了解决体素方法精度低的问题而 提出的，通过侧影轮廓所在空问锥体的交集来估计可视外壳多面体的元素，得到面片表 示的可视外壳模型1 1 5 , 1 6 1 。 匮 图l 一2 基于体的可视外壳建模 m 1 1 - 3 基于面的可视外壳燕 苠 f l g l - 2v o l u m e - b a s e dv i s u a lh f i g l - 3s u r b c b a dv i s u a l h u l l s m a r t i n , 和a g g a r w a l 旧提出了基于多视点图像的侧影轮廓圈来恢复三维物体的体描述 方法。他们使用了与坐标轴一致的平行六而体单元，通过多视点图像的封闭轮廓线来构 一哆兰 建逼近刚性物体三维结构的包围体，采用体分段描述方法来加速包围体的创建和连续性 优化。该方法除了易于更新之外，还保留了物体表面的细节减少了点遮挡测试。c h i e n 等采用八叉树结构来表示物体的可视外壳该结构是通过预先在平行投影照片上生成表 示物体的四叉树的基础上建立的。p o o n c s i l 1 9 1 取l s z e l i s k i t 2 0 l 等提出了用八叉树结合体素描 述的可棍外壳方法，八叉树节点在图像平面上的投影为多边形，对每一个视角拍摄的照 片都要进行物体的侧影轮廓与所有八叉树节点投影的求交测试。计算量大也非常耗时。 g a r c i a i 圳等采用投影八叉树进行存储，并结台极线几何技术，提高建模速度，但是该方 法依赖r 给定图像的质量和数量。l i u f l 等引入自适应采样距离场作为描述可视外壳的空 间数据组织形式- 极大简化了求交计算，快建生成具有较高精度的复杂模型“1 4 , 2 2 i 。 m a t u s i k ”珊增提出了基于图像的可视外壳( i m a g e b a s e dv i s u a lh u l l s ，i h v h ) ，采 用极线几何与增量计算的原理，从侧影轮廓图像数据中实时绘制动态场景，不同视角的 摄像机采集出不同的图像- 对每一个期望的视角，计算它跟可视外壳的相交射线通过 几何学的求交集操作即可得到可视外壳( 如图1 - 4 所示) 。对期望视角图像的每个像素 进行如下处理：从期望视角经过该像素发出的射线，分别投影到各参考视角平面；然后 计算与前景轮廓的交集；再反投回原射线进行求交集操作得到该像素对应的计算结果， 最终得到期望视角的渲染结果。i b v h 算法实现了每个渲染像素的常量渲染代价，与过 去的体素算法相比，计算复杂度小，分辨率高，并且可以将真实世界的场景与虚拟环境 进行实时台成。但i b v h 算法只是根据已有视直的数据计算和渲染期望视点的场景不 能得到明确的可视外壳模型，因此不适用于实时交互环境。 ( 稻 ”p 固i - 4i b v f i 原理示意图 f i g l 。ll m a g e - b a s e d v i s u a l h u 作为i b v h 的改进，m a t u s i k 【2 目等提出了多面体可视外壳( p o l y h e d r a lv i s u a lh u l l s ， p v h ) 方法，直接从侧影轮廓计算可视外壳的多面体表示，并利用e d g c b i n 数据结构加 速多边形相交计算。该方法是一种独立于视点的描述，且容易利用图像硬件进行快速渲 十目甘m ( 十e ) 沧i 染。对每个参考视点由视点及前景轮廓多边形的边构成视锥而，将其分别投影到其他 相机参考平面，分别进行多边形裁剪，裁剪结果反投剑原视锥面上，再进行求交集操作， 得到的多边形即是p v h 的个面，最终得到p v h 模型，如图i - 5 所示。p v h 算法采用了 祝点相关的纹理映射方法，并且考虑了可见性信息来渲染可视外壳，但这种方法需要复 制视锥的交集操作，并且要求额外的步骤来连接不同的部分，而没有拓扑的保证。 诤 d 圈i - 5p v h 原理示意目 f i g l 5p o l y h e d r a l v b u a l h u l l s 法国i n r i a 的f r 扑c o 口6 】等在p v h 的基础上提出了一种有效、鲁棒的根据图像轮廓来 计算物体可视外壳的精确方法，即精确多面体可视外壳( e x a c tp o l y h e d r a lv i s u a lh u l l s ， e p v i - 1 ) 方法，该方法能够实时地恢复精确的可视外壳多面体。算法分为三个步骤：通 过图像中的边界计算一个粗略的几何外壳，即要得到的模型网格的一些不连接的子集； 通过局部的方向和连接原则遍历相关的视锥交界区域生成缺失的一些表面点；做一 次最后的连接以确定多面体每个面上的平面曲线。e p v h 方法的典型应用是法国i n r i a 构建的g r i m a g e 系统田。2 9 1 ，该系统将多摄像机三维建模、物理仿真和并行执行相结合形 成了一种沉浸式体验系统，主要面向无标定的虚实交互应用。其视频获取系统包括2 5 个 摄像机，连接1 2 台p c 机，摄像机形成2 米2 米x 2 米的空问。一个简化的含4 台摄像机的 g r l m a g e 系统硬件装置如图l 6 所示，- 与p v h 相比e p v h 方法恢复出了较完整的多面体 轮廓，但生成缺失表面点的方法还不完善。 圈1 石g r l m a g e 系绩褪件装置 f i g l - 6g r l m a g es y s t e m 5 第一章绪论 m i l l e r l 3 0 , 3 1 1 等提出的精确的视点相关可视外壳建模方法( e x a c tv i e w - d e p e n d e n t v i s u a lh u l l s ，e v d v h ) 能够高效的计算出给定视点下的精确的可视外壳表面，而不需 要近似的表面表示，同时采用交比加速二维相交计算，提高建模速度。该算法首先获取 原始图像的前景信息，然后提取出边缘轮廓并以图像像素表示；然后对每个原始图像计 算给定视点下的可视外壳表面点，接着计算给定视点下的多视锥相交得到的可视外壳表 面点，采用交比投影不变量和极线几何加速相交计算，最后根据迭代可见性计算方法及 多层深度图，得到e v d 三角面片模型。该算法能够精确表示可视外壳表面，得到的 建模结果与原始图像质量比较接近，但是该方法同i b v h 算法相似，不能够得到完整的 模型，仅给出视点相关的表面模型，同时前景轮廓提取质量对该算法影响较大。 1 2 3 可视外壳的准确性研究 可视外壳是目前对动态物体进行三维建模最常用的方法，可以做到实时，但是该方 法重建的模型存在冗余体，不能准确表示原来的物体，冗余体即属于视锥体的交而不属 于物体本身的部分。在对多个物体组成的场景进行建模时或者待建模的物体结构比较复 杂( 如凹面体) 时，可视外壳建模方法中利用多个视锥体进行求交，由于相机数量较少， 有些区域一些相机照不到或由于物体自遮挡或者相互遮挡等原因导致相机盲区，则获得 的侧影轮廓所反映的物体信息可能不全面，因此锥体求交集时在盲区可能产生冗余体。 可视外壳是根据给定的有限的侧影轮廓图像重建出的场景物体的最合理的近似，能 够直观反映物体的形状信息。但是冗余体的存在降低了重建模型的准确度。因此如何去 除冗余体现象，保证建模质量，成为可视外壳建模方法中的一个研究课题。 在很多去除冗余体的方法中，人们通过增加相机的数量或放置在特殊位置以减少冗 余体的数量和大小，1 9 9 7 年b o t t i n o 等【3 2 】将可视外壳用于人体行为捕捉系统，采用体积交 集技术获得可视外壳体素模型，但是当人体动作比较复杂时，建模结果产生冗余体，可 能影响动作捕捉结果。1 9 9 9 年b u e h l e r 等【3 3 】给出的基于图像的可视外壳建模系统中，当物 体受到遮挡导致部分不可见时则产生冗余体。2 0 0 3 年b o y e r 等【3 4 】提出计算复杂物体可视 外壳的混合方法，该方法采用四面体表示可视外壳体素模型，同时采用d e l a u n a y _ _ = 角剖 分获得表面模型，当复杂物体部分遮挡时产生冗余体现象影响建模质量。上述方法采用 类似的增加相机数量方法避免产生冗余体，但是该方法增加时间和设备耗费，并且不能 保证在现实中可解，因而不能合理有效地去除冗余体。 2 0 0 2 年，g e o r g e 3 5 等在虚拟环境的人机交互系统中，采用可视外壳和空间雕刻相结 6 中国石油大学( 华东) 硕士学位论文 合的方法对虚拟手势建模，建模结果直接用于估计手和手指的状态，而不是将其投影到 二维图像进行误差估计。由于手的模型比较复杂，手指间遮挡比较严重，导致建模结果 出现冗余体，影响参数估计过程。文中可视外壳的大小随着相机数量增加而单调递减， 该外壳可能比凸壳效果更好，也可能更坏，因而建模结果不保证质量，同时采用空间雕 刻可能误删真实物体部分，因而导致建模结果不准确。 2 0 0 3 年y a n g 等f 3 6 j 提出的基于可视外壳的人群检测研究中，首先计算侧影轮廓在二维 平面的投影，然后构建二维可视外壳多边形，当多边形不包含物体时，则产生冗余体， 该冗余体可能导致检测结果错误。该方法根据时空相关性的几何约束，采用启发式方法 通过阈值上下限去除可能的冗余体，但是该方法的可靠性比较差，大的门限值可能将真 实的小物体错误的去除，而与复杂物体相连的冗余体却不能被去除。 2 0 0 3 年c h r i s t i a n 等【3 7 3 8 1 将可视外壳建模应用到人体运动捕捉及自由视点视频合成 中，该文给出的非接触式多视点视频系统灵活多样，将实时提供的高质量真实图像视频 数据用于不同的视觉应用。由于可视外壳建模可能产生冗余体，导致运动捕捉及视频合 成中的匹配过程受到影响，该文结合体积重建和基于颜色的特征跟踪方法去除冗余体， 但该方法限制相机的有效空间，因此场景中的人体运动仅限于局部区域。 2 0 0 6 年s c o r a z z a 等【3 9 】提出的方法将可视外壳建模方法应用于人体运动序列捕捉系 统，该系统需要已知的先验模型的动作，然后得到点云模型表示的人体动作序列模型， 对于可能存在的冗余体，在计算点云模型的过程中，根据给定的代价函数将距离参考动 作点云模型较远的点去除，因而得到不存在冗余体的模型。因此该方法可能将真实人体 部分视为冗余体而错误去除，同时对于真正的冗余部分可能被保留。 2 0 0 6 年s t a r c k t d ：l k i l n e r 等1 4 0 , 4 1 1 根据场景中获取的视频序列重建三维人体表面模型用 于生成自由视点视频，得到人体行为动画序列。该系统中若仅利用侧影轮廓构建三维可 视外壳时可能产生冗余体影响视频质量。2 0 0 7 年k i l n e d 4 2 1 等将该方法应用到部分户外运 动场景视频合成中，其典型应用为灯光和摄像机任意设置的大型露天运动场环境下的运 动视频合成，该系统相机标定和图像分割的不精确可能产生的冗余体现象。2 0 0 8 年 k i l n e r 4 3 1 等给出两种环境下的物体误差检测估计的度量法，该方法用于量化建模质量的 好坏，并衡量相应算法的性能指标。结果表明，可视外壳结合立体视觉的方法不能完全 去除冗余体，只能在一定条件下改善建模质量。 2 0 0 7 年英国萨里大学的g e o r g em i l l e r 等 4 4 1 在不增加摄像机数量的前提下，引入了安 全外壳( s a f eh u l l ，简称s h ) 技术，能够确定可视外壳中的冗余体部分并加以去除。该 7 第一章绪论 方法在i b v h 的基础上，将侧影轮廓划分为安全区域和不安全区域，并对不位于任一相 机的安全区域的可视外壳部分进行剔除，以去除冗余体。该方法能够完全去除建模中产 生的冗余体，但是只重建属于目标物体的表面，不能获得视点无关的完整模型，因而不 适用于交互系统。 2 0 0 8 年b o g o m j a k o v 等【4 5 ，拍】利用深度图像提供的深度信息快速构建深度外壳，由于增 加图像的深度信息，因此该方法建模结果由于可视外壳建模方法。但是这两种方法都可 能存在冗余体现象，导致基于深度图像的新视点视频合成结果不准确，因此文中结合深 度信息和颜色信息进行渲染改善视频质量。但是该方法仅从绘制角度优化，并未去除模 型本身存在的冗余体，而且当纹理较为接近时则渲染结果不能消除冗余体现象。 2 0 0 8 年j a r u s i r i s a w a d 等一7 】将可视外壳建模用于自由视点视频合成中，由于从图像提 取前景轮廓的不准确导致建模结果出现冗余体，在视频合成时则会产生空洞现象。该文 结合图像背景利用颜色一致性信息将冗余体附近的像素颜色插值以消除冗余体，但是当 区域纹理重复或者颜色较接近时该方法不能够有效去除冗余体，并且该方法没从本质上 去除建模产生的冗余体，仅对视频合成结果进行修正。 现有的可视外壳建模方法中，p v h 算法能够直接从轮廓图像实时构建出物体的三维 模型，该方法具有不依赖于视点、易用图形硬件加速、计算速度较快的优点，但是当场 景中包含多个物体或者场景中物体形状为复杂的凹面体时，同样存在冗余体现象。在已 有的基于图像的建模方法中，基于多面体可视外壳方法的冗余体去除技术并没有解决， 因而采用该方法建立出的三维模型可能会不准确。针对该问题，本文给出一种基于多面 体可视外壳的物体准确建模技术，引入安全多面体可视外壳( s a f ep o l y h e d r a lv i s u a lh u l l s , s p v h ) 建模方法，该方法采用现有的p v h 算法构建初始粗略模型，然后引入安全外壳 的思想以完全去除多面体中的冗余部分，提高建模精度，构建出准确的安全多面体可视 外壳，为建模与交互系统提供更加准确的三维模型。 i 3 存在的问题 可视外壳建模方法是目前基于视频图像的动态物体重建的常用方法之一。但是用于 重建的视频图像的数量越多时，计算的复杂度也相应越大。为了达到实时重建的效果， 采集图像的相机数量应尽可能减少，因而建立的模型可能存在冗余体，进而影响建模结 果的准确性。为了去除粗略模型中存在的冗余体，需要解决的实际问题主要有以下三个： ( 1 ) 三维形体的降维计算的问题 8 中国石油大学( 华东) 硕士学位论文 在构建可视外壳的过程中，无论是计算粗略模型的过程，还是优化模型的过程，均 需要进行大量的三维相交计算。因此，如何采用几何投影、极线几何和增量运算把三维 相交计算投射到二维平面来降低相交计算的复杂度，成为亟待解决的关键问题。 ( 2 ) 粗略模型的区域划分问题 对于已经构建出的粗略模型，由于可能存在的冗余体导致模型的不准确性，因此需 要对模型进行优化，则首要的问题就是判断该模型是否存在冗余体，若存在则如何区分 出模型的冗余部分和非冗余部分。 ( 3 ) 多面体的分割与合并问题 由于构建的粗略模型采用多面体表示，因而去除模型的冗余部分时首先需要将多面 体分割，然后将剩余的多面体块合并即得到优化后的准确模型，因此如何快速有效分割 合并多面体也是本文要解决的重要问题。 1 4 研究内容 基于视频图像的建模技术是计算机图形学、计算机视觉、虚拟现实等领域重要的研 究内容。而如何既尽量保证建模速度又提高建模的准确度，成为该研究领域的难点。本 文针对基于图像建模的国内外现状，围绕可视外壳建模技术以及建模的准确性方面进行 了深入系统的研究。本课题结合可视外壳建模思想和极线几何基本方法，研究一种消除 多面体可视外壳中冗余部分的建模方法，提高基于视频建模的准确度；同时利用多面体 可视外壳构建方法和消除冗余体方法，实现安全多面体可视外壳的建模，并应用到基于 视频的建模与交互系统中。本课题的主要研究内容包括： ( 1 ) 构建多面体可视外壳p v h 粗略模型 对场景中的三维物体建模，即采用p v h 建模方法建立物体的粗略模型。该方法采 用e d g e - b i n 结构加快建模速度，同时采用几何投影技术及极线几何原理将三维相交计 算转化为二维平面的多边形相交计算，得到面片表示的几何模型，然后计算模型的可见 性，并将纹理映射到该模型上，最后绘制出物体的p v h 模型。 ( 2 ) 构建安全多面体可视外壳s p v h 准确模型 对己构建的p 、m 粗略模型，判断该模型的冗余部分与非冗余部分，去除可视外壳 中的冗余体，得到s p v h 准确模型。该方法将三维模型投影到二维平面进行区域划分， 再利用反投影获得多面体的冗余部分与非冗余部分，然后通过剔除冗余部分，合并剩余 部分的多面体，得到准确多面体几何模型，然后计算可见性并进行纹理贴图，得到最终 9 第一章绪论 的准确s p v h 模型。 ( 3 ) 方法验证及应用 将本文方法的实现添加到北京航空航天大学虚拟现实技术与系统国家重点实验室 ( 简称北航v r 实验室) 的基于视频的实时建模与交互系统中，验证方法的正确性，并 进行实验数据和方法的对比。 1 5 论文组织 本文共包含六个组成部分，按从理论到实践的流程进行表述。 第一章绪论。首先介绍本课题的来源及意义，然后从基于图像的建模技术、可视 外壳建模方法及建模的准确性研究等方面阐述该课题的国内外研究现状，并由此得出本 课题要解决的关键问题，最后阐述本课题的主要研究内容。 第二章可视外壳建模技术。首先描述三维重建数据获取的关键步骤，然后描述可 视外壳建模方法的数学表述及安全外壳建模思想，接着论述几何投影及极线几何原理， 该技术降低本文提出的建模方法的复杂度，最后简单介绍纹理映射相关内容。 第三章安全多面体可视外壳建模。首先阐述了p v h 建模方法的基本思想，将三维 求交集计算转化为二维计算，采用e d g e b i n 结构及改进的多边形裁剪算法优化该建模方 法，得到p v h 模型；然后详述本文提出的s p v h 建模方法及相关优化；最后给出可见性 计算及纹理映射方法，得到s p v h 准确模型。 第四章可视外壳建模应用。主要将本文给出的算法应用到自由视点视频合成系统 及虚实交互系统中，通过构建准确的可视外壳模型，实现视频图像的前景模型与背景图 像的结合，去除视频合成中可能存在的冗余体，同时得到较好的虚实交互演示效果。 第五章实验结果与分析。阐述该方法的流程，然后将该方法应用到仿真建模系统 及物理建模系统中，对其进行实验验证，并对实验结果进行比较分析。 第六章总结与展望。对本文研究工作进行简要的总结，并指出需要进一步研究和 解决的问题。 1 0 中国石油大学( 华东) 硕士学位论文 2 1 引言 第二章基于视频图像的可视外壳建模技术 基于视频图像的三维重建是利用获得的视频图像恢复出物体的三维模型，可以视为 摄像机拍照的逆过程。由于图像中含有丰富的信息，除了颜色、特征点外，最明显的就 是侧影轮廓信息，即在图像平面上将物体与背景分割开来的边缘部分，它随着视角的变 化而对应物体表面上的不同方向的轮廓线。而利用视频图像中的侧影轮廓信息重建三维 物体的方法即为基于侧影轮廓的重建技术，由于该方法利用体积交集技术最终得到的模 型为物体的可视外壳表示，因此该方法也叫做可视外壳建模方法 5 , 9 1 。 可视外壳建模方法具有稳定性好、鲁棒性强、建模速度快、算法易实现等优点，因 此该方法被广泛应用在各种建模和交互系统中1 3 , 8 1 。但是该方法也存在一些自身的问题， 当摄像机数量较少时，多个物体间的互遮挡或复杂物体的自遮挡导致侧影轮廓信息不完 整，使得构建的模型存在冗余体，而安全外壳技术能够在不增加相机数量的基础上去除 冗余体，使得建模结果更准确；同时该方法对摄像机的标定参数和轮廓提取的精度误差 十分敏感，因而需要充分利用摄像机成像模型及轮廓提取过程保证建模的输入数据的合 理性；由于该方法仅获得物体的近似表示，若图像数量比较少则近似模型比较粗糙，因 此需要增加图像数量得到精细的物体模型，但是这样会导致计算速度减慢，因而需要考 虑采用几何