（计算机应用技术专业论文）基于图像的虚拟场景建模和绘制方法研究.pdf

基于图像的虚拟场景建模和绘制方法研究：摘要 摘要 l 基于图像的建模和绘制技术( i b m r ) 是9 0 年代初兴起的一种全新技术。与传统的 图形绘制技术相比，i b m r 避免了复杂的手工建模过程，图形绘制速度更快，绘制效果 具有照片级真实度，这些优点使得i b m r 在图形学领域得到深入的研究和广泛的应用 本文探索i b m r 技术的新方法以及对原有方法的改进，以推广该技术在实际中的应用。 ( 总结已有的基于图像绘制( i b r ) 技术，可以发现以全光函数为中一心的i b r 技术都 假设静态场景，将时间参数t 简化，导致我们无法描述场景中动态的部分。针对这一缺 陷，一 本文介绍一种用于动态场景的全景表示方法，将视频纹理和全景图结合起来，构造 动态全景图。定义动态全景图的全光函数表示为p = 尸( 口，妒，f ) ，其中( 目，) 为视线方向，t 为时间分量。由于视频纹理只适用于表示周期和随机运动的物体，不能完全表达全光函 数中的时间参数t ，因此这种静态全景图与视频纹理相结合的全景表示方式并不是真正 意义上的动态全景图。但是，考虑到场景中只有重复发生的事件才是用户的感兴趣区域， 因此视频纹理的引入，使动态全景图既保持全视角漫游的优点，又具有动态的特征，极 大增强了漫游系统的真实感。 与i b r 将场景作为光场采样不同，基于图像的建模( i b m ) 技术从图像中提取场景 的几何和纹理信息，这些信息对于某些虚拟现实的应用是必不可少的，如足球比赛场景。 人们在观看电视转播的足球比赛时，总是希望根据自己的喜好调整视角。如果能够恢复 比赛场景的三维模型，就可以让用户在足球场上任意漫游，选择最有利的视角观看比赛。 只有借助i b m 技术，才能实现这样的功能才本文介绍一个基于视频的足球比赛场景三 维重建和自动解说系统，通过比赛的视频序列恢复场景的三维模型，包括球员的位置、 速度等参数以及足球的运动轨迹。根据特定的规则，识别球员的动作行为，对比赛过程 进行自动解说。进而生成动画，重现精彩的比赛片断。 随着用户界面的重要性与日俱增，基于认知的交互技术成为图形学的一个前沿课 题。由于视觉是人类从外界获取信息的主要器官，我们希望计算机视觉能够在人机交互 技术中发挥重要作用。卞本文介绍一个基于视觉的手势交互系统，可以替代鼠标用作输入 设备。f 系统通过桌面上方吊起的摄像机捕捉用户的手势图像，经过分割、特征提取，识 别用户的手势命令。与前人的工作不同，该系统仅使用一个摄像机实现手势识别和跟踪。 系统已经作为输入设备应用到计算机游戏、虚拟现实的漫游导航和数字手势识别中。实 验表明，基于视觉的手势交互技术是一种自然、舒适、符合人体感官的用户界面，使计 算机更加容易使用一 本文最后介绍三个i b m r 技术的有趣应用，包括图像之问的颜色变换方法，通过汁 算罔像的统计信息变换图像之问的颜色，使得两幅图像看起来是在相同的光照条件下拍 摄的；画叶】游技术，实现基于单幅图像的漫游系统，用平行线灭点与图像角点构成的会 字塔近似场景模型；用1 二竞技体育的运动捕捉和分析系统原型，采用人工判读方式从视 基于留像的虚拟场景建模和绘制方法研究：摘要 频序列中提取主垡皇，重建人体的三笙堡型? 关键词：基于图像的建模和绘制，动态全景图? 三维重建，人机交互技术? 运动捕捉和 分析 a ；、锄如。 ! 翌矍! ! 竺! ! 竺! ! ! ! ! 坚竺! 竺! 生! ! ! g ! ! ! ! 璺! ! ! ! ! ：! 竺! 竺! ! ! ! 垒! ! ! 坚 i m a g e b a s e dm o d e l i n ga n d r e n d e r i n g f o rv i r t u a ie n v i r o n m e n t a b s t r a c t w e id u ( c o m p u t e r a p p l i c a t i o nt e c l l l l o l o g y ) d i r e c t e d b y h u a l i i m a g eb a s e dm o d e l i n ga n dr e n d e r i n g ( i b m r ) i sar e l a t i v en e wf i e l d ，w h i c hh a sb e e n “s i n gw i t h 山ed e v e l o p m e n to fb o mc o m p u t e r 伊a p h i c sa i l dc o m p u t e rv i s i o ns i n c e 19 9 0 s c o m p a r e dw j m t r a d i t i o n a lg e o m e n y - b a s e dg r a p h i c s ，i b m rd e r i v e st 1 1 em o d e l s ，t e x t l l r e sa n d a p p e a r a i l c e so fs c e n ef r o mr e a lp h o t o g r a p h s ，a 1 1 dn e wr e i l d e r i n g s c a l lb es ”t h e s i z e d 行o m p r e v i o u ss t o r e di m a g e s i ns u c haw a y ，t e c l m i q u e so f i b m ro f k na i l o wf o rs h o r t e rm o d e l i n g t i m e s ，f a s t e rr e n d e r i n gs p e e d s ，a i l du n p r e c e d e n t e dl e v e l so fp h o t o r e a l i s m d u et o t h e s e a d v a n t a g e s ，i b m rh a v e b e c o m eah o ti s s u ea 1 1 da n 豫c t e dm a n ya n e n t i o n s o f 伊a p h i c s r e s e a r c h e r sr e c e m l y t h i sd i s s e r t a t i o np r e s e m ss o m er e s u l t so fe i m e rn e w t e c h n o l o g i e so rt h e i m p r o v e m e n t so f p r e v i o u s 、o r k si nt h i sf i e l d a f t e rs u m m a r i z i n ga l l p r e v i o u sw o r k so fi m a g e - b a s e dr e n d e r h l g ( i b r ) ，w ef i n d t h a t t h o s et e c h n o l o g i e sb a s e do np l e n o p t i c 翩c t i o na l w a y s 髂s 岫es t a t i cs c e n et oi g n o r et h et i m e p a r a m e t e rf ，l o s i n g t h e a b i l i t yo fd e s c r i b i n gm o v i n go b j e c t s 1 bs o l v e m i sp r o b l e m ，t h e d i s s e n a t i o ne m p l o y san o v e lp a n o r a m i cr 印r e s e n t a t i o nf o rd y n a m i cs c e n e ，w h i c hi sc a l l e d d y n a m i cp a n o r 锄a t h i sk i n do f n e wm e d i ai sc o n s t m c t e di nt h r e es t e p s f i r s t ，c o n v e m i o n a l s t a t i cp a n o r 锄ai sc o n s t r u c t e df 而mas e q u e n c eo f i m a g e s a d o m i n a n tm o t i o ne s t i m a t i o na i g o r i t h mj s u s e dt or e g i s t e ri m a g e s ，a n de mm e t h o di sa d o p t e dt os e p a r a t em o v i n go b j e c t sf b mt h es t a t i cb a c k g r o u n d t h e n ，s o m em o v i n go b j e c c sa r ec a p t u r e di n t ov j d e oc l i p s ，a n dt h es ”t e mc o n v e r t st h e s ev i d e oc l i p si n t o v i d e ot e x t u r e sa tl a s t ，v i d e ot e x t u r e sa r er e g i s t e r e dw i t hs t a t i cp a n o r a m aa n db o t ha r ec o m b i n e di n t oa c o m p a c tr e p r e s e n t a “o n t h e r e f o r e ，t h ep l e n o p t i c 劬c t i o no fd y n a m i cp a n o r a m ai sd e f i n e da s p = p ( 曰，妒，) ，w h e r e ( 臼，) i sv i e wd i r e c t i o na n dri st i m ep a r a m e t e ls i n c ev i d e ot e x t u r ei s s u i t a b l ef o rr a n d o mo rp e r i o d i cm o v i n go b j e c t sw h i c ha r ea l w a y st h ei n t e r e s t i n gs p o t sf o r u s e r s ，d y n a m i cp a n o r a m ac a ni n f u s e sj m a g em o s a i c sw i t hd y n a m i cq u a l i t i e s ，w h i i ek e e p i n gt h e a d v a n t a g e so f p r o v i d i n g f u i lv i e wo f s c e n e ( f u l l3 6 0d e g r e e ) d i f 论r i n gf r o mi b r ，i m a g e - b a s e dm o d e l l n g ( i b m ) t e c h n o l o g i e sd e r i v e 行o mp h o t o g r a p h s t h eg e o m e t r i cm o d e i so ft h es c e n e ，w h i c ha r en e c e s s a r yf o rt h ea p p l i c a t i o n so fv i r t u a lr e a l i t y s u c ha ss o c c e rs c e n e w h e nw a t c h i n gt h el i v es o c c e rm a t c ho nt v p e o p l ew i s ht oe n j o yt h e m a t c hf r o ma n yv i e w p o i n t ，f o re x a m p l ea tt h ep o s i t i o no ft h eg o a l k e e p e r h o w e v e lv i d e o s e q u e n c ei sc a p t u r e da tn x e dp o s i t j o n ，o n l yb yr e c o n s t r u c t j n gt h e3 dm o d e jw i t ht e c h n o l o g j e s o fi b mc a nw ew a l k t h r o u 曲i nt h es o c c e rs c e n ea r b i t r a r j i y t h e d i s s e n a t i o n p r e s e n t s a l i i ! 竺! 壁! ! 苎璺! 竺! 壁! ! g ! ! ! ! ! ! 璺! ! ! ! 呈! 竺：! 璺! ! ! ! ! ! ! 竺! 竺! 坠i 垒! ! ! 翌! ! p r a c t i c a ls y s t e mt o c o n v e nav i d e os e q u e n c eo fs o c c e rg 锄ei n t oa na n i m a t e dv i n u a l3 d s c e n e t h es y s t e mf i r s te x t r a c t sp l a y e r si ne a c h 行a m ew i mac o l o rb a s e ds e g m e n t a t i o n a l g o r i t l l r n a n dt e m p i a t em a t c h i n gm e m o dt h ep o s i t i o n so fp l a y e r so nt h ef i e l dp l a n ea r e c o m p u t e df r o m 山er e c t m e dm o s a i c s ，a 1 1 dak a l m a n6 l t e ri s u s e dt or e m o v en o i s e s p e c i a l p r o c e s ss h o u l db ea p p l i e d t ot h ec 嬲eo ff o o t b a l l i na i rb e c a l l s e l eh e i g h to fb a l l i su r l k n o w n b ya s s 啪i n g t h ec u r v eo f b a l li na i ri sap a r a b o i a ，t h eh e i g h to f b a i ii sr e c o v e r e db ya s i m p i e p a r a b o l a 印p r o x i m a t i o na l g o r i t h n l t h e n ，a c c o r d i n gt om et m j e c t o r yo fp l a y e r sa n db a l l ，t h e s y s t e mr e c o g n i z e st 1 1 eb e h a v i o r so fe a c hp l a y e ra f l dc o m m e n t so nt h eg a m ea u t o m a t i c a l l y a t l a s t ，am 衄i n gm o t i o ns c h e m ei sa p p l i e st ot h ep l a y e r s i nt h e i r r e s p e c t i v ep o s i t i o n s a 1 1 d g e n e r a t e sc o m p u t e rg m p h i c sa n i m a t i o n 疔o ma i l yv i e w p o i n t s e l e c t e db yau s e r i nt h en e l do fi m e r a c t i v e g r a p | l i c s ，c o m m u i l i c a t i o n b e t w e e nh u m a na n dc o m p u t e r b e c o m e sm o r ea i l dm o r ei m p o r t a n t s i n c ev i s i o ni st l ep r i m a r yw a y b yw t l i c hh u m a nb e i n g s r e c e i v ei n 内肌a t i o n 疗o mo u t e r 、v o r l d ，w ew i s hc o m p u t e rv i s i o nc o u l dp j a yal e a d i n gr o j ei n t t l ea r e ao fl l s e ri n t e 如c e t h i sd i s s e r t a t i o na l s od e s c r i b e sar e a l - t i m e s y s t e m f o r h u i 咖一c o m p u t e rm t e r a c t i o nm r o u g hg e s t u r er e c o g i l i t i o na n dh a n dt r a c k i n g s t a b l ed e t e c t i o n c a nb ea c h i e v e db ye x t r a c t i n gt 、v ok i n d so ff 色a t u r e s ：s t a t i s t i c _ b a s e df b a t l l r ea i l dc o n t o u r b a s e d f e a “l r e u n l i k em o s to fp r e v i o u sw o r k s ，o l l rs y s t e mr e c o 辨i z e sl l a n dg e s t u r ew i m j u s to n e c 锄e r a ，t h u sa v o i d st h ep r o b l e mo fm a t c h i n gf e a t u r e sb e t 、e e nd i 仃b r e mv i e w s t h i ss y s t e m c a ns e ea san a n l r a la i l dc o n v e i l i e mu s e ri n p u td e v i c e ，r e p l a c i n gm o u s ea n d 廿a c k b a i li nt h e a p p i i c a t i o n so f c o m p u t e rg 栅e s ，v i r t u a lr e a i i t ya n dd i g “a lg e s n l r er e c o g n i t i o n f i n a l l y ，t h ed i s s e n a t i o ni n t r o d u c e st 1 1 r e ei m e r e s t i n ga p p l i c 砒i o i l so fi b m rt e c l l l l o l o g i e s ， i n c l u d i n gc o l o rt r a n s f e rb e t w e e ni m a g e s ，t o u ri m ot h ep i c t u r ew i t ho i l l y o n ei m a g e ，a 1 1 d m o t i o n c a p t u r ea n da i l a l y s i sf o rs p o n s k e ) w o r d s ：i m a g eb a s e dm o d e l i n g 觚dr e n d e r i n g ，d y n a m i cm o s a i c s ，3 dr e c o n s t m c t i o n ， h u n a nc o m p u 把ri n 把r 旨c “o n ，m o d o nc 印c u r ea r l da f l a i y s i s v 本文1 ：作得到下列项口资助 国家重点科技( 攻关) 计划项目 国土资源管理及相关信息系统研究 专题：濒危珍贵文物信息的计算机存储与再现系统 项目编号：9 6 9 2 0 0 2 一0 4 因家重点基础研究发展规划( 9 7 3 ) 项日 数学机械化与自动推理平台 项目编号：g 1 9 9 8 0 3 0 6 0 8 中利院知识创新工程前沿研究项目 数字化人体的若干关键技术研究 项闷编号：2 0 0 0 6 】6 0 数字化三维虚拟人关键技术 项目编号：2 0 0 1 6 1 9 0 ( c ) 闺家高技术研究发展计划( 8 6 3 ) 项日 数字化虚拟人体若干关键技术 项日编弓：2 0 0 1 a a 2 3 1 0 3 1 1 一科院计算所领域前沿青年创新基金项日 足球场景的三维重建和动画生成 项| _ j 编弓：2 0 0 0 6 0 6 0 足球比赛的战术分析和自动解说 顼| | 编号：2 0 0 1 6 2 8 0 13 独创性声明 本人声明我所呈交的论文是我个人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本 文所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 作者签名：赤l 试 日期：仞。2 、6 、乒 关于论文使用授权的说明 中国科学院计算技术研究所有权保留送交论文的复印件，允许论文被 查阅和借阅；并可以公布论文的全部或部分内容，可以采用影印、缩印或 其它复制手段保存该论文。 储鹳：槭刷磁氢乏诱嘲一乒 第一章序言 第一章序言 本章前两节简要介绍课题的背景以及建模方法的发展历史。后两节则是本文工作内 容及后续章节的安排。 1 1 背景 自2 0 世纪6 0 年代诞生以来，图形学的一个基本目标是追求照片级的真实度。早期 的二维图形学通过绘制直线的透视投影获得深度感。线框图过于简单，引发了人们对实 体表面的需求，从而推动消隐算法的发展。明暗处理则为物体表明带来变化的亮度级， 模拟了光源照亮物体的效果。阴影计算产生影子互相投射的效果，进一步增强了绘制的 真实感。曲面造型技术扩展了可以表示的物体的范围，借助各种造型工具我们可以生成 复杂物体的模型。8 0 年代出现的光线跟踪和辐射度算法真正使我们绘制出照片级真实度 的效果。 建模和绘制工具的发展对图形技术的应用产生不可估计的影响，受益最多的当属影 视制作。2 0 0 1 年好莱坞大片最终幻想，7 5 以上的画面是用最新的电脑动画完成的， 图形技术使片中动画人物的逼真程度达到前所未有的水平，连皮肤的纹理和衣服的褶皱 这些细节部分都丝毫不马虎。然而，创建逼真的复杂模型需要巨大的耐心和技巧，绘制 可以乱真的视觉效果更是费时费力。以最终幻想为例，该片耗资l 亿5 0 0 0 万美元， 共动员上百名漫画家和电脑技师进行绘画和动画设计，历时四年时间才完成。现代的图 形技术，正如p a u ld e b e v e c 在1 9 9 9 年s i g g r a p h 会议的课程上指出的：“建模是艰难 的，绘制是缓慢的，结果导致达到真正照片级真实度极端困难”。( m o d e i i n gi sh a r d ，a 1 1 d r e n d e r i n gi ss l o wa sar e s u l t ，a c h i e v i n gt n l l yc o m p e l l i n gp h o t o r e a l i s mi se x t r e m e l yd i 衢c u l t ) d e b e v e c1 9 9 9 】 正是在这一背景下，基于图像的建模和绘制技术( i m a g eb a s e dm o d e l i n ga n d r e n d e r i n g ，简写i b m r ) 应运而生。该技术分为两部分，基于图像的建模( i m a g eb a s e d m o d e j i n g ，简写i b m ) 和基于图像的绘制( i m a g eb a s e dr e n d e r i n g ，简写i b r ) 。基于图 像的建模，从严格意义上说，属于计算机视觉的研究范畴，是视觉技术在图形学领域的 应用，目标是通过图像提取场景的几何模型、纹理、光源信息、物体表面的反射属性等， 使场景建模更加容易。基于图像的绘制通过一些预先获得的图像来生成新视点处的场景 画面，使场景绘制更加快速。图1 1 、1 2 分别给出传统的几何绘制流程和基于图像的建 模和绘制流程。 ，菇h 。i 塑壁兰堕坚! ：兰堡堡兰二二苎堕堡塑生型塑墨壁堡塑竺型塑鲨竺! ! h i i k i c i l l l o 图1 2 基于图像的建模和绘制【d e b e v e c1 9 9 9 】。 i b m r 技术兴起于2 0 世纪9 0 年代初，在最近几年获得广泛关注( 9 8 年的s i g g r a p h 会议上出现了i b m r 和i b r 两个主题的分会，共计8 篇文章) 。主要得益于该技术绘制 时不需要完整的传统图形模型支持，最大程度地利用图像信息提高工作效率。例如，设 想我们正在构造故宫的虚拟现实系统。按照传统的图形绘制流程，我们需要找到故宫的 建筑图纸，根据图纸构造故宫的三维模型，对于细致的雕梁画栋还要手工建立。在赋予 每个表面合适的反射属性以后，我们可以绘制不同光源照射下故宫呈现的图像，需要消 耗大量的计算资源。 相反，运用i b m r 技术，我们首先拍摄一系列故宫的照片。静止照片是真正照片级 真实度的绘制，但是不能移动视点、转换视线方向以及与场景中的物体交互。i b m r 技 术从图像中挖掘出我们所需要的场景信息，包括故宫的建筑结构和各种纹理信息，以某 种方式例如全景图、光场或几何与图像的混合等，将它们组织起来。这样我们就可以通 过预先拍摄的图像生成新视点的视图，在虚拟的故宫场景中漫游。与传统的图形绘制技 术相比，i b m r 不但可以免除繁杂的手工建模操作，缩短绘制时间，还带来了图形学梦 寐以求的照片级真实度，是近几年图形学的研究热点。本文工作正是在这一背景下展丌 的。 1 2 建模方法分类 建模是图形绘制的基础，伴随图形学的发展而逐渐完善成熟，至今已有4 0 年历史。 我们大致可以把已有的建模技术分为三类：几何建模、高级建模技术和基于图像的建模。 兰种方法的发展阶段相互交错，如几何建模诞生于2 0 世纪6 0 年代，至今仍有新的研究 第一章序售 热点不断涌现。 12 1几何建模 由于工程设计的需要，特别是航空航天、汽车、造船等现代工业，适合于计算机辅 助几何的曲面造型技术在六十年代迅速发展起来，出现了现在称为计算机辅助几何设计 ( c a g d ) 或自由曲面造型的学科【朱心雄2 0 0 0 】。这一学科主要研究几何形状的计算机 表示、分析与综合，f o r r e s t 曾把它称为计算几何( c o m p u 协t i o n a lg e o m e 打y ) 。早期较为 著名的自由曲面有c o o n s 曲面、b e z i e r 张量积曲面、f e r g u s o n 曲面等，后来又逐渐发展 起b 样条曲面、非均匀有理b 样条曲面( n u r b s ) 。这些参数曲面具有许多适合计算机 图形需要的特点：诸如形状不依赖坐标系的选取，便于交互控制，容易离散生成，造型 灵活和易于拼接等。 隐式曲面【陈长松2 0 0 0 】是另外一种曲面造型工具，由于不易显示和交互设计，早期 没有得到太多应用，但它能表达更广的曲面类型，在曲面求交、变形、布尔操作方面具 有优势，因此目前又成为热门领域。隐式曲面简单地说就是由方程f ( z ，y ，z ) = 0 确定的 曲面。根据用途可分作三大类：用于计算机辅助几何设计的代数隐式曲面，用于计算机 动画的m e t a b a i l 模型和为了便于求交之类的几何操作而引入的函数表示的隐式曲面。目 前隐式曲面的研究集中在造型、交互设计、绘制、动画以及与参数曲面相互转化等方向。 子分曲面 李桂清2 0 0 1 也是曲面造型中一个非常有吸引力的方向，它的基本思想 是，在给定的初始网格基础上，使用一定的规则，这种规则称为子分模式( s u b d j v i s i o n s c h e m e ) ，利用原来的网格点进行加权平均生成新的网格，不断重复，网格会变得越来 越细密，其极限是有一定光滑度的曲面。它最早始于c l l a i b n 和c a t h l u l l 在1 9 7 4 年的工 作。进入8 0 年代之后，由于几何对象愈趋复杂，多分辨分析应运而生，而子分模式与 多分辨率技术有着内在的联系，因此，各种子分模式相继被提出。同时它在工业设计、 多分辨率编辑、计算机动画、三角网格简化等都有用武之地。 1 2 2 高级建模技术 几何建模方法都是基于e u c l i d 空间的，而且对物体的表面光滑性有较高要求，形状 也比较规则。但有些自然景观如草木、山峦、云雾却形态万千，表面也呈现不规则不光 滑等特征，还有一些现象如喷泉呈现出一种随时间流动的特质，另一些非冈小陛物质如绳 子、布等其形态则受重力影响而变形。所有这些都不适合用传统的曲面造型理论来解决， 因此相继出现了分形几何( 胁c t a lg e o m e t r y ) 、粒子系统( p a n i c l es y s t e m ) 、基于物理的 建模( p h y s i c a l l y b a s e dm o d e l i n g ) 等新的建模方法。 分形技术 齐东旭1 9 9 4 】常用于构造自然景观。分形有两个基本特征：具有无限细节： 县有自相似性，即局部特征与全局特征存在某种相似性。典型的例子是象海岸线这样的 图形，它在任意短的部分都有丰富的细节，而它的每一部分细节，都与整体类似曲 中闫科学院博卜 位论文摹十恻像的虚拟场景建模和绘制方法f d f 究 曲折折。造型时，一般使用一个过程来描述分形物体，该过程为产生物体局部细节指定 一重复操作。自然景物，理论上用重复无限次的过程表示，事实上图形显示仅用有限步 生成。 粒子系统f f o l e y1 9 9 0 】适合于描述具有类似流体性质的物体，特别是象波浪、火焰等 随时间而变化的景象。整个场景由大量的“粒子”组成。这些粒子可以是球体、椭球体、 长方体；它们有各自的生命周期：它们都是随机生成的：它们的参数( 如大小、透明度、 颜色) 随时间改变。粒子系统的绘制规则比较简单。由于粒子系统产生的粒子数量非常 庞大，用现有的任何一种光照模型都不太可能完成，因此，目前只是根据所模拟的对象 给粒子赋某种颜色，并且在其沿路径运动的过程中改变颜色。 图形学的主要目的是展示物体的形状，并不太关心这种形状是怎么造成的，只要结 果“象”就行。但很多情形不关心怎么造成，就难做到“形象”，例如流水、衣服的摆 动，只有建立物理模型才能较为准确地确定其形状，这就是所谓的基于物理的建模。它 的主要思想是将物体的物理特性加入到几何模型中，通过数值计算进行仿真，物体的行 为由仿真过程自动决定。常用的物理模型是在原始网格模型的基础上对网格边赋予弹性 ( 弹性网) ，当受到外力作用时网格顶点的新位置由受力情况决定。与传统的动画技术 相比，基于物理的建模方法要复杂的多，但是对自然现象的模拟更加逼真，在最近十年 成为图形学炙手可热的分支【徐迎庆1 9 9 7 】。 1 2 3 基于图像的建模和绘制 如本章第一节所述，i b m r 是9 0 年代初兴起的一种全新技术，集成了图形学、计 算机视觉、图像处理等多个分支的研究成果而发展起来。与传统的手工建模技术不同， 该技术从图像中自动提取场景的几何模型、纹理和物体表面反射属性等，从而避免了复 杂的建模过程。在绘制时，通过一些预先获得的图像来生成不同视点处的场景画面，因 此避免了消隐和光亮度计算。而且，从真实图像中直接获取场景细节信息，使得绘制的 图像具有照片级的真实度。由于这些优点，i b m r 技术从诞生起就倍受图形学研究人员 的关注，本文工作也属于这一热门研究领域，后面章节将详细介绍。 1 3 本文内容 1 3 1 研究目的 由于基于图像的建模和绘制( i b m r ) 技术具有不需要手工建模、绘制速度快、图 像真实度高等优点，使得i b m r 在图形学领域得到深入的研究和广泛的应用。但是，要 进一步拓广i b m r 技术的应用范围还有很多工作要做。例如，动念场景的表示、稳定的 三维重建算法、几何与图像的混合、运动捕捉和分析技术等等。因此，本文的研究目的 是探索i b m r 技术的新方法以及对原有方法的改进，以推广该技术在实际中的应用。 第一章序言 1 3 2 本文的贡献 本文对基于图像的建模和绘制的原理与机制作了深入的研究，针对前人工作的不 足，所做工作具有下列贡献。 针对传统全景图无法表示动态场景的缺点，提出种用于动态场景的全景图表示方 法，将视频纹理和全景图结合起来，构造动态全景图，在一定程度上等价于引入全光函 数中的时间分量。 设计和开发了个实用的足球场景三维重建系统，通过比赛的视频序列恢复场景的 j 维模型，包括球员的位置、速度等参数和足球的运动轨迹，允许用户在足球场上任意 漫游。根据特定的规则，识别球员的动作行为，对比赛过程进行自动解说。进而生成动 画，重现精彩的比赛片断。 设计和开发了一个基于视觉的手势交互系统。该系统通过桌面上方吊起的摄像机捕 捉用户的手势图像，经过分割、特征提取，识别用户的手势命令。与前人的工作不同， 该系统仅使用一个摄像机实现手势识别和跟踪。手势交互系统已经作为输入设备应用到 计算机游戏、虚拟现实的漫游导航和哑语识别中。 通过计算图像的统计信息，变换图像之间的颜色，使得两幅图像看起来是在相同的 光照条件下拍摄的。 实现一个基于单幅图像的画中游系统。与前人工作不同，不需要重构场景的几何模 型，只需要指出灭点的位置。由灭点与图像角点构成的金字塔近似场景模型。当用户视 点在小范围内移动时，漫游效果很好。 实现一个用于竞技体育的运动捕捉和分析系统原型，采用人工判读的方式从视频序 列中提取关节点，重建人体的三维模型。 1 4 本文内容组织 第一章也就是本章主要介绍本文工作的背景以及本文贡献。 第二章综述i b m r 领域的主要研究成果，其中在i b m 领域主要介绍基于点的重建 方法、体重建技术和从图像中获得表面细节的方法，在i b r 领域介绍各种不同维数的全 光函数表示，最后介绍几何与图像的混合技术。 第三章介绍背景知识，主要是一些经典的视觉技术，包括摄像机定标、k a j m a n 滤 波、e m 估计和背景建模，它们在本文工作中反复用到。 从第四章到第六章依次介绍本文的三个主要工作，包括动态全景图、基于视频的足 球场景三维再现和基于视觉的手势交互技术。 第七章介绍博士期间的一些辅助工作，包括图像之间的颜色变换方法、画r 】游技术 以及运动捕捉和分析技术。这三个工作都很小，其中第三个工作只完成了一个原型系统， 因此占用较少的篇幅。 第八章也是最后章回顾本文所讨论的内容，并对将来的工作提出一- 些设想。 中圈f 学院博i 学位论文基十闰像的虚拟场景建模和绘制方法研究 本文算法生成的图像在正文中以灰度图像出现。为了更好地观察图像图形效果，把 第4 7 章部分图像的彩图作为附录列于相应章节的后面。为查阅方便，彩图按顺序排列 且每幅图的标号与正文相同。 6 趣矗+ 沁 璺三兰苎主塑堡塑垄堡塑竺型垫查堡堕一 第二章基于图像的建模和绘制技术综述 本章全面综述基于图像的建模和绘制技术( i b m r ) 的研究状况，讨论i b m r 中的 理论和应用技术问题。 21 基于图像的建模 基于图像的建模( i b m ) 研究如何从一幅或几幅图像中恢复场景的三维模型、纹理 和表面细节，是计算机视觉的主要内容。近几年，需要真实模型的应用与日俱增，例如 在图形学的应用中，逼真几何模型是得到照片级真实度绘制效果的前提条件。尽管各种 捕捉场景三维模型的设备相继问世，如高精度的3 维扫描仪误差可以达到毫米级( 图2 1 给出用i n s p e c k 公司的三维扫描仪得到的人脸模型) ，i b m 技术仍然提供了一种低成本的 获取几何模型的方式，应用更加广泛。本节介绍几种经典的i b m 技术，包括基于点的 重建技术、基于体素的重建技术和从图像中提取表面细节的方法。 图2 1 用l n s p e c k 公司的三维扫描仪得到的人脸模型。扫描仪的详细说明参见h t t p ：、v w w i n s p e c k c o m 。 2 1 1 基于三维点的重建方法 基于点的重建方法是计算机视觉的经典研究内容，包括立体视觉( s t e r e ov i s i o n ) 、 从运动中恢复结构( s t r u c t u r ef r d mm o t i o n ) 、从明暗变化恢复形状( s h 印ef r o ms h a d i n g ) 以及光度测量立体视觉( p h o t o m e t r i cs t e r e o ) 。 立体视觉( s t e r e ov i s i o n ) 根据计算机视觉的基础知识，当物体表面的一个点成像于两幅图像上，像点位置存 在一个偏差，被称为视差或光流场，视差的大小反比与物体到视点之间的距离。因此， 给定已知视点拍摄的两幅图像及点的对应关系，可以根据空间中的一个三角形求出点的 三维坐标一一摄像机光心与点在对应图像上投影的连线以及光心之间的连线构成一个 中同科学院博i 学位论文t 甚于图像的虚拟场景建模和绘制方法研究 二：角形，如图2 2 所示。 图2 2 立体视觉 p o l l e f e y s2 0 0 1 】。 这种方法需要解决两个根本问题：摄像机定标，即计算摄像机参数，包括位置、朝 向和内部参数；正确估计点的对应关系，即匹配问题。前者决定三维重建的精度，目前 有使用定标块的方法 马颂德1 9 9 8 】和不使用定标块的自定标方法【m a y b a l l k1 9 9 2 】。后者 决定三维重建的可靠性，目前主要的匹配算法大都假设物体表面是漫反射模型，每个场 景点反射相同亮度的光线【f a u g e r a s1 9 9 3 。 从运动中恢复结构( s t r u c t i i r ef r o mm o t i o n ) 仅靠两三幅图像恢复场景的三维模型存在很多问题，例如遮挡造成信息缺失、噪声 的影响等。另外一种方法是，通过一台移动的摄像机拍摄视频序列，从视频中像素点的 运动重建场景模型，这种方法被称为从运动中恢复结构( s t m c t u r ef b mm o t i o n ) 。其主 要挑战是，如何精确估计摄像机运动。作为计算机视觉的经典问题，许多s t m c t u r ef r o m m o t i o n 的算法相继提出，其中s z e l i s k i 和k a n g 的方法基于透视相机模型 s z e l i s k i l 9 9 4 】， t o m a s i 和k a n a d e 的光流场估计算法基于仿射相机模型【t o m a s i1 9 9 2 】。 从明暗变化恢复形状( s h a p ef r o ms h a d i n g ) 在光源照射下，一个光滑物体的表面呈现出不同的明暗变化。计算机图形学的一个 主要研究内容是对这一现象进行模拟。相反，计算机视觉是图形学的逆过程，研究如何 通过物体表面的明暗变化恢复其形状。这个问题由m i t 的b e r t h o l dh o m 在他的博士论 文 h o m1 9 7 0 】中首先提出，h o m 给了一个简单的解。 根据l a m b e r t 反射定律( i = k n l ，其中i 为反射光亮度，k 为反射系数，n 为单位 法向量，l 为光线入射方向) ，假设光源为有向光源，已知光线入射方向，给定场景点 在图像j 二的亮度，可以求得物体表面法向量的一簇解。需要增加其它约束爿能最终求解， 实际f ：般假设相邻点具有相似的反射属性和朝向。 第二章基于剧像的建模和绘制技术综述 光度测量的立体视觉( p h o t o m e t r i cs t e r e o ) 获取物体在不同光照明条件下的图像可以降低s h a p ef b ms h a d i n g 的难度，这是光 度测量立体视觉( p h o t o m e t r i cs t e r c o ) 的研究内容【i k e u c i l i1 9 8 l 】。每幅图像提供一个法 线的约束，因此2 幅图像可以在尺度意义上求解( 相差一个比例因子) ，3 幅图像可以 唯一求解。光度测量的立体视觉放松了强加在经典s h 印e 舶ms 1 1 a d i n g 方法上的光滑条 件，因而估计的形状更加可靠。 2 1 2 基于体的重建方法 点重建方法的根本困难在于特征提取和匹配，至今未有好的解决方法。为了避免匹 配问题，基于体素的重建方法逐