（机械设计及理论专业论文）基于图像绘制技术的虚拟场景环视和纵向漫游.pdf

摘要 纂于图像的绘制是近几年兴起的门新兴学科技术，可用丁虚拟场景的生成，它已 成为当前计算机图形学界的一个研究热点。基于图像的绘制技术综合应用了计算机图形 学、计算机视觉、图像处理、摄影测量学等许多学科的理论和成果，用实拍图像束代替 传统的几何建模，简化了建模工作，使绘制的图像真实自然，绘制的速度4 ；依赖1 ：场景 的复杂度，具有广阔的应用前景。 全景| 璺l 像技术是i b r 中的- 项基本技术，它用具有高度真实感的图像柬表示虚拟场 景。柱面虚拟场景实现比较简单，应用最为广泛。本文提出了一种基于等距离匹配和小 波分解的柱面全景图像拼接算法。该算法将等距离匹配放到小波卒问中完成，利用了小 波分解的边缘信息和金字塔结构，保证了拼接的稳定性，同时也加快了拼接速度。球面 虚拟场景实现相对复杂，针对多数研究者是采用特殊摄像器材、或用手工、半自动的方 法构建球面虚拟场景的情况，本文提出了种由摄像机视角参数控制图像投影变换的球 面全景图像自动拼接算法。该算法仅仅使用普通的数码相机和普通气脚架摄像器材，通 过用摄像机的转角和仰角两个参数来控制图像的球面投影变换，实现了球面全景图像的 完全自动拼接，无需人f ：介入。同时，还f t ：发了配之以俯视导航图的全景图像环视漫游 器，实现了柱面虚拟场景和球面虚拟场景的实时环视漫游。 本文提出了一种基于轮廓相位相关的图像自动拼接算法，它适用于包含刚体位置变 换、伤射变换和任意透视投影变换图像之间的一般性拼接问题。该算法首先只考虑图像 间的平移最和角位移用轮廓相位相关算法将图像初始定位，得到图像间初始的投影变换 矩阵，然后再进行局部微调，即用迭代优化算法将图像间初始的投影变换矩阵优化求解， 实现图像的精确拼按。所提出的轮廓相位相关算法对常规相位相关算法作了两点改进： ( 1 ) 提取出图像的轮廓，只对二值化的轮廓图像进行相位相关计算：( 2 ) 当相位相关的j 函 数阵列中存在多个和最犬峰值比较接近的峰值时，将它们对应的平移量都作为候选平移 鼍，然后根据重叠区图像的致性选取其中的最佳值。浚算法在图像间的光照条件有较 人差异，存在多个和最大峰值比较接近的峰值，以及图像问存在一定角位移时，都能实 现正确拼接，稳定性较好。 i b r 中的视图插值技术可实现不同视点间的漫游，但是摄像机纵向运动时的视图插 值是i b r 中较困难的问题。常规的视图插值算法不适用于摄像机纵向运动时的情形，它 会在目标图像的四周产生曲变现象。基于此，本义埘j ：摄像机纵向运动时拍摄的序列图 像，提出了一种基于极线几何约束关系的当前视点目标图像生成算法。该算法充分利用 极线的整体匹配性质和保序性质，并结合傅立叶变换和动态规划匹配算法的原理，真实 地合成了当前视点的1 5 标图像，较好地解决了目标图像四周的曲变问题，从而实现了基 于i b r 技术的虚拟场景的纵向漫游。而且，该算法不需要图像的任何先验知识，只需提 供实拍图像。此外，还利用了一种链表数据结构，用来存储每相邻两幅源图像之间的预 处理信息，满足了漫游的实时性要求。最后，开发了一个图像漫游器，使用户在其中实 现了不同视点间的实时纵向漫游。 基本矩阵计算是计算机视觉研究中的一个罩要课题。原始匹配点由于噪声、取整等 方面的原因，它们之中必然存在一些异常匹西d 点，向现有的基本矩阵计算方法对这些异 常匹配点郜非常敏感。基于此，本文提出了一种逐次去除异常匹配点的基本矩阵迭代计 算方法。该算法首先利用异常匹配点逐次去除算法筛选去除异常匹配点，并得到基本矩 阵的仞值，然后根据对极距离最小准则非线性优化求解基本矩阵。通过实拍图像进行研 究的结果表明，该算法由于去除了对基本矩阵有不良影响的异常匹配点，与其它算法在 平均余差和平均对极距离两方面相比，精度均较高，具有一定的优势。 关键词：基于图像的绘制；虚拟现实；全景图像拼接；轮廓相位相关；视图插值；极线 几何约束关系：基本矩阵 a b s t r a c t i m a g e b a s e dr e n d e r i n g ( i b r ) i san e wt e c h n i q u et h a tc a nb eu s e di nt h ev i r t u a ls c e n e c o n s t r u c t i o n ，a n di th a sb e c o m ea l li m p o r t a n tr e s e a r c ha r e ai nc o m p u t e rg r a p h i c si nr e c e n t y e a r s i b rc o m b i n e sm a n yr e s u l t si nc o m p u t e rg r a p h i c s ，c o m p u t e rv i s i o n ，i m a g ep r o c e s s i n g a n dp h o t o g r a m m e t r i c i tr e p l a c e st h et r a d i t i o n a l g e o m e t r i cm o d e l i n gw i t | 1 t h er e a lw o r l d i m a g e s ，t om a k e t h er e n d e r e di m a g er e a la n dn a t u r a la n dt h er e n d e r i n gt i m ei n d e p e n d e n to ft h e s c e n ec o m p l e x i t y , t h u sh a saw i d e a p p l i c a t i o n p m l o r a m i ci m a g em o s a i c si sab a s i ct e c h n i q u ei ni b r ，a n di tu s e sh i g hr e a l i m a g e st o d i s p l a yt h ev i r t u a ls c e n e c y l i n d r i c a lv i r t u a ls c e n ei sr e l a t i v e l ye a s y ，a n di t sa p p l i c a t i o ni st h e w i d e s t ac y l i n d r i c a lp a n o r a m i ci m a g em o s a i c sa l g o r i t h mb a s e do nw a v e l e td e c o m p o s i t i o n a n de q a i d i s t a n tm a t c h i n gi sp r o p o s e di nt h i sp a p e r i tt r a n s f e r st h ee q u i d i s t a n tm a t c h i n gt ot h e w a v e l e ts p a c e ，a n du s e st h ee d g ei n f o r m a t i o na n d p y r a m i d s t r u c t u r eo fw a v e l e td e c o m p o s i t i o n ， t h u se n s u r e st h em o s a i c ss t a b i l i t ya n d q u i c k e n st h em o s a i c ss p e e d s p h e r i c a lv i r t u a ls c e n ei s r e l a t i v e l yc o m p l e x ，t h u sm a j o r i t ya r ec o n s t r u c t e db ys p e c i a le q u i p m e n t s ，m a n u a lw o r k s ，o r h a l f - a u t o m a t i ca p p r o a c h e s t h e r e f o r e ，o n l yu s i n gt h eg e n e r a ln u m e r i c a lc a m e r aa n dt r i p o d ，a s p h e r i c a la u t o m a t i cm o s a i c sa l g o r i t h mo fc o n t r o l l i n gt h ei m a g ep r o j e c t i o nb y t h ev i s u a la n g l e p a r a m e t e r so f t h ec a m e r ai sp r o p o s e di nt h i sp a p e r i ta s e st h eh o r i z o n t a la n dv e r t i c a lv i s u a l a n g l e so ft h ec a m e r at oc o n t r o lt h es p h e r i c a lp r o j e c t i v et r a n s f o r m a t i o n s ，t h u sr e a l i z e st h e s p h e r i c a la u t o m a t i cm o s a i c sw i t h o u ta n ym a n h a li n t e r v e n t i o n i na d d i t i o n ，t w op a n o r a m a b r o w s e r sw i t hn a v i g a t i o nm a p sa r ea l s od e v e l o p e d ，t h u su s e rc a r lr e a l l i m ew a l kt h r o u g h f r e e l yi nt h ec y l i n d r i c a la n ds p h e r i c a lv i r t u a ls c e n e s a ni m a g ea u t o m a t i cm o s a i c s a l g o r i t h mb a s e do nt h e c o n t o u rp h a s ec o r r e l a t i o ni s p r o p o s e di nt h i sp a p e r , a n d i tc a l lb ea p p l i e dt ot h eg e n e r a li m a g em o s a i c s i n v o l v i n gt h er i g i d t r a n s f o r m a t i o n s ，a f f i n et r a n s f o r m a t i o n s a n d p r o j e c t i v e t r a n s f o r m a t i o n s t o b e g i nw i t h ， t h r o u g ht a k i n gm e r et r a n s l a t i o n sa n dr o t a t i o n sb e t w e e ni m a g e si n t oc o n s i d e r a t i o n ，ac o n t o u r p h a s ec o r r e l a t i o na l g o r i t h mi s u s e dt or e a l i z et h ep r e l i m i n a r ya l i g n m e n t so fi m a g e s ，a n d o b t a i nt h ei n i t i a lp r o j e c t i v et r a n s f o r m a t i o nm a t r i c e s t h e n ，a no p t i m i z a t i o na l g o r i t h mi su s e d t o o p t i m i z et h ei n i t i a lp r o j e c t i v et r a n s f o r m a t i o nm a t r i c e s ，a n dc o m p l e t et h ep r e c i s ei m a g e m o s a i c s t h ec o n t o u rp h a s ec o r r e l a t i o ni m p r o v e so nt h ec o n v e n t i o n a lp h a s ec o r r e l a t i o ni nt w o a s p e c t s f i r s t l y , t h ec o n t o u r so fi m a g e sa r ee x t r a c t e d ，a n dt h ep h a s ec o r r e l a t i o ni sa p p l i e dt o t h ec o n t o u r so fi m a g e si n s t e a do ft h ew h o l eo r i g i n a l i m a g e s s e c o n d l y , w h e nt h e r e a r e m u l t i p l ep e a kv a l u e sa p p r o x i m a t et ot h em a x i m u mp e a kv a l u ei nt h e jf u n c t i o na r r a y ，t h e i r c o r r e s p o n d i n g t r a n s l a t i o n sc a l lb e r e g a r d e da sc a n d i d a t et r a n s l a t i o n sa n dc a l c u l a t e ds e p a r a t e l y , a n dt h eb e s tt r a n s l a t i o ns h o u l db ed e t e r m i n e db yt h eo p t i m i z a t i o no ft h ec o n f o r m a b i l i t yo f t w oi m a g e si nt h eo v e r l a p p i n ga r e a t h ep r o p o s e da l g o r i t h mc a i ls t a b l yy i e l dh i g hq u a l i t y m o s a i c s e v e ni nt h ec a s e so fp o o ro rd i f f e r e n t i a l l i g h t i n gc o n d i t i o n s ，e x i s t e n c e so fm i n o r i i i r o t a t i o n sa n do t h e r c o m p l i c a t e dd i s p l a c e m e n t sb e t w e e ni m a g e s v i e w i n t e r p o l a t i o ni ni b r c a l lr e a l i z et h ew a l k t h r o u g ho fd i f f e r e n tv i e w p o i n t s h o w e v e r t h er e s e a r c h e sa b o u tt h ec a m e r al o n g i t u d i n a lm o t i o na r ed i f f i c u l t t h ec o n v e n t i o n a lv i e w s y n t h e s i sa l g o r i t h m sa r eu n s u i t a b l et ot h ec a s et h a tt h ec a m e r am o v e sl o n g i t u d i n a l l y , f o rt h e y c a l lr e s u l ti nt h ed i s t o r t i o np r o b l e mi nt h ec i r c u m f e r e n c e so ft h ed e s t i n a t i o n i m a g e s t h e r e f o r e ， f o rt h es e r i a li m a g e sf r o mt h ec a h e r al o n g i t u d i n a lm o t i o n ，a l la l g o r i t h mo fd e s t i n a t i o ni m a g e s y n t h e s i sf o rc u r r e n tv i e w p o i n t b a s e do ne p i p o l a rg e o m e t r yc o n s t r a i n ti sp r o p o s e di nt h i sp a p e r i tu s e st h ew h o l em a t c h i n ga n dm a i n t a i n i n go r d e rc h a r a c t e r so ft h ee p i p o l a rl i n e ，f o u r i e r t r a n s f o r m a t i o na n dd y n a m i c p r o g r a m m i n gm a t c h i n gt h e o r i e s ，s o l v e s t h ec i r c u m f e r e n c e d i s t o r t i o np r o b l e mi nt h ed e s t i n a t i o n i m a g e s ，t r u l ys y n t h e s i z e st h ed e s t i n a t i o ni m a g e o fc u r r e n t v i e w p o i n t ，a n dt h u sr e a l i z e st h el o n g i t u d i n a lw a l k t h r o u g hi n t h ev i r t u a ls c e n e b e c a u s en o p r i o rk n o w l e d g ei sr e q u i r e d ，t h i sa l g o r i t h mm a y b ea p p l i e dt op h o t o g r a p h sa n dd r a w i n g s ，a s w e l la sr e n d e r e ds c e n e s i na d d i t i o n ，ak i n do fl i n kd a t as t r u c t u r et h a ts t o r e st h ep r e t r e a m z e n t i n f o r m a t i o no f a d j a c e n ti m a g e si su s e dt oe n s u r et h er e a l t i m ew a l k t h r o u g h f i n a l l y , a ni m a g e b r o w s e ri sa l s o d e v e l o p e dt o r e a l i z et h er e a l - t i m el o n g i t u d i n a l w a l k t h r o u g ho f d i f f e r e n t v i e w p o i n t s f u n d a m e n t a lm a t r i xe s t i m a t i o ni sa ni m p o r t a n ts u b j e c ti nc o m p u t e rv i s i o n b e c a u s eo f n o i s e so rt h er e q u i r e m e n to f c h a n g i n gan o n - i n t e g e ri n t oa ni n t e g e r , t h e r ea r ec e r t a i n l ym a n y e x c e p t i o n a lm a t c h i n gp o i n t sa m o n gt h eo r i g i n a lm a t c h i n gp o i n t s w h i l e t h e e x i s t i n g f u n d a m e n t a lm a t r i xe s t i m a t i o na p p r o a c h e sa r ev e r y s e n s i t i v et ot h e s ee x c e p t i o n a lm a t c h i n g p o i n t s f o re s t i m a t i n g t h ef u n d a m e n t a lm a t r i x ，a ni t e r a t i o n a l g o r i t h mo fr e m o v i n gt h e e x c e p t i o n a lm a t c h i n gp o i n t so n eb yo n ei sp r o p o s e di n t h i sp a p e nf i r s t l y , t h ee x c e p t i o n a l m a t c h i n gp o i n t sa r ee l i m i n a t e do n eb yo n eu s i n gt h ea l g o r i t h mo fr e m o v i n g t h ee x c e p t i o n a l m a t c h i n gp o i n t s ，a n dt h e i n i t i a tv a l u eo ft h ef u n d a m e n t a lm a t r i xi so b t a i n e d s e c o n d l y a c r i t e r i o no fm i n i m i z i n gt h e e p i p o a l rd i s t a n c e i su s e dt o n o n l i n e a r l yo p t i m i z e t h ei n i t i a l f u n d a m e n t a lm a t r i x ，i tc a nb es e e nf r o mt h e e x p e r i m e n tr e s u l t s o fr e a l i m a g e st h a t t h i s a l g o r i t h me l i m i n a t e st h eb a de f f e c to fe x c e p t i o n a lm a t c h i n gp o i n t s o i lt h ef u n d a m e n t a lm a t r i x ， t h u si ti sm o r e p r e c i s ea n dh a sa l la d v a n t a g eo v e rt h eo t h e rc o n v e n t i o n a la l g o r i t h m si nt e r m s e l 、b o t ha v e r a g er e s i d u a le r r o ra n d a v e r a g ee p i p o l a r d i s t a n c e k e yw o r d s ：i m a g e - b a s e dr e n d e r i n g ；v ir t u a i r e a li t y ：p a n o r a m i ci m a g em e s a ；c s c o n t o u r p h a s ec o rr e i a t i o n ：v i e w in t e r p o i a t i o n ：e p i p o i a rg e o m e t r yc o n s t r a in t f u n d a m e n t afm a t rix i v 第一章绪论 1 1 1 虚拟现实技术 第一章绪论 1 1 研究背景及意义 随着处理器技术的大幅度提高，以及图形绘制技术、数字信号处理技术、传感技术、 人机接【 技术的高速发展，八十年代末、九十年代初国际国内形成了对虚拟现实技术 ( v i n u a lr e a l i t y ，v r ) 的研究热潮。v r 技术就是利用计算机来获得逼真的三维视觉、听 觉、触觉等感觉，使得用户可以通过使用专用设备，自然地对虚拟环境中的实体进行交 互考察与控制f 1 1 。 具体地说，v r 技术就是一种高度逼真地模拟人在自然环境中视、听、动等行为的 人机界面技术。凭借它，用户可以进入一个由计算机模拟的虚幻世界，并通过一些专门装 置来对场景进行具有真实感觉的交互操作，从而真切地感受虚拟场景的存在，获得“看起 来象真的，昕起来象真的，摸起来也象真的”的全方位感受。v r 技术必须具备三个基本 特征，即实时性( r e a l - t i m e ) 、沉浸性( i m m e r s i o n ) 和交互性( i n t e r a c t i v i t y ) 。实时性要求系 统能实时地对各种输入做出响应：沉浸性要求系统能使用户真切地感受到虚拟场景的存 在；而交互性则要求用户能对虚拟场景中的景物以自然和谐的方式进行交互操作。 v r 技术并非最近几年才出现，它的起源要追溯到计算机图形学之父i v a ns u t h e r l a n d 于1 9 6 5 年在w i p 会议所作的标题为“t h e u l t i m a t e d i s p l a y ”的报告。在该报告中，i v a n s u t h e r l a n d 提出了一项富有挑战性的计算机图形学研究课题。他指出，人们可以把显示 屏当作个窗口来观察一个虚拟世界，这一思想开创了v r 研究的方向。其挑战性在于 窗口中的图像必须看起来真实，听起来真实，而且其中物体的行为也很真实。1 9 6 8 年， i v a ns u t h e r l a n d 发表了题为“ah e a d m o u n t e d3 d d i s p l a y ”的论文，对头盔式三维显示 装置的设计要求、构造原理进行了深入的讨论，并给出了其设计原型，这成为三维立体 显示技术的奠基性成果。 v r 技术的进展从六十年代到八十年代中期是十分缓慢的。直到八十年代后期，由 于显示技术已能满足视觉耦合系统的性能要求，附且液晶显示技术的发展使得生产廉价 的头盔式二三维显示器成为可能，v r 技术才得以加速发展。 v r 技术的最大特点就是参与者能与计算机生成的虚拟环境进行自然的交互，即能 用人类自然的技能和感知能力与虚拟世界中的对象进行交互。设想这样一个虚拟情景： 用户在戴上头盔显示器和数据手套后，不仅可以看到个排球，而且还可以摸到它，并 能得到触觉反馈。用户还可以拍动排球，拍球的时候，不仅能感受到排球对手的反作用 力，还能听到拍球时发出的“嘭嘭”声。所有这切将会令人产生多么真实的感受。与 传统的人机交互技术相比，v r 的沉浸式交互技术是一种全新的人机交互风范。在传统 人连理丁大学博 学位论义 的人机交互技术中，用户是一个外部的观察者，只是通过显示屏这个范围很有限的小窗 r 1 来观察计算机内的合成环境，而v r 交互技术则是要求用户参与刭这个合成环境r 卜。 传统的人机交互技术最常用的设备是键盘和二维鼠标，人们通过它们与合成环境中的物 体进行通讯，这与我们在自然_ f 廿= 界中的通讯方式相距甚远。为了使用户产生身i 临其境的 感觉，v r 交互技术必须具备一些不同于传统人机交甄技术的性能，例孰l ：大视角的立 体显示、头部跟踪、人体姿势跟踪、三维声音、触觉反馈和力反馈等。目前，实现这些 交互技术的设备主要有：头盔显示器、数据手套、三维位置传感器和三维声音产生器等。 v r 技术町分为三人类：桌面v r 技术、沉浸式v r 技术和分布式v r 技术。桌面 v r 技术由于采用标准的c r t 显示器和立体显示技术，其分辨率较高，价格较便宜。它 通常用于工程c a d 、建筑设计以及某些医疗应用；沉浸式v r 技术利用头盔显示器把用 户的视觉、听觉和其它感觉封闭起来，产生一种身在虚拟环境中的错觉；分布式v r 技 术则是在沉浸式v r 技术的基础上将不同的用户通过网络连接在一起，共享同个虚拟 空间，使用户达到一个更高的境界。 v r 技术很好地将环境的计算机表示与人类进化了数万年的三维空问处理能力拥p i 配，可望成为人类认识世界和改造世界的更强有力的武器，因此，它已经受到了国内外 学者的广泛关注。时至今日，v r 技术已在许多领域，如远程操作、设计与规划、数据 和模型口r 视化、教育与训练以及娱乐和艺术应用中显示出其良好的应用前景。 1 1 2 计算机图形学 计算规图形学( c o m p u t e rg r a p h i c s ) 是计算极科学领域中一门重要而又年轻的学科， 它随着计算机硬件特别是图形显示设备的发展而逐渐产生、发展起来。国际标准化组织 ( i s 0 ) 给计算机图形学f 了如下定义：计算机图形学是研究通过计算机将数据转化为图 形，并在专用显示设备上显示的原理、方法和技术的学科。计算机图形学在人与计算机 之问建立了一种形象直观和高效率的信息交互手段，这使得人们从大量繁杂的数字和符 号之中解脱出来，并通过视觉非常容易地掌握并理解大量信息，从中发现变化趋势和规 律。在短短几十年中，计算机图形学获得了极大发展，在工业、商业、零事、教育积娱 乐等各个领域得到了广泛应用，并在应用中r 盏显示出其重要性和不可替代性肛j l 划| 4 j 。 计算机图形学的研究内容涉及用计算机对图形数据进行处理的硬件和软件两方面 的技术，以及与图像生成和显示密切相关的基本算法的研究。它大体上可归为以下5 个 方面：二维图形中基本图元的生成算法、二：维图形的基本操作和图形处理算法、二维图 形的输入与输出、三维几何造型技术的研究和真实感图形的生成算法。另外，实时动画 与多媒体技术也是计算机图形学研究的一个重要内容【4 l 。显然，这些技术将成为v r 技 术的基础。凶此，我们可以说，计算机图形学是实现v r 的重要技术保证。 传统的计算机图形学，其核心是研究基于几何的物体模型，绘制方法就是直接绘制 一个结构已知的三维几何模型，即基于几何的绘制( g e o m e t r y - b a s e dr e n d e r i n g ，g b r ) ， 因此，又称之为基于几何的计算机图形学( g e o m e t r y b a s e dc o m p u t e rg r a p h i c s ) 。要使生 2 第一章绪冷 成的二维几何模型表面具有较强的真实感，通常用纹理映射( t e x t u r em a p p i n g ) 、环境映射 ( e n v i r o n m e n tm a p p i n g ) 、明暗算法( s h a d i n ga l g o r i t h m s ) 等技术，或者是这些技术的组合来 实现p j 。尽管经过多年的研究，传统的计算机图形学在3 d 建模和绘制方面己经取得了巨 大的成就，但是它仍然不能满足许多实际要求。首先，牛成复杂的几何模型需要付出巨 人的 + 作量并h 需要使用很多技巧；其次，为了绘制出较好的光照效果，需要大量耗时 的计算并且往往依赖r 经验；最后，生成的图像质量并没有一个客观评价标准，只能依 赖于人的丰观感受。概括起来就是：建模非常难，绘制非常慢，图像的真实感没有保证。 另一方面，虚拟场景画面的实时显示是整个v r 技术成败的关键。视觉信息是人类 感知外部世界的主要渠道，人们从外部世界获取的信息中8 0 是通过视觉获取的。而人的 视觉系统是非常敏感和严格的，任何不满足物理学和光学定律的运动视景、任何同步不 好的视频序列都会给视觉系统带来额外的刺激，严重影响虚拟环境的真实感。因而，对 于v r 技术而言，随着参与者的活动实对产生相应的图形画l 幻无疑是产生真实感觉的必 要条件。町以这样说，。耍时图形生成已成为v r 技术的重要瓶颈旧i 。 显然，传统的基于几何的计算机图形学难以保证图形生成的实时性，破坏了虚拟场 景的真实感，虽然许多研究者提出了一些图形加速绘制算法【7 。，但这已远远不能满足 需求。凼此，仅仅依靠传统的基于几何的计算机图形学尚不能构建一个完美的虚拟场景。 1 1 3 虚拟现实技术对传统计算机图形学提出的挑战 为了让人们在计算机所创造的虚拟世界罩有1 种身临其境的视觉感受，v r 技术对 传统的基】：几何的计算机图形学提出了更高的挑战： ( 1 ) 高质量、实时的图像生成。实时性是指绘制系统能够根据月j 户视点和视线力向的 变化及时地生成相应的视图( 一般刷新率应在15 h z 以卜) ：高质量则是指绘制场 景的复杂度和真实感应满足特定应用的需要。 ( 2 ) 身临其境的沉浸感。表现为个宽视角的立体显示器，这是产生沉浸感的前提， 目前最流行的是头盔显示器h m d ( h e a d m o u n t e dd i s p l a y ，h m d ) ，这也相应地要 求绘制系统能列时牛成一对( 足、右眼) 立体视图。 ( 3 ) 自然的交互。即确保用户在虚拟环境中的操作简译易学，并得到有效的响应，比 如h m d 的头部跟踪器应能准确及时地反馈观察肴所处的位置和视线方向。 t 述挑战l ，实时的图像生成是v r 技术中最关键的问题。在传统的基丁几何的计 算机图形学早，图像的牛成是通过透视投影原理将二维几何模型变换到二维屏幕空间上 完成的，其中包括光照、消隐、纹理、阴影等一系列复杂的计算和处理，它采用的是基 r 几何的绘制技术g b r 。尽管经典的图形学发展已经能在很短的时问晕产生具肯相当复 杂度的真实感图形，但其固有的矛盾却无法使它满足高级v r 技术的要求，从而也在 定程度上限制了v r 技术的应用推广。九十年代中后期嘲际上：跃然兴起了股新的研究 热潮基于图像的绘制技术( i m a g e b a s e dr e n d e r i n g ，1 b r ) ，它企图从根本上打破传统 绘制模式的禁锢，这无疑是计算机图形学史上的一次飞跃。该技术扩充并丰富了传统的 大连蛙t 大学硝i 学位论艾 基i 儿何的计算机图形学的内容已成为计算机图形学的一个重要分支，即基丁j 图像的 讨、算机图形学( i m a g e b a s e dc o m p u t e rg r a p h i c s ) 。i b r 技术以预先采集的图像数据( 丰h ”、 视频数据等) 作为基本的数据表示，融入并采用计算机视觉、图像处理等学科的相关玛论 和技术，通过埘图像数据进行变换、重新采样束进行陶形的实时绘制。论文将主要涉及 i b r 技术的讨论。 其次，沉浸感也是v r 技术中的个重要问题。要使用户对虚拟环境产生沉浸感， 用户所看到的场景画面必须是三二维的、_ ) ：z 体的。人眼是一个复杂的器官，它通过分析来 自屉右眼的视图的视差来感知物体的深度，产生i 维节体感。计算机视觉七称左右跟看 到的。对视图为一个立体对( s t e r e o p a i r ) l l5 l 。头蕊显示器这类宽视场的立体显示器就是通 过仿真人跟的视觉原理，将绘制系统生成的一个讧体对分别投影到头盔显示器的如右两 个硅示屏上。当人的双眼同时看这两组图像时就会产生真实i 维景物的立体感，闲而也 使用户产生了沉浸感。可以说，v r 技术将立体视觉概念带到了图形学中，从而促使图 形学：i 作者对新的成像方法进行研究，也就是说v r 技术促成了计算机图形学与计算机 视觉的结合。在论文后面讨论的i b r 技术中还将用到计算机视觉中的理论和方法。 另外，v r 技术的出现还引入了很多新的输入设备，如数据于套、空间球、各种传感 器等，这需安研究新的交y 避友术。例如怎样有效地协澜发挥各种图形资源f 软件、硬件) 的性能、及时地根据用户的动作刷新场景等。论文将不涉及这方面的内窬。 尽管今天的学科发展尚不能使人们全而地认珏 人类的视觉，听觉、触觉等感觉器官 的功能原理及构造，机器智能技术也还远不能使机器代替人类。但不可否认，v r 技术 足人们财计算机人性化、社会化的种展望，同时v r 又是种激励技术( e n a b l i n g t e c h n i q u e ) ，它将导致许多新问题的研究和探讨，导致4 i 同基础学科的交叉_ l j 渗透，也将 导致各种应用的深入和推广。 近年来得到计算机图形学和计算机视觉学术界极大关注的 b r 技术，因其绘制过型 避免了复杂的几何建模与计算工作，直接对图像数据进行采样、变换和再采样来生成新 的阔像，而具有快速、简单、逼真的优点。因此，它已成为目前v r 技术中最为活跃的 研究方向。其研究e 作可以在普通的微机卜进行，研究成果可以广泛应用r 虚拟现实、 g i s 系统、远程电视会泌、旅游、房地产销售、影视特技及娱乐等领域，具有良好的市 场虑用盼景。 i b r 技术具有绘制速度快，逼真度高，l 与用系统资源少等优点，而且其绘制、显不 的开销与场景的复杂度无关，只与图像的分辨率有关。但是，冈为i b r 技术本质l 是利 用图像的采样样本来表达空间模型，各模型及模型内部没有或缺乏拓扑关系，因此，对 其进行任意角度观察、编辑、修改、裁剪等交瓦操作会有较大难度。g b r 技术和i b r 技术各彳丁优势和不足，列以互为补充。到目前为止，g b r 技术已经建立了比较完备的珲 论体系，各项技术都比较成熟。而i b r 技术则刚刚发展起来，尚有许多课题有待研究， 其中既自科学理论问题，又有实际应用问题，是当今最为活跃的研究领域之。因此 对i b r 技术的研究不仅具有重要的理论意义，而具有蕈要的实用价值。 第一章绪论 1 2 基于几何的绘制技术与基于图像的绘制技术 1 2 1 基于几何的绘制技术的优缺点 在传统的基于几何的计算机图形学中，三维几何模型的建立及真实感图形的绘制是 其核心问题。它实现的一般方法是：首先建立r 一个精确的三维几何模型，设置视点位置， 然后埘这一模型进行一系列的几何投影变换、裁剪、填充、消隐、光亮度计算等，最终 实现图形的真实感绘制及显示。几何模型通常由以f 三部分数据组成：( 1 ) 几何数据，即 顶点的位置坐标；( 2 ) 拓扑关系，即每个面的顶点及面与面之间的连接关系描述：( 3 ) 特征 数据，即各项点的颜色、表面法向和纹理坐标等。几何模型的复杂度是影响绘制速度的 重要因素，而为了精确表达模型的空间位置与几何拓扑，通常需要较大的模型数据量， 这样，通常的讨算机及图形工作站都很难实现实时绘制。基于此，目前g b r 技术通常 采用以下三种技术来加快图形的绘制速度：实时消隐、l o d ( l e v e lo fd e t a i l ，l o d ) 场景 简化和预处理。 ( 1 ) 实时消隐技术 考虑到消隐是真实感图形绘制过程中最为耗时的部分，为了减轻实时消隐的负担， 人们试图将当前视点不可见的区域裁剪掉，使系统尽_ 【丁能少地显示场景内容，从而减少 需显示的多边形数日，提高绘制效率。其代表算法有：层次z b u 腩r f 9 埽口可见消隐( v i s i b i l i t y c u l l i n g ) 7 1 1 0 1 1 3 1 等。尽管这些算法对某些场景比较高效，但当场景中的可见面非常稠密时， 这类算法仍然无法满足实时显示的需求。 ( 2 1l o d 场景简化技术 在显示真实感图形时，我们注意到这样一个现象：当物体离观察者较近时，需要比 较精细的模型，以保证显示图像的质量；而当物体离观察者较远时，由于模型图像在屏 幕卜占有的像素数很少，因而没有必要使用精确模犁，可以对此模型进行大幅度简化， 以获得更高的显示速度，这就是l o d 模型技术的概念【1 1 i 【“1 。该方法的主要困难是如何 建立不同细节程度的景物表示及不同细节程度的自然过渡。尽管目前已有很多这方面的 研究成果川【1 2 1 1 6 - 2 1 1 ，但是该技术仍存在着实时性差和缺乏有效的误差度量等问题。 ( 3 ) 预处理技术 预处理技术是将与视点无关的计算放在预处理阶段，或是说将能预先计算好的部分 尽鼙都放在预处理阶段这是实时显示方法中经常使用的策略，即用存储空间来换取时 间【l 。例如，为了加快显示速度，通常对景物采用局部光照技术( 如p h o n e 模型) ，但是 图像的真实感较差。 在应用中，这三种技术并不是孤立的，往往结合在一起使用。 g b r 技术的优点是： ( 1 ) 它有完整的理论框架，以空间解析几何为基础。 ( 2 ) 儿何数据模型所占用的存储空间较小，无冗