（计算机应用技术专业论文）基于图像绘制的虚拟校园漫游系统的研究.pdf

在分析视图插值方法的运算中，根据计算机视觉理论建立的虚拟照相机模型，运用现行的立体视觉匹配方法，本文分别推导出了沿笔直和弯曲道路行走时所采样的图像，在己知立体匹配点的情况下，匹配点的深度计算和中间 视 图 的 近 似 插 值 计 算 方 法 ， 并 由 此 反 推 出 各 自 的 大 致 采 样 间 隔 距 离 了 该 方法有如下特点: ( i )可以大量减少沿道路行走时，全景图方法所需的图像采样数量，并且能够保证漫游中各视点的平滑连接。 ( 2 )只需要前后视点，加上预匹配得到的图中对象的深度， 就可以 生成中间视图，中间视图生成快。 经过比较现有主流虚拟漫游系统的实施方法，本文选择利用圆柱全景图，加上中间采样图像序列来构建虚拟漫游系统，并介绍了本文的基于圆柱全景图的虚拟校园漫游系统模型、功能模块及有关实现技术。 最后， 分析了本文漫游系统模型和采用的相关技术的缺陷， 并提出了更进一步的研究目标。“ 决关键词虚拟现实基于图像的绘制杜面全景图视图插值校园漫游ab s t r a c t b e c a u s e t h e i n t e r n e t i s a b l e t o d e l i v e r d y n a m i c , g r a p h i c i n f o r m a t i o n , a v i rt u a lt o u r o f t h e c a m p u s c a n b e m a d e p o s s i b l e t o a l l o w p e o p l e t o g e t a f e e l f o r t h e l o o ko f t h e c a m p u s w i t h o u t n e e d i n g t o v i s i t i n p e r s o n . i m a g e b a s e d r e n d e r i n g ( i b r ) i s a n e w m e t h o d t h a t h a s b e e n w i d e l y u s e d i nc r e a t i n g a v i rt u a l r e a l i t y s y s t e m . i t i s p r e f e r r e d o v e r t h e t r a d i t i o n a l 3 d g e o m e t r ym o d e l i n g a n d r e n d e r i n g t e c h n o l o g y t h a t h a s i t s l i m i t a t i o n s o n r e n d e r i n g q u a l i t ya n d s c e n e c o m p l e x i t y . i b r i s b a s e d o n t h e t h e o r y a n d m e t h o d o f c o m p u t e r v i s i o na n d i m a g e p r o c e s s i n g , a n d i t u s e s p h o t o - r e a l i s t i c r e n d e r i n g s a n d w a r p i n g . i t i sa p p e a l i n g s i n c e n a t u r a l s c e n e s , w h i c h a r e v e r y d i ff i c u l t t o m o d e l u s i n g t r a d i t i o n a l3 d g e o m e t ry m o d e l i n g , c a n b e a c q u i r e d s e m i - a u t o m a t i c a l l y u s i n g c a m e r a s a n do t h e r d e v i c e s . a l s o i b r h a s a p o t e n t i a l t o c r e a t e h i g h - q u a l i t y o u t p u t i m a g e s i ft h e r e n d e r i n g s t a g e c a n p r e s e r v e t h e q u a l i t y o f t h e r e f e r e n c e im a g e s .t h i s t h e s i s i s f o c u s e d o n p a n o r a m i c i m a g e s , v i e w i n t e r p o l a t i o n a n d i m a g em o r p h in g i n i b r . ma n ya n i m p r o v e d a l g o r i t h mm e th o d s a n d a l g o r i t h m s h a v e b e e n s t u d i e d a n d c o m p a r e di s i n t r o d u c e d f o r s t i t c h i n g m u lt i p l e s o u r c e i m a g e s t op r o d u c e a s i n g l e o u tp u t im a g e . t h i s n e w a p p r o a c h o v e r c o m e s s o m e o f t h ed i s a d v a n t a g e s o f p r e v i o u s m e t h o d s . t h i s a l g o r i t h m c a n e ff e c t i v e l y e l i m i n a t e t h ei m p a c t o f l i g h t a n d c o l o r d i ff e r e n c e o n t h e m a t c h i n g o f t w o i m a g e s , a n d r e d u c e t h ep o s s ib i l i t y o f m i s m a t c h . a l s o , t h i s a l g o r i t h m d o e s n o t h a v e i n t e n s i v e c o m p u t i n gi n v o l v e d . i t w o r k s w e l l f o r a l m o s t a l l p i c t u r e s w i t h c o m m o n c h a r a c t e r i s t ic s . t h ea l g o r i t h m c a n b e e a s i ly a n d e f f i c i e n t l y i m p l e m e n t e d . t h i s t h e s i s a l s o a n a l y z e s v i e w i n t e r p o l a t i o n m e t h o d , p r o v i d e s c a l c u l a t i o nm e t h o d f o r d e p t h o f v i e w p o i n t a n d i n t e r p o l a t i o n o f i n t e r m e d i a t e i m a g e s . t h i si i im e t h o d r e d u c e s n u mb e r o f o r i g i n a l i m a g e s n e e d e d a n d p r o d u c e s s m o o t ht r a n s i t i o n s b e t w e e n i m a g e s . t h i s t h e s i s p r o p o s e s u s i n g c y l i n d r i c a l p a n o r a m i c i m a g e s c o m b i n e d w i t h v i e wi n t e r p o l a t i o n t o c r e a t e a c a m p u s n a v i g a t i o n s y s t e m . t h e s t r u c t u r e o f t h e s y s t e ma n d fl o w c h a r t o f t h e w o r k i n g p r o c e s s a r e p r o v i d e d .k e y w o r d s : v i r t u a l r e a l i t y , i m a g e b a s e d r e n d e r i n g , c y l i n d r i c a l p a n o r a m i c i m a g e s ,v i e w i n t e r p o l a t i o n , a n d c a m p u s n a v i g a t i o ni v第1 章引言1 . 1 数字校园中的虚拟漫游系统 随着信息技术的发展和应用的不断深入，信息管理的数字化和实物的虚拟化成为当今非常重要的信息技术应用领域。数字校园是在现实校园的基础上，利用先进的信息化手段和工具，构建一个数字空间以拓展现实校园的时间和空间维度，从而提升传统校园的效率，扩展其功能，最终实现教育过程的全面信息化。 数字校园包括了现实校园及数字虚拟化校园，其中采用三维成像和虚拟现实技术构建的虚拟校园漫游系统，则是将学校风光和学校地图有机结合起来，既可以为学校树立良好的形象，让来访者足不出户就可尽览校园风光和有关介绍信息，也可以作为校园规划的辅助工具，供学校领导与师生出谋划策。在将其与学校的有关信息相结合后，可以一改过去呆板的界面，提供给师生一个三维可视化的、有声有色的信息介绍与查询环境。 研究这一课题，有着明显的现实意义，本文从一些侧面对校园虚拟漫游系统作了初步的研究，并尝试提出并实现了 其中某些方面技术的算法。1 . 2 虚拟现实的研究现状 虚拟现实( v i rt u a l r e a l i t y - v r ) 技术， 又 称临境技术， 是用现代计算机技术创建的一个酷似客观环境又超越客观时空、既能沉浸又能驾驭的和谐人机环境， 人们通过一系列传感辅助设施以自 然的方式向计算机送入各种动作信息，并通过视觉、听觉以及触觉设施使人们得到三维的视觉、听觉及触觉等感觉世界。随着人们不同的动作，这些感觉也随之改变。 目前，与虚拟现实技术相关的内容己经扩大到包括一切与之有关的具有自然模拟、逼真体验的技术与方法。它的最重要的目标就是真实的体验和方便自然的人机交互，最明显的特点是能让使用者获得沉浸感，即要让人产生身处远方或虚拟环境里的感觉。借助沉浸感的产生，可以方便地获得对周围环境的全面印象以确定自身在环境中的位置，在环境中逼真漫游。 传统虚拟现实技术是基于计算机图形学的理论来建模: 首先为场景中的所有物体建立三维几何模型和光照模型等特性描述，然后指定视点，利用透视投影原理将三维几何模型变换到二维屏幕空间，经过裁剪，明暗处理、隐藏面消除等处理生成一个屏幕投影。其真实感图形绘制则是利用纹理图像来描述对象表面的反射特性，从而获得景物表面丰富的色彩。传统计算机图形学由于其几何学的理论基础，优越之处在于可以自由地控制视点和视角，结合纹理映射的技术可以达到比较逼真的虚拟效果，但同时带来如下问题: ( i ) 由于大多数真实景物的复杂程度，己 远远超出了 人或者计算机的描述能力。复杂真实场景的建模与表达十分困难，如树木等较为复杂的对象虽然可利用分形( f r a c t a l ) 来建模， 但处理时间就现有技术而言远无法满足实时绘制的要求。 ( 2 ) 处理的时间与场景的复杂度成正比， 在较复杂场景中其多边形与纹理的实时绘制要求很高的计算性能。虽然近年来图形硬件的性能有了很大提高，同时很多传统图形学绘制中的步骤，如消隐、纹理映射都有了快速的硬件实现算法， 但还是赶不上虚拟现实等图形学应用对真实感越来越高的要求。 ( 3 )几何建模由于无法保证是真实世界的确切描述或缺少充分的环境信息，不能再现有较强真实感的景观和给予观众较好的沉浸感。 由于用传统计算机图形学建立虚拟现实有上述明显缺点， 利用实拍图像来建立虚拟现实环境的方法，即基于真实图像的绘制技术( i m a g e b a s e dr e n d e r i n g -i b r ) 就应运而生。 1 9 7 8 年，m i t的媒体实验室开发了一个称为a s p e n m o v i e m a p 的项目 。首次利用实拍摄像视频来虚拟漫游小城a s p e n 。 出于当时技术条件的限制， 人们不得不通过模拟采样来构建虚拟环境，但模拟视频图像由于先天原因，有着较低的分辨率、漫游路线只能是采样点和很高数据采样率带来极大数据量的缺陷，实际应用于完全二维或三维漫游非常困难，随着计算机软硬件和采样工具技术水平的提高，后来的研究重点逐渐转变为直接通过照片采样来构建虚拟场景。 八十年代 l i p p m a n制作的电影图系统是最早基于图 像绘制的系统之一。它在每一个节点上，前后左右各拍摄一幅照片，当人在环境中走动时，系统根据人的位置就近选取相应的视点。a p p l e公司 1 9 9 4年 6月推出的产品q u i c k t i m e v r ， 将若干张边缘稍有重叠的照片图 像缝合( s t i t c h ) 组成3 6 0 “ 全景图像，用热点连接不同视点的全景图，通过不同全景图间的切换来实现虚拟漫游。 i b r虽然有来自 计算机视觉和计算机图形学的成分， 但是它并非两者的简单迭加，它绕开了计算机视觉中精确恢复场景几何和计算机图形学中用几何生成真实感场景需要大量计算开销的困难，直接用计算机视觉和图形学的一些理论，通过分析和重映射在采集的图像和需要合成的图像间建立联系。与传统的基于几何模型的方法相比较，i b r方法无论从出发点、思路还是从输出方式上都是截然不同的一种新方法，它从一个新的角度重新考虑计算机图形学，不但可以采用计算机生成的图像，而且更多的是采用真实世界的图像作为样本，从而避免了基于几何方法建模的不合理性和烦琐的手工操作。 i b r建立v r具有快速、 简单、 逼真等独特的优点， 正得到越来越多的应用，成为目前虚拟现实技术中最为活跃的研究课题之一。与传统计算机图形学中重构场景的根本区别在于:它不依赖于几何模型，而是利用事先获取的一组真实图像序列，对环境进行编码，并通过适当地处理变换合成位于新视点的视图，最终实现环境的完全漫游。与传统计算机图形学相比较，其最大优点在于: ( 1 ) 建模容易:不需耗费大量的人力和技巧，通常的i b r意义下的建模过程主要是一个系统如何组织和联系现有获得数据的问题，而不是需要所有的几何细节。用户需要做的事情主要是拍摄照片以及一些简单的交互操作。即使需要一些额外的几何信息，i b r系统一般也是主要通过计算机视觉的知识进行自 动的提取和匹配，而不需要人工的繁复劳动。 ( 2 ) 绘制快:不需要复杂的计算，直接从己有的视图中合成新视图，绘制时间不依赖于场景的复杂度，它所构造的场景模型一旦建立，在绘制输出 s.时和场景的复杂度没有关系，只跟采样与显示分辨率有关。在场景复杂度增加时， 它的显示输出时间是一个常数， 不会因为场景复杂度增加而引起“ 屏闪”现象。如在同心拼图中，只要根据不同的视线方向抽取不同的狭缝图像就可以合成新视图，整个绘制过程都在二维空间进行。在计算遮挡时，仅仅需要计算采样视图间的内容， 无需考虑建模场景中的诸多因子。由于绘制速度快，可以在低档微机上实时生成场景，无需高档的图形专用硬件，这是 i b r技术的一个明显优势。 ( 3 )真实感强:由于所有景物的形状、光照、 材质和纹理等效果都是来自真实拍摄的照片，而不是通过模型计算生成光照与纹理图像，真实场景的显示容易达到很高的逼真效果， 是传统基于i l 何方法所无法比拟的， 这是i b r技术相对于传统几何建模绘制技术最明显的一个优势。 ( 4 ) 计算量小:基于几何的方法需要建立场景完整的、精确的表达，绘制时也要对整个场景进行计算和存储。相反，i b r技术只需要离散的相片采样，绘制时也只要对与当前视点相邻的图像进行处理，因此计算量远远小于传统计算机图形学建模。 当然，i b r方法建立 v r也有一定的局限性: ( 1 )预处理时间长对普通照相机获取的图像，在亮度校正、 立体匹配、手工交互等的预处理上时间很长而且非常繁琐; ( 2 ) 存储空间大采样与还原需大量的存储空间，在存储空间不能保证时压缩算法与随机访问效率显得尤其重要; ( 3 )采样间隔 为保证基本无误地还原， 特别在自 由漫游时， 大量样本的采集十分困难，而且必需在数据量与显示效果间折衷; ( 4 ) 自 由 漫游困难由 于视点的p r 制， 任意视点与视角的自 由 漫游在i b r中至今仍然悬而未决。 显然，随着机器硬件性能的提高，计算机的计算能力日益增强，i b r方法终究可能实现对任意复杂度场景的实时自山漫游。 现有的虚拟漫游系统如地理与城市的虚拟漫游， 一般是在充分采集详细地理信息后，用传统图形学建模，其真实感与沉浸感不是太好。山于多边形绘制运算量上的限制，较为复杂的场景在最简化程度的三维模型特征描述完成后，多采用无缝贴图方式来实现细节:当场景中的建筑物对象过多时，为减少运算量保证实时响应速度，则采用更为极度的简化:整个建筑物当作整体来贴图，既不利于设计与修改，更不利于多视点与多视角的观察。出于上述原因，本文采用i b r方式来构建虚拟校园漫游系统。1 . 3 本文主要内容简介 本论文是基于目前通行的 i b r虚拟漫游系统的工作展开的，主要讨论如何将基于几何的绘制和基于图象的绘制有机地结合起来，实现基于图象的虚拟实时漫游中的场景平滑联结和过渡。本论文的重点是i b r方法的算法设计与改进，针对传统全景图方法、视图插值方法和视图形态变换方法所存在的局限性和缺陷展开讨论并提出自己的改进算法。本文后几章内容主要如下: 第 2章首先全面回顾了i b r有关技术，对各主要技术做了详细的介绍，并对各自 利弊进行了分析，然后介绍了i b r虚拟漫游系统的两个重要的经典实现。在仔细论述了现有国际国内各主流 i b r虚拟漫游系统实现的缺陷后，提出了本文的研究 目标。 第 3章的重点是图像拼接方法和视图插值方法的研究。在讲述了全景图的拼接、 融合与照相机标定的通行算法后， 仔细分析了现有i b r图像拼接中，各种图像匹配对准方法的运算量和缺陷， 基于已有的彩色图像轮廓抽取方法，提出了自己的改进算法，并用机器验证了自己的图像匹配改进算法;描述了一种在图像中利用计算机立体视觉原理，进行立体匹配的新方法;在介绍了平行视图插值变形算法后，依据立体成像原理及数学模型，研究了如何从已知立体匹配的图像序列和全景图中插值来恢复中间图像;并简单阐述了 i b r图像压缩的常见方法的利弊。 第 4章介绍了一个基于全景图的虚拟校园漫游系统从采样到实现的全过程，并仔细描述了各功能模块的实现细节，详细说明了漫游时场景的再现过程。 第 5 章是论文的总结和对未来工作的展望。一-口.第2 章 基于图像的绘制( i b r )2 . 1 i b r技术综述有多种应用于真实场景的 i b r技术，如果用图像数据建模中传统图形几何学所占的比例和数据的表达方式作为几何表示、图像表示和全光线函数表示i b r 技术的 分类 标准i l l ， 它们分别是:2 . 1 . 1 几何表示方式的 i b r技术 采用几何表示方式的 i b r技术所需的显示方法和传统图形学相似，以完全的几何信息为基础。与传统图形学相比，其差别在于它主要以图像数据为依据建模，i b r数据被组织成传统计算机图形学当中的元素，如点，面，几何体等，并采用传统计算机图形学的纹理映射等技术的理论和实现方法。几何表示方式因借助传统计算机图形学的理论，使用较方便，但也有着与传统图形学类似的困难，如建模和显示真实度等等。 根据基于几何表示方式所用几何元素的不同，可把基于几何表示方式的i b r技术分为以下几类:基于几何体表示、基于层或者面表示、基于i 日 可 点表示。根据场景的性质和视点与场景的距离从远至近，依次可采用背景图、分层的场景、层次深度图像，最近距离的场景可采用几何体表示。 1 ) 基于几何体表示的i b r技术 山于无论是用立体视觉的方法，还是手工建立模型，以儿何体表示来建模均较为困难。 p a u l d e b e v e c 等提出的基于i l 何体和图像的混合建模方法【 2 1过程大致如下: 通过交互操作，构造一个场景物体的粗略模型。使用一些墓本的规则几何体，直接在照片上指定物体模型，然后用照片上的实际图像来校正这些输入的几何模型，得到关于场景物体的一个粗略模型，人工输入模型也用来反求拍摄时的相机位置。 根据己经建立的粗略几何模型，将照片图像映射到粗略模型上，通过这种根据粗略模型的映射结果与实际照片形成的视差，得出模型的一些细节，细化模型。 根据精确的模型绘制出物体在其它视点的图像。 有时可以利用建筑物的对称特性，用可见面的图像来拟合不可见的那些表面。这种方法对数据采集方法的要求很简单，可以用手持式照相机，在不用严格定位的情况下拍摄照片就可以完成一个几何模型的构筑。它需要的数据量很小，只需几张，甚至可以一张照片。其唯一的缺点是只能主要用于建筑物等形状规整的景物，漫游范围也只能限于这儿个物体附近。 2 ) 基于分层分面表示的i b r技术 因现实场景中多个相邻像素的深度和运动特性往往存在一定的连续性， 可以 把场景看成由 一 块块被称为“ 板图” ( s p r i t e ) 的 基本单 位拼成。 b a k e r , s z e l i s k i和a n a n d a n 提出了一 种按照深度信息对图像分层的方法1 3 1 :图像先被初始化成一些连续深度的面，然后通过几幅对同样场景拍摄的图像，确定这些面的法向量，进而求出平面方程。进一步细化形成的面，得到面上的深度残差以恢复一些深度上的细节，然后将像素映射到这些定义好的面上形成板图。 3 ) 基于几何点表示的or技术 计算机视觉中常用几何点， 也就是像素点， 加上其所代表的儿何点到相机的距离 ( 深度)来表示图像j l 何信息，由图像中每一个像素点的深度组成的图像叫做深度图像。在图像具有深度的情况下，就可以简单地通过三维图像变换( 3 d w a r p i n g ) 来生 成新视点的场景: 先把场景上的点投影到对应的三维空间，然后再从三维空间重投影到新视点得到新视图。 1 9 9 8 年 r a d e m a c h e : 和 b i s h o p 提 出 多 视 点 透 视 图 像( m u l t i- c e n t e r - o f- p r o j e c t io n i m a g e s , m c o p ) 1a 1 : 用窄 缝 相 机沿着 特定的 路 线，环绕一个物体连续多次拍摄，每次只拍摄一条宽度很小的窄缝图像，来对场景物体均匀地采样，并通过测距设备，同时获得各像素的深度。 mc o p方法记录了从多个视点观察物体时所对应的深度图像，由于相邻象素视点变化连续，任意给定一个视点，可以通过重投影来得到当前视点图像。由于需逐个像素重新投影生成最终图像，并存在遮挡消隐情况，这个方法实际上计算量仍偏大。 三维图像经过重投影后， 因视角关系， 原视点和新视点的场景遮挡关系发生变化， 新视图上的某些点找不到原来视图上的映射对应点， 带来空洞( h o l e )问题。为了解决这个问题，s h a d e 和g o rt l e : 等提出了称为 “ 层次深度图像”( l a y e r e d d e p t h i m a g e l d i ) 的一种表示方法1 5 1 0 层次深度图像中， 不仅保存了当前视点可见的场景信息， 还保存了在当前视点暂时不可见那部分场景信息。在层次深度图像中，每个像素对应一个链表，保存沿视点出发的一条光线与场景每个交点的颜色和深度信息，无论在当前该视点是可见还是不可见的。这样，即使可见性发生变化，新视图的每一个点也都能从l d i 中找到需要的像素，有效地避免了空洞现象。 c h a n g 等在l d i 图 像的基础上 增加了 对场景采样率和分 层密 度的考虑， 提出 l d i 层次 树( l d i t r e e ) 的概念! 6 。 这种绘制方法可以调整输入样本的采样率，根据新视图的分辨率从 l d i 层次树上动态地作出调整，选择合适的l d i采样率。2 . 1 . 2 图像表示方式的 1 b r技术 图像表示方式部分依赖传统图形几何学来建模。 它把原始数据图像看成是像素之间相互有对应关系的图像，以一系列己知像素f w 对应关系的图像为基础， 通过二 维图像插值变换( 2 d w a r p i n g ) 得到 在两幅图 像中间 位置的视点上的新视图。 其中用到的一项重要技术是图像变形( i m a g e m o r p h i n g ) o 图像变形广泛地用于生成两幅图像之间的过渡图像。 一般分两个步骤: 首先是通过手工指定或者其它方法，建立开始图像和结束图像之间一些点或者线条之间的对应关系 ( 稀疏对应) ， 然后由计算机通过计算生成图像上每一个点的映射 ( 稠密对应)并进行插值。这种映射分别从开始图像和结束图像出发，向对方进行映射和插值演变。中间图像由这两个方向的图像混合而成。 图像表示方式的图像像素间对应关系的获得和正确与否都会对应用范围和显示质量产生影响。另一缺陷是由于只对原有图像进行插值和变形，当中.间插值图像和原始数据图像差距比较大时，容易因像素在新视图上所占面积的扩大和缩小出现空洞和重叠( o v e r l a y ) 现象。 但它具有模型简单， 存储方式和显示方法都比较容易等优点，不仅适合于一些简单的 i b r应用，而且在很多场合中被作为一种重要的辅助i b r技术使用。 主要的图像表示方式技术有视图 插值( v i e w i n t e r p o l a t io n ) 和视图变形( v i e w m o r p h i n g ) ， 前者基本上是后者的 特例。 1 ) 视图插值技术 c h e n 和w i l l i a m s 在1 9 9 3 年提出 视图 插值技术 h l ， 它的基 本假设是已 知两幅图像间各点的对应关系。当视点连续移动时，所看见的场景之间一般都有很强的相关性相邻视点上看见的大部分景物都是相同的，只是在位置和形状上略有变化，可以通过对邻近视图的插值来生成新视图。 两幅具有点对应关系的图像之间可以建立一种随视点运动， 像素点在对应点之间移动的关系。视图插值技术用线性插值来模拟这种移动。考虑到像素点移动时的局部性，邻近像素点被组织成像素块，成块地移动和压缩。 当视点移动方向始终平行于视平面时， 线性插值的结果和进行三维图形变换的结果是一样的，视图插值精确地模拟了中间视图。但是当视点移动方向不是平行于视平面时，插值结果就会和真实结果有所偏差，这个问题在视图变形技术中得到解决。 无论运动是否平行于视平面， 视图插值技术在两幅样本数据图像视点之间很接近时是一种很有效的技术，非常适合于合成漫游场景时的加速显示。计算机可以只生成一些关键帧，在两个关键帧之间使用视图插值技术生成其余中间帧。 2 ) 视图变形技术 1 9 9 6 年s e i t z 和d y e r 提出的视图变形技术可以 用两幅输入数据图像生成两个参考视点连线之间的任意视图1 8 1 。当视点运动平行于视平面时， 所得到的视图就是视图插值的结果。 但当视点运动不平行于视平面， 原始图像之间，以及原始图像和新视点的视平面之间互相可能都没有平行关系，这时，通过一个三步的变换将这样的问题转化为比较容易解决的平行视图间插值问题。曰.曰曰.三 步 是: 预变换 ( p r e w a r p ) 、 插 值 变形和 后 变换 ( p o s tw a r p ) o 在预变换阶段， 两幅输入数据图像先变换到两个相互平行的视平面， 且对应点在同一条扫描线上。这时，就可以通过线性插值生成中间图像。中间图像再通过后变换变回到新视平面，得到结果图像。 视图 变形的关键是如何得到这些变换。 如果象1 7 1 中 那样己 知图 像的 深度，得到这些变换就比较简单， 但真实场景中拍摄的图像很难直接得到这些数据。s e i t z 和d y e r 给出了如何在没有预知的几何信息条件下， 通过交互设定一些对应点来获得这些变换的方法，从而使视图变形技术可以方便地应用到真实场景中拍摄的视图，生成它们之间的过渡图像。恤2 . 1 . 3 全光线函数表示方式的 i b r技术 基于全光线函数表示的 i b r技术，其基本思路是把摄取的图像看成是一个场景中光线集合的样本，显示时，通过抽取这个集合中属于当前场景的光线来组成新场景。全光线函数根据维数和允许的观察空间自由度的不同，可以分为从2 - 7 维不等的几种全光线函数。 与前面两种多少带有几何绘制的 i b r技术不同，全光线函数可能最接近于“ i m a g e b a s e d r e n d e r i n g ” 的本 来意义。 从全光线函 数的 观点出 发， 重要的不是图像代表什么几何体，而是代表怎样的光线，基本上可不利用传统图形几何学来建模。拍摄是采集光线的过程，显示是根据新的视点，从已采集到的光线集合中去抽取所对应光线的过程。 1 ) 全光线函数 1 9 9 1 年， a d e l s o n和 b e r g e n 定义了一个u t l 做 “ 全光线函数”( p l e n o p t i cf u n c t i o n ) 1 9 1 的概念: 可以设想一个多维函数， 用来表达空间的辐射能量分布，表示空间中任意点在任意时刻、任意波长范围内所看到全部光线的集合。沿着一个或者几个维度变化而造成的辐射能量变化就表达了这整个空间的辐射能量分布结构，并可以推导出因为运动、颜色、观察方向变化而引起的辐射能量分布变化。 当在空间的某个地方拍摄一张彩色照片时， 从该视点出发的任一条视线均可用球面角b 和 95 来定义， 记人眼感受到的光线波长为兄， 当拍摄一系列运动图像时， 需加上时间变量t 来表达时间关系。 连同用来标识照相机位置的三维空间坐标 ( v x , v y , v z ) ，最终得到 7维的全光线函数: p = p ( v x , v y , v z , b ,4 5 , 2 , t ) 。 原则上可以先构造全光线函数， 然后从中抽取合适的光线来获得任意视点的图像。实际场景既不可能从理论上推导出这个函数，也无法从实际场景中采集到任意时间、地点、波长和观察方向的完全光线集合，而且采集到的数据量也会庞大到无法控制口 后来提出的各种方法均是给定这个函数的某些参数后， 通过增加约束， 如固定视点、固定时刻，或者约束环境等，来简化全视函数，以获取全光线函数的一个子集。通过对该子集进行重采样，达到恢复或者是拟合另一个子集来进行基于图像的绘制。 全光线函数表示方式与其它i l 种 i b r表示方式不同，它更侧重于对所见光线的描述而较少对场景几何信息的依赖。因为从真实场景中获取儿何信息十分困难，所以这种方法更适合于真实场景。全光线函数方式把问题从恢复几何的过程转移给了数据采样过程，用大量的样本数据来避免几何，它所带来的采样和数据量问题限制了它的实用和面向网络的应用。 2 )全视建模 由于计算机图形学中一般考虑的是易于处理的静止场景， 因此可以去掉全光线函数中的时间分量r 。 在图像处理中， 人眼对光线波长的感受按颜色空r抽样， 通常分为离散的r c b三个分量来考虑， 可以先考虑单色情况， 固定ao这样就把7 维的 全光线函 数降 到5 维， 全视建模 ( p l e n o p t i c m o d e l i n g ) 1 1 0 ) 就是在这个基础上出现的。 全 视 建 模 是一 个 基 于 杜 面 全 景图 像 ( c y l in d r i c a l p a n o r a m ic i m a g e ) 的 方 法 首先用一台照相机旋转着拍摄下周围的场景，映射到一个圆柱面上，对拍摄到的图像进行相机参数恢复和图像对齐。 在采集了儿个这样的杜面全景图后，指定两个相邻柱面全景图间一些点的对应关系，利用极线约束( e p i p o l a rc o n s t r a i n t ) 在柱面上的变化计算出相邻两个柱面全景图间的映射关系。在需要新视图时，再依映射关系来变换已有的柱面全景图，合成新视点的柱面全景图。 全视建模在重构过程中同样会出现重叠和空洞现象，可以用类似视图插值中使用的方法解决。重叠问题，将圆柱面上的各个点进行排序，从后到前依次处理参考图像中那些映射到新视图上同一像素的点;空洞问题，采用逆映射方法来消除由于画面扩张而产生的大量细小空洞。 全视建模是完全依照全光线函数概念建模，虽然对原始全光线函数进行了一些简化，但恢复全光线函数仍显得过于复杂，需要不少的人工干预。而且在每漫游到一个新视点时都要生成一个完全的全景图，数据运算量与冗余太大。 尽管全视建模有许多缺陷，但它简化全光线函数的思路确实有效，后来出现的许多基于全光线函数的i b r新技术，几乎无一例外都继承了全视建模对全光线函数略去兄 和i 的简化做法口 3 ) 全景图 如果视点固定， 全光线函数中的位置变量 v x , v y , v z ) 也都可以省去，这样就成了二维的全光线函数 p ( b , 0 ) ，全光线函数最简单地简化为全景图 ( p a n o r a m a ) 。 它表现当 视点不动， 视线方向改变时可见到的全部视图。 全景图可以 用全景相机 ( o n i n i - d i r e c t i o n a l c a m e r a ) 或者鱼眼 ( f i s h e y e s )相机方便地获得。因专用照相器材昂贵，常采用普通相机来拍摄，但普通照相机的视角有限， 仅能拍摄下局部， 一般在一个视点上向四周拍摄一组图片，通过变换拼接来得到全景图。 利用全景图建立 i b r系统的过程通常如下: ( 1 ) 把原始场景照片变换投影到一个统一的参考面上进行匹配对准; ( 2 ) 把对准的照片拼接在一起构成全景图; ( 3 ) 将全景图映射到简单儿何形体的表面上进行显示。 考虑到运算复杂度和数据管理的困难， 常用的映射简单几何形体为球面和圆杜面。 虽然全景图技术存在着视点不能自由移动的缺点， 但场景实现简单， 算法成熟，到目 前为止，是产品化最好的i b r技术。商业软件多采用全景图技术实现， a p p l e公司利用全景图技术的q u ic k t i m e v r 川是第一个成功的i b r商业软件产品。 4 ) 光场 当场景限制在无中间遮挡的立方体中时， 光线的位置和方向被简化， 成为带有四 个参 数的 函 数:四 维全光线函 数。 1 9 9 6 年l e v o y和g o rt l e r 分 别提出两种非常相近的 全 光线函 数方法: l i g h t f i e l d 1 2 和l u m i g r a p h 1 1 3 1 , 统 称为光场方法。在这两种方法中，把光线简化成离开或进入一个封闭自由空间的能量流，在传播途中没有变化，唯一可能有影响的情况就是空间内部的物体影响 ( 如遮档) 。因 此光场方法适用于在自 山 空间， 也就是无遮挡空间中的漫游。 光场方法中的基本元素是光线， 进行的操作也是采样和重采样光线， 和场景物体的各种特性无关，它彻底绕开了场景的几何模型，避免了很多困难且不太可靠的场景信息恢复过程。 光场方法采样要采集空间里每一条光线， 对于真实场景而言是相当困难的1 1 4 1 . l i g h t f i e l d采用数控相机， 精确定位每一次拍摄的位置。 l u m i g r a p h 在预知部分几何信息的基础上，采用一个金字塔算法来组织获得的数据图像，通过深度校正，把数据图像中的每一个像素恢复到正确的光线，从而采样条件较宽松。但对真实场景，获得精确的几何信息并不容易，而且需放弃使用纯粹光线的很多优点。 光场方法面临的另一困难是: 采样的数据集庞大惊人。 l u m i g r a p h 在一个只有一只玩具狮子的实验场景中， 采样得到的数据就有4 0 2 mb之多。 因此需要一种既能保证高压缩比，又符合实时显示要求，提供高解压速度和随机访问的数据压缩方法。因为有了光场方法，数据压缩也成为 i b r研究中的一个重要领域。 5 ) 同心拼图 当视点限制在平面内时，全光线函数简化为 3维。1 9 9 9年沈向洋提出了使用狭缝图像的3 维的全光线函数一一单同 心拼图 ( c o n c e n t r i c m o s a ic s ) 1 5 1 ej尸.leej.口，;几.rf吐.) 单同心拼图的采样系统由数架固定在水平旋转杆上的狭缝相机( s l itc a m e r a ) 构成， 每架相机沿 着各自 的 圆周做连续运动， 沿与 圆 周相切( t a n g e n t )的正 反两个方向 拍摄 下一圈圈的 狭缝图 像( s l i t i m a g e s ) ， 这些狭缝图 像拼在一起就形成了同心拼图。这样就能捕捉到沿圆周的所有光线，在区域内任一点建立全光函数。 同心拼图用到的狭缝图像是一种宽度为 1像素的纵向一维图像，类似于mc o p技术所用的图像，但图像并不包含深度。最简单的方法是用一架照相机沿一圆周自转，在每一个角度沿法向拍摄常规图像来生成。由于实际拍摄图像中每一列像素的投影方向，都过光心与某一虚拟圆相切，可以将不同旋转角处标识相同的光线拼成一幅同心拼图，因此数据采集很方便，数据量相对于光场方式来说比较小，使其成为当前最有发展潜力的i b r技术。 同心拼图方法支持了在一个圆周内部， 水平方向上的自由漫游。 和光场方法一样， 同心拼图假设在同一视线方向的不同位置所观察到的光线是一样的。在还原圆周内部任意一点上看到的视图时，只要抽取相应方向上的狭缝图像就可以组成新视图。 但是同方向的狭缝图像实际上会随着距离的变化而变化，因而使用这个假设会带来一定深度方向上的畸变。 为消除单同心拼图中深度方向的畸变，中国科学院自 动化研究所2 0 0 1 年提出了多同心拼图1 1 6 1 : 将照相机在同一平面绕多 个中 心旋转得到多个同心拼图，各中心间平移量已知，不需要三维重建，在找到各同心拼图图像中的对应点后，只需用简单比例关系插值计算，即可恢复各同心圆间几乎所有视点所需的深度信息，但其采用丛于传统立体视觉的图像匹配方法，来寻找各同心拼图间对应点，尚不能保证找到的图像匹配点完全可靠。.呀且2 . 2国内外研究现状2 . 2 . 1 国外情况1 9 7 8 年，m i t的媒体实验室开发成功新颖的a s p e n m o v i e四架摄像机穿行a s p e n的街道时，同时拍摄四个方位的照片， 1 4m a p 项目 ! 1 7 1 :并在每个街道硕士学位论文m.4 s 丁 e r s i i i l s i s路口的场景中加入选择漫游路线的交互手段。播放时，用户类似于自己开车在城市里游玩，通过触摸屏和游戏杆来控制自己的速度和去向，对一些有名建筑，提供了相关的资料供查询，同时还提供导航图来标识用户位置、提示关键场所等。虽然受当时技术条件的限制，采用的是模拟视频技术，但其思想却是新颖、超前的。 1 9 9 4 年6 月， a p p l e 公司开始推出全景视频产品q u i c k t i m e v r ，第一次使人们领略了具有照片质量的虚拟现实环境。它利用软件把相同视点的若干张边缘稍有重叠的照片缝合在一起， 组成一 张3 6 0 “全景图像， 通过热点， 将不同视点的全景图进行连接。通过在全景图上开窗口实时生成用户所要观察的场景，经不同全景图间的切换来实现在虚拟环境中的漫游。.甲 .j.、bt.2 . 2 . 2 国内概况 国防科技大学的虚拟实景空间系统 h v s 1 1 8 1 是目前国内 做得最完整的一个系统。它首先利用采集的离散图像或连续的视频作为基础数据，处理成3 6 0 “柱面全景图， 然后通过合适的空间模型把多幅全景图组织为虚拟实景空间，提供进退、俯仰视、3 6 0 0坏视、近看、远看等漫游可能。 国防科技大学还实现了 同心球拼图的室内 三维漫游系统件 9 1 .由 于球面同心拼图如同单同心拼图缺少足够的深度信息，有着垂直方向的畸变缺陷，而室内空间多为平面与折线，还原图像变形很大。 中国科学院计算所实现了一个基于球面全景图固定视点室内漫游系统1 2 0 1 。 山于 通常照相机所拍摄的照片均为平面图 像， 球面图像与平面图像il l 相互映射失真较大，而且因数据的存放与组织较困难，整个过程中图像的映射与变换不如圆柱面方便。 清华大学则实现了 一个基于圆杜面全景图的室内漫游系统1 2 1 1 ， 支持固定点环视和场景间跳跃连接。 浙江大学实现了 一个西湖白 堤的自 然风景漫游系统1 2 2 , 2 3 1 ， 采用混合式建模，将前景中有关对象按人工设定为三维几何模型，按交互设定的灭点，恢复 行进中图像的深度信息， 采用蜘蛛网模型1 2 4 1 来近似校正前景的视偏差。i r，.甘性.皿. 为加快图像绘制速度， 现有的系统多是依场景还原图像， 并加以 适当地缓冲， 由 漫游系统直接完成绘制与渲染。 上海大学1 2 5 1 和华东船舶工业学院 1 2 6 1同样采用圆柱面全景图，但采用虚实结合的方式:在依视点的变换选取适当图 像窗口 后， 将其作为背景， 利用 o p e n g l来完成纹理渲染与 绘制，1 2 6 1 由3 d s ma x来绘制前景热点对象，达到虚拟三维物体模型真实场景漫游的效果。2 . 3 本文研究的主要问题 由于同心拼图和光场采样数据量太大， 即使经过压缩， 也不适合于较大的漫游地域， v i e w m o r p h i n g 技术很适合于如建筑物等凸面体的外观漫游， 对于较复杂的场景，其中需要标识的对应点太多。全景图中，球面与立方体