（计算机应用技术专业论文）基于图象的虚拟现实机制.pdf

复旦大学撰写科学技术报告、学位论文和学术论文专用纸 摘要 y t 6 l 吣 g 、 f i b v r ( i m a g e - b a s e dv i r t u a lr e a l i t y ) 基于图像的虚拟现实是一个新兴的研究领 域，它融合了计算机图形学和图像处理技术。i b v r 在配置较低的机器上就可以 运行，它不需要昂贵的专用图形加速硬件。在某些情况下，它的图形效果可以与 、 ， 基于几何学的虚拟现实系统相媲美。y 。 本文首先在第一、二章对现有的各种i b r ( i r a a g e b a s e dr e n d e r i n g ) 基于图像的 绘制技术进行了简单介绍和分类比较，主要包括几何表示形式的i b r ，图像表示 形式的i b r 以及全视函数表示形式的i b r 。 在第三章中，我们重点详细地介绍了视图变形法( v i e wm o r p h i n g ) 的基本原 理，实现过程，以及该方法的一些应用实例。通过视图变形法，可以使用同一场 景的两个不同视点的图像变换生成一系列视图。 最后，在图像变形法和全景图技术的基础上，我们设计了一个基于图像的虚 拟现实机制。对普通相机摄取的一系列相片，经过图像处理，得到全景图。然后 从全景图中截取出指定角度的图像，通过图像变形法的处理，得到任意视点的投 影视图。该实验的具体结果参见第四章。 我们设计的这种基于图像的虚拟现实机制还有一些不完善和不成熟的地方， 这些都有待于进一步改进。但是我们相信，基于图像的虚拟现实是一个有着广阔 发展前景的领域。我们设计的实验系统将会是该领域的一种新的探索和尝试。 关键字：基于图像6 ：i 现实，全景图，视图变形法，柱面视图，场景绘制 。 复旦大学撰写科学技术报告、学位论文和学术论文专用纸 i m a g e - b a s e dv i r t u a lr e a l i t ys y s t e m a b s t r a c t ： i m a g e - b a s e dv i r t u a lr e a l i t yi s an e wt e c h n o l o g y , w h i c hc o n s i s t so f c o m p u t e rg r a p h i c sa n di m a g ep r o c e s s i n g i b v rs y s t e mc a r lr u no n c o m p u t e r sw i t hl o wc o n f i g u r a t i o n ，s oi td o e sn o tn e e de x p e n s i v e3 - d g r a p h i c s h a r d w a r e i ns o m e a p p l i c a t i o n s ，i b v r a n dg b v r ( g e o m e t r y - b a s e dv i r t u a lr e a l i t y ) h a v ea l m o s te q u a le f f e c t s i nc h a p t e r1a n dc h a p t e r2 ，s o m ee s s e n t i a lp r i n c i p l e so fi b ra r e i n t r o d u c e d ，a n dt h e nt h es u m m a r yo f l b rt h e o r i e si sg i v e n i nc h a p t e r3 ，t h et h e o r i e sa n da p p l i c a t i o n so f v i e w m o r p h i n g a r e d i s c u s s e di nd e t a i l s o nt h i st e c h n o l o g y , w ec a l lp r o d u c eas e r i e so fn e w i m a g e sf r o mt w ov i e w so fs a m es c e n e f i n a l l y , w ed e s i g n e dav i r t u a lr e a l i t ys y s t e mw h i c hi sb a s e do nv i e w m o r p h i n ga n dp a n o r a m a s b u tw eb e l i e v et h a ti b v r w i l lh a v eab r i g h t f u t u r ea n dw i l lb ea p p l i e di nw i d e ra r e a s a l lw ed oi sab e n e f i c i a l e x p e r i m e n t t od e v e l o p m e n to f i b v r k e y w o r d s ：i m a g e - b a s e dv i r t u a lr e a l i t y , p a n o r a m a ，v i e wm o r p h i n g ， c y l i n d r i c a lv i e w , s c e n er e n d e r i n g 2 复旦大学撰写科学技术报告、学位论文和学术论文专片j 纸 1 概论 第一台电子计算机e n i a c 诞生于1 9 4 5 年，这种计算机操纵非常复杂，只有 专业人员才能完成这项工作。随着计算机应用的日益普及，计算机也由专业研究 机构走进了寻常百姓家，成为人们日常生活必不可少的工具。 计算机应用的日益普及，必然对人机交互界面提出越来越高的要求。人机交 互界面虽然也是一个技术名词，但它所代表的努力却是要让计算机的操作更加简 单易行和更加人性化。让计算机产生绚丽的画面，悦耳的声音，以及身f 临其境的 感受。或者换一种说法，研究人机交互界面技术的最终目的就是要让我们感觉不 到这个界面的存在。 也许这样的前景在4 0 年前，已经出现在人类的脑海里：那时，m o r th e i l i g 申请的一项专利预言了我们今天称之为虚拟现实( v i r t u a lr e a l i t y ，或译“灵境”， 简写作v r ) 技术的很多细节，而今，这个预言的轮廓已经变得越来越清晰，甚 至已经在很多地方成为现实。简而言之，虚拟现实技术的目标就是要达到这样一 种目的：生成完全逼真的视觉、听觉和其他感官效果，让人能够完全沉浸 ( i m m e r s e ) 在这样一个计算机环境中，通过完全自然的交流方式，如说话，动 作和计算机交流。 我们有幸能够亲眼目睹这样个时代的到来，看见计算机发展史上的又一次 飞跃，同时我们也很幸运地能够为创造这样的未来做一些事情。 1 1 图形学与虚拟现实 人从外界获得的信息8 0 是来自视觉。这样的重要性无论如何不能不引起人 机交互界面和虚拟现实研究者的注意。虚拟现实技术的奠基人之i v a n s u t h e r l a n d ，在他那篇被公认为虚拟现实技术里程碑的论文“终极显示”里这样 写到： “终极的显示可以显示一个房间，计算机可以控制房间中一切东西的存 在。显示在这问房间里的椅子可以逼真到似乎你可以坐在它的上面，显示在这间 房间里的手铐似乎简直可以铐人，显示在这问房间中的子弹简直好象可以使人致 复日大学撰写科学技术报告、学位论文和学术论文号用纸 命。只要用适当的程序，这样一种显示可能创造出文学上爱丽丝漫游的奇境。” 虽然现在的虚拟现实技术已经扩展到声音、触觉等其他感官系统的研究，但 是对于图形的要求一直是虚拟现实研究中最重要的部分。s u t h e r l a n d 这里反复强 调了虚拟现实技术对图形方面最重要的要求：真实，高度真实的画面才能满足模 拟真实世界的需要。虚拟现实对于计算机图形学的另一点要求虽然没有在那段文 字中说明，但是也是显而易见的：实时。因为虚拟现实的交互性，不可能在一幅 场景的绘制上花费太多的时间，否则无法达到逼真的效果。即使是略微的滞后， 也会给人眼“闪烁”或者“跳动”的感觉，带来不适。 1 2 传统图形学的困难 传统计算机图形学都是以三维几何信息为基础，试图通过用计算机完全模拟 真实世界的物体成像过程来达到真实感的效果。首先为场景中的所有物体建立三 维几何模型和光照模型等特性描述，然后指定视点，利用透视投影原理将三维几 何模型变换到二维屏幕空间，经过裁剪，明暗处理( s h a d i n g ) 、隐藏面消除( h i d d e n s u r f a c er e m o v a l ) 等处理生成一个屏幕投影。这种方法一直被认为是一种标准 的途径。事实上，计算机图形学作为学科的定义，也是研究如何将计算机数据表 达为图形的过程。 传统图形学生成图形的途径主要有两类：图元驱动( p r i m i t i v ed r i v e n ) 和显 示驱动( d i s p l a yd r i v e n ) m c m i l l a n 9 7 。前者计算场景中每一图形元素对最终 图像的贡献，后者则对输出图像的每一样本点搜索场景中那些决定该样本值的场 景元素。 这种传统图形学生成视图的方法有着坚实的数学和物理基础，但是其中存在 的问题也正好是虚拟现实技术对图形生成的两个要求：真实和实时。 传统图形学真实性的问题主要在于建模的困难上。虽然我们可以准确无误地 按照物体模型和我们所认识的成像机制来生成图片，我们却无法保证这样的模型 和机制本身是正确的，是真实世界的确切描述。真实世界的大多数景物是这样的 复杂，实际上已经远远超出了人或者计算机的描述能力。即使能够在一定程度上 加以描述，建立一个好的模型所需要的时间和人力也是相当可观的，而且还需要 很多经验和技巧。 6 复旦大学撰写科学技术报告、学位论文和学术论文专用纸 传统图形学实时性的问题主要在于绘制过程的复杂。虽然近年来图形硬件的 性能有了很大提高，同时很多传统图形学绘制中的步骤，如消隐、纹理映射都有 了快速的硬件实现算法，但还是赶不上虚拟现实等图形学应用对真实感越来越高 的要求。按传统意义上的面片表示法衡量，上百万个面片表示的虚拟场景已经越 来越常见。例如美国加州大学伯克利分校的虚拟现实研究组用来显示该校新建的 计算机系大楼的外观及室内景观用传统的面片数衡量要超过2 5 0 万个 f s 9 3 1 。同 时，仅仅依赖于高性能图形硬件是不够的，因为高性能图形硬件必然带来的高价 格会限制那些依赖于硬件加速系统的应用。因而在现有的硬件环境下实现高度真 实感图形的生成和绘制技术显得更为重要。 1 3 图像的使用 使用图像来帮助解决一些几何方法所不能解决的问题是一个由来已久的想 法。最初在图形学里直接使用图像的技术是纺醋黠射( t e x t u r em a p p i n g ) 。将图 像象壁纸一样“贴”到由几何模型的面上，用来显示几何模型难以构成的表面精 细结构和复杂图案，以增加画面的真实感。万劈质影( e n v i r o n m e n tm a p ) 【g r e e n e 8 6 贝u 是另一种使用图像的巧妙技术，注意到从一些镜面物体，如镜子， 抛光的金属球反射的光最后总是组成一幅周围环境图像的投影，所以可以直接将 周围的环境映射到这个镜面物体上，而不用再对此表面进行大量的光线跟踪计 算，以减少绘制所需要的时间，加快显示速度。从这两个传统图形学里使用图像 最著名的例子我们就可以看到，在显示中直接引入图像常常能对传统图形学最困 难的两个问题：真实感和速度起到非常好的解决作用。那么，我们是不是可以想 象，如果再多用一些图像，甚至完全用图像替代几何模型呢? 一幅图像毕竟只是个静止的结构，我们不可能单靠它来凭空创造出新的图 像。然而一幅图像不仅仅只是一些像素值的集合，图像本身还蕴涵着丰富的信息。 我们人就是在用眼睛所看到的图像，得到关于我们这个世界的各种几何信息。这， 就引导我们把视线投向和图形学相对的一个领域：计算机视觉。 1 4 计算机视觉 和计算机图形学相对的一个过程是计算机视觉。计算机视觉是“一类从数字 图像中估计或者提取几何和运动信息的计算技术 t v 9 8 ”。传统计算机图形学研 究如何利用几何数据生成成图形，而计算机视觉研究的却是如何分析真实的图 复旦大学撰写科学技术报告、学位论文和学术论文专用纸 像，从中抽取几何信息。从人类利用双眼在不同位置看物体形成的视差得到立体 感中受到启发，计算机视觉一般也是用同一物体两个或者两个以上照相机拍摄的 图像中成像形成的视差来计算场景几何信息。 和图像紧密联系在一起的还有数字图像处理技术。图像处理是一些对图像的 操作，包括去噪、平滑、增强等。计算机视觉中通常用图像处理的方法来对图像 进行分析，例如图像特征的识别、滤波、以及不同分辨率上的重取样等。 虽然计算机图形学和计算机视觉是两个互逆的过程，但是把它们迭加在一起 并不意味着效果抵消：如果由几幅在真实场景拍摄的图像开始，经计算机视觉的 处理恢复了几何，此时再经过计算机图形学的处理，可以显示的不仅是原来的那 几幅图片，还可以是那几幅图片观察视点以外的位置上看到的图像。如果简化这 个过程，把它们综合在一种技术下，那么就得到了一种新的显示技术：基于图像 的绘制技术( i m a g eb a s e dr e n d e r i n g m r ) 。 图1 - 1 基于图像的绘制技术 1 5 基于图像的绘制技术( i m a g e - b a s e dr e n d e r i n g ) 从预先获得的一组图像开始，经过一定的处理，合成新的图像。这就是基于 图像的绘制技术。相应地，传统从几何数据开始合成新图像的技术则被称为基于 几何的绘制技术( g e o m e t r i c - b a s e dr e n d e r i n g ) 即传统的计算机图形学。基于图 像的绘制技术虽然有来自计算机视觉和计算机图形学的成分，但是它并非两者的 简单迭加，最主要的是，它绕开了计算机视觉中精确恢复场景几何和计算机图形 学中用几何生成真实感场景这两个困难而需要大量计算开销的问题，绕开了最困 难且最容易造成问题的“几何”，直接用计算机视觉和图形学的一些理论，通过 分析和重映射在采集的图像和需要合成的图像之间建立联系。 复旦大学撰写科学技术报告、学位论文和学术沦文争川纸 1 5 1 基于图像的绘制系统特点 和前面基于几何的传统图形学绘制技术相对，i b r 有以下突出的优点： 建模容易：不需耗费大量的人力和技巧，通常的i b r 意义下的建模过程 主要是一个系统如何组织和联系现有获得数据的问题，而不是需要所有的几何细 节。用户需要做的事情主要是拍摄照片以及一些简单的交互操作。即使需要一些 额外的几何信息，1 b r 系统一般也是主要通过计算机视觉的知识进行自动的提取 和匹配，而不需要人工的繁复劳动。 绘伟快：不需要复杂的计算，而是直接从已有的视图中合成新的视图， 例如在同心拼图中，只要根据不同的视线方向抽取不同的狭缝图像就可以合成新 视图。整个绘制过程都在二维空间进行，绘制时间不依赖于场景的复杂度，只跟 显示分辨率有关。 真实感强：通常在虚拟现实领域形容真实感的一个要求叫做“照片般的 真实”( p h o t o - r e a l i s t i c ) 。顾名思义，对于真实场景的显示也许没有比基于照片 的i b r 技术更加容易达到“照片般的真实”了。因为所有景物的形状、光照、 材质和纹理等效果都是来自真实拍摄的照片，而不是通过模型计算生成。所以这 是i b r 技术相对于传统几何建模绘制技术最明显的一个优势。 另外，基于几何的方法需要建立场景完整的、精确的表达，绘制时也要对整 个场景进行计算和存储。相反，i b r 技术只需要离散的相片采样，绘制时也只要 对与当前视点相邻的图像进行处理。因此后者具有较小的计算开销。 因为基于图像的绘制技术这些优秀的特性，它不仅被用在对真实景物的模 拟，也用在一些计算机合成场景的绘制中。此时主要是利用这种技术绘制快，计 算开销小的特性，对合成场景的绘制进行加速。 尽管基于图像的绘制技术有许多的优点，但是仍然有许多问题没有解决，下 面我们通过对一般i b r 系统的分析，来了解这些问题。 1 5 2 基于图像的绘制系统构成分析 基于图像的绘制技术的核心是场景图像数据。那么围绕着这些数据，产生了 如下几个问题或者说i b r 中的要素： 1 数据采样方法。也就是如何获得场景数据。各种i b r 系统对于采样的要求各 有不同。总的来说，这些要求可分为以下几个方面： 9 复h 大学撰写科学技术报告、学位论文和学术论文专用纸 设备上的要求。最简单的方法可以是用普通手持式照相机，复杂些的会要求用摄 像机，甚至需要在计算机控制下严格按照固定位置拍摄的数控相机。另外某些 i b r 系统还需要一些附加的设备，如测距仪等。 拍摄方案上的要求。如对拍摄位置、路线，拍摄时的焦距、光圈，拍摄时间，对 周围环境的要求等。 后期处理上的要求。对于已经拍摄好的场景图像，需要作哪些人工处理和输入工 作，这些处理和输入工作的强度和难度如何，需要计算机做哪些处理工作，这些 工作的难度，方法的成熟性如何等等。 总的来说，采样方法要求尽可能方便，对设备、方案和后期处理的要求越少，越 容易做到，越好。 2 数据表示方式。如何组织和联系这些拍摄下来的场景数据，或者说，把它们 看作是什么。 现有的i b r 数据表示方式主要有为全视函数( p l e n o p t i cf u n c t i o n ) 表示方式、几 何表示方式和图像表示方式三种。全视函数表示方式把摄取的i b r 数据看作是 一个场景中光线的集合，显示时，通过抽取这个集合中属于当前场景的光线来组 成新场景。全视函数根据维数和允许的观察空间自由度的不同，可以分为从2 7 维不等的几种全视函数。 几何表示方式把摄取的i b r 数据仍然组织成传统计算机图形学当中的元素，如 点，面，几何体等。从而在显示时，仍然可以使用传统图形学中的某些方法。 图像表示方式把采样结果看成是几幅互相间有一定像素对应关系的图像，通过插 值和变形得到新视点的图像。 3 数据存储和传输方式。如何存储和传输i b r 数据。存储空间和时间似乎总是 一对矛盾。i b r 技术需要的计算量小，但是大部分i b r 系统的的数据量就相当大。 存储方式要求能尽可能减少数据集大小，能在必要时快速方便地转化为需要的表 示方式并进行显示。传输方式要求在需要通过网络传输i b r 数据的场合，能尽 可能快捷地传递b r 数据。 4 数据显示方法。如何实时、准确地通过已有表示方式显示所需场景。 o 复旦大学撰写科学技术报告、学位论文和学术论文专用纸 图1 - 2 基于图像的绘制系统构成 图1 - 2 是基于图像的绘制系统构成框图，其中数据表示方式是i b r 技术的核 心。决定了如何采样数据和显示数据，并且深刻影响到数据的存储和传输方式。 作为实用性的评估标准，数据采样方法和数据存储方式是很重要的。前者决 定了生成一个i b r 数据集的难易度，特别是对于i b r 系统应用于真实场景的情 况，难易度决定了此种i b r 技术是否能否真正实用于真实场景。如果采样方法 的要求非常苛刻，需要非常昂贵的设备和专门的环境，或者需要大量的人力物力 的投入，那么这种方法就常常只能停留在实验室里。 鉴于许多i b r 系统巨大的数据量，不同的数据存储方式往往决定了i b r 系 统的数据集大小。过于庞大的数据不仅无法管理，而且在实际计算机上也将大大 降低显示的速度。 表1 - 1 粗略地列出了一个数据表示方式对于其他几项要素的影响。但是这并 不是对一种i b r 系统完整的性能评价，因为这里还没有包含诸如视点移动范围、 图像质量等一些场景方面的指标。我们将在后面进一步讨论这些问题。 复口大学撰写科学技术报告、学位论文和学术论文号用纸 数据表示方式数据表示方式对i b r 中其他几个要素的影响 数据采集方法对数据存储数据显示方法 方式要求 低维全视函数 简单低到中等简单 高维全视函数( 4 困难高 简单 维以上) 图像表示方式简单低简单 几何表示方式拍摄照片简低复杂 单，但恢复几何的 过程可能相当复 杂 表1 - 1 数据表示方式对于其他几项要素的影响 1 5 3 基于图像的绘制技术分类 对i b r 技术有很多种分类方法。按照应用的场合分，可以分为应用于计算 机合成场景目的是加速场景绘制的i b r 技术，和应用于真实场景主要目的是快 速合成照片真实感的i b r 技术。 应用于计算机合成场景时，因为已有几何模型作基础，所以一般不需要考虑 数据采集等问题，主要采用图像表示方式作为其i b r 数据表示方式，重点在于 如何通过几幅传统图形学方法生成的合成图像来生成一些中间图像，以减少需要 用几何方式绘制的图像数量，加快绘制速度。 应用于真实场景的i b r 技术则复杂的多，也更全面地包含了基于图像的绘 制的各个部分。考虑的也不仅仅是加快绘制速度，更重要的是对绘制质量的要求： 照片真实感。 这里分类的标准主要是看一种i b r 技术应用于哪种场合的可行性和必要性， 而不是它在某个时刻被用于一幅合成或者真实场景。比如，一些应用于真实场景 的i b r 技术以大数据量为代价避免使用真实场景中很难获得的几何信息( 如 l i g h t f i e l d 【l h 9 6 1 ) ，这些技术显然也能在合成场景上使用，只是除非为了实验目 的，否则没有这个必要。而某些i b r 技术，如视图插值( v i e w i n t e r p o l a t i o n ) c w 9 3 ， 1 2 复旦大学撰写科学技术报告、学位论文和学术论文专用纸 起先主要用在计算机合成场景中，但是其思想经过发展，现在也常常被用于真实 场景。 按照i b r 系统是否考虑场景光照模型，又可以将i b r 技术分为不考虑场景 光照的和考虑场景光照的。前者假设场景中的物体都符合l a m b e r t i a n 假设，不 考虑随着观察位置变化，所看到的场景中物体色彩、亮度变化的问题。目前的i b r 技术大多属此类。后者通过恢复场景中的双向反射分布函数( b i d i r e c t i o n a l r e f l e c t a n c ed i s t r i b u t i o nf u n c t i o n ，b r d f ) ，考虑光照情况对场景的影响，和场景 中同一点随着观察位置的不同产生的色泽亮度变化。因为需要恢复场景光照，这 种技术又常常被单独划出，称为基于场景的光照技术( i m a g e b a s e dl i g h t i n g ) ， 前面不考虑光照变化的i b r 技术被认为是狭义的i b r 技术。 复旦大学撰写科学技术报告、学位论文和学术论文专用纸 2 基于图像的绘制技术 在本章中，将会介绍一些不同种类的基于图像的绘制技术。考虑到数据表示 方式在i b r 技术中的核心地位，对i b r 技术是否利用几何信息，是否适于真实 场景应用起着本质上的决定作用，因此我们将i b r 技术的数据表示方式作为i b r 技术的分类标准。 在介绍这些i b r 技术之前，首先约定一下有关的概念。将已知的、输入图 像的有限分辨率集合称为数据图像或者采样图像，新合成的在不同视点上的图像 称为合成视图( s y n t h e s i sv i e w ) ，也简称新视图。 下面我们就综述下以数据表示方式分类的几种i b r 技术。它们分别是： 几何表示方式的i b r 技术，图像表示方式的i b r 技术，和全视函数表示方式的 i b r 技术。 2 1 几何表示方式的i b r 技术 在几何表示方式中，i b r 数据被组织成传统计算机图形学当中的元素，如点， 面，几何体等，这类方法最接近于传统图形学，和前面介绍的传统图形学中对图 像的一些应用技术，如纹理映射等有着密切的关系，并得到后者在理论和实现方 法上的坚实支持。 采用几何表示方式的i b r 技术所需要的显示方法和传统图形学相似，差别 只在于它的模型建立主要以图像数据作为依据。因此我们也可以看到，这种技术 只会应用于真实场景，已经有几何模型的计算机合成场景没有必要使用这种i b r 技术。或者说，在计算机合成场景中使用几何表示方式的i b r 技术就和传统计 算机图形学中的建模和绘制方法没有区别。 下图2 - 1 是一个一般的几何表示方式从建模到显示的流程： 复旦大学撰写科学技术报告、学位论文和学术论文专h j 纸 图2 - 1 几何表示方式的i b r 技术流程 从场景建立几何模型可以有很多办法，图中虚线表示可能的几种途径。因为 基于几何的i b r 技术对于模型的重视，有些分类法把基于图像的建模( i b m ) 和 基于图像的绘制( m r ) 分开，前者专指这种建立几何模型的过程。 根据基于几何表示方式所用几何元素的不同，我们又可以把基于几何表示方 式的i b r 技术分为以下几类：基于几何体表示的1 b r 技术、基于层或者面表示 的i b r 技术、基于几何点表示的i b r 技术 2 1 1 基于几何体表示的i b r 技术 对这类系统来说，建模是个比较困难的问题。无论是用立体视觉的方法，还 是手工建立模型都比较麻烦。p a u ld e b e v e c 等提出的基于几何和图像的混合建模 方法 d t m 9 6 1 是一个比较好的方法，其流程如下： 复旦大学撰写科学技术报告、学位论文和学术论文专用纸 图2 - 2 基于图像和几何方式混合建模流程 首先通过交互操作，构造一个场景物体的粗略模型。d t m 9 6 的方法使用一 些基本的规则几何体，如立方体、棱柱、锥体等，交互地直接在照片上指定物体 模型( 图2 - 3 a ) 。这些交互输入的几何模型然后通过照片上的实际图像进行校正， 得到关于场景物体的一个粗略模型。同时，人工输入模型也用来反求拍摄时的相 机位置( 图2 - 3 b ) 。接下去，根据已经建立的粗略几何模型，将照片图像映射 到粗略模型上，通过这种根据粗略模型的映射结果与实际照片的形成的视差，使 用【d t m 9 6 】中称为“基于模型的立体视觉”( m o d e l b a s e ds t e r e o p s i s ) 的技术，得 出模型的一些细节，如建筑物的楣，梁等结构( 图2 - 3 c ) ，细化模型。最后，根 据精确的模型绘制出物体在其他视点的图像( 图2 - 3 d ) 。 豳2 - 3 基于田像和几何方式混合建模示意 一 【d t m 9 6 的方法还利用了建筑物的对称特性，用可见面的图像来拟合不可 见的那些表面。这种方法对数据采集方法的要求很简单，可以用手持式照相机， 在不用严格定位的情况下拍摄照片就可以完成一个几何模型的构筑。数据量也很 小，只要几张，甚至可以一张照片。唯一的缺点是这种方法只能主要用于建筑物 等形状规整的景物，漫游范围也只能限于这几个物体附近。 1 6 复旦大学撰写科学技术报告、学位论文和学术论文专用纸 2 1 2 基于分层分面表示的i b r 技术 还有一种i b r 技术则采用基于层( 1 a y e r ) 或者面的表示。因为在现实场景 中多像素的深度和运动特性往往存在一定的连续性，利用这种特性，就可以把场 景看成由一块块的“板图”拼成，正如舞台上的布景板。以这种“板图”( s p r i t e ) 作为使用这类方法绘制时的基本单位。 b a k e r ，s z e l i s k i 和a n a n d a n 提出了一种按照深度信息对图像进行分层的方 法 b s a 9 8 】。在这种方法中，图像( 图2 - 4 a ) 首先被初始化成一些深度连续的面 ( 图2 - 4 b ) ，然后通过几幅对同样场景拍摄的图像，确定这些面的法向量，进而 求出平面方程。结合一个面的范围和平面方程，可以得到板图。 这样形成的面需要被进一步细化，用类似上节中 d t m 9 6 】提到的基于模型 的立体视觉方法，得到面上的深度残差( r e s i d u a ld e p t h ) 以恢复一些深度上的 细节( 图2 4 c ) 。然后将像素映射到这些定义好的面形成板图。 b s a 9 8 】中还介 绍了进一步精化分面的方法：将得到的面进行重投影，对误差进行最小化。 ( a ) 图2 - 4 图像分层 ( c ) 另一些基于分层的方法则是针对运动特性的，应用在连续视频中。它们的分 层依据是视频流中运动独立的、可以由仿射运动模型描述的不同层次。每一层都 产生一独立的s p r i t e 图像流，每一层都可单独控制其刷新频率、空间分辨率及绘 制质量参数等。最终各层的子画面被组合到显示屏幕上。a d e l s o n 介绍了怎样用 运动分割方法 w a 9 3 来计算视频系列的分层表示 a d e l s o n 9 5 】。类似的工作还有 s + 9 5 ，a s 9 5 ，l s 9 7 j 。采用这种分层方法时，将整个图像序列作为输入可以有效 地决定每个象素所属的层次，并产生较清楚的对象边界。 还有一种i b r 技术也可以归入这一类，那就是h o r r y 和a n j y o 等提出的“画 中游”( t o u r i n t o t h e p i c t u r e ，t i p ) 系统 h a a 9 7 。在“画中游”系统中，输入图 像( 图2 - 5 a ) 首先被划为几个背景区域和前景物体。背景区域被描述成由几块“布 景板”搭成的一个蛛网模型( s p i d e r ym e s h ) ，按照透视原理布置( 图2 - 5 b ) 。前 复旦大学撰写科学技术报告、学位论文和学术论文号用纸 景物体则被描述成由一些面片搭成( 图2 5 c ) 。“画中游”系统只需要用到一幅图 像，其中的几何信息几乎全部以手工输入，但因为只是用了一些简单的层面，所 以工作量相对不大。 ( a )( b )( c ) 图2 5 画中游技术 基于层面表示的i b r 技术共同要求是，按照分层规则( 深度或者运动特 性) ，场景中的层次不是太多；或者对场景的观察范围或真实感要求不是很高， 否则容易造成绘制速度或者质量上的问题。因为用层次来表示场景毕竟只是对场 景的一种近似表达。 2 13 基于几何点表示的i b r 技术 计算机视觉中常用几何点，也就是像素点加上其所代表的几何点到相机的距 离( 深度) 来表示几何。如果图像中每一个像素点的深度都可以知道，那么组成 的图像叫做深度图像( r a n g ei m a g e ) 。 在图像具有深度的情况下，就可以简单地通过三维图像变换( 3 dw a r p i n g ) 来生成新视点的场景：先把场景上的点投影到对应的三维空间，然后再从三维空 间重投影到新视点得到新视图。 r a d e m a c h e r 和b i s h o p 提出的多视点透视图像( m u l t i c e n t e r - o f - p r o j e c t i o n i m a g e s ，m c o p ) 【r b 9 8 就是一种这样的系统。向着一个物体进行多次拍摄，每 次只拍摄一条宽度很小的一维图像，之所以采用这样的方法是为了能对场景物体 进行更均匀的采样。采样的图像通过测距设备，如激光测距仪获得各像素的深度。 r a d e m a c h e r 和b i s h o p 还提出了一种称为“r e l i e f t e x t u r e ”的方法以提高三维图 像变换的速度：把纹理映射分为两步，首先通过前向的三维图像变换，把点映射 到新的位置，再进行传统的纹理映射。后者通常可得到目前图形显示设备在硬件 复旦大学撰写科学技术报告、学位论文和学术论文专用纸 上的支持。 但是三维图像变换往往带来另一个问题，空洞( h o l e ) 。也即经过重投影后， 新视图上的某些点找不到原来视图上的映射对应点。这是因为视角的关系，原视 点和新视点看到的场景遮挡关系发生变化引起的。为了解决这个问题，出现了称 为“层次深度图像”( l a y e r e dd e p t hi m a g e ，l d i ) 的一种表示方法。 层次深度图像 s g h s 9 8 】是s h a d e 等在全面衡量了各种i b r 中应用的几何 表示方式之后，作为一种重要的中间过渡表示方式提出。在这种图像中，不仅保 存了当前视点可见的场景信息，还保存了在当前视点暂时不可见那部分场景信 息。在层次深度图像中，每个像素对应一个链表，保存了沿视点出发的一条光线 与场景每个交点的颜色和深度信息，无论在当前视点是可见还是不可见的。这样， 即使可见性发生变化，也不影响新视图的每一个点都能从l d i 中找到需要的像 素，有效地避免了空洞现象。( 图2 6 ) 图2 6 深度层次图像 c h a n g 等在l d i 图像的基础上增加了对场景采样率和分层密度的考虑 c b l 9 9 ，提出l d i 层次树( l d it r e e ) 的概念。这种绘制方法可以调整输入样 本的采样率，根据新视图的分辨率从l d i 层次树上动态地作出调整，选择合适 的l d i 采样率。 2 1 4 几何表示方式的i b r 技术总结 几何表示方式以完全的几何信息为基础。重点在于模型的建立。几何表示方 式的显示可以借助传统计算机图形学的很多成果，使用比较方便。但是也受到传 统图形学所面临的难题的困扰。比如，建模上或多或少存在的困难，显示真实度 和速度上可能存在的一些缺陷，等等。 几种几何表示方式其实可以统一起来，根据场景的性质和视点距离场景的远近而 复旦大学撰写科学技术报告、学位论文和学术论文争用纸 选择采用不同的几何表示方式( 图1 9 ) s g h s 9 8 。在距离非常远时，场景可以 用一幅背景图像表示。随着场景物体的接近，依次可以采取分层的场景表示， l d i 图像表示，最近的场景可以采取几何体表示。 2 2 图像表示方式的l b r 技术 这一类1 b r 技术并不象前面几何表示方式那样，建立在场景的完全几何 信息基础上。它把原始数据图像看成是像素之间相互有对应关系的图像，并利用 这种对应关系，通过二维的图像变换( 2 dw a r p i n g ) 来生成新视图。( 图2 7 ) 知道两幅图像像素点之间的对应关系后，很自然的一个想法就是通过插值得 到在两幅图像中间位置的视点上某一像素点应该处的位置。其中用到的一项重要 技术是图像变形( i m a g em o r p h i n g ) 。 图像变形广泛地用于生成两幅图像之间的过渡图像。这项技术一般分为两个 步骤：首先是通过手工指定或者其他方法，建立开始图像和结束图像之间一些点 或者线条之间的对应关系( 稀疏对应) ，然后由计算机通过计算生成图像上每一 个点的映射( 稠密对应) 并进行插值。这种映射同时从两个方向进行，也就是说， 各自从开始图像和结束图像出发，向对方进行映射和插值演变。中间图像由这两 个方向的图像混合而成。这是一项很有实用意义的技术，美国著名流行歌星 m i c h a e lj a c k s o n 的“b l a c ko rw h i t e ”m t v 中那段有趣的“变脸”镜头就是用 这项技术合成的【b n 9 2 】。如果把起始图像和结束图像定为漫游过程中拍摄的两 幅图像，那么就可以利用这项技术生成在两幅图像拍摄点中间的路径上，观察到 的视图。 复旦大学撰写科学技术报告、学位论文和学术论文专用纸 图2 7 图像表示方式的i b r 技术流程 重要的图像表示方式的m r 技术主要有这几种：视图插值( v i e w i n t e r p o l a t i o n ) ，视图变形( v i e wm o r p h i n g ) 和迁移绘制( t r a n s f e rm e t h o d ) 。这 三种技术之间的关系是，基本上按照这个排列顺序，前一种可以看成是后一种的 特例。 2 2 1 视图插值技术 视图插值技术是c h e n 和w i l l i a m s 在1 9 9 3 年提出的 c w 9 3 。注意到当视点 连续移动时，所看见的场景之间一般都有很强的相关性相邻视点上看见的大 部分景物都是相同的，只是在位置和形状上略有变化，于是就可以通过对邻近视 图的插值来生成新视图。 正如我们前面所说，这种技术的基本假设是已知两幅图像间各点的对应关 系。如果是计算机合成图像，那么两幅图像之间的点对应关系可以通过三维图像 变换获得；如果是真实图像，那么需要用立体视觉的方法获得，会困难些。 两幅具有了点对应关系的图像之间可以建立种“光流”( o p t i c a lf l o w ) 关 系，也就是随着视点的运动，像素点在对应点之间的移动关系。视图插值技术用 线性插值来模拟这种移动。为了简化，考虑到像素点移动时的局部性：邻近像素 常常在一起移动，像素点又可以被组织成像素块，进行成块的移动和压缩。 【c w 9 3 1 指出，当视点移动方向始终平行于视平面时，线性插值的结果和进 复旦大学撰写科学技术报告、学位论文和学术论文号用纸 行三维图形变换的结果是一样的，也就是说，视图插值精确地模拟了中间视图。 但是当视点移动方向不是平行于视平面时，插值结果就会和真实结果有所偏差， 这个问题在后来的视图变形技术中得到解决。 无论运动是否平行于视平面，视图插值技术在两幅样本数据图像视点之间很 接近时是一种很有效的技术。因而这种技术非常适合于合成漫游场景时的加速。 计算机可以只生成一些关键帧，其余帧通过对两个关键帧之间使用视图插值技术 生成。 2 2 2 视图变形技术 s e i t z 和d y e r1 9 9 6 年提出的视图变形技术可以用两幅输入数据图像生成两 个参考视点连线之间的任意视图 s d 9 6 】。如上节所述，当视点运动平行于视平面 时，所得到的视图就是视图插值的结果( 假设没有空洞现象) 。但是原始图像( 而 和i t ) 之间，以及原始图像和新视点的视平面( 厶) 之间互相可能都没有平行关 系( 图1 1 1 ) 。也就是说，视点运动不平行于视平面。这时， s d 9 6 通过一个三 步的变换将这样的问题转化为比较容易解决的平行视图间插值问题。三步是：预 变换( p r e w a r p ) 、插值变形和后变换( p o s t w a r p ) 。 如下图2 - 8 ，在预变换阶段，两幅输入数据图像而和乃先变换到两个相互平 行的视平面，且对应点在同一条扫描线上，成为图像厶，j 。此时，就可以通过 线性插值生成中间图像，。中间图像再通过后变换变换到新视图的视图平面，得 到结果图像。 视图变形的关键是如何得到这些变换。如果象 c w 9 3 e p 那样已知图像的深 度，得到这些变换就比较简单，但真实场景中拍摄的图像很难直接得到这些数据。 s e i t z 和d y e r 给出了如何在没有预知的几何信息条件下，通过交互设定一些对应 点来获得这些变换的方法。从而使视图变形技术可以方便地应用到真实场景中拍 摄的视图，生成它们之间的过渡图像。 复日大学撰写科学技术报告、学位论文和学术论文专用纸 p 2 2 3 迁移绘制算法 图2 - 8 视图变形技术示意 l a v e a u 和f a u g e r a s 于1 9 9 4 年提出的迁移绘制算法 l f 9 4 ；f i j 用场景的几何限 制投影到一个适当的视平面来生成场景。首先利用一组原始数据图像，确定原始 数据图像间每一个像素点之间的匹配，建立对应关系。这种匹配点的搜索可以借 助已知的极约束( e p i p o l a r c o n s t r a i n ) 和对应象素点位置在图像之间的偏移( i m a g e d i s p a r i t y ) 关系确定搜索区域。 三幅图像之间的像素匹配关系可以构成一个三维张量( t r i f o c a l t r i l i n e a r t e n s o r ) 。显示时，通过反向映射( r e v e r s em a p p i n g ) 或光线跟踪计算出新视点的 图像。 2 2 4 图像表示方式的i b r 技术总结 图像表示方式以一系列已知像素间对应关系的图像为基础，通过二维图像变 换合成新视点的图像。由于采用二维图像变换，计算量较几何表示方式小，可以 有比较快的计算速度。 因为需要知道图像像素点间的对应关系，这种对应关系的容易获得与否，正 确与否都会对一种图像表示方式的应用范围和显示质量产生影响。图像表示方式 的另一个限制是因为只对原有图像进行插值和变形，当中间插值图像和原始数据 图像差距比较大时，容易因为可见性变化，像素在新视图上所占面积的扩大和缩 小出现空洞( h o l e ) 和重叠( o v e r l a y ) 现象。 复旦大学撰写科学技术报告、学位论文和学术论文专用纸 图像表示方式的视点移动范围限制在原始图像的视点之间的一些位置上，移 动范围有限。但它具有模型简单，存储方式和显示方法都比较容易的优点，不仅 适合于一些简单的i b r 应用，而且在很多场合中被作为一种重要的辅助i b r 技 术使用。 2 3 全视函数表示方式的i b r 技术 “什么是图像? ”这个问题简单却不易回答。我们可以把它看成在场景中某 处，采集到的可见光光线的集合和样本。把图像看成光线的集合和样本，这就是 基于全视函数表示方式的i b r 技术的基本思路。 全视函数表示方式的i b r 技术或许是最接近“基于图像的绘制”本来意义 的 b r 技术。与前面两种或多或少带着基于几何绘制色彩的i b r 技术不同，在 全视函数的观点看，重要的不是图像代表的是什么几何物体，而是代表着怎样的 光线。拍摄的过程是采集光线的过程；显示的过程是根据新的视点，从已经采集 到的光线集合中去抽取所对应的光线的过程( 图2 9 ) 。所谓“全视函数”，就是整 个场景空间光线的全集。 下面我们就从全视函数的初始定义开始，介绍一下这类方法。 图2 - 9 全视函数表示方式的i b r 技术流程