（模式识别与智能系统专业论文）基于图像建模与绘制技术研究.pdf

摘要 基于图像的建模与绘制技术( i m a g eb a s e dm o d e l i n ga n dr e n d e r i n g ，i b m r ) 是近 年来兴起的一种综合性的多学科交叉技术，它应用了计算机视觉、图像处理和计算机图形 学等最新的研究成果。它所追求的目标可以概括为：真实性、实时性和实用性。本文的研 究主要围绕人脸的绘制和建模进行，主要工作有： 1 实现了一个自动提取人脸特征点的原型系统。在应用g a b o r 滤波器对原始图像作 多尺度，多方向的滤波来进行特征提取的基础上，对特征点匹配的几种相似函数 作了比较。实验表明g a b o r 滤波器是一种很好的特征提取工具。在原有的理 论基础上，我们提出了用特征点间的不变量来进一步提高特征点匹配鲁棒性的方 法。自动提取特征点并建立特征点之间对应关系之后，我们应用多层次自由形变 的方法实现了图像变形。对于非均匀变换采用三角化的方法来求得非特征点的变 换系数，并利用对原图像作前变换的手段来得到视觉上比较完美的图像。 2 光照是计算机视觉中的许多问题，例如，图像绘制、人脸识别、物体的重建等， 都必须考虑的一个重要因素。研究在某种简化的光照模型下图像的重绘技术，以 及在此基础上研究物体的三维重建问题一直是计算机视觉的一个很重要的研究内 容。我们提出了一种新的用于人脸在不同光照下重绘的方法，实验表明，该方法 可以取得比较满意的重绘效果。应用变化光照下的多幅图像也可以对于物体进行 三维重建。我们把物体的重建分成两个过程。从二维到2 5 维的重建，25 维是二 维图像和三维物体之间的中间表示层次，在l a m b e r t 光照模型下利用一幅或者多 幅图像求得物体形状的一个重要参数法向量。计算出物体的法向量后，对于 如何从物体的法向量重建物体的三维形状，我们提出了一种线性迭代的算法，实 验结果表明这种算法具有很好的收敛性和鲁棒性。 关键词： 基于图像的建模与绘制，人脸，图像变形，光照，三维重建 中国科学院研究生院硕士学位论文 a b s t r a c t i m a g eb a s e dm o d e l i n ga n dr e n d e r i n g ( i b m r ) i san e we m e r g i n gt e c h n o l o g y i th a s f o u n dm a n y p r o m i s i n ga p p l i c a t i o n si nd i f f e r e n tf i e l d s ，i np ar t i c u l a r , i nv i r t u a lr e a l i t y i t st h r e e g o a l sa r e ：p h o t o r e a l i s t i ci m a g e s ，r e a lt i m er e n d e r i n ga n dl o wc o s t t h et h e s i si sf o c u s e do n t h er e n d e r i n ga n d m o d e l i n go fh u m a n f a c e s a n dc a nb es u m m a r i z e da sf o l l o w s ： 1 a p r o t o t y p es y s t e mi si m p l e m e n t e d i tc a na u t o m a t i c a l l yl o c a t es p e c i f i cf a c i a lp o i n t s o naf a c ei m a g e g a b o rf i l t e rw i t hd i f f e r e n tf r e q u e n c i e sa n do r i e n t a t i o n sa r eu s e df o r f e a t u r ee x t r a c t i o n t h e nt h r e e s i m i l a r i t y f u n c t i o n sa r ec o m p a r e d e x p e r i m e n t a i r e s u l t ss h o wt h a tg a b o rf i l t e ri si n d e e dap o w e r f u it o o li nf e a t h e re x t r a c t i o n 1 n a d d i t i o n ，a ni n v a r a n t b a s e d t e c h n i q u e i su s e dt os e l e c tl h ef i n a if e a t u r e c o r r e s p o n d e n c e ，a n di ss h o w e dt ob ee f f e c t i v e a f t e rt h ee s t a b l i s h m e n lo ff a c i a l c o n t r o fp o i n tc o r r e s p o n d e n c e s ，m u l t i l e v e io ff r e ef o r md e f o r m a t i o n ( m f f d li su s e d i ni m a g e m o r p h i n g ，w h e r e t h ec o n t r o if u n c t i o na te v e r y p o i n ti sc o m p u t e du s i n gt h e m e t h o do ft r i a n g u l a t i o ni nn o n - u n i f o r mm e t a m o r p h o s i sa n da p r e s h i f t i n gs t e pi s e n g a g e d t or e d u c et h ed i s t o r t i o ni nt h em o r p h i n g 2 d u et ot h ea d v e r s ee f f e c to fl i l u m i n a t i o no ni m a g er e n d e r i n g ，f a c er e c o g n i t i o na n d r e c o n s t r u c t i o n 。r e s e a r c h e r si nc o m p u t e rv i s i o nh a v ep a i ds p e c i a la t t e n t i o nt et h e s t u d y o ni m a g e r e n d e n n gw i t hv a r y i n gi l l u m i n a t i o na n ds h a p e f r o ms h a d i n g ap , e w a p p r o a c h f o r p h o t o r e a l i s t i cr e n d e r i n g o ff a c e sm r d e ra r b i t r a r yi i l u m i n a t i o nj s p r e s e n t e di n t h i sw o r k ，a n de x p e r i m e n t a lr e s u l t sv a l i d a t ei t i na d d i t i o n w ea l s o i n v e s t i g a t e at e c h n i q u ef o r o b j e c t r e c o n s t r u c t i o n u s i n g s e v e r a i i m a g e su n d e r v a r y i n gi i l u m i n a t i o n t h et e c h n i q u ei sd i v i d e dj n t ot w os t e p s i nt h ef i r s ts t e p a25 d s h a p e i e ，n o r m a io fl h es h a p ea le a c hp o i n t ，l so b t a i n e d t h e ni nt h es e c o n ds t e p ， an e wl i n e a r - i t e r a t i v em e t h o di sp r o p o s e dt ou p g f a d et h e s h a p e t ot h e3 do n e t h e m e t h o di ss h o w nt ob eo fg o o d c o n v e r g e n c ea n dr o b u s t n e s s k e y w o r d s ：i b m r ，f a c e s ，i m a g em o r p h i n g ，i l l u m i n a t i o n ，3 dr e c o n s t r u c t i o n i l 独创性声明 本人声明所成交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果。与 我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确地说明并表示了谢意。 签名：呈! 基盗日期 关于论文使用授权的说明 2 0 0 3 j 。扣 本人完全了解中国科学院自动化研究所有关保留、使用学位论文的规定，即：中幽科学院f 动化研究所有权保留送交论文的复印件，允许论文被查阅和借阅：可以公布论文的令部或鼎。q 容，可以采用影印、缩印或其他复制手段保存论文。 签名：呈! 塞睾导师签名：羞兰羔日期：垒! ! ：! 二! 第一章绪论 t h eu l t i m a t ed i s p l a y w o u l d , o f c o u r s e ，b e ar o o mw i t h i nw h i c ht h ec o m p u 犯rc a nc o n t r o l t h ee x i s t e n c eo f m a t t e rac h a i r d i s p l a y e d i ns u c har o o mw o u l db e g o o de n o u g h t os “i n t t a n d c u f f sd i s , l a y e di ns u c har o o m w o u l db ec o 啦n i n g , a n dab u l l e td t s p t d y e di ns u c h r o o mw o u l d b e f a t a lw i t ha p p r o p r i a t e p r o g r a m m i n g s u c ha d i s p l a yc o u l dl i t e r a l l yb e t h e w o n d e r l a n df n t ow h i c ha l i c ew a l k e d i v a ns u t h e r l a n di n1 9 6 5 p a p e r , ”t h eu l t i m a t e d i s p l a y ” 计算机的诞生推动着科学的大踏步前进。几十年来，人们不仅热衷于让计算机认识这 个世界，更热衷于让计算机创造一个新世界，这个新的世界就称为虚拟现实( v i r t u a lr e a l i t y ) 。 随着计算机图形学和计算机视觉技术的飞速发展，这个激动人心的时刻已经为时不远。也 许有一天，我们会对日常生活的真实性产生怀疑，正如虚拟现实技术奠基人之一一i v a n s u t h e r l a n d 在“终极显示”论文中对虚拟现实的描述那样： “终极的显示可以显示一个房间，计算机可以控制房间中一切东西的存在。显 示在这问房问里的椅子可以逼真到似乎你可以坐在它的上面，显示在这间房间里的手铐似 乎简直可以铐人，显示在这间房间中的子弹简直好像可以使人致命。只要用适当的 。? 序， 这样一种显示简直就是爱丽丝漫游的奇境。” 1 1 背景 1 1 1 虚拟现实及其发展 虚拟现实( v i r t u a lr e a l i t y ，简称v r ，或译为“灵境”) 是当前计算机领域内的。一个热门 研究方向。所谓虚拟现实简单地说就是指：通过一定的接1 ：3 设备，如头盔、数据手套等， 用户不仅可以体验完全逼真的视觉、听觉、触觉等感官效果，产生沉浸感，并且可以通过 完全自然的交流方式，如语言、动作和手势等对场景进行实时交互操作。 虚拟现实强调逼真感觉、自然交互、个人视点及实时响应。真实感和实时性是两个最 重要的特点。现在的虚拟现实技术已经扩展到声音、触觉等其它系统的研究，但是对于图 形的要求一宣是虚拟现实研究中的最重要部分，所以我们主要讨论图像的真实感和图像生 中国科学院研究生院琐l 一学位论文 成的实时性。真实感是指绘制的图像如同照片一般( p h o t o r e a l i s t i c ) 实时性是指绘制的速 度没有滞后。实时的交互式系统和高度真实感的图像会给用户带来身临其境的感觉。 虚拟现实涉及计算机图形学、计算机视觉等领域。相应地主要有两种建模和构造虚拟 环境的方法： 基于模型的虚拟环境绘制( m o d e lb a s e dr e n d e n n g ) ：利用计算机图形学技术，对真 实场景进行抽象，从而建立三维场景模型，然后利用计算机实现场景模型的绘制、着色、 消隐、光照以及投影等处理过程，最终生成给定视点和视方向下的图像。这种方法较为成 熟，具有完善的理论体系。但是，建模过程相当复杂，实时性能和真实感难以兼得，有时 还要求硬件的支持。v r m l ( v i r t u a l r e a l i t ym o d e l i n gl a n g u a g e ) 虚拟现实建模语言是 一个典型的应用例子，它用语言来描述场景元素，构建三维空间，模拟现实事件，是一个 开放可扩展的工业标准景象描述语言，用来描述i n t e r n e t 中3 d 景象或世界。 基于图像的绘制( i m a g e b a s e dr e n d e r i n g ) ：主要研究如何采用已知实景图像来生成 新视点下的对应图像。它的优点是真实感强，实时性好，不需要硬件支持；但是其海量数 据也给存储和传输带来问题。近年来，基于图像的绘制技术使得虚拟现实有了很大的发展， 尤其是对于野外复杂场景的生成和漫游。q u i c k t i m ev r 系统是一个典型的应用例子，它通 过对场景3 6 0 。全方位图像的采集、程序的无缝拼接，以及视角变化、热点设定，给浏览者 展现1 一个比较真实的三维空间。 下面简单介绍一下涉及的两门主要学科：计算机图形学和计算机视觉。 1 1 2 计算机图形掌 计算机图形学研究的是如何从三维模型生成二维图像的过程，因此图形在计算机中表 示、计算、处理和显示的相关原理与算法，构成了计算机图形学的主要研究内容。图形通 常强调场景的几何表示，由点、线、面、体等几何元素和灰度、色彩、线型、线宽等非几 何属性组成。主要分为两类，一类是基于线条信息表示的，如工程图、等高线图、曲面的 线框图等，另一类是明暗图( s h a d i n g ) ，也就是通常所说的真实感图形。计算机图形学的一 个主要目的就是要利用计算机产生令人赏心悦目的真实感( p h o t o r e a l i s t i c ) 图形。 第2 页 中同科学院研究生院硕十学位论文 传统的计算机图形学方法有着坚实的数学和物理理论基础。为了生成一幅具有真实感 的图像，通常是以三维几何信息为基础，试图通过计算机完全模拟真实世界的物体成像过 程：先对场景中的所有物体建立三维几何模型和光照模型，然后指定视点，利用透视投影 原理将三维几何模型变换n - 维屏幕空间，再经过图形剪裁，明暗处理，消影算法，最终 产生真实的效果。然而，真实世界错综复杂，三维模型的建立非常困难，有的甚至超出了 人或计算机的描述能力；同时，绘制过程计算量太大，要想实时地生成完全真实的图像非 常困难。 因此，如何实现实时真实感图像绘制成为图形学的一个主要方向当前主要有两种方 法：( 1 ) 、物体网格模型的面片简化：就是在一定误差精度范围内，删除点、边、面，从而 简化场景的复杂程度，加快图形绘制速度。( 2 ) 、基于图像的绘制方法( i b ri m a g eb a s e d r e n d e r i n g ) ：它直接从一系列已知的图像中生成新视点图像，省去了建立场景几何模型和 光照模型的过程，也不需要进行光线跟踪等费时的计算，在真实感和实时性上有很大的优 势。 1 1 3 计算机视党 据统计，人类从外界获得的信息的8 0 来自视觉【8 】。计算机视觉( c o m p u t e r v i s i o n ) 是在图像处理的基础上发展起来的一门交叉学科，从信息处理的层次研究视觉信息的认知 过程，研究视觉信息处理的讨算理论、表达与计算方法，试图通过对一幅或多幅二维圈簿 的分析，感知三维环境的几何信息。然而由于摄像机内外参数标定以及立体匹配等过程的 不鲁棒性，很难全自动得到复杂场景的高精度几何信息。同时繁杂的计算过程也难以满足 虚拟现实的要求。 计算机视觉和计算机图形学在某种意义下是一个互逆的过程。因为计算机视觉研究的 是如何从二维图像获得三维模型，感知三维环境中物体的j l 何信息，包括它的形状、位胃、 姿态、运动等，而且能对它们进行描述、存储、识别和理解。而计算机图形学研究的则是 如伺从三维模型得到二维的图像。 但是这两门学科的融合，并不意味着效果的抵消。从真实场景图像出发，利用计算机 视觉的原理，恢复场景的几何信息，再经过汁算机图形学的处理，可以绘制出新视点下的 第3 负 中国科学院研究生院硕士学位论文 图像。基于图像的绘制技术( i m a g e b a s e dr e n d e r i n g ) 就是从这个思想出发，经过图像的 采集、压缩、存储，按某静表示方式生成图像数据库，最后从数据库中重采样图像数据来 绘制新图像的一种综合技术。他们之间的关系可以用图l 来表示。 图1i b r 与计算机图形学和计算机视觉的关系 1 2 基于图像的绘制( i b r ) 基于图像的绘制技术( i m a g eb a s e dr e n d e r i n g ) 是近年来兴起的一种计算机图形学 绘制技术，它将计算机视觉和计算机图像处理等学科的理论和方法，应用到计算机图形学 中，是综合性的多学科交叉产物。其核心思想是如何充分利用真实场景图像信息，来加速 新图像的绘制过程，提高新图像的真实感。 因此，图像的数据表示方法成为基于图像绘制技术的理论内核，不同的解释、不同的 表示方法、不同的数据结构，对应不同的i b r 方法。i b r 技术的发展过程可以认为是对图 像数据表示方法的不断认识和发现的过程。i b r 技术系统框架构成如图2 。 图2 基于图像的绘制技术系统框架构成 第4 页 中国科学院研究生院硕士学位论文 1 2 1 基于图像绘制技术的特点 真实性 基于图像的绘制技术是直接从图像( 一般是拍摄的照片) 到图像的绘制过程，因此具有 照片般真实( p h o t o r e a l i s t i c ) 的特点。因为所有景物的形状、纹理、光照等都是来自真实 的照片，所以基于图像的绘制技术在真实感方面比传统的计算机图形学具有明显的优势。 这也是i b r 近年来得到迅猛发展的重要原因之一。 实时性 基于图像的绘制技术不需要复杂的建模过程，只需要对已获得的图像进行重新采样，即 可绘制新的图像，因而绘制速度快，可以满足实时性的要求。由于图像绘制的计算量与场 景的复杂程度没有关系，所以和传统的绘制方法相比，基于图像的绘制技术在复杂场景的 实时处理方面具有明显的优势。这也是基于图像的绘制技术近年来得到迅猛发展的t 重 要原因。 另外，基于图像的绘制技术为了实现大范围的实时漫游，一般需要拍摄大量的图像，斟 此数据量大也是它的一个特点。 1 2 2 基于图像绘制技术的分类 基于图像绘制技术的分类方法有很多。根据应用场合分，一般可分为两种：用于计算机 合成场景的i b r 技术和用于真实场景的i b r 技术。用于计算机合成场景的i b r 技术一般是 利用i b r 技术生成新图像速度快的特点来加速绘制的速度，达到实时性的目的。出于计算 机合成场景中几何模型是已知的，因而不存在图像采集的问题。关键问题在于如何从由几 何模型通过图形学的方法生成的几幅图像，生成新的中间图像，以减少直接从几何模型绘 制新图像的计算量。最早提出的i b r 方法v i e wi n t e r p o l a t i o n 【2 】开始时就是用于计算机合 成场景的。用于真实场景的i b r 技术不但要求绘制的实时性，更强调图像的真实感。因而 对于i b r 技术如何进行图像采样，存储，重采样，绘制等都有全面的要求。 根据是否采用光照模型可阻将i b r 技术分为不采用光照模型和采用光照模型两种。不 笫5 页 中国科学院研究生院硕士学位论文 采用光照模型的i b r 技术都假设场景中的物体符合l a m b e r t 假设，即假定在不同的视点， 所观察到的物体的颜色和亮度是不变的。当前大部分的i b r 技术都采用这种假设。采用光 照模型的i b r 技术一般通过恢复场景中的双向反射分布函数( b r d f ) ，来考虑光照对场景 的影响。这种方法有时也称为基于图像的光照技术( i m a g eb a s e dl i g h t i n g ) 【5 l 。 根据数据表达方式或者根据采用几何信息的多少【1 】，可以将i b r 技术分为：完全使用 几何信息的i b r 技术，部分使用几何信息的图像表达方式的i b r 技术，和完全不使用几何 信息全光线函数表达方式的i b r 技术。根据i b r 中所用到的几何信息多寡进行分类的方法， 各种i b r 技术在基于几何的传统图形学和基于图像的绘制技术之间搭起一座桥梁：从完全 使用几何信息的纹理映射技术，部分使用几何信息的视图插值、变形技术，到完全不使用 几何信息的光场技术组成一条连续的谱带( 如图3 ) 。 利用全视函数 不用几何信息 利用图像间的约束 使用隐含几何信息 利用经典图形学理论 使用具体几何模型 光场 l i g h tf i e l d 】l u m i g r a p h l d i s 纹理映射模型 同心拼图 c m j 迁移算法r r 阳n s f e rm e t h o d s 三维图像变换【3 dw a r p i n g 多同心拼图 m c m 】变珏g v i e wm o r p h i n g 】v i e w - d e p e n d e n tg e o m e t r y 视图插值 v i e wi n t e r p o l a t i o n 】 v i e w - d e p e n d e n tt e x t u r e 图3i b r 技术分类表 基于几何场景模型的i b r 技术 这类i b r 方法的特点是有具体的几何场景模型，原图像是场景几何模型经过投影映射 的结果，新图像是原图像经过三维图像变换的结果。因此，不同的几何场景模型对应不同 的i b r 方法( 流程图4 ) 。 典型的技术有：1 ) 、采用几何体( 如立方体、棱柱、锥体等) 来表示场景的i b r 技术， 以p a u ld e b e v e c 所提出的基于几何和图像的混合建模系统最为著名( ah y b r i d g e o m e t r y - a n di m a g e _ b a s e da p p m a c h ) 【4 】；2 ) 、采用面( l a y e r ) 来描述场景的l a y e r e d d e p t hi m a g e 【1 9 】技术； 3 ) 、用具有深度的几何点集合表示场景的多视点透视图像方法 ( m u l t i c e n t e r - o f - p r o j e c t i o ni m a g e s ) 2 2 。 第6 页 中国科学院研究生院硕卜学位沦文 图4 基于几何场景模型的i b r 技术 基于图像对应关系的i b r 技术 这类方法的特点是将原图像看成一系列具有对应关系的像素集合，这种对应关系可以理 解为视差或光流，也可以看成简单的像素运动方向矢量，利用这些对应关系，通过二维图 像变换( 2 dw a r p i n g ) 来生成新的图像。一般要通过关键点匹配和稠密匹配确定图像像素 间的对应关系，然后进行插值( 流程如图5 ) 。 图5 基于图像对应关系的m r 技术流程 典型的技术有：1 ) 、用光流( o p t i c a lf l o w ) 来描述像点随视点的运动，然后用线性插 值技术来模拟这种移动，从而产生新的图像的视图插值技术( v i e wi n t e r p o l a t i o n ) 【2 】；2 ) 、 根据三幅图像之间的像素匹配关系来计算新视点的图像的迁移算法( t r a n s f e rm e t h o d ) ；3 ) 、 扩展图像变形( i m a g em o r p h i n g ) 技术的视图变形技术( v i e wm o r p h i n g ) 【1 8 】。它将插值 过程分为三个过程，预变换( p r e w a r p ) 、插值和后变换( p o s t w a r p ) 。可以从两个不同视点 的图像重构出光心连线上的任意视点的图像。 第7 负 中国科学院研究生院硕士学位论文 基于全视函数的i b r 技术 这类方法的特点是将场景空间看成是错综复杂的光线集合，图像是这些光线集合的一个 采样，所以，如果采集到了三维光线空间或者其子空间中的足够多的光线，则可以对这些 光线进行重新采样，从而绘制出新视点的图像。在这类方法中，空间光线的参数表示方法 是核心内容。 a d e l s o n 和b e r g e n 在研究早期视觉的时候，提出了全视函数( p l e n o p t i c f u n c t i o n ) 的 概念 2 7 】，这是一个多维函数，用来描述视点在任何地点、任何角度、任何时间所看到的各 种波长的光线强度。这个函数的一个或几个维度的变化造成的辐射能量变化就表达了整个 空间的辐射能量分布结构，因此，可以用这个函数来描述因为运动、颜色、观察方向的变 化而引起的空间辐射能量分布的变化情况。完整的全视函数是一个七维函数： p = p 归，妒，五，t ，f j 其中，口，妒表示视线方向对应的球面角， 表示光线波长，吒 表示视点所在的空间位置，t 是时间参数( 如图6o 不同的光线采样方法，不同维数的全视 函数简化方法以及不同的光线重采样方法，对应不同的i b r 技术( 如图7 ) 。 图6 全视函数 ：胛 一 a 曜 i全视函数 l 光线重i t i新图像 线 样 图7 基于全视函数的i b r 技术流程 典型的技术有：1 ) 、采用全视函数的全视建模方法( p l e o p t i cm o d e l i n g ) 【6 】；2 ) 、采 用四维全视函数的光场模型( l i g h t f i e l d 【1 6 1 l u m i g r a h 1 7 ) ；3 ) 、采用三维全视函数的同 心拼图方法( c o n c e n t r i cm a s a i c ) 【1 】；4 ) 、采用二维全视函数的全景图方法( p a n o r a m a ) 【9 】。 从i b r 的分类可以看出图像的建模和绘制有时是一个紧密相关的过程，i b r 和i b m r 揣 第8 页 ! 璺翌兰堕堕壅竺堕堡! 二堂些堡皇 述的都是相同的概念，只是侧重点有所不同而已。f 面我们按照i b m r 技术发展的历史 详细介绍一下各种具有代表性的i b m r 技术。 1 3i b m r 技术的发展及几种重要的i b m r 技术 纵观i b m r 技术的发展，有两条主线贯穿其中：一条是图像技术与几何信息的结合。因 为i b m r 技术是计算机视觉与计算机图形学相结合的一种技术，完全依赖于图像必然有很 大的限制，完全依赖于几何则回归到传统的方法。在i b m r 技术中到底需要多少几何信息， 如何利用几何信息，人们一直在作这方面的研究和尝试，c h a i 等人提出的全光采样 ( p l e n o p t i cs a m p l i n g ) 【1 5 】便是这方面的一个理论总结。 下面我们按照时间的顺序，将两条主线贯穿其中，详细介绍一下各种典型的i b m r 技 术的原理，优点和不足，并按照两条主线对其进行归类。 1 3 1 视图插值( v i e wi n t e r p o l a t i o n ) - - 19 9 3 年 视图插值技术( v i e wi n t e r p o l a t i o n ) 是s e c h e n 【2 】等1 9 9 3 年提出的一种早期的i b m r 思想。在本质上视图插值技术是一种部分采用几何信息的旧m r 方法，它利用的几伺信息 是图像之间点的对应关系。 当视点连续移动时，我们所观察到的景物之间具有很大的相关性相邻视点所看到的 图像大部分是重叠的，只是在位置、形状上稍有不同，于是自然就会产生这样一种想法， 通过相邻图像之间的插值来生成中间视点的新图像。因此如何确定相邻两幅图像间的像素 点的对应关系是视图插值技术的一个关键问题。对于计算机合成的图像，两幅图像间的对 应关系可以通过三维变换得到。 对于相互之间已经建立了对应关系的两幅图像，存在一种称为光流( o p t i c a lf l o w ) 的 关系，即随着视点的移动，像素点在对应点之间存在的移动关系。视图插值技术采用线性 插值来模拟这种移动。为了加速新图像的生成速度，考虑到像素点移动时，相邻像素常常 是一起移动的，因此可以将相邻像素点组织成像素块，进行成块的移动，这样可以大大提 高绘制的速度，如图8 ，图9 为视图插值的结果。 第9 负 中团科学院埘究生院顺土学位沱义 f n lt”tcj(dl 诎a d t r e fd o r n p o $ t t i o n $ o y a 1 0 r e hr t u a p ：n lc i p n “i r a t i o ：1 5 t oi s p e e d u p f t w t or ：6 ： 曲 i n t e r p o l a t e di m a g e f r o m a k | c c o m p r e s s i o n 师l l o ：2 9t o1 s p e e d u p f a 科o r ：7 ： d i n t e r p o l a t e di n 忉g e j ? o m | r l 图8 视图插值中的块移动( 注：图片来自文献【2 】) 图9视图插值结果，中间两幅图像为插值结果。( 注：图片来自文献【2 】) 视图插值技术直接从已知图像插值出新图像，因此新图像的绘制时间与场景的复杂程度 无关，这是其主要优点。但是视图插值技术也存在一些问题：1 真实图像对应关系一般很 难寻找，因此视图插值技术大多用于合成场景；2 当视点移动方向平行于视平面时，视图 插值的结果和进行三维图像变换的结果是一样的。但是当视点不平行于视平面时，视图插 值的结果会和真实的结果有所偏差，这个问题在s e i t z 和d y r e 1 8 l 提出的视图变形技术 ( v i e wm o r p h i n g ) 中得到了解决。 1 3 2q u i c kt i m ev r 一19 9 5 年 q u i c kt i m ev r 【3 】是s e c h e n 提出来的一种基于全景图的实时漫游系统，这也是产品 化最好的i b m r 技术。q u i c kt i m ev r 在本质上是基于全视函数的，主要思想是将场景空 间看成是错综复杂的光线集合，并且用一个退化为二维的全视函数描述其中的每一条光线。 因为在q u i c kt i m ev r 中视点是确定的，只有视方向可以改变，这时可以将每一条光线参 数化为旋转角占和抬升角妒( 见图6 ) 。而新图像是对已知光线集合的一个重采样。 第1 0 页 中国科学院研究生院倾i 学 扛论义 s e c h e n 在文中描述了具体的实现流程：首先选择漫游场景中的关键视点位置，在这 些视点处拍摄一系列的图像，利用相邻图像恻的对应关系采用图像拼接的方法拼成一系列 的全景拼图( 也可以采用鱼眼照相机直接获得全景图) ，图lo 为q u i c k t i m e v r 的一个全 景拼图。然后以链表结构组织保存场景中的各关键视点对应的全景图。最后，在重采样阶 段，根据用户选择的观察点，调入相应的全景图，实现实时的漫游，产生三维的视觉效果 ( 图1 1 ) 。 q u i c kt i m ev r 技术有三个主要优点：1 系统的建立比较简单。q u i c kt i m ev r 系统 的关键问题是全景图的拼接，由于全景图的获得相对来说比较容易，因此q u i c kt i m ev r 系统的建立也比较容易。2 图像效果比较真实。对于深度比较大的场景，q u i c kt i m ev r 系统的柱面全景拼图变形比较小，系统允许用户进行3 6 0 度的漫游，并且可以前后走动， 使用户有一种身临其境的感觉。3 数据量比较小。q u i c kt i m ev r 一个场景的数据量就是 一个全景拼图，可以实现网上实时漫游，这也是该系统成为一个成功的商业软件的重要啄 因。 图i0 q u i c k t i m ev r 中的一个全景拼图 下图是从图像系列( 上) 得到的全景拼图。图11 全景图( 上) 及其漫游效果( 下) 但是q u i c kt i m ev r 技术也存在一。些不足。首先，当场景深度较小时，或者景物离观 察点很近时，图像的变形很大，有时会导致严重失真。另外一个问题是，q u i c kt i m ev r 系统只保存了各个离散视点处的全景图，因此当用户在不同视点间漫游时会产生图像的跳 跃。为了解决跳跃问题，s e c h e n 提出了采用视图插值的方法生成中间的过渡图像，使用 第1 1 贞 中国科学院研究生院硕士学位论文 户在不同的视a 2 _ r 司观察时能够保持视觉效果上的平滑过渡。 1 3 3 全光建模p l e n o p t i cm o d e l i n g - - 19 9 5 年 1 9 9 5 年，m c m i l l a n 和b i s h o p 【6 】提出了一种五维全光线函数的i b m r 系统：全光建模 ( p l e n o p t i cm o d e l i n g ) 。全光建模系统忽略了时间和波长参数，原始的七维全光线函数退 化为五维。全光建模系统也是采用柱面的全景图，其关键问题是如何从离散的采样恢复连 续的五维全光线函数。 全光建模系统的大致实现流程如下：首先在选定的离散视点处进行图像采样，使用迭代 技术和优化方法计算出原始图像到圆柱映射的投影变换矩阵，将原始图像拼结成柱面的环 境映射( 图12 ) ；然后选取不同柱面图像上的对应点，利用匹配算法，确定圆柱的极线约 束( 这一点类似于立体视觉的方法) ；最后利用已知的柱面全景参考图和各圆柱之间的几何 约束，将参考图像投影到任意的圆柱或者平面图像中去。 图l2 全光建模中的全景拼图，最下面一幅图为加入了极线约束的全景图。 全光建模系统对经典的全光线函数在理论和实践方面做出了突破性的贡献，可以说它是 第一个真正意义上基于全光线函数的i b m r 系统。它的突出优点是用户可以在三维空间中 自由地漫游，可以观察任意角度的场景，同时也具有般i b m r 系统的真实性和实时性的 特点。图13 为全光建模系统的几个漫游场景。 、 中国科学院研究生院硕卜学位论文 图13全光建模中的几个漫游场景( 注：图片来自文献【6 】) 但是全光建模系统是一种基于5 维全光线函数的系统，数据量非常庞大，系统的构造非 常复杂。在全光建模系统中，要获得不同柱面全景图间的几何对应关系，其计算是非常复 杂的，尤其是对于景物复杂、遮挡严重的场景。一般来说，只有当各个柱面之间离得很近 时，采用极线约束计算对应才会比较容易，但是这样需要非常稠密的采样，导致海量数据， 这也是全光建模系统一直停留在实验室阶段的原因。 1 3 4v i e w - d e p e n d e n tt e x t u r em a p p i n g - - 19 9 6 年 1 9 9 6 年，p a u ld e b e v e c 【4 】等提出了一个非常成功的i b m r 系统，这是一种完全采用 几何信息的i b m r 系统。采用基于几何和图像相混合的方法进行建模，用立方体、棱柱、 棱锥等几何体来描述场景，并采用基于视点的纹理映射 2 8 】( v i e wd e p e n d e n tt e x t u r e m a p p i n g ) 方法产生逼真的视觉效果。 这种方法的大致实现流程如下：1 ) 、首先建立一个场景( 如图l4a ) 中物体的粗略的 几何模型( 如图l4b ) 。这些几何模型由规则的几何体，如棱柱，立方体或其组合构成， 通过交互输入方式建立，这些人工输入的几何模型也用来反求摄像机的位置；2 ) 、通过实 际图像来纠正得到精确的几何模型。根据已建立的粗略的几何模型，将图像映射到模型上， 通过映射结果与实际照片的视差，采用立体视觉的技术，得到模型的细节，即精确的模型， 如图14c 。同时还利用建筑物的对称特性，用可见面的图像来拟合不可见的那些表面；3 ) 、 最后根据精确的模型绘制出物体在其它视点的图像，如图14d 。为了获得真实场景中的高 光、反射、透明等光照变化的视觉效果，d e b e v e c 等又提出了种基于视点的纹理映射 2 8 】 的方法。绘制新图像时不是简单地取某幅视点周定的图像上的纹理，而是采用相邻视点的 多幅图像上的纹理进行映射，这样绘制的图像具有更加真实的视觉效果。 p a u ld e b e v e c 的系统最突出的优点就是视觉效果好。由于它采用了三维模型和基于视 第1 3 负 中国科学院研究生院碗一 ：学位论文 点的纹理映射的技术，用户在漫游时不仅能观察到三维的信息，而且能感受到光线的变化， 具有非常真实的效果，该系统曾成功地应用于好莱坞电影：黑客帝国( t h em a t r i x ) ，并获 得了奥斯卡最佳视觉效果奖。不过由于系统采用的几何模型相对简单、规则，一般只能适 用于建筑物等形状规则的景物，对于复杂的场景则建模非常困难，而且漫游的视点也局限 于这几个规则的物体周围。 ( a )(b)(c)( d ) 图l4 p a u ld e b e v e c 的系统的建模示意图( 注：图片来自文献f 4 】) 1 3 5 视图变形v i e wm o r p h i n g 一19 9 6 年 s e i t z 和d y e r 利用投影几何原理，扩 展图像变形( i m a g em o r p h i n g ) 技术，从 而提出视图变形技术( v i e wm o r p h i n g ) f 1 8 】 ( 如图15 ) ，可以从两个不同视点的图像 重构出光心连线上的每一个新视点的图 像。视图变形技术属于采用部分几何信息 的i b m r 系统，采用的几何信息也是图像 点之间点的对应关系。 第1 4 页 图l5 视闺变形 中国科学院研究生院硕_ | j 学位论文 视图变形技术的具体实现分为三个过程：预变换( p r e w a r p ) 、插值和后变换( p o s t w a r p ) 。 首先，通过交互方式来确定图像间的对应关系，从这些对应关系出发，r u f f 类似极线校正 ( r e c t i f i c a t i o n ) 的方法进行预变换，这种预变换本质上是一种二维图像变换( 2 d w a r p i n g ) 。 预变换将输入图像变换到两个相互平行的视平面上，然后采用直接的视图插值技术( v i e w i n t e r p o l a t i o n ) 生成新图像。插值得到的新图像只是一个中间结果，最后还要经过一个后变 换，变换到新视点的图像平面。 视图变形技术的优点主要是：1 ) 、这是一种基于视点的插值技术，插值过程中模拟了摄 像机的运动，使得插值结果更加逼真( 如图l6 上) 。2 ) 、可以利用两幅完全不相关的图 像进行插值，产生平滑的过渡( t r a n s f e r ) ( 如图16 下) 。3 ) 、视图变形技术不需要三维建 模，因此绘制速度快。 图l6 视图变形技术的绘制结果。用黑框框住的为原始图像，其余为中间插值的图像。 上一排为同一个人的两幅不同图像之间的插值，下排为两个不同人之间的图像插值。 视图变形技术的关键是如何通过确定点对应关系来确定变换，s e i t z 和d y e r 给出了如 何在没有已知几何信息条件下，通过交互设定一些对应点来确定对应关系的方法，从而使 视图变形技术可以用于真实场景。但这种通过交互方式确定对应关系的方法同时也是视图 变形技术的一个不足之处，因为在实际操作中，通过交互式来确定复杂场景的对应关系是 很困难的。另外，视图变形技术的插值范围比较有限。 第1 5 页 中国科学院研究生院硕士学位i 仓殳 1 3 6l i g h tf i e l d l u m i g r a p h