（计算机应用技术专业论文）基于预计算及采样的实时高真实感图像绘制技术研究.pdf

浙江大学博士学位论文 预计算采样的模式，减少采样数据量，并支持快速绘制。已有的预计算的光辐射 传输函数方法局限于单个物体或静态场景的绘制。本文扩展了该方法的预计算采 样思想，提出了一种新的方法一球面光辐射传输映射，可以应用于包含多个动态 物体的场景在环境光下的实时绘制。该方法可以渲染动态物体表面的软阴影，相 互反射等全局光照效果。 关键词：真实感图像绘制基于图像的绘制双向反射分布函数双向纹理函 数全局光照绘制 浙虹大学博士学位论文 a b s t r a c t r e a l t i m er e a l i s t i c i m a g er e n d e r i n gi s o n eo ft h em o s ti m p o r t a n ta n dd i f f i c u l t p r o b l e m si nc o m p u t e rg r a p h i c s ，p r e v i o u sm e t h o d sc a n n o tp r o v i d eh i g h l yr e a l i s t i c i m a g ei n r e a l t i m e t h i st h e s i sf o c u s e so n p r e - c o m p u t a t i o na n ds a m p l i n gb a s e d r e a l - t i m er e a l i s t i c i m a g er e n d e r i n g t h ek e y i d e ai st ou s et h ei n f o r m a t i o ni n p r e - c o m p u t a t i o nr e s u l t so rp i c t u r e sc a p t u r e d ，f o rp r e s e n t i n ge f f e c t so fh i g h l yr e a l i s t i c s h a d i n g a n d s u p p o r t i n g f a s t r e n d e r i n g i n t h i s t h e s i s ，w e p r o p o s e s e v e r a l p r e - c o m p u t i n ga n ds a m p l i n gs t r a t e g i e sf o rw a l k t h r o u g hs y s t e mr e n d e r i n g ，n a t u r a l s u r f a c er e n d e r i n gw i t hr e a l w o r l dm a t e r i a la n d3 d t e x t u r e ，a n dr e n d e r i n gw i t hg l o b a l i l l u m i n a t i o ne f f e c t s r e s p e c t i v e l y w e a l s oi n t r o d u c ee f f i c i e n t r e n d e r i n gm e t h o d s ， w h i c hw o r kw i mt h e s ep r e c o m p u t i n ga n d s a m p l i n gs t r a t e g i e s a n dp e r f o r mr e a l t i m e r e a l i s t i ci m a g e r e n d e r i n gs u c c e s s f u l l y i nr e s e a r c hf o r w a l k t h r o u g hs y s t e mr e n d e r i n g ，w e f o c u so n i m a g e - b a s e d r e n d e r i n g ( i b r ) t e c h n i q u e t h em a i np r o b l e mo f i b ri st h eo r g a n i z a t i o nm e t h o df o r l a r g ed a t as e t a n dt h ec o o p e r a t i o ns 仃a t e g y 、i mg e o m e t r ym o d e l w ep r o p o s ean e w 3 dp l e n o p t i cf u n c t i o n m e t h o d b o u n d a r yl i g h tf i e l d ，w h i c hw o r k sw i t hr o u g h g e o m e t r ym o d e lo fs c e n eo b j e c t s t h i sm e t h o da r r a n g e ss a m p l i n gd a t as e t o nt h e r o u g hg e o m e t r ym o d e l ，t h e nt a k e sa d a p t i v er e s a m p l i n gt od e c r e a s et h ed a t aa m o u n t s f u r t h e r m o r ei tc o u l dc o r r e c t l a r g ed i s t o r t i o n i nd e p t h ，a n dm a k eu s eo fa r b i t r a r y m o v e m e n tb o u n df o rv i e w e r t h i sm e t h o dc a nb ew i d e l ya p p l i e di n w a l k t h r o u g h s y s t e m s f o r r e n d e r i n g o fr e a l w o r l ds u r f a c em a t e r i a la n d3 dt e x t u r e s u r f a c e ，t h e b i - d i r e c t i o n a lr e f l e c t i o nd i s t r i b u t i o nf u n c t i o n ( b r d f ) a n db i - d i r e c t i o n a lt e x t u r e f u n c t i o nr b t f ) a r ed e s c r i b e d s a m p l i n gd a t af o rb r d fi s a n a l y z e dw i t hs p h e r i c a l h a r m o n i c s ，a n dt h e nt h eb r d fs u r f a c ec o u l db er e n d e r e df a s tu n d e re n v i r o n m e n t i l l u m i n a t i o n f o rt h e6 db t f , p r e v i o u sm e t h o d sc o u l dh a r d l yp r o c e s si t e f f i c i e n t l y b e c a u s eo ft h e l a r g ea m o u n to fs a m p l i n gd a t a i nt h i st h e s i s ，w ep r o p o s e an e w s p h e r i c a lh a r m o n i c sb a s e d3 d t e x t u r em o d e l i l l u m i n a t i o n - d e p e n d e n tt e x t u r e ( i d t ) 浙江大学搏上学位论文 t h i st e x t u r em o d e lc o n c e n t r a t e so np r e s e n t i n gt h e3 ds u r f a c ed e t a i l e f f e c t sd u et o l i g h tm o v e m e n t ，a n di g n o r e st h ee f f e c t sc a u s e db yv a r i a t i o no f v i e w i n gd i r e c t i o n t h i s m e t h o dr e d u c e st h ed a t aa m o u n te f f e c t i v e l yw h i l ek e e p i n gt h e m a j o r3 dt e x t u r e a p p e a r a n c e w ea l s oi n t r o d u c es y n t h e s i st e c h n i q u ef o ri d t t ot r a n s p o r tt h er e a l w o r l d t e x t u r e s a m p l e s o nv i r t u a l o b j e c t s ，f i n a l l n t h et e x t u r e - c o v e r e do b j e c t sc o u l db e r e n d e r e du n d e re n v i r o n m e n ti l l n m i n a t i o ni nt e a lt i m e f o rr e a l t i m e g l o b a li l l u m i n a t i o nr e n d e r i n g ，t h ep r e c o m p u t i n gt e c h n i q u e sf o r r a d i a n c et r a n s f e rf u n c t i o na r ed e s c r i b e di nt h i sp a p e r t h e s em e t h o d sp r e c o m p u t et h e i n f o r m a t i o nn e e d e df o rg l o b a li l l u m i n a t i o nr e n d e r i n g ，a n da c c e s st h ep r e c o m p u t e d r e s u l t si nr e a l - t i m er e n d e r i n g t h ea d v a n t a g ei st ot r a n s f e rt h em a j o r c o m p u t a t i o nl o a d o ft r a d i t i o n a l r e n d e r i n g m e t h o d si n t o p r e p r o c e s s t h e m a i n c o m p o n e n t s o f p r e - c o m p u t e dr a d i a n c et r a n s f e rt e c h n i q u e a r et oe x p l o r es u i t a b l ep r e c o m p u t a t i o na n d s a m p l i n gs t r a t e g y ，t o r e d u c et h ea m o u n to fs a m p l i n gd a t a ，a n dt o s u p p o r t f a s t r e n d e r i n g p r e v i o u sm e t h o d s a r el i m i t e dt or e n d e rs i n g l eo b j e c to rs t a t i cs c e n e o n l y i n t h i st h e s i s ，w ep r o p o s ean e w t e c h n i q u e s p h e r i c a lr a d i a n c et r a n s p o r tm a p s ，f o r r e n d e r i n gd y n a m i cs c e n eu n d e re n v i r o n m e n ti l l u m i n a t i o n t h i sm e t h o dc o u l dr e n d e r s o f ts h a d o wa n di n t e r r e f l e c t i o nf o rm u l t i p l ed y n a m i co b j e c t se f f i c i e n t l y k e yw o r d s r e a l i s t i c i m a g er e n d e r i n g ，i m a g e - b a s e dr e n d e r i n g ，b i d i r e c t i o n a l r e f l e c t i o nd i s t r i b u t i o nf u n c t i o n ，b i d i r e c t i o n a lt e x t u r ef u n c t i o n ，g l o b a li l l u m i n a t i o n r e n d e r i n g 浙江大学博士学位论文 第一章前言 计算机图形学的基本目标是快速绘制高真实感的图像。随着计算机硬件特别是图 形硬件的发展，真实感图形算法的进步研究，个人计算机上的图形绘制速度和 质量有了明显的提高。但是目前在个人计算机上能够快速乃至实时绘制的图像仍 然比较粗糙，其中的原因可能是几何模型比较简单，或者光照过于简化，或者物 体表面的理想反射模型与真实情况相差甚远。计算机图形学工作者采用这些简化 措施的原因是复杂计算模型的计算量过大，存储量过高。这些计算消耗往往呈平 方甚至更高的量级增长，而现有的硬件仍然远不能满足实时计算的需要。 为了改变这种状况，图形学研究工作者提出了很多方法。其中一个很重要的 方法是采用预计算及采样的策略：将绘制过程中可能用到的信息在预处理及采样 过程中提前获取，并存储在紧凑的数据结构中；在实时绘制阶段利用这些数据作 快速计算和绘制。这一方法的优势在于避免实时绘制阶段的复杂计算，从而快速 地给出高真实感的绘制图像。但同时为了采集的预计算数据量可接受，必须对绘 制场景作一定的约束。本文的研究目的在于提出几种不同应用条件下的基于预计 算和采样的实时绘制方法，研究内容集中在预计算及采样的策略，实时绘制的方 法，数据存储及压缩等。主要研究领域包括：基于图像的绘制技术，用于静态光 源下静态场景漫游系统的绘制；3 d 纹理技术，用于绘制物体的真实感3 d 纹理 表面；全局光照绘制技术，用于绘制环境光下动态场景的软阴影及相互反射光效 果。本章的主要内容是对于这些领域的相关研究背景的回顾，并介绍本文的研究 工作概要。 1 1 真实感图形绘制算法 首先对传统的真实感图形算法作一个简单的回顾。真实感图形算法主要用于 计算全局光照的分布，物体表面复杂的反射或透射等光学特性，以及它们之间的 相互作用。其内容主要有全局光照算法，阴影生成技术，物体模型表面几何细节 和光学特性处理技术等。全局光照算法包括光线追踪和辐射度两大类；阴影生成 技术主要有阴影映射，体阴影等方法：表面细节处理方法包括各类纹理映射，双 浙江大学博士学位论文 向反射特性模型等，这将在后面一节介绍。 光线追踪是全局光照计算的经典方法 k a y 7 9 a ，k a y 7 9 b ，w h i t t e d s 0 ，p o t m e s i l 8 1 ， p o t m e s i l 8 2 ，h a l l 8 3 a ，h a l l 8 3 b 。它可以绘制出高质量的镜面反射效果。该方法逆 向追踪到达绘制屏幕上的每个象素的光线，通过与场景中物体的多次相交，反射 及透射来确定光线路径，计算该象素的亮度及颜色值。光线追踪方法中，最费时 的计算是线面求交，减少计算量的策略主要是提高线面求交的速度以及减少线面 求交的次数。层次包围盒方法 r o b i n 8 0 ，k a j i y a 8 3 ，w e g h o r s t 8 4 ，t o t h 8 5 ，b o u v i l l e 8 5 ， k a y 8 6 ，g o l d s m i t h 8 7 矛 1 空间剖分方法 f u c h s 8 0 ，g l a s s n e r 8 4 ，j a n s e n 8 6 ，f u j i m o t 0 8 6 ， a m a n m i d e s 8 7 ，s y n d e r 8 7 ，c l e a r y 8 8 利用对场景中物体的空间划分和组织，尽量减 少不必要的无效求交计算，提高光线追踪的计算速度。改进的光线追踪算法主要 致力于减少图像中的走样现象或增强图像的真实感。主要的改进算法有圆锥追踪 a m a n m i d e s 8 4 ，k i r k 9 7 】，光束追踪 h e e k b e r t 8 4 】，随机采样 d i p p e 8 5 ，c o o k 8 6 ， k a j i y a 8 6 ，m i t c h e l l 8 7 ，m i t c h e l l 9 6 希1 分布式光线追踪 c o o k 8 4 a ，c o o k 8 6 ，c o o k 8 7 等。圆锥追踪和光束追踪将光线模型由无横向尺度的直线改为圆锥或者棱锥，克 服了由于点采样造成的走样现象。随机采样是近年来研究较多的方法，它是一种 m o n t ec a r l o 积分技术。其机理是图像以随机的不均匀的空间间距进行采样，用 噪声来掩盖图像中超出n y q u i s t 极限的高频细节所导致的走样现象。随机采样方 法中自适应采样【d i p p e 8 5 和重要性采样 l a n g e 9 4 ，a g a r w a l 0 3 是两种常用的技 术，目标是在保证图像质量的前提下，减少不必要的采样计算。逆向光线追踪 a r v 0 8 6 1 和光子映射方法 j e n s e n 9 6 ，d m i t r i e v 0 2 ，c a m m a r a n 0 0 2 是跟踪从光源发出 的光线的方法，与光线追踪的计算方向相反，它与光线追踪技术结合起来，弥补 了光线追踪在处理漫射方面的缺陷。光矢量方法 z a n i n e t t i 9 8 ，s e r p a g g i 0 1 利用光 辐射分布的低频特性，采用少量的采样，利用插值技术计算其他位置的光辐射分 布，加快了计算速度。总的来说，光线追踪是一项较为成熟的真实感图像绘制技 术，目前已经被应用于很多商业绘制工具中如r e n d e r m a n 等，其绘制图像结果 绚丽，但是其消耗的计算量非常大。 辐射度算法 g o r n 8 4 ，n i c h j t a 8 5 ，c o h e n 8 6 】以热传导理论为基础，其原理是考虑 场景中所有面的相互光辐射作用，求解能量平衡方程，获取场景各点的亮度。该 方法适用于绘制漫反射封闭场景，其结果与视点无关，对于静态场景只需要一次 浙江大学博士学位论文 计算。解析求解能量平衡方程计算量很大，半立方体方法【c o h e n 8 5 】离散地求解 形状因子的近似解，逐步求精技术 c o h e n 8 8 迭代计算以逐次逼近精确解，层次 结构辐射度方法 h a n r a h a n 9 1 ，s i l l i o n 9 4 ，s i l l i o n 9 5 a , s i l l i o n 9 5 b ，s h a w 9 7 通过划分场 景的层次结构，忽略形状因子的微小误差，减少方程规模以加速求解过程。这些 方法的引入使得辐射度方法成为实用的绘制技术。辐射度方法与光线追踪形成了 互补，通常两者结合起来，获锝漫反射和镜面反射两方面的贡献，给出最终绘制 结果。 w a l l a c e 8 7 ，s h a 0 8 8 ，s i l l i o n 8 9 ，w a l l a c e 8 9 ，s i l l i o n 9 1 ，c h e n 9 1 提出了结合光线 追踪和辐射度两种方法的多轮计算策略。对于交互应用中的动态场景来说，辐射 度方法的预处理工作量，计算量和存储量都相当大。总的来说，用以产生高真实 感图像的经典全局光照算法视觉效果逼真，但计算速度慢，消耗资源量大。适合 于离线的图像绘制和动画渲染。 真实感图像绘制技术中，阴影计算由于其应用的广泛性，作为一个较独立的 方法被研究和使用。阴影映射首先t 扫 w i l l i a n m s 7 8 提出。它的基本思想是以光源 点作为虚拟视点，生成相应的深度图像。在该深度图像中的信息实际上是光源可 以照射到的场景点的三维描述。利用这些信息，在实际视点的图像生成阶段判断 每个象素点是否在阴影中。阴影映射技术已经被集成在商业显示芯片中。阴影映 射的一个问题是映射的分辨率问题，光源产生的深度图像的分辨率随着与光源的 距离增大而降低，由于光源( 虚拟视点) 和实际视点的位置差异，在最终图像中， 阴影会出现锯齿现象。自适应阴影映射【f e m a n d 0 0 1 以及透视阴影映射 f s a m m i n g e r 0 2 都致力于解决这个问题。体阴影方法最早由 c r a w 7 7 提出。它的 思想是，首先提取从光源( 虚拟视点) 来看的场景物体所有轮廓边，然后得到由 光源点及每个轮廓边生成的半无限四边形。在实际视点图像绘制时，在s t e n c i l 缓 存中绘制这些四边形，被奇数次写的缓存象素置为l ，被偶数次写的象素置为0 ， 这样生成一个阴影遮片( m a s k ) 。最终图像生成过程中，用这个遮片判断图像象 素是否处于阴影中。 s e n 0 3 采用了结合阴影映射和体阴影的方法，改进了阴影 边缘的效果。以上的方法都是用于生成简单光源( 点光源或方向光) 下的硬阴影 rh a r ds h a d o wo 对于面光源或环境光等复杂光源所产生的软阴影( s o f ts h a d o w ) ， 因为涉及的光源可见性计算剧增，实时绘制比较困难。【h e i d r i c h 0 0 ，b r a b e c 0 2 利 用阴影映射提出了简单面光源下软阴影的近似算法。 a k e n i n e 0 2 提出了基于体阴 浙江大学博二b 学位论文 影方法的软阴影绘制技术。 a s s a r s s o n 0 3 提出了改进的基于体阴影技术的软阴影 绘制方法。【a g r a w l a 0 0 提出了图像空间的两个软阴影计算方法。这些方法仍然 基于几何运算，无法快速处理复杂模型的阴影计算，而且只能用于面光源，不能 用于任意的环境光源。本文第四章将提出一种基于预计算的软阴影实时生成算 法，可以用于绘制环境光下复杂模型的阴影计算。 1 2 基于图像的绘制 真实感图形绘制算法致力于计算光照和物体的相互作用以获得逼真的亮度 和颜色值，而快速地绘制真实感图像是计算机图形学的一个困难问题。另一卜困 难的问题是复杂场景的处理。构建一个丰富的场景需要大量的几何元素，可能有 数以千万计的三角面片，这个量级的几何元素即使用简单的局部光照渲染也无法 快速地运行。还有一个有趣的问题是，我们能否重构真实世界中的场景，在真实 场景中漫游? 基于图像的绘制技术可以有效地解决上述这些问题。它基于图像数 据而不是几何元素，因此几何元素的数量不影响它的效率，而图像数据可以从预 计算的场景图像采样，或者从真实场景中采集，这时无需光照计算以及建立任何 几何模型。 最早的基于图像的绘制方法是全景 c h e r t 9 5 。它由环绕观察者周的连续 图像构成，如图1 t a - b ，观察者可以3 6 0 度甚至上仰或下俯一定的角度浏览场景， 如图1 1 c 。在场景的不同位置均匀地采集多幅全景图，就可以向观察者提供较完 整地浏览效果。s z e l i s k i 9 7 e 0 给出了全景图的拼接方法。全景图技术已经广泛地 应用于诸多英特网站点。 全景图的缺陷是在观察者的位置移动时无法提供连续的图像。全光函数方法 着力于用更密集的采样实现全自由度的漫游。该方法的基本思想是采集在观察者 活动范围内的所有位置的全部可见光线，直接提供给绘制系统用于生成图像。 a d e l s o n 9 1 提出了7 d 全光函数的概念，p = p ( k ，t ，口，五，) ，其中p 表示亮 度，( ，匕) 表示观察者的位置，( 曰，妒) 表示观察者的视角，a 表示波长，f 表 示时间。这个函数过于复杂。【l e v o y 9 6 g i 入l i g h t f i e l d 方法，同时 g o r t l e r 9 6 】以 及 s l o a n 9 7 引入了类似的方法l u m i g r a p h ，利用共线光线，并略去时间和波长， 4 浙江人学博士学位论文 图1 1a ：全景图的投影方法b ：全景圈c ：全景图生成图像，引刚c h e r t 9 5 将全光函数降到了4 d ，给出了实际可行的全光函数绘制模式。如图1 2 a ，在向 内的采样过程中，获取采样物体在其包围盒上的各点的每个方向的出射光，构成 一个4 d 的全光函数。图l ，2 b 描述了该函数p ，v ，j ，) 的参数化方法，用间隔单 位距离的前后两个平面 一v ) ，0 一t ) 上的点对来描述包围盒每个面上的光线方 向。绘制过程中，通过对这些光线集合的重采样获得绘制结果图像。这些技术可 以在实时性要求下给出了真实物体的较逼真的绘制效果。图1 3 给出了向内的 4 d 全光函数的绘制结果。 浙江大学辞士学位论文 a b 图1 2a ：4 d 全光函数在物体的包同盒上采样b ：4 d 全光函数的参数化方法 ( u v ) ，o t ) 为两个间隔单位距离的平行平面 图1 3 4 d 全光函数绘制结果，引i 刍 l e v o y 9 6 【s h u m 9 9 忽略了场景漫游时的竖直视差，他提出的同心拼图( c o n c e n t r i cm o s a i c s ) 方法将全光函数降到了3 d ，是一种更加有效的绘制方法，本文在第二章详细介 绍该方法。 m a s s e l u s 0 3 在固定视点，变动光源的条件下对场景进行采样，用于 绘制可变光源分布下固定视点的场景。全光函数的缺陷是采样量相当大，一个有 效的解决方法是和场景几何相结合，如 b u e h l e r 0 1 1 。利用场景的几何信息组织采 样数据，避免过度冗余的采样光线。几何信息的获取可以通过对真实场景进行建 模，如 d e b e v e c 9 6 ，d e b e v e c 9 8 提出了基于图像的建筑物建模与绘制技术。在他 们的方法中，基本几何元素是建筑物中常用的长方体，锥体等，由这些基本元素 的参数化模型构成场景整体的参数化模型。由用户交互指定模型由哪些几何元素 构成，及这些基本元素的特征边在图像中的位置。然后利用这些几何元素的相关 联的参数化模型及未知的相机参数，构成整体的参数方程。最后利用上述指定的 特征边的位置信息求解参数方程的最优解，获得最终的建筑物模型。由于该建模 6 浙江人学博士学位论文 方法得出的几何模型是粗糙的，为了表现更多的几何细节效果，他们同时提出了 与视点相关的纹理映射的方法( v i e w - d e p e n d e n tt e x t u r em a p p i n g ) 。该纹理映射 的做法是，在绘制过程中，在从场景的多个角度拍摄的图像中，选取与当前绘制 视角最接近的若干图像，用其中对应的纹理数据作相应插值绘制当前图像。图 1 4 给出了这一方法的建模及绘制方法的过程及绘制效果。当然基于图像的绘制 方法并不需要复杂精细的几何模型信息，而是利用采样光线来表达几何细节。本 文第二章介绍一种与场景几何相结合的3 d 全光函数方法一边界光场，有效地降 低了数据量并解决了同心拼图方法的一些缺陷。 ab cd 图14a ：用户指定几何元素在图像上的位置b ：重建的几何模型c ：从图像中提取纹理 d ：任意角度的绘制图像引白 d e b e v e c 9 6 】 另外一类基于图像的绘制方法直接利用图像的象素替代几何元素进行绘制。 它主要致力于解决大规模场景或者复杂模型在简单的局部光照模型下的绘制问 题。这些技术用场景或者物体在一些分散的观察位置和视角下所成的图像集合， 配合相应的深度信息，相机参数或者其他途径获得的象素对应关系，生成其他观 察位置和视角的图像。其基本的方法是利用这些附加信息对象素进行偏移操作 ( w a r p i n g ) 。视图插值方法 c h e n 9 3 ，s e i t z 9 6 是该类方法中的一种。给定两幅不 同视点的图像，用这种方法可以求出中间视点的图像，从而达到视点变化的效果。 采用视图插值时，利用两幅( 或多幅) 图像上的手工指定的对应点关系，以及已 知的视点信息，确定图像中各象素在观察者处在任意中间视点图像上的位置，再 利用两幅原始图像上的对应象素的颜色值插值获得中间视点图像颜色值。 浙江大学博士学位论文 s 。i t z 9 6 】的主要贡献是在视图插值操作之前进行了重投影。如图1 。5 ，如果两个 ，j ， i ；。 c o 图1 5 视图插值方法中的重投影过程，p 为景物，c o ，c l 为两个原始图像的视点，c 。为中 间视点，i o , i ，为原始图像的投影平面，i ，为中间视点的投影平面，i 。，i 。，i ，为重投影平面 图1 6 视图插值方法的绘制结果，最左和最右为原始图像。中问为插值图像，引i s e i t z 9 6 原始图像成像平面不平行，直接使用视图插值方法会由于两者的投影变换不同而 产生中间视点图像的变形，s e i t z 9 6 先将其同时重投影到虚拟的成像平面上，再 在虚拟成像平面上进行视图插值操作，最后将插值结果图像投影到中间视点的实 际成像平面上。图1 6 给出了插值结果的例子。【m c m i l l a n 9 5 提出的p l e n o p t i c m o d e l i n g 方法则使用圆柱面全景图作为视图插值的图像样本，用于完整场景的 漫游绘制。对于真实场景，这些方法往往通过手工指定获得采样图像之间的关键 特征象素对应关系，然后通过插值，或者光流计算等途径获取其他象素的对应关 系。这些方法适用于以漫反射物体为主的场景，但由于采样的不足，可能在局部 出现空洞。r a d e m a c h e r 9 8 使用多投影中心的带深度图像来描述物体。 d a r s a 9 7 给出了描述完整场景的基于图像的简化和w a r p i n g 的绘制方法。l d i 技术 浙江大学博士学位论文 s h a d e 9 8 ，c h a n 9 9 9 在采样图像的每个象素位置上采样多层数据，利用深度信息 进行偏移操作。这些方法都致力于填补结果图像中由于视差产生的空洞。另外 w i l s o n 0 1 ，j e s c h k e 0 2 ，w i l s o n 0 3 提出的t e x t u r e dd e p t hm e s h 方法建立场景与视点 相关的简化几何模型，再附加场景绘制的图像作为纹理进行绘制。 除了上述利用在预处理过程中采样的图像进行绘制之外，还可以利用在绘制 过程中实时生成的动态图像( 及其深度信息) 进行后续帧的绘制。 s h a d e 9 6 ， s c h a u f f i e r 9 6 提出的图像缓冲技术利用帧间的相关性，在允许的视觉误差范围内 重用实时生成的图像块。替代图像技术( i m p o s t o r ) s i l l i o n 9 7 ，d e c o r e t 9 9 利用远 景物体变化缓慢的特点，动态地用图像结合一定的几何信息绘制远景，取代了远 景中数量巨大的几何元素。 m a r k 9 7 提出了利用关键帧进行w a r p i n g 的方法。 h i d a l 9 0 0 2 采用并行绘制的策略，将近景和远景分开在不同机器上绘制。近景 物体变化快，但是数量相对较少，可以实时地在一台机器上绘制。而远景物体多 但变化慢，在另一台机器上绘制，绘制的帧率较低。为了跟上近景物体的绘制速 度，绘制系统利用远景关键帧的图像及其深度值进行偏移操作，以生成后续帧的 远景图像，再与近景图像相结合绘制最终结果。由于远景物体的帧间相关性强， 这一方法有效地将基于几何绘制和基于图像绘制结合起来处理大规模场景的绘 制问题。 1 3 复杂材质及3 d 纹理绘制技术 本文中的3 d 纹理技术指的是表现物体表面3 d 细节的纹理技术。传统的2 d 纹 理是表现物体表面细节的有效手段，但是其绘制结果缺乏3 d 效果。研究人员提 出了多种表现3 d 细节的技术。 b u m pm a p p i n g b l i i m 7 8 是表现物体表面粗糙感的有效手段。它通过对光滑表 面上的各点位置进行小的扰动，进而获得其法向的变化值，由这些干扰得到的法 向在光源照射下很好地表现出凹凸不平的视觉效果。但是对于自然界丰富的纹理 表面细节，无法简单的用法向变化来描述。d i s p l a c e m e n tm a p p i n g c o o k 8 4 b 贝o 通 过直接改变光滑表面的几何模型来实现3 d 细节，这种方法将导致大量的细小面 片产生，绘制速度慢。f k a u t z 0 1 q b 采用多层纹理结构，避免了直接改变几何模型。 o l i v e i r a 9 9 ，f u j i t a 0 2 提出一种浮雕纹理，采用纹素偏移的方法实现立体纹理效 浙江大学博士学位论文 果。 w a n 9 0 3 记录以视点为变化参数的表面偏移量，有效的表达了物体边缘轮廓 及表面细节产生的自阴影效果。另外还有基于细节几何建模的茸毛绘制方法 l e n g y e l 0 1 】，体绘制为基础的毛衣绘制方法 x u 0 u 等等。这些方法都需要复杂的 建模过程，对于重现真实世界中的物体表面所需的工作量较大。 为有效地表现真实世界的材质与纹理，研究人员提出了双向反射分布函数和 双向纹理函数的概念。双向反射分布函数定义为， f ( 以，九；p 叫，) = 瓦i 磊d l 瓣r q - 其中以，丸是入射光与表面法向夹角，蝣是出射光与表面法向夹角，比呵为 在曰，。，庐。方向反射的光强，上。为入射光强密度，d 万。为以，丸方向立体角。由 定义可以看出，双向反射分布函数完整地描述了材质在任意方向入射光和任意视 角观察下的反射特性。 双向反射分布函数由材质表面采样获得，其采样数据量庞大，直接用于绘制 效率较低。一般的处理方法有两种，函数逼近方法和矩阵分解方法。函数逼近方 法一般采用正交函数系作为分解基元，忽略高阶分量，近似描述目标函数，如 r a m a m o o r t h i 0 1 ，k a u t z 0 2 。函数逼近方法的优势是，复杂的环境光照也用同基的 函数系分解逼近，可以很方便地绘制环境光下的复杂材质。常用的函数系有球面 调和函数系，余弦函数系及小波函数系，本文第三章将详细介绍该类方法。矩阵 分解方法通常基于特征值分解方法( s v d ) ，立 1 k a u t z 9 9 。通过适当的参数化， 将双向反射分布函数分解为 厂( 民，九；，) = “，( 以( 以，九；，峙) ) v ，( 石，( 以，九；，) ) = 【 其中万。，石，是出射及入射光方向的一定形式的参数化表示。如果选择的参数化形 式得当，利用低阶的分量就可以很好地近似描述原函数。为了利用图形硬件加速 绘制，必须避免负系数的出现，【m c c o o l 0 1 ，l a t t a 0 2 提出了同形态分解的方法。 图1 7 给出了复杂材质的绘制的结果例子。 1 0 浙江大学博十学位论文 图1 7 复杂材质的绘制结果，引自 r a m a m o o r t h i 0 1 。 m c c o o l 0 1 ， k a u t z 0 2 双向纹理函数在双向反射分布函数中增加了纹理坐标参数( x ，y ) ，描述了任 意方向入射光和任意视角下纹理表面的反射特性：t ( x ，y ；o 。，妒。；曰w ，m ) 。双向 纹理函数比双向反射分布函数增加了两维，数据量比后者增加了很多。c o l u m b i a 大学和u t r e c h t 大学的研究人员在互连网上联合发布了一个双向纹理函数和双 向反射分布函数的采样样本库c u r e t d a n a 9 9 a 。这些样本是从数百种真实物体 表面采样获得。完整的双向纹理函数采样过程非常复杂，必须用特定的采样设备， 而且需要对其采样结果图片作相机校正，结果数据量很大。图1 8 是其中一个纹 理样本的部分图片。 图1 8 不同光照和视角下的双向纹理采样图片，引! ! i d a n a 9 9 a 对于双向纹理函数的处理方法，最早是通过统计模型，包括直方图模型 d a n a 9 8 】和相关删 d a n a 9 9 b 。用这些方法来绘制，速度很慢。双向纹理函数 浙江大学博士学位论文 也可以用矩阵分解的方法进行压缩如【n i s h i n 0 9 9 】，n f u r u k a w a 0 2 中则使用张量 分解的方法。这些方法，结合3 d 扫描所获得的模型，可用于采样并绘制单个的 真实物体。对于要求实时绘制的纹理来说，这些方法所产生的数据量还是过大。 另外一种分析双向纹理函数的方法是纹元( t e x t o n ) 分析法 l e u n 9 0 1 1 。它的基本 想法是利用3 d 纹理本身的视觉特征，将主要的纹理组成元素从大量的纹理样本 中提取出来，这些纹理样本同时包括了不同光照和视角下的采样，如图1 9 a b 。 然后使用这些纹元图像对纹理样本进行图像过滤分析，通过纹元来描述原始纹理 样本上的每个象素。图1 9 给出了用纹元法分析及合成的例子。 abc 图1 9a ：原采样图片b ：纹元c ：纹元分析后合成的图片引自 l e u n 9 0 1 利用纹元方法进行3 d 纹理分析是有效的，可以用于纹理识别等领域。但是利用 它来绘制却并不高效，因为需要从原采样图像集合中提取相应的象素颜色来渲染 当前光照和视角下的图像，对于复杂光源，这种绘制方法是不实用的。 纹理的一项重要技术是合成，利用有限的采样样本生成大片连续的纹理，包 括在平面上的合成和在任意三维模型表面上的合成。在三维模型表面上的合成由 于牵涉到纹理平面的拉伸和扭曲，是比较困难的问题，也是近年来研究较多的问 题。2 d 纹理的合成大致分为两类方法，一类是基于象素点的合成方法。 t u r k 0 1 、 w e i 0 1 ， y i n 9 0 1 提出算法直接在曲面上逐点合成纹理，他们的思想主要来源 于 w e i 0 0 ，都采用了基于多分辨率的方法，而使用不同的搜索策略。 g o r l a 0 1 基于 e f r o s 9 9 的方法结合曲面切向方向场来合成曲面纹理。首先把曲面分割成一 些近似平面的曲面片，然后直接投影每个曲面片到纹理平面上。因为每个曲面片 的邻域是已经纹理化的邻居陷面片上的三角面片，旋转投影这些纹理化的相邻三 角形到纹理平面，把它们的纹理作为限制性条件来合成当前区域的纹理。 第二类是基于象素块的合成方法。 n e y r e t 9 9 通过预计算得到少数几种带纹 理的三角面片样本，这些带纹理的三角面片样本可以沿三角形边界无缝的拼接， 浙江大学博l 学位论义 形成更大面积的带纹理的三角网格。然后分割曲面为大量可以局部参数化为三角 形的曲面补丁，这样任意曲薤上的纹理都可以用这些带纹理的三角面片拼接而 成。但他们的方法仅适合于各向同性的纹理，而且对输入的三角面片样本纹理都 有一定的要求。 p r a u n 0 0 j 给出了一种三维曲面上重叠摆放不规则形状样本纹理 的算法。他们首先把曲面分割成不同大小且相互重叠的曲面补丁，纹理映射的时 候把每个曲面补丁局部参数化到纹理空间，通过重复的粘贴样本纹理覆盖曲面补 丁，直至整个曲面被完全覆盖。 s o l e r 0 2 提出了层次的纹理映射方法，他们对曲 面进行自适应的分割形成一个从粗略到精细的越面补丁，使得层次结构中底层的 面片簇局部参数化后纹理扭曲最小，以及相邻曲面补丁的纹理匹配误差最小。这 个方法不改变原网格的几何信息，也没有采用纹理融合方法来消除直接映射产生 的曲面纹理不连续性，仅仅需要记录网格顶点的纹理坐标，但是他们没有采用全 局的切向向量场来标明纹理生长方向。图l _ 1 0 给出了2 d 纹理在任意曲面上合成 的一些例子。 图1 1 0 纹理合成的例子，分别引自 w e i 0 1 】 p r a u n 0 0 t u r k 0 1 】 3 d 纹理的合成可以采用类似于2 d 纹理合成的方法，区别在于计算匹配误差 的公式。2 d 纹理考虑颜色( r g b