（计算机应用技术专业论文）基于深度全景视频的虚拟场景绘制技术研究.pdf

浙江大学博士学位论文 摘要 随着几何建模技术的快速发展，构建高度复杂的三维场景已经变得相对容 易。这些复杂场景通常包含几千万甚至上亿个三角形和丰富的纹理，大大超过了 目前图形硬件的处理能力。实时生成这些复杂虚拟场景的高度真实感画面仍然是 一个非常具有挑战性的任务。 传统基于几何的绘制系统使用模型简化和可见性剔除技术，通过牺牲画面质 量来实现场景的快速绘制。与此不同，基于图像的绘制( i m a g e b a s e d r e n d e r i n g i b r ) 技术利用实拍或者计算机合成的图像序列来生成高质量的目标 画面。由于它的绘制速度与场景几何复杂度无关，因此可在普通p c 上实现复杂 场景的实时绘制。 目前绝大部分i b r 技术的主要不足有：没有考虑输入图像的分辨率对绘制 质量的影响，其绘制效果严重依赖于输入图像的分辨率；场景表示复杂、数据难 以获取和压缩、绘制算法没有充分利用图形处理器( g p u ) 的可编程性来提高系统 性能。考虑到许多商品化软件可生成逼真的图像序列，本文重点研究面向虚拟场 景的i b r 技术来克服现有方法的上述不足。本文的主要创新工作有： ( 1 ) 以提出的三维变换方程、深度图像三角形网格重建算法和视点空间z 偏 移算法为基础，提出了一种新的多幅深度图像混合绘制技术来处理视点相关的光 照效果。该技术巧妙地使用最新图形处理器提供的浮点混合功能来实现片元 ( f r a g m e n t ) 颜色的累加，从而使得由几百幅深度图像来绘制目标图像成为可能。 ( 2 ) 提出了一个基于图像的虚拟场景可伸缩绘制框架。该框架以深度全景视 频作为场景表示的基本单元，通过多段深度全景视频组成的复合结构来表示整个 虚拟场景。考虑到运算主机( p c 、移动设备) 的g p u 和c p u 的处理能力存在很 大差异，提供了深度全景视频环绘制技术、路径全景视频环绘制技术和采用服务 器推( s e r v e rp u s h i n g ) 运行模式的路径全景视频绘制系统等三种i b r 技术系统来 实现虚拟场景的交互显示。 具体地，深度全景视频环绘制技术要求c p u 和g p u 都具有很强的处理能力， 浙江大学博士学位论文 它允许视点在漫游平面的某封闭区域内自由运动，它根据目标视点参数来选择深 度全景视频环中对目标图像有贡献的候选区域，利用多幅深度图像混合绘制技术 对候选区域进行绘制来生成目标图像；路径全景视频环绘制技术需要c p u 具有 很强的处理能力，它结合了同心拼图和无结构流明图绘制技术的优点，可生成路 径全景视频环内任意视点的目标图像；采用服务器推运行模式的绘制系统基于客 户一服务器体系结构，它主要面向c p u 和g p u 处理能力都很弱的移动设备。服 务器进程负责将绘制目标图像所需的压缩数据通过无线网络发送给客户进程，客 户进程对接收的数据进行解压并通过本地w a r p i n g 来生成目标视点图像。该系统 还使用多路缓存队列对接收的压缩数据和解压数据进行缓存来提高响应速度。 ( 3 ) 提出了椭圆加权平均( e l l i p t i c a lw e i g h t e da v e r a g e - - e w a ) 超分辨率算法 来提高i b r 系统绘制质量。我们将e w a 滤波技术引入超分辨率成像，采用e w a 滤波器对点扩散函数和反投影滤波器进行建模。由于e w a 滤波器属于各向异性 滤波器，它可以很好地模拟点扩散函数和反投影滤波器的空间变化特性。我们还 设计了一种检测错误匹配像素的快速、可靠方法，通过在超分辨率重建过程中忽 略错误匹配像素来去除镭驻们对结果图像的影响。实验结果表明，该算法不仅 可以从i b r 系统生成的合成视频中重建高质量的超分辨率图像，它还可以处理 包含复杂遮挡和场景变化的动态视频片段。 关键字：基于图像的绘制、基于视频的绘制、可伸缩绘制、虚拟场景、三维 变换、深度图像重建、深度图像混合、浮点混合、图形处理器、硬件加速算法、 深度全景视频、深度全景视频环、路径全景视频、路径全景视频环、移动计算、 服务器推、超分辨率、e w a 滤波器 i 【 浙江大学博士学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fg e o m e t r i cm o d e l i n gt e c h n o l o g i e s ，w ec a ne a s i l yc o n s t r u c t c o m p l e x s c e n e s t h o s es c e n e sm a yc o n t a i n 。t h o u s a n d so fm i l l i o n st r i a n g l e sw i t hr i c ht e x t u r ed e t a i l s ， w h i c hb e y o n dt h ec a p a b i l i t yo fc o m m o d i t yg r a p h i c sh a r d w a r e t i l ln o w , i n t e r a c t i v e l yg e n e r a t i n g p h o t o r e a l i s t i ci m a g e sf r o mc o m p l e x s c e n e si ss t i l lac h a l l e n g i n gt a s k t r a d i t i o n a l g e o m e t r y b a s e dr e n d e r i n gs y s t e m s ，w h i c he m p l o ym o d e ls i m p l i f i c a t i o na n d v i s i b i l i t yc u l l i n gt e c h n i q u e s ，c a na c h i e v er e a lt i m ed i s p l a yr a t eh o w e v e r , t h e yu s u a l l ys a c r i f i c et h e v i s u a lf i d e l i t yo ft h eg e n e r a t e di m a g e s a l t e r n a t i v e l y , i m a g e b a s e dr e n d e r i n g ( i b r ) t e c h n i q u e s g e n e r a t ep h o t o r e a l i s t i ci m a g e s f r o mr e c o r d e di m a g e sc a p t u r e df r o mr e a lw o r l do rs y n t h e t i cs c e n e s s i n c et h er e n d e r i n gs p e e do f i b r t e c h n i q u e si si n d e p e n d e n to f t h eg e o m e t r i cc o m p l e x i t yo fs c e n e s ， i tc a na c h i e v er e a lt i m er e n d e r i n go f c o m p l e x s y n t h e t i cs c e n e so nc o m m o n p c m o s to ft h ee x i s t i n gi b r t e c h n i q u e sh a v e t h e f o l l o w i n gd r a w b a c k s f i r s t l y , t h e yo v e r l o o kt h e i n h e r e n tl i m i t a t i o no ft h ei n p u ti m a g er e s o l u t i o ni nt h er e n d e r i n gp r o c e s s ，a n dt h eq u a l i t yo ft h e r e n d e r e di m a c eh e a v i l yr e l i e so nt h er e s o l u t i o no ft h ei n p u ti m a g e s s e c o n d l y t h e ya r em a i n l y d e s i g n e d f u rd a t ac a p t u r e df r o mr e a lw o r l d t h er e p r e s e n t a t i o n st h e ya d o p ta r e c o m p l i c a t e d ， u n e a s yt oa c q u i r ea n dc o m p r e s s d u e t ot h e i rc o m p l e x i t y , t h er e n d e r i n ga l g o r i t h m sa r er e l a t i v e l y c o m p l e x ，a n d c a n n o tf u l l y e x p l o i t t h ep r o g r a m m a b i l i t yo fm o d e mg r a p h i c s p r o c e s s i n g u n i t s ( g p u s ) s i n c e c o m m e r c i a l r e n d e r i n g s o f t w a r ec a r l g e n e r a t ep h o t o r e a l i s t i ci m a g e s ，i n t h i s d i s s e r t a t i o n ，w es t u d yi m a g e b a s e dr e n d e r i n gt e c h n i q u e sf u rs y n t h e t i cs c e n e s ，w h i c ha r e m p tt o o v e r c o m et h ed r a w b a c k so f t h ee x i s t i n go n e s t h em a i nc o n t r i b u t i o n so f o u r w o r ki n c l u d e ， ( 1 ) w ep r o p o s ean o v e lr e n d e r i n gt e c h n i q u eb yb l e n d i n gm u l t i p l ed e p t hi m a g e sf u rg e n e r a t i n g v i e w - d e p e n d e n tl i g h r i n g e f f e c t s t h i s t e c h n i q u e i sb a s e do no u r3 d w a r p i n ge q u a t i o n ， t r i a n g l e m e s hr e c o n s t r u c t i o na l g o r i t h mo fd e p t hi m a g e a n dv i e ws p a c ez - b i a sa l g o r i t h m i tm a k e s as m a r tu s eo f t h ef l o a t i n g - p o i n tb l e n d i n gf u n c t i o no f t h en e w e s tg r a p h i c sh a r d w a r et oa c c u m u l a t e f r a g m e n t s c o l o rv a l u e s ，o u rr e n d e r i n gt e c h n i q u e t u r n sr e a l t i m er e n d e r i n go fd e s t i n a t i o ni m a g e f r o mh u n d r e d so f s o u r c ed e ：p t hi m a g e si n t or e a l i t y ( 2 ) w ep r o p o s eas c a l a b l ei m a g e b a s e dr e n d e r i n gf r a m e w o r kf o rs y n t h e t i c s c e n e s ，o u r f r a m e w o r ka d o p t sd e p t h p a n o r a m i cv i d e o ( d p v ) a st h ep l e n o p t i cp r i m i t i v e t h ec o m p o s i t e s t r u c t u r e sf o r m e db ym u l t i p l ed p v sr i f l ee m p l o y e dt or e p r e s e n tt h ew h o l es c e n e t od e a lw i t ht h e v a r i e t i e so ft h ep r o c e s s i n gp o w e ro fg p ua n dc p uo fd i f i e r e n th o s t s ( p c ，m o b i l ed e v i c e ) ，w e p r e s e n t t h r e ei b rt e c h n i q u e s s y s t e m s ，n a m e l yd e p t h - p a n o r a m i c v i d e o l o o pr e n d e r i n g ， p a t h p a n o r a m i cv i d e ol o o pr e n d e r i n g ，a n do n es e r v e rp u s h i n gs y s t e mu s i n gp a t h - p a n o r a m i c v i d e o h o p p i n gt e c h n i q u e ，f o r i n t e r a c t i v ed i s p l a yo fs y n t h e t i cs c e n e s d e p t h - p a n o r a m i cv i d e ol o o pr e n d e r i n gt e c h n i q u er e q u i r e sb o t hc p u a n dg p us h o u l dh a v e s t r o n gp o w e r i ta l l o w st h ev i r t u a lv i e w p o i n t t om o v ec o n t i n u o u s l yi n s i d eo ft h ev i d e ol o o p a s r e n d e r i n g , i tf i r s td e t e r m i n e st h er e g i o n sf r o mt h ei n p u t t h a th a v ec o n t r i b u t i o n st ot h ed e s t i n a t i o n i m a g e ，a n dt h e nu s e so u rm u l t i p l e d e p t h i m a g e sb l e n d i n gt e c h n i q u et og e n e r a t et h en o v e li m a g e p a t h 。p a n o r a m i cv i d e ol o o pr e n d e r i n gt e c h n i q u eh a sn i c ef e a t u r e so fb o t hc o n c e n t r i cm o s a i c s a n du n s t r u c t u r e dl u m i g r a p hr e n d e r i n g i to n l yr e q u i r e sc p u s h o u l db ep o w e r f u l ，a n dc a nr e n d e r l i t 浙江大学博士学位论文 n o v e li m a g e so f v i e w p o i n t sl o c a t e di n s i d eo ft h ev i d e ol o o p t h es e r v e r p u s h i n gs y s t e mi sb a s e d o nc l i e n t - s e r v e ra r c h i t e c t u r e ，a n dd e s i g n e df o rm o b i l ed e v i c e sw h i c hh a v ep o o rc p u a n dg p u c a p a b i l i t i e s i nt h es y s t e m ，s e r v e rp r o c e s si sr e s p o n s i b l ef o rs e n d i n gt h ec o m p r e s s e dd a t ar e q u i r e d f o rr e n d e r i n gt h ed e s t i n a t i o ni m a g et oc l i e n tp r o c e s st h r o u g hw i r e l e s sn e t w o r k a f t e rr e c e i v i n gt h e c o m p r e s s e dd a t a ，c l i e n tp r o c e s sf i r s td e c o m p r e s s e st h e m ，a n dt h e nc a r r i e so u tl o c a lr e n d e r i n gu s i n g i m a g ew a r p i n g s e v e r a lq u e u e s a r eu s e c lt oc a c h et h er e c e i v e da n dd e c o m p r e s s e dd a t af o r i m p r o v i n g t h es y s t e m sp e r f o r m a n c e ( 3 ) w ep r o p o s e an o v e ls u p e r - r e s o l u t i o na l g o r i t h m ，w h i c hi sc a l l e de w a ( e l l i p t i c a lw e i g h t e d a v e r a g e ) s u p e r - r e s o l u t i o n i nt h e a l g o r i t h m ，e w af i l t e r i n gt e c h n i q u e s a r ei n t r o d u c e di n t o s u p e r - r e s o l u t i o n e w af i l t e r s a r ee m p l o y e dt om o d e lt h ep o i n ts p r e a df u n c t i o n ( p s f ) a n dt h e b a c k w a r dp r o j e c t i o nf i l t e ns i n c ee w af i l t e ri sa na n i s o t r o p i cf i l t e r , i tc a nm o d e lt h es p a c e - v a r y i n g p r o p e r t yo f t h ep s fa n dt h eb a c k w a r dp r o j e c t i o nf i l t e r w ed e s i g nar e l i a b l ea n de f f i c i e n ts c h e m e t od e t e c tt h ei n c o r r e c tm a r c h i n gp i x e l s ，f o rp r e v e n t i n gt h e s eb a dp i x e l sf r o md e g r a d i n gt h e r e s u l t a n ti m a g e ，t h e ya r ed i s c a r d e dd u r i n gr e c o n s t r u c t i o np r o c e s s e x p e r i m e n t a lr e s u l t ss h o wt h a t t h e a l g o r i t h m c a nr e c o n s t r u mh i g h q u a i l t ys u p e r - r e s o l v e di m a g e sf r o m c gv i d e os e q u e n c e s p r o d u c e db yi b rs y s t e m s i t c a na l s og e n e r a t e h i g h r e s o l u t i o n i m a g e s f r o md y n a m i cv i d e o s e q u e n c e sc o n t a i n i n gc o m p i e x o c c l u s i o n sa n ds c e n ec h a n g e s k e y w o r d s ：i m a g e - b a s e dr e n d e r i n g ，v i d e o b a s e dr e n d e r i n g ，s c a l a b l er e n d e r i n g ，s y n t h e t i c s c e n e ，3 dw a r p i n g ，d e p t h i m a g eb l e n d i n g ，f l o a t i n g p o i n tb l e n d i n g ，g r a p h i c sp r o c e s s i n gu n i t ， h a r d w a r ea c c e l e r a t e da l g o r i t h m ，d e p t h p a n o r a m i c v i d e o ，d e p t h - p a n o r a m i c v i d e o l o o p ， p a t h - p a n o r a m i c v i d e o ，p a t h p a n o r a m i c v i d e o l o o p ，m o b i l ec o m p u t i n g ，s e r v e rp u s h i n g ， s u d e r - r e s o l u t i o n ，e w af i l t e r v 浙江大学博士学位论文 1 绪论 1 ，1 引言 大规模、复杂虚拟场景的建模和绘制是计算机图形学最为重要的研究问题之 一 彭9 9 。近年来，随着三维扫描和几何建模技术的快速发展，构建高度复杂 的三维场景已经变得相对容易。例如，利用三维扫描技术获取的数据集通常包含 几百万、甚至上千万个三角形，其中最为著名的例子是s t a n f o r d 大学d i g i t a l m i c h e l a n g e l op r o j e c t 得到的大卫雕像模型( 图1 1 ) ，它包含2 0 亿个三角形 l e v o y 0 0 ：利用现有三维造型软件，用户也可构造出极其复杂的物体虚拟场景， 图1 2 给出一个使用造型软件构建的发电厂模型，它包含1 2 7 0 万个三角形，图1 3 给出浙江大学紫金港校区模型，它包含1 g b 左右的纹理数据。面对这些庞大的数 据集，若不采用合适的处理技术，即使利用最新的图形处理器( g p u ) ，? i i n v t d i a g e f o r c e 6 8 0 0u l t r a n v i d i a 0 4 、a t ir a d e o nx s 0 0x t a t l 0 4 ，也无法在普通p c 平台上实现它的交互显示。 圈1 1 大卫雕像模型 图1 2 发电厂模型 当前，图形处理器每秒能够处理的几何单元( 顶点、三角形) 数目仍非常有限， 可通过减少送入图形流水线的几何单元来提高绘制速度。基于这一理念，研究者 提出模型简化 l u e b k e 0 2 c o h e n 0 4 和可见性剔除技术 c o h e n o r 0 3 来加速虚拟 浙江大学博士学位论文 场景绘制。在纹理数据不能全部载入图形卡纹理内存情况下，可通过降低纹理分 辨率或者利用纹理压缩技术来降低显存空间需求。 基于上述技术的实时绘制系统主要侧重于速度，它们通过牺牲画面质量来实 现快速绘制。虽然用户可利用g p u 的可编程性 l i n d h o l m 0 1 ，通过编写顶点着色 程序( v e a e xs h a d e r ) 和像素着色程序( f r a g m e n ts h a d e r ) 来提高绘制质量 k e s s e n i c h 0 3 m i c r o s o f t 0 3 m a r k 0 3 。但由于图形硬件本身的固有限制，着色 程序很难实现复杂的光线跟踪、辐射度、光子跟踪( p h o t o nm a p p i n g ) 等全局光照 明绘制算法。因此，这类系统无法实时生成高质量的虚拟画面，难以应用于诸如 虚拟漫游、虚拟展示等对绘制质量要求很高的场合。为此，可采用基于图像的绘 制( i m a g e b a s e d r e n d e r i n g i b r ) 技术 s h u m 0 3 z h a n 9 0 4 a 来解决高质量实时图 形绘制问题， 图1 3 浙江大学紫金港校区模型 基于图像的绘制技术以全光函数( p l e n o p t i cf u n c t i o n ) a d e l s o n 9 1 为理论基 础，它以给定的实拍或计算机合成的图像视频序列作为输入，绘制过程就是利 用采样数据来重建全光函数的连续表示，然后通过重采样得到目标视点的图像 m c m i l l a n 9 5 a 。由于可使用三维造型和绘制软件，如3 d sm a x 、m a y a 、l i g h t w a v e 、 r e n d e r m a n 等，来离线绘制高质量的输入图像，i b r 系统可取得比传统实时绘制 系统更好的视觉效果。另外，i b r 系统的绘制速度与输入数据的分辨率有关，与 原始场景的复杂度无关，它还可用来提高虚拟场景的绘制速度。 浙江大学博士学位论文 i b r 系统的绘制效果取决于输入图像的分辨率。在保证一定绘制质量的前提 下，基于图像的绘制元语的放大倍数非常有限。当放大倍数超过输入图像采样分 辨率时，绘制图像变得模糊：若继续增加放大倍数，绘制图像质量下降非常快。 因此，如何提高输入图像的分i 辨率也是i b r 必须解决的一个重要问题 d e b e v e c 0 2 。 现有i b r 技术，如全光建模( p l e n o p t i cm o d e l i n g ) m c m i l l a n 9 5 a 、全光拼接 ( p l e n o p t i cs t i t c h i n g ) a l i a g a 0 1 a 、图像海洋( s e a o f i m a g e s ) a l i a g a 0 2 a l i a g a 0 3 b 、多同心拼图( m u l t i p l e c o n c e n t r i c m o s a i c s ) k a n 9 0 3 等，主要面向真 实场景，它们采用计算机视觉算法来计算相机参数和图像之间的对应关系或者场 景几何模型，视觉算法的不稳定性限制了它们的应用场合1 。另外，它们使用的 绘制算法也没有利用图形处理器( g p u ) 的可编程性e l i n d h o l m 0 1 来提高系统性 能。 本文重点研究面向虚拟场景的i b r 技术来克服现有方法的不足，提出以深度 全景视频( d e p t h - p a n o r a m i cv i d e o d p v ) 作为场景表示的基本单元，用多段深度 全景视频组成的复合结构来表示整个虚拟场景。考虑到运算主机( p c 、移动设备) 的g p u 年d c p u 的处理能力存在很大差异，提出三种1 b r 技术系统对虚拟场景进行 绘制，它们构成了一个基于图像的虚拟场景可伸缩绘制框架。 另外，为提高i b r 系统的绘制质量，本文提出椭圆加权平均( e l l i p t i c a l w e i g h t e da v e r a g e e w a ) 超分辨率( s u p e r - r e s o l u t i o n ) 算法 b o r m a n 9 8 p a r k 0 3 。该算法不仅适用于计算机合成的图像序列，还可用来处理从真实世界 中获得的动态视频片段。 1 2 相关工作 本节对与本文密切相关的研究工作进行简要综述。这些工作包括基于图像的 绘制( i b r ) 和超分辨率成像。对于其它的虚拟场景加速绘制技术，如模型简化、 1 全光建模 m c m i l l a n 9 5 需要手工指定图像对之间的对应点，全光拼接 a l i a g a 0 1 a 和图像海 洋方法 a l i a g a 0 2 a l i a g a 0 3 b 面向室内场景，多同心拼图需要手工指定场景局部几何的位置 和数目 k a n 9 0 3 。 3 浙江大学博士学位论文 可见性剔除等，请阅读文献 h e c k b e r t 9 7 l u b k e 0 1 l u b k e 0 2 c o h e n 0 4 c o h e n - o r 0 3 。对于基于图像表示的场景采样和压缩，请阅读文献 s h u m 0 3 z h a n 9 0 4 a 。 1 2 1 基于图像的绘制技术 基于图像的绘制( i b r ) 的早期工作可追溯到图形学中的纹理映射技术。自 c h e n 和w i l l i a m s 提出视域插值算法 c h e n 9 3 以后，i b r 得到更多关注，进入快速 发展时期，涌现出大量优秀算法和系统。研究者对其中代表性工作进行了总结 l e n g y e l 9 8 s h u m 0 3 z h a n 9 0 4 a 。l e n g y e l 和s h u m 等人的分类方法强调基于图 像表示与传统基于几何表示的统一性 l e n g y e l 9 8 s h u m 0 3 ，而z h a n g 和c h e n n 4 重于约束视点空间和引入几何描述来减少绘制需要的数据量 z h a n 9 0 4 a 。本文采 用s h u m 等人的分类方法，将i b r 技术分为无需几何信息绘制、使用隐式几何信息 绘制和使用显式几何信息绘制三类。由于i b r 技术的复杂性，上述分类方法并不 严格。我们根据具体表示的主要特征和叙述方便，将它划分到最接近的类别。 i b r 技术经过最近十年的发展，已经涌现出大量优秀工作，人们已经看到它 们在未来多媒体领域的应用前景。为加快商业化步伐，国际运动图像专家组 ( m p e g ) 成立了m p e g3 d a v ( 3 da u d i o - v i s u a l ) 专家小组，开始着手i b r 技术的标 准化工作 s m o l i c 0 4 。在介绍完i b r 技术分类后，我们将简单地介绍i b r 技术在 m p e g3 d a v 中的应用前景。 1 2 1 1 无需几何信息的i b r 技术 本小节介绍的代表性i b r 技术均以全光函数 a d e l s o n 9 1 作为理论基础。全光 函数是一个七维函数，它描述了在任意时刻f ，通过三维空间中任意位置 ( 屹，k ) ， 沿所有方向( 臼，妒) ，波长为 的光强度( 图1 4 所示) 。用图形学术语 来说，全光函数描述了场景所有可能的环境映照。全关函数的维数非常高，对所 有维度进行采样会产生大量数据。研究者通常采用限制观察者视点拍摄相机运 动范围、引入几何信息和采样分析等手段来减少数据量 z h a n 9 0 4 a 。 浙江大学博士学位论文 = = ；= ；= ；= = ；= ；= = ；= ；= ；= =：= ：= ；：= ：；：；： 图1 4 七维全光函数 本节介绍全光建模( p l e n o p t i cm o d e l i n g ) m c m i l l a n 9 5 a ，光场绘制( l i g h t f i e l dr e n d e r i n g ) l e v o y 9 6 流明图( l u m i g r a p h ) g o r t l e r 9 6 ，同心拼图 ( c o n c e n t r i cm o s a i c s ) s h u m 9 9 和全景图( p a n o r a m a ) s z e l i s k i 9 7 等典型i b r 表示 和绘制技术。 a 全光建模 全光函数是一个七维函数，记为b = p ( 屹，k ，0 ，妒，a ，r ) 。如果只考虑静态 场景并且用r g b _ 三个颜色通道来代替波长参数五，全光函数可简化为五维函数， 只= p ( ，t ，0 ，妒) ( 1 1 ) 基于该五维全光函数，m c m i l l a n 和b i s h o p 构建了全光建模绘制系统 m c m i l l a n 9 5 a 。他们用照相机来获取场景的一组柱面全景图像作为系统输入， 因此，五维全光函数中二个维数用来描述全景图，其余维数描述相机位置。绘制 过程中，系统选择离新视点最近的柱面全景图，然后利用全景图像对之间的柱面 极线几何关系，将它们变换( w a r p i n g ) 到目标视点位置，最后利用模板法 ( s p l a t t i n g ) w e s t o v e r 9 0 重建目标视点图像。 b 光场绘制流明图 如果限制观察者视点运动范围在物体场景的凸包范围之外，并假设光能沿 光线传播方向保持不变，则全光建模中采用的五维全光函数可简化为四维光场函 数( 图1 5 ) l e v o y 9 6 g o r t l e r 9 6 。 只= e ( u ，v ，s ，) ( 1 2 ) 其中( “，v ) 和( 5 ，f ) 分别表示光线与包围盒两个平面的交点参数。通常将( 1 f ，v ) 参数 浙江大学博士学位论文 代表的平面称为相机平面( c a m e r ap l a n e ) ，( j ，f ) 对应的平面称为焦平面( f o c a l p l a n e ) 。这种光场描述方法称为双平面参数化 g u 9 7 。完整描述整个包围盒的全 光函数需六组图1 5 所示的数据结构。光场还可采用其它参数化方法，如球面参 数化 i h m 9 7 ，球面一平面参数化和各向同性参数化 c a m a h o r t 9 8 。如果直接用物 体表面来记录光线信息，可得到表面光场表示方式( s u r f a c el i g h tf i e l d ) w o o d 0 0 c h e n 0 2 。 ， r ( u v , s 圳 图1 5 光场表示 绘制过程可看作光线的查找和插值过程。对于给定的用户视点，系统将目标 画面每一像素看作一根光线，称它为目标光线；然后用目标光线的四个参数坐标 作为索引，从光线数据库中查找与它距离最近的一组光线；最后对这组最近光线 进行插值，将结果作为像素的颜色。 光场绘制和流明图的原理相同，但在很多实现细节方面存在差异。光场绘 制系统设计专用硬件设备来获取均匀采样的图像。而流明图方法并不要求输入图 像符合光场绘制要求的规则采样结构，它通过一个重组织( r e b i n n i n g ) 过程将输 入的不规则采样图像重新采样到规则网格。光场绘制不需要场景的几何信息来绘 制目标图像，为处理采样不足引起的走样问题，它在绘制前对数据集进行预滤波。 而流明图利用场景的逼近几何模型来提高光线查找的准确性。由于使用几何信 息，在输入图像采样稀疏的隋况下，流明图可取得比光场绘制更好的绘制结果。 光场绘制在输入图像采样不足情况下，绘制画面会出现走样现象。为去除走 样现象，研究者一般采用过度采样或预滤波技术。过度采样要求输入图像间隔非 常小，这会导致获取的数据集占用更多的存储空间并且包含更多的冗余信息。预 滤波是一个低通滤波操作，虽然它可去除走样现象，但也会降低图像绘制质量。 为处理这些问题，研究者提出如下几种解决方法。 浙江大学博士学位论文 c h a i 等人通过全光采样( p l e n o p t i cs a m p l i n g ) c h a i 0 0 来确定构建全光函数 ( 4 d 光场) 连续表示需要的最少图像数目，他们还给出光场绘制在图像和几何联 合空间的最小采样曲线。在场景获取过程中，可用全光采样作为理论指导来避免 过度采样。 若场景深度变化很大，光场动态重参数化方法( d y n a m i c a l l yr e p a r a m e t e r i z e d l i g h tf i e l d s ) i s a k s e n 0 0 通过动态调整焦平面的形状、层数、合成光圈的大小和 权函数来控制绘制质量。b u e h l e r 等人在光场绘制流明图工作基础上，提出无结 构流明图绘制( u n s t r u c t u r e dl u m i g r a p hr e n d e r i n g ) b u e h l e r 0 1 。该方法以无结构 图像序列作为输入，利用场景的几何代理( g e o m e t r i c p r o x y ) 信息，通过纹理混合 来绘制目标图像。y u 等人通过人工指定光场输入图像之间的对应点，将光场信 息分解为普通光场和表面光场两部分 y u 0 2 ，并通过两步绘制方法来合成最终 的目标图像。s h u m 等人通过交互工具，将光场分割为多个层次 s h u m 0 4 ，利用 纹理混合技术对这些层次进行绘制。 传统的光场绘制使用四线性插值函数，s t e w a r t 等人设计了新的插值函数( 滤 波器) s t e w a r t 0 3 。他们首先减小输入图像序列的分辨率，使相邻图像之间像素 的最大视差为一个像素 c h a i 0 0 ，然后对缩小的图像序列利用传统的方法绘制。 对于原始图像序列采用光场动态重参数化方法 i s a k s e n 0 0 绘制，最后将两者结果 图像进行叠加来生成最终目标图像。k u b o t a 等人从信号重建的观点出发，通过迭 代方法来计算目标图像 k u b o t a 0 4 。对于给定的目标视点，首先调整焦平面的位 置来绘制多幅图像，然后迭代求解这些图像与目标图像的线性方程来得到清晰的 目标图像。 上述光场绘制技术只能处理静态场景。随着硬件的性能价格比不断提高，研 究者可利用廉价的相机和干兆网络来构建相机阵列系统，使动态场景光场绘制成 为可能 s c h i r m a c h e r 0 1 i n a e m u r a 0 2 w i l b u r n 0 2 y a n 9 0 2 m a t u s i k 0 4 。图1 6 ( a ) 和( b ) 分别给k i s t a n f o r d 和m i t 构造的相机阵列，它们分别包含1 2 8 台相机和6 4 台 相机。基于动态光场绘制技术，m e r l 的研究者实现了一个三维电视( 3 d t v ) 原 型系统 m a t u s i k 0 4 ( 图1 6 ( c ) ) 。 浙江大学博士学位论文 ( a ) s t a n f o r d 相机阵列( b ) m i 砑目机阵列( c ) m e r l3 0 一t v 原型 图1 6 动态