（精密仪器及机械专业论文）场景的光场获取及其重现技术研究.pdf

上海大学硕士学位论文 摘要 基于图像的渲染技术( i b r ) 可直接由输入的采样图像信息得到输出的目标 图像，能同时提高渲染速度和真实感，具有传统基于几何图形渲染技术所不可替 代的优势。 本文“场景的光场获取及其重现技术研究”，采用基于图像渲染技术一种新 的实现方法一光场渲染技术( l f r ) ，其内容是在不需要图像的深度信息或相关性的 条件下，通过预先拍摄的一组场景照片，建立该场景的光场数据库，然后对于任 意给定的新视点，经过重采样和双线性插值运算，得到该视点的视图，实现对整 个场景的漫游。论文研究的目的在于提高三维场景渲染的真实感和实时性。 本文介绍了基于图像的渲染技术与光场渲染技术的研究现状，在此基础上， 结合课题研究的目的，提出了论文的主要研究内容：场景的光场获取与建立、光 场渲染以及光场采样率的分析。论文描述了四维光场的理论模型。在光场获取的 研究中分别利用3 d m a x 软件模拟摄像机对虚拟场景采样获取光场图像序列和利 用二维控制台控制摄像机对实际场景采样获取光场图像序列，提出了用六维数组 存储光场数据的方法。在光场渲染的研究中，通过纹理映射的方法求取给定视点 视图中每个像素坐标对应的光场坐标值，提出了两次双线性插值方法求取像素的 颜色值，克服了渲染过程中出现的锯齿现象。在光场采样率分析中，根据渲染不 产生重影的原则结合几何分析方法，分析了相邻采样摄像机的最大间隔公式，在 此基础上讨论了渲染质量与场景深度和摄像机角分辨率之间的关系。 论文完整地实现了场景的光场获取与渲染过程，并设计了整套软件进行了实 验验证，分析了摄像机间隔和光片数量对渲染质量的影响，验证了理论分析的正 确性。 关键词：基于图像的渲染；光场渲染；光片；重采样；双线性插值 v 上海大学硕士学位论文 a b s t r a c t i m a g e b a s e dr e n d e r i n g ( 1 1 3 r ) t e c h n i q u ec a l la c q u i r et h eo u t p u tt a r g e ti m a g e s d i r e c t l yf r o mt h ei n p u ts a m p l i n gi m a g e s t h i st e c h n o l o g yi sa b l et oi n c r e a s et h e ： r e n d e r i n gs p e e da n dt h ep e r c e p t i o no fr e a l i t y , w h i c h h a st h ei r r e p l a c e a b l ea d v a n t a g e t h a tt r a d i t i o n a lg e o m e t r y - b a s e dr e n d e r i n gt e c h n i q u ec a l ln e v e ra c h i e v e t h i st h e s i s ， t h er e s e a r c ho fl i g h t f i e l da c q u i s i t i o n & r e n d e r i n go ft h es c e n e ”， u s e san e wr e a l i z a t i o nm e t h o do fi b rt e c h n i q u e ，w h i c hi sc a l l e d “l i g h t f i e l d r e n d e r i n g ( l f r ) ”t h i st e c h n i q u ec a ng e n e r a t en e w v i e w so fa r b i t r a r yp o s i t i o n sb y t a k i n gs e v e r a la r r a y so fp h o t o si na d v a n c et o e s t a b l i s hal i g h t - f i e l dd a t a b a s e ， r e s a m p l i n g a n db i l i n e a ri n t e r p o l a t i n go ft h e a v a i l a b l e i m a g e sw i t h o u td e p t h i n f o r m a t i o no rc o r r e l a t i v ec o n d i t i o n t h ep u r p o s eo ft h i st h e s i si st oi m p r o v et h e r e a l i t ya n dr e a l t i m ei m p l e m e n t a t i o no f3 ds c e n er e n d e r i n g t h i st h e s i si n t r o d u c e dt h ec u r r e n tr e s e a r c hs t a t u so fi b r l f rt e c h n i q u e o n t h i sb a s i s ，t h et h e s i sr a i s e dt h em a i nr e s e a r c hc o n t e n t ，t h a ti s ，t h ea c q u i s i t i o na n d e s t a b l i s h m e n to ft h el i g h t f i e l do ft h es c e n e ，l i g h t - f i e l dr e n d e r i n ga n dt h ea n a l y s i so f l i g h t f i e l ds a m p l i n gr a t e t h et h e s i sd e s c r i b e st h et h e o r e t i c a lm o d e lo f4 dl i g h tf i e l d i nt h er e s e a r c ho fl i g h t f i e l da c q u i s i t i o n ，t h e r ea r et w om e t h o d s o n ei st og e tt h e i m a g e so fv i r t u a ls c e n er e n d e r e db y3 d m a xs o f t w a r e ，a n dt h eo t h e ri s t og e tt h e i m a g e so fa c t u a ls c e n e ，w h i c ha r ea c q u i r e du s i n gac a m e r am o u n t e do na2 d c o m p u t e r - c o n t r o l l e dg a n t r y t h i st h e s i sp r o p o s e dan e ws t o r a g em e t h o d ，w h i c hi st o s a v et h el i g h t - f i e l dd a t ai ns i x d i m e n s i o n a la r r a y i nt h er e s e a r c ho fl i g h t - f i e l d r e n d e r i n g ，t h et h e s i sf i r s tc a l c u l a t e st h ec o o r d i n a t eo fe v e r yp i x e lo ft h ev i e wb y m e a n so ft e x t u r em a p p i n g t h e nt h ec o l o rv a l u eo ft h ep i x e lc a nb ec a l c u l a t e db yt w o b i l i n e a ri n t e r p o l a t i o n s ，w h i c hc a nr e d u c et h ea l i a s i n ge f f e c ti nt h ec o b r s eo f r e n d e r i n g i nt h ea n a l y s i so fl i g h t f i e l ds a m p l i n gr a t e , t h et h e s i sa n a l y z e dt h e m a x i m i z ei n t e r v a lf o r m u l ao ft h en e a r b ys a m p l i n gc a m e r a so nt h eb a s i so f c o m b i n i n gt h ep r i n c i p l eo fn o n - d o u b l ei m a g e sw i t hg e o m e t r ym e t h o d t h e nt h e v i 上海大学硕士学位论文 t h e s i sd i s c u s s e dt h er e l a t i o n s h i pb e t w e e nt h er e n d e r i n gq u a l i t y , s c e n ed e p t ha r i dt h e a n g l er e s o l u t i o no ft h ec 锄e r a t h et h e s i sr e a l i z e dt h ew h o l ep r o c e d u r eo fl i g h t - f i e l da c q u i s i t i o na n dr e n d e r i n g ，w h i c hh a s a l s ob e e np r o v e db ye x p e r i m e n tr e s u l t so fd e s i g n i n gc o m p l e t es o f t w a r e l a s tb u tn o tl e a s t ，t h e t h e s i sa l s oa n a l y z e dh o wt h ei n t e r v a lo ft h ec f m e f 鹊a n dt h en u m b e ro fl i g h ts l i c ei n f l u e n tt h e q u a l i t yo f r e n d e r i n g ，a tt h ee n d ，t h et h e s i sv e r i f i e st h ec o r r e c t n e s so f t h et h e o r e t i c a la n a l y s i s k e y w o r d s ：i b r ( i m a g e - b a s e dr e n d e r i n g ) ；l f r ( l i g h tf i e l dr e n d e r i n g ) ；l i g h ts l a b ； r e s a m p l e ；b i l i n e a ri n t e r p o l a t i o n v i i 上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：翅塑旦盛e t 期：迦星! ：三皇 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) n 上海大学硕士学位论文 i i 引言 第一章绪论 虚拟现实0 r m u a lr e a l i t y ，v r ) 是一种新兴的人机交互技术，是计算机技术高度发展的 产物。虚拟现实是计算机生成的给人多种感官刺激的虚拟环境，是一种高级的人机交互系 统，由两部分组成：一部分为创建的虚拟环境，另一部分为介入者( 人) 。这样，可以得到虚 拟现实的概念模型【l 】如图1 i 所示。凭借虚拟现实技术，用户可进入一个由计算机模拟的 虚幻环境，真切地感受到虚拟场景的存在，获得“看起来像真的，听起来像真的，摸起来 也像真的”的全方位感受。虚拟现实技术己经在科学计算可视化、军事模拟演习、医学应 用、培训、娱乐、产品的设计等广阔的领域中得到了广泛的应用。虚拟现实是多种技术的 综合，开展虚拟现实的研究必将促进计算机图形软、硬件及许多相关领域研究的进一步发 展。本文主要关注三维建模的研究，接下来将对三维建模的实现方法进行分析，并提出本 文重点研究的实现方法。 图i i 虚拟现实系统构成 1 2 三维建模与渲染方法综述 按照虚拟场景的构造方法来区分，目前有三种主要的建模方法：基于几何的 建模与渲染方法( g b m r ) 、基于图像建模与渲染方法( m m r ) 及基于几何与图像 混合建模与渲染的方法。下面分别进行分析。 上海大学硕士学位论文 1 2 1 基于几何建模与渲染技术概述 基于几何建模与渲染( g e o m e t r y b a s e dm o d e l i n ga n dr e n d e r i n g ，g b m r ) ，又 称为基于图形建模与渲染( g m p h i c b a s e dm o d e l i n ga n dr e n d e r i n g ，g b m r ) 2 捌， 是以计算机图形学为基础，首先对实际场景中所有的物体进行抽象，用多边形 构造虚拟景观的三维几何模型，并建立虚拟环境中的光照和材质模型。然后进 行纹理映射及控制参数设定，利用透视投影原理将三维几何模型变换到二维屏 幕空间，经过裁减、阴暗处理、隐藏面消除等处理生成一个屏幕投影，在输出 设备上实时渲染出视景画面，从而完成对整个场景的漫游【4 1 ，图1 2 是基于几 何建模与渲染的流程框图。 图1 2 基于几何建模与渲染的流程框图 基于几何建模与渲染由于其几何学的理论基础，优越之处在于可以自由地 控制视点和视角，结合纹理映射的技术可以达到比较逼真的虚拟效果，其主要 有以下几个优点： 1 ) 虚拟景观大多具有精确对应的几何模型，得到比较细腻、逼真的场景； 2 ) 便于用户与虚拟场景中虚拟对象的交互，以及对虚拟对象的深度信息进 行直接获取； 3 ) 实现虚物实化。即使在规划设计阶段，只要有相关的建筑图纸，按照对 应比例与尺、一样能够完成场景的构建。 基于几何建模与渲染应用时间较长，技术路线比较成熟，国内外都研发了 许多建模上具及控制集成软件，这些都使得建模法目前实际应用比较广泛。但 是，基于几何建模与渲染也存在许多不足，主要有以下几个缺点： 1 ) 虚拟场景的色彩层次没有自然景观丰富，真实感不够。 2 上海大学硕士学位论文 2 ) 实际场景一般都比较复杂，建立场景的三维几何模型要耗费大量的人力 资源或者计算机资源。 3 ) 计算量非常大。在保证场景画面质量的前提下，往往做不到实时生成或 者需要很昂贵的硬件开销。 4 ) 生成画面的质量和速度这对矛盾使该方法有时不得不使用昂贵的特殊硬 件设备，使得实现的虚拟现实系统的成本较高。 尽管在计算机的软硬件上都做了很大努力，基于几何建模与渲染的方法仍 难以满足虚拟场景绘制的要求 1 2 2 基于图像建模与渲染技术概述 由于基于几何建模与渲染存在的上述缺点，p u a ld e b e v e c 在1 9 9 9 年 s i g g a r p h 会议上指出的：“建模是艰难的，渲染是缓慢的，结果导致达到真正 照片级真实度极端困难 。正是在这一背景下，基于图像建模与渲染技术( i m a g e b a s e dm o d e l i n ga n dr e n d e r i n g ，i b m r ) 【5 】应运而生。该技术分为两部分，基于图 像的建模( i m a g eb a s e dm o d e l i n g ，i b m ) 和基于图像的渲染( i m a g eb a s e dr e n d e r i n g ， i b r ) 【6 ，丌。基于图像的建模，从严格意义上来说，属于计算机视觉的研究范畴， 是计算机视觉在图形学领域的应用，从信息处理的层次研究视觉信息的认知过 程，研究视觉信息处理的计算理论、表达与计算方法，试图通过对一幅或多幅 二维图像的分析，感知三维环境的几何信息。然而由于摄像机内外参数标定以 及立体匹配等过程的不鲁棒性，很难自动得到复杂场景的高精度几何信息；同 时繁杂的计算过程也难以满足虚拟场景实时显示的要求，因此，这种方法的应 用有很大的局限性。而基于图像渲染技术是利用摄像机采集的离散图像或摄像 机采集的连续视频作为基础数据，经过图象处理生成真实的全景图像，然后通 过合适的空间模型把多幅全景图像组织为虚拟实景空间，用户在这个空间中可 以前进、后退、环视、仰视、俯视、近看、远看等操作，从而实现全方位观察 三维场景的效果，多用于漫游系统【s 】。图1 3 为基于图像渲染法的流程图。 3 上海大学硕士学位论文 图1 3 基于图像渲染的流程图 基于图像渲染的方法具有快速、简单、逼真的优点，能较好地实现实物虚 化，可以应用于旅游景点、虚拟场馆介绍以及远地空间再现等许多方面，是目 前国际上的研究热点之一，也是本文以后的章节主要研究的课题。其主要优点 有： 1 ) 不需复杂建模： 2 ) 漫游效果及处理时间与场景内容的复杂度无关； 3 ) 不需要专业的图形加速设备，对硬件的要求不及几何建模那么高； 4 ) 通过真实图像完全可以生成与照片一样极具真实感的合成场景。 但基于图像渲染法的应用也会受到一些限制： 1 ) 由于场景中的虚拟物体是图像中的二维对象，因而用户很难，甚至不能 与这些二维对象进行交互； 2 ) 获得实景图像需要高性能的照相与摄影装备，得到的大量图像文件也需 要大量的存储空间。 1 2 3 基于几何与图像的混合建模与渲染技术概述 上述两种方法各有优缺点，如果采用基于几何与图像混合建模与渲染就能 将两者的优点集合于一体，在应用中扬长避短。混合建模与渲染的基本思想【7 】 是先利用i b m r 构造虚拟场景的环境来获得逼真的视觉效果，同时对虚拟环境 中用户要与之交互的对象利用g b m r 来进行实体构建，这样既增加了场景真实 感，又能保证实时性与交互性。 混合建模虽然具有各种优点，但其实现也带来了很多技术上的困难。首先 是虚拟实体对象( 即实体模型) 与纯粹虚对象( 即二维图像中的对象) 之间在虚拟 4 上海大学硕士学位论文 世界坐标系中的坐标位置、摆设方向上要精确匹配；其次是虚拟实体对象几何 模型，在虚拟光源照射下所产生的实体亮度、阴影强度及方向与纯粹虚对象的 亮度、阴影强度和方向也要准确匹配；另外，这种虚实无缝连接还要满足实时 交互性，即随着用户视角、位置的改变要能立即生成新的视点图像。而且对实 体对象的操作要能立即得到反馈。这些都对虚拟现实混合建模与渲染的技术提 出了很高的要书，；因此，混合建模与渲染技术现在还处于探索研究阶段，还没 f - 有得到广泛应府。” 总之，在虚拟场景的建模中，实时性和照片般真实感是两个重要的特点， 真实感是指渲染的图像如同照片一般；实时性是指渲染的速度没有滞后。达到 这种目标的前提下，在现有的硬件环境下，特别是在p c 机上实现i b r 技术显 得尤为重要，与传统的图形绘制技术相比，i b r 技术不仅可以免除繁杂的手工 建模操作，缩短绘制时间，还带来了图形学梦寐以求的照片级真实度【9 1 ，很好 的解决了传统计算机图形学建模存在问题，是近几年图形学研究的热点。 1 3 基于图像渲染技术的发展现状 1 3 1 基于图像渲染技术的发展现状 i b r 的最初发展可追溯到图形学中广为应用的纹理映射技术。传统的几何造 型技术只能表示景物的宏观形状，无法有效地描述景物表面的微观细节，而恰恰是 这些微观因素极大地影响着景物的视觉效果。根据光照明理论景物表面的微观 属性最终反映在景物表面各点处的双向反射率上。传统真实感图形渲染技术利用 纹理图像来描述景物表面各点处的反射属性，从而模拟了景物表面的丰富的纹理 细节。环境映照技术继承了上述思想，它采用纹理图像来表示景物表面的镜面反 射和规则透射效果。在早期的应用中，环境映照以景物中心为固定视点，观察整个 场景，并将周围场景的图像记录在以该点为中心的环境映照球面或立方体表面 上。因此，环境映照实际上以全景图像的方式提供了其中心视点处的场景描述。 8 0 年代初，这一技术在飞行模拟器的设计中得到了成功的应用后来被广泛应用于 游戏设计中。但单一环境映照无法完全描述一个场景。一个自然的选择是在一些 上海大学硕士学位论文 路径上选取一些采样点作为视点，预先生成存储该点处的全景图像。在漫游时，沿 给定路径前进，并根据采样点处的全景图像生成画面。m i l l e r 等用此技术建立了一 个具有多条固定路径的虚拟博物馆漫游系统【1 0 1 。随着商用系统的推出，i b r 技术的 研究进入了一个高潮，在短短的几年间，涌现出了一大批高效的基于图像的渲染方 法： 1 9 9 3 年由e r i cc h e r t 提出的视图插值( v i e wi n t e 印0 1 a t i o n ) 技术：1 9 9 4 年及以后 i 扫s z e l i s k i ，沈向洋【1 2 】等人提出的全景图像( p a n o r a m a m o s a i c s ) 拼接技术；1 9 9 5 年 m c m i l l a n t $ ：l b i s h o p t l 3 】提出的全光建模( p l e n o p t i cm o d e l i n g ) 技术；1 9 9 6 年由l e v o y 和h a n r a h a n 1 4 1 提出的光场渲染( “g h tf i e l dr e n d e r i n g ，l f r ) 技术和g o r t l 一1 5 1 等 提出的光照i 药( l u m i g r a p h ) 技术；1 9 9 6 年f l 了s e i t z 和d v 一1 6 1 提出的视图变形( v i e w m o r p h i n g ) 技术；1 9 9 9 年由沈向洋与何立伟【1 7 】提出的同心圆拼接( c o n c e n t r i c m o s a i c s ) 技术。还有几何与图像混合渲染技术以及基于3 d 重构技术( 如d e b c v e c 【1 8 】 等的基于像片的造型与渲染方法，严涛【1 9 】等的基于多幅图像的树木造型方法等) 。 在这些技术中最为成熟和实用的是全景图技术和同心圆拼接技术。这方面比较成 功的应用软件有a p p l e 公司的q u i c kt i m ev r 2 0 1 ，l p i x 公司i p i xv i e w e r ，国防科 大的h v s 系统以及上海杰图公司的造景师、造型师与漫游大师。 目前，依据所含几何信息的多少可将i b r 方法分为3 大类1 2 1 2 2 ，2 3 1 ( 如图1 4 所示) ：不含几何的渲染，如基于全光函数( p l e n o p t i cf u n c t i o n ) 1 3 2 4 , 2 5 】的渲染、 全景图拼接、同心圆拼接、光场渲染等；内含几何的渲染，如视图插值、视图 变形、光照图等；几何与图像的混合渲染，如3 d 折叠( 3 di m a g ew a r p i n g ) 【2 6 1 ， 分层深度图像( l d i s ：l a y e r e d d e p t hi m a g e s ) t 2 7 滋e 等。 光场渲染( l f r ) 技术是2 0 世纪9 0 年代中期出现的一种新的基于图像渲染方 法，通过相机阵列或由一个相机按设计好的路径移动把场景拍摄下来作为输入图 像集，对于任意给定的新视点，找出该视点邻近的几个采样点进行简单的重新采 样，就能得到该视点处的视图。光场渲染方法因其相对于其他i b r 方法，不需要 图像的深度信息或相关性，计算复杂度低，渲染速度快而得到越来越多的关注和 研究。 6 上海大学硕士学位论文 含有较少的含有较多的 - 几何信息几何信息 不含几何的渲染内含几何的渲染 几何与图像的混合渲染 光场渲染( l f r ) 光照图 分层深度图像 全光函数视图插值 立体纹理映射 同鐾霎蓄羹接 视图变形 3 d 图像折叠 图1 4i b r 方法的主要分类 1 3 2 光场渲染技术的发展现状 目前，对于光场渲染技术的研究，国外研究机构处于领先地位，知名的有美 国的斯坦福大学计算机图形实验室【2 8 ，2 9 1 ，麻省理工学院大学计算机图形科学实验 室 3 0 , 3 1 】，哈佛大学电气工程与计算机科学实验室【3 2 】，德克萨斯大学奥斯汀分校 计算机科学实验室 3 3 1 ，卡内基梅隆大学电气工程与计算机科学实验室【3 4 1 ，微软 公司研究院【3 5 】等著名学府的实验室和研究机构从事相关研究。国内在这方面的研 究还处于起步阶段，清华大学自动化系宽带网数字媒体技术实验室【3 6 3 7 1 ，西安交 通大学人工智能与机器人研究所 3 8 】等少数几所大学中的研究小组开展了相关研 究工作。 光场渲染技术还没有广泛应用到社会领域，大多是出于实验阶段。美国斯 坦福大学计算机图形研究实验室应用光场渲染技术研制了一种相机【3 9 1 ，设计一 个显微镜阵列，置于主镜头及感光器之间，每个小镜阵列接收由主镜颈而来的 光线后，传送到感光器前，析出聚焦光线及将光线资料转换，以数码方式记下。 相机内的软件操作已扩大光场，追踪每条光线在不同距离的影像上的落点，经 数码重新对焦后，便能拍出完美照片，实现了先拍照后对焦的技术，完全不同于 此技术以前先对焦再拍照的技术，这是照相技术一个技术突破。但是光场渲染 技术在立体场景漫游方面的研究成果还没有受到广泛的重视和应用，因此，本 文针对这方面进行详细的研究。 7 上海大学硕士学位论文 1 4 课题来源与研究意义 课题来源于上海市科委重点项目“基于嵌入式智能机器视觉的多媒体展示系 统研制 ( n o 0 5 5 1 1 5 0 1 6 ) 。 论文提出的“场景的光场获取及其重现技术研究 ，其意义在于提高三维建 模和渲染的真实感和实时性，使得渲染效果能达到照片级真实和实时操纵的要 求，通过预先拍摄的一组现实世界真实的场景照片，建立该场景的光场数据库， 经过简单的重采样和双线性插值运算，实现对整个场景任意视点漫游，在三维 游戏制作、虚拟博物馆、立体展示、电影电视特效等领域具有广泛的应用前景。 1 5 本文研究内容 1 。5 。1 研究思路 基于图像渲染技术在渲染方面具有传统基于图像建模与渲染技术无法代替 的优势，而且其目前已经呈现了明确的研究方向和研究方法，特别在全光函数理 论的描述和指导下，基于图像渲染技术出现了很多高效的方法，本文拟对这些方 法进行分析和比较，其中光场渲染方法不需要图像的深度信息或相关性，也就是 不需要进行几何建模就能快速逼真的渲染出真实的场景信息，具有明显的优势， 因此，本文选择光场渲染技术作为场景三维重建的最终解决方案。 1 5 2 技术方案 由于光场描述的是自由空间中某一点沿着一定方向的光线辐射度值，该空间 所有的有向光线集就构成光场数据库，因此，如何参数化光场是需要研究的首要 问题。由几何知识可以知道，这里所描述的光线是一个矢量，而描述一个矢量可 以由图1 5 所示的几种方法【2 引，图1 5 ( a ) 是平面或曲面上一点和离开该平面或曲面 的方向来表示该矢量，这种方法称为p d p 参数法( p o i n t a n d d i r e c t i o n p a r a m e t e r i z a t i o n ) 或d p p 参数法( d i r e c t i o n - a n d p o i n tp a r a m e t e r i z a t i o n ) ；图1 5 ( b ) 用线和球面的两个交点来确定该矢量，称之为2 s p 参数法( t w o s p h e r e 上海大学硕士学位论文 p a r a m e t e r i z a t i o n ) 或者s p p 参数法( s p h e r e p l a n ep a r a m e t e r i z a t i o n ) ； 1 5 ( c ) 用线和 两个平面的交点来确定该 l 惭似 图1 5 光场参数化的三种方法 相比于其他两种表示法，2 p p ( 两平面) 参数法具有直观、简单和便于均匀采样 的优点，本文选则这种方法来参数化光场，称之为基于两平面参数化的光场表示。 其中，第一个平面u v 面称之为相机平面，第二个平面s t 面称之为像平面，其一 般位于相机的焦平面上，这两个平面称之为光片( l i g h ts l a b ) 1 4 1 。根据这个光场 的表示方法，本文提出了一套光场获取及重现的系统实现方案，整个方案流程如 图1 6 所示。 光场数据获取 ， i 虚拟场景现实场景 t 3 d s m a x 摄单 软件设计像 个 一个虚拟机 摄 场景 阵像 列机 园丁 图1 6 光场获取与渲染流程图 由于光场渲染的方法不仅能对实际场景进行重建，还能对电脑软件绘制出的 场景进行重建，本文在搭建实际场景实验系统之前，用3 d s m a x 绘制一个虚拟场 景，按照图1 7 的流程，编制一套软件，实现对虚拟场景的漫游。然后，再对现 实场景进行处理，对现实场景的获取有两种方法，第一种是用摄像机阵列，比如 9 上海大学硕士学位论文 8 x 8 ，1 6 x 1 6 ，3 2 x 3 2 个摄像机等间隔搁置在一个平面的架子上如图17 所示，用这 样的一个摄像机阵列一次性对现实的场景进行拍照，所得的图像序列作为光场的 输入。 藤 图1 7 摄像机阵列示意圈 这种方法的优点是，获取速度快可以实现动态光场数据的获取，但是硬件 成本太高，而且摄像机之间的闭隔控制困难，可能会有很大的误著，需要对系统 进行繁琐的摄像机标定，因此，本文提出另外一种方法，只用一个摄像机搁寅在 一个可以灵活控制二维精密移动平台上，用步进电机驱动这个摄像机在一个平面 内等间隔的移动，可以达到摄像机阵列的效果，这个方法的缺点是获取速度慢， 不能对动态场景进行获取，但是本文主要研究静态场景的光场获取，因此采用的 现实场景光场获取的系统结构如图18 所示。用这个获取系统获取光场数据，根 据本文编制的光场浏览器进行光场渲染，然后，根据渲染效果的要求，对采样宰 进行分析，确定摄像机移动的星大间隔距离公式，通过实验验证公式的正确性。 上海大学硕士学位论文 背景扳 步进电机控制春 图1 8 本文提出的实际场景光场获取方案示意图 1 5 3 本文研究的主要内容 根据提出的技术方案，本文的主要研究内容包括以下三点： 1 ) 光场的获取与建立 本文通过对电脑软件绘制的虚拟场景以及现实世界的实际场景进行光 场获取。为了达到照片级的渲染效果一个场景的光场必须采集足够密，这 样的光场可能要包含上千上万张图片产生上亿字节的数据量。所以压缩问 题成了光场应用中的一个基本问题。对于光场的压缩，先后提出了很多算法， 本文采用矢量量化( v q ) 压缩算法来压缩光场数据。此外，本文提出用六维 数组存储的方法对光场数据进行存储，以提高光场数据的检索速度。 2 ) 光场的渲染过程 光场的渲染是一个重采样的过程，给定一个新的视点，本文通过纹理影 上海大学硕士学位论文 射的方法，求出该视点视图中每个像素点坐标对应的光场坐标u ，v , s ，t 值，然 后根据求出的这些坐标值，采用在u v 面和s t 面各进行一次双线性插值的 方法，求出该像素的颜色值，从而渲染出该视图的整个图像，通过人机互 动的方法，可以实现对场景的任意视点漫游。 3 ) 光场的采样率分析 一般渲染出的效果有三种，清晰、模糊和重影，理论上，要获得照片级 的清晰渲染效果，需要采集足够密的图像( 相邻图片之间的最大视差不能超 过一个像素) ，但是就目前的技术和设备，要精确抽样是不可能的，而且人 们是能够接受一定模糊的图像，不能接受有重影的图像。本文根据这个准则， 结合双线性插值几何的关系分析了相邻采样摄像机的最大间隔公式，在此基 础上讨论了渲染质量与场景深度和摄像机角分辨率之间的关系，并对该公式 进行变形，分析了其现实的物理意义，最后通过实验验证了该公式的正确性。 此外，结合深度分层的方法对包含较多物体的复杂场景中进行分析，推导出 该情况下相邻采样摄像机之间的最大间隔公式。 1 2 t 海大学砸学位论文 第二章基于图像渲染方法研究 经历了多年的发展之后，基于图像的渲染技术目前已经呈现了明确的研究方 向和研究方法。特别是在全光函数理论的描述和指导下，基于图像的渲染技术目 前已开始倾向于以全光函数的表示、重构和显示等内容为重点，综合使用经典图 形学中的图像变形、视图插值、场景映射等图形图像技术，并结合传统的基于几 何的渲染方法，来构造各种具有高度真实感的实时三维交互系统。本章将在全光 函数方法的指导下，分析全景图拼接、光场渲染和光图渲染、同心圆拼接、图像 变形、视图插值、3 d 图像折叠等目前比较热门的七几种基于图像渲染方法，分 析了这七种方法的优缺点，其中光场渲染方法不需要图像的深度信息和相关性， 本文以后几个章节的研究将在光场渲染技术上展开。 2 1 全光函数方法 211 i b r 技术的理论基础研究 i b r 技术的理论基础是a d e l s o n 等人提出的全光函数( p l e n o p t i cf u n c t i o n ) f 2 。 以一个针孔摄像机模拟人眼，假设在时刻t 时针孔摄像机处于空间坐标p = p ( v x ，v y , v z ) 位置，从以球坐标系标定的方向v - v ( o ，中) 上摄入摄像机的光线波 长为 ，则这束光线可表示为p 7 = p l e n o p t i c ( v x ，v x v z , o , o 凡t ) ，这就是完整的全 光函数，它是一个七维函数，函数值为该柬光线的辐射度( r a d i a n c e ) 。理想地， 全光函数在它所定义的参数域是连续的。图21 【帅1 描述了这些几何元素的关系。 【)， 周2 17 1 ) 全光函数几何表示 上海大学硕士学位论文 全光函数事实上刻画了给定场景的所有可能的环境映照，是对某个场景中的 光信息的描述，而一幅图像是处于某个场景中某一点的摄像机某一时刻对某一 ( e ，) 范围内的光线信息的记录，因而以图像的方式给出了场景的精确描述。为生 成一帧给定视点和方向的视图，只需将视点( v x ，v y ，v z ) 和球面角0 ，及时n t 代入全光函数即可。这其实是对全光函数的采样过程，所得视图即为全光函数的 一个样本。当使用图像进行三维场景渲染即i b r 时，对i b r 定义如下：给定用于 描述某个场景的连续全光函数，则基于图像的渲染技术是一个采样一渲染的两阶 段过程。采样阶段从全光函数获取用于存储和显示用的采样信息。渲染阶段使用 获取到的采样信息重构出一个连续全光函数。 2 1 2i 昧技术与计算机视觉和计算机图形学的关系 从全光函数定义可知，i b r 技术与计算机视觉和计算机图形学两门学科的关 系密不可分。三维计算机视觉从获取的图像信息出发，计算场景及其中的物体的 位置、形状等几何信息，并由此识别环境中的物体，进而形成场景描述；计算机 图形学从场景的三维描述，经过一系列的变换和渲染，最后投影至投影平面得到 最终的图像。计算机图形学和计算机视觉在某种意义下是一个互逆过程，但是它 们的融合，并不意味着抵消，从实际场景图像出发，利用计算机视觉的原理，恢 复场景的几何信息，再经过计算机图形学的处理，可以绘制出新视点下的图像， 两者所解决的问题正好对应i b r 的两个阶段。i b r 就是从这个思想出发，经过图 像的采集、压缩、存储，按某种表示方式生成图像数据库，最后从数据库中重采 样图像数据来绘制新图像的一种综合技术。i b r 技术在计算机图形学与计算机视 觉间搭起了一座桥梁，如图2 2 所示。i b r 与计算机视觉有相同的输入，它的结果 又是计算机图形学所要求的。i b r 的目的就是试图实现计算图形学与计算视觉的 优势互补。 i b r 虽然有来自计算机视觉和计算机图形学的成分，但是它并非二者的简单 迭加，它绕开了计算机视觉中精确恢复场景几何信息和计算机图形学中用几何生 成真实感场景需要大量计算开销的困难，直接用计算机图像学和计算机视觉的一 些理论，通过分析和重映射在采集图像和需要合成的图像间建立联系，避免了模 1 4 上海大学硕士学位论文 型重构的过程，直接由输入的采样图像信息得到输出的目标图像，因此能够大大 缩短计算时间和计算的复杂度。 几何建模j 旧叫忑篓歹? 戴影 图2 2i b r 与计算机视觉和计算机图形学之间的关系 2 1 3 对全光函数的假设条件分析 理论上可以构造全光函数，而事实上，不论是推导全光函数还是抽取它的子 集都是不可能的，即使有这种设备，采集到的数据量将庞大的无法控制。通过加 入某些合理的限制条件可以降低全光函数的维数，便于进行采样。这些限制条件 基于如下的一条或者多条假设【删： 1 ) 当使用图像作为采样的保存结果时，光波长范围被减少到( 红，绿，蓝) 三个通道： 2 ) 空气是透明的，当穿过不包含阻挡物的区域时，光线将保持固定的强度； 3 ) 若场景维持静态的状态，则时间维可以忽略； 4 ) 若限定观察者( 视点) 的活动范围至一个平面，则可将全光函数降低一 个维度； 5 ) 若限定观察者( 视点) 的活动范围至某一条直线，则可将全光函数降低 两个维度； 6 ) 若观察者( 视点) 固定，则可将全光函数降低三个维度。 基于这几种假设，可以把全光函数维数降低到表2 1 所示的几类。不同的i b r 1 5 上海大学硕士学位论文 技术考虑不同的假设或者假设组合，同时运用相关的算法，而获得不同的效果。 以下将介绍一些典型的基于不同维度全光函数的i b r 方法，以及其他几种i b r 技 术，如图像变形( i m a g em o r p h i n g ) ，视图插值( v i e wi n t e r p o l a t i o n ) ，3 d 图像折叠 ( 3 di m a g ew a r p i n g ) 等方法。 表2 1 全光函数根据假定条件所得到表达式 维数现有的i b r 技术用到的假设函数表达式 7 d 全光函数没有 p 72 p ( v ：，、，r y ，v ：，0 ，9 ，九，t ) 6 d 表面全光函数 2 5 d 全光建模 1 ，3 p 5 2 p ( v x ，v y ，v z ，0 ，9 ) 光场视频 l ，2 4 d 光场光图 1 ，2 ，3 p 42 p ( u ，v , s ，t ) 3 d 同心圆拼接1 ，2 ，3 ，4 p 3 = p ( o , r , h ) 全景视频1 ，6 或1 ，3 ，5 视频1 ，6 2 d 图像融合1 ，3 ，6 p 2 = p ( o ，( p ) 2 2 全景图拼接方法 全景图是场景中某一个固定视点对周围环境的3 6 0 度的、具有一定高度的视 图，它代表了以视点为中心的场景的柱状信息。假定场景是静态的( 允许某些远 处物体的微小移动) ，将固定放置于视点的摄像机在3 6 0 度范围内，每旋转一个固 定角度插值拍摄一幅图像，如图2 3 所示，绕某一固定视点连续拍摄的8 张照片， 然后将获得的图像序列通过基于相关性的图像配准算法，消除重叠，进行拼接处 理，最后卷绕成一个圆柱形，得到相应的全景图，观察者可以站在圆柱形中央位置， 在水平方向上，任意环视四周。全景图的生成过程为：( 1 ) 获取图像序列；( 2 ) 图像折 叠变换并投影至观察表面如柱面、球面、立方体表面等；( 3 ) 图像整合 ( r e g i s t r a t i o n ) ；( 4 ) 边界处平滑处理。 1 6 上海大学硕士学位论文 二二二 图2 3 柱面全景图产生过程 s z e l i s k i 等【1 2 】利用序列图像构造了一个完全的全景图像拼接系统。他们的拼 接算法是对每一幅输入图像进行变换，而不是具体地投射所有的图像到一个共 同的平面( 如圆柱形) 。为了减少累积的图像整合错误，对整个图像序列运用全 局调整( 块调整) 或局部调整方法。然而对于两幅图像有不同视点的情形就要难 得多，因为除了估计决定相对相机轮廓的8 个参数外，还必须估计每个象素的 深度。为解决这个问题，要么施加额外的约束，要么利用更多源图像来增加输 入变量，以求获得独立于视点的场景深度表示。一旦参数被估计出来，新的视 图就能被合成，而且还可利用多个视图构造三维校正的全景拼合图像。 q u i c kt i m ev r 和全景建模的是基于全景图拼接的思想提出来的，以下分别 进行介绍。 2 2 1q uic kt im ov r 系统 q u i c k t i m ev r 是美国苹果公司的产品，主要用于具备交互性操作的简单场景 漫游。q u i c k t i m ev r 基于全景图格式，在对某一个方向进行显示的时候则使用 了基于软件的双路算法将全景图的相应部分( 圆柱面) 扭转变形( w a r p ) 成为平面 视图，如图2 4 所示【4 】。对于一幅特定的全景图所生成的场景，可以进行3 6 0 度的 环视，也可进行缩放操作，或者在一定的高度范围内( 视全景图所限定的高度范 围而定) 实现仰视俯视效果。整个场景