（运筹学与控制论专业论文）基于新视频编码技术的光场压缩算法.pdf

中文摘要 传统图形绘制技术均是面向几何模型的，因而绘制过程涉及到复杂的消隐和 光亮度计算过程。但对于高度复杂的场景，现有的计算机硬件可能仍无法实时绘 制简化后的场景几何，因而我们面临的个重要问题是如何在具普通计算能力七 的计算机上实现真实感图形的实时绘制。最近几年，出现了一种全新的图形绘制 技术基于图像的图形绘制技术( i m a g e b a s e dr e n d e r i n gt e c h n i q u e ) ，该技 术通过一些预先生成好的图像( 或环境映照) 来生成不同视点处的场景画面。光场 绘制技术就是其中一种，由于其原始数据量非常大，都要对其进行压缩，已经提 出了很多压缩算法。现在对光场数据的压缩的研究已经集中于视频压缩技术上， 当前大多数压缩算法都把图像分成8 x 8 的像素块，而对于现在最有效的视差补偿 压缩算法，只选用单向预测方法。 本文较为综合的介绍了当今各种有效的光场压缩算法并分析了它们的优缺 点。本文所采用的基于新视频编码技术( h 2 6 4 m p e g 一4 ) 的压缩算法，在已有光场 压缩技术的基础上，把近年来发展的视频编码技术中的些新方法应用于光场压 缩中，把图像分成4 x 4 的像素块，并且采用多向预测视羞补偿算法，实验结果表 明，本文的算法提高了重建精度，而且增加了峰值信噪比。 关键词：幕于圈像光场绘制 j - f , 缩视频编码4 x 4 像紊块多向预测视著补偿 a b s t r a c t t r a d i t i o n a l l yt h ei n p u tt oa3 dg r a p h i c ss y s t o mi sas c e n e c o n s i s t i n go fg e o m e t r i c p r i m i t i v e sc o m p o s e do fd i f f e r e n tm a t e r i a l s a n da s e to fl i g h t s b a s e do nt h i si n p u t s p e c i f i c a t i o n ，t h er e n d e r i n gs y s t e mc o m p u t e sa n do u t p u t sa l li m a g e a ni m p o r t a n t p r o b l e mi st h a tw er e q u i r em o d e s tc o m p u t a t i o n a lr e s o u r c e sa n da r et h u ss u i t a b l ef o r r e a h i m e i m p l e m e n t a t i o n o nw o r k s t a t i o n sa n d p e r s o n a lc o m p u t e r s i m a g e b a s e d r e n d e r i n gs y s t e m sg e n e r a t e d i f f e r e n tv i e w so fa l le n v i r o n m e n tf r o mas e to f p r e a c q u i r e di m a g e r y r e c e n t l y an e wa p p r o a c ht o r e n d e r i n g h a se m e r g e d ： i m a g e b a s e dr e n d e r i n gt e c h n o l o g yl i g h t f i e l dr e n d e r i n g ( l f r ) h a sb e e np r o p o s e da s a l la l t e m a t i v er e n d e r i n gt e c h n i q u e u n f o r t u n m d y ，l f rr e q u i r e st e n st oh u n d r e d so f t h o u s a n d so fi m a g e st oe n s u r ep h o t o r e a l i s t i cr e n d e r i n gr e s u l t sf r o ma n yv i e w p o i n t c o m p r e s s i o ni sn e c e s s a r y t h e r ea r em a n ym e t h o df o ri t c u r r e n t l y , t h em o s te f f i c i e n t t e c h n i q u e sf o rl i g h tf i e l dc o m p r e s s i o nu s ed i s p a r i t yc o m p e n s a t i o n ，a n a l o g o u st o m o t i o nc o m p e n s a t i o ni nv i d e oc o m p r e s s i o n i np r e v i o u sw o r kw i t h d i s p a r i t y c o m p e n s a t i o n ，as i n # ed i s p a r i t yv a l u ei ss p e c i f i e df o rab l o c ko f8 x 8p i x e l s i nt h i s p a p e r , w ed e s c r i b eam u l t i h y p o t h e s i ss c h e m ea n dd i v i d et h ei m a g et o4 x 4b l o c k w h i c hi sb a s e do i lh 2 6 4 m p e g 一4 o u re x p e r i m e n t a lr e s u l t ss h o wa l li m p r o v e m e n to f i m a g eq u a l i t ya n di n c r e a s eo f p s n r k e yw o r d s ：i m a g e b a s e d 1 i g h tf i e l dr e n d e r i n g ，c o m p r e s s i o n ，v i d e oc o d i n g 4 x 4 p i x e lb l o c k m u l t i h y p o t h e s i sd i s p a r i t yc o m p e n s a t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤鲞态望或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者鼢 象讫 签字嗽泸哆年月e 日 学位论文版权使用授权书 本学位论文作者完全了解墨鲞盘鲎 有关保留、使用学位论文的规定。 特授权盘连盘生可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 导师签名 匆1 吲狂 签字日期：肘年月j 归 谚慨? 留月 ， 名 一年 签 盯 者 疋 阼 克 文 期 沧 曰 位 字 学 签 天滓人学硕卜学位论文第一蕈绪论 第一章绪论 随着计算视图形学的发展对大多数人来说计算机真实感图形已不再是一 个陌生的名词，它f 日益广泛地深入到人们日常的工作、学习和生活中。在影视 特技、广告动画中，人们已经领略到计算机真实感图形的神奇魅力，在机械和建 筑c a d 中，现有的商用软件都提供了真实感图形的显示功能，以便设计者检查 他们设计的产品外观并进行交互修改。在各种情景仿真、医学、飞机驾驶员训练 中，真实感图形技术更是大显身手。在房问和座舱的光照明设计中，真实感图形 具有广阔的应用前景。 1 1 真实感图形简介 真实感图形是一种计算机图形生成技术，它首先在计算机中构造出所需场景 的几何模型，然后根据假定的光照条件，计算画面上可见的各景物表面的光亮度。 使观者产生如临其境，如见其物的视觉效果。基于该项技术，设计人员在设计图 纸时就可以浏览产品的形状和结构；考古工作者可以跨越时间隧道，在古代的宫 殿中漫游；探险家不必乘坐宇宙飞船即可领略太空的瑰丽景色，如果说在上世纪 8 0 年代，计算机真实感图形还主要局限任高等学校、科研院所的实验室里，那 么，进人9 0 年代以来，尤其是到了2 1 世纪，通过高科技电影、电视广告、电子 游戏等媒体，真实感图形己越来越深人到人们的日常生活中，其应用的领域也越 来越广泛。如今普通微机上均可配置真实感图形生成平台人们完全可以在办公 室或家庭电脑上生成自己喜爱的真实感匿l 形。 引算机真实感图形主要是种) 1 0 栅艮l 肜。光栅图形显示器的屏幕由一系列显 不单儿细成，每一个显示单元称为个象素。生成一幅真实感图形时我们必须 逐个象豢地“算矾丽上相应景物表而【城n 勺颜色，显然，在计算h j 。见景物表殉区 域的胁包l j 不佃。要考虑光源对眨k 域入q j 光及圯亮j 坚和1 光鹃红h e ，而j = j 逊要考 虑l 钦大| | xj 喊刈j 1 源的r 驯向，挺的利剌剐反刺陀质7 辱j 简矗之，这种引钾必坝 天津大学硕士学位论文 第一章绪论 基于一定的光学物理模型，我们将其称之为光照明模型。基于场景几何和光照明 模型生成一幅真实感图形的过程称之为绘制。常用的真实感图形绘制算法包括扫 描线算法、光线跟踪算法、光能辐射度方法等。由于光栅图形屏幕通常包含数十 万甚至上百万个象素，因此，如何开发利用景物的空间连贯性和图像连贯性，提 高绘制算法的效率是真实感图形技术研究的重点。 1 2 传统的真实感图形绘制技术 传统的真实感图形的生成一般需经历场景造型、取景变换、视域裁剪、消除 隐藏面及可见光亮度计算等步骤。 1 2 1 场景造型 场景造型就是对场景中的景物的造型由计算机模拟表示出来。 多面体模型：在三维计算机图形学发展的初期，场景中的景物通常由多面 体模型表示。与曲面模型相比，多面体模型有以下优点：1 ) 多边形形状简单， 便于计算和处理；2 1 多面体可以任意精度逼近曲面物体，并可以表示拓扑 非常复杂的物体；3 ) r 需存贮各多边形的顶点即可表示物体的几何信息，在 计算多边形内任可见点的光亮度时，所需的信息可由顶点的信息插值得 到。这使得对多面体的绘制可采用硬件加速技术来实现。当然，采用多面 体模型进行场景造型也有不少缺点。例如，难以把一个二维的纹理映射到 由众多多边形离散表示的景物表面上；表示一个细节较丰富的物体可能需 数以万计的多边形从而带来较大的计算量和存贮量；采用多面体表示的 曲面物体放大以后会失去原有精度，导致几何走样现象；多面体表示不适 合对形状的整体修改等等。 曲面模型：曲面模型可m 数学函数或一系列用户定义的数据点柬定义。 类常用的表面是采用：次力。程描述的二次曲面。它们包括球、椭球、抛物 向、双曲面等；另种霭鼗 侈式为参数l 酊。参数曲面存甜算帆罔形学 天津大学硕士学位论文第一章绪论 占有极其重要的地位，常用的参数曲面有c o o n s 曲面、b e z i e r 曲面、b 样条 曲面、n u r b s 曲面和b e t a 曲面。与其他造型方法相比，参数曲面具有造型 灵活、控制方便、容易剖分、形状与坐标系选取无关等优点，它在汽车飞 机外型设计、动画、c a m 等应用领域有着广泛的应用。 一， 场景坐标系：物体的造型总是在某个坐标系中进行的，我们称场景中物体 造型所取得坐标系为场景坐标系。场景坐标系包括场景的局部坐标系和场 景的世界坐标系。在造型和动画设计中，在物体上或物体附近建立个局 部坐标系可给物体的表示和运动描述带来许多方使和灵活之处。例如，对 于个立方体，可把局部坐标系置于其中心或顶点处；对于一个旋转体， 可使旋转轴与局部坐标系的z 轴重合。若要制作卫星绕地球旋转且地球自 转的动画可把地球局部坐标系的原点放于自己的中心，并把卫星局部坐 标系的原点放于地球的中心。 当在局部坐标系中完成物体的造型后。下一个步骤是把它放人待绘制 的场景中，从而定义物体之间的相互位置。把物体放人场景的过程实际上 定义了物体从局部坐标系向场景的整体坐标系的变换。这个整体坐标系就 是所谓的场景世界坐标系。如果该物体被设置了动画，那么动画系统将提 供一个随时间变化的变换矩阵，该变换矩阵逐帧把物体变换到世界坐标系 中。 1 2 2 取景变换 三维几何对象是在场景坐标系中建立的，但屏幕上所显示的画面只是在给定 视点和视线方向下，三维景物在垂直于视线方向的二维成像平面( 屏幕) 上的投 影。将几何对象的二维坐标转换到屏幕上的象素位置，需要进行一系列的坐杯变 换，这些变换统称为取景变换。 1 2 3 裁剪 战剪赳汁算机f 污r 1r n 彰川翘旧链础哉0 9 晌l 0 n ：j 从l f = 】数据巾扪呶f ，f 天津大学硕士学位论文 第一章绪论 占有极其重要的地位，常用的参数曲而有c o 。n s 曲面、b e z i e r 曲面、b 样条 曲面、n u r b s 曲面年b e t a 曲面。与其他造型方法相比参数曲面具有造型 灵活、控制方便、容易剖分、形状与坐标系选取无关等优点，它在汽车飞 机外型设计、动画、c a m 等应用领域有着广泛的应用。 。 场景坐标系：物体的造型总是存某个坐标系中进行的，我们称场景中物体 造型所取得坐标系为场景坐标系。场景坐标系包括场景的局部坐标系和场 景的世界坐标系。在造型和动画设计中，在物体上或物体附近建立一个局 部坐标系可绐物体的表示和运动描述带来许多方使和灵活之处。例如，对 于个立方体，可把局部坐标系置于其中心或顶点处；对于一个旋转体， 可使旋转轴与局部坐标系的z 轴重合。若要制作卫星绕地球旋转且地球自 转的动画可把地球局部坐标系的原点放于自己的中心，并把卫星局部坐 标系的原点放于地球的中心。 当在局部坐标系中完成物体的造型后。下一个步骤是把它放人待绘制 的场景中，从而定义物体之问的相互位置。把物体放入场景的过程实际上 定义了物体从局部坐标系向场景的整体坐标系的变换，这个整体坐标系就 是所谓的场景世界坐标系，如粜该物体被设置了动画，那么动画系统将提 供一个随时间变化的变换矩砗，该变换矩阵逐帧把物体变换到世界坐标系 中。 1 , 2 2 取景变换 三维几伺对象是在场量坐标系中建立的，但屏幕上所显示的面面只是在给定 视点和视线方向下，三维景物在垂直于视线方向的t 维成像平而( 屏幕) e 的投 影。将几何对象的三维坐标转换到屏幕i 的象素位置，需要进行。系列的坐标变 换，这些变换统称勾取景变换。 1 2 3 裁剪 戡鹦是汁算机蚓 髟r 1 【+ 彩- q 题们堪础战珂的u m 柏一1 巩几倒数据i 抽“z | 】i i 戡鹌足汁算机吲 忙r | l i ：f 彩- q 题州雄础，战剪的u m 杓一 巩儿倒数据1 p 抽j 收所 天津大学硕士学位论文第一章绪论 占有极其重要的地位，常用的参数曲面有c o o n s 曲面、b e z i e r 曲面、b 样条 曲面、n u r b s 曲面和b e t a 曲面。与其他造型方法相比，参数曲面具有造型 灵活、控制方便、容易剖分、形状与坐标系选取无关等优点，它在汽车飞 机外型设计、动画、c a m 等应用领域有着广泛的应用。 一， 场景坐标系：物体的造型总是在某个坐标系中进行的，我们称场景中物体 造型所取得坐标系为场景坐标系。场景坐标系包括场景的局部坐标系和场 景的世界坐标系。在造型和动画设计中，在物体上或物体附近建立个局 部坐标系可给物体的表示和运动描述带来许多方使和灵活之处。例如，对 于个立方体，可把局部坐标系置于其中心或顶点处；对于一个旋转体， 可使旋转轴与局部坐标系的z 轴重合。若要制作卫星绕地球旋转且地球自 转的动画可把地球局部坐标系的原点放于自己的中心，并把卫星局部坐 标系的原点放于地球的中心。 当在局部坐标系中完成物体的造型后。下一个步骤是把它放人待绘制 的场景中，从而定义物体之间的相互位置。把物体放人场景的过程实际上 定义了物体从局部坐标系向场景的整体坐标系的变换。这个整体坐标系就 是所谓的场景世界坐标系。如果该物体被设置了动画，那么动画系统将提 供一个随时间变化的变换矩阵，该变换矩阵逐帧把物体变换到世界坐标系 中。 1 2 2 取景变换 三维几何对象是在场景坐标系中建立的，但屏幕上所显示的画面只是在给定 视点和视线方向下，三维景物在垂直于视线方向的二维成像平面( 屏幕) 上的投 影。将几何对象的二维坐标转换到屏幕上的象素位置，需要进行一系列的坐杯变 换，这些变换统称为取景变换。 1 2 3 裁剪 战剪赳汁算机f 污r 1r n 彰川翘旧链础哉0 9 晌l 0 n ：j 从l f = 】数据巾扪呶f ，f 天津大学硕十学位论文第一章绪论 需的信息。裁剪最典型的用途是从幅大画面中裁取局部视图。裁剪在体的布尔 运算、隐藏线和隐藏而的剔除、阴影生成等算法中也是有用的工具。根据裁剪的 对象不同，裁剪可分为线裁剪和面裁剪。线裁剪处理的对象是直线，面裁剪处理 的对象是多边形，。依据裁剪区域是二维窗口还是三维体，裁剪又可分为二维裁剪 和三维裁剪。由于在一个典型的画面中，需要对大量的图形基本元素进行裁剪， 因此裁剪算法的效率显得十分重要，它直接影响了整个绘制算法的效率。裁剪既 可以用硬件来实现，也可以用软件来实现。但南于软件实现通常达不到生成实时 图形所要求的速度，因此裁剪算法常出硬件来实现。裁剪的方法很多，线裁剪算 法如c o h e n - - s u t h e r l a n d 算法、粱一b a r s k y 算法、n l n 算法、针对矩形区域的线 裁剪加速算法等，多边形裁剪算法如s u t h e r l a n d - - h o d g m a n 算法、i l e r a t h e r t o n 算法 2 1 等。其中，线裁剪算法在线画图形生成中较为实用。 1 2 4 消隐 在真实感图形生成中，一个重要的问题是给定视点和视线方问，决定场景中 哪些物体的表面是可见的，哪些是被遮挡因而不可见的。这一问题简称为场景的 消隐。所有隐蔽面消除算法都涉及各景物表面离视点远近的排序。一个物体离视 点越远，它越有可能被另个距视点较近的物体遮挡。因此消隐可看成是个 排序问题。消隐算法的效率很大程度上取决于排序的效率。 各种各样的消隐算法按其实现方式可分为景物中间消隐算法和图像宅f 司消 隐算法两大类，景物空i 白j 消隐算法直接在景物空间( 视点坐标系) 中确定观点不可 见的表面区域，并将它们表达成同原表面致的数据结构。图像空间( 屏幕坐标 系) 消隐算法则以屏幕象素为采洋单位，确定投影于每一象素的可见景物表面区 域。并将其颜色作为陔象素的显示光亮度。 1 2 5 光亮度模型 - g a 熙! n j 嘴犁是1 懂真实感吲形的缺础。4 j 言之，光照明模型驯柑掷 j l 物胖 | _ | j 仃父定伴，汁解垮i 袭嘶e 仃_ i 擞【；t j 砂二引m q 此亮度的人小川也杉纲成 天泮大学硕十学位论文 第一章绪论 的公式。对于在光栅图形设备上显示的真实感图形我们需依据光照明模型计算 每一象素上可见的景物表面投向观察者的光亮度。光照明模型分为局部光照明模 型和整体光照明模型。 局部光照明模型仅考虑光源直接照射在景物表面所产生的光照效果，景物表 面通常被假定为不透明，且具有均匀的反射率。局部光照明模型能表现由光源直 接照射在漫射表面上形成的连续明暗色调、镜面上的高光以及由于景物相互遮挡 而形成的阴影等，具有一定的真实感效果。而整体光照明模型除了考虑上述因素 外，还要考虑周围环境对景物表面的影响。例如，出现在镜面上的其它景物的映 像，通过透视面可观察到后面的景物等。整体光照明模型能模拟出镜面映像、光 的折射以及相邻景物表面之间的色彩辉映等较精致的光照明效果。 1 3 基于图像的绘制技术 计算机图形学中利用图像来建模已经并不是一个新观念了。1 9 7 6 年b l i n n 和 n e w e l l 提出通过纹理来表现物体表面色彩和光亮度的变化 3 1 。他们的工作是基 于c a t m u l l 4 1 较早提出的提取相似纹理技术。b l i n n 和n e w e l l 提出用图像来表示 物体表面细节，像印花陶瓷一样把图像嵌到物体的表面上。他们也提出了环境映 射的概念，用球状图像来表示一个物体周围的环境。近年来纹理映射技术”j 也利 用了传统图像处理算法，如i m a g e w a r p i n g 技术卜1 。多边形结合预先绘制图像 技术也已经应用于交互式预排软件用来加速几何绘制吲m ” 1 2 1 。 传统图形绘制技术均是面向几何模型的，因而绘制过程涉及到复杂的消隐和 光亮度计算过程。但对于高度复杂的场景，现有的计算机硬件可能仍无法实时绘 制简化后的场景几何，因而我们而i i 备的一个重要问题是如何在具普通计算能力上 的计算机e 实现真实感图形的实时绘制。最近几年，出现了 种全新的图形绘制 技术。镬j 罔像的图形绘制技术( i m a g e b a s e d r e n d e l i n g t e c h n i q u e ) 该技术通 过一些预咒_ 成好的图像( 或环境映照) 来垒- 成不同视点处的场景刚酥。 与传统绘制技术相比，它有着明甚的特点： 一 罔i t ：；f 2 制独立二j ! 场蹬复杂r f ， 又与所7 l 成商l 临的分辨率何，：， - m ? l 仃储的剐像( 或蚪境坝删) 蝴：”j 以址汁算舭合，k 的，也j i j , 是j ；陬扪燃 天津大学砌! 士学位论文第一章绪论 的画面，而且两者可以混合使用。 - 该绘制技术对计算资源的要求不高，因而可以在普通工作站和个人计算机 上实现复杂场景的实时显示。 一一基于图像的图形绘制技术的最初发展是采用环境映照来模拟来自周围环境 的入射光亮度。它以较少的代价成功地模拟了表面的近似镜面反射和规则透射效 果。 环境映照：取一个固定视点位置沿所有方向观察场景的结果。 给定一个环境映照，我们即可快速的生成从其中心以任何视线方向观察场景 的画面。在对整个场景漫游时，该技术需预先在场景中一些固定采样点处生成环 境映照。为了避免漫游过程中从一个视点的画面到另一个视点画面出现不连续的 跳跃，c h e n 等提出了视图插值( v i e wi n t e r p o l a t i o n ) 算法来实现相邻视点间画面的 自然过渡”】。近年来出现了一批高效的图形绘制算法。 1 3 1 视图插值算法 利用图像来描述虚拟环境的思想早在8 0 年代初期就己出现，其目的在于为 用户提供一种真实的视觉感受。这在早期的飞行模拟器中得到了广泛的应用。后 来，m i l l e r 等又基于此思想设计了一个虚拟博物馆”4 3f v i r t u a lm u s e u m ) ，为参观 者提供丁一条或多条固定路径对虚拟场景进行漫游。在这些路径上，系统已经领 先计算存贮好一些采样图像。漫游时，系统基于这些采样图像跳跃式地显示场景 画面。为摆脱固定漫游路线的约束，c h e n 等人开发了q u i c k t i m ev r 系统”。 该系统预先对三维场景进行空间采样，并在每一采样点处生成一个圆柱环境映 照，肖用户漫游进入场景时，系统自动地采用离当前用户视点最近的采样点处的 环境映照求生成画面。由于仍采用跳跃式的画面显示技术，极大的影响了视觉的 连续盹。 、勾了解决 述问题，提m 了视图捅值技术，它能吞：扪邻采样点图像之恻建立 光滑闩然晌过渡，从而真实再现j 州邻采样点间场景透w 变授的变化。山于相邻 两j 锄：洲m i 之削存诒- 很大的连州。i 税图插值技术基一h | | 邻lh i 面的摄像机参数及 砌| 符像鬃处町址点的深f 蛭协1 “川j 决定他们之mn 0 俾粜纠应。鳟法r f ：钡处川i 犬津大学硕士学位论文第一。荜绪论 阶段预先计算存储好这种对应关系，绘n tj , 7 只需在对应像素问进行插值即可获得 中间过渡画面。 该算法的本质是可见像素的匹配和重投影技术，其难点在于如何填补或恢复 由于景物可见性变化而引起的“空洞”。 图1 一l 脚i p o l a r 的几何结构 最近利用e p i p o l a r 几何结构来对两幅或多幅图像进行插值。给定场景中的一 点及其在两个图像上的投影，e p i p o l a r , 就建立了一个关于这两点的独特的关系。 由对应齐次坐标的3 x 3 g 阵表示。场景中的投影点及其原始点就构成了个 e p i p o l a r p l a n e 。这个平面穿过图像投影的中心，其与每个图像平面相交的线叫做 e p i p o l a r l i n e 。如图l l 所示，c l 和c 2 图像，2 投影的中心，由p 及其投影只， 只组成的平面叫做e p i p o l a rp l a n e ，l 1 ，l ! 叫做e p i p o l a rl i n e 。e p i p o l a r 几何结构 最早由f a u g e r 勰和r o b e r t 吲提出，这个方法的好处是在绘制场景中的新图像时不 需要知道照相机内部的结构。这种方法现在已被计算机视觉领域的研究员们广泛 应用，并由此产生了很多新方法 ”8 1 9 1m i 。 1 3 2 全景函数造型技术 尽管基于图像的图形绘制技术能产成令人信服的动画序列而无需显式的场 景几何描述，但与传统基于几何的图形绘制算法相比，该技术缺乏一种统一的理 论框架柬判别绘制结果的有效性，a d e l s o n 利b e r g e n 的仝景函数”( p l e n o p t i c f u n c t i o n ) 对基于图像的图形绘制算法( 如视图插值和图像变形等) 的原理给出了简 沽的描述，从而为这技术的发展奠定r 刖沦牲础。 一般的，令景函数是。参数化晒数，已一i 二义厂守例仃点处，n 仟时刻和 天津大学硕士学位论文 第章绪论 任一波长范围内的所有可见信息，作图。对空间任一视点v ( v ，矿。矿) ，从该视 点出发的任一条视线均可用球面角口，p 定义。若记光波长为五， 则在t 时刻视点v 处的全景函数可定义为 p p ( o ，妒，见，屹，k 。圪，f ) ( 1 3 2 1 ) 全景函数事实上刻画了一给定场景中任一点处的环境映照，因而，它以图像 的形式给出了场景的精确描述。为生成给定视点沿特定方向的视图，我们只需 将视点及球面角带入全景函数即可。这过程事实上是对全景函数的采样，所得 的视图成为全景函数的一个样本。 这样，基于图像的图像绘制问题可描述为：给定全景函数的离散样本集合， 基于图像的图形绘制技术的目标是生成该全景函数的一个连续表示。基于这一描 述，基于图像的图像绘制过程其实是全景函数的采样、重建和重采样过程。 在每- - h 寸n 全景函数均为定义在五维空间上的函数，他描述了在空侧任一位 置( x ，y ，z ) 朝任一方向( 目，妒观察的光亮度。对一场景，若能给出这个五维函数，那 么场景的绘制过程便成了对该五维函数的重采样。 1 3 3 光场函数绘制技术 在实际应用中，全景函数的获取和计算都是非常困难的。因为它所包含的信 息量远远超过了当前计算机的处理能力。因此，一个自然的问题是能否降低全景 函数的复杂性。l e v o y 等提d 了光场函数m 1 ( l i g h tf i e l d ) 方法，从而在定的条 件下，把五维的全景函数降为四维。 光场函数( 1 i g h tf i e l d ) 方法对视点的位置作了一些些限制，从而得到了四维光 场函数。如图l 一2 ( a ) ，在物体马包围盒的外部建立一个更大的凸包围盒( 为简单起 见，我们用正方体表示) ，当观点从物体的内包围盒外面向其内部观察物体时， 任一与该物体有关的光线( 或反向延长线) 必与两包围盒表面有两个交点。因而分 别位_ f 两包围盒表面的任一0 点。决定了一条可能与物体相交的有向直线。值得 注意的是对内包围怠表面州交点均只考虑进点，而龙需考虑出点。由于表面l 任一点的自由度是二i 维的，肌以这些光线的i j l 吐f 度是四维的。瞢能得到定义存这 旧维7 j 三e | j 上的光亮度摩数，么当取位1j 也州新外面的视点进玎绘制日j 找 大津大学硕士学位论文第一章绪论 们便得到了足够的绘制信息。在图1 2 ( b ) 中，当视点位于内部的一个彳i 包含任何 物体的凸区域f 自由空间) 内时，该内部区域边界面的一点与外包围盒表面的一点 决定了一条有向直线，所有这些有向直线组成的空间亦是四维，若得到这个四维 空间上光亮度函数，那么取位于内区域的视点绘制场景便成了对该四维光场函数 的重采样。 为了便于计算，光场函数方法采用有向直线与两个平面的交点作为直线的参 数( 见图l 一3 ) 一般的，假设两平面平行，并且在第一平面上坐标系为( u ，v ) 在第二 个平面上的坐标系( s ，t ) ，则由uv 平面上的点与st 平面上的一点定义了一条有 向直线。实际执行时，限制u ，v ，s 和t 位于0 和1 之间，所以每一平面上的点均 位于一个凸四边形之内，这种表示被称为! i g 丛s ! 坐。直观上，一个l i g h ts l a b 表 示了一个光束，它从一个四边形进入，又从另一个四边形穿出。 如果所有的与物体凸包围盒相交的有向直线包含在一个l i g h ts l a b 中，那么 我们就可以用一个l i g h ts l a b 表示光场函数。遗憾的是，这是不可能的，我们需 用多个l i g h ts l a b 来表示一个物体的所有图像。如图1 4 ，在二维空间中，我们用 四个l i g h ts l a b 来表示整个光场函数。 ( a ) a ( b ) 图1 2 四维光场函数的几何解释 ( a ) n 内观察物体：( b ) 向外观察场景 有了l i g h t s l a b 的定义，我们l i j 以通过计算机合成的方法或拍摄的方法来的 到定义订。l i g h ts l a b 卜的光亮度晒数 剁f - - 个虚拟场景， 个l i g h ts l a b 刊以简 r n i m j 绘制n _ j 维图像数据得刮，h 像檠司分成一, i f h 纠的视j ? j 吲定在uv 平 ，投彤勾u 、，斗嘶。 天津大学硕十学位论文第一章绪论 在采样过程中，像素采样应与st 和uv 采样对应起来。 牙牙 图1 3 四维光场函数中的光线参数化 y - k 瀑熏 图1 4 向内观察一个位二j - 原点的小物体时的l i g h ts l a b f a ) 单l i g h ts l a b 的采样；( b ) l n 个l i g h ts l a b 的旋转拷贝 在虚拟场景罩，一个l i g h ts l a b 可以由一列二维图片得到。每一张图片都表 示了一部分l i g h ts l a b 在照相机在t l v 平面上某个特定的抽样点处的u v 值( 图1 5 ) 。 具体实例见图】_ 6 。 火津大学硕士学位论文 第一章绪论 图1 - 6 一个实例 一旦得到了光场函数，生成幅新图像过程即为该函数的重采样过程( 图 1 7 1 。常用的绘制方法有两种，光线跟踪方法和纹理映射方法。光线跟踪法需计 算每一条光线与l i g h ts l a b 两平面的交点，得到相应的( u ，v ，s ，t ) ，然后再通过插值 方法得到相应的光亮度，而纹理映射的方法则分别把u v 平面四边形和s t 平面四 边形投影到当前视平面，然后退过扫描屏幕象素得到相应的( u ，v ，s ，t ) 值，后查表得 到光亮度值。 一。 雪1 7 光场函数的重采样 1 4 本论文的研究课题的背景及主要内容 顺目得刮家i 然利。j “，l , 盒 6 0 2 7 5 0 2 l 迁的核，l q 内容是i = 董1 绕圮场压缩i7 ，、 天津火：顾十学位论文 第一章绪论 的研究。 本史主要就光场绘制技术及其压缩方法作了详细描述。芒要内容包括：介绍 了光场压缩技术的发展及其国内外的相关工作，对各种压缩算法作了较为详细的 论述；介绍了本文所应用视频压缩编码的相关技术；提出了一个基于新视频编码 技术的光场压缩算法；实验结果同以前算法的比较。 本论文后面的章节安排如下：第二章介绍近年来的光场压缩算法；第三章介 绍视频压缩技术及其新发展；第四章介绍本文的算法；第五章介绍试验结果及其 对比分析；第六章对全文进行总结并提出进一步的研究工作。 天津人学硕士学位论文 第一章光场压缩算法 第二章光场压缩算法 在计算机图形学领域哩，基于图像的绘制技术区别于传统绘制技术，已经成 为非常重要的个方向。应用该技术，三维场景可由预先得到的二维图像( 照片) 绘制出来，而不像传统绘制技术，需要光照，阴影，纹理和几何模型来绘制三维 场景。光场绘制 2 2 2 ”就是近年来出现的一种基于图像的绘制技术，由于它的高 效性和精确性，而且相对纹理映射能够产生良好的光照效果，光场绘制技术在这 几年得到了很大发展。 一个由发光物体组成的透明空间里充满了物体表面对光的反射。可以从多个 视角采集图像，在 2 2 里，这些采集的二维图像被排成一个二维的规则网格( 图 1 ) ，由这些光场数据通过光场算法陋1 可以得到从任意视角观察看到的三维图像。 为了达到照片级的效果，一个物体的光场必须采集的足够密( 相邻图片之间的最 大视差不能超过一个像素) 。否则，就会产生偏差。比如对一个2 5 6 x 2 5 8 像素的 图像，需要至少2 0 0 0 0 0 张图片。要精确抽样是不可能的，而且物i 里记录的光场 通常是整个光场信息的一个抽样表示。但是即使再抽样的光场也包含上千上万张 图片，产生上亿字节的数据量。比如m i c h e l a n g e l o ss t a t u e o f n i g h t 的原始光场”4 1 需要9 0 0 多亿字节的存储宅间。所以压缩问题成了光场映射应用中的一个基本问 颗。 f a ) 掣2 1 a 1 表小的址夫佛f 1 ( j ) | 亡场的：分，f b ) 若：永龙的此场州分 天津火学硕士学位论文 第一：章光场压缩算法 对于光场的压缩，先后提出了很多算法，如矢量量化压缩算法【2 2 ，d c t 编码 压缩算法 2 5 1 ，视差补偿编码算法【2 6 】。 2 1 矢量量化压缩算法 矢量量化方法 2 7 1 ( v e c t o rq u a n t i z a t i o n ，简称v q ) l e m p e l z i vc o d i n g ( 种1 弘典 技术应用于通用数据膻缩领域) 和直接对离散数据进行压缩，这是一个流水线 ( p i p e l i n e ) 过程( 图2 - 2 ) 。l i g h tf i e l d 通过矢量量化被分成c o d e b o o k 和i n d i c e s 两部 分，在各自用l e m p e l z i vc o d i n g 压缩算法进行压缩。 ；船，codebook-lzight f i e l div q 瀛b i l ；t r e a m 4 0 2 4m b ； 二 m b j(3 弋i i l d i c e s l z 7 图2 2 矢量量化方法流程 在v ( j 中，第一步是分解图像数据以产生一组矢量。一般而2 苗- ，图像数据可 涉及像素密度本身或者是它们某种适当的变换。如s = s ，s ：，s ，】7 表示对应于一 个图像数据块的一个n 维矢量，它可以用n 维空间中的一点来表示。在v q 中， 由2 “个可能的块组成的n 维空间被量化成l 个区域足，i = l ，l ，称作为 v o r o n o i 区域。图2 1 1 表示当n = 2 时的v o r o n o i 区域。所有落在区域r 内的 矢量用一个矢量表示： l = 【1 1 ，1 2 ，r , - nj 。，该矢量称作为码矢量 ( c o d e v e c to t ) 。集合c = f t ， 称作为码书( c o d e b o o k ) 。n 维空i s j 戈l j 分成l 个 v o b o n o i 区域，使得均方量化误羞最小化这种划分称为码书设计问题。 在给定码书的情况f ，一个矢量量化器可以捕述为 s = 叼( s ) = f ，s r ，( 211 ) 办就是说：编鲋揣从翩m j 搜索列最接近晌码 、爷。接着为f # 输剐仃储m 埘这 币杉0 二日；h ： ；进n ：熵“伊i 。自十 州* f r 舟j & t ff 0 ，目切、，拽再i i 【佝厄十j i 量 天津尺学硕t 学位论文第二章光场爪缩算法 如果假设非压缩图像密度是用8 位像素来表示，并且令l ( 即码书的大小) 为2 的 乘方数，那么压缩比c r ( c o m p r e s s i o nr a t i o ) 定2 义成 积= 证n x j 8 ( 2 1 2 ) 一， l 0 9 2 上 。 2 2d c t 编码算法 离散余弦变换1f d i s e r e t ec o s i n et r a n s f o r m ，简称d c t ) 是种与傅立叶变 换紧密相连的数学运算。在傅立叶级数展开式中，如果被展开的函数是实偶函数， 那么其傅立叶级数中只包含余弦项，再将其离散化可导出余弦变换，因此称之为 离散余弦变换。d c t 是变换编码中使用最广泛的变换。它是一种j 下交变换，具 有固定一组( 与图像无关) 基本函数，一个便于计算的有效算法，以及好的能量压 缩和减少相关性的特点。a h m e d 等人首先注意到一阶m a r k o v 图像的k l t 基本 函数j 。分类似于d c t 的基本函数。在相邻像素矧的相关性方面，二者是一致的。 d c t 幅于离散三角变换系列，具有1 6 个成员。一个nxn 块的2 型d c t 定义 成 跗雕z ，_ j 砉c 瞒m ，薹，c o s c 其中k 1k 2 ，n l ，h 2 = 0 ，1 ，n 一1 ， x ( 2 n i + 1 ) k 2 ) c o s ( 警) 粕c = 巍( 2 z ) 返技术可以应用到光场中的彩色图片上，彩色图像由像素组成，这些像素 具有r g b 彩色值。每个像素都带有x ，y 坐标，对每种原色使用8 x 8 或者1 6 x l6 矩阵。舟狄度图象中像素具有扶度值，它的x ，y 坐标由灰色的幅度组成。为了 压编光场中的狄度图象，每个像素被翻译为亮度或欢度值。为了压缩光场中的彩 色阿7 咎，这个过程要分为r ，g ，b 进行三遍。每个8 x 8 如阵的6 4 个值，每 个n i 川阿各闩的x ，y 坐柯。这样我们就有了一种像裳的i 维表示栏、，韵：作。 川￥：一- 或窄1 7 i j 域。通过d c l t7 垃换，审问表边式就转化为频【酱表达武铜卒城， 从i 一刊了 数据堰缩的f 1 l 、孙00 湮、如小波变援出j 九；q - 蝽础。1 小。 天津大学硕f - 学能论文第二章光场压缩算法 2 3 视差补偿编码算法 矢量量化，d c t 编码，球函数编码已经运用于光场压缩，压缩率已经达到 。3 0 ：1 。我们需要更高的压缩率，以便用可以接受阿时间来传输光场，比如在网络 上。 由于光场中的采集的图像很密，相邻图像间相关性很大，这点类似于视频中 帧的相似性，在 2 6 中，把这种算法应用于光场压缩中，即视差补偿技术。光场 压缩中这个编码方法延伸了对光场里四维数据的视频压缩算法：先从光场中抽取 一部分图片，对其进行分块，编码。深度值也已经给定了。规定把这些图像叫做 参考图像( 卜i m a g e ) ，而把要预测的图像叫做目标图像( p - i m a g e ) 。 先从光场图片中找一些图片编码成i n t r ai m a g e ( i i m a g e ) 。这些图片用离 散余弦变换( d c t ) 和系数量化进行编码。由于是在整个光场内选取，所以i i m a g e 集是所记录光场图片集的再抽样表示。i i m a g e 是对剩下的图片( p r e d i c t e d j m a g e s ，p - i m a g e s ) 进行编码的参考( 图2 - 3 ) 。 将相邻的两个光场图片进行对比时，在固定物体表面上的同一个点( 像素) 在两个图片里都出现了，但是位置不同。这段位移叫视差。从记录图片的位置， 就可以推测两个图片的视差。从记录图片的位置，我们可以推测两个图片的 d is p a r i t y 。只有d i s p a r i t y 的量需要编码。另外，几个i j m a g e 可作为参考来 预测p - i m a g e ，这样可以提高编码效果。这样就可以用相邻的图像来预测目标图 像，也就是用已经编码的图像生成其它没有编码的图像。 下面我们介绍算法： p - i m a g e 被分成一个1 6 x 1 6 像素的一个正方形块，经过试验，有八种编码方 法r j 以有效的体现光场的特钲： 】、c l o s e t ：一个1 6 x 1 6 的像素块有最近的一个j _ 】m a g e 复制过来而不进行 l | 】s i r il