（信息与通信工程专业论文）面向多视点立体显示的自适应ibr技术.pdf

上海大学博：七学位论文 原创性声明 蚴删j i r l ；r t l l ljf|lli脚b| y 17 4 1 5 8 5 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 日期：乏垒2 竺：笪：丞a 上海大学工学博士学位论文 面向多视点立体显示的 自适应i b r 技术 姓名：董志华 导师：张之江教授 学科专业：信息与通信工程 上海大学通信与信息工程学院 2 0 10 年0 5 月 上海大学博十学位论文 ad i s s e r t a t i o ns u b m i t t e dt os h a n g h a iu n i v e r s i t yf o r t h e d e g r e eo fd o c t o ri ne n g i n e e r i n g a d a p t i v ei b rt e c h n o l o g y o r i e n t e d t ot h em u l t i v i e ws t e r e o s c o p i c d i s p l a y m d c a n d i d a t e ：d o n gz h i h u a s u p e r v i s o r ：p r o f e s s o rz h a n gz h i j i a n g m a j o r ：i n f o r m a t i o na n dc o m m u n i c a t i o ne n g i n e e r i n g c o m mn n i c a t i o na n di n f o r mt i o nc o l hg e o m m u n | c a t i o i ia nl n l o r m a t i o n o l l e g e s h a n g h a iu n i v e r s i t y m a y , 2 0 1 0 i v 上海大学博士学位论文 摘要 基于图像的渲染( i m a g e b a s e dr e n d e r i n g ，简称i b r ) 能够快速、逼真地生 成场景的多视点视图，因此很适合作为多视点立体显示的图像源获取技术使用。 然而，该类方法对于图像采样的过度依赖，使得数据量与渲染质量的矛盾成为 了阻碍i b r 应用的一个难题。 针对这一问题，本文推导建立了信号采样的最小预期误差准则，并以此为 依据提出了适用于多维信号的自适应采样及重建方法。该方法在对原始采样信 号进行分析的基础上，解析地确定了对重建质量贡献最大的采样位置，从而减 小了采样数量，提高了重建质量。由于不需额外获取场景的几何信息，且能够 对每一根采样光线的采样位置做出调整，该方法具备了现有类似i b r 方法所不 具备的非渐进采样、低几何信息需求及逐一调整采样位置的特性。 当应用于一维( 音频) 、二维( 图像) 及四维( i b r ) 信号时，本文在建立 的自适应采样方法的基础之上提出了融合边沿及边缘检测的白适应采样方法， 有效抑制了平顶波形及“铁皮样失真产生的局部较大误差，改善了信号重建 质量。并特别针对四维i b r 信号推导了四维s o b e l 算子，使边缘检测得以在四 维空间中进行。 本文以光场作为i b r 的实现形式，针对光场自适应采样生成的高维非均匀 数据，提出了基于d d a u n a y 三角剖分的非均匀数据插值方法并将其应用于光场 重建，有效减小了高维数据插值的计算量。同时改进了系统结构，通过将三角 剖分数据暂存数据库的方式改善了系统在视点漫游情况下的计算效率。并提出 了一种附加位置标记矩阵的数据传输存储结构，为i b r 自适应采样在实际数据 传输存储环境下的应用创造了条件。 本文从多视点立体显示的要求出发，分析了显示器参数对i b r 采样与渲染 参数的影响，并完整地实现了i b r 的自适应采样、重建及多视点立体显示。实 验结论表明，该系统能够在相同数据量下获得比传统方法高3 7 7 8 d b 的重建质 v 上海大学博士学位论文 量，并能以不到1 5 的原始数据获得3 0 d b 以上的重建质量。 从适用范围来看，本文提出的方法不仅适用于光场，也适用于其他形式的 i b r 及音频、图像信号；从技术环节及实现手段来看，本文的研究针对数据源 头且以新提出的自适应采样方法为基础，跳出了该领域将研究重点放在采样之 后且套用现有视频压缩技术的研究范式，为i b r 的研究开辟了新的途径。 关键词：多视点立体显示；基于图像的渲染( i b r ) ；光场渲染；自适应采样； 非均匀数据重建 v i a b s t r a c t r e n d i n g ( m r ) i sc a p a b l eo fg e n e r a t i n gm u l t i p l ev i e w so fs e c e n e s r a p i d l y s ot h e ya r es u i t a b l ef o rt h ei m a g es o u r c ea c q u i r e m e n t t e c h n i q u eo ft h em u l t i - v i e ws t e r e o s c o p i cd i s p l y h o w e v e r , t h eo v e rr e l i a n c eo n i m a g es a m p l i n gm a k e s i tac o n t r a d i c t i o nb e t w e e nt h ed a t aq u a n t i t ya n d r e n d e r i n gq u a l i t yw h i c hl i m i t st h ea p p l i c a t i o no f i b r c e n t e r e do nt h i sp r o b l e m , t h i sp a p e rd e r i v e sa n de s t a b l i s h e st h em i n i m a l e x p e c t a t i o ne r r o rc r i t e r i o no f t h er e c o n s t r u c t i o no fs i g n a ls a m p l e sa n dp r e s e n t s a na d a p t i v es a m p l i n ga n dr e c o n s t r u c t i o nm e t h o df o rm u l t i - d i m e n s i o n a ls i g n a l s u n d e rt h i sc r i t e r i o n b a e do l lt h ea n a l y s i so ft h eo r i 班l a ls i g n a l s ，t h i sm e t h o d a n a l 妒c a l l yd e t e r m i n e st h es a m p l i n gp o s i t i o n sw h i c hc o n t r i b u t et h em o s tt ot h e r e c o n s t r u c t i o nq u a l i t y , t h u si m p r o v i n gt h er e c o n s t r u c t i o nq u a l i t ya n dr e d u c i n g t h es a m p l es i z e b e c a u s eo ft h en e e d l e s s n e s so fe x t r as c e n eg e o m e t r ya n dt h e a b i l i t yo fa d j u s t i n gt h es a m p l i n gr a y si n d i v i d u a l l y , t h i sm e t h o dp o s s e s s e st h e f e a t u r e so fn o n - i t e r a t i v es a m p l i n gl o wg e o m e t r yk n o w l e d g er e q u i r e m e n ta n d i n d i v i d u a l l ya d j u s t i n gt h es a m p l i n gr a y sw h i c hs i m i l a rm e t h o d sd on o tp o s s e s s w h e na p p l y i n gt ot h e1d ( a u d i o ) ，2 d ( i m a g e ) a n d4 d ( i b r ) s i g n a l s ，a n i m p r o v e da d a p t i v es a m p l i n gm e t h o dw h i c hc o m b i n e sb r i ma n dc d g ep o i n t si s p r e s e n t e db a s e do i lt h eb a s i cm e t h o d i ti m p r o v e st h er e c o n s t r u c t i o nq u a l i t yb y r e d u c i n gt h el a r g er e n c o n s t r u c t i o ne r r o rp r o d u c e db yt h ef l a t - r o o f e dw a v e sa n d “s h e e ti r o nd i s t o r t i o n s p e c i a l l y , 4 ds o b e lk e r n e li sd e r i v e dt oe x t e n dt h ee d g e d e t e c t i o nt o4 ds p a c e st of a c i l i t a t et h i sm e t h o dt ob eu s e di ni b ra p p l i c a t i o n s t h el i g h tf i e l di su s e da st h ei b rr e a l i z a t i o ni n t h i sp a p e r a c c o r d i n gt o n o n u n i f o r md a t ap r o d u c e db ya d a p t i v es a m # i n g ，d e l a u n a yt r i a n g u l a t i o nb a s e d n o n u n i f o r md a t ai n t e r p o l a t i o ni s p r o p o s e d a n d a p p l i e d i n l i g h t f i e l d r e c o n s t r u c t i o nt oe f f e c t i v d yr e d u c et h ec o m p u t a t i o no ft h eh i g h - d i m e n s i o n a l 上海大学博士学位论文 i n t e r p o l a t i o n f u r t h e r m o r e ，t h es y s t e ms t r u c t u r ei si m p r o v e db yb u f f e r i n gt h e t r i a n g u l a t i o nd a t ai nd a t a b a s et oi n c r e a s et h ee f f i c i e n c yo ft h es y s t e mi nc a s eo f w a n d e r i n g a r o u n dt h es c e n e a l s oad a t a t r a n s m i s s i o n s t o r a g e s t r u c t u r e a p p e n d e db yp o s i t i o nl a b e l i n gm a t r i xi sp r e s e n t e dt oi m p l e m e n tt h ea d a p t i v e i b rs y s t e mi np r a c t i c a lc o n d i t i o n s a i m i n ga tt h er e q u i r e m e n t so fm u l t i v i e ws t e r e o s c o p i cd i s p l a y , t h i sp a p e r a n a l y z e st h ee f f e c to fd i s p l a yp a r a m e t e r so ni b rs a m p l i n ga n dr e n d e r i n g p a r a m e t e r s ，a n da c h i e v e sa d a p t i v ei b rs a m p l i n g , r e c o n s t r u c t i o na n dm u l t i - v i e w s t e r e o s c o p i cd i s p l a y i n g i n d i c a t e db yt h ee x p e r i m e n t s ，t h i sm e t h o do b t a i n s 3 7 7 8 d bh i g h e rr e n d e r i n gq u a l i t yt h a nt h et r a d i t i o n a lm e t h o dw i mt h es a m e s a m p l es i z e ，a n da c q u i r e so v e r3 0 d br e n d e r i n gq u a l i t yw i t hl e s st h a n15 o ft h e o n g i n a ls a m p l e s f r o mt h ep e r s p e c t i v eo fa p p l i c a t i o ns c o p e ，t h i sm e t h o di sa p p l i c a b l et ot h e t i g h tf i e l da sw e l la so t h e rk i n & o fl b rd a t aa n da u d i o ，v i d e os i g n a l s f r o mt h e p e r s p e c t i v eo ft h es t a g ea n dt h er e a l i z a t i o n , t h i sm e t h o di sa i m i n ga tt h ed a t a $ o u l c 圮a n db a s e do nt h ep r e s e n t e da d p t i v es a m p l i n gm e t h o d i tg i v e su pt h e p a r a d i g mi nt h i sf i e l dw h i c hf o c u s e so nt h ep o s ts a m p l i n gs t a g ea n du s e st h e e x i s t i n gv i d e oc o m p r e s sm e t h o d i tp r o v i d e san o v e lw a yf o rt h ei b rr e s e a r c h k e y w o r d s ：m u l t i - v i e ws t e r e o s c o p i cd i s p l a y ；i m a g e - b a s e dr e n d e r i n g ( i b r ) ； l i g h t - f i e l dr e n d e r i n g ；a d a p t i v es a m p l i n g ；r e c o n s t r u c t i o n 舶mn o n u n i f o r m s a m p l e s 上海大学博士学位论文 目录 摘要v a b s t r a ( 玎i 目录 第一章绪论1 1 1 弓l 言：l 1 2 i b r 技术研究概况2 1 2 1 经典i b r 方法简介2 1 2 2i b r 技术研究现状6 1 3 立体显示技术简介9 1 4课题来源与研究内容1 2 参考文献1 4 第二章光场及其非均匀采样技术2 1 2 1 光场及面向立体显示时的参数设置2 l 2 1 1 光场采样光线的参数化2 l 2 1 2 新视点渲染一光线的插值2 5 2 2 光场采样率分析2 7 2 3i b r 非均匀采样技术分析3 0 2 4小结3 4 参考文献3 4 第三章低维信号的自适应采样及重建3 7 3 1 自适应采样方法3 7 3 2一维信号的自适应采样及重建4 l 3 3 二维信号的自适应采样及重建4 5 3 4实验。4 8 3 5 小结5 9 参考文献5 9 i x 上海大学博士学位论文 第四章光场信号的自适应采样及重建6 1 4 1 光场的高维特性一6 l 4 2 光场的四维自适应采样6 5 4 2 1四维极值检测6 5 4 2 2 四维边缘提取6 6 4 3 自适应采样光场的重建7 0 4 3 1 三角剖分方法简介。7 l 4 3 2 重建自适应采样光场的具体方法7 4 4 3 3 执行效率上的改进一7 5 4 4 实验7 8 4 4 1 虚拟场景实验。7 8 4 4 2 实际场景实验8 4 4 5 小结9 4 参考文献9 5 第五章光场渲染的多视点立体显示9 7 5 1柱透镜阵列立体显示原理9 7 5 2立体显示器的光学仿真1 0 0 5 3 多视点立体显示1 0 7 5 4 面向多视点立体显示的i b r 参数设计1 0 9 5 5 d 、结11 3 参考文献113 第六章结论与展望1 15 6 1 结论1 1 5 6 2 展望1 1 5 作者在攻读博士学位期间公开发表的论文11 7 作者在玫读博士学位期间所作的项目1 1 8 i s 【谢119 x 上海大学博十学位论文 1 1 引言 第一章绪论 人眼对世界的感知是立体的，由于多视点立体显示能够将真实或虚拟世界 的多侧面立体影像逼真地再现给观众，较好地契合了人类的视觉特性，因而成 为了近期显示技术研究的热点。传统上，有两类方法可以作为多视点立体显示 的图像源获取技术： 一类方法基于中世纪诞生的传统摄影术。这类方法使用多部摄像机对场景 进行直接拍摄，其特点是对场景的记录与再现几乎没有延时，很适合实时性强 的应用场合，如电视实况转播等。但是，由于该类方法只对光线强度进行标量 记录，因此不能实现立体场景的交互式生成。 另一类方法是基于几何的渲染( g e o m e t r y - b a s e dr e n d e r i n g ，简称g b r ) 技 术。这类方法通过计算机视觉技术获取真实场景的几何模型，但由于目前计算 机视觉方法的精度及鲁棒性还有待提高，g b r 也常使用人工绘制的方法获取场 景的几何模型，并利用计算机图形学方法对模型进行纹理映射( t e x t u r e m a p p i n g ) 、环境映射( e n v i r o n m e n t r e f l e c t i o nm a p p i n g ) 及着色( s h a d i n g ) 等操 作，使其具有一定的真实感。由于在场景记录阶段即获取了场景的三维信息， g b r 能够较完整地再现场景，因而可用于交互式图形生成等场合。然而，由于 现阶段实时获取精确的几何模型还存在较大的难度，同时考虑到计算机图形学 操作的带来的巨大计算量，g b r 技术的实时性始终难以令人满意，而且由于渲 染结果完全由计算机图形硬件生成，g b r 再现的真实感也较为欠缺。 与此相对应，兴起于上世纪九十年代中期的基于图像的渲染( i m a g e b a s e d r e n d e r i n g ，简称i b r ) 技术融合了上述两类方法的特点：i b r 处理的数据直接 来自于一组场景图像，能够实现照片般真实( p h o t o r e a l i s t i c ) 的再现效果；i b r 的渲染方式仅涉及对采样光线的线性组合，因而具有良好的实时渲染性能且计 算复杂度与场景复杂度无关；i b r 对场景表面射出的光线进行矢量记录，因而 可以完整地再现场景，非常适合作为立体显示及虚拟现实等应用的前端数据源。 上海大学博士学位论文 目前，在诸多领域中，i b r 和立体显示已获得了不同层次的应用。在黑客帝 国等影片中，i b r 被用于模拟高速摄影机以正常速度环绕场景拍摄的特效【l 】， 使观众能够从各个角度以慢镜头观看在瞬间发生的事情；在美军下一代战机的 座舱显示系统【2 1 中，在未来的个人手持终端【5 】上以及在即将举行的2 0 1 0 年世界 杯的赛事直播【3 】中，立体显示技术因其展示信息量大与直观性强的特点而得到 应用；而在欧洲的a t t e s t 项目【4 】中，融合了i b r 与立体显示的3 d t v 系统框 架被认为有望成为下一代电视系统的技术标准。 当然，i b r 技术也并不完美。它降低了系统的计算负担，却付出了数据量 巨大的代价；它具有高度真实感的渲染效果需要以密集的图像采样为前提，当 采样率的需求得不到满足时，渲染质量将出现严重退化，这不仅加重了数据量 负担，也使得采样设备变得庞大，不利于系统小型化。 围绕这些问题，学者们开展了一系列广泛而深入的研究工作。目前，国际 上在i b r 及立体显示领域较著名的研究机构有斯坦福大学计算机图形实验室【6 7 1 ，麻省理工学院计算机图形科学实验室【8 一，哈佛大学电气工程与计算机科学 实验型1 0 】，德克萨斯大学奥斯汀分校计算机科学实验室【i l 】，卡内基梅隆大学电 气工程与计算机科学实验室【1 2 】等；一些企业的研究机构，如微软研究院 1 3 】、飞 利浦公司【1 4 】等也积极投身其中；国内的清华大学宽带网数字媒体技术实验室盼 1 6 1 、西安交通大学人工智能与机器人研究所【m 、南京大学电子工程裂18 1 、上海 大学新型显示技术及应用集成实验室【1 9 】等科研机构也在该领域的某些方向上进 行了研究。 1 2i b r 技术研究概况 1 2 1 经典ib r 方法简介 i b r 的目的是通过给定一组全光函数( p l e n o p t i ef u n c t i o n ) 的离散采样，生 成该函数的连续表达【2 0 1 ，即通过采集到的一组场景图像，在场景几何未知或少 量已知的情况下，在任意视点上再现场景。与在传统三维渲染领域占主导地位 的几何建模方法相比，i b r 技术大大降低了视图渲染的难度，更重要的是，由 2 上海大学博士学位论文 于无需( 或仅需少量) 场景的几何信息，i b r 绕开了真实世界场景模型重建这 一计算机视觉领域的难题，其计算量仅与图像尺寸呈线关系，而与场景复杂度 无关，因而在渲染具有复杂几何结构的真实场景时具有很大的优势。 由于i b r 的目的是对现实世界进行采样和再现，因此必须有一个描述世界 的方法。在传统的基于几何的渲染方法中，对象的形状是依靠建立几何模型来 描述的，而对象的表面特性依靠纹理映射与反射模型【2 2 2 3 1 。与此相对应，i b r 技术使用了“表象描述 ( a p p e a r a n c ed e s c r i p t i o n ) 的方法。表象可以被理解为 空间中的一组稠密光线的集合，而这些光线可以使用全光函数来描述【2 4 1 。 由图1 1 所示，全光函数是一个描述三维动态场景的7 维( 7 d ) 函数，它 是任意波长、任意时间( 力的光线在空间任意位置( 巧，功、任意朝向( 谚力 上的记录： ，7 ( 圪，圪，圪，9 ，妒，兄，f )( 1 1 ) 上述定义揭示了一个问题：i b r 的目的是对7 d 函数进行采样和重建，因此 这实际上是一个信号处理的问题，只不过所处理的信号维度高达7 维超越 了之前人们经验中关于“信号”的概念。 全光函数是一个理论上的概念，它可以描述场景的全部视觉信息。但由于 其产生的数据量过于庞大，迄今为止还没有学者在实际的i b r 中对它进行采样 并重建过。为了在实际应用中使用全光函数，必须给定一些约束条件以实现对 全光函数的降维，目前已经用到的约束条件包括以下6 种【l 】： ( a ) 波长使用红、绿、蓝三个分量表示( 由于处理的对象是图像，绝大多数 i b r 技术都使用该条件) ； ( b ) 空气是透明的，光线的强度在其传播方向上恒定不变； ( c ) 场景是静态的； ( d ) 视点在2 d 平面( 而非3 d 空间) 上移动； ( e ) 视点沿着一条指定的路径移动； ( f ) 视点被固定在一个指定的位置上。 正是对这6 个约束( 其中之一或若干个) 的不同组合，催生了后来的多种 i b r 技术。下面简要回顾一下i b r 技术的发展历程。 上海大学博十学位论文 图1 1 全光函数不恿图 ( 1 ) 5 d 全光建模( p l e n o p t i cm o d e l i n g ) m c m i l l a n 与b i s h o p 2 0 】提出的全光建模利用约束( a ) 与约束( c ) ，将全光函数的 波长、时间维略去，是一个5 d 函数： ( 圪，圪，口，伊)( 1 2 ) 针对静态场景，全光建模将多部摄像机布置在三维空间中并对它们的拍摄 方向进行控制，而新视点的渲染在柱面坐标下进行。 ( 2 ) 4 d 光场( l i g h tf i e l d ) 流明图( l u m i g r a p h ) 光场【2 5 瑚】与流明刚2 9 碰1 都基于约束( a 卜( c ) 对全光函数进行简化，从而获得 一个4 d 函数： ，4 ( “，1 ，s ，f )( 1 3 ) 当使用两个平面来表述光线时，( 1 3 ) 式中的u , v 及焉f 分别是光线与两个平 面的交点坐标。流明图和光场的原理基本是一致的，唯一的区别是流明图需获 取( 粗略的) 场景几何信息以减少对采样数量的要求。在i b r 领域，流明图通 常被视为光场渲染的一种形式。另外，光场也可对动态场景进行渲染，此时， 时间维度不再省略，因此成为一个5 d 函数。 ( 3 ) 3 d 同心拼图( c o n c e n t r i cm o s a i c s ) 除了光场采用的约束( a ) ( c ) 之外，同心拼图【3 3 1 进一步将摄像机和视点约束在 一个平面上( 约束d ) ，从而使全光函数的维度减少至3 个： ，3 ，u ，v ) )( 1 4 ) 同心拼图要求采样摄像机和视点按平面上的同心圆路径做移动，因此光线 4 上海大学博j ：学位论文 被参数化为摄像机的旋转角仅及图像的像素坐标u , v 。 ( 4 ) 2 d 图像拼接( i m a g em o s a i c i n g ) 图像拼接通常被用来扩展摄像机的视野【3 4 。7 】，且使用光线的方向进行参数 化： p ( 秒，力( 1 5 ) 根据采集光线的方式，图像拼接可分为单投影中心拼接与多投影中心拼接 两类。绝大多数情况下，图像拼接使用单投影中心，而这种方式，就是通常所 说的全景拼图( p a n o r a m i cm o s a i c ) 或全景图( p a n o r a m a ) 。同样，图像拼接的 原理也可应用到视频拼接中，而这将增加一个时间维度。 本文将上述i b r 方法及各自用到的约束约束归纳起来由表1 1 给出。 表1 1 经典i b r 及使用的约束 当然，任何事物都有两面性，i b r 的优点也决定了其弱点。正是由于对图 像采样的过度依赖，i b r 对图像数量的要求很高。如前面提到的影片黑客帝 国，其基于i b r 的“f l o m o ”特效需使用多达1 2 0 部的摄像机才得以实现。 数量庞大的摄像机产生的数据量也是惊人的，据统计，即使是对于静态场景， 高质量的i b r 采样生成的数据量也将超过数十g b 2 1 1 。如此庞大的数据量，无 论是传输还是存储对于现有设备来说都是巨大的挑战。因此，目前i b r 的应用 主要还局限在少数投资巨大的商业项目上，民用领域还鲜有应用。 5 上海人学博上学位论文 1 2 2i 昧技术研究现状 近年来，针对经典i b r 技术的某些不足，如数据量过大，易产生重影，采 样设备笨重等，i b r 领域出现了一些新的方法和手段，从不同程度上推动了i b r 技术的实用化。 为了实现高质量、运动场景的渲染，w i l b u r n 等【3 8 1 设计了一个f l 了1 0 0 部摄像机 组成的大型摄像机阵列，并以特制的高精度外同步设备对摄像机进行同步。利用 这套设备，作者实现了一系列的特殊应用：如，高分辨率、宽动态范围的视频拼 接，高速视频捕获，合成孔径成像等。 w 抽g 等【3 9 】提出的“空时光场 ( s p a c e - t i m el i g h tf i e l d ) 也是以动态场景为 渲染对象的，该方法在不添加同步设备的情况下，利用时间域插值，将原始的非 同步视频序列变换到同步状态，再利用空间域插值生成任意视点处的新视图，如 图1 2 所示。 镪嘲髀嘲嘲懒穗蛹朔懒憔南舅嘲翰骗嬲酾锄鞭瓣 卜一 一唪啼 1 卜_ _ 一 o o t - 憎 嗣勰卜 口寺_ c 卜仁 泠协倍a 恪 争- 移1 分曲一 口0 0 o 臼辩蝴l a q 皤a - 0 卜 叫。勰。l l 固碍 一争柚b _ 争曲一 f _ l 一 霉铲国算 图1 2 空- 时光场渲染流程 为了减少渲染过程中产生的重影或模糊，学者们尝试了多种方法。t a k a h a s h i 的方法【加】是在不同的深度层上对场景进行渲染，提取各深度层下最清晰的部分并 合成为一张视图，从而获取一幅全聚焦( a l li n - f o c u s ) 视图，如图1 3 所示。而 k u b o t a 4 1 】使用在不同聚焦面上成像的图像进行渲染，并以傅里叶变换的方法提取 图像中的清晰部分进行合成。相关研究 4 2 4 8 也使用了类似的思路。 6 -_-_，_-_，_1_1_1_-_，j_，_i_1，_li ( c )( d ) 图1 3 以不同深度的渲染结果合成全聚焦图像：( a ) - - ( c ) 不同深度层上的渲染；( d ) 合成的全 聚焦图像 为了在采样数量相同的前提下生成更高质量的视图，z h 孤9 4 9 5 0 1 以非均匀采 样为实现形式，利用视点重建的误差估计，根据其“在误差最大处放置摄像机一 的思想，逐次调整采样位置，实现了渐进式的采样优化，其实验装置如图1 4 所 示。文献 5 1 5 3 也使用了非均匀采样，它们的目的，或为减小采样数量，或为 提高渲染质量，而使用的方法也大相径庭。关于这些非均匀采样方法的详细介绍， 本文将在第二章中给出。 实验对象 云台 摄像机 计算机 图1 4 非均匀采样i b r 系统 为了减小采集设备的尺寸，z h a n g _ 【5 4 】设计了一种无需镜头的光场采样方法， 使用一部无镜头的摄像机前后移动拍摄场景，对采集到的图像使用c t 技术中的 拉冬变换( r a d o nt r a n s f o r m ) 进行处理，并按标准c t 重建的方法重建视图；l i a n g 5 5 】 提出了一种可编程光圈技术，将形状可控的光圈安装在摄像机上，通过改变光圈 的形状实现了摄像机在空间不同位置上的成像效果：l e v o y t 2 7 】等则开发了一种手 持式的光场摄像机，以单部摄像机上安装的微透镜阵列( m i c r ol e n sa r r a y ) 取 7 上海人学博士学位论文 代传统的摄像机阵列，实现了紧凑的光场采集。同时，他们利用这个装置实现了 一个有趣的应用：使拍摄的照片可以在后期( 在一定范围内) 任意调节景深。手 持式光场摄像机的实物由图1 5 给出。 图1 5 使用中的光场摄像机 对于采样数据量的控制，大部分学者选择了数据压缩技术。矢量量化技术 ( v e c t o rq u a n t i z a t i o n ，简称v q ) 2 5 , 3 3 1 是最早被用于i b r 的数据压缩方法，具有 较快的压缩速度，但由于未能充分利用采样图像内部及图像之间的相关性，该类 方法的压缩率不甚理想。 目前大部分的i b r 数据压缩都可视为现有视频编码技术的扩展，这些技术主 要包括：运动补偿( m o t i o nc o m p e n s a t i o n ，简称m c ) ，离散余弦变换( d i s c r e t ec o s i n e t r a n s f o r m ，简称d c t ) ，可变长度编码( v a r i a b l el e n g t hc o d i n g ，简称v l c ) 等。 两者之间的对应关系由表i 2 给出。 表i 2 视频编码与i b r 数据压缩的对应 视频编码技术对应的i b r 数据压缩技术 运动补偿 d c t ，v l c 等 多帧运动补偿 s p r i t e 编码 基于模型的运动补偿 可伸缩视频编码 任意形状的视频对象编码 带约束的运动补偿结构5 6 ，5 7 】 索引比特流 直接应用 5 8 , 5 9 1 直接应用【1 模型辅助的运动补偿 6 1 , 6 2 直接应用 6 3 , 6 4 1 直接应用【6 5 1 8 上海大学博上学位论文 表1 2 视频编码与i b r 数据压缩的对应( 续) 3 d 小波编码3 d 及4 d 小波编码m ，6 7 】 差错弹性编码，信源信道联合编码直接应用1 6 8 , 6 9 1 总体而言，从技术环节来看，目前在以减小数据量为目的i b r 研究中，大部 分学者将重点放在了采样之后的步骤，而从实现方法来看，大部分研究是现有视 频编码技术的延伸。而本文的研究主要针对i b r 的采样步骤，试图从源头上减少 i b r 的数据量，从实现的方法来看，本文采用了一种全新的思路，在采样数据中 寻找对渲染质量贡献最大的数据予以保留，从而实现了减少数据量、提高渲染质 量的目的，为i b r 的研究提供了一条新的途径。 1 3 立体显示技术简介 i b r 的最终目的是将场景展示给使用者观看。虽然传统的二维显示器也可 以用于显示i b r 生成的视图，但由于真实世界本身是三维的，因此用立体显示 器作为i b r 的终端无疑是一种更为理想的方式。 虽然通过单眼也能产生一定的立体感【7 0 1 ，但由于双眼感知比单眼感知具有 更高的立体分辨率和更强的深度感，目前大部分的立体显示器都是根据双眼感 知立体信息的机理来设计的。早期的立体影像显示器都需要佩戴特定的眼镜才 能进行观看，虽然可以获得立体视觉，但是佩戴眼镜阻碍了人的自然视觉感受。 近年来，基于裸眼技术的立体显示器取得了多元化发展。从是否使用辅助工具 出发，本文将现有的立体显示方式分为使用辅助工具及不使用辅助工具两类。 下面分别介绍这两类技术。 ( 1 ) 使用辅助工具的立体显示【7 1 。7 3 1 这类技术要求观看者佩戴立体眼镜，使进入左眼的光只受左眼镜片的作用， 进入右眼的光只受右眼镜片的作用，从而使双眼获得具有立体视差的两幅图像。 根据立体眼镜的原理不同，又可细分为光分法、色分法、时分法以及头盔显示， 常用的辅助设备包括偏振眼镜、分色眼镜、l c d 快门眼镜以及头盔显示器。 ( 2 ) 无需辅助工具的立体显示( 裸眼立体显示) 【7 4 - 7 6 】 佩戴眼镜等辅助工具观看3 d 立体影像，既不方便又有不舒适感，显然， 9 上海大学博士学位论文 直接由裸眼就能获得立体视觉感受的显示系统才是更理想的。目前，这类技术 中最具代表性的有体积显示( v o l u m e t r i cd i s p l a y ) 、全息显示( h o l o g r a p h i c d i s p l a y ) 和自动立体显示( a u t o s t e r e o s c o p i cd i s p l a y ) 三种。其中，体积显示是 一种基于体素法( v o x e l ) 的立体显示技术，它利用旋转的屏幕或者光投影技术， 将原来多幅2 d 图像合成富有真实立体感的3 d 立体影像，与真实物体的视觉效 果比较接近。而全息显示技术记录了物体的光波振幅和相位信息，通过物光波 的再现实现三维场景显示。这两种方法所需设备庞大，且与现有显示系统不兼 容，其中体积显示需获得场景的几何模型，而全息显示的数据获取方式与包括 i b r 在内的大部分场景再现技术相去甚远，因此这两种技术都不适合作为i b r 的显示终端。这里将主要介绍自动立体显示技术。 自动立体显示一般采用双目视差立体感知原理，由于最少仅需两幅带有视 差的场景图像就可产生立体效果，自动立体显示器非常适合用作i b r 的显示终 端。通常自动立体显示可分为双液晶物镜显示、反射显示、菲涅耳透镜及视差 栅栏或柱透镜阵列显示四种技术。前三种技术的原理由图1 6 1 8 给出，由于柱 透镜阵列技术与现有平板显示设备的兼容性最好，本文将选用该方法再现i b r 的渲染结果，其原理将在