（物理电子学专业论文）投影式三维集成成像特性理论表征研究.pdf

摘要 摘要 集成成像是三维显示领域的一个重要课题。它不需要相干光源，也不需要佩 戴特殊眼镜。在三维电视、立体投影技术、医学三维成像等领域具有重要的研究 意义和广阔的应用背景。 本文针对投影式三维集成成像系统，详细分析了系统模块的各种物理效应， 建立了各模块的调制传递函数模型，基于人眼的视觉特性，构建了人眼感知对比 度阈值曲面性能模型。 利用几何光学和波动光学理论分析了透镜阵列误差对三维重构图像的影响， 采用光线追迹模型建立了重构图像的点列图，并用计算集成成像的方法对结果进 行验证。 关键词：三维集成成像系统调制传递函数感知对比度阈值曲面图像扭曲像素 串扰 a b s t r a c t a bs t r a c t i i i i n t e g r a li m a g i n gi sav e r yi m p o r t a n ts u b j e c ti nt h ef i e l d so ft h r e e d i m e n s i o n a l d i s p l a y i ti sa b l et ow o r kw i t hi n c o h e r e n tl i g h t ，a n di td o e sn o tr e q u i r et h eu s eo fa n y s p e c i a lg l a s s e s i t ss t u d y i so fg r e a ts i g n i f i c a n c en o to n l yi nt h e o r e t i c a lr e s e a r c hb u ta l s o i np r a c t i c a la p p l i c a t i o n b a s e do nt h ep r o j e c t i o n - t y p ei n t e g r a li m a g i n g ，t h ep h y s i c a le f f e c t so fi m a g i n g s y s t e ma r ea n a l y z e di nd e t a i l ，a n dt h es u b s y s t e m s m o d u l a t i o nt r a n s f e rf u n c t i o nm o d e l a r ee s t a b l i s h e d t h e n ，t h et h e o r e t i c a lm o d e lo ft h ep e r c e p t u a lc o n t r a s tt h r e s h o l ds u r f a c e i sd e r i v e db yc o n s i d e r i n gt h ei n t e g r a lc o n t r i b u t i o no fa ni n t e g r a li m a g i n gs y s t e ma sw e l l a st h eh u m a nv i s u a ls y s t e m t h er e c o n s t r u c t i o ni m a g e ss p a t i a ld i s t o r t i o n sc a u s e db yl e n sa r r a y s e r r o ra r e d e r i v e db yu s eo fg e o m e t r i ca n dw a v eo p t i c sa n a l y s i s t h es p o td i a g r a mi so b t a i n e db y u s i n gt h er a yt r a c i n gm o d e l a n dt h ec o m p u t a t i o n a li n t e g r a li m a g i n gs i m u l a t i o n s c o r r e s p o n dt ot h ep r e v i o u sr e s u l t s k e y w o r d ： f u n o t i o n c r o s st a l k t h r e e d i m e n s i o n a li n t e g r a li m a g i n gs y s t e m m o d u l a t i o nt r a n s f e r p e r c e p t u a lc o n t r a s tt h r e s h o l ds u r f a c ei m a g ed i s t o r t i o np i x e l s 创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 日期雹应：立6 1 垄 日期丝! ! ：丛：2 乏 第一章绪论 第二章绪论 本章对三维集成成像系统特性的研究背景、意义及国内外的发展动态进行了 概述，提出了本文的研究对象、范围和研究方向，并在此基础上介绍了本文开展 的工作内容。 1 1 研究背景及重要意义 随着三维立体技术在个人娱乐及数字家庭领域的广泛应用，三维集成成像 ( t h r e e d i m e n s i o n a li n t e g r a li m a g i n g ，3 d i i ) 技术作为立体显示技术的一种，在三维 电视、立体投影显示、医学三维成像、虚拟和增强现实等领域具有广阔的应用前 景。三维显示能够呈现物体的深度信息。在同样屏幕大小和视角的情况下，人在 观看三维电视时，感觉整个图像的质量、亮度感、深度感以及逼真程度都要比二 维电视强的多。 三维立体显示技术分为眼镜式立体显示技术和裸眼式立体显示技术。前者需 要佩戴特殊眼镜才能观看到三维效果，后者不需要佩戴任何眼镜即可观看到三维 效果，也称为自由立体显示技术。目前，三星电子已经正式推出3 d 电视产品，与 此同时，国内的创维集团日前也宣布将推出中国首款家用3 d l e d 电视。三星和 创维推出的3 d 电视产品属于眼镜式立体显示技术，该技术需要佩戴特殊的眼镜才 能达到立体效果，缺点是容易感到双眼竞争、强度下降引起的视觉疲劳，而且对 于普通消费者来说，每幅眼镜的价格也不菲。因此，从消费者的长远利益上考虑， 对于裸眼式三维立体显示技术的研究显得尤为重要。三维集成成像技术，又称为 三维集成摄影技术( 3 di n t e g r a lp h o t o g r a p h y ，3 d i p ) ，作为一种全真三维光学成像的 新方法已成为多视差立体成像与显示领域的研究热点。三维集成成像技术具有不 需要特殊眼镜和相干光源、全视差、连续视点，且能与现有高清晰度电视制式有 很好的兼容性等优点。 传统的三维集成成像( c o n v e n t i o n a li n t e g r a li m a g i n g ，c i i ) 系统的结构包括记录 微透镜阵列、中继透镜、c c d 、显示微透镜阵列、显示器件等。一般情况下，重 构图像的分辨率是判断三维集成成像系统性能的重要指标之一，而重构图像的分 辨率是受系统的各个参数影响的，比如透镜阵列的孔径大小和占空比，c c d 及显 示器件的分辨率等。由于微单元图像必须要有足够的分辨率才能被检测及显示出 来，所以记录及显示器件的像素大小成为决定重构三维图像分辨率的重要因素。 要想得到高分辨率的重构图像，就目前的技术发展情况，还不能达到大批量生产 高要求显示器件的水平。而投影式集成成像( p r o j e c t i o ni n t e g r a li m a g i n g ，p i i ) 系统 的提出解决了这一难题。投影式集成成像系统可以采用时空多路复用技术来克服 2 投影式三维集成成像特性理论表征研究 显示器件像素大小及数量所带来的限制，可以实现大尺寸、高分辨率的三维图像 显利1 1 。 从成像特性的角度讲，观测者感知的三维集成图像质量不仅受限于微透镜阵 列、中继透镜系统、探测器阵列、显示器件等模块的设计参数，还与目标深度距 离以及观测者视点位置有关。如何表征投影式三维集成成像特性，优化系统模块 设计参数以提高三维集成成像质量，将是高性能三维集成成像系统研究的关键问 题。 1 2 国内外发展现状 虽然三维集成成像技术早在1 9 0 8 年就由l i p p m a n n 提出【2 】，但是由于当时科 技发展水平的限制，此方法并没有得到深入的研究。直到9 0 年代末期，该技术作 为一种三维自由立体显示技术，以及由于其在三维电视和可视化上的应用，得到 了广泛的关注。为了优化设计三维集成成像系统性能，国内外很多研究者在这方 面做出了很多贡献。 1 2 1 国外发展状况 国外学者对三维集成成像系统各方面的研究起步比较早，这些研究主要涉及 到以下几个方面。 ( 1 ) 对三维集成成像系统各模块参数设置进行了研究，这对于优化设计三维集 成成像系统性能有很大的参考意义。 c b b u r c k h a r d t 等【3 】利用基尔霍夫积分对高斯光束通过方孔光阑的衍射进行 了研究，该研究基于得到最大分辨率重构图像的角度考虑，推导出透镜阵列的最 佳孔径参数公式，该式与物体深度位置以及中心深度平面到记录微透镜阵列之间 的距离有关；日本广播公司的h h o s h i n o 等【4 】分析了i p ( i n t e g r a lp h o t o g r a p h y ) 技术 的分辨率限制，建立了三维集成图像的视觉分辨率计算模型，探讨了微透镜孔径 尺寸、焦距、显示面板和重构三维微透镜阵列之间的距离、观测者视点位置等参 数对三维集成图像视觉分辨率的影响；首尔国际大学的j h p a r k 等【5 j 对集成成像 系统显示过程的真实i p 和虚拟i p 显示方法进行了研究，并从横向分辨率、深度分 辨率以及视场角等方面对这两种方法进行了分析和比较，指出各自的优缺点，并 证明了真实i p 显示方法的横向分辨率大于虚拟i p ，而视场角方面前者不如后者， 此外真实i p 相邻像素之间的串扰大于虚拟i p ，而二者的深度分辨率则相差无几， 该研究对于不同性能要求的显示系统的设计具有重要意义。 ( 2 ) 从景深、分辨率、视场角等方面对集成成像系统性能进行改进，并通过各 参数之间制约关系来衡量集成成像系统的特性。 第一章绪论 3 f u s h o uj i n 等1 6 建立了显示器件分辨率与三维集成图像横向分辨率、深度分辨 率、三维图像度量因子焦深与横向分辨率平方乘积( p r o d u c to ft h ed e p t ho f f o c u sa n dl a t e r a lr e s o l u t i o ns q u a r e ：p d l r s ) 的函数关系，描述了显示微单元图像分 辨率对此度量因子的影响：考虑到景深、分辨率、视场角之间的相互制约关系， 有很多研究者提出了在不降低分辨率的情况下提高景深的方法，这些方法包括： 采用振幅调制的微透镜阵列法1 7 ，该方法通过调整微透镜的振幅透过率来提高景 深，简单易行，通过合适的参数设置可以使p d r s 增大3 7 0 ；采用单轴晶体片改 变光学路径长度的方法【8 j ，此结构需要加入动态的偏振片，单轴晶体片，滑动的狭 缝阵列光罩等器件，可以产生3 个中心深度平面，从而增加像平面的深度，此方 法的缺点是对开关的速度要求非常高，而且偏振器件的加入使得光学效率降低， 重构图像的质量很差；此外，b l e e 等人【9 j 提出采用动态变化的像平面的方法提高 景深，此方法要求沿纵向方向移动透镜阵列以产生连续的中心深度平面，但是透 镜阵列的快速机械移动同样会会引起空气的阻力并产生噪声；yk i m 等【1 0 】还提出 电子控制p d l c ( p o l y m e r - d i s p e r s e dl i q u i d c r y s t a l ) 薄膜产生可变的像平面方法来提高 景深，相比于近年来提出的其它提高景深的方法【7 】【1 1 】【1 2 】【1 3 】，该法具有明显的优点。 j s j a n g 和b j a v i d i 提出在记录和显示过程采用移动的透镜阵列技术来克服由奈 奎斯特采样频率决定的分辨率上限，从而增大视觉分辨犁1 4 】；j - h p a r k 等人【1 5 】提 出一种使用传输型的空间调制器来提高分辨率的方法，该方法还可以进行二三维 转换。y k i m 等人【1 6 提出采用弯曲的显示屏和弯曲的透镜阵列来增大视场角的方 法，但是就目前的发展而言，还达不到大批量生产弯曲显示屏的技术水平。 ( 3 ) 对投影式集成成像系统透镜阵列误差以及投影误差导致的重构图像扭曲进 行了理论推导及建模仿真。 j u na r a i 等【l 。7 】利用几何光学理论分析了透镜阵列制作工艺误差导致的重构图 像扭曲，并研究了透镜阵列的局部误差和全局误差分别对投影式三维集成成像系 统视场角的影响；m a s a h i r ok a w a k i t a 等【l8 】在此基础上利用数学方差计算模型和实 验测量方法研究了投影误差导致的重构图像空间扭曲现象，包括微透镜阵列的桶 形畸变和枕形畸变。 另外，传统的集成成像结构生成的3 d 重构图像都是深度反转的，基于这点 考虑，有很多研究者提出了解决反视( p s e u d o s c o p i c t o o r t h o s c o p i c ，p o ) 图像问题的 方法。这方面的研究大都基于光学变换或数字变换，光学处理中由于加入了额外 的透镜阵列或者使用自聚焦透镜阵列，从而导致重构图像质量下降【1 9 l 【2 0 】【2 1 】；而在 数字处理中，采用计算机图像处理的方法使每个微单元图像都依次旋转18 0 度， 该情况下，要得到实时的三维图像重构是困难的【2 引。 2 0 0 4 年，j s j a n g 和b j a v i d i 提出了基于微凸面镜阵列结构的投影式集成成 像系统1 2 3 1 ，该方法主要有三个方面的优点：1 ) 避免了p o 转换问题；2 ) 克服了现有 4 投影式三维集成成像特性理论表征研究 的c c d 及l c d 等器件的像素大小及数目的限制所带来的影响，从而增大了分辨 率；3 ) 可以增大视场角。此外，还有几篇文献涉及到投影式集成成像系统性能的研 究和分析 h 1 2 4 1 2 5 1 。 1 2 2 国内发展状况 国内在三维i i 方向的研究起步比较晚，北京科技大学伍春洪等【2 6 】【2 7 】利用计算 机图形学理论，通过对二维微单元图像进行视点图像提取、不一致分析以及深度 计算的方法提取了图像的深度信息，实现了三维集成成像的重构计算方法，分析 了三维重构图像的最大观测角度；中国科技大学徐晶等1 2 8 】在三维场景记录阶段利 用微单元透镜阵列获取微单元图像，在多视点重构阶段采用计算机模拟光学系统 进行重构，并进行了参数优化。 2 0 0 8 年，西安电子科技大学王晓蕊与美国亚利桑那大学三维可视化与成像实 验室联合提出了基于微扫描的三维集成成像技术【2 9 1 ，定量分析了微扫描模式与探 测器阵列占空比对三维成像横向分辨率、纵向分辨率及p d l r s 性能的改善程度。 并采用a s a p 光学软件建立了典型三维集成成像光学模型，利用光线追迹方法分 析了微透镜阵列参数对成像像差的影响，探讨了实际光学像差对三维集成成像特 性的作用。2 0 0 9 年，王晓蕊提出了一种感知对比度阈值( p c t ) 面来表征i i 系统性能 的方法【3 0 】，模拟结果证明，p c t 可以很好的描述与横向分辨率、对比度、深度距 离以及它们之间制约关系有关的h 特性，可以用来衡量不同设计参数的i i 系统的 性能。 总的来说，国外在该领域的研究比较早，也比较系统化。在三维图像的景深、 分辨率、视场角等方面对三维集成成像技术做了很多改进。而国内在这方面的研 究显得有些单薄，较少涉及系统性的物理建模和实验研究，缺乏实验支撑。本文 针对投影式集成成像系统，借助于感知对比度阈值曲面的建模思想方法，系统分 析了投影式集成成像系统的实际组成，完成了对系统各部分物理效应的建模，并 研究了微透镜阵列加工误差以及投影误差对重构图像扭曲方面的影响。 1 3 1 课题来源 1 3 本文研究内容 本课题来源于教育部科学技术研究重点项目“三维集成成像特性理论分 析模型研究”。 第一章绪论 5 1 3 2 研究内容 本文以投影式三维集成成像系统为研究对象，针对投影式集成成像的特点， 借助于调制传递函数和人眼感知对比度阈值模型，考虑到观测者视觉系统的终端 接收器的作用，研究系统端到端性能的表征指标，力图能够体现各性能度量因子 的相互制约关系。此外，本文还利用几何光学和波动光学理论模型分析和研究了 透镜阵列误差导致的重构图像扭曲问题；建立了理论分析模型，对投影误差导致 的微单元图像桶形畸变和枕形畸变进行了细致的研究，并对衍射效应导致的像素 串扰进行了模拟仿真。 1 3 3 论文结构 本文共分为五章，其结构安排和主要内容如下： 第一章绪论。主要论述了近年来三维集成成像系统特性研究的背景及其重要 意义，简单回顾了这方面的国内外发展动态，给出了本文开展的工作。 第二章投影式三维集成成像特性分析。概述了目前比较常见的眼镜式和裸眼 式立体技术的原理和特点，分析和比较了传统三维集成成像系统和投影式三维集 成成像系统的特点，并针对投影式集成成像系统，讨论了各性能表征参数之间的 相互制约关系，这对本文仿真系统的建立和研究方向具有重要的指导作用 第三章投影式三维集成成像系统建模及仿真。借助于调制传递函数模型，定 量描述了投影式三维集成成像系统各组成模块的衍射、散焦、及采样效应对系统 性能的影响。利用心理物理学收集的数据建立了人眼视觉系统对比度阈值函数的 理论模型，构建了投影式集成成像系统端到端的性能表征指标，体现了各性能度 量因子的相互制约关系。 第四章投影式三维集成图像几何扭曲理论分析及仿真。利用几何光学理论和 波动光学理论模型推导及表征了透镜阵列工艺误差导致的重构图像扭曲，并采用 计算机建模仿真了扭曲的重构，验证了与理论推导结果的一致性。此外，还分析 了投影误差导致的桶形畸变和枕形畸变以及衍射导致的相邻像素的串扰问题。 第五章结论。对本文完成的工作进行了总结概括。指出了仿真系统中有待改 进和完善之处，并分析了以后仍需进一步深入研究及探讨的问题。 第二章投影式三维集成成像特性分析 7 第二章投影式三维集成成像特性分析 本章首先概括了近年来的几种三维立体显示技术，然后针对自由立体显示技 术之二一一投影式三维集成成像系统，分析了基于微凸透镜阵列结构和微凸面镜 阵列结构的投影式集成成像系统的原理及特点，并对表征三维集成图像的性能参 数进行了研究。 2 1 立体显示技术分类 目前，三维显示技术可分为两种。一种是需要使用辅助设备才可以实现3 d 效果的显示技术，即眼镜式3 d 技术；一种是不需要佩戴眼镜的裸眼式3 d 技术， 即自由立体显示技术。 2 1 1 眼镜式3 d 显示技术 眼镜式3 d 显示技术的优点是实现起来相对简单，目前的3 d 显示市场都是需 要佩戴眼镜的。眼镜式3 d 技术分为色差式、快门式和偏光式【3 1 1 。该技术的缺点是 时间常了容易导致视觉疲劳。 色差式3 d 技术的辅助设备是一付红青色差眼镜，也称为分色立体成像技术， 是用两台不同视角上拍摄的影像分别以两种不同的颜色印制在同一副画面中。肉 眼可以观看到模糊的重影图像，通过对应的红蓝等立体眼镜可以观看到立体效果， 其原理是对色彩进行红色和蓝色过滤，双眼观看到的不同影像在大脑中重叠呈现 出3 d 立体效果。其特点是：技术难度低，成本低，3 d 效果体验不足。 快门式3 d 技术的辅助设备是一付主动式l c d 快( - j h 艮镜，属于主动式3 d 技 术。当3 d 信号输入到显示设备后，1 2 0 h z 的图像以帧序列的格式实现左右帧交替 产生，通过红外发射器将这些帧信号传输出去，负责接收的3 d 眼镜在刷新同步实 现左右眼观看对应的图像，并且保持与2 d 视像相同的帧数，双眼观看到快速切换 的不同画面从而产生立体感。快门式3 d 技术的特点是：片源丰富，3 d 效果逼真， 眼镜价格昂贵。 偏光式3 d 技术也叫偏振式3 d 技术，属于被动式3 d 技术，普遍应用于商业 影院和其它高端设备。在技术方式上与快门式是一样的，画面要具有2 4 0 h z 或者 4 8 0 h z 以上的刷新频率，要高于快门式的两倍甚至四倍。目前在商用方面采用两种 显示方式实现3 d 效果，一种是i m a x ，在播放中使用两台投影设备，两台投影机 分别拥有自己的偏振滤波器，分别投射左眼和右眼图像；另一种是r e a l d ，使用一 台投影机和一个快速切换的单个偏振器。该技术是快速切换左右眼图像，同时进 行顺时针1 8 0 度和逆时针1 8 0 度的偏振方向配合左右眼图像变换而切换，此外通 投影式三维集成成像特性理论表征研究 过眼睛对光线的过滤只让观众观看到属于不同眼的图像。其特点是：色彩更为准 确，眼镜价格便宜，但因为偏振系统价格不菲，不适用于普通家庭用户。 图21 所示为l g 推出的全球首款3 d 液晶全高溃显示器。 2 i2 裸眼式3 d 显示技术 图2 1 眼镜式3 d 显示技术川 目前裸眼式3 d 技术大多处于研发阶段，主要应用在工业商用显示领域，大 众消费者接触的不多。裸眼式3 d 技术分为透镜阵列式( 1 e n sa r r a y ) 、光屏障式( 1 3 a r t i e r ) 和指向光源式( d i r e c t i o n a lb a e k l i g h t ) 三种口”。裸眼式3 d 技术虽大的优点是摆脱了 眼镜的束缚，缺点是在分辨率、视场角和可视距离等方面还存在很多不足。 透镜阵列( 1 e n sa r r a yl e n s ) 技术也称为取凸透镜或集成成像技术。其原理是在液 晶显示屏的前面加上一层柱状透镜，使液晶屏的像平面位于透镜的焦平面上，双 眼可以从不同的角度观看到显示屏上不同方向投影的子像素。如图22 所示，其特 点是：3 d 技术显示效果好，亮度不受影响，但与现有l c d 液晶工艺不兼容，开 发成本高。 躅2 2 透镜阵列式3 d 技术原理 光屏障式3 d 显示技术也被称为视差屏障或光屏障式3 d 技术，其实现方法是 使用一个开关液晶屏、偏振膜和高分子液晶屏，利用液晶层和偏振膜制造出一系 列方向为9 0 度的垂直条纹。条纹宽几十微米，通过条纹的光形成了垂直的细条栅 第二章投影式三维集成成像特性分析 模式，称之为“视差障碍”。该技术利用安置在背光模块及l c d 面板间的视差屏 障，在立体显示模式下，左眼在观看液晶屏上的图像时，不透明的条纹会遮挡右 眼；同理，右眼在观看显示在液晶屏上的图像时，不透明的条纹会遮挡左眼，双 眼的可视画面分开，观察者会看到3 d 影像。其原理图如2 3 所示。 t ， to h l 二j 奠蔓篓 一t c n 二臣= 窭盈 w n芹 t 甲亍 d z * q = 二= 二= = = 兰 劬 r = = j = ：二二：二一立 ，d kj c3 d hj c 图2 3 光屏障式3 d 显示技术 光屏障式3 d 显示技术的特点是：与现有l c d 液晶工艺兼容，但是画面亮度 低，分辨率会随着显示器在同一时间播出影像的增加呈反比降低。 指向光源式3 d 技术是搭配两组l e d ，配合快速反应的l c d 面板和驱动方法， 使3 d 内容以排序的方式进入观看者的左右眼互换影像产生视差，从而使人眼感受 到三维效果。3 m 公司对此技术投入很大的经历。其特点是：3 d 效果出色，技术 尚未成熟。 下一节我们将针对自由立体显示技术之三维集成成像技术进行系统的 分析和讨论。 2 2 传统的三维集成成像系统 传统的三维集成成像( c o n v e n t i o n a li n t e g r a li m a g i n g ，c i i ) 系统包括记录阶段和 显示阶段。在记录阶段，三维物体的表面通过微透镜阵列在过渡像面上形成二维 微单元图像，每个微单元图像显示的是三维物体不同角度的像，并经中继透镜会 聚到探测器阵列，转换为微单元数字图像；在显示阶段，二维微单元数字图像经 过图像预处理，传输到显示面板，由重构微透镜阵列完成可逆会聚，形成目标的 全真三维集成图像，供人眼视觉观测。原理示意图如图2 4 所示田】。 投影式三维集成成像特性理论表征研究 图24 三维集成成像系统原理框图 在集成成像系统的显示阶段，有两种方法可以显示集成图像【”，一种是微单 元图像发出的光线在透镜阵列前面会聚生成实像，称为真实摄影( r e a li m e g r a l p h o t o g r a p h y ，r j p ) 显示方法，如图2 5 ( a ) 所示。对于r i p 来说，显示器件与透镜阵 列之间的缝隙g ，犬于透镜阵列的焦距，可以根据透镜的成像公式的方程来理解： l g ，+ l ，= 1 f( 2 - 1 ) 其中，为透镜阵列到实像中心深度平面的距离，分析式( 2 1 ) 可知，只有当g ， f 时， 0 。 另一种是微单元图像发出的光线在透镜阵列后面生成虚像，称为虚拟摄影 ( v i r t u a li n t e g r a lp h o t o g r a p h y ，v i p ) 显示方法，如图25 ( b ) 所示。对于v i i ) 来说，显 示器件与透镜阵列之间的缝隙g ，小于透镜阵列的焦距，该情况下，透镜的成像 公式变为： 1 g ，一l l = u f ( 2 - 2 ) 其中，l 为透镜阵列到虚像中心深度平面的距离。 罚小燃 幽 f 艄 一， 遗 一 ljmwmwmw业 槲 d d d d d 卜g 第二章投影式三维集成成像特性分析 鼬黹 l 竺： 一p o w ：， “ m # 丫 0 ) 图2 5 集成成像系统成像过程简图( a ) k i p v 【p 2 3 投影式三维集成成像系统 投影式集成成像系统克服了显示器件像素大小及数目的限制所带来的影响 可以实现大尺寸高分辨率的三维图像显示。投影式集成成像系统存在多种结构 下面主要分析和研究比较典型的两种。 2 31 基于微凸透镜阵列结构的投影式集成成像系统 投影式集成成像系统的典型结构如图2 6 所示。记录过程与c u 系统相同，在 显示过程中，c c d 把微单元数字图像传输给图形处理器。图形处理器对整个微单 元图像进行分割，分成许多微单元子图像传输给投影机，经投影机投髟到扩散板 上，由重构微透镜阵列完成可逆会聚，形成三维集成图像。 图2 6 投影式集成成像系统的结构 对于大尺寸高分辨率要求的三维实时集成成像技术，无论系统中的二维传感 器还是二维显示器都必须满足很高的像素数量，而当前的技术发展水平还未达到 这一要求。对此，韩国釜庆国际大学的j sj a n g 和y - so h 等人”j 提出一种针对大 尺寸高分辨率实时成像的时空多路复用投影式集成成像技术，该技术采用微凸透 镜阵列。 空间多路技术，是指把整个微单元图像空间上分成多个子图像，这些微单元 子图像被多个投影机同时投影到半透明屏的相应位置上，如图27 所示，图中的半 透明屏可以是带有微小颗粒的扩散板，它的作用和图2 5 中的显示器件一样。 lnrnrnrnrn 名 鹣 瞥瞥 唧割 投影式三维集成成像特性理论表征研究 卜皿 d 褴 国27 p i i 空问多路技术原理结构图 为了减少显示板或者投影机的数量，还可以采用时间多路技术投影微单元图 像。时间多路技术，是指投影机把微单元子图像依次投影到相应的微透镜阵列位 置上，这个投影速度要大于人眼的视觉融合频率，其原理如图2 8 所示，在一定的 时间内，投影机把微单元子图像依次投影到透镜阵列的相关区域，投影机与二维 检流光学扫描仪相连，随着检流计扫描仪的x 和y 镜子角度的转换，投影机中的 显示板显示相应的微单元子图像，整个系统是由一个计算机控制。扩散板前面的 透镜的作用是使检流计到每一个投影到透镜阵列相应位置的光程长度相等，其焦 距等于检流计与透镜阵列之间的距离。 川“t 川 、 r - 丁丌+ 丑i 。r u n 弋、- 。 i 一，= 一 图2 8p i i 时间多路技术原理结构图 举个例子，如果一个微单元图像用6 0 * 6 0 像素表示，显示过程中微透镜数量 共3 8 * 3 4 个，总像素数为2 3 0 4 * 2 0 4 8 个，如果分成3 * 2 个子图像，则每个子图像 包含7 6 8 1 0 2 4 个像素，实际上，二维l c d 板上的图像经检流扫描仪被投影到透 镜阵列上时图像会反转9 0 。，变成1 0 2 4 * 7 6 8 个像素，现有的显示器件符合这个要 求。微单元图像被分成匕卫下6 个子图像区域后，按图2 9 所示顺序进行投影。 图2 9 微单元子图像投影顺序 第二章投影式三维集成成像特性分析 1 3 2 3 2 基于微凸面镜阵列结构的投影式集成成像系统 在投影式集成成像系统中，微单元图像的生成过程与传统的集成成像系统是 一样的，在显示阶段，微单元图像通过中继光学系统被投影到透镜阵列上，p i i 系 统的透镜阵列可以是微凸面镜结构【2 3 】，如图2 1 0 所示。时空多路复用技术可以使 基于微凸面镜阵列结构的p i i 系统显示高分辨率、大景深的三维图像。此外，相比 于c i i 技术，p i i 在使用微凸面镜阵列时在以下几个方面有很大的优势： ( 1 ) 当使用直接摄影技术和二维图像传感器获取图像时，在重构过程中，不会 发生微单元图像绕微凸面镜中心轴旋转的情况，因此可以得到无深度反转 的图像。 ( 2 ) 该结构还可以明显的改善视场角。视场角的大小与小f 数有关，在c i i 系统中，由于衍射效应的存在，透镜阵列的小f 数接近于ie 1 4 1 1 2 1 】【3 4 1 ，因为 使用微凸面镜阵列式时是一个衍射受限系统，故小f 数可以比使用微透镜 阵列时更小，可以得到一个更大的视角。 ( 3 ) 可以实现大屏幕的三维电影。因为可以用中继光学系统来很容易的控制投 影到屏幕上的微单元图像的大小。 ( 4 ) 即使不用光栅也可以实现无重影的三维重构图像。如图2 1 0 所示，投影仪 直接把微单元图像投影到相对应的微凸面镜结构上，经微凸面镜阵列反 射，人眼可以观察到反射光线延长线会聚产生的虚像。 ( 5 ) 可以消除色差。 图2 1 0 基于微凸面镜阵列结构的投影式集成成像系统 2 4 投影式集成成像系统性能参数研究 在研究三维集成图像时，通常用景深、分辨率、视场角等来表征集成成像系 统的性能，在研究三维集成成像系统的结构时，必须要考虑到这些参数之间的制 约关系【6 】【1 3 】。本节中，将分析和讨论近年来几种典型的改善三维集成图像质量的方 法。 首先，研究三维集成成像系统中限制景深的因素，这包括记录和显示过程中 投影式三维集成成像特性理论表征研究 各参数的取值，记录过程微透镜阵列的焦濂以及c c d 的像素大小等。透镜阵列的 焦深与分辨率存在以下的关系刚： d r 2 = 1 ， ( 2 3 ) 其中，d 表示透镜阵列的焦深，r 表示分辨率，丑是入射光的波长。因此，在提高 景深的同时，还要考虑分辨率的因素。 yk i m 等人唧根据早期的动态可娈像平面的方法提出了电子控制 p d l c ( p o l y m e r - d i s p c r s c dl i q u i d - c r y s t a l ) 薄膜透明度的方法来改善景深。如图2 1 1 所 示，该方法的显示系统包括p d l c 薄膜、投影仪、微透镜阵列。p d l c 薄膜的透明 度是电子控制的当加上电压时，p d l c 薄膜变成透明的；当不加电压时，薄膜变 成不透明的白色。当处于不透明的状态时，薄膜可以看作显示屏，投影仪把微单 元图像投影到显示屏上：当处于不透明状态时，投射到上面的光可以通过屏幕传 播出去。 p d i fn l ( r “ ihp ior ，r 童i k l ! ! ! ! ”! 口订口 。h ”i 圈2 1 l 电子控制p d l c 薄膜法产生可变像面的三维集成成像过程 p d l ( 12 】4 i j l i l _ “ll 】t l | 图21 2 电子控制p d l c 薄膜原理结构图 第二章投影式三维集成成像特性分析 1 5 该方法的结构示意图如图2 1 1 所示，给p d l c 薄膜2 ，3 ，4 加电压，薄膜1 不加电压。此时，薄膜2 ，3 ，4 处于透明状态，薄膜1 可以看作是显示系统中的 显示器件，来接收微单元图像。根据透镜成像规律可以得到一个中心深度平面。 同理，通过电子控制p d l c ，使4 个薄膜依次处于开关状态，可以产生多个中心深 度平面，这就是提高景深的原理。 随着薄膜l ，2 ，3 ，4 依次处于“关”( 不透明) 的状态，薄膜与透镜阵列之间 的距离逐渐减小并接近于透镜的焦距，根据透镜的成像规律可知重构的图像逐渐 远离透镜阵列，投影到薄膜上的像素经过透镜阵列后的放大倍数也增大，这将导 致重构三维图像的分辨率降低。为了使重构的图像不发生扭曲，对p d l c 的控制 必须与投影的微单元图像同时进行。也就是说，根据透镜的成像规律，计算机生 成的微单元图像要通过投影仪投影到相对应的p d l c 薄膜上。如图2 1 2 所示，在 计算机与投影仪之间做一个接口，p d l c 薄膜通过计算机的c + + 程序控制其开关， 同时，计算机显示的图像通过投影仪投影到p d l c 薄膜上。每个薄膜产生一个中 心深度平面，随着p d l c 薄膜数目的增加，像平面的数目也增加，如果2 和3 距 离足够近，使得像平面2 与像平面3 的边缘深度平面重叠，人眼就可以在两个边 缘深度平面的深度范围内观察一个三维图像。如果在人眼的视觉残留效应内快速 的控制投影仪与p d l c 薄膜，那么该方法就可以改善具有一定厚度的连续物体的 成像质量。 该方法的原理与b l e e 等人【9 】提出的采用动态变化像平面的方法提高景深一 致，但是相比于该方法，电子控制p d l c 薄膜法产生可变像平面的方法有其自身 的优点：1 ) p d l c 薄膜可以获得多重光散乱效果，使光线在没有损耗的环境下均匀 且朝特定方向扩散射出，提高了光学效率，重构图像的亮度几乎没有变化；2 ) p d l c 薄膜比多层显示器件法中用到的l c d 更薄一些，从而可以更精确地控制相邻显示 器之间的距离。 其次，来讨论一下三维集成图像的分辨率，重构图像的分辨率是受系统的各 种参数限制的，如透镜阵列的孔径大小和间距，透镜阵列与显示器件之间的距离， c c d 和显示器件的分辨率等3 】【4 】【3 5 1 。其中最根本的因素之一就是透镜的孔径和间 隔，根据奈奎斯特采样定理，视觉分辨率的上限尾w 的表达式如下： 瓦l ( 2 - 4 ) 其中p 是孔径间隔，三是观察者到透镜阵列的距离。采样频率是限制三维图像的视 觉分辨率的因素【4 j 。 韩国首尔国际大学的yk i m 等人【3 6 】提出一种电可控移动针孔阵列的三维集 成成像方法，该方法可以提高分辨率，而且可以进行二三维转换。其2 d 3 d 转换 投影式三维集成成像特性理论表征研究 原理结构图如图2 】3 所示，该结构采用两个液晶面板，一个用来显示微单元图像， 另一个用来生成和消除针孔阵列，这里的针孔和微透镜的作用一样。液晶上的针 孔在液晶显示器件和背光单元之间。如果液晶控制的针孔处于打开状态，系统处 于3 d 状态；2 d 状态下，针孔是闭合的，这时针孔所处的液晶面板是透明的，二 维图像经过背光单元传播后显示在液晶器件上，人眼就可以观察到二维图像。 卜唯一 图2 1 3 集成成像2 d 3 d 转换示意图 电可控移动针孔阵列的示意图如图21 4 所示，针孔在l c d l 上快速的移动， 速度很快，以至于在人的视觉暂留效应内看不到针孔的移动，从而克服了由奈奎 斯特频率限制的上限频率。 m d t h e 一 圈21 4 电可控移动针孔阵列示意图 其增大分辨率的原理图如图21 5 所示，图21 5 ( a ) 所示为传统集成成像下分辨 率受奈奎斯特上限频率限制的情况，图21 5 ( b ) 为电了控制针孔移动后的情况，当 对情况1 和2 以时分复用的形式进行电子控制时，重构图像如图21 5 ( c ) 所示，分 辨率提高。 口警 骶鼯 第二章投影式三维集成成像特性分析 川11j、：am,b一- ( a ) = j o 图21 5 提高分辨率原理图( 的情况1 。f 的针孔阵列情况2 下的针孔阵列 ( b ) 时分复用1 和2 提高分辨率 最后，来看一下视场角，视场角的定义如下式所示川： 拈2 睁( 2 - 4 ) 其中，g 代表针孔阵列到微单元图像之间的距离，p 是针孔之间的间隔。上文中 k i m 提到的提高分辨率的方法同时可以增大视角。其原理如图2 1 6 所示，假设图 2 1 6 ( a 1 所示为传统的集成成像中固定的针孔阵列的位置，在k i m 提出的方法里， 图21 6 ( b ) 为模式1 ，孔径位置在( 1 ，9 ) ，( 9 ，9 ) 处的针孔处于关闭状态；图21 6 ( c ) 为模式2 ，此时位置在( 1 ，1 ) ，( 9 ，1 ) 处的针孔处于关闭状态，因此，处于每一个 模式时垂直方向的孔径间隔变成图( a ) 中的两倍，即式( 2 4 ) a e 的p 变为原来的两倍， 因此该方法可以使视场角增大到原来的两倍。 m_ i i - - 岍 ： 日一 ：，?oiji。一 h-l：-q_；1 一；11 投影式三维集成成像特性理论表征研究 m o d e 2t i m e - m u l t i p l c 菇n 8 ( c ) ( d ) 图21 6 时分复用针孔阵列增大视场角( a ) 固定针孔阵列的位置 ( b 懒式i 增大市场角0 ) 模式2 增大视场角( d ) 时分复用的移动针孔阵列 本文中，假设分辨率是每毫米内的像素数，分辨率提高了t 倍，则多个模式 下的分辨率表达式为： r ：女土 ( 2 5 ) p 假设有t 个模式，则视场角的表达式为： 嘲一砻 ， 则由上式( 2 5 ) 、( 2 6 ) 可得，视场角与分辨率之间的关系如下： r t 的；瓦t ( 2 - 7 ) 由上式可得，视场角与分辨率之间存在制约关系，其关系曲线如下图2 1 7 所示， 随着分辨率的增大，视场角减小，但是随着模式t 的增大，本方法使得视场角和 分辨率都可以得到提高。 一一 第二章投影式三维集成成像特性分析 1 9 图2 1 7 视场角与分辨率之间的关系( 考虑到t 的大小) 总之，景深、分辨率、视场角之间存在着相互制约关系，在考虑提高集成图 像性能度量参数之一的同时，也要考虑到对其他参数的影响。 2 5 小结 本章介绍了近年来比较常见的几种立体显示技术，并对各自的特点进行了简 要总结，作为自由立体显示技术之一，投影式集成成像系统在性能上存在很多优 势。 从成像度量的角度讲，已经有很多研究者对三维集成成像系统的部分模块( 记 录单元或重构单元) 设计参数与三维集成图像视觉分辨率、横向分辨率、深度分辨 率和景深之间的关系进行过研究【4 】【6 】【3 7 】【3 引，对三维集成成像系统模块设计具有指导 作用。然而，就三维集成成像系统的总体优化设计而言，系统成像度量因子不仅 需要将系统各模块作为整体考虑，还要考虑观测者人眼视觉的接收作用，这必然 要求提出一个系统端到端性能的表征指标，能够体现各性能度量因子( 如图像对 比度、横向分辨率、图像深度) 的相互制约关系，将系统各模块设计参数与三维 集成成像特性有机联系起来。而且当前的研究中很少涉及投影式集成成像系统的 透镜阵列误差及投影误差导致的重构图像扭曲问题。本文将在后面的研究中仔细 探讨这些问题。 第三章投影式集成成像系统建模及仿真 第三章投影式集成成像系统建模及仿真 由于人眼视觉系统是凌定集成成像系统性能的一个重要因素，本章针对投影 式集成成像系统，结合人眼视觉系统，利用调制传递函数及视觉感知对比度进行 理论建模，建立系统各模块的衍射、散焦、采样等物理效应对成像系统性能影响 的模型，并引入系统端到端的性能表征指标一一感知对比度阁值曲面 ( p e r c e p t u a lc o n t r a s tt h r e s h o l ds u r f a c e ，p c i ，”，体现了各性能度量因子的 相互制约关系。 3 1 集成成像系统性能表征思想及模型建立 本节分析的理论模型示意图如图3 1 所示，对于特定的集成成像系统，把一 系列不同对比度和空间频率的周期性条形样条放置在轴向的不同位置上，观察者 在p i i 系统的显示阶段观察这些周期性样条的三维