（测试计量技术及仪器专业论文）光栅式立体显示器重影问题的研究.pdf

光栅式立体显示器重影问题的研究 摘要 光栅式自由立体显示设备由于存在重影问题而限制了它们在商业上的应用。 文中首先通过对计算机立体视觉、潘再区理论及光栅式自由立体显示器成像机 理等内容进行深入研究之后，从潘弄区和可视区域两个角度分析了光栅式自由 立体显示设备产生重影问题的理论原因并提出了两种改善重影问题的途径；接 着建立一个光学结构模型，推导出人眼位于可视区域时所看到的实际象素强度 公式；之后对重影度的评价进行了分析并给出一种定义重影度的方法，用于作 为度量重影度的一个指标，并对上述两种改善重影问题的途径进行了软件仿真， 得到重影度与人眼到显示屏幕距离的关系曲线。论文最后对全文进行了总结， 概述了所取得的成果和今后的研究工作，对光栅式自由立体显示器的发展进行 了展望。 关键词：自由立体显示视差光栅重影潘弄区立体图像对 r e s e a r c ho i lg h o s t i n go fp a r a l l a xb a r r i e r d i s p l a y s a b s t r a c t t h ec o m m e r c i a la p p l i c a t i o no fs t e r e o s c o p i cd i s p l a y sb a s e do np a r a l l a xb a r r i e r a r er e s t r i c t e dw i t hg h o s t i n g i nt h i sp a p e r , a f t e rm a k i n ga d e e ps t u d yo fc o m p u t e r3 d v i s i o n ，p a n u m sa r e at h e o r ya n dt h ei m a g i n gm e c h a n i s mo f p a r a l l a xb a r r i e rd i s p l a y s ， f i r s t l y , t h et h e o r e t i c a lr e a s o no fg h o s t i n gi sa n a l y z e df r o mt h ea s p e c t so fp a n u m s a r e aa n dv i e w i n gz o n e s ，a n dt w oa p p r o a c h e so fi m p r o v i n gg h o s t i n ga r eg i v e n s e c o n d l y , a no p t i cs t m c t n r a lm o d e lo f t h ed i s p l a y si sb u i l t ，a n df o r m u l a so f t h ep i x e l s i n t e n s i t yt l l a ta r es e e nb yh u m a ne y e sa r ea l s od e d u c e d t h i r d l y , t h ee v a l u a t i o no f g h o s t i n gi sa n a l y z e da n dam e t h o do fg h o s t i n gd e f i n i t i o ni sa l s o 百y e n ，t h er e l a t i o n c u r v eb e t w e e nt h ee x t e n to f g h o s t i n ga n dt h ed i s t a n c eo f t h ev i e w e ra n dt h es c r e e ni s o b t a i n e db ys o f t w a r es i m u l a t i o n f i n a l l y , t h ep a p e rs u m m a r i z e ss o m ea c h i e v e m e n t s t h a ta r eg a i n e da n df u t u r ew o r k s ，a n dp r o s p e c t sf o rt h ed e v e l o p m e n to fp a r a l l a x b a r r i e rd i s p l a y s k e y w o r d s ：a u t o s t e r e o s c o p i cd i s p l a y p a r a l l a xb a r r i e r g h o s t i n g p a n u m a r e a s t e r e oi m a g ep a i r s 插图表目录 图1 1 立体显示技术分类2 图1 2 视差光栅立体显示系统3 图1 3 柱面光栅立体显示系统3 图1 4 全息立体显示系统3 图1 5 体式立体显示系统3 图2 1 人眼构造9 图2 2 人眼光学系统1 l 图2 3 人眼折光模型1 l 图2 4 视敏度随视野变化曲线图h o bn b 1 3 图2 5 理论双眼单视界1 7 图2 6 实际单视界1 7 图2 7 潘弄区1 7 图2 8 交叉和非交叉视差1 8 图2 9 交叉和非交叉复视1 8 图2 1 0 人眼成像原理1 9 图2 1 13 d 显示系统产生向前或向后的深度感1 9 图3 1 双目立体视觉模型2 l 图3 2 光栅式自由立体液晶显示器结构2 2 图3 3 可视区域2 3 图3 4 人眼通过某一狭缝所看到的实际象素情况2 5 图3 5 光栅式自由立体显示设备光学结构示意图2 6 图4 1 光栅结构3 0 图4 2 可视区域尺寸计算图3 1 图4 3 光栅衍射现象3 2 图4 4 系统流程图3 3 图4 5 可视区域内软件仿真效果图3 6 图4 6 人眼偏离可视区域时软件仿真效果图3 7 图4 7 灰度值数据3 7 图4 8 关系曲线3 8 图4 9 实际模型仿真效果图4 0 图5 1 子象素交替排列模式4 2 图5 23 d s 文件载入流程图4 5 图5 3 汇聚双目投影模型4 8 图5 4 平行双目投影模型4 8 图5 5 视锥台4 8 图5 6s s 格式立体图像对显示效果图4 9 i i i 图5 7 保存为b p 图片5 2 图5 8 灰度转换5 3 图5 9 轮廓提取5 4 图5 1 0 水平象素差计算结果5 4 图5 1 1 图像局部替换效果图5 5 表格清单 表1 1 国内外自由立体显示技术研究成果概况表5 表2 1 正常眼的光学常数1 0 表2 2 网膜像、视角、立体角的关系1 2 表4 1x = l o o m m 时，v 值比较3 8 表4 2l = 6 6 0 r a m 时，值比较3 8 v 独创性声明 本人卢明所呈交的学位论文是本人在导师指导f 进行的研究 ：作及取得的研究成果。 据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含为获得金世工些太堂或其他教育机构的学位或证书而使 片j 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示谢意。 学位论文作者签名：文浮蔬 签字日期 学位论文版权使用授权书 d7 年朋 y 日 本学位论文作者完全了解金蟹i 筮堂有关保留、使用学位论文的规定，有权保留 并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权金 蟹王些太堂可以将学位论文的全部或部分i 勺容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名 文应硗 签字日期：口7 年r 月i 日 学位论文作者毕业厉去向 工作单位：上；白哥圾占n 通讯地址 可 导师签名： 签字日期： 电话 邮编 致谢 值此论文完成之际，谨向所有曾经给予我真诚关怀和帮助的老师和同学们 致以最衷心的感谢! 首先要感谢导师吕国强教授和平板显示技术研究室胡跃辉老师。在近三年 的研究生学习生涯中，导师吕国强教授和胡跃辉老师给予作者很多帮助和教育。 本论文是在两位导师悉心的指导下完成的，从选题到论文的完成，无不凝聚着 导师的心血和辛劳。吕国强导师认真严谨的治学态度、渊博的专业知识、创造 性的思维、勤奋求实的工作作风、诲人不倦的高尚师德，严以律己、宽以待人的 崇高风范、朴实无华、平易近人的人格魅力都时刻感染作者，对作者今后的工 作和生活产生极大的影响。胡跃辉老师循循善诱的教导方式和不拘一格的思路 给予作者无尽的启迪，在作者课题完成的过程中，他时时鞭策激励着作者。两 位老师不仅在学习工作上给予作者悉心指导，同时在生活上和思想上也给予了 作者无微不至的关怀。在此致以最诚挚的感谢和祝福! 向所有参与本论文送审、评审和答辩的老师致敬! 感谢他们为本论文所付 出的辛勤劳动。 感谢刘文文老师! 她在作者课题完成的过程中同样给予了无私的帮助。感 谢课题组同事钱鑫、宋志成、方勇、张铧铧等同学对论文的指导和科研过程中 的协作! 谨以此论文献给所有关心、帮助我的家人、老师和朋友们! 作者：文江涛 2 0 0 7 年0 4 月1 0 第1 章绪论 1 1 概述 随着计算机技术的飞速发展，越来越多的应用都会涉及到3 d 渲染和立体显 示，而传统的显示技术仍然采用2 d 方式来表现3 d 画面。为了尽可能真实地营 造一个3 d 环境，人们采用了一系列的辅助手段，如通过阴影、透视、物体的 相对尺寸等效果增强物体的深度感，或利用立体眼镜再现真实的现实环境等， 但是这些方式不是效果不尽如人意，就是需要使用额外的设备。 1 9 6 5 年，i v a n e s u t h e r l a n d 在国际信息联合会上发表了一篇著名的文章 t h eu l t i m a t ed i s p l a y ( 终极显示) ，揭示了计算机成像系统的发展趋 势。他指出，由计算机所构成的虚拟世界，应该让人们“看着真实、感觉真实”， 即图像逼真度、实时性要高，要让人们感觉如同面临真实世界中的景物一样。 该报告发表后，人们为达到计算机成像系统的“终极显示”进行了大量、长期 的工作。该报告也标志着立体视觉研究的开始。 自由立体显示技术正是在这种背景下应运而生。目前国外已经利用各种不 同原理研发制造出了相关的产品或原型机，且有部分产品已投放市场。随着技 术的成熟、硬件制造成本的下降及相关配套软件的开发，自由立体显示技术必 将给显示领域带来一场根本性变革，并将最终取代传统显示技术占据市场主导 地位。 在所有的立体显示技术中，以光栅式立体显示技术最为成熟，由于光栅式 立体显示器在结构、光学原理上具有独特的优点，结合线光源照明部件可以设 计出结构简单、成本低廉而立体效果明显的自由立体显示设备，且光栅式立体 显示器能够与二维显示器兼容，在显示时可进行2 d 3 d 间的切换，因此光栅式 立体显示器在某些应用领域最有可能实现市场化。 目前国内一些科研机构和高校在立体显示技术及虚拟现实等领域已掀起一 股研究热潮，因此，不论是从市场化角度，还是从理论研究价值角度上来说， 对光栅式立体显示技术及相关理论的研究都显得非常有必要。 1 2 立体显示技术分类 立体成像技术的研究已经有几十年的历史，不同的技术所提供的3 d 视觉也 有所不同。最初，f a r i s 对这些不同的立体成像技术进行了分类，然而，当f a r i s 的论文发表后，他对这些技术进行的分类却已经过时了，特别是对于自由立体 显示而言8 1 。这时，h o l l i m a n 0 3 和d o d g s o n “再次对不同类型的自由立体显示技 术进行了有效的分类。结合f a r i s 之前所进行的分类我们将不同的立体显示技 术总结如下图1 1 所示。 下面简单介绍一下几种常见的自由立体显示技术1 。 自由立体显示技术就是观看者不需要佩戴眼镜等任何辅助设备就可以直接 3 d 成像系统 多模式立体 显示技术 i 徽偏振 技术 自由立体 显示技术 淼献 图1 1 立体显示技术分类 f i g 1 13 dd i s p l a y t e c h n o l o g i e s 双目立体 显示技术 广b li 观看到两幅具有视差的左右眼视图，人的大脑通过对左右眼图像及两图像间的 视差进行分析和处理后，在观看者眼中便呈现出一幅具有深度感的图像。 1 2 1 视差光栅显示系统 视差光栅立体显示系统”1 分为光栅前置式和光栅后置式“1 两种，如图1 2 所 示的是光栅后置式立体显示系统的结构示意图。在视差光栅立体显示系统中， 所有方向的光线都相同，其中一半象素发出的光线只能被左眼接收，另一半被 右眼接收，因此左眼只能看到由奇象素列构成的图像，右眼只能看到由偶象素 列构成的图像，由于两幅图像存在视差，经大脑皮层融合便产生立体感。视差 光栅式立体显示技术是所有立体显示技术中最简单的一种。 1 2 2 柱面光栅显示系统 柱面光栅式。1 包含了一系列的柱面透镜，这些柱面透镜都铸在一个塑料底 板上，通过透镜可以把图像聚焦在透镜板的背面。透镜板图像有意地设计成使 每只眼睛的光线聚焦在不同的条带上，图像被放置在透镜板的后面，其形成原 理同视差光栅式全景图，光学结构示意图如图1 3 所示。 柱面光栅成功形成立体像的关键取决于透镜板的质量和均匀性，所以透镜 板在制作时通常要求所有的柱面镜都能够精确的聚焦在透镜板后方的一点上， 2 图1 2 视差光栅立体显示系统 f i g 1 2p a r a l l a xb a r r i e r3 dd i s p l a y 图1 3 柱面光栅立体显示系统 f i g 1 3l e n t i c u l e r3 dd i s p l a y 也就是要求其焦距要相等，这样每个柱面镜所成的像就能平行。同视差光栅式 不同的是，柱面镜的整个表面都辐射光线，没有不透明的裂缝，可以充分利用 显示器的亮度。 1 2 3 全息立体显示系统 计算机全息术( c g h ) 是一种正在成形的技术。1 ，随着计算机功能的日益强 大，使这种技术将成为可能，计算机全息术避免了传统全息摄影术利用干涉测 量来记录的方法，取而代之的是，计算机全息术记录的是全息条纹图形，通过 把衍射光线排列成水平的全息条纹来重构出真实的3 d 图像，这些条纹交替的 重构出左右眼视窗，当把两幅水平交叉的图像放置于显示屏后方时，观看者将 看到一幅立体图像。其结构示意图如图1 4 所示。 图1 4 全息立体显示系统 f i g 1 4h o l o g r a p h y3 dd i s p l a y 翻t 5 体式立体显示系统 f i g 1 5v o l u m e t r i c3 dd i s p l a y 计算机全息术的多功能性结合它的独特的性能产生全深度线索的3 d 图像， 该图像的分辨率超过眼睛的分辨率、漂浮于空中并且有一个扩展了的颜色域， 3 这些都使得c g h 技术成为终极的显示技术。由于附加的计算操作增加了该系统 的成本，因此对于许多应用场合，低成本、较简单的显示技术将会更加合适。 另外，全息术利用的并不是数字化的手段，而是光波的干涉和衍射，它一般只 能生成静态的三维光学场景，并且对观察角度还有要求，所以就目前而言，它 对于人机交互应用还并不适合。 然而，随着计算机性能的提高和显示硬件在价格上持续的下降以及其它需 要的技术的快速进步，c g f l 系统成为一项实用、普通的显示技术就不再成为问 题，但问题是解决这些技术的时间要多久便难于预测了。 1 2 4 体积式立体显示系统 体式显示系统是以体积方式产生三维图像的：3 d 场景中的每个体元( v o l u m e e l e m e n to rv o x e l ) 都在它所出现的区域发出可见光。阴极射线球体显示系统 的开发者b a r r yb l u n d e l l 和a d a ms c h w a r z 解释说：“体式显示设备允许从一 物体体积的局部和特定区域发射、吸收或散射可见射线“。” 体式显示是真正能够实现动态效果的3 d 技术，它可以呈现出“悬浮”在半 空中的三维透视图像，如图1 5 所示。体三维显示技术目前大体可分为扫描体 显示( s w e p t - v o l u m ed i s p l a y ) 和固态体显示( s o l i d v o l u m ed i s p l a y ) 两种。 所有的体显示技术均只能产生半透明的3 d 透视图，而无法显示不透明的三 维物体，这是因为一束光线并不能遮挡住另一束光线的传播，因而也就没有必 要采用二维3 d 显示技术中复杂的不可见面消隐机制对3 d 图形进行额外的z 深 度处理。此外，目前在国内，浙江大学的光学仪器国家重点实验室也正在积极 开展体式显示技术的相关研究工作，并已经取得了可喜的进展。 1 3 立体显示技术发展及应用 从2 0 世纪8 0 年代起，日本、韩国、欧美等国家和地区就开始了3 d 显示的 基础研究，并在9 0 年代陆续获得成果。本世纪初，各国斥巨资继续加强3 d 显 示的研究。在3 d 显示技术市场中，目前日本厂商处于领先地位。为了促进3 d 显示器以及周边影像内容的开发，2 0 0 3 年3 月4 日，在夏普、三洋电机、索尼、 n t t 数据、伊藤忠商社等5 家公司的发起下，联合软硬件制造商、出版社、报 社等7 0 家单位在日本成立了“3 d 联盟( 3 dc o n s o r t i u m ) ”。目前3 d 联盟的成 员已达1 0 0 多家，d t i 公司也于近期加入该联盟。“3 d 联盟”无疑将加速立体 显示技术的进展。 1 3 1 立体显示技术研究成果 目前，利用不同立体显示技术研发制造出的产品或原型机种类繁多，如美 国d t i 、日本的s a n y o 电机、英国的飞利浦等机构都推出了相应的产品n 1 1 “， 下面就国内外自由立体显示技术已经取得的研究成果做一下简要介绍： 4 表1 1 国内外自由立体显示技术研究成果概况表 机构技术成果技术特点支持的软件 s t e r e o g r a p h i c s s y n l h a g r a m 3 d s m a x , s o l i d w o r k s ，m a y a , ( s g 系列) 双凸透镜 s o 蛐e d g e ，v i z a u t o c a d 插件； 9 视点 s y n t h a g r a m 播放器： 软件开发s d k 工具包 动态图像播放软件 p i h d e f m o v i ep l a y e r ； 图像显示软件 3 d l c d 笔记本：p i h d e f p h o t ov i e w e r ； 夏普p d r d 3 d2 d ，3 d 切换 图像制作和显示软件 液晶开关技术 s m a r ts t e r e op h o t oe d i t o r s l i d e s h o w ： 分子化合物建模软件 p e r s o n a lc a c h ef o rw i n d o w s 可将现有三维游戏及电影等实 飞利浦 3 d - l c d 双凸透镜 时转换显示为立体影像 头部追踪：根据收视 l g 者头部动作改变显 示影像的位置 s e e r e a ld 4 d 1 8 ”l c d 透镜 2 0 1 5 x l s1 5 “l c db a c k l i g h t3 d sm a x ，4 d - t o o l ， d t l 2 0 1 s x l q 1 8 ”l c db a c k l i g h t a v i 4 dv i d e op a c k a g e 4 d 1 5 1 5 ”l c d s u b p i x e l 提供了一系列的软件工具保证 o p t i c a l r r y们i t e r 使用者在其显示器上便捷的使 4 d - v i s i o ng m b h 5 0 ”p d ps u b p i x e l 用原有的3 d 建模工具： p l a s m a 4 d 5 0 s o f t l m a g e 。3 d s m a x 插件 竹l t e r 合肥工业大学 1 5 ”1 7 “l c d3 d 游戏 光电技术研究院 2 d ，3 d 切换3 d s m a x 南京大学电子科 1 5 ”1 7 ”l c d 学与工程系 国外对立体显示技术的研究较早，硬件方面的研究已经较为成熟，各家公 司也都针对自己的产品开发了配套的立体显示软件。和发达国家相比，国内在 该领域的研究起步较晚，上表中列出的合肥工业大学、南京大学等研究机构对 立体显示器的研究也只停留在理论阶段，虽然于2 0 0 5 年开发了几套原型机， 但离实用阶段还有一段距离。 1 3 2 立体显示技术的应用 近年来，立体显示在技术和工艺等方面都有了飞速的发展。硬件系统不仅 得到了很好的改良，而且其价格也已经相当的低廉，满足了3 d 交互系统的实 时性要求。在计算机图形学中，运行速度、分辨率和经济性已成为衡量交互式 3 d 系统性能的一个重要标准。传统的立体显示技术已经得到了改进，而新的技 术也在不断的发展中，真三维系统正快速的成为计算机图形学、虚拟现实及计 算机游戏等的重要组成部分。目前，立体显示技术在广告传媒、工业及建筑设 计、科学研究、医学成像、娱乐游戏及军事领域等都有着广泛的应用。 ( 1 ) 广告传媒行业：主要用于广告及景观展示，包括广告媒体网络、新产品 发布会、展览展示等，例如产品宣传、会议室演播室的演示等。 尽管人们对客观世界的感觉方式有多种，但通过视觉所获得的信息量远远 超过了通过其他方式所能获取的信息量，因此，如何将丰富、真实、有效的产 品信息通过视觉方式快速传递给广大受众，一直是传媒行业关注的热点问题。 传统的平面显示系统是一种二维信息载体，它只能表现出景物的内容而忽略了 物体的远近、位置等深度信息，因而是不完整的，无法带给受众更加深刻的印 象。市场的需求决定了需要一种能提供符合立体视觉感受的媒介，近代电子及 液晶技术的逐渐发展成熟则为立体显示技术提供了理论及技术支撑。自由立体 显示系统，就是市场需求与尖端科技完美结合的产物。利用出色的立体显示技 术，可将需要展示的内容真实、直观、清晰、自由地展现在观众面前，逼真的 立体效果可以大大加深观众对展示内容的印象。 ( 2 ) 工业及建筑设计：主要用于城市规划、楼板展示、景观美化、内部装 修等；立体显示器可帮助产品的设计者或者是建筑设计师在三维空间展示他们 的设计，而不必花费时间制造昂贵的模型，大大降低了开发成本。 ( 3 ) 科学研究领域：立体显示技术为各学科提供了新的空间显示技术。利 用立体显示器，科研人员可获得蛋白质、d n a 及各种微观结构的直观图像以及 测绘地质勘探等地理信息展示、c a d c a m 设计等；可对大气、海洋及地表地层 数据进行三维建模显示，可作为空气动力学、气象学、天文学等学科研究的辅 助工具，还可利用所开发的交互式软件进行远程工程控制。 ( 4 ) 医疗教学领域：手术模拟培训、器官立体模拟成像等；x 射线ct ( c o m p u t e dt o m o g r a p h y ) 和m r i ( m a g n e t i cr e s o n a n c ei m a g i n g ) 给医疗领域的 图像诊断技术带来了划时代的变革，立体显示器可以使医生把握病灶形状更加 正确，使手术过程更加精准，并可以使医疗教学更加直观等。 ( 5 ) 娱乐游戏领域：立体游戏、立体影片及三维动画等；自由立体显示器使 得人们不戴立体眼镜进行立体游戏、观赏立体影片及动画成为可能，为消费者 带来完美的视觉享受。 ( 6 ) 军事领域：仿真训练、侦察、卫星成像分析、驾驶控制显示等：自由立 体显示器可以大大提高飞行员对本机与敌机空间位置的判断能力，使飞行员的 应急反应速度提高近一倍，并且在模拟驾驶训练方面可以大大降低飞行所需的 6 成本。 随着产品软硬件的不断开发完善，自由立体显示器必将获得更加广泛的应 用。 1 4 课题研究主要内容及意义 本课题来源于国家特种显示工程中心，是合肥工业大学光电技术研究院自 主研发的自由立体显示系统的二级子课题光栅式立体显示器重影问题的 研究。 1 4 1 课题研究意义 自由立体显示技术日益发展成熟，而其中的视差光栅式立体显示技术则是 最为完善、最有发展前景的显示技术，利用这一技术研制的立体显示器产品也 是最有可能打入普通消费市场的产品。但是利用该技术研制的立体显示器也附 带出现很多暂时不能解决的问题：例如，观察区域和观察人数受到限制、分辨 率锐减、视觉疲劳和出现重影( g h o s t i n g 或d i p l o p i a ) 问题等。 重影问题作为影响自由立体显示设备发展的主要因素之一，经过调研，目 前在国外的一些文献中只对立体眼镜等一些利用其它技术研发的立体显示设 备出现重影的可能性原因进行了简要的阐述，并未对光栅式自由立体显示器出 现重影的理论原因进行过系统综合的分析，更不曾探讨过如何解决或者有效的 改善重影，而国内则几乎没有对该领域的相关研究报道，因此，为了满足立体 显示器投放市场的要求，对重影问题的研究就显得非常有必要，这不仅对该领 域的相关研究者来说具有一定的理论指导意义，而且从光栅式自由立体显示器 最终投放市场这个层面上来看，该研究同样具有很强的现实意义。 上文提到，由于光栅式立体显示技术在结构、光学原理上具有独特的优点， 结合线光源照明部件可以设计出结构简单、成本低廉而立体效果明显的自由立 体显示设备，如果能够有效解决或改善重影问题将使得该立体显示设备具有广 阔的市场前景和发展空间。 1 4 2 研究主要内容 本课题首先对人眼的生理构造和人的心理特征进行了分析，为探讨重影问 题产生的原因提供了理论基础；其次是光栅式立体显示系统光学结构模型的建 立，用于后期的软件仿真；另外还有重影度的定义、立体图像对的生成及视差 的计算等工作。 其中，光栅式自由立体显示系统光学结构模型的建立和重影度的定义是本 课题的核心工作，通过改变边缘局部光栅的结构，经软件仿真表明可以适当增 加可视区域的大小，从而在一定程度上减小了出现重影的几率。主要工作如下： 1 对产生重影问题的原因进行理论分析，研究的重点是立体显示潘弄区理 论； 2 建立双目汇聚投影立体视觉的模型，推导出人眼在可视区域看到实际象 7 素光强与理想象素光强之间的关系。 3 重影度的定义，为判断立体显示过程中所产生的重影提供了一个量化的 标准。 4 立体图像对的生成，图像轮廓的提取以及视差的计算。 5 立体图像对的局部替换，用视差较小的图像替换原图像对中的一部分。 本文从潘弄区和可视区域两个角度首次提出了改善自由立体显示器重影问 题的两种途径，并进行了许多其它有益尝试，为今后该项技术的进一步发展提 供了一定的借鉴意义。 第2 章双目立体视觉原理与深度感知 立体视觉作为虚拟现实的第一传导通道，是使用户产生身临其境感觉的最 重要因素之一，对人眼的构造和双目视觉成像系统的了解将有助于我们更好的 理解计算机立体视觉的产生机理，同时可以促进图形算法和立体显示技术的发 展。 本章将对人眼的构造、人类视觉系统及视觉敏锐度( v i s u a la c u i t y ) 的概念 进行简要的介绍，并从人的生理和心理两个方面对影响人眼深度感知的因素进 行详细分析，同时将对潘弄区与深度感知之间的关系进行论述。 2 1 视觉生理基础 人类生存的现实世界是彩色的、三维的，人们习惯于利用自己的双眼感知 视野内物体的颜色、大小、形状与自身的距离等信息。其中对距离的感知就是 所谓的深度感知，是形成立体视觉的关键因素“”。 在阐述双眼立体视觉原理之前必须对人眼构造进行简要的介绍，通过对人 眼成像特点的了解，可以更好的理解形成立体视觉的机理。 2 1 1 人眼构造 人类的视觉系统是由眼睛和视觉神经系统构成的“删，其结构如下图2 1 所示。 图2 1 人眼构造 f i g 2 1a c r o s s - s e c t i o no f t h ee y e 眼球最外层是角膜( c o r n e a ) ，角膜是一层无色透明的保护膜，保护眼球不 9 受外物损伤。眼球被直径约为2 4 r a m 的球状巩膜( s e l e r a ) 所包围，巩膜的作用 相当于一个保护壳和球状暗箱。球状暗箱的前端开口中间处是晶状体( 1 e n s ) ， 晶状体相当于照相机镜头上的凸透镜片，它可以在肌肉的作用下改变形状，这 相当于照相机镜头上的曲率发生变化，从而可以调整焦距，以使被注视物体的 像能够落在视网膜( r e t i n a ) 的表面上，使成像最清晰。晶状体后部是玻璃液 ( v i t r e o u sh u m o u r ) ，对光线有一定汇聚作用，可以辅助成像。 晶状体前面是虹膜( i r i s ) ，虹膜形成瞳孔( p u p i l ) 。瞳孔可以张大或缩小， 起到照相机光圈的作用。虹膜根据外界光线的强弱来调整暗箱开放的程度，以 使进入视网膜光线的强度产生的刺激不强也不弱。 眼睛的底部是视网膜，视网膜正中是黄斑区，该区域对光信号最敏感，对 物体成像最清晰。视网膜的作用是将光信号变换、滤波和编码，形成神经系统 的内部表达信号，并传给视觉神经和中枢神经系统。 两眼瞳孔间距称作内瞳孔距离( i p d ) ，成年人的瞳孔间距范围在5 3 - - 7 3 删a ， 平均为6 5 舢。这个数值对后面的计算机成像系统有非常重要的意义，直接影响 到立体成像的质量。 这样，由物体发出的光线经过角膜、瞳孔，到达晶状体，经过晶状体、玻 璃液的折射汇聚，成像于视网膜上。视网膜上的神经细胞将光信号转换为电信 号，通过视觉神经系统传送给大脑，经过大脑的处理，产生有用的视觉信息。 2 1 2 人眼的成像性能 从人眼的构造来看，角膜、房水、虹膜和瞳孔、晶状体、玻璃液形成了一 个折光系统。上面已经说过，根据观察物体的距离和光线的强弱，眼睛可以自 动调节瞳孔大小和晶状体表面的曲率，使光线经折光系统折射后，使物体在视 网膜上成像，成为眼的成像性能。典型的正常眼处于静态状态时，光学常数如 表2 。l 所示。 表2 1 正常眼的光学常数 折光界面曲率半径折光系数与角膜前面间 ( m m ) 界面前界面后距离 角膜前面 7 81 0 0 ( 空气)1 3 7 6o 角膜后面 6 81 3 7 6 1 3 3 6 ( 房水) o 5 晶状体前面 1 0 01 3 3 61 4 1 63 6 晶状体后面 6 01 4 1 6 1 3 3 6 ( 玻璃液) 7 2 视网膜2 4 4 人眼的光学系统如图2 2 所示。 设想将人眼折光系统用单一折射球面( 相当于角膜) 代替，该球面将空气和 玻璃液两种介质分开，使其与实际折光系统相当，所设想的这个人眼折光模型， 】o 称为简约眼n 8 1 ，如图2 3 所示。 正常人简约眼的大致常数如下： 玻璃液体的折射率n 物方焦距 像方焦距 简约眼的物像公式为： 1 3 3 6 1 6 6 8 r a m 2 2 2 9 r a m i 1 一i n = 而1 1 66 8 ( 2 1 ) ss 式中s 、s t 分布表示物、像至界面( 单一球面) 的距离。 折射率刀= 1 b a 图2 2 人眼光学系统 f i g 2 2a no p t i cs t r u c t u r eo f t h ee y e 图2 3 人眼折光模型 f i g 2 3a r e f r a c t i o nm o d e lo f t h ee y e 膜 设物高为l ，物体上的光线射入眼内，在节点( 在光轴上角放大率等于1 的点) 处交叉至视网膜，物高在节点交叉的张角称为视角u ，即： = ( 2 - 2 ) 物体在视网膜上的像高r 为： y f - ! 甜= 1 6 6 8 u ( 2 - 3 ) c 物对人眼所张的立体角为： 0 ) - - - - 4 z s i n 2i u * 三4 “2 ( 2 - 4 ) 像在视网膜上所占的面积为： 肚去槲2 = 2 7 8 0 ) m n 2 ( 2 - 5 ) 视网膜上像的大小与视角和立体角的关系如表2 2 所示。 表2 2 网膜像、视角、立体角的关系 视角视角( r a d )立体角( r a d 2 )像( n u n )像面积( r a m z ) l 0 0 0 0 2 9 6 6 5 xl f f 8o 0 0 4 8 51 8 5 l f f 5 5 0 0 0 1 4 51 6 6 x l 矿o 0 2 4 34 6 2 l 矿 1 0 o 0 0 2 9 16 6 5 1 矿o 0 4 8 51 8 5 l o 3 3 0 0 0 0 8 7 35 9 8 x l 矿 0 1 4 6 1 6 6 x l o 2 l 。0 0 1 7 4 52 3 9 x l 旷0 2 9 16 6 5 1 0 - 2 2 。0 0 3 4 99 5 7 x l 矿0 5 8 22 6 6 xl f f l 5 。0 0 8 7 35 9 8 l 旷1 4 6 1 6 6 1 0 。o 1 7 4 52 3 9 1 0 吐2 9 16 6 5 2 2 单眼视敏度和深度线索 2 2 1 视觉敏锐度 视觉敏锐度( v i s u a la c u i t y ) 简称视敏度，是指眼睛能识别处两个相邻发光 点的能力，即能够分辩物体精细形状的能力“”。敏锐度通常作为分辨率的度量 标准，这对于显示技术来说尤为重要，因为它可以帮助我们判断能够感知的最 大信息量是多少。 把人眼恰能分辩出的两个发光点对人眼视角之倒数定义为视觉敏锐度。根 据r e d d y 的定义：视敏度是人眼能够分辩物体最小细节的度量标准“”。它只是 尺寸大小的度量标准，而与目标的对比度无关。视敏度通常都是在最佳的照明 条件下进行评定的，例如，在明亮的光照下，黑色的字显示在白色的背景上。 视敏度随着网膜的视野变化而不同。如图2 4 所示是视网膜不同部位的视 敏度。由于该曲线图由c o r e n 总结出，所以也称为c o r e n 视敏度曲线图1 。 视网膜不同部位的视敏度的变化是与锥体细胞和杆体细胞的分布情况一致 的。因为中央凹的锥体细胞的密度最大，随视野扩大而锥体细胞大大减少，所 以在光亮条件下，视敏度在中央凹部分急剧上升，随视野增大而迅速下降。如 中央凹的视敏度为1 ，在黄斑区边缘视敏度下降至0 5 ，而最边缘则只有0 0 2 5 了。 1 2 足88号幂品2 口 2吊8零晶 i 吣- 仃m ，_ 图2 4 视敏度随视野变化曲线图 f i g 2 4a na e u i t 、 g r a p hs h o w i n gh o wt h er e s o l m i o nc h a n g e sf r o mt h ec e n t e ro f f o v e at ot h ep e r i p h e r y 2 2 2 深度线索( d e p t hc u e ) 空间知觉1 看似普普通通，其实却蕴藏着惊人的现象：外界事物投射在网 膜上的影像是两维的，但人们的空间知觉却能包括原本不存在的第三维信息。 这说明在空间知觉中必定存在某些加工过程，将二维影像中隐含的深度线索解 读出来，甚至从二维影像以外找到目标深度的提示线索。关于深度线索的实验 研究发现，人们能够自动地利用本体肌肉感觉、透视、双眼视差等线索信息， 产生深度感和立体感。通常，我们将这些深度线索划分为两类：生理和心理深 度线索沮4 。 2 2 2 1 生理深度线索 生理深度线索包括以下4 个因素： ( 1 ) 调节( a c c o m m o d a t i o n ) 当我们在特定距离观察一个物体时，眼睛的睫状肌( c i l i a r ym u s c l e s ) 会 调节晶状体( 1 e n s ) 的屈度，尽可能使影像落在视网膜的中央凹上，以保证网 膜影像的清晰。看远物时晶状体较扁平，而看近物时较凸起。在没有其他深度 线索时，眼睛的这种适应状态便可以作为估计物体距离的线索。但是眼睛的适 应对深度感知所起的作用并不大，一般，这种线索所提供的信息只限于距眼球 1 0 米范围内才是有效的，所以它属于近距离的弱距离线索。 ( 2 ) 辐合( v e r g e n c e ) 辐合指的是双眼视轴的辐合。当我们在观察一个物体时，双眼辐合使物体 ， 盯 帖 o o_i，-l；t五量 影像落在两眼相对应的位置。物体距离发生变化时，双眼辐合角的大小也随之 改变，而辐合角大小的改变依赖于眼球的六条外部肌肉( 内、外、上、下直肌 及上、下斜肌) 的协同运动，这些的动觉信号传到大脑，便构成一种深度线索。 在看近距离物体时，眼球外部肌肉紧张度增加，两个眼球转向鼻侧，视轴趋子 集中；看远距离物体时，眼球外部肌肉紧张度减少，视轴趋于平行。不过，辐 合作为距离线索只在几十米内有效，一旦超过这一距离，双眼视轴接近平行， 辐合就不再是有效的距离线索。 ( 3 ) 双眼视差( b i n o c u l a rd i s p a r i t y ) 由于人类双跟之问有6 5 m 左右的瞳间距，所以当观察近处物体时，两眼 对物体的视像稍有不同。这种两只眼睛视网膜像的差异称为双眼视差。 双眼视差是感知立体物体和两个物体前后相对距离的重要线索。借助于双 眼视差比借助其它各种线索更能精细地感知相对距离。特别是在缺乏其他线索 来估计对象距离的时候，双眼视差更为重要。距离和深度视觉主要是双眼的机 能。 ( 4 ) 运动视差( m o t i o np a r a ll a x ) 运动视差是指视觉对象不动，而头部与眼睛移动时，所给出一种强有力的 深度线索。这是由于三维空间的各物体分布在离观看者不同的距离上，头部运 动确实地改变了网膜上的物体影像的相对位置，因为这些物体是相继地从不同 角度被观看的。比如，如果头向左运动，较近的物体好像移位到右边，而较远 的物体则好像移向左边。在日常生活可以经常找到说明这种情况的例子。例如， 你可手持圆珠笔置于一臂之远，并使这支圆珠笔和房间任何距离上的物体( 例 如，一只吊灯) 成一条直线。此时，闭上一只眼睛，虽然你明明知道圆珠笔是 在近处但看起来几乎并非如此。然而，仍闭上一只眼睛，沿着水平方向摇动你 的头，哪怕是一次微小的运动，就会产生明显的深度感知效果：你会发觉圆珠 笔和你的头成反方向运动，而吊灯和头成同方向运动，这时你便能清楚地意识 到吊灯在远处。 2 2 2 ，2 心理深度线索 立体视觉的形成，除生理因素外，还有下列一些心理因素： ( 1 ) 直线透视( l i n e a rp e r s p e c t i r e ) 根据几何透视近大远小的原则我们会感觉到空间中的一组平行线会聚于 某一消失点，这种平行线影像的会聚被称之为直线透视。当观看景物时，建筑 物、树木等景物越远，其间隔和高、宽尺寸显得就越小，这种透视规律是深度 判断的重要线索。 ( 2 ) 阴影( s h a d i n g ) 从光源处发出的光照射在物体表面时，其光照度是与物体表面离光源距离 1 4 成反比的，也即是说物体表面离光源越近的部分越亮，越远的部分反而越暗。 这种光的分布就使得物体产生深度和形状线索。一个物体的阴影投射在另一个 物体上也能给出物体问的相对距离和大小线索。 ( 3 ) 空气透视( a e r i a lp e r s p e c t i v e ) 远处的物体不如近处的物体清晰，这种作用称为空气透视。这是大气中微 粒的作用。空气作为一种物质，其密度很小，其微粒散射吸收光，随距离增大 而使景物的对比度降低而产生深度感，这就是空气的透视作用。这种作用同色 彩有关。 ( 4 ) 遮挡( s u p e r p o s i t i o