裸眼3D综述论文.doc

电子信息课程论文题目(中) 裸眼3D的发展现状及前瞻构想 (英)The Present Situation and Prospect of 3D Naked eye姓名、学号 XX 专业与年级 XX 指导教师 XXX 所在学院 XXX 二 一一年 十二 月摘要本文主要介绍了裸眼3D的基本原理，发展现状和自己对未来裸眼3D发展的一些技术上的构想，并提出了一种平面视频转化为立体视频的半自动方案。通过对关键帧进行少量人机交互操作，进行前景物体的分割和深度赋值，然后通过自动在非关键帧中跟踪前景物体的运动，得到非关键帧的深度图；再将平面视频的帧图像作为参考图，利用深度图的深度信息，对元图像进行渲染，得到其它视角的图像；接着对多视角图像进行合成，得到立体视频帧。关键词：裸眼3D；关键帧；非关键帧；深度图目录摘要2目录3第一章 引言4第二章 裸眼3D的原理与技术应用62.1 裸眼3D的原理62.1.1 视差障壁技术62.1.2柱状透镜技术72.2 裸眼3D技术应用82.2.1 WOWvx技术82.2.2 MLD技术9第三章 裸眼3D的算法分析103.1 研究内容的引出103.2 现有的研究方向103.2.1 帧移位法（Frame Delay）103.2.2 运动估计结构（SFM）113.3 平面视频向立体视频转换的设计方案123.3.1 关键帧的处理133.3.2 非关键帧的处理143.3.3 基于深度图的图像渲染及立体视频合成153.4 结论16参考文献1720第一章 引言本文主要介绍了裸眼3D的基本原理，发展现状和自己对未来裸眼3D发展的一些技术上的构想。3D是three-dimensional的缩写，就是三维图形。在计算机里显示3D图形，就是说在平面里显示立体图形。不像现实世界里，真实的三维空间，有真实的距离空间。计算机里只是看起来很像真实世界，因此在计算机显示的3D图形，就是让人眼看上就像真的一样。人眼有一个特性就是近大远小，就会形成立体感。计算机屏幕是平面二维的，我们之所以能欣赏到真如实物般的三维图像，是因为显示在计算机屏幕上时色彩灰度的不同而使人眼产生视觉上的错觉，而将二维的计算机屏幕感知为三维图像。基于色彩学的有关知识，三维物体边缘的凸出部分一般显高亮度色，而凹下去的部分由于受光线的遮挡而显暗色。这一认识被广泛应用于网页或其他应用中对按钮、3D线条的绘制。比如要绘制的3D文字，即在原始位置显示高亮度颜色，而在左下或右上等位置用低亮度颜色勾勒出其轮廓，这样在视觉上便会产生3D文字的效果。具体实现时，可用完全一样的字体在不同的位置分别绘制两个不同颜色的2D文字，只要使两个文字的坐标合适，就完全可以在视觉上产生出不同效果的3D文字。如今主流的3D立体显示技术，仍然不能使我们摆脱特制眼镜的束缚，这使得其应用范围以及使用舒适度都打了折扣。而且不少3D技术会让长时间的体验者有恶心眩晕等感觉。于是，3D立体显示能够持续发展的动力，就落到了裸眼3D显示技术这一前沿科技身上。 目前的裸眼3D技术主要有两种：视差屏障技术和柱状透镜技术。 由于裸眼3D显示技术具有良好的应用前景，参与研究的厂商也在逐步增加。仅在目前，国内外已经有不少厂商实现了裸眼3D显示产品的商业化应用。工业界较为成功的产品主要集中在显示器领域。早在2006年，飞利浦就开始推广3D显示器，其在CES 2006上展出的42英寸裸眼3D显示器样机模型曾荣膺大会金奖。至今为止，飞利浦推出过22英寸、42英寸和56英寸的多款WOWvx 3D显示器(图3)，其采用的WOWvx技术到目前为止仍然是领先的裸眼3D显示技术1；2009年4月，美国PureDepth公司宣布研发出改进后的裸眼3D技术MLD，这种技术能够通过一定间隔重叠的两块液晶面板，实现在不使用专用眼镜的情况下，观看文字及图画时所呈现3D影像的效果；国内厂商欧亚宝龙就曾接连推出过在当时全球最大的61英寸以及103英寸的Bolod裸眼3D显示器，并且这些产品都已经正式推向市场(图5)，在国内的部分高校、电视台以及大型科技企业均有应用。3D显示器仅是裸眼3D显示技术应用的一个方面，在数码相框领域同样得到了很好的应用：富士公司就在不久前发布了自己的裸眼3D数码相框FinePix REAL 3DV1，其尺寸为8英寸，另外它还支持“视差调整”的调节，用户可以手动调整不同的3D立体程度和显示效果；在国内市场中，目前在售的就有掌网公司推出的3Dinlife裸眼3D数码相框，它是通过软件计算后利用偏光原理，把拍摄的图片或视频分别折射到人的双眼，使双眼在同一时间看到不同的图像从而感知到3D立体画面。更为超前的是英国的电视台已经将裸眼3D频道纳入了议事日程：英国BSkyB电视台就透露他们有可能在明年开通一个全新的3D电视频道，为用户提供完全不一样的3D观看体验。裸眼3D产品虽然层出不穷，但是在分辨率、可视角度和可视距离方面仍然存在不足：由于技术的原理所限，目前裸眼3D显示产品的分辨率普遍不太高，显示效果要进行提升比较困难，这对于习惯了高清节目的观众来说就比较难以忍受；可视角度也是一个急待解决的问题，目前的产品，人们在观看屏幕时，必须位于一定的范围内才能观看到立体画面，若观看角度太大，3D效果就会显得不那么明显；另外可视距离也是一个不容忽视的问题，如果观看者距离屏幕位置太远同样会使3D效果大打折扣，而离屏幕距离太近的话，人又容易出现明显的头晕现象。针对以上问题，本文根据阅读的文献和视频知识，提出了一些构想，希望可以对未来裸眼3D的发展有所裨益。第二章 裸眼3D的原理与技术应用2.1 裸眼3D的原理裸眼3D的实现方式主要有两种：一是视差障壁技术，另一个为柱状透镜技术，目前主要的裸眼3D显示技术都是在这两种技术的基础上改良而成的。下面具体介绍。2.1.1 视差障壁技术电影院在放映3D电影时，广泛采用的是偏振眼镜法：人的两只眼睛同时观察物体，不但能扩大视野，而且能判断物体的远近，产生立体感。这是由于人的两只眼睛同时观察物体时,在视网膜上形成的像并不完全相同，左眼看到物体的左侧面较多，右眼看到物体的右侧面较多，这两个像经过大脑综合以后就能区分物体的前后、远近，从而产生立体视觉。立体电影是用两个镜头如人眼那样从两个不同方向同时拍摄下景物的像，制成电影胶片。在放映时，通过两个放映机，把用两个摄影机拍下的两组胶片同步放映，使这略有差别的两幅图像重叠在银幕上。这时如果用眼睛直接观看。看到的画面是模糊不清的。要看到立体电影，就要在每架电影机前装一块偏振片，它的作用相当于起偏器.从两架放映机射出的光，通过偏振片后，就成了偏振光。左右两架放映机前的偏振片的偏振化方向互相垂直，因而产生的两束偏振光的偏振方向也互相垂直。这两束偏振光投射到银幕上再反射到观众处，偏振光方向不改变。观众用上述的偏振眼镜观看，每只眼睛只看到相应的偏振光图象，即左眼只能看到左机映出的画面，右眼只能看到右机映出的画面，这样就会像直接观看那样产生立体感觉。这就是偏振眼睛法看立体电影的原理。而视差障壁(Parallax Barrier)技术(它也被称为视差屏障或视差障栅技术)，与偏振眼镜法有些相似（不过一个需要通过眼镜，另一个却不需要）。视差障壁技术是由夏普欧洲实验室的工程师经过十年研究所得。它的实现方法是使用一个开关液晶屏、偏振膜和高分子液晶层，利用液晶层和偏振膜制造出一系列方向为90的垂直条纹。这些条纹宽几十微米，通过它们的光就形成了垂直的细条栅模式，称之为“视差障壁”。而该技术正是利用了安置在背光模块及LCD面板间的视差障壁，在立体显示模式下，应该由左眼看到的图像显示在液晶屏上时，不透明的条纹会遮挡右眼；同理，应该由右眼看到的图像显示在液晶屏上时，不透明的条纹会遮挡左眼，通过将左眼和右眼的可视画面分开，使观者看到3D影像。如图1所示：图1 视差障壁式裸眼3D技术的原理示意图不过该技术也存在一个较大的缺陷，就是由于背光遭到视差障壁的阻挡，所以亮度也会随之降低，要看到高亮度的画面比较困难。除此之外，分辨率也会随着显示器在同一时间播出影像的增加成反比降低，导致清晰度的降低。2.1.2柱状透镜技术柱状透镜(Lenticular Lens)的技术，也被称为双凸透镜或微柱透镜。它相比视差障壁技术最大的优点是其亮度不会受到影响。它的原理是在液晶显示屏的前面加上一层柱状透镜，使液晶屏的像平面位于透镜的焦平面上，这样在每个柱透镜下面的图像的像素被分成几个子像素，这样透镜就能以不同的方向投影每个子像素。于是双眼从不同的角度观看显示屏，就看到不同的子像素。不过像素间的间隙也会被放大，因此不能简单地叠加子像素。让柱透镜与像素列不是平行的，而是成一定的角度。这样就可以使每一组子像素重复投射视区，而不是只投射一组视差图像。原理图如图2所示。图2 柱状透镜式裸眼3D技术的原理示意图之所以它的亮度不会受到影响，是因为柱状透镜不会阻挡背光，因此画面亮度能够得到很好地保障。不过由于它的3D显示基本原理仍与视差障壁技术有异曲同工之处，所以分辨率仍是一个比较难解决的问题。2.2 裸眼3D技术应用 针对以上技术中存在的分辨率低、可视角度小和可视距离短等问题，工业界各大厂商都在想尽办法寻求解决方案，其中WOWvx技术、MLD技术是其中的佼佼者。下面分别讨论这两大成功的技术。2.2.1 WOWvx技术由于具体技术细节没有公开，只通过Philips官网2了解到WOWvx技术采用柱状透镜（采用多视角双凸透镜技术，依托带有透明光栅的动态矩阵显示器）作为显示屏。它同时支持3D格式视频的直接播放和2D视频转化为3D视频进行播放。飞利浦3D显示器解决方案的设计旨在最大限度地重复利用2D世界的内容和概念。由于采用了灵活的“二维深度信息”3D数据格式，现有内容的制作和改编可以轻松实现。“二维深度信息”格式兼容现有的制作设备和压缩工具，可确保3D应用性能完全符合现有的传输机制和标准，而且所需带宽接近2D内容。此外，“二维深度信息”格式可消除内容制作和内容播放之间的相互影响，允许在同一系统中使用不同的3D显示器屏幕尺寸和设计。“二维深度信息”格式已得到显示器行业各家公司的支持，因此MPEG已将其作为正式的3D视频标准。而且，飞利浦为播放3D计算机动画、实时3D应用、从2D到3D的视频转换，以及从立体捕获视频到3D的转换提供先进的工具。利用BlueBox和RedBox，可在WOWvx三维显示器上实现常规视频内容的三维播放。BlueBox可将2D和立体捕获视频内容离线转换为3D内容（半自动）。RedBox可将立体捕获视频内容实时转换为3D内容，因此非常适合使用立体捕获视频摄像机拍摄的事件以及体育赛事的实况转播。利用这些工具，飞利浦可帮助客户实现新的或者现有的视频材料，通过“二维深度信息”格式，以高品质的3D形式播放。2.2.2 MLD技术MLD（multi-layer display多层显示）技术3由美国PureDepth公司在2009年提出。MLD技术通过以一定间隔重叠2块液晶面板，实现了以往的液晶显示器不可实现的多种影像表现方式，包括突出颜色及对比度、影像跳出，以及可在不使用专用眼镜的情况下，观看可文字及图画等实施立体显示得到的3D影像等。其中，3D影像是通过在前后面板上分别显示内容相同、而亮度及大小均存在细微差别的影像而实现的。与以往采用柱状透镜技术的裸眼3D显示器相比，MLD技术具有以下几个优点：一、观看3D影像时，用户不会产生眩晕、头疼及眼睛疲劳等副作用；二、3D显示时，屏幕的分辨率不会降低；三、可组合显示文字等二维影像和3D影像；四、对观看3D影像的视野及角度没有太大的限制，可视角度够大。图3 运用MLD技术生产的20.1英寸产品和已经量产的12.1英寸原型机第三章 裸眼3D的算法分析3.1 研究内容的引出通过第二章的原理介绍可以知道，获取多视角的立体视频材料主要有两种途径：1立体采集系统：通过在拍摄场景使用多路摄像机同时进行采集，得到场景多视角信息，最后通过多视图序列进行合成，得到立体视频。立体采集系统得到的立体视频，拥有多视角的准确信息，能够达到很好的立体效果；但是系统在采集过程中，对多路摄像机的校准有着严格的要求，并对多路摄像机的运动有很大限制，拍摄成本高。2平面视频转立体视频：通过对现有的平面视频进行处理，即估计像素在场景中的深度，计算与虚拟视角成像的视差，通过对像素点的水平调整，得到多个视角的视图。这项技术只需对传统的平面视频材料进行处理，没有严格的硬件要求。其中，平面视频转立体视频技术，凭借其自身对硬件的要求低，转换成本低，传统平面视频资源丰富的优点，得到广泛关注。本论文即探讨平面视频转立体视频。3.2 现有的研究方向 深度信息的估计是平面视频转立体视频的关键部分。针对深度图的估计，领域内已存在一些算法，通过对视频序列中前后帧图像内容进行分析，利用几何关系来恢复深度信息。3.2.1 帧移位法（Frame Delay）帧移位法是由日本三洋公司在1996年提出的平面视频转立体视频的方法。它的主要原理如图4所示：图4 帧移位法原理图这项技术直接从原平面视频序列中挑选帧图像，无需对图像中的物体进行分析来计算得到的深度图。由于回避了图像中的深度估计，因此帧移位法算法简单，能够实现实时的品面视频转立体视频。然而这种简化的处理带来了应用上的局限性，主要表现在：（1）场景中物体的运动方向必须一致的，否则无法找到匹配的帧图像；（2）由于立体视频中不同视角图像之间的视差是水平方向的，因此场景中物体的运动方向也必须是水平方向的。这两个假设，在很多情况下是很难满足的。因此，帧移位法只能在处理一些特定满足条件的平面视频中才可取得较好的效果。3.2.2 运动估计结构（SFM）运动估计结构技术，是通过分析视频序列中场景物体对应像素的移动量（motion），利用摄像机成像的集合关系，计算得到物体的形状，运动信息，并估计得到物体的深度信息。SFM技术通过计算物体的移动，得到物体的深度，然后利用深度图来生成多视角图像。这样就能够处理场景中物体运动方向的不一致、物体非水平运动的平面视频，而且能够得到更加精确的多视角图像。但是，由于需要通过物体的位移来计算物体的深度，SMF技术最先只能研究摄像机移动，场景物体静止的情形；后来通过对SFM技术进行扩展，能够处理场景中运动物体的结构、深度估计，但是要求物体的运动是刚体运动。通常一般物体的运动都可以通过在时域上进行分段，近似为刚体运动。这样，SFM技术能够处理大部分普通平面视频材料。运用SFM进行物体结构和深度估计，首先需要场景物体的运动估计，目前有常用的两种方法：1基于光流算法：通过对前后帧图像进行像素级匹配，得到每一个像素点的运动估计。该算法流程简单，但是要进行所有像素的匹配，计算量大；并且容易受到噪声的影响。2基于物体分割与跟踪的方法：首先对场景中物体进行分割，得到独立的前景物体；然后运用跟踪算法对前景物体进行跟踪，得到前景物体的运动估计。这种方法需要对图像进行物体分割、跟踪，算法复杂但是基于物体的分析，能够提高抗噪能力，获得更为精确的结果。由于利用物体分割、跟踪来进行运动估计，最终得到深度估计的方法，适用于现有的大部分平面视频。本论文也是对SFM技术进行分析和研究。3.3 平面视频向立体视频转换的设计方案 利用现有的运动估计结构技术（SFM）可以自动地将平面视频转化为立体视频，但是结果和可靠性受到如下限制： 1通过分析图像内容，对场景中前景物体进行分割，但是现有的自动分割算法对整个物体的分割，并不能取得好的效果； 2在处理运动的物体时，利用运动信息计算得到物体的深度，因此需要假设场景中运动速度是一致的。 在全自动算法中，上面的限制很难得到有效的解决。通过增加约束，可能能够增加算法结果的可靠性，但是降低了算法的使用性。因此，自动转换算法不得不在结果的准确性和算法的推广性之间追求平衡。 因此通过人工添加少量的先验知识，解决自动算法难以有效完成的问题，增强算法的鲁棒性，提高转换的效率和效果。则定位于基于扩展SFM技术的半自动化算法的实现。 由于基于深度图进行渲染得到立体视频的步骤已经有成熟的实现方法，不是本论文主要的讨论对象。本论文主要研究如何准确高效地获取每一帧图像的深度图。实现步骤如下：首先获得一帧图像（关键帧）的深度图，然后通过物体跟踪、轮廓恢复等步骤求得临近若干图像（非关键帧）的深度图。 根据算法的步骤，整个软件的处理过程应包括以下三个环节：关键帧处理环节、非关键帧的处理环节、图像渲染及立体视频合成环节。系统框架图如图5所示。图5 系统框架图3.3.1 关键帧的处理 在平面视频中选取少量的图像作为关键帧进行处理，人工添加先验知识。 目前，前景的分割、运动估计深度的算法还不能取得精确的结果，对此，通过在关键帧中人工加入准确的分割信息和深度信息，然后在此基础上，利用跟踪技术，将准确的信息有效的推广到各非关键帧中。因此，关键帧的处理包括包括以下环节：3.3.1.1 关键帧前景物体分割 前景物体的形状表示有多种，有基于点集描述的、基于基本几何形状描述的、基于物体轮廓描述等。由于本论文中物体分割准确与否非常重要，所以利用基于物体轮廓的描述来表示和记录前景物体。 为了对前景物体进行分割，我们通过人际交互的方式，对关键帧中的前景物体进行边缘勾勒，所勾勒得到的闭合曲线就可以表示分割出来的前景物体，以便后续处理。3.3.1.2 关键帧深度图生成 对于关键帧中勾勒出的前景物体，我们通过简单的场景分析，根据物体相对于观察者的深度，以及物体之间的深度关系，进行深度赋值，并将背景区域的深度设定为无穷远。 通常图像的深度图以灰度图的形式的表示，图像中每一个像素的深度量化到0255的灰度值范围中，其中灰度值为0（黑色）表示离观察者的距离最远，通常把背景部分对应的深度图部分设为0；灰度值为255（白色）表示离观察者最近。如图6所示。图6 平面视频帧图像及其对应的深度图3.3.1.3 关键帧特征点选取 通过基于物体的跟踪算法将场景深度信息由关键帧推广到其他非关键帧中。针对物体的跟踪有多种算法，例如基于物体形状的跟踪，由在一定大小的几何形状内，对灰度直方图统计的匹配来进行跟踪；基于物体轮廓的跟踪，通过利用能量函数对初始轮廓进行调整，得到后续帧的轮廓位置等等。本论文考虑到算法的计算复杂度和结果的准确性，就选用后者。通过跟踪前景物体轮廓上的特征点，然后对特征点进行轮廓恢复，最终实现物体的跟踪。 因此，在关键帧中，我们在方便于跟踪和方便于轮廓恢复两个基础上，进行特征点的选择。3.3.2 非关键帧的处理 为了由关键帧信息得到非关键帧的深度图，需要知道非关键帧前景物体的位置和轮廓。通过对前景物体边缘上的特征点进行跟踪，然后对离散的特征点插值进行轮廓恢复，得到其在非关键正中的位置和轮廓；最后利用关键帧的深度信息，得到非关键帧的准确深度图。包括以下内容：3.3.2.1 特征点的连续跟踪 为了实现特征点的连续跟踪，使用匹配算法进行特征点的跟踪，得到特征点的初始分布，然后利用Canny算子提取前景物体的边缘信息，对初始的特征点进行修正处理，包括特征点的筛选处理、特征点的调理处理以及特征点的补充处理。1 非关键帧特征点的双向跟踪对于需要处理的平面视频帧序列，需要从内容上进行重新组织。根据视频图像内容的相关性，如场景中的前景物体，场景背景。对于相关性高视频帧作为一个片段，进行半自动的处理。 对于平面视频帧的一个片段，传统的跟踪算法往往将片段起始帧作为关键帧处理，但是这种做法在跟踪过程中，会有明显的误差积累现象，片段的后面部分跟踪效果明显不好。 因此本文的半自动实现方案将中间的真图像作为关键帧，进行3.2节的关键帧处理。然后对关键帧进行前向和后向的跟踪，充分地利用关键帧信息。2 特征点的筛选处理 特征点在初始跟踪过程中，由于采用了局部特征作为匹配标准，少量特征点虽然满足灰度匹配，实际上却没有正确的跟踪，与准确的跟踪位置相差很大。这些错误的特征点虽然数目不少，但是对轮廓的恢复效果影响很大，因此需要进行筛选。 本文通过对所有的特征点初始分布，通过区域运动一致性约束对特征点的运动进行分析，筛选得到运动异常的特征点，最后对这些特征点进行剔除。3 特征点调整处理 特征点经过初始的跟踪后，由于仅由局部特征进行匹配，因此大部分的特征点都存在微量的偏移误差，即跟踪后的特征点没有准确地位于前景物体的边缘。在连续跟踪过程中，偏移误差容易积累，产生严重的特征点偏移，因此需要消除特征点的偏移误差。 本论文中通过利用粗糙的图像边缘信息，对初始的特征点调整处理。4 特征点的补充处理 在跟踪过程中，如果前一帧的特征点在当前帧找不到匹配窗口，则该特征点将会被丢弃。这样，当前帧跟踪得到的有效特征点数目会减少。在连续跟踪过程中，特征点丢失造成特征点数目急剧下降，稀疏的特征点不仅大大降低了轮廓恢复效果，而且使得后续跟踪失去意义，因此需要进行特征点补充。 本方案通过判断得到特征点的稀疏区域，然后在稀疏区域选择新特征点，进行特征点补充，保证特征点数目在跟踪过程中的稳定性。3.3.2.2 轮廓恢复 经过特征点的连续跟踪之后，得到所用非关键帧的特征点，这些特征点都离散地分布在前景物体的边缘区域上。为了提取出非关键帧中的前景物体，需要利用特征点恢复图像的轮廓，本论文利用插值算法虽离散特征点进行插值，并进行光滑处理，得到前景物体的闭合轮廓。3.3.2.3 深度图生成 经过特征点与轮廓恢复处理，可以得到前景物体的闭合轮廓，即将前景物体从背景中分割出来。然后将对应关键帧中该前景物体的深度赋予当前帧的前景物体，并将深度图上对应背景区域的灰度设为零。通过以上步骤得到非关键帧的准确深度图。3.3.3 基于深度图的图像渲染及立体视频合成 在得到平面视频序列中每一帧图像对应的深度图的基础上，我们将平面视频的帧图像作为参考图，利用深度图的深度信息，对元图像进行渲染，得到其它视角的图像；接着对多视角图像进行合成，得到立体视频帧。3.3.3.1 基于深度信息的多视角图像渲染 帧图像的深度图包含了图像中每一个像素的深度信息，通常以灰度范围为0255（具体值的意义前面已叙述）的灰度图进行表示。 根据体视成像的原理，空间中物体的深度决定了其在多视角成像中的视差。因此，我们通过深度图，计算原平面视频图像中像素点对应的视差，进行平移就可以得到其它视角的图像。这个过程称为基于深度信息的多视角图像渲染5。 经过多视角渲染，得到多个视角下场景物体的成像示意图。图7 基于深度的多视角图像渲染流程图3.3.3.2 多视角图像合成 由前面渲染得到的多视角视图，根据立体显示设备的光学原理，对多视角图像进行空域合成，得到视差式自由视点显