（信号与信息处理专业论文）基于光闸眼镜的三维显示系统的构建和改进.pdf

construction and improvement of three-dimensional display system based on shutter glassess thesis submitted to nanjing university of posts and telecommunications for the degree of master of engineering by dong bin supervisor: prof. caoxuehong february 2013 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名：_ 日期：_ 研究生签名：_ 导师签名：_ 日期：_ i 摘要摘要 本文首先研究了立体显示技术的发展现状和帧顺序显示技术的驱动原理，在此基础上 进一步研究了英伟达三维视频显示的解决方案，分析了三维视频播放的工作原理和相应 同步信号处理的编程框架。射频同步应用于光闸式立体显示系统中，比红外线同步具有更 大的优势，它解决了红外线同步的空间局限性。在无法直接获取同步信号的条件下，通过 对dvi接口以及edid数据结构的研究， 设计了一款基于dvi接口的场同步信号提取装置， 解决了光闸立体显示系统时间同步的问题；通过对红外同步脉冲信号的实时分析，结合红 外同步协议特点，开发了一套左右帧识别算法，解决了左右帧同步的问题。系统采用 2.4g 频段的 nrf24l01 无线射频芯片传输同步信号，由于射频通信容易受到同频干扰，因此利 用跳频技术等手段提高了射频通信的抗干扰性和数据可靠性；对射频通信过程中的自动应 答和自动重传等复杂操作进行了深入研究，解决了由此产生的较为复杂的延时补偿等问 题。在眼镜控制端采用了动态校正的方式来减小延时抖动，进一步提高了同步的准确性。 实际测试结果证明眼镜工作良好。 关键词关键词: 立体显示，立体显示，光闸眼镜光闸眼镜，射频，帧同步，红外同步射频，帧同步，红外同步，nrf24l01 ii abstract this paper introduces frame sequence stereoscopic display technology and how the drive works based on further research about the nvidia three-dimensional products. analysis of the working principle of 3d video and corresponding synchronous signal processing programming framework is mentioned. rf synchronization used in the shutter glasses stereoscopic display system, has more advantages than the infrared, which solves the limitations of space infrared synchronization. when unable to obtain the synchronous signal directly, an alternative approach is to use a vertical synchronization signal and infrared pulse. vsync extraction circuit based on dvi interface,it extract a single sync pulse out of the dvi blue signal and solve the problem of time synchronization. high-speed infrared diode used for receiving infrared pulse, synchronization information hidden in the infrared pulse.after both are available, a real-time analysis program help to identify the current picture belongs to the left eye or right eye. of course, the premise is the infrared protocol is known. the system adopts nrf24l01 wireless rf chip to transmit synchronous signal.radio communication is easy to receive the same frequency interference, therefore the use of frequency hopping technology means to improve the rf communication anti-jamming and reliability of data.auto-answer and automatic retransmission makes the delay calculation very complex, dynamic correction algorithm improves the fault tolerance of delay calculation. the actual test results prove that the glasses work well. key words: stereoscopic, shutter glasses, rf, synchronization, infrared pulse, nrf24l01 iii 目录目录 第一章 绪论 . 5 1.1 光闸式三维显示系统的研究背景和意义 . 5 1.2 国内外三维显示技术研究现状 . 5 1.2.1 三维视频源获取 . 6 1.2.2 三维数据压缩方案和传输媒介 . 7 1.2.3 三维立体显示方案概述 . 8 1.2.4 无线射频技术现状 . 9 1.3 本文的研究工作及论文结构 . 10 第二章 光闸式立体显示技术概要 . 12 2.1 立体驱动原理概述 . 12 2.1.1 nvidia 3d vision 工作原理 . 13 2.1.2 nvapi 简介 . 13 2.2 液晶显示技术原理概述 . 14 2.2.1 液晶响应时间 . 16 2.2.2 显示器输入延时 . 17 2.3 光闸式红外协议概述 . 18 2.4 射频同步可行性分析 . 18 2.5 本章小结 . 20 第三章 场同步信号提取设计 . 21 3.1 dvi 视频接口简介 . 21 3.1.1 dvi 概述 . 21 3.1.2 t.m.d.s.传输原理 . 22 3.2 dvi 场同步信号提取设计 . 23 3.2.1 提取原理 . 23 3.2.2 ddc 标准和 edid . 24 3.2.3 场同步提取电路设计 . 25 3.3 本章小结 . 26 第四章 左右帧同步信息提取设计 . 27 4.1 红外脉冲接收电路设计 . 27 4.2 红外脉冲左右帧识别算法 . 27 4.3 同步提取程序流程 . 29 4.4 本章小结 . 30 第五章 射频传输方案设计 . 31 5.1 nrf24l01 简介 . 31 5.1.1 nrf24l01 数据处理 . 32 5.1.2 同频多通道通信 . 33 5.1.3 频率跳变 . 33 5.1.4 数据包识别和 crc 校验 . 34 5.2 射频同步可靠性设计 . 34 5.2.1 提高同步数据的甄别能力 . 35 5.2.2 实现跳频 . 35 5.2.3 实时同步与锁相结合 . 36 5.3 射频同步延时补偿算法 . 37 5.3.1 射频延时分析 . 37 iv 5.3.2 延时计算 . 38 5.3.3 实时同步与锁相结合算法 . 40 5.4 光闸眼镜工作原理 . 40 5.5 本章小结 . 42 第六章 实验结果和改进方法 . 43 6.1 射频光闸眼镜显示效果标准 . 43 6.2 射频光闸眼镜实际工作效果 . 43 6.3 改进方法 . 44 6.3.1 影响工作效果的原因 . 44 6.3.2 延时抖动校正算法 . 45 6.4 改进结果 . 47 6.5 本章小结 . 47 第七章 总结与展望 . 48 7.1 总结 . 48 7.2 展望 . 48 参考文献 . 50 附录 1 攻读硕士学位期间撰写的论文 . 53 致谢 . 54 南京邮电大学硕士研究生学位论文 第一章 绪论 5 第一章第一章 绪论绪论 1.1 光闸式三维显示系统的研究背景和意义光闸式三维显示系统的研究背景和意义 在现实生活中用双眼看到的物体都是以立体的方式呈现的， 但是二维画面无论多么 逼真和立体，通过显示器屏幕显示在我们眼前的画面依旧是平面的，即使 3d 游戏也难 以逃脱屏幕的局限。要想摆脱这一限制，就必须从观看方式进行改变。 当前实现三维显示的方法有三种1：色分法（红蓝眼镜） 、光分法（偏振式） 、时分 法 （光闸式） 。 佩戴红蓝眼镜观看的 3d 视频是从颜色空间的角度将一幅图像分割成左眼 和右眼的图像，然后使用红蓝眼镜观看，造成景深效果，这是一种最廉价的 3d 模式。 但红蓝眼镜片带来的严重的色偏甚至让玩家不能看清楚物体本身的颜色， 短时间佩戴也 会造成头晕， 当前已经基本被业界新产品所淘汰。 而剩下来的偏振式与快门式 3d 技术， 原理也相差很大。偏振式是用特殊偏振贴膜来过滤画面，对偏振贴膜2的材质要求比较 高，过滤画面清晰度难以保证。而快门式则是对画面分帧、分时传送，利用液晶眼镜形 成的一道光闸对画面进行过滤，从而达到立体显示的效果。但是目前市面上此类眼镜技 术尚不完善，相应的行业标准还没有确立。 光闸式 3d 眼镜分为有线和无线版，有线/无线版 3d 眼镜技术原理、显示效果并没 有区别，但是有线版 3d 眼镜在佩戴上要受到线的制约，对于剧场或者对灵活性要求较 高的家庭用户而言无疑是很大的困扰。而普通的无线 3d 眼镜多采用红外通信技术实现 光闸开关与视频帧的同步通信，可靠性和空间局限性较大，因为红外通信是一种点对点 的传输方式，传输距离有限、要对准方向且中间不能有障碍物，甚至观众的移动也会对 接收信号产生很大的影响。因此，这就需要进一步提高同步信号的可靠性和抗干扰性， 为用户提供一种全新的观赏模式，提高三维显示系统的品质和用户感知。 1.2 国内外国内外三维显示技术三维显示技术研究现状研究现状 随着计算平台的迅猛发展，三维技术的相关研究正如火如荼，并在一些领域取得较 大突破。往日神秘的，能让人们产生强烈真实感和临场感的三维显示技术正逐步走进千 家万户，越来越多地三维立体应用出现在人们的日常生活中，例如市面上正火爆销售的 3d 电视、备受游戏玩家青睐的 3d 游戏以及电影院线的 3d 电影等。早期的三维显示技 南京邮电大学硕士研究生学位论文 第一章 绪论 6 术由于计算量太大、相关的图像处理算法不成熟等原因，难以加以实用。进入二十一世 纪后，由于计算芯片的计算能力成倍提高，相关的集成技术日趋完善，尤其是图形加速 卡处理图像能力的显著提高，使得 3d 电视等民用消费产品涌现，同时也出现了很多基 于计算机的显示系统。目前各大显卡制造商都提出了专业的三维显示系统解决方案，最 得到业界认可的就是 nvidia（英伟达）公司推出的 3d 系列产品。 通常三维立体视频与显示系统由三维内容获取、编码、传输、解码和显示五部分组 成，其组成框图如图 1.1 所示。 立体摄像机立体摄像机 cgi 2d转转3d 3d信号获取信号获取3d内容发布内容发布显示显示 空间压缩空间压缩 时间预测时间预测 2d+深度信深度信 息息 色彩转移色彩转移 编码编码 地面广播地面广播 光缆光缆、电缆电缆 卫星卫星 iptv 互联网互联网 传输传输 硬件硬件 软件软件 解码解码 行交错行交错 帧连续帧连续 棋盘格棋盘格 图 1.1 三维立体视频与显示系统 1.2.1 三维视频源获取 获取 3d 影像当前主要有三种方法，一是使用立体摄像机进行现场捕获，二是由计 算机程序直接生成，三是对 2d 视频进行转化。 现场 3d 图像捕获需要具有特殊功能的立体摄像机，这种相机能够实时计算图像深 度信息，甚至可以做到基于每一个像素点的深度图3计算。然而这种方式对立体摄像机 的硬件水平要求极高， 除了要实时处理图像深度信息之外， 还要完成空间图像整合工作。 所以这种摄像机一般价格不菲。 目前比较专业的解决方案都是使用两台定制的高清摄像 机，在同一时刻各自拍摄一幅左、右眼图像。后期再对这些定时完全同步的图像对进行 3d 合成处理。 计算机辅助设计工具可以模拟两台高清摄像机的方式刻画出立体图像对， 这是目前 最简单的立体图像产生方式，其中深度信息、透明度等图像参数都是可知的，非常易于 3d 视频集成。 2d 转 3d 也是一种相对比较成熟的方式。将 2d 影像转化为 3d 有时具有很大的市 场价值和意义，例如一些经典电影都推出了 3d 版本，收到了观众的喜爱。2d 转 3d 是 南京邮电大学硕士研究生学位论文 第一章 绪论 7 一种利用单眼深度线索从一个二维图像序列生成等效的三维图像序列的方法。 该方法需 要对二维图像进行分割， 然后使用二维视觉线索确定图像中的每一个物体相对其它物体 的深度信息和遮挡关系。 然而这种技术实际上是对一幅图像中的成块的物体分配深度信 息、建立遮挡关系，而不是对每一个像素，因此得到的 3d 图像缺乏真实感，整体效果 在一些要求较高的应用场合不甚理想。 1.2.2 三维数据压缩方案和传输媒介 3d 数据常用的编码压缩方式包括空间压缩、时间预测、2d+重建信息等。空间压缩 4是为了适应现有的高清视频传输基础框架，它将左右图像交替隔行采样然后封装成一 幅高清视频。帧封装的又分为上下和左右封装，具体由用户方决定。这种编码方式是以 损失分辨率为代价5。时间预测首先是将左右图像按顺序做成全分辨率帧，因此就需要 加倍的帧速率和带宽，然后使用帧间时间预测算法6进行压缩。实际上这种压缩方法并 不比正常的时间预测压缩算法更好。 2d+深度信息。2d+深度信息编码是 iso/iec23002-3 指定的编码方式，另外在 mpeg-c 协议的第 3 部分也有提到。 传输普通的二维视频同时携带构建三维视频的深度 信息，可与现有的 2d 传输系统兼容，但坏处是浪费了带宽7。mpeg 协议中就包括了 这种方式。除了携带深度信息，有时传输过程中携带的是优化后的视差图或者一组包含 深度、遮挡关系以及透明度信息的数据序列8-10。尽管有些人建议将多场景编码作为将 来立体自动化和全息显示的传输编码标准，但目前家用 3d 内容的发布方式采用的编码 方式只有两种： 一种是左右图像封装的帧兼容模式， 另一种是 mpeg 协议特别声明的增 强型视频流编码方式。这种编码方案具有对传统框架的后向兼容的特点，编码格式也不 固定。但是它只能刻画有限的深度范围，并且不支持直接处理物体的遮挡关系11。 3d 内容传输媒介包括传统的蓝光 dvd、地面广播、光缆、卫星、iptv、互联网以 及移动互联网等。蓝光光盘格式具有较大的磁盘存储空间（25/50gb） 。视频解码可以支 持高达 40mb/s 的数据率和 1080p 格式。 因此可以做到全景高清播放。 蓝光 3d 规范要求 的 3d 视频编码使用多视点视频 （mvc） 编解码器12， 它是 itu-t h.264 高级视频 （avc） 编解码标准的扩展。目前所有蓝光光盘播放器均支持 h.264 编解码标准。mpeg4-mvc 对左右二维等效图像的压缩率一般在 50左右13。 iptv 是电信运营商提出的网络电视业务， 目前由中国电信提供的 iptv 业务市场覆 盖率越来越高，三网融合是大势所趋，iptv 在中国的发展前景广阔，它内容丰富，功 南京邮电大学硕士研究生学位论文 第一章 绪论 8 能强大，涵盖了电视直播，以及存储的视频（视频点播，或 vod）等多项业务。iptv 内容播放需要一台 pc 或者搭配机顶盒的电视机。视频内容使用 mpeg-2 或 mpeg-4 编 解码14，然后通过 ip 多播传送。ip 多点传送的特点是在同一时间可以将相同的内容转 送到多台显示终端。 目前越来越多的厂商采用 （mpeg-4） h.264 标准取代了旧的 mpeg-2 标准15。 光缆带宽资源丰富非常适合 3d 内容的传输，目前一个新的商业模式就是开辟专门 的 3d 信息通道，用于部署 3d 视频业务，这种有线平台配备专用 3d 视频解码器，数据 传输速率达到 64mb/s。 卫星广播通信系统经过 24 到 32 个信号转发器转发，实际带宽 在 2750mhz 之间。由于卫星平台还没有由外部规定的限制，商用 3d 内容传输速率大 约 46mb/s16。基于互联网或者说基于 pc 的 3d 应用17是目前应用最广泛的。3d 视频 播放软件有很多，主流显卡目前基本都配备了 3d 编解码功能，显卡厂商也为此提供了 不同的解决方案和技术支持。 1.2.3 三维立体显示方案概述 常用的立体显示方案有被动式立体显示也叫立体偏光显示， 这种方案的原理是使用 不同的偏振光来区分左右图像，观影者需要佩戴被动式偏光眼镜对画面进行过滤，使左 右眼分别观看到对应的视图。显示器上需要贴上偏光透视膜18，这种偏光膜使左、右视 图隔行交替透视，配合眼镜镜片的偏光过滤功能，就能观看到立体图像了。使用这种方 案，全高清（19201080）的影片实际在垂直方向上损失了一半的分辨率，因此，立体 偏光显示也称为“半高清”3d。 主动立体显示也叫帧顺序（frame sequential）显示方法，左眼和右眼的图像全高清 分时交替显示（换页方式） ，这种技术采用更高的帧速率（通常不低于 120hz） 。这种方 式也称为时间顺序显示技术。有源 3d 光闸式眼镜与左右眼图像同步，左右镜片交替开 关，形成一道光闸，确保左右眼在正确的时刻观看到属于“自己”的图像。 还有一种显示方案是分别对左右眼视图交错抽样， 再将抽样后的左右眼视图整合成 一帧画面，因为图像具有行列交错的特点，所以这种显示方案也称为棋盘显示方案19。 整合到一起的“棋盘”帧再按照时间顺序的方式（120hz 帧速率）播放。 以上立体显示技术都需要佩戴 3d 眼镜，然而人们更希望摆脱眼镜的束缚，做到不 借助任何额外工具就能肉眼欣赏到 3d 影像。这方面的技术也因此应运而生，一般称之 为裸眼立体显示技术。 裸眼立体显示技术实现的目标本质上与需要佩戴眼镜的立体显示 南京邮电大学硕士研究生学位论文 第一章 绪论 9 技术并无二致，都是要实时分离左右眼图像，确保左右眼看到对应的视差图像，同时不 发生串扰。解决方案包括视差照明、视差屏障、微透镜投射、波长滤波、分像素矢量衍 射、数字镜面等20-21。比较成熟的视差屏障技术原理与偏光式立体显示技术类似，后者 使用偏振镜片在人两眼前筑起一道光栅栏，而视差屏障技术是直接在显示屏上做文章， 不需要眼镜配合就能实现同样的效果，等于是在显示器上贴了一张特殊材质的过滤膜， 使用这层膜的物理特性代替光闸镜片的人为开关控制，缺点是图像显示亮度损失较大， 同时付出了分辨率降低的代价。另一种所谓的双凸透镜技术，也叫微柱透镜技术，它与 视差屏障技术的差别在于使用的“过滤膜”不同，不光材质不同，过滤原理也不相同。 微柱透镜技术使用的材质叫做柱透镜，柱透镜利用类似棱镜分光的原理，将每一个像素 点的图像进行投射处理，从而使得投向不同方向的影像具有一定的视差22。 裸眼立体显示技术目前还没有达到大规模应用的阶段，相关技术研究还不是很成 熟，但人们始终对其持有很强的心理预期，成为推动这种技术不断进步的动力。 1.2.4 无线射频技术现状 主动立体显示需要佩戴眼镜，眼镜开关需要与画面帧同步，常用的无线通信手段除 了红外线还有有蓝牙、802.11b 无线局域网、微功率短距离无线通信等技术。 蓝牙是目前移动终端使用地最广泛的近距离数据传输技术，可以传输图片、语音等 数据信息。搭载蓝牙功能的终端还可以组成小规模的通信网络，彼此实现互联互通。蓝 牙技术的应用目标决定了它的最主要的特点是传输数据的高可靠性， 同样是使用2.4ghz 的 ism（industry science medicine）公共频段，在如此拥挤的网络环境中要做到传输数 据的高可靠性，必然要付出通信协议设计复杂度高的代价。支撑蓝牙传输高可靠性的技 术设计主要有两点：一是基础射频通信可靠性，蓝牙技术采用了技术实现难度较大的 fhss（frequency hopping spread sprectrum）扩频跳频技术23，极大地增加了射频拥堵 条件下通信成功的机会；二是设计了复杂的上层通信协议，不同的蓝牙设备通信之前都 有复杂的通信握手协议，以及数据传输控制协议。另外蓝牙技术功率控制较为严格，蓝 牙鼠标、耳机等应用的发射功率约为 1mw 时，但有效通信距离不超过 10 米；手机和笔 记本电脑的蓝牙通信功率约为 100mw24。蓝牙芯片具有尺寸小，功率低的优点，因此 被大规模应用。 802.11b 技术。ieee（institute of electical and electronics engineers ）802.11b 技术 标准是无线局域网的国际标准25，主要用来组建大规模无线通信网络，生活中使用的 南京邮电大学硕士研究生学位论文 第一章 绪论 10 wlan 网络、wifi 服务、无线路由等应用都支持 802.11b 协议。802.11b 主要完成了通 信双方物理层和数据链路层的设计，实现了高速率、长距离数据传输。工作频率也在 2.4ghz 的 ism 开放频段，使用 dsss（direct sequence spread spectrum）直接序列扩频 技术26，极大提高了数据通信的抗干扰性。 微功率短距离无线通信技术。这种技术有时也叫无线透传技术，是一种平民化的射 频通信手段，因为它是一种轻量级的无线射频通信技术，没有复杂冗余的上层通信控制 协议，也没有技术实现难度较大的扩频方案。一颗小小的射频收发芯片内部就可以实现 射频调制解调协议，同时完成数据包自动封装以及拆包解析等功能。开发人员只需要使 用简单的外设和单片机就能通过寄存器读写操作实现数据通信。 它属于射频基础技术应 用，一般采用 fsk 或者 gfsk 调制方式，工作于 ism 频段。优点是简单方便，功耗小， 缺点是抗干扰能力差，数据传输可靠性低，需要额外设计可靠性传输方案。 最适合取代 3d 红外同步的是无线透传技术，因为它最简单灵活。3d 同步不需要一 次传输大量的数据，只要实现简单的数据通信即可，尽管对数据通信可靠性要求较高， 但是蓝牙和 802.11b 技术设计和实现都过于复杂，不适合这样的应用。 1.3 本文的研究工作及论文结构本文的研究工作及论文结构 本文主要是研究光闸式 3d 眼镜同步系统，它基于主动式立体显示技术，即帧顺序 （frame sequential）播放方式，文章详细阐述了基于 nvidia（英伟达）显卡的 3d 显示原理，在研究光闸眼镜红外同步系统的基础上，学习并利用 nrf24l01 微功率透传 模块构建了光闸眼镜射频同步系统，建立了眼镜控制电路的基础模型，并对同步系统抗 干扰性以及传输延时算法进行了深入研究，本文共分七章，具体章节安排如下： 第一章绪论部分，阐述课题的研究背景和意义，介绍国内外的研究现状，最后总结 了本文的研究内容和章节结构。 第二章分析与研究 3d 驱动原理、液晶显示原理和光闸眼镜控制原理。除此之外， 重点说明 3d 红外同步协议的特点和现状等。 第三章主要解决基于 dvi-d 视频接口的场同步信号的获取问题，首先介绍 dvi 接 口 tmds 链路协议，同时介绍 ddc 标准和 edid 结构，并给出场同步信号获取的电路 设计原理图。 第四章详细阐述通过场同步信号和 nvidia红外发射器得到左右帧信息的设计思 路和实现方法，同时对具体程序设计进行分析，画出程序流程图。 南京邮电大学硕士研究生学位论文 第一章 绪论 11 第五章研究 nrf24l01 数据传输和控制原理，提出射频同步可靠性设计方案以及程 序设计流程，深入分析延时算法，同时给出眼镜控制原理分析。 第六章给出射频同步的光闸 3d 眼镜工作效果，并提出系统改进方法。第七章是对 全文的总结与展望。 南京邮电大学硕士研究生学位论文 第二章 光闸式立体显示技术概要 12 第二章第二章 光闸式立体显示技术光闸式立体显示技术概概要要 光闸式立体显示技术要求用户佩戴液晶眼镜，镜片通过主动改变开关状态提供人眼正确 的左右眼图像。 眼镜的开关同步信号通常来自 gpu 上使用 vesa 标准的 3 芯立体声接口， 使 用无线的方式与眼镜控制电路通信。帧速率要达到 120hz，左右眼帧按时间顺序交替播放， 每眼帧速率各 6