（机械设计及理论专业论文）基于双目立体视觉的虚拟手势交互技术的研究与实现.pdf

基于双目立体视觉的虚拟手势交互技术研究与实现 摘要 虚拟现实( v i r t u a lr e a l i t v ，v r ) 技术是在计算机技术、计算机图 形技术、传感器技术、人机交互技术等基础上发展起来的一门新型综 合性技术。它的出现为人们提供了一种全新的人机交互方式，因此传 统的w i m p 交互界面和基于鼠标、键盘的交互工具和己不能适应在虚 拟环境中进行交互的需要，而手势、立体显示等更自然的交互通道极 大地提高了人机交互的自然性和高效性。其中对人手的运动跟踪和手 势识别在当今的人机交互中起着重要的作用。而基于手势的交互技术 需要研究的问题主要有手的模型、手势的输入技术和手势的识别技术 等等。针对上述问题，本系统基于v rj u g g l e r 这个虚拟现实应用平台， 利用数据手套d a t ag i o v eu l t r a1 4 和0 p e ni n v e n t o r 及v i s u a lc + + 等开 发工具，对人手的建模及手势交互进行了深入的理论研究和实际验证。 主要研究工作概括如下： 第一，首先深入研究了立体显示的原理及实现技术，根据现有条 件提出使用分光技术，在新型开源平台v rj u g g l e r 的基础上，构建基 于双目视觉的立体显示系统，并且很好地解决了其中的双机同步问题。 第二，在分析了手的解剖结构和运动特点的基础上，运用层次建 模的方法建立手的几何结构模型，之后，将每一根手指都看作是由转 动关节和与之相连的连杆组成的操纵装置，合理添加父子约束关系， 运用机器人学理论建立起手的运动学模型。并完成了现实世界中人手 与虚拟环境中虚拟手的映射。 最后，在上述研究的基础上，设计并实现了一个基于双目立体视 觉的手势交互的原型系统。在这个系统中，用户可以对虚拟物体进行 简单的操作，并可利用手势在虚拟环境中漫游。在其他虚拟环境的构 建中，同样可借鉴本文的方法，深入研究其中的交互问题。 关键词：立体视觉v rj u g g l e r 数据手套手势识别 r e s e a r c ha n di m p l e m e n t a t i o no fv i r t u a lh a n d si n t e r a c t i v e r 1 1 e c h n o l o g yb a s e do n b i n o c u l a rs t e r e ov i s i o n a b s t r a c t r t u a lr e a l i t y ( v r ) t e c h n o l o g yi san e wc o m p r e h e n s i v et e c h n o l o g y ， e v o l v i n gf f o mc o m p u t e r ， a n dc o m p u t e rg r a p h i c s ， a n dt r a n s d u c e r ， a n d h u m a n c o m p u t e ri n t e r a c t i o nt e c h n o l o g i e s v rh a sp r o v i d e dp e o p l ew i t ha n e wf b r mo fh u m a n c o m p u t e ri n t e r a c t i o n t h u s t h et f a d i t i o n a lw i m p i n t e r f a c ea n di n t e r a c t i v et o o l sb a s e do nm o u s ea n dk e y b o a r dh a v eb e e n u n a b l et om e e tt h en e e do fi n t e r a c t i o ni nv i r t u a le n v i r o n m e n t t h e nv i r t u a l 2 e s t u r e s ，s t e r e o s c o p i cd i s p l a ya n do t h e rm o r en a t u r a li n t e r a c t i v e ( m a n n e l s g r e a t l vi m p r o v et h en a t u r ea n de f f i c i e n c yo fh u m a n c o m p u t e ri n t e r a c t l o n e s p e c i a l l y ，t r a c k i n gt h em o v e m e n to fh u m a nh a n da n dg e s t u r er e c o g n l t i o n p l a v s a ni m p o n a n tr o l ei nh u m a n c o m p u t e ri n t e r a c t i o n g e s t u r e s _ b a s e d i n t e r a c t i o nt e c h n i q u em u s ti n v e s t i g a t em a n yi s s u e s ，m a i n l yi n c l u d i n gh a n d m o d e l i n g ，a n dg e s t u r ei n p u t ， a n dg e s t u r er e c o g n i t i o n ，e t c a i m e da tt h e i s s u e sa b o v e ，t h es y s t e mp r o v i d e sd e e p l yc o n t r i b u t i o n si nh a n dm o d e l i n ga n d g e s t u r er e c o g n i t i o nw i t hd a t ag l o v eu l t r a1 4 ，o p e ni n v e n t o ra n dv i s u a l c + + ，b a s e do nv rj u g g l e r w b r ki sa sf o l l o w s ： 1 t h ep a p e rm a k e sd e e p l yr e s e a r c ho nt h ep r i n c i p l ea n dr e a l i z a t i o n t e c h n o l o g yo fs t e r e o s c o p i cd i s p l a y a c c o r d i n gt ot h ec o n d i t i o n s ，t h ep a p e r c h o o s e sp r i s m a t i ct e c h n i q u ea n db u i l d ss t e r e o s c o p i cd i s p l a ys y s t e mb a s e do n b i n o c u l a rv i s i o no nv rj u g g l e r ，a n ds o l v e st h ep r o b l e mo fs y n c h r o n i z a t i o n 2 t h ep a p e rh a sp r o p o s e dh i e r a r c h i c a lg e o m e t r i c a lm o d e lo ft h eh a n d b a s e do nt h ea n a l v s i so ft h es t r u c t u r ea n dm o v e m e n to ft h eh a n d t h e nt h e p a p e rs i m p l i f i e st h eh u m a nh a n da sal i n kj o i n tm a n i p u l a t o r a d d sr e a s o n a b l e b o u n dr e l a t i o n s h i pa n dm o d e l st h eh a n dk i n e m a t i c sa c c o r d i n gt or o b o t i c t h e o 巧t h eh a n dm o d e l l a y st h eg o o dg r o u n d w o r kf o rs o l v i n gt h ei s s u e si n g e s t u r ei n t e r a c t i o na n ds y n c h r o n i z a t i o n t h er e l a t i o n s h i pb e t w e e nh a n di n t h er e a lw o r l da n dv i r t u a lh a n di nt h ev i n u a le n v i r o n m e n th a sb e e n e s t a b l i s h e d i nt h ee n d ，ap r o t o t y p es y s t e mh a sb e e nd e s i g n e da n di m p l e m e n t e do n t h eb a s i so ft h er e s e a f c h e sa b o v e i nt h i sp r o t o t y p es y s t e m ，u s e r sa r ea b l et o n a v i g a t ei nv i r t u a le n v i r o n m e n t su s i n gv i n u a lg e s t u r e s ，a n da r ea l s oa b l et o d i r e c t l ym a n i p u l a t ev i r t u a lo b j e c t i no t h e ra r c h i t e c t u r eo f v i n u a l e n v i r o n m e n t ，p e r s o n sc a nl e a mf r o mt h ep 印e ra n dr e s e a r c ht h ei s s u ea b o u t i n t e r a c t i o nd e e p l y k e yw o r d s ： s t e r e o s c o p i c s i o n v r j u g g l e r d a t ag l o v e g e s t u r er e c o g n i t i o n 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期问论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： 日期： 丝鸯：61 丝 日期：逊皇! 笸：选 北京邮电大学硕士学位论文 第一章绪论 1 1 虚拟现实及其交互技术概述 虚拟现实( n u a lr e a l i t y ，v r ) 技术是8 0 年代末兴起的一门新型综合性技术， 它的出现是为了克服现有交互技术的不足，为满足生产和科研的需要，在计算机技 术、传感器技术等的推动下产生发展的。 1 1 1 虚拟现实概述 虚拟现实简称v r ，也称灵境技术或人工环境。概括来说，就是利用多种技术来 营造逼真的人工虚拟环境，并能有效模拟人在自然世界中的各种感知行为的高级人 机交互系统。虚拟环境通常由计算机生成并控制，利用多种三维交互设备与虚拟环 境进行交互，使用户可以身临其境地感知虚拟环境中的物体，从而实现更自然的人 机交互。通俗的说，就是达到以假乱真、亦真亦幻的目的。在不同的应用中，虚拟 现实的含义虽略有区别，但就其本质来说，是一种高度逼真地模拟人在现实世界中 视、听、动等行为的人机界面技术i l j 。 虚拟现实系统相对于其他系统具有以下几个方面的主要特征1 2 】：浸沉感、交互 性和构想性。由于三者的英文名称均以“i ”打头，又被称为3 “i ”特性。浸沉感指 的是人浸沉在虚拟环境中，具有和在真实环境中一样的感觉；交互性指在虚拟环境 中体验者不是被动地感受，而是可以通过自己的动作改变感受的内容；构想性指虚 拟的环境是人构想出来的，因而可以用以实现一定日标的用途。 虚拟现实技术以其逼真性和实时交互性为系统仿真技术提供了强有力的支撑， 它独具的这些特征使人身临其境，形成具有高交瓦性的多维信息环境。 1 1 2 交互技术在虚拟现实中的作用 人机交互( h u m a n c o m p u t e r i n t e r a c t i o n ，h c i ) 是指人和计算机之间的通信、 会话过程，是一个可观察的双向信息交换过程3 1 ，即人和计算机既向对方输出信息， 又接受对方的信息。要完成这个双向交流的过程，就必须通过交流的媒介人机 接口。所谓人机接口( h u m a n c o m p u t e r i n t e r f a c e ) ，就是支持人机交互的软硬件和 实现技术，是人和计算机之间进行双向通信的媒介。接口一方面的功能是识别和解 北京邮电大学硕士学位论文 释用户向计算机系统发出的命令、输入的数据等，并将其转化成计算机内部认可的 格式；另一方面将系统向用户提出的问题、得到的结果和做出的解释，以直观、清 晰的方式呈现给用户。 但是，无论是命令行接口还是w i m p 图形用户接口，实质上都是单通道用户接 口【4 1 。随着虚拟现实的发展，传统的单通道用户接口已经不能满足飞速发展的需要， 新型的人机交互形式要求能实现和谐的、“以人为中心”的人机交互接口。目前多通 道的用户接口就是顺应这种发展趋势，整合来自多个通道的精确和不精确的输入来 捕捉用户的交互意图，提高了交互的自然性、和谐性和高效性。多通道用户接口主 要关注人机交互中用户向计算机输入信息和系统理解用户意图等方面的问题，归纳 起来有如下几个方面：1 、交互自然性。使用户不需要经过专业培训，而利用日常的 技能完成与系统的交互，减少用户的认知负荷；2 、交互高效性。使人机交互过程中 的信息吞吐量大大增加，形式更加丰富，扬长避短，充分发挥人机各自的潜力。3 、 交互继承性。吸取已有人机交互技术的成果，与传统的用户界面特别是广泛流行的 w i m p g u i 兼容，使老用户、专家用户的知识和技能得以利用，不被淘汰1 5 j 。 1 2 国内外现状研究 虚拟现实的出现为人们提供了一种全新的人机交互方式，用户可以利用人类本 能的方式与计算机信息打交道，人的语音、眼神、手势都可以为计算机所识别，而 人则可以用听觉、视觉、触觉来感受计算机信息，就如同人们感受真实世界一样。 然而，大部分流行的虚拟现实应用在用户交互性方面提高甚少。正是由于虚拟现实 技术的发展，基于鼠标、键盘的交互工具和传统的w 1 m p 交互界面已不能适应在虚 拟环境中进行交互的需要，而手势、立体显示等更自然的交互通道极大地提高了人 机交互的自然性和高效性，逐渐成为国内外研究的热点。 虚拟环境中的用户交互系统可包括多种交互设备：例如跟踪器、数据手套、操 作杆、力反馈设备以及立体声音像设备等。通过这些设备用户能够与虚拟环境及其 物件进行交互，使用户能够更深地溶入到虚拟环境中。鉴于实验室现有条件，我们 主要在数据手套这种交互设备上详尽调研国内外的研究状况。 简单的虚拟物体操作可以使用鼠标、键盘等传统交互设备，通过预先定义的运 动规则实现象征性的操作，这种操作显然与真实操作有很大差别。在虚拟环境中要 求采用自然的人机交互方式，比较逼真的操作方法都是使用数据手套跟踪手和于指 的运动，利用获取的数据在计算机中牛成虚拟人手，来模拟和再现真实的操作过程。 目前来看，利用数据手套的虚拟操作有两个研究方向：一种是基于于姿的方法，先 北京邮电大学硕士学位论文 通过碰撞检测确定手与物体的接触关系，再通过识别手的不同位姿，结合接触点的 位置关系，来判断稳定抓持状态，从而实现于的抓取和释放操作【6 1 【刀。这种方法比 较粗糙，操作精度不高，无法实现手与虚拟物体之间复杂的相对运动，并且不能提 供力反馈数据；另一种则是基于动力学分析的方法，先通过碰撞检测计算手与虚拟 物体的接触部位，然后对虚拟物体进行受力分析和运动分析，来确定手与物体的相 互运动关系【8 】，这种方法在受力分析时需要计算虚拟接触力的大小与方向，该数据 可以提供给力反馈设备产生反馈力。 1 、手势交互是人们日常生活中常用的交互方式，利用手势进行虚拟场景漫游， 向更加和谐的人机交互迈出了一步。于势可以完成一定的交互任务：像抓取、握手、 指示等动作。从最初运动到最后静止，手势在空间和时间上都遵循一定的运动特征。 基于数据手套的手势输入是目前理想的手势输入方式，可以完全依靠数据手套在虚 拟场景中自由漫游。在虚拟场景中，用于的模型作为用户的化身，用户通过手部运 动可以自由的指定漫游的路线，操纵虚拟环境中的物体等。 山东大学即针对数字化博物馆和数字校园中虚拟漫游的需要，结合5 d t 数据手 套，给出了虚拟场景的构造过程，并通过立体显示等多通道交互技术实现了复杂场 景的虚拟漫游。但其使用数据手套的交瓦仅限于比较简单的高频率低复杂度的交互， 没有与虚拟场景进行更深层次的交瓦。 北京理工大学开发的虚拟装配平台，使用三通道投影系统，在开发数据于套与 跟踪器驱动类的基础上，提出了把手势与跟踪器的方向相结合进行命令映射的方法， 并采用无模式动态透明菜单及对话框等交互方式作为手势命令的补充。但其并没有 对虚拟操作中的碰撞检测进行分析与研究。 美国宇航局的a m e s 实验窒将数据手套工程化，使其成为可用性较高的产品， 在约翰逊空间中心完成空间站操纵的实时仿真。美国b o e i n g 公司制造了一架虚拟飞 机，运用数据于套进行控制，从而观察设计结果，考察性能指标。n e c 公司开发的 虚拟现实系统，操作者通过使用数据于套可以处理三维c a d 中的实体模型。 2 、在虚拟现实系统中，操作者用虚拟手与虚拟环境交互，其优点不言而喻1 9 j 。 假如虚拟手接触、抓取、释放、移动和旋转物体时，用户能够感受到逼真的作用力， 将极大增强虚拟操作的真实感和自然性。虚拟手交互可产牛接触力、抓持力和碰撞 力。碰撞力是指虚拟于抓持的物体与其它物体发生碰撞时所产牛的作用力及其对虚 拟手产生的冲击，可感知虚拟物体表面硬度等物理属性。 浙江大学c a d & c g 国家重点实验室提出一种考虑摩擦的虚拟于交瓦碰撞力觉 生成和反馈方法，以让用户手指感受到逼真的冲击，增强虚拟操作的真实性和沉浸 北京邮电大学硕士学位论文 感。该方法首先运用冲量定理和弹性恢复系数，求得质点刚体在一维空间碰撞后的 运动状态，然后结合库仑定理，生成质点刚体有摩擦的碰撞力，并拓展到三维空间 的虚拟环境中，计算非质点的虚拟刚体碰撞的力矩，再通过虚拟手静力抓持力觉生 成模型，将碰撞力和碰撞力矩作用到虚拟手上，求得每个虚拟手指受到的冲击力。 当虚拟手抓持的物体与其它虚拟物体发生碰撞时，利用c y b e rg r a s p 力觉反馈数据 手套，用户手指可感受到逼真的冲击力。虽然浙江大学的研究取得了一定成效，但 是虚拟手交互碰撞力觉生成和反馈尚有许多内容有待在今后的工作中深入研究和探 讨。例如：如何准确地生成柔性物体碰撞的作用力和力矩；为了更真实地模拟碰撞 过程，可以进一步研究碰撞时发光、发声等现象对碰撞造成的影响；如何将碰撞力 对虚拟手指产生的冲击与虚拟物体的物理行为、指导用户交互关联起来等。 中科院自动化所自主研制开发了“力觉反馈数据手套”c s a - g f a s p 。该“力觉 反馈数据手套”是在数据手套c s a g l o v e 和手指反馈装置的基础上研制开发的，同 时具有数据手套和手指力觉反馈功能，不但可以使用户以比较自然的方式实现对虚 拟环境的操作，也可以使用户从虚拟环境得到必要的触觉和力觉反馈信息，是一种 较为理想的人机交瓦接口。但如何进一步提高力学反馈装置的性能和精度，降低其 成本，还有待进一步深入研究。 1 3 课题来源 本课题来源于上海建设路桥有限公司与实验室合作的项目“基于虚拟技术 的三维计算机辅助工艺设计系统( 3 d v r c a p p ) ”项目。该系统包含工艺设计系统 和立体显示系统两大部分，本论文基于v rj u g g l e r 构建的立体显示系统，对立体显 示的原理及牛成进行了深入研究，创造性地提出了将数据手套应用于辅助工艺设计 系统，利用这种新型的交互方式，对二维模型进行操纵，使用户在使用过程中有很 强的沉浸感和真实性，充分体现了和谐的“以人为中心”交互思想。 整个项目投入了充足的时间和精力，所做的研究工作也较为深入。本文从用户本 身出发，将用户与虚拟环境的交互行为作为主要研究对象，通过对在虚拟环境中使 用数据于套的交互行为进行深入分析，构建了基于手势交互的原型系统。 1 4 论文研究内容 本文在v rj u g g l e r 这个新型的开源平台基础上，利用o p e ni l l v e n t o r 与s u a lc + + 为开发工具，建立起一个双机同步立体显示系统，并将数据手套无缝地应用于此系 北京邮电大学硕士学位论文 统中。在深入研究了手的运动学模型以及总结手运动过程中的约束问题的基础上， 详细探讨了在虚拟环境中的虚拟手建模及交互行为，大大提高了人机交互的自然性， 给使用者以身临其境的用户体验。 本文章节组织如下： 第一章绪论，介绍虚拟现实的概念，分析虚拟现实的特征，并就由于虚拟现实 的出现而带来的交互问题进行了初步探讨，指出传统的w i m p 二维交互方式己不能 满足高层次交互需要，分析了在当今技术发展的背景下研究三维交互的必要性和可 能性。通过文献的综合分析，指出目前在虚拟环境中，利用数据手套进行交互的一 些应用以及存在的问题。 第二章双目立体视觉虚拟环境的构建，根据本文的研究内容及项目的宗旨，着 重分析了立体显示的原理及产生过程，并就构建立体视觉中的双机同步问题进行了 深入研究，完成了对v rj u g g l e r 这个虚拟现实应用平台底层文件的配置，初步建立 起一个虚拟现实的应用环境，为后续的交互操作奠定了很好的基础。 第三章基于手势的交互原理，首先介绍手势的概念，分析了手势交互的基本原 理，明确了基于手势的交互技术所要解决的问题，最后指出基于手势交互的基本任 务。 第四章人手到虚拟手的映射，在分析手的解剖结构和运动特点的基础上，将手 简化为连杆转动关节操纵器，运用机器人学理论建立手的运动方程，之后建立手的 层次结构模型，并对手的运动约束关系进行了合理的定义，完成了交互主体虚 拟于的仿真，建立了现实世界中人手与虚拟环境中虚拟手的映射关系。 第五章虚拟手势交互原型系统设计，在前述研究的基础上，最终设计并实现了 一个系统原型来验证人手到虚拟手的映射关系及交互的易用性。 第六章总结和展望，对全文所做的研究工作及其不足进行了总结，并展望了进 一步的研究工作。 北京邮电大学硕士学位论文 第二章双目立体视觉虚拟环境的构建 2 1 立体视觉原理及分类 由于人类从客观世界获得的信息8 0 以上来自视觉，因而视觉沟通就成为虚拟现 实中最重要的环节。立体成像理论和实践早在1 9 世纪就有人从事研究，如航空摄影、 体视显微、立体电影等方面。 2 1 1 立体视觉成像原理 由于物体在现实世界中都具有3 维尺寸和空间位置关系，因此只有立体显示才能 够逼真地重现客观世界的景象，表现出图像的深度感、层次感和真实性。 大家知道，人是通过眼睛等生理器官来获得立体视觉的1 1 0 j l l l l ，即人在观看现实 世界中的物体时，左眼视网膜形成的图像和右眼视网膜形成的图像存在细微的差别， 这种差别体现为水平方向上物体位置的偏移，即视差。大脑将这两个有差别的画面 组合在一起，就会产生“立体感”，于是即可判断物体的空问位置关系，如图2 1 所 示。视察理论很好地解释了立体视觉的形成机理，是实现立体显示技术的理论基础。 鋈麟i i 褰器辫。棚 。曼荔i _ 1 i ；篡曩一：善：飘j 。攀，叠、h 爱二善，翌+ 掣i 髯鬻。量- 二二i 。_ 。，。 fl 。张 j f 彳摊l d 萋黧警雾鬻羹鬻；i 瓣曩蠢，、i 。“j “。董嚣爹。! 。、io ”“ 襞戛：= 爨髯| 蔓i i 薯i 翳j j f ； j ，j、o 一， i ! 骥“r ! 澎臻缓鬻i g 麓? ：。_ ? i 一 翮鳃 栅 图2 1 人眼立体视觉原理 视差产生的原因是因为人的左右眼之间有一定的距离，成年人的双眼距离( 即 眼基线) 约为6 5 唧。当左右眼视网膜上存在细微差别的光学影像同时传向大脑视觉 神经中枢，视神经即会处理和融合有视差的左右眼影像，人就能感受到所观察物体 的立体层次。所以根据人眼立体视觉的产牛原理，形成人工立体视觉必须具备以下3 个条件： 北京邮电大学硕士学位论文 1 、所观察的两幅影像必须具有一定的左右视差，具有微小的差别； 2 、左右眼必须分别独立观察左右各一幅影像，实现双眼图像的分离显示： 3 、两幅影像所放置的位置必须使相应视线成对相交，即消除上下视察。 立体显示比二维显示信息量更大，感染力更强，更逼真，色彩还原性更强，更 富于真实感、沉浸感和参与性。随着科学的发展，能呈现立体影像的立体显示技术 逐渐成为各国研发的重点。 2 1 2 立体显示技术分类及优缺点 立体显示系统可分为两大类：体视显示系统( s t e r e o s c o p i cd i s p l a y ) 和自体视显 示系统( a u t o s t e r e o s c o p i cd i s p l a y ) 。提示显示系统借助立体眼镜、h m d 等设备，使 人的双眼分别看到两幅不同的视差图，以形成立体视觉图像，包括分色、分光、分 时技术；自体视系统大都采用光学板，不需要特殊眼睛即可看到立体影像，具有更 大的发展空间，主要是光栅技术。 分色、分光、分时技术的流程很相似，都是需要经过两次过滤，第一次是在显 示器端，第二次是在眼睛端。 分色：分色技术的基本原理是让某些颜色的光只进入左眼，另一部分只进入右 眼。分色技术在第一次过滤时要把左眼画面中的蓝色、绿色去除，右眼画面中的红 色去除，再将处理过的这两套画面叠合起来，但不完全重叠，左眼画面要稍微偏左 边一些，这样就完成了第一次过滤。第二次过滤是观众带上专用的滤色眼镜，眼镜 的左边镜片为红色，右边的镜片是蓝色或绿色，由于右眼画面同时保留了蓝色和绿 色的信息，因此右边的镜片不管是蓝色还是绿色都是一样的，如图2 2 所示。 图2 2 分色技术 注意，也有一些眼镜是右边为红色，这样第一次过滤时也要对调过来，购买产 品时一般都会附赠配套的滤色眼镜，因此标准不统一也不用在意。以红、绿眼镜为 北京邮电大学硕士学位论文 例，红、绿两色互补，红色镜片会削弱画面中的绿色，绿色镜片削弱画面中的红色， 这样就确保了两套画面只被相应的眼睛看到。其实准确的说是红、青两色互补，青 介于绿和蓝之间，因此戴红、蓝眼镜也是一样的道理。目前，分色技术的第一次滤 色已经开始用计算机来完成了，按上述方法滤色后的片源可直接制作成d v d 等音像制 品，在任何彩色显示器上都可以播放。 分光：常见的光源都会随机发出自然光和偏振光，分光技术是用偏光滤镜或偏 光片滤除特定角度偏振光以外的所有光，让o 度的偏振光只进入右眼，9 0 度的偏振光 只进入左眼( 也可用4 5 度和1 3 5 度的偏振光搭配) ，如图2 3 所示。两种偏振光分别搭 载着两套画面，观众须带上专用的偏光眼镜，眼镜的两片镜片由偏光滤镜或偏光片 制成，分别可以让o 度和9 0 度的偏振光通过，这样就完成了第二次过滤。目前，分光 技术的应用还主要停留在投影机上，早期必须使用双投影机加偏振光滤镜的方案， 现在已经可以用单投影机来实现，不过都必须配合不破坏偏振光的金属投影幕才能 使用。 图2 3 分光技术 分时：分时技术是将两套画面在不同的时间播放，显示器在第一次刷新时播放 左眼画面，同时用专用的眼镜遮住观看者的右眼，下一次刷新时播放右眼画面，并 遮住观看者的左眼。按照上述方法将两套画面以极快的速度切换，在人眼视觉暂留 特性的作用下就合成了连续的画面。目前，用于遮住左右眼的眼镜用的都是液晶板， 因此也被称为液晶快门眼镜，早期曾用过机械眼镜。 光栅：光栅技术和前二种差别较大，它是将屏幕划分成一条条垂直方向上的栅 条，栅条交错显示左眼和右眼的画面，如l 、3 、5 显示左眼画面，2 、4 、6 显示 右眼画面。然后在屏幕和观众之间设一层“视差障碍”，它也是由垂直方向上的栅 条组成的，对于液晶这类有背光结构的显示器来说，视差障碍也可设在背光板和液 晶板之间。视差障碍的作用是阻挡视线，如图2 4 ，它遮住了两眼视线交点以外的部 北京邮电大学硕士学位论文 分，使左眼看到的栅条右眼看不到，右眼看到的左眼又看不到。不过，如果观看者 的位置改变的话，那么视差障碍位置也要随之改变。为了方便移动视差障碍，小型 光栅显示器都是采用液晶板来作为视差障碍的，而检测观看者位置的方法主要有两 种，一种是在观看者头上戴一个定位设备，另一种是用两个摄像头像人眼一样的定 位。 _ - i _ ， 视 差 障 碍 视差 图2 4 光栅技术 表面上看，4 种技术在将左右眼画面分别输送给双眼这一步骤上各有千秋，但仔 细分析过后就会发现它们有着不同的优缺点。 应用范围方面：这4 种技术可应用的范围还是比较广的，值得一提的就是分时技 术还不能应用于液晶显示器，主要是因为液晶显示器的响应时间太长，响应特性也 非常怪异。 舒适性方面：前三种技术使用时必须要配戴专用的眼镜，好在观看的位置不限； 光栅技术虽然不需要配戴眼镜，但有一部分产品要在头上配戴定位设备，同时观众 必须在特定的范围内才能正常观看。 画面质量方面：4 种技术普遍存在亮度损失的问题，分色技术使用颜色较深的滤 色镜，亮度损失理所当然，同时它还会损失一部分颜色信息，另外显示彩色画面时， 如果镜片颜色不够深，很可能导致滤色不彻底，会影响观看效果；分光技术要用到 偏光片，它会吸收特定角度偏振光以外的所有光，亮度损失很严重；分时技术虽然 在任意一个时刻只有一只眼睛能看到光线，但由于人眼的视觉暂留特性，所以这并 不是它损失亮度的主要原因，之所以损失亮度，是因为液晶快门眼镜中也包含偏光 片，所以它和分光技术是一样的；至于光栅技术，视差障碍使每只眼睛只能接收到 北京邮电大学硕十学位论文 原来一半的光线，因此亮度损失一半，同时水平分辨率也只有原来的一半。 保护视力方面：首先，分光和光栅两种技术对视力是没有损害的，另外两种技 术中，分色技术是无药可救的，因为观看时，双眼接收到的颜色信息严重不平衡， 虽然大脑可以将它们完美的组合在一起，但是会造成视神经疲劳，不能长时间使用。 分时技术必须配合c r t 这类的低响应时间的显示器才能使用，c r t 一个显著的特点 是瞬间发光，必须以非常高的频率重复的扫描，然后在人眼视觉暂留特性的作用下 才能呈现连续的画面，为了使画面足够稳定并且不会对视力造成损害，刷新频率应 该达到8 5 赫兹，普通显示器都可以达到这个指标，但使用分时技术后就不同了，由 于单位时间内只有一只眼睛能看到画面，原来的8 5 赫兹现在变成了4 2 5 赫兹，如果 还要保护视力的话，显示器的刷新率就要设置为1 7 0 赫兹了。 但是显示器的性能有限，很多显示器即使在最低的分辨率下也只能达到1 2 0 赫 兹，实际只相当于6 0 赫兹，在这样的刷新率下人眼就很容易疲劳了。即使显示器支 持1 7 0 赫兹的高刷新率，液晶快门眼镜也大多不支持。需要注意，这个缺点只是针对 c r t 而言，如果换用非瞬间发光的显示器就不存在这个问题了，但绝大部分的液晶 快门眼镜都是为c l 玎优化的，可能会不适应其它显示器的响应时间和响应特性。 本论文的立体显示平台以2 台高性能联网p c 作为一个并行计算系统，如图2 5 所 示，整个系统是建立在1 0 0 m b p s 以太网上，两台p c 机中都运行相同的应用程序。两 p c 节点间由通信系统负责网络数据交换，图形系统负责投影面立体影像的生成； s w a p l o c k ( 帧缓存同步) 与g e n l 0 c k ( 垂直刷新同步) 部分协调各节点的运作，保证系 统的整体同步性。其中一台p c 作为主节点，负责系统的激活以及用户交互数据的处 理工作。鉴于实验室现有设备及总结上述立体显示技术的优缺点，本文最终采用分 光技术来实现立体影像的呈现。 图2 5 双目立体视觉平台 北京邮电大学硕士学位论文 2 2 p cc i u s t e r 网络实时通信环境 由于采用主从模式实现双机同步的立体显示，所以网络通信模块是整个软件系 统的核心部分。在立体显示应用中，各图形显示通道应能够精确同步，不能出现肉 眼可察觉的延迟或使场景出现跳跃感，每个通道都要达到3 0f p s 以上的显示速度来 满足用户交互的需要。对网络通信的要求主要为：占用较小的带宽；尽可能短的通信 处理时间；数据更新率至少为图形更新率的2 倍。 2 2 1 通信方式选择及通信协议设置 一般来说，i p 通信有3 种方式：单播、广播和组播。主控节点与从节点的通信 方式为一点到多点的操作，采用组播方式是最好的选择【1 2 】。如果采用单播的方式， 那么控制机要分别向网络中的多台日标丰机发送l p 包，而i p 包的重复发送会浪费 网络带宽，增加服务器的负担。多播是将i p 数据包向“一组”地址传送，使数据包 可以被组中所有成员接受，其中“组”是一个特殊的i p 地址，即当一个节点发送数 据包时多个节点均可收到，而网络链路只使用一次，所以效率较高，可节省网络带 宽【1 3 】。建造逼真的虚拟环境，需解决网络通信系统网络带宽有限性的瓶颈问题。v r j u g g l e r 采用主从机都保留同样的环境数据库的复制式分布系统，主机既是一个服务 器又是客户机，不仅响应从机发出的标准协议数据，而且还要不断发送本机的标准 协议数据保证从机均获得虚拟空间的对象状态。通信模块必须保证实时接收和发送 各种保证协议数据，消除网络延迟，但v rj u g g l e r 中存在网络延迟问题。 主、从节点间的通信方式是一点对多点的多播通信模式，即主机向各个从节点 发送视点参数及同步命令。多播通信的简单实现如下： w i n s o c k 2 ( ) 初始化w i n s o c l ( 2 加入多播组 发送数据报 接收数据报 使用合适的通信协议是消除网络延迟的重要于段，视景仿真常用协议为传输控 制协议( t r a n s m i s s i o nc o n t r o lp r o t o c o l ，t c p ) 和用户数据报协议( u s e rd a t a g r a mp r o t o c o l ， u d p ) 【1 4 1 。t c p 协议在两台计算机之间建立了全双工、点对点的连接，连接的每一 北京邮电大学硕十学位论文 端的程序都使用自己的端口。发送程序并不等待每一段的应答，而是依次发送一组 段，然后等待首次应答。如果接收程序有数据要发回给发送程序，它就可以把应答 信息和外发的数据在同一组段中发送回去。接收程序在应答数域中把序数发回给发 送程序，以确定是否所有的字节都收到了，而且按照相同的序列再装配起来。发送 程序可以再发送没有得到应答的段。程序中调用函数来传送一个数据块时，w i n d o w s 会把数据块切分成段，然后把它们装到i p 数据报文中。此外，w i n d o w s 还负责接收 端的字节数据交付工作。 u d p 是与t c p 同等的一个部分。所有基于i p 的传输协议都把它们的报头信息 和数据存放在i p 数据块中。类似于i p ，u d p 在数据报文到达后，也不通知发送者， 这是应用程序的任务。 因为t c p 是专门设计用于在不可靠的因特网上提供可靠的、端到端的字节流通 信的协议，它是面向连接的，而u d p 是无连接的，提供数据报服务。t c p 为了保 证可靠服务，提供如确认与超时重传机制、滑动窗口机制等来进行流量控制和拥塞 处理。这些机制保证了t c p 服务的可靠性，却增加了网络开销，所以不适合实时性 数据传输。而u d p 是无连接的，提供数据报服务，u d p 虽然不提供可靠服务，但由 于没有建立连接和撤销连接以及可靠性机制，其效率较高，适合传输实时性数据【1 2 1 。 v rj u g 翊e r 采用基于t c p i p 协议的u d p 通信方式，有无需连接、效率高的特点， 适合数据传输量较少的网络通信应用，所以在本立体显示系统中采用u d p 协议通 信，并在发送的报文头中加入校验位，可以保证数据传输的可靠性。 2 2 2 数据丢失和延迟的处理和补偿 多通道系统在显示运动场景时，各通道画面的运动必须保证精确同步，以满足 用户沉浸感和舒适性的要求；为此，多通道系统的底层支持软件必须提供各通道运 行的画面帧同步机制。 传统的同步信号处理算法基本结构都比较简单，基本采用对称的网络传输结构， 即两图形机处于平等的地位。但同步效果不理想，表现为系统鲁棒性差，计算中往 往还存在速度差、时间差的积累，严重时还会引起网络的自锁。 在本系统的同步信号处理方法网络结构中，两图形机之间不再是平等关系，而 是主从关系，其中左眼视觉系统图形机处于s e n ，e r 地位，负责数据的获取与分发。 右眼视觉系统图形机处于c l i e n t 地位，只负责接收数据和发送同步信号，如图2 6 所示。此方法很好地保证了双机之间的通信和显示同步。 北京邮电大学硕士学位论文 第n 帧 o p 眦i n v 目吐o r 图形计算 o p 眦i n v m t o r 图形计算 图形计算 ： ： 1， r i i 准备第n + l 帧数据准备第n + 1 帧数据 上 i i i i1r i i i 等待同步信号发送同步信号 i i ：5 s w a 曲嘣旨s 唧；u 时 ： 上 i 主机( 左眼图像) 从机( 右眼图像) 图2 6 双目立体视觉平台信号流图 网络通讯软件必须考虑对数据丢失和延迟进行适当的处理和补偿，以保证仿真 的精度。对v rj u 9 9 1 e r 系统运行过程中的数据延迟和丢失问题，本文采用推算定位 ( d e a d r e c k o n i n g ) 解决。推算定位是在分布式交互仿真系统中广泛采用的一种技 术，这种技术允许g h o s t 同其本体对象之间存在一定范围内的状态差异，只有在误 差超过阈值的情况下才进行处理。如果数据丢失，由于仿真是连续进行的，可以运 用推算定位算法在满足一定精度的前提下，在上一帧数据的基础上推算出本帧的状 态数据。在数据延迟和帧数相差情况下，可以采用基于时间标记的方案，虚拟实体 在发送数据包时对每个数据包都附加上一个时间标记，接收节点的仿真实体在收到 发来的数据包后，在更新推算定位模型的同时，根据时间标记和数据包到达时间计 算传输延迟时问，并将实体状态递推到当前值再进行推算。另外根据时间标记将当 前发送的数据和推算的数据进行比较，如果帧数相差，则当前的视景生成节点应进 行平滑处理，可以跳2 3 帧和当前传过来的数据靠近，直到和发送过来的数据一致， 从而达到同步。如果帧数相差严重，从节点向丰节点发送消息，可采用负载平衡算 法降低此类情况对系统的影响，如图2 7 所示。视景仿真各节点从主控节点获得视 景牛成所需的参数，并在需要的时候返回视景生成节点的状态。 北京邮电大学硕士学位论文 图2 7d r 算法在立体视觉平台中的实现 d r 算法的效果主要由节点之间通信次数和推算偏差来衡量：影响算法效果的主 要因素包括算法的阶数，阈值的大小和节点之间的传输延时。 2 3 底层系统配置文件的功能与实现 软件系统的设计是基于联网p c 驱动的多通道立体显示系统非常重要而具有挑 战性的工作，比较成熟的开发工具有：s t a n f o r du n i v e r s i t y 的w i f e g l 【1 5 j 及其后续计 划c h r o m i u m 【1 6 1 、p r i n c e t o nu n i v e r s i t y 的d g “17 1 、u n i v e r s i t yo fi l l i n o i s 的s y z y g y 【1 8 1 、 i o w as t a t eu n i v e r s i t y 的v rj u g g l e r 及其v rj u g g l e r 的两个扩展工具n e tj u g g l e r 【1 9 】和 c l u s t e rj u g g l e r 【2 0 1 以及浙江大学c a d & c g 国家重点实验室的p c c a 、，e l i b 【2 。这些 工具都存在应用环境与开放性问题，而v rj u g g l e r 是一个虚拟现实运用开发平台， 可以在简单的p c 机或者是高端工作站和超级服务器中运行复杂的多屏显示系统， 它的便捷式代码可以在任何操作系统中使用，并支持多种输入输出设备。v r j u g