（机械设计及理论专业论文）虚拟环境人机界面关键技术的研究.pdf

华中科技大学硕士学位论文 摘要 虚拟现实技术是一种新型的人机交互技术，它追求更自然、更快捷的交互方式以及 能带给用户更真实的沉浸感。其人机界面的研究包括虚拟环境的生成技术和各种人机交 互技术。 首先，本文基于o p e n l n v e n t o r 提出了实现虚拟环境人机界面的理论框架，并从虚拟 场景、三维模型数据接口、多通道整合以及虚拟设备接口等四个方面进行了详细的规划。 其次，本文对虚拟环境的组成单元及相关实现技术进行了详细讨论，包括窗口界面、 空间背景、场景模型的生成、场景的管理、造型的定位和管理、场景效果以及虚拟声音 等。并在w i n 2 0 0 0 系统和v c + + 6 编程环境下，基于o p e n i n v e n t o r 实现了一个逼真的虚 拟环境。 然后，本文将数据手套和位置跟踪器作为交互工具应用于人机界面，与传统的鼠标 键盘操作相结合，实现了一个多通道人机交互界面。f 并对手势输入技术、头部跟踪技术 和多通道整合技术进行了研究。开发了基于c o m 技术的5 d t d a l a g l o v e 数据手套组件 和f l o c ko f b i r d s 位置跟踪器组件，而且基于多通道分层整合模型对头部跟踪和手势输入 进行了整合，并给出了具体的整合算法。， 最后，实现了一个通过手势进行交互，具有三维显示效果的虚拟环境人机界面原型 系统。 整个框架采用了c o m 程序设计方式，使系统具有更好的移植性和扩展性，为系统 的迸一步发展奠定了良好的基础。 ， 关键词：虚拟环境人机界面三维显示手势输入头部跟踪多通道人机交互 一- - 一 i 华中科技大学硕士学位论文 a b s t r a c t v i r t u a lr e a l i t yi san e wi n t e r a c t i v et e c h n o l o g y , w h i c hi si n t e g r a t e db yt h et e c h n o l o g i e so f m u l t i m e d i aa n dm u l t i m o d a li n t e r f a c e ，a n di t sg o a li st og i v ec u s t o m e rb e t t e ri m m e r s i o na n d m o r en a t u r a l l yi n t e r a c t i o n t h ei n t e r f a c eo fv ri s c o m p o s e do fv i r t u a le n v i r o n m e n ta n d h u m a n m a c h i n ei n t e r a c t i o ni n t e r f a c e t h i sp a p e rd e s c r i b e sat h e o r e t i c a ls t r u c t u r eo fv i r t u a lr e a l i t yi n t e r f a c e ，w h i c hi sm a d e u p o ff o u rm o d e l s ：v i r t u a ls c e n e ，3 dm o d e li n p u ti n t e r f a c e ，m u l t i m o d a li n t e g r a t i o na n dv i r t u a l e q u i p m e n t s i n t e r f a c e t h es t r u c t u r ei sb a s e do nc o m ，s oi t p r o m i s e st h es y s t e mb e t t e r e x p a n s i b i l i t ya n dm o r ep o s s i b i l i t yo fb e i n gt r a n s p l a n t e d ，a n da l l o w st h es y s t e mb e t t e rf u t u r e d e v e l o p m e n t t h e t e c h n o l o g yo f b u i l d i n g av i r t u a le n v i r o n m e n ti ss t u d i e d ，i n c l u d i n gt h e b a c k g r o u n do f s p a c e ，3 dm o d e l s ，t h em a n a g e m e n to fs c e n e ，t h eo r i e n t a t i o na n dm a n a g e m e n to fm o d e l ，l i g h t ， f o g ，a n dv i r t u a l s o u n de t c av i r t u a ls c e n eb a s e do no p e ni n v e n t o ri s d e v e l o p e du n d e r v c + + 6 0a n dw i n 2 0 0 0s y s t e m b a s e do nd a t a g l o v ea n d3 ds e n s o lt h et e c h n o l o g i e so fg e s t u r ei n p u ta n dt r a c k i n ga r e s t u d i e d d a t a g l o v ei su s e dt oi n p u tg e s t u r ei n f o r m a t i o nt ot h ec o m p u t e r , a n dac o m p o n e n to f 5 d t d a t a g l o v ei sd e v e l o p e d 3 ds e n s o ri su s e dt oi n p u t3 d p o s i t i o ni n f o r m a t i o n t ot h es y s t e m a n dac o m p o n e n to f f l o c ko f b i r d si sd e v e l o p e dt o o a p r o t o t y p es y s t e mi sa c c o m p l i s h e di nt h ee n d u s i n gt h i ss y s t e mu s e rc a ni n t e r a c tb y g e s t u r e ，a n dg e ts t e r e o v i s i o nt h r o u g h3 dg l a s s e s k e y w o r d s ：v i r t u a le n v i r o n m e n th u m a n m a c h i n ei n t e r f a c e3 dd i s p l a yg e s t u r ei n p u t t r a c k i n g m u l t i - m o d a li n t e r a c t i o n h 华中科技大学硕士学位论文 1 1 课题的目的及来源 1 绪论 虚拟现实技术是种新型的人机交互方式，与以前任何人机交互方式相比，更有希 望实现“和谐的、拟人化的”人机界面。它使人机之间的信息传输在媒体形式、通信带 宽、保真效果和交互控制能力方面达到了全新的水平，它是一种更高级复杂的智能型人 机界面，又被称为新代的人机界面。 随着虚拟现实技术的发展，该技术已经越来越得到人们的认可，对该技术的应用也 越来越广泛，已经不仅仅限于以往的军事和娱乐行业，如今在建筑、航空航天、机械、 科学计算、教育等等领域中也越来越重视对该技术的应用。目前国外许多研究机构和大 学对虚拟现实技术进行了大量的研究，并取得了许多重要成果，但国内在这方面的研究 仅仅局限于实际应用，只有清华大学、浙江大学、西安交通大学等为数不多的几所大学 在基础理论方面进行研究，相关的报道很少。本课题主要对虚拟环境人机界面的一些关 键技术进行了研究和探讨，包括如何构造一个虚拟环境人机界面、手势输入技术、位置 跟踪技术、多通道整合技术等。 课题的主要目的是为了构建一个沉浸感更好，交互更自然更快捷的虚拟环境人机界 面。 课题来源予国防8 6 3 项目( 8 0 4 5 1 5 3 ) 某工程虚拟仿真系统的开发。 1 2 国内外发展现状及应用 随着计算机技术的发展，人机界面经历了由命令行界面( c l l ) 到图形用户界面 ( w i m t ) 的转变，现在正在向多通道用户界面( m m i ) 发展1 1 1 1 2 i 。目前，图形用户界 面在人机界面中占据着统治地位。 从命令界面发展到w i m p 界面，尤其是多媒体技术的快速发展，使计算机到用户的 输出带宽大大提高，但从用户到计算机的通信带宽仍然受到限制，即计算机高速的处理 和呈现视觉、听觉信息的能力与低速的人机交亘的能力是不相称的。这种不相称来自于 硬件的限制和交互通道与对象操作间的不匹配。但是，近年来计算机输入输出装置在数 量和能力迅速增加，使得这种匹配成为可能。虚拟现实技术、多媒体和可视化对计算机 系统的人机交互提出了自然、高效、三维和非精确的要求，这些都是目前的w i m p 技术 华中科技大学硕士学位论文 所不能解决的问题。多通道人机交互技术的提出和发展，使这个问题得到了解决的可能， 虽然目前还存在着许多没有解决的技术问题，但在人机交互方面已经取得了长足的进 展。 虚拟环境人机界面集成了多媒体界面和多通道人机交互界面，使用户在视觉和听觉 上能感受到真实的三维效果，同时又能和系统进行自然、高效的交互。虚拟环境人机界 面概念模型如图1 1 所示【3 】： 图1 1 虚拟环境人机界面概念模型 虚拟环境入机界面技术是一门多学科交叉的新技术。它涉及到三维显示技术，视线 跟踪技术、三维声音生成技术、手势输入技术、位置跟踪技术，多通道整合技术等。以 下将对这些技术及其相关的交互设备的研究及应用现状进行详细的阐述。 1 2 1 三维显示技术 人从外界获取信息的方式很多，有视觉、听觉、触觉、嗅觉等等。但视觉是最主要 的途径，人类获取信息的8 0 来自视觉。因此，三维显示技术是虚拟人机界面中最重要 的技术之一，研究它的目的是为了使用户在虚拟环境中能够体验到类似真实世界的三维 效果。国外在三维显示技术方面作了大量的研究，并取得了许多有意义成果。主要有头 盔显示器、3 d 立体眼镜、3 d 立体显示器、b o o m 、立体投影显示、虚拟视网膜显示器 等等，其中虚拟视网膜显示器技术还处在研究阶段。文献【4 】对世界上在三维显示技术研 究方丽的专利成果进行了详细的介绍。 1 、头盔式显示器( h m d ) 头盔显示器是虚拟现实系统中最常见的视频显示装置。它主要包括三部分：两块液 晶显示板，起放大和校直作用的镜片，计算机图像生成系统【5 】【6 1 。 立体显示主要依据双眼视差的立体视觉因素，在两个显示端显示出两幅具有双眼视 华中科技大学硕士学位论文 差的平面图像，使左右两眼分别看到对应的图像，再加上人眼的融合作用，两幅平面视 差图像在人脑中就会自然融合而形成立体图像【7 】【8 1 。现在h m d 的种类很多，根据不同 的需要，有单目的，双目的，有全投入式的，也有半投入式的【9 】【1 0 】。 很多虚拟现实系统( 特别是外科手术训练系统) 都要求使用高分辨率的显示器，这 就要求液晶显示板具有足够多的象素。而且液晶显示板还必须做得足够小，才能符合头 盔式显示器对体积的要求。另外，人眼的视场很宽，大约为水平2 2 0 度，垂直1 3 0 度。 而显示屏针对一定的视距所形成的视场相对于人的视场却很小，因此，要使用光学系统 进行放大。目前，商品化的头盔显示器可做到水平7 5 度，垂直5 0 度。要想使虚拟现实 系统达到沉浸式的效果，水平张角应不小于1 4 0 度【1 2 】【1 3 1 。这在一定程度上限制了它的应 用范围1 4 1 。 除了上述不足外，h m d 还存在着一些缺点：例如佩戴h m d 观察，必然减少观察 显示试验的娱乐、舒适和自然；人眼近距离聚焦容易感到疲劳：屏幕成像太小，必须尽 可能放大以达到和人眼的视野相一致；而且h m d 的造价也比较昂贵等等【l 5 1 。 但是在许多特定场合，h m d 具备特殊的优势。目前它被广泛的用于军事、 c a d c a m 、工业生产、模拟和训练、3 d 显示与电子游戏、显微技术和医疗等领域中。 2 、3 d 立体眼镜 立体眼镜是- n 特殊的眼镜，用户戴上眼镜后能在普通显示器上看到立体的图像。 根据实现原理可分为3 类：基于偏振原理的；基于波长的；基于电予开关的。 它们基本原理都是：观察者戴上3 d 立体眼镜观察，使进入左眼的光线只受到左眼 镜片的影响，进入右眼的光线只受到右眼镜片的影响，从而使使双眼获得具有立体视差 的两副图像“”。 显示器能显示左眼或右眼的两种不同的图像，在显示器显示左眼图像时，系统控制 立体眼镜，让用户的左眼看到左眼的图像；同样，当显示器显示右眼的图像时，让用户 的右眼看到右眼的图像。当切换频率达到5 0 h z 时，用户便能由显示器看到连续的图像， 而且左右眼能分别看到各自的图像，加上人的视觉具有滞留现象，就让人感觉是同时看 见的具有视差的两副不同的图像，再经过融合，便能产生三维立体效果8 1 。 立体眼镜的沉浸感不如头盔显示器，而且同样会因为佩戴眼镜而减少用户的舒适 感，但是它造价便宜，所以现在仍广泛应用于游戏和虚拟现实系统等领域。 3 、3 d 立体显示器 3 d 显示器是一种新型的3 d 显示技术，观察者不需要佩戴任何观察仪器就可以直接 看见3 d 图像。这种技术按实现方法分主要有透镜法和光栅法两种。在两种方法中都用 到了一种由竖直交替排列的图像条纹构成的图像，这些条纹由具有位差的左图像和右图 像构成捧j 。根据不同的需要，又有多视图3 d 立体显示器和头部跟踪3 d 立体显示器。前 华中科技大学硕士学位论文 者适合多个用户同时观察，后者只适合单个用户观察，但后者有更好的沉浸感 1 7 1 1 8 j 【1 9 】【2 0 1 。 麻省理工学院媒体实验室空间影像研究组发明了一种被称为边光显示器的新型三 维显示器。它把光源从显示器的下面向上发射，通过显示器内部的反射与折射，使用户 能看到立体的图像。边光显示器目前面临的主要问题是制作成本太高，因而尚未商品化 【1 2 1 。 艾尔莎于2 0 0 0 年汉诺威c e b i ts h o w 中推出一款3 d 立体t f t 显示器。它采用了透 视棱镜技术，即在原来的显示镜面上附加一层镜面，使左眼与右眼分别通过不同镜面看 到不同影像。该技术能确保眼睛看到正确的3 d 影像。 另外，德国的d r e s d e n 3 d g m b h 公司生产的d r e s d e n 3 d d 4 d 三维立体显示器，已经 在医疗方面得到了应用。 由于现在的3 d 显示器造价相当昂贵，而且有许多技术问题还没有很好解决，所以 还没有得到广泛的应用。 4 、双目全方( b o o m ) 1 1 2 j 【2 1 1 基于l c d 和c r t 的h m d 都会受到头部跟踪延迟的影响。空间跟踪器至少有1 2 m s 的延迟，再与传输延迟、图形绘制和转换延迟、视觉延迟结合在一起时会变得更大。如 果头部运动与相应的图像运动的时间延迟太大，会使用户产生不适的感觉。 为了解决这一问题，需要有快速的跟踪机制和快速的图形绘制。n a s a 的研究与 v i e w 项目相结合发明了“基于平衡c r t 的立体观察器( c c s v ) ”。c c s v 使用个机械 臂支撑c r t 。机械臂在六个连接处有位置传感器，对头部的运动产生一个全局3d 跟踪 器。 c c s v 的概念由f a k e s p a c e 公司发展为“b o o m ”。b o o m ( 双目全方位监视器) 是一 种特殊的头部显示器。使用户可以用手操纵显示器的位置，来观察一个可移动的、宽视 角的虚拟空间。b o o m 的一个显著优点是分辨率较高，高端产品“b o o m 2 e ”模型的分 辨率是1 2 8 0 1 0 2 4 ，它比任何h m d 的分辨率都高。 b o o m 的另一个主要优点是它的低延迟。跟踪更新速率是6 0 h z ，而且没有延迟和 噪音。 5 、立体投影显示1 1 2 】【2 2 1 1 2 3 1 立体投影显示是基于空间投影的显示技术( s i d ) 。这方面的研究以c a v e 为代表， c a v e 是由美国i l l i n o i s 大学e v l 实验室为克服h m d 存在的问题而研究的一个系统， 完成于9 0 年代初。它由一个1 0 英尺* 1 0 英尺9 英尺大小的房间组成，房间的每一面墙 与地板均由大屏幕背投影机投上1 0 2 4 7 6 8 分辨率的立体图像。可允许多人走进c a v e 中，用户戴上立体眼镜便能从空间中的任一方向看到立体的图像。c a v e 实现了大视角、 4 华中科技大学硕士学位论文 全景、立体，且支持5 1 0 人共享的一个虚拟环境。具体表现在： ( 1 ) 可提供1 8 0 。的宽视域和2 0 0 0 * 2 0 0 0 以上的高分辨率； ( 2 ) 它允许用户在虚拟空间中走动，而不用佩戴笨重的设备； ( 3 ) 它允许在同一环境中存在多个用户，而且用户间可以自然地交互： ( 4 ) 。一次能显示大型模型，如汽车、房屋等。 c a 7 e 的不足表现在：价格昂贵，要求更大的空间和更多的硬件，还没有产品化和 标准化等。针对这些问题，这几年，e v l 先后推出了l m m e r s a d e s k 与i n f i n i t yw a l l ， i r n m e r s a d e s k 采用6 7 英寸* 5 0 英寸的背投屏幕作为显示设备，背投屏幕以4 5 。倾斜放 置。五个人戴上立体眼镜可以共享由i m m e r s a l d e s k 显示的立体画面。与c a v e 相比， i m m e r s a l d e s k 体积小得多，可以放置在办公室、展示会与各种公共场所。l n f i n i t yw a l l 又是在i m m e r s a d e s k 基础上发展起来的更大规模的显示系统。它由一个1 2 英寸+ 9 英寸 ( 或更大) 的屏幕组成，与c a v e 相比，它只在一面墙上有投影，但有投影的墙更大， 分辨率更高，因而允许更多的用户同时观看。 与之类似，美国s g i 公司也先后推出了被称为s g i r e a l i t yc e n t r e 的基于空间投影的 虚拟环境立体显示系统方案。s g i r e a l i t y c e n t r e 中集成了多台b a r c o 大屏幕投影机， 整个系统比传统的大屏幕投影机体积小、便于移动，安装一套系统只需半天时间。s g i r e a l i t yc e n t r e 已成功应用在军事、制造、能源、化工等许多领域。 6 、虚拟视网膜显示器【8 】【2 4 】【2 s 】1 2 6 另一项杰出的v r 显示技术来自华盛顿大学人类接口技术实验室正在研制的虚拟视 网膜显示器( v r d ) 。v r d 直接把图像投影到观察者的视网膜，使观察者能看到高亮度、 高分辨率与高对比度的图像，这种技术还在开发阶段。当前的设备相对笨重，这是由于 光学扫描设备体积庞大；而且人类瞳孔很小，目前的技术也难于精确实时地把图像扫描 到眼睛内。然而，这项技术一旦成熟，它可以为用户提供一个低价、高分辨率、高对比 度的立体显示，而且不用佩戴任何眼镜。 1 2 2 视线跟踪技术 通过改变视线位置，人们可以获取不同方位的环境视频信号。理想的虚拟环境人机 界面能够根据使用者的视线位置来确定和显示相应的视景图像。目前视线跟踪技术主要 有基于头部跟踪和基于计算机视觉的两种方式。 基于头部跟踪的视线跟踪技术是通过头部跟踪系统来检测头的位置并以此确定视 线位置。所以，头部跟踪技术也是虚拟环境人机界面的一项关键技术。 典型的头部跟踪系统包括发送器和接收器，通过接收器传出的信号确定头位。测量 一_ _ - _ _ _ - _ - - _ _ - - - _ - - 一 华中科技大学硕士学位论文 头位的传感器，可以是超声波、无线电、激光和电磁的传感器，也可以是传统的机械式 位置传感器，或者将两种类型的传感器结合使用【z “。 基于计算机视觉的视线跟踪技术是利用图像处理技术，使用能锁定眼睛的特殊摄像 机摄入人的角膜和瞳孔反射的红外线，记录视线变化，从而达到记录分析视线跟踪过程 的目的【2 8 】【2 9 1 。 这两种方式可以单独使用，也可以互相结合来提供视线的位置精确度。但是，如果 结合使用就必须进行通道整合，才能消除单个通道输入的模糊性和解决多个通道输入产 生的歧义。 从视线跟踪装置得到的原始数据必须经过进一步的处理才能用于人机交互。数据处 理的目的是滤除噪音、识别定位以及局部校准与补偿等，最重要的是提取用于人机交互 必需的视线定位坐标。 视线跟踪系统所呈现的图像变化，必须有足够的稳定裕度。当稳定裕度不够时，观 察者会有晕动的症状口。 目前，国外一些大学和公司已有重要成果，如美国t e x a sa & m 大学使用装有红外 发光二极管和光电管的眼镜，通过光电传感器，根据进入光电管的光的强度来判断眼睛 的位置。另外a s l ( a p p l i e d s c i e n c el a b ) 也开发出了较成熟的视线跟踪系统。 视线跟踪技术主要用于军事、虚拟现实系统、阅读及帮助残疾人通信等领域。 1 2 3 三维声音生成技术 声音是人类获取外界信息的另一个主要的媒介，也是人类和外界交互的一个重要手 段。一个虚拟环境要使用户具有很好的沉浸感，除了必须有逼真的三维图像显示外，三 维的虚拟声音也是必不可少的因素。 三维声音是指由计算机生成的、能由人工设定声源在空间中三维位置的一种声音。 三维声音生成器是利用人类定位声音的特点生成出三维声音的一套软硬件系统【3 “。 人类进行声音的定位依据两个要素：两耳时间差和两耳强度差。如果声源放置在头 部的右边，由于声源距离右耳比距离左耳要近，所以声音首先到达右耳，这便是“两耳 时间差”。当听众刚好在声源传播的路径上时，声音的强度在两耳间变化会很大，这种 效果被称为“头部阴影”。n a s a 研究者通过耳机再现这些现象。 除此之外，由于入耳( 包括外耳和内耳) 非常复杂，其对声源的不同频段会产生不 同的反射作用，也导致对声音定位的研究变得非常困难。为此，研究人员提出了 “h e a d r e l a t e dt r a n s f e rf u n e t i o n ”( h r r f ) 的概念，来模拟人耳对声音不同频段的反射 作用。由于不同的人的耳朵有不同的形状和特征，所以也有不同的h r t f 系数。 6 华中科技大学硕士学位论文 v r 系统的虚拟声源，不但要模拟音频信号本身，而且必须模拟声响环境特性。n a s a 的研究人员为了合成出三维声音，开发了一种信号处理技术。试验人员位于一个圆顶房 子内，在房间内放置特定空间位置的声源。微小的麦克风放置在试验人员的耳朵内，接 近于中耳。然后，把声源依次打开，并存储和数字化麦克风输出。例如，当说话者到达 听众的左边发出的声音时，声音将首先到达左耳，并且比右耳有更大的强度。使用f o u r i e r 变换器可以计算麦克风输出的频率响应，以及相应的h r t f 系数。对任何声音，给它施 加i t d 和i i d 以及h r t f 系数，就能把声音虚拟定位在空间的任何位置【3 2 】【3 ”。 1 2 4 手势输入技术 手势输入技术是人机界面的诸多关键技术之一，它将手势作为信号输入给计算机， 计算机根据不同的手势作出相应的反馈，从而实现人机交互。 利用计算机识别和解释手势输入是将手势应用于人机交互的关键前提。目前有关手 势识别的方法很多，主要有基于数据手套的手势输入和基于计算机视觉的手势输入等。 基于数据手套的手势输入技术可以测定手指的姿势和手势，但是相对而言较为昂贵，并 且有时会给用户带来不便：基于视觉的手势输入技术是利用摄像机输入手势，其优点是 不干扰用户，这是一种很有前途的技术，目前有许多研究者致力于此项工作，但在技术 上存在很多困难，目前的计算机视觉技术还难以胜任手势识别和理解任务1 3 4 】【3 5 】| 3 6 1 。 目前较为实用的是基于数据手套的手势输入技术，因为数据手套不仅可以输入包括 三维空间运动在内的较为全面的手势信息，而且比基于计算机视觉的手势在技术上要容 易得多。以下对基于数据手套的手势输入技术的研究和应用进行详细的阐述。 基于数据手套的手势输入技术是以数据手套作为交互工具进行手势输入。数据手套 就是手套式人手跟踪器，能把人手指的运动变化和手的位置变化传给计算机【3 7 】【3 8 】。数据 手套有下列三种典型产品：v p ld a t ag l o v e 、p o w e rg l o v e 和c y b e r g l o v e 【1 2 1 1 3 9 】。 v p ld a t ag l o v e 是由v p l 公司开发的最早的数据手套。全世界有很多研究机构和 公司在不同的应用中使用d a t a g l o v e ，从建筑漫游到分子处理等。数据手套由很轻的弹性 材料构成，紧贴在手上。整个系统包括位置、方向传感器和沿每个手指背部安装的一组 有保护套的光纤导线，它们用来检测手指和手的运动。 作为传感器的光纤可以测量每个手指的弯曲和伸展。每条光纤从控制器的线路板引 出，经过一长段软管到达手套上的腕部固定器。从这里，光纡导线延伸到手指上，经过 手指的关节，然后回到腕部固定器和控制器。在控制器的内部，每根光纤导线的一端配 备一个发光二极管，而其另一端连接一个光传感器。控制单元把从光传感器那里接收的 能量转变成电信号。当弯曲手指时，发光二极管的光经过光纤导线从导线保护套的裂缝 华中科技大学硕士学位论文 或切开逸出。关节越弯曲，光线逸出越多，到达光传感器的光越少。光量的多少就反映 了手指的弯曲程度。 计算机根据光电信号数据算出手指和关节弯曲的程度。每个手指最少有两条光纤导 线，一条检测下部关节，另一条检测中间关节。大拇指上只用一条光纤导线，因为拇指 只有两个关节。为了增加准确度，每个手指上可再增加一条或几条光纤导线。但不管添 加多少光纤导线，这种方法只能测量手指的活动。在d a t a g l o v e 中，第二个测量仪器是 个磁性的位置方向传感器，如同在前面的电磁跟踪器样，这种传感器测量手的绝对 位置( x ，y - z ) 和三个转角方向( 转动、俯仰、摇摆) 。这两种方法的结合使计算机能够跟踪 手所做出的任何动作【4 2 】【4 3 】。 测量出的数据经过分析处理，然后传给主机。数据手套由主机通过2 5 条指令集进 行控制。数据手套以3 0 6 0 h z 的速率传送记录。用同步命令可以使用左、右手套。当 两个跟踪系统被同时使用时，就不得不对各自的传输器进行改进。 p o e r g l o v e 是m a t - t e l 为家庭视频游戏市场设计了种被称为p o w e r g l o v e 的手控制 器，它一般用在任天堂游戏机上，现已不生产了。它的性能比用于其它行业的同类产品 要低得多。 c y b e r g l o v e 是v i a e x 公司开发了一种新的高精度关节传感器设备，它是c y b e r c a d 虚拟设计环境中虚拟技术一个理想的接口设备，可被广泛用来创建、终止、定位三维物 体。 c y b e r g l o v e 具有2 2 个传感器，每个手指有三个弯曲传感器和一个外展肌传感器。 拇指与小手指有一个传感器相连，手腕处有一个传感器。它是一个高精度设备，能提供 准确而连续的输出。 c y b e r g l o v e 的设计是这样的：传感器输出仅依赖手指关节的角度，而与关节的突出 无关。传感器的输出与关节的位置无关，因此每次戴手套时，校正数据均不变。并且， 传感器输出和弯曲角度成线性关系，因此对于关节弯曲极点，分辨率不会下降【4 4 】。 在文献 4 5 1 中介绍了数据手套的手势识别技术。文献 4 6 】介绍了数据手套在机器人 自动学习装配任务中的应用。 1 2 5 位置跟踪技术 位置跟踪技术也是虚拟环境人机界面的重要技术之一，它主要是通过对人的头部或 肢体的位置或者是整个人在空间的位置进行跟踪，将位置信息输入给计算机系统，系统 根据位置信息产生相应的反馈，然后通过显示终端反馈给用户，达到人机交互的目的。 位黄跟踪技术包括很多种类，可以通过机械装置进行跟踪，但这种方式对用户的约 一一 华中科技大学硕士学位论文 束很大：可以通过非接触式位置传感器进行跟踪，这种方式现在应用比较广泛，但用户 必须佩戴相应的设备，仍然不是很方便：还可以通过计算机视觉对人的给部位的位置信 息进行跟踪，这种方式对人几乎没有什么约束，目前国内外研究的很多，也是最有前途 的一种技术，但目前在许多技术方面还存在困难。在这里，本文主要将基于位置传感器 的位置跟踪技术的研究及应用进行详细的阐述1 4 7 1 1 4 ”。 三维非接触位置传感器主要有电磁传感器和超声波传感器。电磁跟踪器包括交流电 磁传感器和直流电磁传感器。 交流电磁跟踪器由发射器、接收器和计算模块组成。发射器一般是由三个磁场方向 相互垂直的由交流电流产生的双极磁源构成，接收器由三套分别测量三个磁源对应的方 位向量的线圈构成。由于接收器所测量得的三个向量包含了足够的信息，因而可以计算 出接收器相对于发射器的方位。接收器输出信号再需要经过放大与模数转换。 交流电磁跟踪器的缺点是对出现在发射器和接收器附近的电子导体非常敏感。交流 旋转磁场在铁磁场中产生涡流，这将导致次磁场的产生。这些磁场能使由交流电磁跟踪 器的发射器产生的场模式发生畸变，这些畸变的场会导致跟踪器计算的位置和方向结果 错误。 为减少畸变涡流的影响，a s c e n s i o n 技术公司开发出一种只在测量周期开始时产生 涡流的直流电磁跟踪器。这样，在涡流衰减到零时系统就会达到一种稳定的状态。 同交流电磁跟踪器的构成相似，直流电磁跟踪器由发射器、接收器和计算模块组成。 发射器由绕立方体芯子正交缠绕的三组线圈组成，它被严格地安装在基准构架上。立方 体芯子由磁性可穿透金属组成，可以集中涡流穿过任一组线圈时产生的磁力线。如果安 装时线圈没有相互正交，则需校准此跟踪器并把校正数据存储在查询表中。 发射器依次向三组发射器线圈输入直流电流，使每一组发射器线圈分别产生一个脉 冲调制的直流电磁场。一个完整的测量周期是1 0 m s ，由四个2 5 m s 的区间组成。在三 个连续的区间内，电流脉冲依次作用到三组发射器线圈上。在第四个区间内，发射器是 静止的，没有直流脉冲的作用。每一个直流脉冲都有一个严格控制的上升时间，根据由 跟踪器的位置输出确定的发射器对接收器的范围来确定，这就保证了系统的灵敏度保持 在一个很宽的发射器一接收器的操作范围内。 接收器也是有绕立方体芯子正交缠绕的三组独立的线圈组成。立方体的中央是一个 圆柱形的管子，四周缠绕着另一组励磁线圈。使用接收器就像使用一个三轴磁力计一样， 三向线圈几乎同时测量接收器单元所在的磁场的各个不同部分。 超声波跟踪是利用不同声源的声音到达某一特定地点的时间差、相位差、声压差等 进行空间位置的跟踪。 当然，除了上述几个重要技术之外，虚拟环境人机界面还有许多其它的技术，例如 9 华中科技大学硕士学位论文 力觉反馈技术、唇读技术、表情识别技术等。虽然目前这些技术都还存在许多技术问题 没有解决，但它们都是使虚拟环境人机界面更真实、自然、高效必不可少的技术。 1 2 6 多通道整合技术 虚拟环境人机界面是多通道界面和多媒体界面的结合，在多通道用户界面中涉及到 各种各样的交互设备，它们有着各不相同的操作特点和功能。例如键盘，它是字符输入 设备，用户通过手指敲击键盘和计算机进行交互；鼠标是指点设备，用户通过移动光标 对屏幕对象进行选取来与计算机进行交互；利用语音通道的自然语言识别工具；利用手 势通道的手势跟踪设备；利用视觉通道的眼神跟踪设备；利用表情通道的面部表情识别 设备等。这些设备的出现给用户灵活使用计算机提供了方便，但同时也给应用程序管理 和处理这些交互设备增加了困难。为了有效地利用多个通道来表达用户的意图，有必要 进行多通道整合。 通道整合是指用户在与计算机系统交互时，多个交互通道之间相互作用形成交互意 图的过程。例如在完成某个具体交互任务时，用户可能采用语音和手势两个通道，对任 何一个通道而言，通道信息可能都不精确，如果对两个通道进行整合，就可以获取用户 精确的交互意图1 2 】【3 】【4 9 】。 国内外对多通道人机交互界面进行了大量的研究，文献 2 、 3 】对多通道整合技术 进行了详细的研究和介绍，并提出了许多整合方法和算法。 1 3 本文的工作 由于虚拟现实人机界面涉及到光学、控制理论、传感器技术、计算机图形学、图形 图像识别、声学等多方面知识，所以无法一一深入。本文的主要工作就是在o p e n i n v e n t o r 程序开发包的基础上建立一个虚拟环境人机界面框架，构筑虚拟环境，应用5 d t 数据 手套、b l o c ko fb i r d s 传感器、3 d 立体眼镜等虚拟外部设备与传统的鼠标键盘相结合形 成一个多通道的虚拟环境人机交互界面原型系统，使用户能够感受到更好的沉浸感和更 方便自然的交互。并对手势输入技术，位置跟踪技术和多通道整合技术进行了研究和探 讨。 具体的工作如下： ( 1 ) 以o p e n l n v e n t o r 为基础，构建一个虚拟环境人机界面理论框架，涉及到虚拟场景 的构造、3 d 模型数据接口、多通道整合、虚拟外部设备的应用等方面； ( 2 ) 基于上述理论框架完成虚拟场景的构建； 一_ - _ 一 1 0 华中科技大学硕士学位论文 ( 3 ) 对手势输入技术、位置跟踪技术和多通道整合技术进行了研究和探讨，开发数据 手套和位置跟踪器接口组件，完成了通过手势进行人机交互的具有三维显示功能的虚拟 环境人机界面。 1 4 本章小节 本章简单介绍了课题的来源、目的及研究意义。对国内外虚拟现实人机界面的研究 现状以及三维显示、视线跟踪、三维声音生成、手势输入、位置跟踪、多通道整合等关 键技术的研究和应用进行了详细的阐述。最后给出了本文做的主要工作。 l l 华中科技大学硕士学位论文 2 虚拟环境人机界面架构 本章将基于o p e n l n v e n t o r 提出构造虚拟环境人机界面的理论框架。该框架主要包括 虚拟环境系统和人机交互界面系统，其中虚拟环境系统是整个框架的核心，人机交互界 面则是应用各种虚拟设备和虚拟环境进行交互。 2 ，1 系统结构 该系统由4 个主要的模块组成：虚拟场景，3 d 模型数据接口，多通道整合和 v r 设备接口。如图2 1 所示： 削2 1 系统平台架构 ( 1 ) 虚拟场景：它是虚拟现实系统平台的核心，负责三维场景的构造、绘制和管理， 以及系统的交互处理； ( 2 ) 3 d 模型数据接1 2 1 ：负责管理不同格式的造型数据，向虚拟场景提供统一的数据 接口： ( 3 ) 多通道整合：将来自多个通道的信息整合，消除单个通道的模糊性和不确定性： ( 4 ) v r 设备接口：用于建立对新的v r 设备的支持。 为了使该系统平台具有更好的开放性和扩展性，我们在整个开发过程中采用采用组 件( c o m ) 化程序设计方式。将应用系统分成多个模块组件，每个模块保持一定的功能 独立性，在协同工作时，通过相互之间的接口完成实际的任务。这些组件n - j 以单独开发， 华中科技大学硕士学位论文 单独编译，甚至单独调试和测试。将所有的组件开发完成后，把它们集成在一起就得到 了完整的应用系统。基于c o m 的应用系统很方便系统的维护和升级。 当系统的外界软硬件环境发生变化或者用户的需求有所更改时，并不需要对所有的 组件进行修改，而只需对受影响的组件进行修改，然后重新组合得到新的升级软件。图 22 体现了这样一个升级过程。 图2 2 组件应用系统的升级过程 在应用系统版本一的使用过程中，由于软件环境发生了变化，组件1 和组件4 受到 了影响，于是，在保持原来接口的基础上，对组件1 和组件4 进行了修改，分别得到了 组件1 和组件47 。把修改后的组件和其它组件合在一起得到了新的应用系统版本 二，它可以运行在新的软件环境下。于是在不修改组件2 、3 、5 、6 的情况下，完成 了软件的升级即l 。 2 2 人机界面的组成 在理想的情况下，虚拟环境人机界面应该是多传感器构成的人机交互方便的综合集 成系统，该系统所产生的图像的分辨率应该足够高，图像要十分丰富和自然( 主要指图 像的色彩和运动图像的连续性及实时显示) ，系统集成不会产生延迟，色彩和立体感要 足够好，音响的立体声效果要好，语音合成要足够逼真，用户使用该系统不会轻易感觉 疲劳，系统中的传感器系统应具有多个自由度，延迟时间要足够短【2 1 1 5 1 。具体组成如图 2 3 所示： ( 1 ) 分辨率足够高的立体显示设备，例如头盔显示器h m d 、3 d 立体眼镜、3 d 立体 显示器等： ( 2 ) 图像图形生成：产生以用户本人为视点的包括景物和运动目标的视景： ( 3 ) 人体语言识别：识别用户的手势、头势、体势等形体语言信息； ( 4 ) 头、眼、手、身体定位与跟踪：确定用户头、眼、手、和身体的位置与方向； 1 3 华中科技大学硕士学位论文 ( 5 ) 图形图像识别：对用户的视线进行跟踪，识别用户的观察方向、观察位置、视点 的远近等： ( 6 ) 立体声音响合成：生成以用户本人为原点的虚拟立体声音响效果； ( 7 ) 语音识别：识别用户的语音命令甚至会话内容； ( 8 ) 运动学系统：提供用户和目标运动的法则和规律； ( 9 ) 触觉系统：提供重力和压力的反馈： ( 1 0 ) 虚拟现实系统生成器：根据内部模型和外部环境的变化计算生成人在回路中的 逼真的虚拟环境。 图2 3 人机界面系统 该人机界面充分利用了目前最新的多通道人机交互技术和虚拟外设的最新研究成 果，使用户能够自然、高效地与虚拟环境进行交互。 2 3 虚拟场景 虚拟场景是系统的核心，主要负责三维场景的构造、绘制和管理，以及系统的交互 处理。这里以o p e n l n v e n t o r 为基础，并借鉴虚拟世界工具箱w t k 的部分机制，提出了 构造虚拟场景的理论框架。 -_-_-_一 1 4 华中科技大学硕士学位论文 2 2 1 场景结构 在这里我们采用类似于y r m l 和w t k 的场景图的方式组织场景，如图2 4 所示。 这样使得复杂场景的构造比较简单，场景节点的检索高效、便利，不同节点的转换、光 照效应易于隔离。 图2 4 场景层次结构图 场景图的组成单元是节点，每个场景图都是由根节点开始。处于同一层的节点称为 兄弟节点，七一层的节点称为父节点，下一层的节点称为予节点。没有子节点的节点称 为叶节点。某一节点的子树的节点称为该节点的后继，在树遍历中先被访问的节点称为 后被访问的节点的前趋节点【l “。 按照功能可以将场景中的节点分为内容节点、组织节点、过程节点和特殊节点，它 们在场景的构造中扮演着不同的角色。 内容节点：内容节点包括场景的四个要素，即几何体、光源、位置信息和雾。几何 体是需要绘制的节点，而后三个要素则作为绘制状态影响几何体的绘制。在内容节点中， 把包含位置和方位信息的节点称为转换节点。内容节点都只能作为场景图中得叶节点存 在。雾节点用于产生大自然中雾的效果，如果使用得当，还能产生其它特殊效果。雾节 点和其它节点的区别是：可以创建多个雾节点，但整幅场景中只能有一个雾节点起作用。 组织节点：该类节点担任了组织场景树的功能，它包括组节点、隔离节点、转换隔 离节点等。组节点的作用仅仅是作为其它节点的父节点。遍历访问组节点时，系统不作 任何处理，紧接着就访问它的第一个子节点。隔离节点是一种特殊的组节点，它除了具 有组节点的功能外，还能使它的子孙节点中的所有转换节点和光源节点及雾节点的效应 不会积累到它的兄弟节点和这些兄弟节点的子孙节点中。转换隔离节点和隔离节点的区 华中科技大学硕士学位论文 别在于只隔离它的子孙节点中转换节点的效应。 过程节点：包括开关节点和l o d 节点。开关节点除了具有组节点的作用外，它的 特性就是每次遍历时，按设定的条件选择它的一个子节点访问。开关节点的这个特性可 以方便地实现场景的动态切换，如简单的动画。l o d 节点和开关节点类似，它是根据 和视点的距离选择访问其中一个子节点。 特殊节点：包括根节点、嵌入节点、锚节点。锚节点包括一个字符属性，该字符串 为一个u r l ，指明和该节点相联系的v r m l 文件的路径和文件名的字符串属性。嵌入 节点的所有子节点都是由文件读入而刨建的。 以上的有些节点类型，如嵌入节点，锚节点，是v r m l 特有的，但o p e n l n v e n t o r 3 0 已经包含了v r m l 2 0 的所有节点，这样使得在读入和保存成为v r m l 文件格式时非常 方便、高效。 场景图的遍历采用深度优先的顺序，即从上到下、从左到右的顺序，以每帧一次的 频率遍历场景树。在遍历的过