虚拟现实第二章输入输出

1、1VR引擎输入设备软件和数据库用户任务VR系统结构交互性（Interactivity）是虚拟现实的三“I”特性之一。为了实现人与计算机之间的交互，需要使用专门设计的接口把用户命令输入给计算机，同时把模拟过程中的反馈信息提供给用户。回顾前文2（1）虚拟现实生成设备： 是一台或多台高性能计算机，是带有图形加速器和多条图形输出流水线的高性能图形计算机。（2）感知设备： 感知设备是指将虚拟世界各类感知模型转变为人能接受的多通道刺激信号的设备。然而，相对成熟的感知信息和生产和检测技术仅有视觉、听觉和力觉三种通道。 （3）跟踪设备： 跟踪设备用于跟踪并检测位置和方位，实现虚拟现实系统中人机交互操作。（4）

2、基于自然方式的人机交互设备： 应用手势、体势、眼神以及自然语言的人机交互设备，常见的有数据手套、数据衣服、眼球跟踪器及语音综合识别装置。虚拟现实系统的主要技术构成（硬件构成）3虚拟现实系统硬件配置示意图： 虚拟现实系统的主要技术构成4几种常用的虚拟现实设备： 高性能图形计算机环形屏幕头盔眼镜三维显示器三维鼠标手套虚拟现实系统的主要技术构成虚拟现实系统的硬件设备虚拟现实系统中，硬件设备由三部分组成：输入设备输出设备虚拟世界生成设备5第二章 虚拟现实的硬件设备输入设备 我们先去逛个超市。72.1 三维位置跟踪器三维空间中的活动对象有六个自由度，其中三个用于平移，三个用于旋转。如果在活动对象上捆绑一

3、个笛卡儿坐标系，那么它的平移将沿着X、Y和Z三个轴，沿着这些轴的旋转分别称为偏航（yaw）、俯仰（pitch）和滚动（roll）。当对象高速运动时，需要能迅速地测量出由这些参数定义的六维数据集。滚动俯仰偏航XYZ跟踪器：VR中用于测量三维对象位置和方向实时变化的专门硬件设备称为跟踪器。82.1.1 跟踪器的性能参数欧几里德距离跟踪位置数据跟踪器的精度分辨率实际对象位置精度重合性精度（accuracy）、分辨率、抖动（jitter）、偏差（drift）和延迟（latency）。精度：指对象真实的三维位置与跟踪器测量出的三维位置之间的差值。对于平移和旋转运动，需要分别给出跟踪精度（单位分别为毫米和

4、度）。精度通常不是一成不变的，而是随着离坐标系原点的距离的增加而降低。分辨率是指跟踪器能够检测出的被跟踪对象的最小三维位置变化。9抖动：指当被跟踪对象固定不变时，跟踪器输出结果的变化。 时间跟踪位置数据跟踪器的抖动实际对象位置噪声 如果被跟踪对象是固定的，那么没有抖动（并且没有偏差）的跟踪器应该测量出一个常数值。时间跟踪位置数据跟踪器的偏差实际对象位置偏差 抖动有时也称为传感器噪声，它使得跟踪器数据围绕平均值随机变化。偏差：指跟踪器随时间推移而累积的误差。 随着时间的推移，跟踪器的不精确度不断增长，从而使数据越来越没用。因此需要使用一个没有偏差的间接跟踪器周期性地对它进行零位调整，以便控制偏差

5、。10延迟：是动作与结果之间的时间差。对三维跟踪器来说，延迟是对象的位置/方向的变化与跟踪器检测这种变化之间的时间差。延迟时间跟踪位置数据跟踪器的延迟实际对象位置仿真中需要尽量小的延迟。延迟比较大的跟踪器会带来很大的时间滞后。在HMD的运动与用户所看到的虚拟场景的运动之间存在很大的时间滞后。这种时间上的滞后会导致“仿真病”(simulation sickness)，包括头痛、恶心和疲劳。用户感受到的是总延迟，或者说系统延迟，包括跟踪器测量对象位置变化的延迟，跟踪器与主计算机之间的通信时间延迟，以及计算机绘制和显示场景所需的时间。11（2）使用高速通信线路。如果传感器数据连续地发送给主计算机那么

6、跟踪器就以流模式工作。对于快速移动的对象，或者当应用程序要求快速响应移动对象的位置变化时，这种工作模式是非常适合的。但是，当需要传送大量数据时，通信线路的负担会非常重。降低系统延迟的有效方法（1）让跟踪器和通信的周期与显示周期同步，称为同步锁相（genlock)。同步锁相之后，计算机能及时接收跟踪器数据，并且整个系统的延迟降低了(3)使用高更新率的（采样率）的跟踪器更新率：指跟踪器每秒报告测量数据集的次数。 跟踪器的更新率一般介于每秒30个数据集到144个数据集之间，具体取决于所使用的跟踪技术。如果使用同一个跟踪器测量多个移动对象，采样率会受多路复用的影响。 132.1.2 机械跟踪器 VR仿

7、真中使用的第一个跟踪器是支撑Sutherland研究的基于CRT的HMD机械臂。该机械臂固定在天花板上，可以跟踪用户头部的相对运动。机械跟踪器：由一个串行或并行的运动结构组成，该运动结构由多个带有传感器的关节连接在一起的连杆构成。 每个连杆的维数是事先知道的，并且可供存储在计算机中的直接运动学计算机模型使用。这种模型可以根据实时读取的跟踪器关节传感器的数据，确定机械跟踪器的某个端点相对于其他端点的位置和方向。通过把一个端点固定在桌子或地板上，把另一个端点绑在对象上，计算机就能跟踪到这个对象相对于固定端的三维位置。 14优点：简单且易于使用；在跟踪器的工作范围内，它们的精度保持相对稳定，基本上取

8、决于关节传感器的分辨率；不受周围环境中的金属物质和磁场的影响；抖动比较小，延迟比较低；机械跟踪器与被跟踪对象之间没有视觉阻挡问题。缺点：由于机械臂的尺寸限制，它们的工作范围有限；由于跟踪器机械臂自身运动的妨碍，用户运动的自由度被减小；需要同时使用多个机械跟踪器时，问题就会变得更加混乱；还有一些和机械跟踪器重量有关的人机工程学问题，跟踪器的重量会带来一系列问题，会导致用户疲劳，从而不断降低在虚拟环境中的沉浸感。152.1.3 电磁跟踪器三维测量技术，在跟踪的过程中不应该妨碍用户的运动自由。非接触式三维测量技术主要有电磁、超声、红外照相、LED、加速计和陀螺仪几种。电磁跟踪器：是一种非接触式的位置

9、测量设备，它使用由一个固定发射器产生的电磁场，来确定移动接收单元的实时位置。16 （1）交流电磁跟踪器：应用VPL DataGlove ，Fastrack 。交流电磁跟踪器的问题是发射器的时变磁场会在周围的金属物质上产生涡流，这些涡流会产生自己的小磁场，因此接收器接收到的是一个扭曲了的电磁场，从而使精度相应降低。（2）直流电磁跟踪器：应用Flock of Birds。减轻畸变涡流的影响，在发射器产生磁场和接收器开始采样之间引入一个很短的延迟时间，从而消除涡流。交流电磁跟踪器与直流电磁跟踪器的比较交流电磁跟踪器和直流电磁跟踪器都是基于发射器磁场的局部值测量接收器与发射器之间的距离dtransmi

10、tter-receive的，其强度以与发射器之间距离的三次方的速度下降，而干扰磁场却相应地增加。 性物质对它们的干扰是不同的。 直流跟踪器或交流跟踪器附近的金属物质是周围环境中的另一个主要干扰源。 分类： 172.1.4超声波跟踪器超声波跟踪器：是一种非接触式的位置测量设备，使用由固定发射器产生的超声信号来确定移动接收单元的实时位置。超声波跟踪器是由发射器、接收器和电子单元三部分组成的，它的发射器由三个超声扬声器组成，安装在一个稳固的三角架上，互相间隔30cm。接收器也是由安装在一个稳固的小三角架上的三个麦克风组成的。三角架放置在头盔显示器的上面。当然，接收麦克风也可以安装在三维鼠标、立体眼镜

11、和其他输入设备上。由于它们的简单性，超声波跟踪器成为电磁跟踪器的廉价替代品。声速与室内气温变化之间的关系由下面的定律给出： 其中，c是声速，单位为m/s, Tk是用热力学温标计量的空气温度。 c(167.6+0.6Tk)缺点：受温度影响；采用多路复用，仿真延迟较大；空气中超声波有衰减；超声波跟踪器的发射器和接收器之间要求是畅通无阻；背景噪声和其他超声源也会破坏跟踪器的信号。 182.1.5光学跟踪器光学跟踪器：是一种非接触式的位里测量设备，使用光学感知来确定对象的实时位置和方向。 特点：基于三角测量，光路无遮拦；不受金属物质的干扰；具有较高的更新率和较低的延迟；工作范围较大。跟踪器的感知部件，

12、如电荷耦合装置（CCD）照相机、光敏二极管或其他光传感器是固定的，并且用户身上装有一些能发光的灯标，那么这种跟踪器称为从外向里看的(outside-looking-in)跟踪器。位置测量可以直接进行，方向可以从位置数据中推导出来。跟踪器的灵敏度随着用户身上的灯标之间距离的增加和用户与照相机之间距离的增加而降低。分类：人眼有126000000个感光器，这些感光器不均匀地分布在视网膜上。视网膜的中心区域（绕眼睛视轴几十度的范围）称为中央凹，它是高分辨率的色彩感知区域，周围是低分辨率的运动感知区域。被显示的图像中投影到中央凹的部分代表聚焦区。192.1.5光学跟踪器眼动仪在仿真过程中，观察者的焦点是

13、无意识地动态变化的。如果能跟踪到眼睛的动态变化，就可以探测到焦点的变化。2.1.5光学跟踪器212.2 数据手套数据手套是虚拟现实系统的重要组成部分,是一种通用的人机接口,其直接目的在于实时获取人手的动作姿态,以便在虚拟环境中再现人手动作,达到理想的人机交互目的。 数据手套实现的关键在于手掌、手指及手腕的各个有效部位的弯曲、外展等测量以及在此基础上的姿态的反演。完成反演主要取决于人体手部姿态的建模,最根本的就是,确定传感器测量数据和手部各关节运动姿态的对应关系。现在已经有多种传感手套产品，区别主要在于采用传感器的不同22对一个具体的数据手套应用过程,可设由手部各弯角组成的向量f = ( f1

14、, f2 , , fn )与对应传感器示数组成的向量d = ( d1 , d2 , , dn ) 。显然f和d之间存在着强耦合的映射关系。数据手套的实现即是根据示数向量d, 找出原映射关系的逆映射,从而反演出手部各部位的姿态。 手部软组织的存在,是人手和机械手区别的主要差异,使得人手无法和普通的刚性杆铰链相比,这就加大了问题求解的复杂性。 由于数据手套的传感器数目较多,而且响应的标定和解耦计算十分复杂,进行实时处理时困难较大,因此,目前数据手套的发展与应用只是处于初级阶段,还不十分成熟。2.2 数据手套23 (1) Dataglove (已注册商标)是VPL 公司于20世纪90年代推出的最早的

15、数据手套,以模型4(根据手套模型的自由度区分手套型号)为例说明: 手套本体材料:氯丁二烯橡胶布。 传感器:专利技术“光纤弯曲传感器”。 自由度(DOF) :手指关节的弯曲和外展、大拇指的复杂动作。 空间定位:根据应用场合可选择三维空间的单独跟踪、快速跟踪或其他跟踪系统。 测量精度: 5。 最大采样频率: 160 Hz。 接口: RS232,最高波特率115. 2 kbp s。 应用情况:被设计适用于VR的医学应用,能作为功能评估、击打损伤恢复、生物工程、运动生理等输入设备2.2 数据手套 评价:专利传感器技术,结构紧凑,佩戴舒适,轻便易用;采用桌面控制模块,能同时支持系4副手套;但是容易受用户

16、手尺大小影响,应用过程中需要重新校正(防止手套与手指之间滑动带来的误差) ,另外光纤的疲劳问题(光纤使用时间过长导致精度下降或折断)也值得注意。2.2 数据手套25(2) Cyberglove是Virtual Technologies公司于1991年推出的。 手套本体材料:弹性纤维,可拉伸,尺寸固定。 传感器:专利技术“压电传感器”。 自由度(DOF) :手指关节的弯曲和外展、大拇指、手掌弯曲、手腕的弯曲和外展。 空间定位:手腕处可安装六自由度跟踪器。 测量精度: 0. 5。 最大采样频率: 112 Hz。 接口: RS232,最高波特率115. 2 kbp s。 应用情况:可用于是虚拟现实、

17、遥控机器人、医学、CAD、手语识别、视频游戏、音乐生成、手功能分析等。 评价:质地很轻,佩戴舒适,手掌处成网状易于通风,指尖露出,便于用户抓取、写字等;专利“压电传感器”具有良好的线性和强健性,体型细小、柔软,对弯曲基本无阻力,受安装位置和手指的弯曲曲率半径影响很小,保证传感器准确可重复地测量手部运动,并对所有用户校正标准一致。2.2 数据手套26(3) Dataglove是5DT公司于1995年推出的数据手套系列(以5DTDataglove5为例) 。 手套本体材料:弹性纤维,手套尺寸固定,适用面广,分左右手。 传感器:光纤传感器。 自由度(DOF) : 5个手指的弯曲传感器、手掌的倾斜和转

18、动。 空间定位:无,可通过增加三维跟踪器来实现。 测量精度: 8位A /D采样,漂移扰动小。 最大采样频率: 200 Hz。 接口: RS232,支持无线收发。 应用情况:被设计为三维输入设备,适合对虚拟世界的控制和操作,手势识别,物理疗法和物理复原,远程机器人的控制等。 评价:质量有保证,适合大众的尺寸,左右手版本,佩戴非常舒适; PC的ISA总线可同时连接4个手套,开放式结构,鼠标仿真模式, VR 程序驱动,有DOS和W indows下的软件开发包;但是对不同用户需要重新校正,同样也存在疲劳问题。2.2 数据手套27数据手套应用现状及今后的研制发展方向 1)研制开发能够满足数据手套实用性要求的新型传感器 传感器技术是数据手套系统中的核心和关键技术,数据手套的交互能力直接取决于传感器的性能。目前尽管已经出现了多种数据手套专用传感器,但还不能真正满足数据手套的实用性要求。因此采用新技术、新材料、新结构,研制出精度高、体积小、成本低、不易损坏、易于更换的高性能传感器,是数据手套能否进一步商品化、实用化的关键2.2 数据手套28(2)研制技术成熟、性能可靠的力反馈装置 手指力反馈装置的