2023年虚拟现实技术概述

第一章虚拟现实技术概述

1.什么是虚拟现实技术

虚拟现实（VirtualReality,简称VR）技术是20世纪90年代以来

兴起的一种新型信息技术，它与多媒体、网络技术并称为三大前景最

好的计算机技术。它以计算机技术为主，利用并综合三维图形动技术、

多媒体技术、仿真技术、传感技术、显示技术、伺服技术等多种高科

技的最新发展成果，利用计算机等设备来产生一个逼真的三维视觉、

触觉、嗅觉等多种感官体验的虚拟世界，从而使处于虚拟世界中的人

产生一种身临其境的感觉。在这个虚拟世界中，人们可直接观察周围

世界及物体的内在变化，与其中的物体之间进行自然的交互，并能实

时产生与真实世界相同的感觉，使人与计算机融为一体。与传统的模

拟技术相比，VR技术的主要特征是：用户能够进入到一个由计算机

系统生成的交互式的三维虚拟环境中，可以与之进行交互。通过参与

者与仿真环境的相互作用，并利用人类本身对所接触事物的感知和认

知能力，帮助启发参与者的思维，全方位地获取事物的各种空间信息

和逻辑信息。

2.虚拟现实技术与三维动画技术的异同

VR技术和三维动画技术有本质的区别：三维动画技术是依靠计算

机预先处理好的路径上所能看见的静止照片连续播放而形成的，不具

有任何交互性，即不是用户想看什么地方就能看到什么地方，用户只

能按照设计师预先固定好的一条线路去看某些场景，它给用户提供的

信息很少或不是所需的，用户是被动的；而VR技术则截然不同，它

通过计算机实时计算场景，根据用户的需要把整个空间中所有的信息

真实地提供给用户，用户可依自己的路线行走，计算机会产生相应的

场景，真正做到“想得到，就看得到"。所以说交互性是两者最大的

不同。

下面来看一个应用的实例。房地产展示是这两个技术最常用的领域。

在现在的应用中，很多房地产公司采用三维动画技术来展示楼盘，其

设计周期长，模式固定，制作费用高；而同时在国内也已经有多家公

司采用VR技术来进行设计，其展示效果好，设计周期短，更重要的

是，它是基于真实数据的科学仿真，不仅可达到一般展示的功能，而

且还可以把业主带入到未来的建筑物里参观，还可展示如门的高度、

窗户朝向、某时间的日照、采光的多少、样板房的自我设计、与周围

环境的相互影响等。这些都是三维动画技术所无法比拟的。有关VR

技术与三维动画技术的比较见表Mo

表1-1

比较项

VR技术三维动画技术

目

虚拟世界基于真实数据建立的场景画面根据材料或想像

科学性模型组合而成，属于科学仿真直接绘制而与真实的世界

及场景系统。操纵者亲身体验三维空和数据有较大的差距，属

的选择间，可自由选择观察路径，有于演示类艺术作品。只能

性身临其境的感觉按预先假定的观察路径观

看。

操纵者可以实时感受到运动带只能单向演示，场景变化

实时交

来的场景变化，具有双向互动的画面需要事先制作生成

互性

的功能

空间立支持立体显示和三维立体声，

不支持

体感具有三维空间真实感

演示时没有时间限制，可真实详尽的受动画制作时间限制，无

间展示，性价比高法详尽展示，性价比低

方案应支持方案调整、评估、管理、

用信息查询等功能，同时又具有

只具有简单的演示功能

的灵活更真实直观的演示功能

性

3.虚拟现实技术的发展简史

VR技术的发展大致分为3个阶段：

20世纪50年代到70年代末，是VR技术的探索阶段；

20世纪80年代初期到80年代中期，是VR技术系统化、从实验

室走向实用的阶段；

20世纪80年代末期到达21世纪初，是VR技术高速发展的阶段。

第一套具有VR思想的装置是莫顿。海利希在1962年研制的称为

Senorama的具有多种感官刺激的立体电影系统，它是一套只能供个

人观看立体的设备，采用模拟电子技术与娱乐技术相结合的全新技

术，能产生立体声音效果，并能有不同的气味，座位也能根据剧情的

变化摇摆或振动，观看时还能感觉到有风在吹动。

在随后儿年中，艾凡.萨瑟兰在麻省理工学院开始头盔式显示器的

研制工作，人们戴上这个头盔式显示器，就会产生身临其境的感觉。

研制者们于1970年研制出了第一个功能较齐全的HMD系统。

美国的JaronLanier在20世纪律80年代初正式提出了Virtual

Reality一词。

20世纪80年代，美国国家航空航天局(NASA)及美国国防部组织了

一系列有关VR技术的研究，并取得了令人瞩目的研究成果。

进入20世纪90年代后，迅速发展的计算机硬件技术与不断改进的

计算机软件系统相匹配，使得基于大型数据集合的声音和图像的实时

动画制作成为可能，人机交互系统的设计不断创新，新颖、实用的输

入输出设备不断地涌入市场。

4.虚拟现实系统的构成

典型的VR系统主要由计算机、应用软件系统、输入输出设备、

用户和数据库等组成，如图1-1所示。

图1-1虚拟现实系统的一般构成

L计算机

在VR系统中，计算机负责虚拟世界的生成和人机交互的实现。

由于虚拟世界本身具有高度复杂性，尤其在某些应用中，如航空航天

世界的模拟、大型建筑物的立体显示、复杂场景的建模等，使得生成

虚拟世界所需的计算量极为巨大，因此对VR系统中计算机的配置提

出了极高的要求。

2.输入输出设备

在VR系统中，为了实现人与虚拟世界的自然交互，必须采用特

殊的输入输出设备，以识别用户各种形式的输入，并实时生成相应的

反馈信息。

3.VR的应用软件系统及数据库

VR的应用软件系统可完成的功能包括:虚拟世界中物体的几何模型、

物理模型、行为模型的建立，三维虚拟立体声的生成，模型管理技术

及实时显示技术，虚拟世界数据库的建立与管理等几部分。虚拟世界

数据库主要用于存放整个虚拟世界中所有物体的各个方面的信息、。

图1-2典型虚拟现实系统的结构框图

5.虚拟现实技术的特征

VR技术有3个主要特征：沉浸性(Immersion)、交互性

(Interactivity)和想像性(Imagination),如图1-3所示。

交互性(Interactivity)

八

沉浸感(Immersion)构想性(Imagination)

图1-3

(1)沉浸性

沉浸性(Immersion)是指用户感受到被虚拟世界所包围，好像完全

置身于虚拟世界中一样。VR技术最主要的技术特征是让用户觉得自

己是计算机系统所创建的虚拟世界中的一部分，使用户由观察者变成

参与者，沉浸其中并参与虚拟世界的活动。理想的虚拟世界应该达到

使用户难以分辨真假的程度，甚至超越真实，实现比现实更逼真的照

明和音响效果。

(2)交互性

交互性(Interactivity)的产生，主要借助于VR系统中的特殊硬

件设备(如数据手套、力反馈装置等)，使用户能通过自然的方式，

产生同在真实世界中一样的感觉。

(3)想像性

想像性(Imagination)指虚拟的环境是人想像出来的，同时这种

想像体现出设计者相应的思想，因而可以用来实现一定的目标。所以

说VR技术不仅仅是一个媒体或一个高级用户界面，同时它还是为解

决工程、医学、军事等方面的问题而由开发者设计出来的应用软件。

6.VR技术的意义

正是由于VR技术的广泛应用，并能够实现人与自然之间的和谐

交互，扩大对信息空间的感知通道，提高人类对跨越时空事物和复杂

动态事件的感知能力，把计算机应用提高到一个崭新的水平，其作用

和意义是十分重要的。

首先是在观念上的转变，它使人们对计算机的应用从“以计算机为主

体”变成“以人为主体”。

传统的信息处理环境一直强调的是“人适应计算机”，人与计算机通

常通过键盘与鼠标进行交互，这种交互是间接的，非直觉的和有限的。

而VR技术的目标或理念是要逐步使“计算机适应人”，人们要通过

视觉、听觉、触觉、嗅觉以及形体、手势或语言，参与到信息处理的

环境中去，并获得身临其境的体验。人们不必意识到自己在同计算机

打交道，而可以像在现实世界中处理事情一样同计算机交流，这就把

人从操作计算机的复杂工作中解放出来，使用计算机无需学习，操作

也异常简单而方便。

第二个转变发生在哲学中人们对“虚”和“实”之间的辩证关系

的理解上。

虚和实的关系是一个古老的哲学话题。我们是处于真实的客观世界

中，还是只处于自己的感知世界中，一直是唯物论和唯心论争论的焦

点。以视觉为例，我们所看到的世界，不过是视网膜上的影像。过去,

视网膜上的影像都是真实世界的反映，因此客观的真实世界同主观的

感知世界是一致的。现在，VR导致了二重性，VR的景物对人的感

官来说是实实在在存在的，但它又的的确确是虚构的东西，而且按照

虚构的东西行事，往往又会得出正确的结果。因此这就引发了哲学上

要重新认识“虚”和“实”之间的关系的研究。

7.虚拟现实系统的分类

在实际应用中，根据VR技术对沉浸程度的高低和交互程度的不

同，将VR系统划分了解4种类型：沉浸式VR系统、桌面式VR系

统、增强式VR系统、分布式VR系统。其中桌面式VR系统因其技

术非常简单，需投入的成本也不高，在实际应用中较广泛。

(1)桌面式VR系统

桌面式VR系统也称窗口VR,见图1-4所示，它是利用个人计算

机或图形工作站等设备，采用立体图形、自然交互等技术，产生三维

立体空间的交互场景，利用计算机的屏幕作为观察虚拟世界的一个窗

口，通过各种输入设备实现与虚拟世界的交互。

桌面式VR系统一般要求参与者使用空间位置跟踪定位设备和其他输

入设备，如数据手套和6个自由度的三维空间鼠标，使用户虽然坐在

监视器前，却可以通过计算机屏幕观察

360°范围内的虚拟世界。

在桌面式VR系统中，计算机的屏幕是用户观察虚拟世界的一个窗

口，在一些VR工具软件的帮助下，参与者可以在仿真过程中进行各

种设计。使用的硬件设备主要是立体眼镜和一些交互设备(如数据手

套、空间位置跟踪定位设备等)。立体眼镜观看计算机屏幕中虚拟三

维场景的立体效果，它所带来的立体视觉能使用户产生一定程度的沉

浸感。有时为了增强桌面式VR系统的效果，在桌面式VR系统中还可

以加入专业的投影设备，以达到增大屏幕观看范围的目的。

桌面式VR系统具有以下主要特点：

①对硬件要求极低，有时只需要计算机或是增加数据手套、空间位

置跟踪定位设备等。

②缺少完全沉浸感，参与者不完全沉浸，因为即使戴上立体眼镜，

仍然会受到周围现实世界的干扰。

③应用比较普遍，因为它的成本相对较低，而且它也具备了沉浸式

VR系统的一些技术要求。

作为开发者和应用者来说，从成本角度考虑，采用桌面式VR技术

往往被认为是从事VR研究工作的必经阶段。

图1-4桌面式VR系统

(2)沉浸式VR系统

沉浸式VR系统利用头盔显示器和数据手套等各种交互设备把用

户的视觉、听觉和其他感觉封闭起来，而使用户真正成为VR系统内

部的一个参与者，并能利用这些交互设备操作和驾驭虚拟环境，产生

一种身临其境、全心投入和沉浸其中的感觉（见图1-5）。沉浸式VR

系统的基本组成如图1-6所示。

图1-5沉浸式VR系统演示实例

沉浸式VR系统的特点

①高度的沉浸感。沉浸式VR系统采用多种输入与输出设备来营造

一个虚拟的世界，并使用户沉浸于其中，同时还可以使用户与真

实世界完全隔离，不受外面真实世界的影响。

②高度实时性。在虚拟世界中要达到与真实世界相同的感觉，如当

人运动时，空间位置跟踪定位设备需及时检测到，并且经过计算

机运算，输出相应的场景变化，并且这个变化必需是及时的，延

迟时间要很小。

图1-6沉浸式VR系统的基本组成

沉浸式VR系统的分类

常见的沉浸式VR系统有：基于头盔式显示器的VR系统、投影

式VR系统、遥在系统。

基于头盔式显示器采用头盔式显示器或投影式VR系统是或投影式显

示系统来实现完全投入。它把现实世界与之隔离，使参与者从听觉到

视觉都能投入到虚拟环境中去。

遥在系统是一种远程控制形式，常用于VR系统与机器人技术相

结合的系统。

（3）增强式VR系统

增强式VR系统简称增强现实（AR）,它既允许用户看到真实世界,

同时也能看到叠加在真实世界上的虚拟对象，它是把真实环境和虚拟

环境结合起来的一种系统，既可减少构成复杂场景的开销（因为部分

虚拟环境由真实环境构成），又可对实际物体进行操作（因为部分物

体是真实环境）。

增强式VR系统有以下3个特点：

①真实世界和虚拟世界融为一体。

②具有实时人机交互功能。

③真实世界和虚拟世界是在三维空间中整合的。

(4)分布式VR系统

分布式VR系统是VR技术的网络技术发展和结合的产物，是一个

在网络的虚拟世界中，位于不同物理位置的多个用户或多个虚拟世

界，通过网络连接成共享信息的系统。DVR系统的目标是在沉浸式VR

系统的基础上，将地理上分布的多个用户或多个虚拟世界通过网络连

接在一起，使每个用户同时加入到一个虚拟空间里(真实感三维立体

图形、立体声)，通过联网的计算机与其他用户进行交互，共同体验

虚拟经历，以达到协同工作的目的，它将虚拟提升到了一个更高的境

界。

VR系统运行在分布式世界中有2个方面的原因：一方面是充分利

用分布式计算机系统提供的强大计算能力；另一方面是有些应用本身

具有分布特性，如多人通过网络进行游戏和虚拟战争模拟等。

分布式VR系统的特点：

①各用户具有共享的虚拟工作空间。

②伪实体的行为真实感。

③支持实时交互，共享时钟。

④多个用户可用各自不同的方式相互通信。

⑤资源信息共享以及允许用户自然操纵世界中的对象。

目前，分布式VR技术主要被应用于远程虚拟会议、虚拟医学会

诊、多人通过网络进行游戏或虚拟战争模拟（见图1-7所示）等领域。

图1-7虚拟战争模拟

8.虚拟现实技术的研究现状及研究方向

VR技术领域几乎是所有发达国家都在大力研究的前沿领域，它的

发展速度非常迅速。基于VR技术的研究主要有VR技术与VR应用两

大类。在国外VR技术研究方面研究得较好的有美国、德国、英国、

日本、韩国等国家。在国内，浙江大学、北京航空航天大学等单位在

VR方面的研究工作开展得比较早，成果也较多。

（1）国外研究现状

①美国是VR技术的发源地，因而大多数研究机构都在美国。

美国宇航局（NASA）。Ames实验室一直是许多VR技术思想的发源

地。早在1981年，他们就开始研究空间信息显示，1984年又开始了

虚拟视觉环境显示（VIVED）项目。后来，其研究人员ScottFisher

还开发了虚拟界面环境（VIEW）工作站。Ames完善了HMD,并将VPL的

数据手套工程化，使其成为可用性较高的产品。目前，Ames把研究

的重点放在对空间站操纵的实时仿真上。

北卡罗来纳大学（UNC）对VR的研究主要在四个方面：分子建模、

航空驾驶问题、外科手术仿真、建筑仿真。他们解决了分子结构的可

视化，并已用于药物和化学材料的研究。

LomaLinda大学医学中心是一所经常从事高难度或有争议医学项

目研究的单位。他们成功地将计算机图形及VR的设备用于探讨与神

经疾病相关的问题。他们巧妙地将VPL的数据手套作为测量手颤动的

工具，将手的运动实时地在计算机上用图形表示出来，从而进行分析

诊断。

施乐公司研究中心在VR领域主要从事利用VR技术建立“未来办

公室”的研究。

SRI研究中心主要从事定位光标、视觉显示器、光学部件、触觉

与力反馈、三维输入装置及语言交互等研究。

英国在VR技术的研究与开发的某些方面，如分布式并行处理、辅

助设备（触觉反耳贵设备等）设计、应用研究等方面，在欧洲是领先的。

在德国，以德国FhG-IGD图形研究所和德国计算机技术中心（GMD）

为代表。它主要从事虚拟世界的感知、虚拟环境的控制和显示、机器

人远程控制、VR在空间领域的应用、宇航员的训练、分子结构的模

拟研究等。

德国的计算机图形研究所（IGD）测试平台，主要用于评估VR技

术对未来系统和界面的影响，向用户和生产者提供通向先进的可视

化、模拟技术和VR技术的途径。

日本主要致力于建立大规模VR知识库的研究，另外在VR游戏方

面的研究也做了很多的工作。东京大学的原岛研究室开展了3项研

究：人类面部表情特征的提取、三维结构的判定和三维形状的表示以

及动态图像的提取。东京大学的广沸!研究室重点研究VR的可视化问

题。为了克服当前显示和交互技术的局限性，他们开发了一种虚拟全

息系统。他们的成果有一个类似CAVE的系统，用HMD在建筑群中漫

游，制造出飞行仿真器等。

筑波大学工程机械学院研究了一些力反馈显示方法。他们开发了9

自由度的触觉输入器并开发了虚拟行走原型系统，步行者只要脚上穿

上全方向的滑动装置，他就能交替迈动左脚和右脚。

(2)国内研究现状

2003年，由浙江大学CAD&CG国家重点实验室牵头，由浙江大学、

中科院软件所、清华大学、北京航空航天大学等联合申报的2002年

度《国家重点基础研究发展规划》(即973项目)中的“虚拟现实的

基础理论、算法及其实现”获批准立项。对虚拟环境的建立、自然人

机交互、增强式VR、分布式VR、VR在产品创新中的应用等技术进行

联合攻关。

北京航空航天大学计算机系是国内最早进行VR研究的机构之一，

他们首先进行了一些基础知识方面的研究，并着重研究了虚拟世界中

物体物理特性的表示与处理，在VR中的视觉接口方面开发出了部分

硬件，并提出了有关算法及实现方法。他们还实现了分布式虚拟世界

网络设计，建立了网上VR研究论坛，可以提供实时三维动态数据库,

提供VR演示世界，提供用于飞行员训练的VR系统，提供开发VR系

统的开发平台，并将要实现与有关单位的远程连接。开发了直升机虚

拟仿真器、坦克虚拟仿真器、虚拟战场环境观察器、计算机兵力生成

器。

清华大学计算机科学和技术系对VR和临场感的方面进行了研究，

例如球面屏幕显示和图像随动、克服立体图闪烁的措施和深度感实验

等方面都具有不少独特的方法。他们还针对室内环境中水平特征丰富

的特点，提出借助图像变换，使立体视觉图像中对应水平特征呈现形

状一致性，以利于实现特征匹配，并获取物体三维结构的新颖算法。

对虚拟现实及其临场感等方面进行了大量研究，其中有不少方案和方

法都独具特色，比如球面屏幕显示和图像随动、克服立体图闪烁的措

施和深度感实验测试等。

北京科技大学成功开发出了纯交互式汽车模拟驾驶培训系统。该

系统的三维图形非常逼真，虚拟环境与真实的驾驶环境几乎没有什么

差别，因此投入使用后效果良好。

西安交通大学信息工程研究所对VR中的关键技术一一立体显示技

术一一进行了研究。他们在分析人类视觉特性的基础上提出了一种基

于JPEG标准压缩编码的新方案，并获得了较高的压缩比、信噪比以

及解压速度，并且已经通过实验结果证明了这种方案的优越性。

2004年南京大学成立了南京大学虚拟现实与教学媒体研究中心，

对VR技术及应用进行研究，并把重点放在虚拟体育仿真、数字文化

遗产保护和自然人机交互等方面。

国内在VR方面有较多研究成果的其他单位还有国防科技大学、天

津大学、北京理工大学、中国科学院自动化研究所、西北大学、山东

大学、大连海事大学和香港中文大学等。

(3)目前虚拟现实技术的局限性

①硬件设备的局限性

1.相关设备普遍存在使用不方便、效果不佳等情况

2.硬件设备品种有待进一步扩展

3.VR系统应用的相关设备价格也比较昂贵且局限性很大

②软件的局限性

从软件上来说，现在大多数VR软件普遍存在语言专业较强，通用

性较差，易用性差等问题。同时，由于硬件设备的诸多局限性，使得

软件的开发费用也十分巨大，并且软件所能实现的效果受到时间和空

间的影响较大，很多算法及许多相关理论也不成熟。

③应用的局限性

从应用上来说，现阶段VR技术的主要应用在军事领域较多，在各

高校科研方面较多，在教育领域、工业领域应用还远远不够，有待进

一步加强。未来的发展应努力向民用方向发展，并在不同的行业发挥

作用。

④效果的局限性

1.虚拟世界的表示侧重几何表示，缺乏逼真的物理、行为模型。

2.在虚拟世界的感知方面，有关视觉合成研究多，听觉、触觉(力

觉)关注较少，真实性与实时性不足。

3.在与虚拟世界的交互中，自然交互性不够，在语音识别等人工

智能方面的效果还远不能令人满意。

(4)VR技术的研究方向

①感知研究领域

在听觉方面应加强听觉模型的建立，提高虚拟立体声的效果，并

积极开展非听觉研究；在触觉方面，要开发各种用于人类触觉系统的

基础研究和VR触觉设备的计算机控制的机械装置。

②人机交互界面

开展独立于应用系统的交互技术和方法的研究，建立软件技术交

换机构以支持代码共享、重用和软件投资，并鼓励开发通用型软件维

护工具。

③高效的VR软件和算法

积极开发满足VR技术建模要求的新一代工具软件及算法、虚拟现

实建模语言的研究、复杂场景的快速绘制及分布式VR技术的研制。

④廉价的VR硬件系统

VR技术的主要研究方向是在外部空间的实用跟踪技术、力反馈技

术、嗅觉技术及面向自然的交互硬件设备。

⑤智能虚拟环境

智能虚拟环境是虚拟环境和人工智能与人工生命两种技术的结

合。它涉及多个不同学科，包括计算机图形、虚拟环境、人工智能与

人工生命、仿真、机器人等。

第二章虚拟现实系统的交互设备

三维交互设备用于把各种信息输入计算机，并向用户提供相应的

反馈，它们是使参与者能以人类自然技术与虚拟环境交互的必要工

具。根据传感渠道以及在功能和目的上的不同，虚拟现实系统的三维

交互设备主要被分为三维跟踪传感设备、立体显示设备、人机交互设

备以及系统集成设备等几大类。

1.VR的三维跟踪传感设备

虚拟现实技术是在三维空间中与人交互的技术，为了能及时、准

确地获取人的动作信息、，需要有各类高精度、高可靠的跟踪、定位设

备。例如，为了感知参与者的视线，需要跟踪观察者头部的位置和方

向；为了在虚拟环境中移动物体或参与者的身体，就要跟踪观察者各

肢体的位置，包括从手到全身各部位的位置等。因此，必须要研制与

三维交互相适应的跟踪装置（如图2-1所示），而这种实时跟踪以及

交互装置主要依赖于传感器技术，它是VR系统中实现人机之间沟通

的极其重要的通信手段，是实时处理的关键技术。

图2-1Polhemus的Fastrak跟踪定位器

VR的各种应用基本上都是采用跟踪用户头部或手的运动，也有监

测使用者的眼睛）即视线）或面部表情的系统。常用的跟踪传感技术

主要有电磁波、超声波、机械、光学和图像提取等几种方法，它们被

广泛地应用在头盔显示器、数据手套等三维交互设备的功能设计中。

（1）电磁波跟踪器

这是一种最为常用的跟踪器，它使用一个信号发生器（3个正交线

圈组）产生低频电磁场，然后由放置于接收器中的另外三组正交线圈

组负责接收，通过获得的感生电流和磁场场强的9个数据来计算被跟

踪物体的位置和方向（如图2-2所示）。电磁波跟踪器体积小、价格

便宜、用户运动自由，而且敏感性不依赖于跟踪方位，但是其系统延

迟较长，跟踪范围小，且准确度容易受环境中大的金属物体或其他磁

场的影响。

磁场

驱动电路<--------1处埋器.--------检测电路

输出方位数据

图2-2交流电磁跟踪系统的工作原理

（2）超声波跟踪器

超声波跟踪器的工作原理是发射器发出高频超声波脉冲（频率

20kHz以上）后，由接收器计算收到信号的时间差、相位差或声压差

等，就可以跟踪物体的距离和方位了。超声波跟踪器的性能适中，成

本低廉，而且不会受外部磁场和大块金属物质的干扰。但是，它的敏

感性却容易受接收器的方位和空气密度的影响。

按照测量方法的不同，超声波位置跟踪技术通常可以分为两大类,

它们是飞行时间测量法和相位相干测量法。其中，声波飞行时间跟踪

是通过测量声波的飞行时间延迟来确定距离的。它同时使用多外发射

器和接收器，以便获得一系列的距离量，从而计算出准确的位置和方

向。这种方法具有较好的精确度和响应性，但容易受到外界噪音脉冲

的干扰，同时数据传输率还会随着监测范围的扩大而降低，因而比较

适用于小范围内的操作环境。相位相干跟踪则是通过比较基准信号和

传感器监测到的发射信号之间的相位差来确定距离的。由于相位可被

连续测量，因而这种方法具有较高的数据传输率。同时一，多次的滤波

还可以保证系统监测的精度、响应性以及耐久性等，而不受到外界噪

声的干扰。

(3)光学跟踪器

光学跟踪也是一种较为常见的跟踪技术。这种跟踪器可以使用自

然光、激光或红外线等作为光源，但为避免干扰用户的观察视线，目

前多采用红外线方式。与电磁波和超声波这两种跟踪器相比，光学系

统的可工作范围小，但其数据处理速度、响应性都非常好，因而较适

用于头部活动范围相当受限、但要求具有较高刷新率和精确率的实时

应用。

(4)其他空间跟踪系统

①机械跟踪器

②惯性跟踪器

③图像提取跟踪器

2.VR的立体显示设备

对虚拟世界的沉浸感主要依赖于人类的视觉感知，因而三维立体

视觉是虚拟现实技术的第一传感通道。虽然桌面式VR系统中可以使

用普通的计算机屏幕作为显示设备，但它却不能提供大视野、双眼的

立体视觉效果。因此，我们需要一些专门的立体显示设备来增强用户

在虚拟环境中视觉沉浸感的逼真程度。现阶段常用的显示设备主要有

立体眼镜、头盔式显示器、双目全方位显示器、大屏幕投影等。

(1)头盔式显示器

头盔式显示器(HMD)是VR系统中普通采用的一种立体显示设备，

它通常安装在头部，并用机械的方法固定，头与头盔之间不能有相对

运动，在HMD上配有空间位置跟踪定位设备，能实时检测出头部的位

置，VR系统能HMD的屏幕上显示出反映当前位置的场景图像。它通

常由两个LCD或CRT显示器分别向左右眼提供图像，这两个图像由计

算机分别驱动的，两个图像间存在着微小的差别，类似于“双眼视差”。

通过大脑将两个图像融合以获得深度感知，得到一个立体的图像。州D

可以将参与者与外界完全隔离或部分的隔离，因而已成为沉浸式VR

系统与增强式VR系统不可缺少的视觉输出设备，图2-3为两种头盔

式显示器。

图2-3VirtualResearchV8和Proview60两种

头盔式显示器

(2)双目全方位显示器(BOOM)

BOOM是一种可移动式显示器。它由两个互相垂直的机械臂支撑，

这不仅让使用者可以在半径约2米的球面空间内自由移动，还能将显

示器的重量加以巧妙的平衡而使之始终保持水平，不受平台的运动影

响。在支撑臂上的每个节点处都有位置跟踪器，因此BOOM和头盔显

示器一样有实时的观测和交互能力。

与头盔显示器相比，BOOM采用高分辨率的CRT显示器，因而其分

辨率高于HMD,且图像柔和。BOOM的位置及方向跟踪是通过计算机械

臂节点角度的变化来实现的，因而其系统延迟小，且不受磁场和超声

波背景噪音的影响。虽然它的沉浸感稍差些，但使用这种设备可以自

由的进出虚拟环境，使用者只要把头从观测点转开，就离开虚拟环境

而进入现实世界，因此具有方便灵活的应用特点。BOOM的缺点是使

用者的运动受限，这是因为在工作空间中心支撑架造成了“死区”。

图2-4是一种用于设计核潜艇的BOOM显示器。

图2-4用于设计核潜艇的BOOM显示器

（3）CRT终端——液晶光闸眼镜

CRT终端一一液晶光闸眼镜立体视觉系统的工作原理是：由计算机分

别产生左、右眼的两幅图像，经过合成处理后，采用分时交替的方法

显示于CRT终端上。用户则佩戴一副与计算机相连的液晶光闸眼镜，

眼镜的左、右镜片在驱动电信号的作用下，将以与图像显示同步的速

率交替“开”（透光）、“闭”（遮光），即当计算机显示左眼图像时，

右眼透镜将被遮闭，而当计算机显示右眼图像时，左眼透镜则被遮闭。

这样做可以让用户的左、右眼分别只看到相应的左、右图像。根据双

目视差与深度距离的正比关系，人的视觉生理系统就可以自动将这两

幅视差图像融合成一个立体视像了（如图2-5所示）。

图2-5CRT终端——液晶光闸眼镜显示

CRT终端——液晶光闸眼镜相对于头盔显示器和BOOM的特点：

①设备价格低、重量轻使用、舒适。

②比头盔显示器的形成的图像清晰

③图像亮度不如普通屏幕好

④沉浸感较差。

（4）大屏幕投影一一液晶光闸眼镜

此设备要求用于投影的CRT或数字投影机要求具有极高的亮度和分

辨率，它适合于在较大的视野内产生投影图像的应用需求（如图2-6

所示）。例如美国芝加哥大学研制的CAVE系统。它构造了一个由4面

投影屏幕形成的立方体虚拟环境，又被称为“洞穴”。各屏幕（背投

式）同时显示从某一固定观察点看到的所有视像，由此提供一种全景

式的环境。该系统需要复杂而又昂贵的计算机投影控制系统：它通常

采用球面大屏幕，投影机位于球心，具有与双摄像机立体观察器相同

的俯仰和偏转两个位置，并始终保持以观察者为正前方在球屏上相应

移动，从而形成一定的视景环绕感。投影式VR系统对一些公众场合

中很理想的，例如艺术馆或娱乐中心，因为参与者几乎不需要任何专

用硬件，而且还允许很多人同时享受一种虚拟现实的经历。

图2-6大屏幕投影一一液晶光闸眼镜显示

(5)三D显示器

三D显示器不需要用户戴上专门的眼镜也能观察到立体的图像。

这项技术不同于普通显示器中的发射与反射类型，如图2-7所示，它

把光源从显示器的下面向上发射，通过显示器内部的发射与折射，使

用户能看到立体的图像。这项技术的一个显著优点在于对显示器周围

的环境没有任何严格的要求。这种显示器目前面临的主要问题是制作

成本太高，因而尚未商品化，它属于新发明，在未来有希望成为三维

可视化的一种理想显示工具。

图2-7三D显示器

3.虚拟现实的人机交互设备

一般的跟踪、探测设备都具有简单、紧凑和易于操作等优点，但由

于它们自身构造的限制，使操作者手的活动自由度仅限于在桌上的一个

小区域中，减弱了它与虚拟世界交互作用的直观性。VR技术的一项重大

突破就是用手来代替键盘、鼠标，作为人与计算机交互的一种重要手段。

借助各种专用的设备代替键盘、鼠标，作为人与计算机交互的一种重要

手段，操作者不但可以获得大范围的基于手势的交互操作，同时可以通

过身体的各个部位的运动来感知，增加了人在虚拟空间中的自由度和灵

活性。

(1)数据手套

数据手套(DataGlove)是VPL公司在1987年推出的一种传感手套

的专有名称。到现在，数据手套是一种被广泛使用的传感设备，它是一

种戴在用户手上的虚拟的手，用于与VR系统进行交互，可在虚拟世界

中进行物体抓取、移动、装配、操纵、控制，并把手指伸屈时的各种姿

势转换成数字信号送给计算机，计算机通过应用程序来识别出用户的手

在虚拟世界中操作时的姿势，执行相应的操作。在实际应用中，数据手

套还必须配有空间位置跟踪定位设备，检测手的实际位置和方向。

现在已经有多种传感数据手套问世，它们之间的区别主要在于采用的传

感器不同。目前典型的数据手套有以下几种：

①VPL数据手套

VPL数据手套是由轻质的富有弹性的Lycra材料制成.它采用光纤作

为传感器，用于测量手指关节的弯曲程度.采用光纤作为传感器是因为

光纤体积小、重量轻，可方便地安装在手套上。数据手套的标准配置是

每个手指上有两个传感器控制装在手指背面的两条光纤环，一副数据手

套就装有10个传感器，用来测量手指主要关节的弯曲程度。

②赛伯手套

赛伯手套(CyberGlove)是为把美国手语翻译成英语所设计的。在

手套上织有多个由两片应变电阻片组成的传感器，它在工作时检测成对

的应变片电阻变化。当手指弯曲时一片受到挤压，另一片受到拉伸，使

两个电阻片的电阻分别发生变化，通过电桥换算出相应的电压变化，再

把此数据量送入到计算机中处理，从而检测到各手指的弯曲状态。

③DHM手套

这是一金属结构的传感手套，通常安装在用户的手臂上，其安装及

拆卸过程相对比较烦琐，在每次使用前需进行调整。在每个手指上安装

有4个位置传感器，共采用20个霍尔传感器安装在手的每个关节处。

DHM传感手套响应速度快、分辨率高、精度高，但价格较高。常用于精

度要求较高的场合。

(2)数据衣

数据衣是采用与数据手套同样的原理制成的，数据衣是为了让VR系

统识别全身运动而设计的输入装置。它将大量的光纤安装在一件紧身衣

上，可以检测人的四肢、腰部等部位的活动，以及各关节(如手腕、肘

关节)弯曲的角度。它能对人体的大约50多个不同的关节进行测量，

通过光电转换，将身体的运动信息送入计算机进行图像重建，如图2-8

所示，目前，这种设备正处于研发阶段，因为每个人的身体差异较大，

存在着如何协调大量传感器之间实时同步性能等各种问题，但随着科技

的进步，此种设备必将有较大的发展。

数据衣主要应用在一些复杂环境中，对物体进行的跟踪和对人体运

动的跟踪与捕捉。

图2-8数据衣

(3)三维控制器

①三维空间鼠标

三维空间鼠标(3DMouse)可以完成虚拟空间中6自由度的操作，

其工作原理是在鼠标内部安装超声波或电磁发射器，利用配套的接收设

备可检测到鼠标在空间中的位置与方向。三维空间鼠标与其他设备相比

其成本低，常驻应用于建筑设计等领域。

②力矩球

力矩球(SpaceBall)的中心是固定的，并装有6个发光二极管，

球有一个活动的外层，也装有6个相应的光接收器。当使用者用手对球

的外层施加力或力矩时一，根据弹簧形变的法则，6个光传感器测出3个

力和3个力矩的信息，并将信息传送计算机，即可计算出虚拟空间中某

物体的位置和方向等。

力矩球通常被安装在固定平台上，可以用手作扭转、挤压、压下、

拉出、来回摇摆等操作，它采用发光二极管和光接收器来测量力，通过

安装在球中心的几个张力器来测量出手施加的力，并将数据转化为3个

平移运动和3个旋转运动的值送入计算机中，如图2-9所示。力矩球的

优点是简单而且耐用；缺点是可以操纵物体，但在选取物体时不够直观,

在使用前一般要进行培训与学习。

图2-9力矩球

(4)三维模型数字化仪

三维模型数字化仪又称三维扫描仪或三维扫描数字化仪，是一种先

进的三维模型建立设备，利用CCD成像、激光扫描等手段实现物体模型

的取样，同时通过配套的矢量化软件对三维模型数据进行数字化，如图

2T0所示。它特别适合于建立一些不规则三维物体模型，如人体器官和

骨胳模型、出土文物、三维数字模型的建立等，在医疗、动植物研究、

文物保护等VR应用领域有广阔的应用前景。

图2-10三维模型数字化仪扫描石膏像

三维模型数字化仪的工作原理是：由三维模型数字化仪向被扫描的

物体发射激光，通过摄像机从每个角度扫描并记录下物体各个面的轮廓

信息、，安装在其上的空间位置跟踪定位设备也同步记录下三维模型数字

化仪的位置及方向的变换信息，将这些数据送入计算机中，再采用相应

的软件进行处理，得到与物体对应的三维模型。

4.VR硬件的系统集成

虚拟现实系统中通常包括大量需要处理来自各种设备的感知信

息、模型和数据，因此，建立一个以计算机为核心，将多种I/O交互

设备协调组合在一起的硬件平台，是VR系统集成的关键技术。计算

机系统作为虚拟现实系统的核心，必须具有足够强大的功能才能完成

实时处理、数据输入/输出、虚拟境界的管理和生成等功能。它一方

面要保障虚拟三维场景的实时计算和显示，尽量减少延迟，另一方面

还要协调各种I/O交互设备之间的工作，以确保系统整体运行的性

能，见图2-11。

图2-11某一VR硬件集成系统的组成

第三章虚拟现实系统的相关技术与软件

VR系统的目标是由计算机生成虚拟世界，用户能与之进行视觉、听

觉、触觉、嗅觉等全方位交互。要达到这种目标，除了需要有一些专业

的硬件设备，还必须有较多的相关技术及软件加以保证。如要达到观察

一个三维场景，并且随视角不同能实时显示变化的场景图像。我们知道

只有设备是远远不够的，还必须有相应的压缩算法等技术相支持，由此

可见，实现VR系统除了需要功能强大的硬件设备支持以外，对其相关

的软件和技术也提出了较高要求。

1.环境建模技术

虚拟环境的建立是VR技术的核心内容，虚拟环境是建立在建模基

础之上的，只有设计出反映研究对象的真实有效的模型，VR系统才有可

信度。虚拟环境建模的目的是获取实际环境的三维数据，并根据应用的

需要，利用获取的三维数据建立相应的虚拟环境模型。

VR系统中环境的建模技术与其图形建模技术相比，主要特点表现在

以下3个方面：

①虚拟环境中可以有很多物体，往往需要建造大量完全不同类型

的物体模型。

②虚拟环境中有些物体有自己的行为，而其他图形建模系统中一

般只有构造静态的物体，或是物体简单的运动。

③虚拟环境中的物体必须有良好的操纵性能，当用户与物体进行

交互时，物体必须以某种适当的方式来作出反应。

VR系统包括三维视觉和三维听觉建模等。在当前应用中，环境建模

一般主要是三维视觉建模。三维视觉建模又是可分为几何建模、物理建

模、行为建模等。几何建模是基于几何信息来描述物体模型的建模方法,

它处理对物体的几何形状的表示，研究图形数据结构的基本问题；物理

建模是涉及物体的物理属性；行为建模是反映研究对象的物理本质及其

内在的工作机理。

(1)几何建模技术

几何建模技术主要研究对象是对物体几何信息的表示与处理，它是

涉及表示几何信息数据结构，以及相关的构造与操纵数据结构的算法建

模方法。

几何建模通常采用以下4种方法：

①利用VR工具软件来进行建模。如：OpenGL.Java3D、VRML等。

②直接从某些商品图形库中选购所需的几何图形，这样可以避免

直接用多边形或三角形拼构某个对象外形时烦琐的过程，也可节省大量

的时间。

③利用常用建模软件来进行建模。如AutoCAD、3DSMAX.

Softimage、Pro/E等，用户可交互式地创建某个对象的几何图形。

④直接利用VR编辑器。如Dimension公司的VRT3和Division公

司的Amaze等都具有这种功能。

(2)物理建模技术

建模技术进一步发展的产物是物理建模，也就是在建模时要考虑对

象的物理属性。典型的物理建模技术有分形技术和粒子系统。

①分形技术

分形技术是指可以描述具有自相似特征的数据集。自相似的典型例

子是树，若不考虑树叶的区别，当我们靠近树梢时，树的树梢看起来也

像一棵大树，由相关的一组树梢构成的一根树枝，从一定的距离观察也

像一棵大树。当然，由树枝构成的树从适当的距离看时自然也是棵树。

虽然，这种分析并不十分精确，但比较接近。这种结构上的自相似称为

统计意义上的自相似。

自相似结构可用于复杂的不规则外形物体的建模。该技术首先被用

于河流和山体的地理特征建模。举个简单的例子来说，我们可利用三角

形来生成一个随机高度的地形模型。取三角形三边的中点并按顺序连接

起来，将三角形分割成4个三角形，在每个中点随机地赋予一个高度值,

然后，递归上述过程。我们就可产生相当真实的山体。

分形技术的优点是用简单的操作就可以完成复杂的不规则物体建

模，缺点是计算量太大，不利于实时性。因此，在VR系统中一般仅用

于静态远景的建模。

②粒子系统

粒子系统是一种典型的物理建模系统，粒子系统是用简单的体素完

成复杂的运动建模。所谓体素是用来构造物体的原子单位，体素的选取

决定了建模系统所能构造的对象范围。粒子系统由大量称为粒子的简单

体素构成，每个粒子具有位置、速度、颜色和生命期等属性，这些属性

可根据动力学计算和随机过程得到。在VR系统中，粒子系统常用于描

述火焰、水流、雨雪、旋风、喷泉等现象及动态的物体建模。

(3)行为建模技术

行为建模负责物体的运动和行为的描述。如果说几何建模是VR建

模的基础，行为建模则真正体现出VR的特征。一个VR系统中的物体若

没有任何行为的反应，则这个VR系统是静止的、没有生命的，对于VR

用户是没有任何意义的，所以说行为建模技术才真正体现了VR的特征。

行为建模技术主要研究的是物体运动的处理和对其行为的描述，体

现了虚拟环境中建模的特征。也就是说行为建模就是在创建模型的同

时，不仅赋予模型外形、质感等表现特征，同时也赋予模型物理属性和

“与生俱来”的行为与反应能力，并且服从一定的客观规律。在虚拟环

境行为建模中，建模方法主要有运动学与动力学仿真方法。

①运动学方法

运动学方法是通过几何变换，如物体的平移或旋转等来描述运动。

在运动控制中，无须知道物体的物理属性。在关键帧动画中，运动是通

过显示指定几何变换来表现的。首先设置儿个关键帧用来区分关键的动

作，其他动作根据各关键帧可通过内插等方法来完成。

由于运动学方法产生的运动是基于几何变换的，复杂场景的建模将

显得比较困难。

②动力学仿真

运动力学仿真运用物理定律而非几何变换来描述物体的行为。在该

方法中，运动是通过物体的质量和惯性、力、和力矩以及其他的物理作

用计算出来的。这种方法的优点是对物体运动的描述更精确，运动更加

自然。

采用运动学方法与动力学仿真都可以模拟物体的运动行为，但各有

其优越性和局限性。运动学方法可以做得很真实和高效，但相对应用面

不广；而动力学仿真技术利用真实规律精确描述物体的行为，比较注重

物体间的相互作用，较适合物体间交互较多的环境建模，它有着广泛的

应用领域。

2.实时三维图形绘制技术

实时三维图形绘制技术指利用计算机为用户提供一个能从任意视点

及方向实时观察三维场的手段，它要求当用户的视点改变时，图形显示

速度也必须跟上视点的改变速度，否则就会产生迟滞现象。

由于三维立体图包含有比二维图形多更多的信息，而且虚拟场景越

复杂，其数据量就越大。因此，当生成虚拟环境的视图时、必须采用高

性能的计算机及设计好的数据组织方式，从而达到实时性的要求，至少

保证图形的刷新频率不低于15帧/秒，最好是高于30帧/秒。

(1)基于儿何图形的实时绘制技术

为了保证三维图形的显示能实现刷新频率不低于30帧/秒。除了在

硬件方面采用高性能的计算机外，还必须选择合适的算法来降低场景的

复杂度(即降低图形系统处理的多边形数目)。目前，用于降低场景的

复杂度，以提高三维场景的动态显示速度的常用方法有预测计算、脱机

计算、场景分块、可见消隐、细节层次模型等，其中细节层次模型应用

较为普遍。

①预测计算

根据物体的各种运动规律，如手的移动，可在下一帧画面绘制之前

用预测的方法推算出手的位置，从而减少由输入设备所带来的延迟。

②脱机计算

由于VR系统是一个较为复杂的系统，在实际应用中可以尽可能将一

些可预先计算好的数据进行预先计算并存储在系统中，这样可加快需要

运行时的速度。

③场景分块

将一个复杂的场景划分成若干个子场景，各个子场景间几乎不可见

或完全不可见。

④可见消隐

场景分块技术与用户处的场景位置有关，而可见消隐技术则与用户

的视点关系密切。使用这种方法，系统仅显示用户当前能''看见”的场

景，当用户仅能看到整个场景中很小部分时，由于系统仅显示相应场景,

此时可大大减少所需显示的多边形的数目。然而，当用户“看见”的场

景较复杂时，这种方法作用就不大。

⑤细节层次模型

所谓细节层次模型(LevelOfDetail,LOD),是对同一个场景或场景

中的物体使用具有不同细节的描述方法得到的一组模型。

(2)基于图像的绘制技术

基于图像的绘制技术(ImageBasedRending,IBR)是采用一些预先

生成的场景画面,对接近于视点或视线议程的画面进行交换、插值与变

形，从而快速得到当前视点处的场景画面。

与基于几何的传统绘制技术相比，基于图像的实时绘制技术的优势

在于：

①图形绘制技术与场景复杂性无关，仅与所要生成画面的分辨率有

关。

②预先存储的图像(或环境映照)既可以是计算机生成的，也可以

是用相机实际拍摄的画面，也可以两者混合生成。它们都达到满意的绘

制质量。

③对计算机的资源要求不高，可以在普通工作站和个人计算机上实

现复杂场景的实时显示。

目前，基于图像的绘制技术主要有以下两种，此外，其他的还有基

于分层表示及全视函数等方法。

①全景技术

全景技术是指在一个场景中的一个观察点用相机每旋转一下角度拍

摄得到一组照片，再在计算机采用各种工具软件拼接成一个全景图像。

它所形成的数据较小，对计算机配置要求低，适用于桌面式VR系统，

建模速度快，但一般一个场景只有一个观察点，因此交互性较差。

②图像的插值及视图变换技术

在上面所介绍的全景技术中，只能在指定的观察点进行漫游。现在,

研究人员研究了根据在不同观察点所拍摄的图像，交互地给出或自动得

到相邻两个图像之间对应，采用插值或视图变换的方法，求出对应于其

他点的图像，生成新的视图，根据这个原理可实现多点漫游的要求。

3.三维虚拟声音的显示技术

VR系统中的三维虚拟声音，使听者能感觉到声音却是来自围绕听者

双耳的一个球形空间中的任何地方，即声音可能来自于头的上方、后方

或者前方。如战场模拟训练系统中，当用户听到了对手射击的枪声时一，

他就能像在现实世界中一样准确而且迅速地判断对手的位置，如果对手

在他身后，听到的枪声就应是从后面发出的。因而把在虚拟场景中的能

使用户准确地判断出声源的精确位置、符合人们在真实境界中听觉方式

的声音系统称为三维虚拟声音系统。

在VR系统中，借助于三维虚拟声音可以衬托视觉效果，使人们对虚

拟体验的真实感增强。即使闭上眼睛，也知道声音来自哪里。当HMD的

分辨率和图像质量都还较差时，声音对视觉质量的增强就更为重要了。

原因是听觉和其他感觉一起作用时一，能在显示中起增效器的作用。视觉

和听觉一起使用能充分显示信息内容，尤其是当空间超出了视域范围，

从而提供更强烈的存在和真实性感觉。另外，声音是用户和虚拟环境的

另一种交互方法，人们可以通过语音与虚拟世界进行双向交互。

(1)三维虚拟声音的特征

在三维虚拟声音系统最核心的技术是三维虚拟声音定位技术，它的

主要特征如下：

①全向三维定位特性

全向三维定位特性(3DSteering)指在三种虚拟空间中，使用户能

准确地判断也声源的精确位置，符合人们在真实境界中的听觉方式，如

同在现实世界中，我们一般先听到声响,然后再用眼睛去看这个地方。三

维声音系统不仅允许我们根据注视的方向，而且可根据所有可能的位置

来监视和识别各信息源。可见，三维声音系统能提供粗调的机制，用以

引导较为细调的视觉能力的注意。在受干扰的可视显示中，用听觉引导

肉眼对目标的搜索，要优于无辅助手段的肉眼搜索，即使是对处于视野

中心的物体也是如此，这就是声学信号的全向特性。

②三维实时跟踪特性

三维实时跟踪特性(3DRealTimeLocalization)是指在三维虚拟

空间中，实时跟踪虚拟声源位置变化或景象变化的能力。当用户头部转

动时一，这个虚拟的声源的位置也应随之变化，使用户感到真实声源的位

置并未发生变化。而当虚拟发声物体移动位置时，其声源位置也应有所

改变。因为只有声音效果与实时变化的视觉相一致，才可能产生视觉和

听力的叠加与同步效应。如果三维虚拟声音系统不具备这样的实时变化

能力，看到的景象与听到的声音会相互矛盾，听觉就会削弱视觉的沉浸

感。

③沉浸感与交互性

三维虚拟声音的沉浸感就是指加入三维虚拟声音后，能使用户产生

身临其境的感觉，这可以更进一步使人沉浸在虚拟环境之中，有助于增

强临场效果。而三维声音的交互特性则是指随着用户的临场反应和实时

响应的能力。

虚拟声音技术存在的问题：

①听觉定位的混淆问题

无论应用哪一种定位方法，通过耳机定位，常常导致定位声音的前

后颠倒和上下颠倒以至于降低了立体定位的性能和声源的形象化。这是

因为耳机掩蔽了听觉辅助器官的作用而形成一个听觉定位锥。

②虚拟声音环境的可视化问题

虚拟声音不能孤立的存在，通常与视频技术结合创造一个虚拟视听

环境。相应的视觉背景作为听觉补偿，可以提高声音环境的逼真度和降

低听觉定位混淆。然而，如果听觉通道信息与视觉通道信息相互冲突，

反而降低了虚拟视听环境的逼真度，所以视听保持同步、头部运动补偿

等问题虚拟声音的可视化。视听同步在空间和时间上的关系为三维声音

环境提供了有助于定义的附加信息，所以视听同步不仅包括声音事件与

运动事件在时间上的同步，而且与声音控制系统参数保持同步映射关

系。

③听觉心理学和听觉生理学的限制。

由于听觉系统的复杂性，目前对于它的机理还有许多方面不清楚。

相对而言，对外围听觉系统的研究较深入，而对于听觉通道及中枢听觉

的研究则很不充分。由于听觉系统结构的复杂性进而使其具有复杂的功

能。尽管目前对于这种复杂功能的过程还委不了解，但可以推断它包括

自下而上、自上而下的综合处理。从生理学的测试可以看出，听觉系统

对于声音的频率、强度以及各种不同声音之间的关系表现出外围听觉系

统处理的非线性，从而要用响度、音调以及临界带宽等加以描述。至于

更高层次上，要涉及到听者的认知系统以及各种知识源的相互作用。

(2)人类的听觉模型与头相关转移函数

三维虚拟声音的使用主要依赖于用户对听觉空间中各种信息源的定

位能力。如在听普通立体音乐时一，头部有任何运动，听者都会感到声音

方向在改变。然而我们希望的是耳机传出的声音应有位置、方向感，并

且能根据听者与声源的距离来反映声音的大小，这在VR系统里实现是

不容易的，因为它要求声源的位置必须完全独立于VR系统中使用者头

部的运动。因此，在设计时必须仔细考虑听者精确确定位所需的声学信

息，认真分析确定声源方向的理论，为虚拟三维声音系统建立人类的听

觉模型。

①人的听觉模型

人类听觉系统用于确定声源位置和方向信息，它不仅与混响时间差

和混响强度有关，更取决于对进入耳朵的声音产生频谱的耳廓。

混响时间差是指声源到达两个耳朵的时间之差，根据到达双耳的时

间来判断，当左耳先听到的声音，就说明声源位于听者的左侧，即偏于

一侧的声源的声音先到达较近的耳朵。

混响强度差是指声源对左右耳作用的压强之差。在声波的传播过程

中，如果声源距离一侧耳朵比另一侧近，则到达这一侧耳朵的声波就比

另一侧耳朵的声波大。一般来讲，混响强度差因为时间因素产生的压力

差较小。其实，头部阴影效应所产生的压力差影响更显著，使到达较远

一侧耳朵的声波要小，这就存在一个压力差。这一现象在人的声源定位

机能中起着重要的作用。

研究表明：在声波频率较低时，混响强度差很小，声音定位依赖混

响时间差，当声波的频率较高时，混响强度在声音定位中起作用。但进

一步研究表明，该理论不能解释所有类型的声音定位，即使双耳的声音

中包含时间相位及强度信息，仍使听者感觉到在头内而不是在身外。

②头相关转移函数

声音相对于听者的位置会在两耳上产生两种不同的频谱分布，靠得

近的耳朵通常感受到的强度相对高一些。通过测量外界声音及鼓膜上的

声音的频谱差异，获得了声音在耳附近发生的频谱波形，随后利用这些

数据对声波与人耳的交互方式进行编码，得出相关的一组转移函数，并

确定出双耳的信号传播延迟的特点，以此对声源进行定位。这种声音在

双耳中产生的频段和频率的差异就是第二条线索。通常在VR系统中，

当无回声的信号由这组转移函数处理后，再通过与声源缠绕在一起的滤

波器驱动一组耳机，就可以在传统的耳机上形成有真实感的三维声音

了。

理论上，这些转移函数因人而异，因为每个人的头、耳的大小和形

状各不相同。但这些函数通常是从一群人获得的，因而它只是一组平均

特征值。而且，由于头的形状也要与耳廓的本身的行为作用，因此，转

移函数是与头相关的，故称为相关转移函数（Head-RelatedTransfer

Function,HRTF)事实上，HRTF的主要影响因素是耳廓，但除耳廓外还

受头部的衍射和反射、肩膀的反射及躯体的反射等多方面因素的影响。

(2)语音识别与合成技术

语音识别技术(AutomaticSpeechRecognition,ASR),是指将人说

话的语音信号转换为可被计算机程序所识别的文字信息、，从而识别出说

话人的语音指令以及文字内容的技术。

语音识别一般包括参数提取、参考模式建立、模式识别等过程。当

通过一个话筒将声音输入到系统中，系统把它转换成数据文件后，语音

识别软件便开始以输入的声音样本与事先储存好的声音样本进行对比

工作，声音对比工作完成之后，系统就会输入一个它认为最“像”的声

音样本序号，由此可以知道输入者刚才念的声音是什么意思，进而执行

命令。

语音合成技术(Te