虚拟制造技术虚拟现实技术课件

虚拟现实技术

4.1虚拟现实的特征及基本构成4.2虚拟现实技术的发展概况4.3位置跟踪通道4.4视觉通道4.5听觉通道4.6触觉、力反馈4.7虚拟场景的生成

虚拟现实技术4.1虚拟现实的特征及基本构成1虚拟现实的基本概念

1989年，美国VPLResearch公司创始人JaronLanier提出了"VirtualReality"（虚拟现实）的概念。在这里，"Reality"的含义是现实的世界，或现实的环境。所以，"VirtualReality"（虚拟现实）的另一个名称是"VirtualEnvironment"（虚拟环境）。"Virtual"说明，这个世界或环境是虚拟的，不是真实的。这个世界或环境是人工构造的，是存在于计算机内部的。用户应该能够"进入"这个虚拟的环境中。所谓"进入"这个虚拟的环境中，是指用户以自然的方式与这个环境交互（包括感知环境并干预环境），从而产生置身于相应的真实环境中的虚幻感，身临其境的感觉。

虚拟现实的基本概念1989年，美国VPLRe2"VirtualReality"（虚拟现实）或"VirtualEnvironment"（虚拟环境）是人工构造的，存在于计算机内部的环境。用户应该能够以自然的方式与这个环境交互（包括感知环境并干预环境），从而产生置身于相应的真实环境中的虚幻感，沉浸感，身临其境的感觉。

虚拟环境(VirtualEnvironment，VE)系统或虚拟现实(VirtualReality，VR)系统包括人类操作者、人机接口和计算机。"VirtualReality"（虚拟现3

虚拟现实系统应用最多的专用设备是头盔式立体显示器和数据手套。于是，有人以使用这些专用设备为虚拟现实系统的标志。这种观点是不准确的。上述的虚拟现实的概念，是在计算机应用和人机交互方面开创的全新的学科领域。这个新领域的发展，还有很多困难，有很多技术难点有待解决。当前，这一领域还只是走出了第一步。头盔式立体显示器和数据手套等设备，只是当前已经实现的一部分虚拟显示设备。它们还很不完善。例如，头盔的视场，分辨率，造成眩晕等问题还有待解决。听觉接口和力觉接口等设备还在研究，应用还不多。味觉，嗅觉，运动觉等技术，还缺乏研究。

虚拟现实系统应用最多的专用设备是头盔式立体显示4虚拟现实技术

虚拟现实技术5虚拟现实系统中的虚拟环境，可能有下列几种情况。

第一种情况是模仿真实世界中的环境。例如，建筑物，武器系统，或战场环境。这种真实环境，可能是已经存在的，也可能是已经设计好但还没有建成的。为了逼真地模仿真实世界中的环境，要求逼真地建立几何模型和物理模型。环境的动态应符合物理规律。这一类虚拟现实系统的功能，实际是系统仿真。

第二种情况是人类主观构造的环境。例如，用于影视制作或电子游戏的三维动画。环境是虚构的，几何模型和物理模型就可以完全虚构。这时，系统的动画技术常用插值方法。

第三种情况是模仿真实世界中的人类不可见的环境。例如，分子的结构，空气中速度、温度、压力的分布等。这种真实环境，是客观存在的，但是人类的视觉和听觉不能感觉到。对于分子结构这类微观环境，进行放大尺度的模仿，使人能看到。对于空气中速度这类不可见的物理量，可以用流线显示速度（流线方向表示速度方向，流线密度表示速度大小）。这一类虚拟现实系统的功能，实际是科学可视化。

由此可见，虚拟现实技术可以用于系统仿真、科学可视化、三维动画等领域。

虚拟现实系统中的虚拟环境，可能有下列几种情况。

6第一种情况第一种情况7第二种情况第二种情况8虚拟现实的特点

基于虚拟现实的基本概念，可以得到虚拟现实的下列三个特点。

1．计算机提供“环境”,不是“数据,信息”。这改变了人机接口的内容。

2．操作者由视觉,听觉,力觉感知环境,由自然的动作操作环境,不是由屏幕,键盘,鼠标和计算机交互。这改变了人机接口的形式。

3．逼真的感知和自然的动作，使人产生身临其境的感觉。这改变了人机接口的效果。虚拟现实的特点基于虚拟现实的基本概念，可以得9

第一个特点体现了计算机应用的新方向。计算机的名称体现了，它的最早应用是计算。当时，计算机和用户交互的是计算有关的数值。此后，计算机扩大到处理数值，字符串，文本等各类数据。以后，计算机更扩大到处理图像，图形，声音，语言等多种媒体的信息。虚拟现实系统则以环境为计算机处理的对象和人机交互的内容。这开拓了计算机应用的新思路。

第二个特点体现了计算机人机接口的新方向。至今为止的计算机人机接口都是面向机器的。终端，键盘，鼠标，打印机等接口设备，都是适应计算机的专用设备。这些设备很好地完成了各类数据和多媒体信息的交互。虚拟现实中的人机接口，则是面向用户的。虚拟现实系统中，用户以自然的方式与虚拟环境交互。所谓自然的方式，是指用户通过视觉，听觉，触觉等感觉虚拟环境，使用户产生在真实环境中的幻觉。同时，用户通过在真实环境中的行为，去干预虚拟环境。于是，虚拟现实的人机接口设备，完全不同于现有计算机的人机接口设备。这也是虚拟现实技术中最有特色的内容。

第三个特点体现了计算机人机接口的新要求。用户通过人机接口与虚拟环境交互的结果，是使用户产生身临其境的虚幻感，沉浸感。

第一个特点体现了计算机应用的新方向。计算机的名10虚拟现实的应用领域1．娱乐

2．国防

3．设计、制造和销售

4．医疗和健康

5．危险操作

6．训练

7．教育

8．信息可视化

9．远程交往与远程游历

虚拟现实的应用领域1．娱乐

2．国防

11虚拟现实技术

1．VR的人机接口

2．VR的计算机系统

3．VR的建模和仿真

虚拟现实技术1．VR的人机接口

121．VR的人机接口

VR的人机接口有两个作用：其一是给人类操作者提供环境信息（视觉、听觉和触觉），其二是感觉人类操作者的动作和响应（位置跟踪和映射）。前者包括：视觉通道、听觉通道、触觉通道、运动接口和其他接口。后者包括：位置跟踪和映射，语音识别等。

（1）位置跟踪和映射

位置跟踪和映射用于测量人体各部位的位置和姿态，分析判断人面部的表情。它的目的是了解人的身体行为。这是为了实现人机交互所必需的系统功能。VR系统由此了解人的行为，然后做出适当的响应，实现交互。

常用的技术包括：机械链接、磁传感器、声传感器、光传感器和惯性传感器。基本目标是精确完成位置和姿态的测量。三个主要的要求：大范围的线性响应，高带宽（1kHz），以及允许头和身体的运动。

（2）视觉通道

视觉通道给人的视觉系统提供图形显示。为了提供身临其境的逼真感觉，视觉通道应该满足一些要求。显示的像素应该足够小，使人不至感觉到像素的不连续。显示的频率应该足够高，使人不至感觉到画面的不连续。给两眼提供具有双目视差的图形，形成立体视觉。应该具有足够大的视场，理想情况是显示画面充满整个视场。

视觉通道的显示表面分为：基于CRT和基于LCD。视觉通道的光学系统分为：头盔显示(HMD)和非头盔显示(OHD)。

1．VR的人机接口

VR的人机接口有两个作用：其一是给人13专用头盔图专用头盔图14

（3）听觉通道

听觉通道给人的听觉系统提供声音显示。为了提供身临其境的逼真感觉，听觉通道应该满足一些要求，使人感觉置身于立体的声场之中，能识别声音的类型和强度，能判定声源的位置。

听觉通道的关键技术包括：合成由接口提供的虚拟声音信号，声音在虚拟空间定位问题，以及发声设备。

（4）触觉通道

触觉通道给人体表面提供触觉和力觉。当人体在虚拟空间中运动时，如果接触到虚拟物体，虚拟显示系统应该给人提供这种触觉和力觉。

触觉通道涉及操作以及感觉，包括触觉反馈和力觉反馈。触觉通道的结构分为：安在身体上和安在地面的设备。

（3）听觉通道

听觉通道给人的听觉系统提供声音15

（5）运动接口

人体在环境中的运动包括：身体的被动运动(被动移动，如在车上的运动)，身体主动运动（漫游，如散步）。人在运动中，人体内部的运动感觉器官可以感知运动信息。

感知运动信息的器官包含：前庭系统，运动系统，视觉听觉系统，本体感受，动觉和触觉。运动接口应该给这些器官提供运动信息。

（6）其它类型接口

其它类型接口包括：嗅觉、味觉通道，以及感觉热、风及湿度的接口。还包括语音通讯（语音识别与合成）以及直接心理感觉和控制。这些接口还缺乏研究，以下将不介绍。（5）运动接口

人体在环境中的运动包括：身体的被动16

2．VR的计算机系统

现有的虚拟显示系统主要考虑视觉通道。听觉通道和触觉通道还处于研究阶段。所以，VR的计算机系统主要考虑视觉通道的要求。

（1）硬件

视觉通道对计算机系统的要求，首先是要求维持足够的图形帧速率。于是要求在指定的时间内（约为0.1秒）计算出两眼的两幅图像。同时要求提供足够好质量的图像，这一般体现在图像中显示的多边形或三角形的树木。因此，往往需要专用硬件。图形硬件应提供快速几何变换、截取、消隐、多边形填充和表面纹理。

（2）软件

VR系统中的软件主要包括下列几种。交互软件利用人机控制设备的输出去修改VE。视觉漫游软件控制用户在VE中运动时看到的场景。建模软件定义虚拟物体形状、外观和属性的模型。操作系统支持VE的实时多模态要求。

（3）网络

分布式交互仿真已经成为现代仿真技术，特别是军事仿真的潮流。通讯网络可以把VE转换成共享的分布式计算环境。2．VR的计算机系统

173．VR的建模和仿真

（1）建模

建模包括：几何建模和物理建模。一般的VR工具软件都具有几何建模功能。利用现有的CAD建模工具也是常用的方法。市场上已有商业模型库出售。对实际物体的建模，则采用激光扫描等专用设备。物理建模是基于物理方程的建模。一般考虑刚体建模，链接物体的建模，以及非刚体的建模。智能体的建模不是基于物理方程，而是基于人为的物体智能。

人工建模技术在图形学和CAD领域，已有成熟的成果。自动建模采用激光扫描建立几何模型，也已经有相关产品。自动建立物理模型的研究还不多。

3．VR的建模和仿真

（1）建模

建模包括：几何建模和18

（2）仿真

仿真包括：图形绘制和三维动画。

图形绘制是把三维环境，相对于虚拟摄像机（虚拟视点）投影，形成图像的过程。为了提供连续运动的错觉，帧速率必须大于每秒8到10帧。为了保持瞬间交互控制的错觉，响应时间的延迟必须小于0.1秒。为了绘制人眼可分辨的所有细节，这要求有8千万个多边形。这是对于图形绘制的要求。

然而，用今天的硬件，每个画面8千万多边形的系统对真正的实时交互是太慢了，于是存在真实图像与实时交互间的折衷。某些应用（如建筑和艺术）可能要求照片一样真实的绘制。制造和医疗应用要求更高层次的实时交互。

三维动画可以用两种途径实现。基于物理模型的数值计算是一种方法。军事和工业等应用，往往要求这种满足物理规律的仿真技术。数学插值则是另一种实现动画的方法。这种技术在三维动画电影中获得了巨大的成功。

下图表示，虚拟现实开发系统的方块图。用户通过输入输出设备与输入输出软件交互。输入软件通过形状编辑器完成几何建模，通过声音编辑器完成虚拟声音系统建模。然后，在世界编辑器完成虚拟环境的建模。其中的虚拟剪切器，用于模型的剪切。建立的模型，保存在虚拟世界中。整个工作在计算机系统中完成。

（2）仿真

19虚拟制造技术虚拟现实技术20虚拟现实的接口设备

位姿传感器

视觉显示

听觉显示

力觉和触觉显示

虚拟现实的接口设备

位姿传感器

211．位姿传感器的要求

机器人、生物学、建筑、CAD、教育等应用领域，都要求知道运动物体实时的位置和方向。虚拟现实系统则要求知道人体各部分实时的位置和方向。

（1）3-D空间中的运动的刚体具有三个平移（沿着X、Y和Z轴）和三个转动（偏航、俯仰和滚动）。

（2）在物体以高速运动时，应该足够快地测出这六个数值。

（3）3-D测量不应妨碍物体运动。非接触式测量（低频磁场、超声、雷达、红外摄像和LED等）已经代替机械臂等接触式测量。

（4）3-D传感器都具有一些共同的参数。

位姿跟踪常用的性能参数有：精度，分辨率，采样率，执行时间，范围，工作空间，价格，障碍，方便，对模糊的敏感，容易校准，同时测量的数目，方向相对位置跟踪。1．位姿传感器的要求

机器人、生物学、建筑、CAD、教育22

（5）人体并非刚体。上述六个数值只能描述人体整体的运动，人体各部分之间的相对运动也应该测量。

（6）位姿跟踪和映射是VE系统的基本要求。常用的要求包括：

（a）视觉显示对头和眼的跟踪；

（b）触觉接口对手和臂的跟踪；

（c）视觉显示对身体的跟踪；

（d）面部表情识别、虚拟衣服和医用遥控机器人的映射；

（e）建立数字化几何模型的环境映射。

（7）一种工作方式（“流动”方式）中，传感器数据连续送给主计算机。这最适于快速运动的物体。但是这加重了通信线路的负担。如果要求以30个画面/秒的速率重复计算，则每33毫秒要画出一个画面。9600波特率的串行口要花费12毫秒传送6个数的一组数据（每个数有16bit）。因此，仅仅通信就要花费33毫秒的36%。

另一种工作方式（“请求”方式）中，当主计算机请求时，才传送一组的6个数。其它时间不读传感器数据，于是总体画面更新时间中的通信时间部分就下降了。

（8）

用于位姿跟踪和映射的基本传感系统有：

机械链接，磁传感器，光传感器，声传感器和惯性传感器。

（5）人体并非刚体。上述六个数值只能描述人体整体的运动，232．各种位姿跟踪器的比较如下：2．各种位姿跟踪器的比较如下：243．研究要求

一般，位置跟踪器要求合适的性能和合理的价格。对肢体跟踪，某些光学传感器是精确快速的，但对日常应用太贵（在5万到10万美元范围），特别是为了防止阻挡和增加工作空间而加倍安装时。

肢体跟踪的任何传感系统难以识别可靠的基准点，这是由于人体组织和衣服的柔软性。

为了得到关节角，必须使用某些校准过程，在肢体上建立坐标系。此后的关节角计算将接近真实的生物机械角。

对整个人体跟踪，工作空间大小是重要问题。应该能在足够大的空间跟踪运动人体，并且不会损失分辨率，不必担心遮挡。被跟踪的人应能在建筑中由一个房间走到另一个房间。如果人体所有主要部分都被跟踪，则要求安装某些东西在人体上（反光器，标记，测角器）的传感系统，不如扫描人体的系统有吸引力。

对人体和环境表面映射，某些激光跟踪器是精确而快速的，但还较贵。VE的长期目标是高精度实时跟踪人体的光学映射系统。这可能是用自然光或主动激光扫描的立体视觉系统。

测量方法是在选择位置跟踪方法时最易混淆的一个问题，问题是性能指标的含义及测量方法之间的不一致。应建立标准，指出怎样测精度、分辨率、等待时间、带宽、敏感干扰、和起伏。测量设备应商品化，应建立独立的实验室，使用户不至依赖厂家指标，而是了解真实性能。

3．研究要求

25机械式传感器

1．原理：

机械式传感器可分两类：

"安在身体上的"机械跟踪器中，机械全部安在身上。

"安在地面上的"机械跟踪器中，机械部分安在地面。

2．机械式传感器的优缺点：

机械式传感器：是便宜的，比较精确。可以测量整个身体运动，没有延迟。可以同时实现力反馈。但妨碍身体运动机械式传感器1．原理：

机械式传感器可分两类：

"安在26（1）测角器（"安在身体上的"机械跟踪器）

（2）安在地面上的链接

3-D探头

（1）测角器（"安在身体上的"机械跟踪器）

（2）安在地面上27传感手套是为满足上述要求而设计的虚拟现实工具。商业化的产品有VPL公司的DataGlove，Vertex的CyberGlove，Mattel的PowerGlove，和ExosDextrousHandMaster。它们都用传感器测量全部或部分手指关节的角度。某些传感手套还用3-D传感器跟踪用户手腕的运动。手套的工作区大于跟踪球和手柄（探头）的工作区。

下图表示，人手指的各种运动。传感手套是为满足上述要求而设计的虚拟现实工具。28把原始的传感器读数变成手指关节角的过程称为手套校准。每当开始一次新的仿真，戴上数据手套时，都必须重新作校准。这是因为不可能知道是否用户把手套松紧合适地戴在手指上。

下图表示，数据手套DataGlove的结构。

把原始的传感器读数变成手指关节角的过程称为手套29虚拟制造技术虚拟现实技术30电磁传感器

电磁传感器测量头，手，其他设备的位姿。测量三个坐标，以及三个姿态角度。下图表示，电磁传感器用于测量头盔的位姿。轻便的电磁接受器部分安装在头盔上，电磁发射器安装在地面。电磁传感器电磁传感器测量头，手，其他设备的位31超声传感器超声传感器同样测量头，手，其他设备的位姿。测量三个坐标，以及三个姿态角度。

下图表示使用超声传感器的示意图。在用户头部前额上的正三角形架子上安装了三个超声接受器，另一个大的正三角形架子上安装了三个超声发射器。

超声传感器超声传感器同样测量头，手，其他设备的32视觉显示

理想的视觉显示与日常经历中的场景对比，在质量、修改率和范围方面应该是无法区分的。但是当前的技术还不支持这种高真实度的视觉显示，而且也不清楚是否多数应用要求这种高真实度。对任何给定的应用，必须认真评价各种显示特性的重要性，这包括视觉特性（视场、分辨率、亮度、对比和彩色），人类工程学，安全，可靠和价格。视觉显示的基本要求是提供立体视觉。

对虚拟现实（VR），最常用的技术成熟的显示类型是阴极射线管（CRT）和背光液晶显示（LCD）。虽然这些技术对近期的虚拟现实应用是很有用的，但几个缺点却妨碍其长期的发展。

1．CRT类显示

2．LCD类显示

视觉显示理想的视觉显示与日常经历中的场景对比，33

CRT技术是多年来在电视机和计算机监视器上广泛应用的成熟技术。CRT技术能给头盔显示器提供小的高分辨率高亮度的单色显示。但这些CRT较重，并把高电压放在人头部上的设备中。此外，开发小型高分辨率高亮度彩色CRT是困难的。在头盔显示中，要求笨重的光学设备形成高质量图像。

组合的技术途径可产生高质量彩色图像，并减少重量和价格。近期的途径是把高质量彩色的基于CRT的HMD（头盔显示器）引入市场，它使用了加于单色CRT的机械电子彩色滤光技术。这种途径中，CRT以三倍正常速率扫描，并依次加上红、绿、兰三色的滤光器。

CRT技术是多年来在电视机和计算机监视器上广泛34

LCD技术以低电压产生彩色图像，但只具有很低的图像元密度。在头盔显示中，也要求笨重的光学设备形成高质量图像。

市场出售的头盔式显示器几乎全部依靠TV（电视机）质量的液晶显示。在VR和遥操作领域，不要求大区域显示。只要求紧凑的轻便的高分辨率显示。LCD显示器有待提高其分辨率。LCD技术以低电压产生彩色图像，但只具有很低的353．VRD类显示与基于CRT或LCD的显示器不同的工作是在华盛顿大学人类接口接术（HIT）实验室。HIT实验室正研究基于激光微扫描技术的显示VRD，它用微型固体激光器扫描视网膜上的彩色图像。它的优点是不使用笨重的光学设备，可能开发高分辨率、轻便、低价格显示系统。但激光微扫描显示还面对大量技术障碍。

VRD的应用包括用于军事，头盔，移动电话，以及医学上。

3．VRD类显示与基于CRT或LCD的显示器不36下图表示，VRD的显示设备用于头盔显示器。

下图表示，VRD的显示设备用于头盔显示器。37未来的VRD的头盔显示器

未来的VRD的头盔显示器38视觉显示的产品几种基于LCD的头盔产品视觉显示的产品几种基于LCD的头盔产品39视觉显示的产品基于CRT的头盔产品

视觉显示的产品基于CRT的头盔产品40听觉显示虚拟环境的听觉接口应能给两耳提供一对声波。

(1)它应有高逼真性，

(2)能以预订方式改变波形，作为听者各种属性和输出的函数(包括头部位姿变化)，

(3)排除所有不是VR系统产生的声源(如真实环境背景声音)。对增强现实系统可以放松上述条件(3)，它的意图是组合合成声音与真实声音。听觉显示虚拟环境的听觉接口应能给两耳提供一对声41声音显示设备一般讲，用耳机最容易达到虚拟现实的要求。在使用喇叭，并远离头部时，每个耳朵听到每个喇叭的声音，控制问题很困难。虽然商业化的高逼真电影往往声称喇叭有很好的形成声象能力，但用户限制在房中单一收听位置，只得到固定方位声象（不补偿头部转动），而且房间的声学特性不容易处理。此外，由于耳朵完全打开,不可能排除环境中附加的声音。最后，虽然与耳机有关的接触感可能限制听觉临场感的程度，但是由于用户需要在虚拟和真实环境之间来回转移，这种与耳机接触可能是有用的。在任何情况，由于视觉接口会存在这些问题。在需要喇叭的情况下，可能发生高能低频声爆破。这种情况，喇叭可能用于振动部分身体，而不仅是耳膜。

声音显示设备一般讲，用耳机最容易达到虚拟现实的要求42房间声音建模1．声音的空间分布

虚拟环境听觉接口以前多数工作是要提供声音的空间分布。在这个领域，工作最初集中在仿真正常的空间分布。很少注意提供超正常分布。

2．房间声学建模

当前，Acoustetron是唯一的包含简化的房间实时声学建模的实时声音空间定位系统。即使声学模型是简单的，并只有少量一阶和二阶反射，系统提供了加强的现实性。

3．增强现实显示房间声音建模1．声音的空间分布

虚拟环境听觉接口以前多43力觉和触觉显示

1．接触反馈和力反馈

接触接口可以按照提供给用户的信息分成两类，接触反馈和力反馈。接触反馈给用户提供的信息有：物体表面几何形状、表面纹理、滑动等。力反馈给用户提供的信息有：总的接触力、表面柔顺、物体重量等。接触接口还可以分成：部分身体运动接口，以及全身运动接口。部分身体运动接口，安装在人体的一部分，如手、臂、躯干等。全身运动接口则全面支持在虚拟环境中的主动和被动的运动，但这种接口技术还远未成熟。机械接触接口的一个重要的指标是：自由度（DoF）。由操作器的观点看，自由度是关节的数目。这些关节是位置受控的，也是力矩受控的。2．接触反馈和力反馈的要求

在虚拟现实交互中，没有真实的被抓物体。虚拟接触反馈和力反馈需要复制实时计算的接触力、表面形状、平滑性和滑动等。除了对所有传感通道的实时要求外，对虚拟接触反馈和力反馈还有某些特殊要求。力觉和触觉显示1．接触反馈和力反馈

接触接口可以443．接触反馈和力反馈的技术

接触接口需要几种机械部件，以及描述环境性质的模型和软件。至今还只有很少的接触反馈和力反馈设备。他们采用下列的技术。

（1）软件和模型

（2）心理物理学

（3）作用器3．接触反馈和力反馈的技术

接触接口需要几种机械部45触觉显示设备接触反馈在物体辨识与操作中起重要作用。它也检测开始接触，所以在任何力反馈系统中也是需要的。人体具有二十种不同类型的神经末梢，给大脑发送信息。多数感知器是热、冷、疼、压、接触等感知器。接触接口给这些感知器提供：高频震动、形状或压力分布、温度分布等信息。

接触反馈设备有下列几种

触觉显示设备接触反馈在物体辨识与操作中起重要作461．气动接触反馈

1．气动接触反馈472．振动触觉反馈2．振动触觉反馈48力觉显示设备

力反馈设备应该跟踪用户身体的运动，以及用户施加的力。根据这些数据，力反馈设备确定它加给用户的力。这种接口的目标是给用户提供立即的，高逼真的，可信的真实交互。

力反馈手柄力觉显示设备力反馈设备应该跟踪用户身体的运动49力反馈手臂手臂有重力和惯性补偿，于是在与虚拟环境无交互时在手柄上也不感到力。

（a）为系统布局，（b）为手臂的结构

力反馈手臂手臂有重力和惯性补偿，于是在与虚拟环50虚拟场景的生成虚拟场景的生成主要包括两方面内容：

虚拟环境的建模及三维图形显示。

几何对象的完整描述应包括两方面，其一称为“静态模型”，他描述对象的静态特征，包括几何尺寸、形状特征、位置、方向、材料及有关属性；其二称之为“动态模型”，他描述对象的动态属性，包括其运动、行为及其约束条件等。1、虚拟场景静态模型的建立静态模型的描述一般分为：几何模型，光照模型、灰度模型、纹理处理、渲染效果等。2、虚拟场景动态模型的建立虚拟场景动态模型建立主要涉及两个方面的内容，其一是如何确定场景中每一个对象运动过程中的坐标（包括绝对坐标与相对坐标），其二是当视点变化时场景如何动态刷新。虚拟场景的生成虚拟场景的生成主要包括两方面内容：512虚拟现实技术虚拟现实技术是一种三维计算机图形技术与计算机硬件技术发展而实现的高级人机交互技术，让用户通过视觉、听觉、触觉、甚至嗅觉和味觉等多种知觉方式实时地与计算机所建造的仿真环境发生相互作用。虚拟现实（VR-VirtualReality)VR技术是综合利用计算机图形系统和各种显示和控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。VR技术的直观与交互特性弥补了传统设计工具的不足为概念设计，设计方案的评价提供了有力的支持VR技术是一个极有应用潜力的新技术领域虚拟现实技术提供了在产品制造以前观察、验证和使用产品的可视化的环境。2虚拟现实技术虚拟现实技术是一种三维计算机52虚拟现实技术的特征

1）立体感的视觉效果由内向外观察，按人的视觉原理设计，环境真实感2）人在虚拟环境中的沉浸感用户在虚拟空间处于运动坐标系中。3）多知感借助多媒体，产生视觉、听觉、触觉感。4）闭环的交互方式人对虚拟空间的对象进行操作时，对象将给人以感觉上的反馈5）动态的显示场景可随人的视点作全方位的运动

虚拟现实技术提供：具有独特输入/输出装置的特殊人机界面，如头盔式显示器HMD、跟踪器、数据手套、定位器等。借助这些虚拟外设，比之传统CAD技术，用户就可沉浸在仿真环境之中，有“身临其境”的感觉，从而完成在现实世界中可能或不可能的工作虚拟现实技术的特征1）立体感的视觉效果53虚拟现实环境的建立屏幕仿真采用键盘和鼠标与计算机交互，用户仍然置身于虚拟环境之外操作和观看。借助立体显示装置和软件、多通道的视觉、听觉、触觉和甚至味觉传感器，可使用户沉浸到虚拟环境中去，构想成接近现实的幻觉。这种环境称为虚拟实境（VirtualReality）是一种能在三维视觉空间中进行实时仿真和交互的高端人机界面。虚拟现实环境的建立屏幕仿真采用键盘和鼠标与计算54虚拟现实环境的建立交互沉浸遐想视觉听觉触觉味觉虚拟环境虚拟现实环境的建立交互沉浸遐想视觉听觉触觉味觉虚拟55虚拟现实环境的建立有沉浸感的虚拟实境环境人工的虚拟实境产品带头盔的用户虚拟实境计算机虚拟现实环境的建立有沉浸感的虚拟实境环境人工的虚拟实境产品带56虚拟现实环境的建立虚拟实境环境输入接口位置跟踪数据手套空间球操纵杆话筒头盔双筒镜立体眼镜显示设备耳机输出接口虚拟实境数据库CAD、音频、视频测量建模渲染控制虚拟实境计算机虚拟实境建模语言VRML虚拟现实环境的建立虚拟实境环境输入接口位置跟踪数据手套空间57虚拟现实环境建模

虚拟实境的建模过程首先是将CAD的实体模型进行三角形处理，将连续的实体转为大量三角形构成的表面，以减少虚拟对象的数据量。三角形的数量越多，虚拟对象越逼真，虚拟实境的沉浸感越强。对于需要表现细节的局部，也可以借助照片贴图的方法，避免数据量过大。虚拟现实环境建模虚拟实境的建模过程首先是将CA58虚拟现实对计算机系统的要求1．帧频和延迟时间的要求

VR要求高帧频和快速响应，这是由于其内在的交互性质。

要求的帧频和延迟一般取决于环境特性。只有慢速运动物体的较静的环境，可以用帧频每秒8至10，和0.1秒延迟。如果环境有高速运动的物体，则要求高帧频（>60Hz）和短延迟。所有情况下，若帧频低于每秒8帧，则失去三维环境的生动感，若延迟大于0.1秒，则很难操作环境。因此，帧频必须大于8到10帧/秒,总延迟必须小于0.1秒。虚拟现实对计算机系统的要求1．帧频和延迟时间的要求

592．计算能力和场景复杂性

虚拟现实仿真的计算问题，是一种时间受限的计算。这是因为显示的帧频必须大于8到10帧/秒。于是，在0.1秒内，必须完成一次场景的计算。如果一个显示的场景中有10,000个三角形（或多边形），这个数量就反映了场景复杂性。这样，在每秒进行的10次计算中，就应该计算100,000个三角形（或多边形）。这表示了计算能力。

若要求更加逼真的仿真效果，就要增加场景复杂性。显示的场景中有更多的三角形（或多边形），显示的效果就更逼真。这就要求更强的计算能力，每秒计算更多的三角形（或多边形）。反之，如果只能使用能力有限的指定的计算机，则限定了计算能力，也就限定了场景复杂性。每个场景，只能用较少的三角形（或多边形），产生较粗糙的显示。这种考虑就是，计算能力和场景复杂性的折衷。

对计算机，主要的技术指标就是其计算能力，也就是每秒计算的三角形（或多边形）的数目。应该注意，是否加纹理，是否反走样，采用哪一种明暗模型，都会影响到计算能力。加入这些复杂的功能，就会增加计算复杂性，从而减少每秒计算的三角形（或多边形）的数目。

2．计算能力和场景复杂性

602500个三角形33个三角形600个三角形134754个三角形虚拟现实环境建模汽车前仪表盖三角形较少的模型三角形较多的模型贴上仪表盘照片2500个三角形33个三角形600个三角形134754个三角61方向盘的CAD模型三角形较多的模型三角形较少的模型虚拟实境的模型虚拟现实环境建模方向盘的CAD模型三角形较多的模型三角形较少的模型虚62虚拟现实环境设备位置输入装置的用途是：操纵和控制虚拟对象的位置。将用户的位置与虚拟实境交互。位置输入装置的主要类型：空间球（6自由度立体鼠标）。操纵杆（力反馈或没有力反馈）。超声波或光学位置跟踪器。全身动作跟踪服。位置输入装置虚拟现实环境设备位置输入装置的用途是：位置输入装置63虚拟现实环境设备虚拟对象有6个自由度空间球具有磁性位置跟踪的立体鼠标单柄操纵杆具有力反馈的操纵杆摄像机摄像机两极发光管指向标两极发光管天花板带传感器的头盔超声波发生器超声波接收器位置控制器虚拟实境计算机光学位置跟踪器传感器激光扫描仪传感器位置信号发射装置传感器全身动作跟踪服（20个传感器）虚拟现实环境设备虚拟对象有空间球具有磁性位置跟踪的立体鼠标单64虚拟现实环境设备

数据手套既是位置输入装置，也是触觉输入装置，它将“虚拟手”加到虚拟实境场景中去。数据手套

与空间球和操纵杆相比，数据手套扩大了用户与虚拟实境交互的活动空间。数据手套的主要类型有：位置和动作数据手套。力反馈数据手套。将用户手的姿势转化成计算机可读的数据，有测量几个或全部手指关节的传感器。有的具有三维传感器，以跟踪用户腕部的运动虚拟现实环境设备数据手套既是位置输入装置，也是触65基于光导衰减有利的光纤手套CyberGrasp数据手套虚拟手数据手套的工作空间信号发射器空间球的工作空间工具栏菜单栏输出信号2个传感器/每根手指+手指分合传感器+手腕转动传感器接口电缆接口盒软接线信号转换软手套虚拟现实环境设备基于光导衰减有利的光纤手套CyberGrasp数据手套虚拟手66虚拟现实环境设备头盔和双筒镜头盔(HMD-HeadMountedDisplay)和双筒镜(BOOM)是个人用户的虚拟实境显示装置，使用方便，价格便宜。头盔的缺点是头部负重和不舒适感，头盔分专业（带位置跟踪）和普通（不带位置跟踪）。双筒镜与观景望远镜相似，缺点是视觉范围有限，观看时需要不断移动，分手持和座式。在头盔或双筒镜两侧有两个小型液晶显示器，通过光学系统在用户眼前生成虚拟实境场景。虚拟现实环境设备头盔和双筒镜头盔(HMD-HeadMoun67虚拟现实环境设备虚拟现实环境设备68单通道虚拟实境系统HMD控制器HMD控制器虚拟实境计算机虚拟实境计算机RGB-NTSC转换器图形卡图形卡图形卡场景计算左眼计算右眼计算HMD位置跟踪位置跟踪接收器头围调节多通道虚拟实境系统显示器立体声耳机位置跟踪接收器头围调节瞳距调节场景显示虚拟现实环境设备单通道虚拟实境系统HMDHMD虚拟实境计算机虚拟实境计算机R69虚拟现实环境设备虚拟桌面和虚拟幕墙

大屏幕的虚拟桌面（ImmersaDesk）和虚拟幕墙(PowerWall）是可供多人观看虚拟实境的显示装置。虚拟桌面一般采用一个CRT、LCD或DLP投影仪，通过反射镜投射到屏幕。大型虚拟幕墙采用多个CRT或DLP投影仪，从背面投射，布满整个墙面，可供数十人观看。观看时用户需要戴上立体眼镜。虚拟现实环境设备虚拟桌面和虚拟幕墙大屏幕的虚拟70投影仪反射镜显示屏虚拟幕墙虚拟现实环境设备投影仪反射镜显示屏虚拟幕墙虚拟现实环境设备71虚拟现实环境设备CAVE虚拟环境CAVE是计算机自动虚拟环境的缩写，（ComputerAutomatedVirtualEnvironment--CAVE）。

在3m3m2.7m的空间中，前面和左右侧面场景采用3个大屏幕投影仪通过反射镜投射或直接从背面投射，地面场景借助屋顶上的投影仪通过反射镜投射。使用者戴上立体眼镜观看场景、借助数据手套对目标进行交互、利用位置跟踪器和空间操纵杆进行操作。

CAVE已经在重大产品开发、建筑设计、军事和体育训练、科学研究等许多领域获得应用。虚拟现实环境设备CAVE虚拟环境CAVE是72CAVE（六面）示意图虚拟现实环境设备地面投影仪右侧投影仪左侧投影仪前景投影仪CAVE（六面）示意图虚拟现实环境设备地面投影仪右侧投影仪73双筒显示器数据手套“驾驶”虚拟的汽车虚拟现实环境应用双筒显示器数据手套“驾驶”虚拟的汽车虚拟现实环境应用74虚拟现实环境应用虚拟现实环境应用75虚拟现实环境应用虚拟现实环境应用76虚拟现实环境应用网格虚拟实现环境

普及虚拟实现技术，首先遇到投资问题，高端和低端的投资差别很大，从几万到几千万。

网格计算（GridComputing）是新一代的互联网，可提供强大的图形交互和处理能力。

借助网格，可以将在不同地点的虚拟实境设备连接在一起，实现资源共享。

例如甲地有CAVE，乙地有头盔，丙地有双筒镜，借助网格，乙地和丙地也可进入CAVE。虚拟现实环境应用网格虚拟实现环境普及虚拟实现77虚拟现实环境应用共享的虚拟实境场景虚拟现实环境应用共享的虚拟实境场景78虚拟现实环境应用虚拟现实环境应用79虚拟现实的建模和仿真技术

虚拟现实的几何建模技术

虚拟现实的物理建模技术

虚拟现实仿真的动画技术

虚拟现实的建模和仿真技术

虚拟现实的几何建模技术

80环境模型的表示

建模是VR的核心,它定义物体的形式、属性和外观。多模式VR的一个重要的技术难点是设计开发物体表示、仿真和绘制(RSR)技术。它支持实时与VR的视听触觉交互。RSR处理有两个主要途径。人工的几何建模方法

建立详细的三维几何模型的要求是来自计算机辅助设计(CAD)，计算机图形学，和其它领域。几何建模是活跃的科学和工业研究领域，已经可以得到大量的商业建模系统。尽管有丰富的工具，还是把建模看成繁重的任务。有关的因素是建模缓慢，用户接口不便，不灵活，以及模型规定在低层次。这些困难的表现是多数实验室和商业动画公司宁愿使用自制建模工具，或在某些情况用自制建模工具与市场销售建模工具的混合。

自动的几何建模方法

三维扫描仪（3DimensionalScanner）又称为三维数字化仪（3DimensionalDigitizer）。它是当前使用的对实际物体三维建模的重要工具。它能快速方便的将真实世界的立体彩色信息转换为计算机能直接处理的数字信号，为实物数字化提供了有效的手段。

环境模型的表示81虚拟现实几何建模得到的建筑物场景

虚拟现实几何建模得到的建筑物场景82虚拟现实的物理建模技术为了使VR可靠，并把用户定位在其中，虚拟物体(包括用户的图像)必须象真的一样。至少固体不应彼此穿过，物体在被推拉抓取时应按予期方式运动。VR的物理属性往往用微分方程来描述，它构成动力学系统。这种动力学系统由系统分析和系统仿真来研究。系统仿真实际上就是动力学系统的物理仿真。

虚拟现实的物理建模技术为了使VR可靠，并把用户83经典力学的仿真广泛用于帮助工程设计和分析。虽然这些传统仿真提供属性的数值规律，但还没有满足VR要求。在工程实践中，仿真是长的推理活动。工程师一般花很多时间手工开发系统的数学模型。模型再转换成仿真软件和参数选择。这样仿真才能运行。在进行设计时，初始方程必须修改，并重新运行仿真。

与此对比，VR的力学仿真必须可靠地、无缝地、自动地、实时地运行。在世界建模的范围内，任何可能发生的情况必须正确处理。近年来，计算机图形的研究开始涉及这类仿真提出的问题，这称为基于物理的建模。下面综述现有的技术。

经典力学的仿真广泛用于帮助工程设计和分析。虽然84基于物理模型的动画技术，尽管比传统动画技术的计算复杂性高，但能逼真地模拟自然物理现象。基于物理模型的动画，大致可分为三类，刚体运动模拟、塑性物体变形运动模拟、流体运动模拟。基于物理模型的动画技术，尽管比传统动画技术的计85虚拟现实仿真的动画技术VR中物体的动态，也就是数值的动态。可以由两种方法实现这种数值的动态。

之一是基于数值插值的动画方法，它可以得到物体的动态。例如虚拟人体的步行，可以由插值实现动画。下面介绍几种插值方法。

之二是基于物理的运动方程，由方程数值解可得到物体的动态。例如球的自由下落。下面也将介绍基于动力学方程的系统仿真方法。1、插值方法2、过程动画虚拟现实仿真的动画技术VR中物体的动态，也就是86用插值方法得到的虚拟现实场景

用插值方法得到的虚拟现实场景87过程动画

过程动画是用过程来描述动画中物体的运动或变形。简单的过程动画，用一个数学模型描述。另一类过程动画，采用特殊方法，如粒子系统和群体运动。1、粒子系统过程动画过程动画是用过程来描述动画中物体的运882、动力学方程的系统仿真

系统仿真技术是解决虚拟环境中物体动态行为的动力学方法，所以系统仿真是虚拟现实的基础技术之一。系统仿真技术往往承担大型仿真任务，如武器系统的仿真。在大型仿真任务中，虚拟现实技术是仿真可视化和人机交互的先进工具。所以，虚拟现实和系统仿真是紧密相关和相辅相成的两个领域。

用动力学方程的系统仿真得到的虚拟现实场景2、动力学方程的系统仿真系统仿真技术是89虚拟现实技术

4.1虚拟现实的特征及基本构成4.2虚拟现实技术的发展概况4.3位置跟踪通道4.4视觉通道4.5听觉通道4.6触觉、力反馈4.7虚拟场景的生成

虚拟现实技术4.1虚拟现实的特征及基本构成90虚拟现实技术

4.1虚拟现实的特征及基本构成4.2虚拟现实技术的发展概况4.3位置跟踪通道4.4视觉通道4.5听觉通道4.6触觉、力反馈4.7虚拟场景的生成

虚拟现实技术4.1虚拟现实的特征及基本构成91虚拟现实的基本概念

1989年，美国VPLResearch公司创始人JaronLanier提出了"VirtualReality"（虚拟现实）的概念。在这里，"Reality"的含义是现实的世界，或现实的环境。所以，"VirtualReality"（虚拟现实）的另一个名称是"VirtualEnvironment"（虚拟环境）。"Virtual"说明，这个世界或环境是虚拟的，不是真实的。这个世界或环境是人工构造的，是存在于计算机内部的。用户应该能够"进入"这个虚拟的环境中。所谓"进入"这个虚拟的环境中，是指用户以自然的方式与这个环境交互（包括感知环境并干预环境），从而产生置身于相应的真实环境中的虚幻感，身临其境的感觉。

虚拟现实的基本概念1989年，美国VPLRe92"VirtualReality"（虚拟现实）或"VirtualEnvironment"（虚拟环境）是人工构造的，存在于计算机内部的环境。用户应该能够以自然的方式与这个环境交互（包括感知环境并干预环境），从而产生置身于相应的真实环境中的虚幻感，沉浸感，身临其境的感觉。

虚拟环境(VirtualEnvironment，VE)系统或虚拟现实(VirtualReality，VR)系统包括人类操作者、人机接口和计算机。"VirtualReality"（虚拟现93

虚拟现实系统应用最多的专用设备是头盔式立体显示器和数据手套。于是，有人以使用这些专用设备为虚拟现实系统的标志。这种观点是不准确的。上述的虚拟现实的概念，是在计算机应用和人机交互方面开创的全新的学科领域。这个新领域的发展，还有很多困难，有很多技术难点有待解决。当前，这一领域还只是走出了第一步。头盔式立体显示器和数据手套等设备，只是当前已经实现的一部分虚拟显示设备。它们还很不完善。例如，头盔的视场，分辨率，造成眩晕等问题还有待解决。听觉接口和力觉接口等设备还在研究，应用还不多。味觉，嗅觉，运动觉等技术，还缺乏研究。

虚拟现实系统应用最多的专用设备是头盔式立体显示94虚拟现实技术

虚拟现实技术95虚拟现实系统中的虚拟环境，可能有下列几种情况。

第一种情况是模仿真实世界中的环境。例如，建筑物，武器系统，或战场环境。这种真实环境，可能是已经存在的，也可能是已经设计好但还没有建成的。为了逼真地模仿真实世界中的环境，要求逼真地建立几何模型和物理模型。环境的动态应符合物理规律。这一类虚拟现实系统的功能，实际是系统仿真。

第二种情况是人类主观构造的环境。例如，用于影视制作或电子游戏的三维动画。环境是虚构的，几何模型和物理模型就可以完全虚构。这时，系统的动画技术常用插值方法。

第三种情况是模仿真实世界中的人类不可见的环境。例如，分子的结构，空气中速度、温度、压力的分布等。这种真实环境，是客观存在的，但是人类的视觉和听觉不能感觉到。对于分子结构这类微观环境，进行放大尺度的模仿，使人能看到。对于空气中速度这类不可见的物理量，可以用流线显示速度（流线方向表示速度方向，流线密度表示速度大小）。这一类虚拟现实系统的功能，实际是科学可视化。

由此可见，虚拟现实技术可以用于系统仿真、科学可视化、三维动画等领域。

虚拟现实系统中的虚拟环境，可能有下列几种情况。

96第一种情况第一种情况97第二种情况第二种情况98虚拟现实的特点

基于虚拟现实的基本概念，可以得到虚拟现实的下列三个特点。

1．计算机提供“环境”,不是“数据,信息”。这改变了人机接口的内容。

2．操作者由视觉,听觉,力觉感知环境,由自然的动作操作环境,不是由屏幕,键盘,鼠标和计算机交互。这改变了人机接口的形式。

3．逼真的感知和自然的动作，使人产生身临其境的感觉。这改变了人机接口的效果。虚拟现实的特点基于虚拟现实的基本概念，可以得99

第一个特点体现了计算机应用的新方向。计算机的名称体现了，它的最早应用是计算。当时，计算机和用户交互的是计算有关的数值。此后，计算机扩大到处理数值，字符串，文本等各类数据。以后，计算机更扩大到处理图像，图形，声音，语言等多种媒体的信息。虚拟现实系统则以环境为计算机处理的对象和人机交互的内容。这开拓了计算机应用的新思路。

第二个特点体现了计算机人机接口的新方向。至今为止的计算机人机接口都是面向机器的。终端，键盘，鼠标，打印机等接口设备，都是适应计算机的专用设备。这些设备很好地完成了各类数据和多媒体信息的交互。虚拟现实中的人机接口，则是面向用户的。虚拟现实系统中，用户以自然的方式与虚拟环境交互。所谓自然的方式，是指用户通过视觉，听觉，触觉等感觉虚拟环境，使用户产生在真实环境中的幻觉。同时，用户通过在真实环境中的行为，去干预虚拟环境。于是，虚拟现实的人机接口设备，完全不同于现有计算机的人机接口设备。这也是虚拟现实技术中最有特色的内容。

第三个特点体现了计算机人机接口的新要求。用户通过人机接口与虚拟环境交互的结果，是使用户产生身临其境的虚幻感，沉浸感。

第一个特点体现了计算机应用的新方向。计算机的名100虚拟现实的应用领域1．娱乐

2．国防

3．设计、制造和销售

4．医疗和健康

5．危险操作

6．训练

7．教育

8．信息可视化

9．远程交往与远程游历

虚拟现实的应用领域1．娱乐

2．国防

101虚拟现实技术

1．VR的人机接口

2．VR的计算机系统

3．VR的建模和仿真

虚拟现实技术1．VR的人机接口

1021．VR的人机接口

VR的人机接口有两个作用：其一是给人类操作者提供环境信息（视觉、听觉和触觉），其二是感觉人类操作者的动作和响应（位置跟踪和映射）。前者包括：视觉通道、听觉通道、触觉通道、运动接口和其他接口。后者包括：位置跟踪和映射，语音识别等。

（1）位置跟踪和映射

位置跟踪和映射用于测量人体各部位的位置和姿态，分析判断人面部的表情。它的目的是了解人的身体行为。这是为了实现人机交互所必需的系统功能。VR系统由此了解人的行为，然后做出适当的响应，实现交互。

常用的技术包括：机械链接、磁传感器、声传感器、光传感器和惯性传感器。基本目标是精确完成位置和姿态的测量。三个主要的要求：大范围的线性响应，高带宽（1kHz），以及允许头和身体的运动。

（2）视觉通道

视觉通道给人的视觉系统提供图形显示。为了提供身临其境的逼真感觉，视觉通道应该满足一些要求。显示的像素应该足够小，使人不至感觉到像素的不连续。显示的频率应该足够高，使人不至感觉到画面的不连续。给两眼提供具有双目视差的图形，形成立体视觉。应该具有足够大的视场，理想情况是显示画面充满整个视场。

视觉通道的显示表面分为：基于CRT和基于LCD。视觉通道的光学系统分为：头盔显示(HMD)和非头盔显示(OHD)。

1．VR的人机接口

VR的人机接口有两个作用：其一是给人103专用头盔图专用头盔图104

（3）听觉通道

听觉通道给人的听觉系统提供声音显示。为了提供身临其境的逼真感觉，听觉通道应该满足一些要求，使人感觉置身于立体的声场之中，能识别声音的类型和强度，能判定声源的位置。

听觉通道的关键技术包括：合成由接口提供的虚拟声音信号，声音在虚拟空间定位问题，以及发声设备。

（4）触觉通道

触觉通道给人体表面提供触觉和力觉。当人体在虚拟空间中运动时，如果接触到虚拟物体，虚拟显示系统应该给人提供这种触觉和力觉。

触觉通道涉及操作以及感觉，包括触觉反馈和力觉反馈。触觉通道的结构分为：安在身体上和安在地面的设备。

（3）听觉通道

听觉通道给人的听觉系统提供声音105

（5）运动接口

人体在环境中的运动包括：身体的被动运动(被动移动，如在车上的运动)，身体主动运动（漫游，如散步）。人在运动中，人体内部的运动感觉器官可以感知运动信息。

感知运动信息的器官包含：前庭系统，运动系统，视觉听觉系统，本体感受，动觉和触觉。运动接口应该给这些器官提供运动信息。

（6）其它类型接口

其它类型接口包括：嗅觉、味觉通道，以及感觉热、风及湿度的接口。还包括语音通讯（语音识别与合成）以及直接心理感觉和控制。这些接口还缺乏研究，以下将不介绍。（5）运动接口

人体在环境中的运动包括：身体的被动106

2．VR的计算机系统

现有的虚拟显示系统主要考虑视觉通道。听觉通道和触觉通道还处于研究阶段。所以，VR的计算机系统主要考虑视觉通道的要求。

（1）硬件

视觉通道对计算机系统的要求，首先是要求维持足够的图形帧速率。于是要求在指定的时间内（约为0.1秒）计算出两眼的两幅图像。同时要求提供足够好质量的图像，这一般体现在图像中显示的多边形或三角形的树木。因此，往往需要专用硬件。图形硬件应提供快速几何变换、截取、消隐、多边形填充和表面纹理。

（2）软件

VR系统中的软件主要包括下列几种。交互软件利用人机控制设备的输出去修改VE。视觉漫游软件控制用户在VE中运动时看到的场景。建模软件定义虚拟物体形状、外观和属性的模型。操作系统支持VE的实时多模态要求。

（3）网络

分布式交互仿真已经成为现代仿真技术，特别是军事仿真的潮流。通讯网络可以把VE转换成共享的分布式计算环境。2．VR的计算机系统

1073．VR的建模和仿真

（1）建模

建模包括：几何建模和物理建模。一般的VR工具软件都具有几何建模功能。利用现有的CAD建模工具也是常用的方法。市场上已有商业模型库出售。对实际物体的建模，则采用激光扫描等专用设备。物理建模是基于物理方程的建模。一般考虑刚体建模，链接物体的建模，以及非刚体的建模。智能体的建模不是基于物理方程，而是基于人为的物体智能。

人工建模技术在图形学和CAD领域，已有成熟的成果。自动建模采用激光扫描建立几何模型，也已经有相关产品。自动建立物理模型的研究还不多。

3．VR的建模和仿真

（1）建模

建模包括：几何建模和108

（2）仿真

仿真包括：图形绘制和三维动画。

图形绘制是把三维环境，相对于虚拟摄像机（虚拟视点）投影，形成图像的过程。为了提供连续运动的错觉，帧速率必须大于每秒8到10帧。为了保持瞬间交互控制的错觉，响应时间的延迟必须小于0.1秒。为了绘制人眼可分辨的所有细节，这要求有8千万个多边形。这是对于图形绘制的要求。

然而，用今天的硬件，每个画面8千万多边形的系统对真正的实时交互是太慢了，于是存在真实图像与实时交互间的折衷。某些应用（如建筑和艺术）可能要求照片一样真实的绘制。制造和医疗应用要求更高层次的实时交互。

三维动画可以用两种途径实现。基于物理模型的数值计算是一种方法。军事和工业等应用，往往要求这种满足物理规律的仿真技术。数学插值则是另一种实现动画的方法。这种技术在三维动画电影中获得了巨大的成功。

下图表示，虚拟现实开发系统的方块图。用户通过输入输出设备与输入输出软件交互。输入软件通过形状编辑器完成几何建模，通过声音编辑器完成虚拟声音系统建模。然后，在世界编辑器完成虚拟环境的建模。其中的虚拟剪切器，用于模型的剪切。建立的模型，保存在虚拟世界中。整个工作在计算机系统中完成。

（2）仿真

109虚拟制造技术虚拟现实技术110虚拟现实的接口设备

位姿传感器

视觉显示

听觉显示

力觉和触觉显示

虚拟现实的接口设备

位姿传感器

1111．位姿传感器的要求

机器人、生物学、建筑、CAD、教育等应用领域，都要求知道运动物体实时的位置和方向。虚拟现实系统则要求知道人体各部分实时的位置和方向。

（1）3-D空间中的运动的刚体具有三个平移（沿着X、Y和Z轴）和三个转动（偏航、俯仰和滚动）。

（2）在物体以高速运动时，应该足够快地测出这六个数值。

（3）3-D测量不应妨碍物体运动。非接触式测量（低频磁场、超声、雷达、红外摄像和LED等）已经代替机械臂等接触式测量。

（4）3-D传感器都具有一些共同的参数。

位姿跟踪常用的性能参数有：精度，分辨率，采样率，执行时间，范围，工作空间，价格，障碍，方便，对模糊的敏感，容易校准，同时测量的数目，方向相对位置跟踪。1．位姿传感器的要求

机器人、生物学、建筑、CAD、教育112

（5）人体并非刚体。上述六个数值只能描述人体整体的运动，人体各部分之间的相对运动也应该测量。

（6）位姿跟踪和映射是VE系统的基本要求。常用的要求包括：

（a）视觉显示对头和眼的跟踪；

（b）触觉接口对手和臂的跟踪；

（c）视觉显示对身体的跟踪；

（d）面部表情识别、虚拟衣服和医用遥控机器人的映射；

（e）建立数字化几何模型的环境映射。

（7）一种工作方式（“流动”方式）中，传感器数据连续送给主计算机。这最适于快速运动的物体。但是这加重了通信线路的负担。如果要求以30个画面/秒的速率重复计算，则每33毫秒要画出一个画面。9600波特率的串行口要花费12毫秒传送6个数的一组数据（每个数有16bit）。因此，仅仅通信就要花费33毫秒的36%。

另一种工作方式（“请求”方式）中，当主计算机请求时，才传送一组的6个数。其它时间不读传感器数据，于是总体画面更新时间中的通信时间部分就下降了。

（8）

用于位姿跟踪和映射的基本传感系统有：

机械链接，磁传感器，光传感器，声传感器和惯性传感器。

（5）人体并非刚体。上述六个数值只能描述人体整体的运动，1132．各种位姿跟踪器的比较如下：2．各种位姿跟踪器的比较如下：1143．研究要求

一般，位置跟踪器要求合适的性能和合理的价格。对肢体跟踪，某些光学传感器是精确快速的，但对日常应用太贵（在5万到10万美元范围），特别是为了防止阻挡和增加工作空间而加倍安装时。

肢体跟踪的任何传感系统难以识别可靠的基准点，这是由于人体组织和衣服的柔软性。

为了得到关节角，必须使用某些校准过程，在肢体上建立坐标系。此后的关节角计算将接近真实的生物机械角。

对整个人体跟踪，工作空间大小是重要问题。应该能在足够大的空间跟踪运动人体，并且不会损失分辨率，不必担心遮挡。被跟踪的人应能在建筑中由一个房间走到另一个房间。如果人体所有主要部分都被跟踪，则要求安装某些东西在人体上（反光器，标记，测角器）的传感系统，不如扫描人体的系统有吸引力。

对人体和环境表面映射，某些激光跟踪器是精确而快速的，但还较贵。VE的长期目标是高精度实时跟踪人体的光学映射系统。这可能是用自然光或主动激光扫描的立体视觉系统。

测量方法是在选择位置跟踪方法时最易混淆的一个问题，问题是性能指标的含义及测量方法之间的不一致。应建立标准，指出怎样测精度、分辨率、等待时间、带宽、敏感干扰、和起伏。测量设备应商品化，应建立独立的实验室，使用户不至依赖厂家指标，而是了解真实性能。

3．研究要求

115机械式传感器

1．原理：

机械式传感器可分两类：

"安在身体上的"机械跟踪器中，机械全部安在身上。

"安在地面上的"机械跟踪器中，机械部分安在地面。

2．机械式传感器的优缺点：

机械式传感器：是便宜的，比较精确。可以测量整个身体运动，没有延迟。可以同时实现力反馈。但妨碍身体运动机械式传感器1．原理：

机械式传感器可分两类：

"安在116（1）测角器（"安在身体上的"机械跟踪器）

（2）安在地面上的链接

3-D探头

（1）测角器（"安在身体上的"机械跟踪器）

（2）安在地面上117传感手套是为满足上述要求而设计的虚拟现实工具。商业化的产品有VPL公司的DataGlove，Vertex的CyberGlove，Mattel的PowerGlove，和ExosDextrousHandMaster。它们都用传感器测量全部或部分手指关节的角度。某些传感手套还用3-D传感器跟踪用户手腕的运动。手套的工作区大于跟踪球和手柄（探头）的工作区。

下图表示，人手指的各种运动。传感手套是为满足上述要求而设计的虚拟现实工具。118把原始的传感器读数变成手指关节角的过程称为手套校准。每当开始一次新的仿真，戴上数据手套时，都必须重新作校准。这是因为不可能知道是否用户把手套松紧合适地戴在手指上。

下图表示，数据手套DataGlove的结构。

把原始的传感器读数变成手指关节角的过程称为手套119虚拟制造技术虚拟现实技术120电磁传感器

电磁传感器测量头，手，其他设备的位姿。测量三个坐标，以及三个姿态角度。下图表示，电磁传感器用于测量头盔的位姿。轻便的电磁接受器部分安装在头盔上，电磁发射器安装在地面。电磁传感器电磁传感器测量头，手，其他设备的位121超声传感器超声传感器同样测量头，手，其他设备的位姿。测量三个坐标，以及三个姿态角度。

下图表示使用超声传感器的示意图。在用户头部前额上的正三角形架子上安装了三个超声接受器，另一个大的正三角形架子上安装了三个超声发射器。

超声传感器超声传感器同样测量头，手，其他设备的122视觉显示

理想的视觉显示与日常经历中的场景对比，在质量、修改率和范围方面应该是无法区分的。但是当前的技术还不支持这种高真实度的视觉显示，而且也不清楚是否多数应用要求这种高真实度。对任何给定的应用，必须认真评价各种显示特性的重要性，这包括视觉特性（视场、分辨率、亮度、对比和彩色），人类工程学，安全，可靠和价格。视觉显示的基本要求是提供立体视觉。

对虚拟现实（VR），最常用的技术成熟的显示类型是阴极射线管（CRT）和背光液晶显示（LCD）。虽然这些技术对近期的虚拟现实应用是很有用的，但几个缺点却妨碍其长期的发展。

1．CRT类显示

2．LCD类显示

视觉显示理想的视觉显示与日常经历中的场景对比，123

CRT技术是多年来在电视机和计算机监视器上广泛应用的成熟技术。CRT技术能给头盔显示器提供小的高分辨率高亮度的单色显示。但这些CRT较重，并把高电压放在人头部上的设备中。此外，开发小型高分辨率高亮度彩色CRT是困难的。在头盔显示中，要求笨重的光学设备形成高质量图像。

组合的技术途径可产生高质量彩色图像，并减少重量和价格。近期的途径是把高质量彩色的基于CRT的HMD（头盔显示器）引入市场，它使用了加于单色CRT的机械电子彩色滤光技术。这种途径中，CRT以三倍正常速率扫描，并依次加上红、绿、兰三色的滤光器。

CRT技术是多年来在电视机和计算机监视器上广泛124

LCD技术以低电压产生彩色图像，但只具有很低的图像元密度。在头盔显示中，也要求笨重的光学设备形成高质量图像。

市场出售的头盔式显示器几乎全部依靠TV（电视机）质量的液晶显示。在VR和遥操作领域，不要求大区域显示。只要求紧凑的轻便的高分辨率显示。LCD显示器有待提高其分辨率。LCD技术以低电压产生彩色图像，但只具有很低的1253．VRD类显示与基于CRT或LCD的显示器不同的工作是在华盛顿大学人类接口接术（HIT）实验室。HIT实验室正研究基于激光微扫描技术的显示VRD，它用微型固体激光器扫描视网膜上的彩色图像。它的优点是不使用笨重的光学设备，可能开发高分辨率、轻便、低价格显示系统。但激光微扫描显示还面对大量技术障碍。

VRD的应用包括用于军事，头盔，移动电话，以及医学上。

3．VRD类显示与基于CRT或LCD的显示器不126下图表示，VRD的显示设备用于头盔显示器。

下图表示，VRD的显示设备用于头盔显示器。127未来的VRD的头盔显示器

未来的VRD的头盔显示器128视觉显示的产品几种基于LCD的头盔产品视觉显示的产品几种基于LCD的头盔产品129视觉显示的产品基于CRT的头盔产品

视觉显示的产品基于CRT的头盔产品130听觉显示虚拟环境的听觉接口应能给两耳提供一对声波。

(1)它应有高逼真性，

(2)能以预订方式改变波形，作为听者各种属性和输出的函数(包括头部位姿变化