虚拟现实技术基础与应用

1、第一章 虚拟现实技术概论,1.1 虚拟现实技术概述 1.1.1 虚拟现实技术的定义 关于虚拟现实技术的定义，目前尚无统一的标准，有多种不同的定义，主要分为有狭义和广义两种： 所谓狭义的定义，认为虚拟现实技术就是一种先进的人机交互方式。 所谓广义的定义，即为对虚拟想象（三维可视化的）或真实的、多感官的三维虚拟世界的模拟。,1、人机接口形式的改进 在虚拟现实系统中，用户可以利用自己的视觉、听觉、力觉、嗅觉等来感知环境 2、人机交互内容的改进 虚拟现实系统中，由计算机提供的不仅是“数据、信息”，而且还包括多种媒体信息的“环境”，以环境作为计算机处理的对象和人机交互的内容,3、人机接口效果的改进 在虚

2、拟现实系统中，用户通过基于自然的特殊设备进行交互，得到逼真的视觉、听觉、触觉、嗅觉等感知效果，使人产生身临其境的感觉,1.1.2 虚拟现实技术的发展历程 1.虚拟现实技术的探索阶段 2.虚拟现实技术系统化阶段 3.虚拟现实技术高速发展的阶段,1.1.3虚拟现实系统的组成,1、计算机 在虚拟现实系统中，计算机是系统的心脏，被称之为虚拟世界的发动机。 2、输入与输出设备 常用的设备有用于手势输入的数据手套、用于语音交互的三维声音系统、用于立体视觉输出的头盔式显示器等。,虚拟现实概述,人机接口设备,3、虚拟现实系统的应用软件 在虚拟现实系统中，应用软件完成的功能有：虚拟世界中物体的几何模型、物理模型

3、、运动模型的建立；三维虚拟立体声的生成；模型管理技术及实时显示技术、虚拟世界数据库的建立与管理等。 4、数据库 虚拟世界数据库主要存放的是整个虚拟世界中所有物体的各方面信息。,1.1.4 虚拟现实技术与其他技术 1计算机图形学 计算机图形学（Computer Graphics：CG）是利用计算机研究图形的表示、生成、处理、显示的学科。它研究的基本内容是如何在计算机中表示图形，以及如何利用计算机进行图形的生成、处理和显示的相关原理与算法。,2多媒体技术 所谓媒体（Media），通常认为包括着两种含义。一种是指信息的物理载体（即存储和传递信息的实体），如纸质的书、照片、磁盘、光盘、磁带以及相关的播

4、放设备等；另一种含义是指信息的表现形式（或称传播形式），如文本、声音、图像、动画等,媒体分成5类： （1）感觉媒体 （2）表示媒体 （3）表现媒体 （4）存储媒体 （5）传输媒体,3系统仿真技术 系统仿真技术是一种实验技术，它为一些复杂系统创造了一种计算机实验环境，使系统的未来性能测试和长期动态特性能在相对极短的时间内在计算机上得到实现,4虚拟现实技术与计算机图形学、多媒体技术、仿真技术 （1）虚拟现实技术与计算机图形学 计算机图形学的任务是在计算机上生成看起来是真的，动起来像真的图像，而用户通过显示器(犹如一个窗户)观看计算机生成的图像所构造的景象。 （2）虚拟现实技术与多媒体技术,（3）虚

5、拟现实技术与系统仿真技术 虚拟现实系统侧重于表现形式，而系统仿真则侧重于真实复杂世界的科学抽象。,5. 虚拟现实技术与三维动画技术 传统三维动画是依靠计算机预先处理好的含有某些场景或物体等的静态图片连续播放形成，不具有任何交互性；而虚拟现实技术可以根据用户的需要把整个空间中所有的信息真实地提供给用户，用户可根据自己的路线行走.,1.1.5 虚拟现实技术的实现意义与影响 1在观念上，从“以计算机为主体”变成“以人为主体” 2在哲学上使人进一步认识“虚”和“实”之间的辩证关系 3引起了一系列的技术和手段的重大变革 4促进了理论与技术的进步 5促进了计算机学科的发展与交叉 6为人类认识世界提供了全新

6、的方法与手段，对人类的生活产生了重大的影响,德国卡尔斯鲁厄大学的虚拟腹腔镜手术,1.2 虚拟现实技术的特性,1.2.1沉浸性(Immersion) 1、视觉沉浸 视觉通道给人的视觉系统提供图形显示。 2、听觉沉浸 虚拟现实系统中，主要让用户感觉到的是三维虚拟声音 3、触觉沉浸 在虚拟现实系统中，可以借助于各种特殊的交互设备，使用户能体验抓、握等操作的感觉。,4、嗅觉沉浸 只要把虚拟空间中的水果放到鼻尖上一闻，装置就会在鼻尖处释放出水果的香味。 5、身体感觉沉浸、味觉沉浸等,1.2.2交互性(Interactivity) 虚拟现实技术的交互性具有以下特点： 虚拟环境中人的参与与反馈 人机交互的有

7、效性 人机交互的实时性,1.2.3想象性(Imagination) 想象性指虚拟的环境是人想象出来的，同时这种想象体现出设计者相应的思想，因而可以用来实现一定的目标。,1.3 虚拟现实系统分类 1.3.1沉浸式系统（Immersive VR） 沉浸式虚拟现实系统是一种高级的、较理想的虚拟现实系统，它提供一个完全沉浸的体验，使用户有一种仿佛置身于真实世界之中的感觉。,沉浸式虚拟现实系统具有以下五个特点： 具有高度实时性能。 具有高度的沉浸感。 具有良好的系统集成度与整合性能。 具有良好的开放性。 能同时支持多种输入与输出设备并行工作。,1.3.2桌面式系统(Desktop VR) 桌面式虚拟现实

8、系统也称窗口虚拟现实，是利用个人计算机或初级图形工作站等设备，以计算机屏幕作为用户观察虚拟世界的一个窗口，采用立体图形、自然交互等技术，产生三维立体空间的交互场景，通过包括键盘、鼠标和力矩球等各种输入设备操纵虚拟世界，实现与虚拟世界的交互,桌面式虚拟现实系统主要具有以下三个特点： 用户处于不完全沉浸的环境，缺少完全沉浸、身临其境的感觉，即使戴上立体眼镜，他仍然会受到周围现实世界的干扰。 对硬件设备要求极低，有的简单型甚至只需要计算机，或是增加数据手套、空间跟踪设置等。 由于桌面式虚拟现实系统实现成本相对较低，应用相对比较普遍，而且它也具备了沉浸性虚拟现实系统的一些技术要求。,1.3.3 增强式

9、VR系统(Augmented VR) 增强式虚拟现实系统(AVR)既可以允许用户看到真实世界，同时也可以看到叠加在真实世界上的虚拟对象，它是把真实环境和虚拟环境组合在一起的一种系统,虚拟现实概述,例如：战机飞行员的平视显示器，它可以将仪表读数和武器瞄准数据投射到安装在飞行员面前的穿透式屏幕上，它可以使飞行员不必低头读座舱中仪表的数据，从而可集中精力盯着敌人的飞机或导航偏差。,增强式虚拟现实系统主要具有以下三个特点： 真实世界和虚拟世界融为一体。 具有实时人机交互功能。 真实世界和虚拟世界是在三维空间中整合的。,1.3.4 分布式虚拟现实系统（Distributed VR） 虚拟现实系统运行在分

10、布式系统下有两方面的原因：一方面是充分利用分布式计算机系统提供的强大计算能力；另一方面是有些应用本身具有分布特性，如多人通过网络进行游戏和虚拟战争模拟等。,分布式虚拟现实系统有以下特点： 各用户具有共享的虚拟工作空间。 伪实体的行为真实感。 支持实时交互，共享时钟。 多个用户可以各自不同的方式相互通信。 资源信息共享以及允许用户自然操纵虚拟世界中的对象。,1.4 虚拟现实中人的因素 1.4.1 人的视觉 1、人类的视觉模型,2、立体视觉 人在现实世界中看到的物体是立体的，这样可以感觉出被看物体的远近。 3、屈光度 人的屈光度是可以变化的，这称为调节或聚焦。这保证对远近物体都能看到清晰的图像。

11、4、瞳孔 瞳孔是晶状体前的孔，直径可变化。,5、分辨力 分辨力是人眼区分两个点的能力。 6、明暗适应 人眼对亮度的变化感觉会自动进行调节，这是通过改变在视杆和视锥细胞中光敏化合物的浓度。 7周围视觉和中央视觉 视网膜不仅是被动的光敏表面，通过视杆和视锥细胞与神经细胞的连接，它还有一定的图像处理能力。,8视觉暂留 人的眼睛具有保持视觉印象的特性。当光对视网膜所产生的视觉在光停止作用后，仍保留一段时间的现象，这就是视觉暂留。 9视场 视场（field of view:FOV）指人眼能够观察到的最大范围，通常以角度来表示，视场越大, 观测范圉越大。,虚拟现实概述,立体视觉的原理：,当我们看现实世界或

12、者是3D电影时，一项称之为双眼差异（binocular disparity）的因素可以极大的影响我们的视觉。也许这个名次听上去有些抽象，不过我来简单的解释一下，你肯定能明白：,先闭上右眼仅用左眼看一个物体，伸出你的一根指头放在你的眼睛和物体之间，并且保持指头和物体在一条直线；然后再闭上左眼仅用右眼看，我们会发现手指头和这个物体并不在一条直线上，而且我们会发现看到的物体会有所不同。这说明，我们的双眼是通过两个不同的位置来观察世界的双眼的一般距离是2.5英寸。我们的大脑通过把双眼得来的这两幅略有差异的图像进行处理，就可以在场景中相应的位置生成正确的三维图像。（如图示）,虚拟现实概述,图中表示两眼光

13、轴平行的情况，相当于两眼注视远处。内瞳距（IPD）是两眼瞳孔之间的距离。两眼空间位置的不同，是产生立体视觉的原因。F是距离人眼较近的物体B上的一个固定点。,虚拟现实概述,左面的两眼的视图说明，F点在视图中的位置不同。这种不同就是立体视差。人眼也可以利用这种视差，判断物体的远近，产生深度感。这就是人类的立体视觉，由此获得环境的三维信息。,VR应用有两类主要的视觉显示光学系统：头盔显示和非头盔显示。,立体液晶显示器,抛物线投影仪,立体投影,4D-Vision 50 屏幕的外层有着特殊的光学涂料，这层涂料会针对通过的波长加以过滤筛选。这层过滤的动作会将每个色彩的元素所发射出来的光线方向个别定义并且重

14、组光线投射状态，也就是说，不同的色彩运动会在屏幕前方在不同的角度表现出来而因此成为一个3D立体的呈现。,更棒的是，这款屏幕使用了8个镜头，每一个镜头都可以追踪使用者在屏幕前的位置，使用者的视觉距离平均可以到6.5 cm (2.5)，如此一来，屏幕前所有的使用者无论在什么位置都可以欣赏到完美的3D立体影像。,1.4.2 人的耳朵 1、人类的听觉模型 耳分为外耳、中耳、内耳。外耳、中耳是接受并传导声音的装置；内耳则是感受声音和初步分析声音的场所。所以，外耳、中耳合称为传音系统，而内耳及其神经传导径路则称为感音神经系统.外耳包括耳廓和外耳道两部分。主要作用是收集及部分放大声音和参与声音方向的辨别。,

15、中耳的结构比外耳复杂，有鼓室、咽鼓管、鼓窦及乳突4部分。鼓室又称中耳腔，容积约为2毫升。中耳腔内有一条通到鼻咽部的管道，叫做咽鼓管。咽鼓管使中耳与外界相通，起到调节鼓室压力的作用内耳构造非常精细，管道盘旋，好像迷宫一样，故称为迷路。内耳分为3部分，即半规管，前庭和耳蜗。半规管和前庭主要负责身体平衡，耳蜗则负责感受声音。外耳把声音引导进内耳，它也作为滤波器而改变声音。把手放在耳前面，就会感到声音变化。声音最终冲击耳膜，使之振动。耳膜振动再传到耳蜗，并且振动加大20倍。,听觉的产生过程是一个复杂的生理过程，它包括3个基本过程： 声波在耳朵内部的传递过程。 声波在传递过程中由声波引起的机械振动转变为

16、生物电能，同时通过化学递质的释放而产生神经冲动的过程。 听觉中枢对传人信息进行综合加工处理的过程。,2、频率范围 3、声音的定位 4、头部有关的传递函数,1.4.3 身体感觉 1、体感 深度感觉： 内脏感觉： 本体感觉： 外感受感觉： 2、痛感 3、触觉 4、体位感,1.4.4 健康与安全问题 1.5虚拟现实技术的研究 1.5.1 国外的研究状况 1、美国 虚拟现实技术诞生于美国，是全球研究最早，研究范围最广的国家，美国虚拟现实研究技术的水平基本上就代表国际虚拟现实发展的水平。,2、欧洲 欧洲的虚拟现实技术研究主要由欧共体(CEC)的许多计划支持，在英国、德国、瑞典、西班牙、荷兰等国家都积极进

17、行了虚拟现实的开发与应用 3.亚洲 在亚洲，日本的虚拟现实研究发展十分迅速，同时韩国、新加坡等国家也在积极开展虚拟现实技术方面的研究工作。,1.5.2 国内的研究状况 我国虚拟现实技术研究始于20世纪90年代初，相对其它国家来说起步较晚，技术上有一定的差距，但已引起我国政府有关部门和科学家们的高度重视，并及时根据我国的国情，制定了开展虚拟现实技术的研究计划。,1.5.3 目前存在的问题 1、硬件设备方面 (1)相关设备普遍存在使用不方便，效果不佳 (2)硬件设备品种有待进一步扩展 (3)虚拟现实系统应用的相关设备价格也比较昂贵,现在大多数虚拟现实软件普遍存在语言专业性较强，通用性较差，易用性差

18、。同时，由于硬件设备的诸多局限性，使得软件的开发费用也十分巨大，而且软件所能实现的效果受到时间和空间的影响较大。,3、实现效果方面 （1）虚拟世界的表示侧重几何图形表示，缺乏逼真的物理、行为模型 （2）虚拟世界的感知方面，有关视觉方面研究多，听觉、触觉（力觉）关注较少，真实性与实时性不足。 （3）在与虚拟世界的交互中，自然交互性不够，基于自然的交互效果还远不能令人满意。 4、应用方面,1.5.4 今后的研究方向 1、人机交互接口 2、感知研究领域 3、高效的虚拟现实软件和算法 4、廉价的虚拟现实硬件系统 5、智能虚拟环境,1.6 虚拟现实技术的应用 1.6.1 军事与航空航天 1军事上的应用

19、（1）军事训练方面 虚拟战场环境。 近战战术训练 单兵模拟训练 诸军兵种联合战略战术演习。,（2）在武器装备研究与新武器展示中的应用。 在武器设计研制过程中，采用虚拟现实技术提供先期演示，检验设计方案，把先进设计思想融入武器装备研制的全过程，从而保证总体质量和效能 研制者和用户利用虚拟现实技术，可以很方便介入系统建模和仿真试验的全过程，既能加快武器系统的研制周期，又能合理评估其作战效能及其操作的合理性，使之更接近实战的要求。, 采用虚拟现实技术对未来高技术战争的战场环境、武器装备的技术性能和使用效率等方面进行仿真，有利于选择重点发展的武器装备体系，改善其整体质量和作战效果。 很多武器供应商借助于网络，采用虚拟现实系统来展示武器的各种性能。,2.航空航天方面的应用 （1）NASA的虚拟现实训练 （2）EVA的虚拟现实训练 （3）英国空军的虚拟座舱,1.6.2 教育与培训 1虚拟校园 虚拟校园是指从因特网、虚拟现实技术、网上虚拟社区和3S技术的发展角度，对现实大学三维景观和教学环境的虚拟化和数字化，是基于现实大学的一个三维虚拟环境，用于支持对现实大学的资源管理、环境规划和学校发展。,2虚拟演示教学与实验 利用虚拟现实技术在