虚拟现实系统概述

1、1. 什么是虚拟现实什么是虚拟现实2. 虚拟现实系统的组成虚拟现实系统的组成3. 全景视频系统全景视频系统1. 什么是虚拟现实什么是虚拟现实虚拟现实，虚拟现实，Vitual Reality（VR）。）。 于于1989年被提出。年被提出。它通常是指用立体眼镜和传感手套等一系列传感辅助设施来实现的一种三它通常是指用立体眼镜和传感手套等一系列传感辅助设施来实现的一种三维现实，人们通过这些设施以自然的技能（如头的转动、身体的运动等）维现实，人们通过这些设施以自然的技能（如头的转动、身体的运动等）向计算机送入各种动作信息，并且通过视觉、听觉以及触觉设施使人们得向计算机送入各种动作信息，并且通过视觉、听觉

2、以及触觉设施使人们得到三维视觉、听觉及触觉等感觉世界。到三维视觉、听觉及触觉等感觉世界。虚拟现实最重要的目标：真实的体验和方便自然的人机交互。能够达到或虚拟现实最重要的目标：真实的体验和方便自然的人机交互。能够达到或者部分达到这样目标的系统称为虚拟现实系统。者部分达到这样目标的系统称为虚拟现实系统。1. 1 基本概念基本概念1. 什么是虚拟现实什么是虚拟现实与虚拟现实有关的内容已经扩大到与之相关的很多方面，虚拟现实的不同形式或术与虚拟现实有关的内容已经扩大到与之相关的很多方面，虚拟现实的不同形式或术语：语：人工实现（人工实现（Artificial Reality）遥在（遥在（Teleprese

3、nce）虚拟环境（虚拟环境（Virtual Environment）赛伯空间（赛伯空间（Cyberspace）1. 1 基本概念基本概念1. 什么是虚拟现实什么是虚拟现实虚拟现实系统就是要利用各种先进的硬件技术及软件工具，设计出合理的虚拟现实系统就是要利用各种先进的硬件技术及软件工具，设计出合理的硬件、软件及交互手段，使参与者能交互式地观察和操纵系统生成的虚拟硬件、软件及交互手段，使参与者能交互式地观察和操纵系统生成的虚拟世界。世界。 从概念上讲，任何一个虚拟现实系统都可以用三个从概念上讲，任何一个虚拟现实系统都可以用三个“I”来描述其特性：来描述其特性：沉浸（沉浸（Immersion）交互（

4、交互（Interactive）想象（想象（Imagination） 1. 2 虚拟现实系统的特性虚拟现实系统的特性1. 什么是虚拟现实什么是虚拟现实首先，要使参与者有首先，要使参与者有“真实真实”的体验，这种体验就是沉浸或投入。的体验，这种体验就是沉浸或投入。理想情况下虚拟环境应该达到使用户难以辨别真假的程度。为了达到这个理想情况下虚拟环境应该达到使用户难以辨别真假的程度。为了达到这个目标，就必须具有多感知的能力，理想的虚拟现实系统应该具有人类所具目标，就必须具有多感知的能力，理想的虚拟现实系统应该具有人类所具有的一切感知能力，包括视觉、听觉、触觉，甚至味觉和嗅觉。有的一切感知能力，包括视觉、

5、听觉、触觉，甚至味觉和嗅觉。 1. 2 虚拟现实系统的特性虚拟现实系统的特性1. 什么是虚拟现实什么是虚拟现实第二，系统要能提供方便的、丰富的、主要是基于自然技能的人机交互手第二，系统要能提供方便的、丰富的、主要是基于自然技能的人机交互手段。段。这些手段使得参与者能够对虚拟环境进行实时的操纵，能从虚拟环境中得这些手段使得参与者能够对虚拟环境进行实时的操纵，能从虚拟环境中得到反馈的信息，也能使系统了解参与者关键部位的位置、状态、变形等各到反馈的信息，也能使系统了解参与者关键部位的位置、状态、变形等各种需要系统知道的数据。种需要系统知道的数据。同时，实时性是非常重要的，如果在交互时存在比较大的延迟

6、，与人的心同时，实时性是非常重要的，如果在交互时存在比较大的延迟，与人的心理经验不一致，就谈不上自然的交互，也很难获得沉浸感。为达到这个目理经验不一致，就谈不上自然的交互，也很难获得沉浸感。为达到这个目标，高速计算和处理就必不可少。标，高速计算和处理就必不可少。1. 2 虚拟现实系统的特性虚拟现实系统的特性1. 什么是虚拟现实什么是虚拟现实第三，因为虚拟现实不仅仅是一种媒体或用户的高端接口，而且它还是针第三，因为虚拟现实不仅仅是一种媒体或用户的高端接口，而且它还是针对某一特定领域、解决某些问题的应用。如何解决这些问题，不仅需要了对某一特定领域、解决某些问题的应用。如何解决这些问题，不仅需要了解

7、应用的需求，了解技术的能力，而且还需要有丰富的想象力。解应用的需求，了解技术的能力，而且还需要有丰富的想象力。想象力已经称为虚拟现实系统设计中最关键的问题之一。想象力已经称为虚拟现实系统设计中最关键的问题之一。1. 2 虚拟现实系统的特性虚拟现实系统的特性1. 什么是虚拟现实什么是虚拟现实参与者在虚拟环境中的活动或经历有两种形式：参与者在虚拟环境中的活动或经历有两种形式：主观参与（主观参与（First-person activities）:参与者是整个经历的中心，一切围绕参参与者是整个经历的中心，一切围绕参与者进行；与者进行；客观参与（客观参与（second-person activitie）

8、：参与者可以在虚拟环境中看到他）：参与者可以在虚拟环境中看到他自己与其他物体的交互。自己与其他物体的交互。1. 2 虚拟现实系统的特性虚拟现实系统的特性1. 什么是虚拟现实什么是虚拟现实显示：头盔三维显示等显示：头盔三维显示等交互：数据手套等交互：数据手套等具有里程碑意义的工作：具有里程碑意义的工作：1. 立体电影、立体声与传感影院：立体图像显示、嗅觉、振动等立体电影、立体声与传感影院：立体图像显示、嗅觉、振动等2. 模拟器：如飞行系统仿真器模拟器：如飞行系统仿真器1. 3 虚拟现实技术简史虚拟现实技术简史1. 什么是虚拟现实什么是虚拟现实3. 无障碍虚拟现实环境无障碍虚拟现实环境 VIDEO

9、PLACE4.虚拟视觉环境显示器（虚拟视觉环境显示器（VIVED：Virtual Visual Environment Display）5. MIT的的“白杨城影片地图（白杨城影片地图（Aspen Movie Map）”，一个模型在街道上，一个模型在街道上行走的系统。这种用户导航的运行方式为后来的超媒体、虚拟空间交互行走的系统。这种用户导航的运行方式为后来的超媒体、虚拟空间交互等提供了丰富的经验。等提供了丰富的经验。6.视觉增强系统视觉增强系统1. 3 虚拟现实技术简史虚拟现实技术简史1. 什么是虚拟现实什么是虚拟现实（一）非沉浸类虚拟现实系统：（一）非沉浸类虚拟现实系统：（1）全景视频系统：

10、利用连续拍摄的图像和视频在计算机中拼接建立实景）全景视频系统：利用连续拍摄的图像和视频在计算机中拼接建立实景化虚拟空间。化虚拟空间。（2）基于座舱的系统）基于座舱的系统（3）桌面虚拟现实）桌面虚拟现实CAD系统：对虚拟世界进行建模，通过计算机的显示器系统：对虚拟世界进行建模，通过计算机的显示器进行观察，并能自由的控制观察的视点和视角进行观察，并能自由的控制观察的视点和视角（4）基于剧情的虚拟现实系统）基于剧情的虚拟现实系统1. 4 虚拟现实系统的分类虚拟现实系统的分类1. 什么是虚拟现实什么是虚拟现实（二）沉浸类虚拟现实系统：利用特殊的设备把参与者的视觉、听觉和其（二）沉浸类虚拟现实系统：利用

11、特殊的设备把参与者的视觉、听觉和其它感觉封闭起来，提供一个新的、虚拟的感觉空间，使得参与者产生一它感觉封闭起来，提供一个新的、虚拟的感觉空间，使得参与者产生一种身在身在虚拟环境中，并能够全身心投入和沉浸其中的感觉。种身在身在虚拟环境中，并能够全身心投入和沉浸其中的感觉。（1）基于头盔的系统）基于头盔的系统（2）投影虚拟现实系统：把参与者的动画图像和其他图像结合到一起，插）投影虚拟现实系统：把参与者的动画图像和其他图像结合到一起，插入到虚拟环境中。入到虚拟环境中。（3）遥在系统：虚拟现实与计算机技术结合的系统，当在某处的操作员操）遥在系统：虚拟现实与计算机技术结合的系统，当在某处的操作员操作一个

12、虚拟现实系统时，其结果却在另一个地方发生。作一个虚拟现实系统时，其结果却在另一个地方发生。1. 4 虚拟现实系统的分类虚拟现实系统的分类1. 什么是虚拟现实什么是虚拟现实（三）分布式虚拟现实系统（三）分布式虚拟现实系统如果在上述两种系统的基础上能够使得多个用户连接到一起，并能够共享如果在上述两种系统的基础上能够使得多个用户连接到一起，并能够共享同一个虚拟空间，则成为分布式虚拟现实系统。同一个虚拟空间，则成为分布式虚拟现实系统。（四）增强现实系统（四）增强现实系统为了增强操作员对真实环境的感受。辅助数据与观察员所观察到的实际环为了增强操作员对真实环境的感受。辅助数据与观察员所观察到的实际环境叠加

13、到一起，以协助操作员进行操作或工作。这种叠加方式增强了原始境叠加到一起，以协助操作员进行操作或工作。这种叠加方式增强了原始的环境信息。的环境信息。1. 4 虚拟现实系统的分类虚拟现实系统的分类1. 什么是虚拟现实什么是虚拟现实科学计算可视化科学计算可视化计算机辅助设计计算机辅助设计飞行、骑车、外科手术等的操作模拟飞行、骑车、外科手术等的操作模拟军事模拟与仿真军事模拟与仿真教育与培训教育与培训遥在系统遥在系统心里实验心里实验娱乐娱乐艺术艺术通信与协同工作通信与协同工作1. 5 虚拟现实系统的应用虚拟现实系统的应用2. 虚拟现实系统的组成虚拟现实系统的组成一、系统感知和行为模型一、系统感知和行为模

14、型人与外界的交互分为两大部分：感知与行为。人与外界的交互分为两大部分：感知与行为。感知系统：感知系统划分为：方向、听觉、触觉、味觉、嗅觉及视觉等六感知系统：感知系统划分为：方向、听觉、触觉、味觉、嗅觉及视觉等六个子系统。在感知系统模型中，分别对这些子系统的行为方式、接收单元、个子系统。在感知系统模型中，分别对这些子系统的行为方式、接收单元、器官模拟、器官形成、刺激元及外部信息。器官模拟、器官形成、刺激元及外部信息。行为系统：姿势、方向、走动、饮食、动作、表达及语义七个子系统。行为系统：姿势、方向、走动、饮食、动作、表达及语义七个子系统。2. 1 虚拟现实系统的体系结构虚拟现实系统的体系结构2.

15、 虚拟现实系统的组成虚拟现实系统的组成2. 1 虚拟现实系统的体系结构虚拟现实系统的体系结构2. 虚拟现实系统的组成虚拟现实系统的组成二、虚拟现实系统组成二、虚拟现实系统组成从总体上看，系统主要由人机接口设备、人机接口处理、现实产生器以及从总体上看，系统主要由人机接口设备、人机接口处理、现实产生器以及相应的管理、模型及分布子系统等构成。相应的管理、模型及分布子系统等构成。2. 1 虚拟现实系统的体系结构虚拟现实系统的体系结构2. 虚拟现实系统的组成虚拟现实系统的组成2. 1 虚拟现实系统的体系结构虚拟现实系统的体系结构2. 虚拟现实系统的组成虚拟现实系统的组成虚拟现实发生器，又称为虚拟现实引擎

16、，是任何虚拟现实系统的核心，由虚拟现实发生器，又称为虚拟现实引擎，是任何虚拟现实系统的核心，由它处理和产生虚拟环境。它处理和产生虚拟环境。具有强大的处理能力、满足实时性要求等具有强大的处理能力、满足实时性要求等2. 1 虚拟现实系统的体系结构虚拟现实系统的体系结构2. 虚拟现实系统的组成虚拟现实系统的组成大视场双眼体视显示技术大视场双眼体视显示技术跟踪装置跟踪装置触觉反馈触觉反馈声音子系统声音子系统三维人机交互三维人机交互2. 2 人机交互的设备及技术人机交互的设备及技术2. 虚拟现实系统的组成虚拟现实系统的组成几何建模：描述虚拟对象的形状和外表；几何建模：描述虚拟对象的形状和外表；运动建模：

17、主要是对象的位置移动和碰撞检测两个部分；运动建模：主要是对象的位置移动和碰撞检测两个部分；物理建模：定义对象的质量、重量、惯性、表面纹理、硬度、形状改变模物理建模：定义对象的质量、重量、惯性、表面纹理、硬度、形状改变模式等；式等；对象行为建模：对象可以具有自己的行为特征，并不一定与用户的输入直对象行为建模：对象可以具有自己的行为特征，并不一定与用户的输入直接相关；接相关；模型分割：将虚拟环境分割成较小的单元；模型分割：将虚拟环境分割成较小的单元；三维数据格式：三维建模的基础；三维数据格式：三维建模的基础；2. 3 三维场景建模三维场景建模2. 虚拟现实系统的组成虚拟现实系统的组成1. VRML

18、2. Cult3D3. 全景全景2. 4 虚拟现实软件及开发工具虚拟现实软件及开发工具3. 全景视频系统全景视频系统全景视频（全景视频（panoramic Video）：假定在一室内空间中进行观察，室内空间分为六）：假定在一室内空间中进行观察，室内空间分为六个表面，如果获取了这六个表面许多不同距离、不同方位的实景照片，并将这些照个表面，如果获取了这六个表面许多不同距离、不同方位的实景照片，并将这些照片按照相互的关系有机地连接起来，就可以在视觉上形成对这个房间的整个空间的片按照相互的关系有机地连接起来，就可以在视觉上形成对这个房间的整个空间的整体认识，即全景。整体认识，即全景。在观察时，可以改变

19、角度、改变视点、改变距离。只要照片足够精细，连接的紧密在观察时，可以改变角度、改变视点、改变距离。只要照片足够精细，连接的紧密正确，就可以获得空间感。正确，就可以获得空间感。3. 1 基本概念基本概念3. 全景视频系统全景视频系统和其他形式的虚拟现实技术相比，全景视频的主要特点：和其他形式的虚拟现实技术相比，全景视频的主要特点：（1）不局限于计算机生成的图像）不局限于计算机生成的图像（2）不需要真正的视频，实际存储和组织的不是视频帧序列，而是不同层次的全）不需要真正的视频，实际存储和组织的不是视频帧序列，而是不同层次的全景图。景图。（3）全景视频可以将）全景视频可以将360度全景图无扭曲地映射到平面显示器上。度全景图无扭曲地映射到平面显示器上。（4）必须有计算机的协助）必须有计算机的协助3. 1 基本概念基本概念3. 全景视频系统全景视频系统全景图的生成：全景图是利用多幅图像拼接生成的。全景图的生成：全景图是利用多幅图像拼接生成的。静态图像：多幅图像将重叠的部分裁剪，做拼接，对拼接好的全景图利用静态图像：多幅图像将重叠的部分裁剪，做拼接，对拼接好的全景图利用柱面变形技术进行变形，使平面全景图像产生深度感觉。这样，就得到了柱面变形技术进行变形，使平面全景图像产生深度感觉。这样，就得到了一个视点、一个焦距和一种移动下的全景图。一个视点、一个焦距和一种移动下的全景图。对所需要的其他