虚拟现实技术概述(PPT 68页)

1、虚拟现实技术虚拟现实技术邓海鹰虚拟现实系统的特点及组成虚拟现实系统的特点及组成1发展历程发展历程2立体视觉的生成与获取立体视觉的生成与获取3虚拟现实交互设备虚拟现实交互设备4虚拟现实系统的分类虚拟现实系统的分类5增强现实技术增强现实技术6目录CONTENTS虚拟现实系统的特点及组成虚拟现实系统的特点及组成1发展历程发展历程2立体视觉的生成与获取立体视觉的生成与获取3虚拟现实交互设备虚拟现实交互设备4虚拟现实系统的分类虚拟现实系统的分类5增强现实技术增强现实技术6目录CONTENTS4 4虚拟现实系统的特点及组成虚拟现实系统的特点及组成虚拟现实技术综合图形、图像、声音、手势、语音等要素，试图给计

2、算机使用者创造一种全新的感官体验，使其具有置身于真实世界的感觉“虚拟环境是使人们具有沉浸感的由计算机生成的、交互的、三维的环境” - Aukstakalnis S and Blatner D.虚拟现实系统的特点及组成虚拟现实系统的特点及组成1计算机提供环境, 不是数据, 信息。这改变了人机接口的内容。2操作者由视觉,听觉,力觉感知环境, 由自然的动作操作环境, 不是由屏幕,键盘,鼠标和计算机交互。这改变了人机接口的形式。3逼真的感知和自然的动作，使人产生身临其境的感觉。这改变了人机接口的效果。6 6虚拟现实系统的特点及组成虚拟现实系统的特点及组成主要特点 沉浸感如同置身于真实环境中：三维、立体

3、、多通道高交互性可采取现实生活中习以为常的方式来操纵虚拟环境中的物体实时性依视点位置和视线方向实时地改变画面，并实时产生听觉、触觉/力觉响应虚拟现实系统的构成 虚拟现实系统有5个关键成分：虚拟世界、虚拟现实软件、计算机、输入设备和输出设备。 虚拟世界是可交互的虚拟环境，它一般是一个包含三维模型或者环境所定义的数据库。 虚拟现实软件提供实时观察和参与虚拟世界的能力。 输入设备可用于观察和构造虚拟世界，包括鼠标、游戏杆和定位跟踪器等，输出设备显示当前虚拟世界视图，包括显示器和头盔等8 8虚拟现实系统的特点及组成虚拟现实系统的特点及组成典型虚拟现实系统的组成 计算机系统 用户 虚拟环境人机界面 9

4、9虚拟现实系统的特点及组成虚拟现实系统的特点及组成基于HMD的虚拟现实系统的构成 虚拟现实系统的特点及组成虚拟现实系统的特点及组成1发展历程发展历程2立体视觉的生成与获取立体视觉的生成与获取3虚拟现实交互设备虚拟现实交互设备4虚拟现实系统的分类虚拟现实系统的分类5增强现实技术增强现实技术6目录CONTENTS发展历程1、1961年，Mor ton Heilig的设想-体验剧场（Sensorama），以布鲁克林街道为背景，模拟漫步的感受-先驱者2、1965年，计算图形学之父Ivan Sutherland发表论文“终极的显示”，提出“应将计算的显示屏进化为观看虚拟世界的窗口”3、次年，他开始研制第

5、一个头盔显示器1970年，在犹他大学成功演示了它的功能。4、70-80年代，美国军方投巨资研究“飞行头盔”和其他军用仿真器，成为虚拟现实技术发展的主要推动力。5、1981年，美国国家航空和宇宙航行（NASA）制作了当时最先进的液晶显示器头盔。6、80年代中期，J.Zimmermn 和Jaron.Lanier发明了数据手套。 1989年组建VPL Research公司发展历程发展历程7、同年Jaron Lanier在文章中正式使用虚拟现实这一术语8、其他成就：用计算机生成的图形代替了摄制图像，并开始设计场景生成器-图形加速卡发展历程虚拟现实系统的特点及组成虚拟现实系统的特点及组成1发展历程发展历

6、程2立体视觉的生成与获取立体视觉的生成与获取3虚拟现实交互设备虚拟现实交互设备4虚拟现实系统的分类虚拟现实系统的分类5增强现实技术增强现实技术6目录CONTENTS1616立体视觉的生成与获取立体视觉的生成与获取产生沉浸感的至关重要的因素 立体图像与观察者视点和视线方向一致 实时生成人类立体视觉的产生 立体视觉的生成与获取立体视觉的生成与获取立体图像生成的照相机模型 对称透视投影成像相机模型位置方向1717立体视觉的生成与获取立体视觉的生成与获取立体图像生成的照相机模型 对称透视投影成像相机模型 （cont.)宽高比视角18181919立体视觉的生成与获取立体视觉的生成与获取立体图像生成的照相

7、机模型 对称透视投影成像相机模型 （cont.)近裁剪平面距离与远裁剪平面距离2020立体视觉的生成与获取立体视觉的生成与获取立体图像生成的照相机模型 对称透视投影成像相机模型 （cont.)焦距2121立体视觉的生成与获取立体视觉的生成与获取立体图像生成的照相机模型 对称透视投影成像相机模型 （cont.)左右眼视差（Parallax）为生成立体图像，计算机必须针对同一场景生成两幅不同的图像分别按照观察者左、右眼的位置实时绘制 右眼视图 视线方向 视差 左眼视图 2222立体视觉的生成与获取立体视觉的生成与获取立体视觉的捕获 必须借助于一定的观察设备，使计算机生成的左、右眼图像分别为观察者的

8、左、右眼所接收 常用的立体视觉设备HMD立体眼镜 虚拟现实系统的特点及组成虚拟现实系统的特点及组成1发展历程发展历程2立体视觉的生成与获取立体视觉的生成与获取3虚拟现实交互设备虚拟现实交互设备4虚拟现实系统的分类虚拟现实系统的分类5增强现实技术增强现实技术6目录CONTENTS虚拟现实交互设备虚拟现实交互设备输入设备：输入设备： 常见的输入设备有三维位置跟踪器、传感手套、三维鼠标等虚拟现实交互设备虚拟现实交互设备 位置跟踪器：许多应用如机器人、建筑设计、位置跟踪器：许多应用如机器人、建筑设计、CADCAD等要求实时获知移动物体的位置和方向。在等要求实时获知移动物体的位置和方向。在3D3D空间中

9、移空间中移动对象共有三个平移参数和三个旋转参数，这些参数的测量动对象共有三个平移参数和三个旋转参数，这些参数的测量结果组成了一个六维的数据集，用于确定使用者的位置。结果组成了一个六维的数据集，用于确定使用者的位置。 传感手套：数据手套是虚拟现实应用的主要交传感手套：数据手套是虚拟现实应用的主要交互设备，作为虚拟的手或控件用于互设备，作为虚拟的手或控件用于3D3D虚拟场景的模拟交互，虚拟场景的模拟交互，可进行物体抓取、移动、装配、操纵、控制、具备有线和无可进行物体抓取、移动、装配、操纵、控制、具备有线和无线、左手和右手之分。线、左手和右手之分。 虚拟现实交互设备虚拟现实交互设备 三维扫描仪：是一

10、种先进的三维模型建立设备，该设备利用CCD成像、激光扫描灯手段实现物体模型的取样，同时通过配套的矢量化软件对三维模型数据进行数字化从而实现计算机系统对数字模型的控制，特别适合于建立一些不规则三维物体模型的工作中。 虚拟现实交互设备虚拟现实交互设备 三维鼠标：用户可用手持三维鼠标操纵三维图形界面。鼠标有各种按键，系统不停地采用各按键的状态，并向实时操作系统发出信号，以控制虚拟环境的前、后运动。 虚拟现实交互设备虚拟现实交互设备 输出设备：输出设备： 常见的输出设备有立体显示设备、声音生成设备及触觉力反馈常见的输出设备有立体显示设备、声音生成设备及触觉力反馈设备。立体显示设备：头盔显示器、立体眼镜

11、、球面投影仪、设备。立体显示设备：头盔显示器、立体眼镜、球面投影仪、3D显显示器示器2929虚拟现实交互设备虚拟现实交互设备WIMP交互范式已不再适用 Windows，Icons，Menus，Pointing devices用户将通过一系列新的交互手段，与虚拟世界中的物体进行直接的、三维的交互 三维鼠标 WAND 数据手套 麦克风 3030虚拟现实交互设备虚拟现实交互设备三维定位跟踪设备 用于跟踪用户当前方位的传感器 大多数具有6自由度（6-DOF）位置和方向各3自由度 佩戴于用户身体的某些部位可对相应部位进行跟踪 一般采用电磁技术、超声技术、光学技术，也有基于惯性的和纯机械方式的3131虚拟

12、现实交互设备虚拟现实交互设备三维定位跟踪设备 电磁式跟踪器示例 3232虚拟现实交互设备虚拟现实交互设备三维定位跟踪设备 Logitech超声三维鼠标 3333虚拟现实交互设备虚拟现实交互设备三维定位跟踪设备 光学跟踪器 跟踪器 红外摄像机 LED 被跟踪物 用作标记的小球 3434虚拟现实交互设备虚拟现实交互设备手持式交互设备 Wand/Wanda美国Illonis大学EVL实验室开发主要用于CAVE、ImmersaDesk等虚拟环境中类似于三维鼠标，上有三个按键和一个操纵杆（Joystick）3535虚拟现实交互设备虚拟现实交互设备手持式交互设备 Wii Remote任天堂游戏主机Wii的

13、主要控制器外形及按钮操作与电视遥控器类似可握持在手中，特别适合于指向、挥动等操作 3636虚拟现实交互设备虚拟现实交互设备数据手套 附有传感器，分布在手掌和手指的关节处，以获取用户手形的准确信息 传感有电磁式、机械式或光学式 传感器捕获的数据被转换成关节角度数据，用于控制虚拟手的运动3737虚拟现实交互设备虚拟现实交互设备数据手套传感器的典型配置 22-dof3838虚拟现实交互设备虚拟现实交互设备 (a) (b) (c) (d) (e) 3939虚拟现实交互设备虚拟现实交互设备4040虚拟现实交互设备虚拟现实交互设备4141虚拟现实交互设备虚拟现实交互设备4242虚拟现实交互设备虚拟现实交互

14、设备交互设备的软件支持 硬件接口标准的串行设备接口（即RS-232）并行口其它接口（如USB或无线通讯接口）软件接口几乎每一种设备均未采用标准的软件接口使用各自独有的接口控制协议或命令指令集4343虚拟现实交互设备虚拟现实交互设备交互设备的软件支持 软件供应商必须为每一硬件供应商的输入设备单独设计应用接口驱动程序 虚拟现实软件间的区别（就交互设备而言）所能支持的输入设备的多少设备与各自系统的集成方式是否有能力进行扩充以支持新的交互设备虚拟现实系统的特点及组成虚拟现实系统的特点及组成1发展历程发展历程2立体视觉的生成与获取立体视觉的生成与获取3虚拟现实交互设备虚拟现实交互设备4虚拟现实系统的分类

15、虚拟现实系统的分类5增强现实技术增强现实技术6目录CONTENTS虚拟现实系统的分类虚拟现实系统的分类VR系统的主要不同之处在于系统与用户之间界面基于系统与用户界面划分 桌面型VR系统 头盔型VR系统 基于投影显示的VR系统 遥在系统 45454646桌面型虚拟现实系统桌面型虚拟现实系统采用计算机屏幕作为立体显示载体 辅以一定的声音输出设备、三维交互设备和立体眼镜等传统计算机图形学的自然扩展具有好的性价比，但沉浸感略差4747基于基于HMD的虚拟现实系统的虚拟现实系统利用HMD等设备把用户的视觉、听觉对外界封闭起来用户完全投入到虚拟环境中能提供好的沉浸感阻断了人与人间的交流4848基于投影显示

16、的虚拟现实系统基于投影显示的虚拟现实系统利用大规模投影显示设备让用户完全或部分融入虚拟环境沉浸式 典型代表：CAVE半沉浸式 典型代表：Workbench4949基于投影显示的虚拟现实系统基于投影显示的虚拟现实系统CAVE (沉浸式) 美国Illonis大学EVL实验室首创 由36个投影屏幕组成正方体形状 计算机系统产生立体图像，经投影仪分别投射到对应的屏幕上 用户戴着立体眼镜站于CAVE的内部 立体眼镜上附有6-DOF跟踪设备对用户头部运动进行实时跟踪 声音系统5050基于投影显示的虚拟现实系统基于投影显示的虚拟现实系统CAVE示意图5151基于投影显示的虚拟现实系统基于投影显示的虚拟现实系

17、统CAVE示例 5252基于投影显示的虚拟现实系统基于投影显示的虚拟现实系统Virtual WorkbenchTM (半沉浸式) 卫星虚拟装配卫星虚拟装配5353遥在系统遥在系统将现实世界中远程场景与操作人员的感官直接连通，让用户感觉就像亲临现场一样 利用计算机图形、人机交互、传感器、网络等技术远程传感器可安装在机器人身上 机器人身上有小型摄像系统需感知用户位置、动作、语音等，将其传送到远程操控远程对象用户与远程对象进行信息双向交流 5454遥在系统遥在系统示例： Cisco远程电话会议系统 http:/ 使用户产生全新的体验，提高对现实世界中的事物和物理现象的洞察力终极目标：用户感觉不到现实

18、世界中的真实物体与用于增强视觉信息的虚拟物体之间的差别5757增强现实技术增强现实技术Milgrim的现实-虚拟连续流 混合现实 (Mixed Reality, MR) 现实环境 (Real Environment) 增强现实 (Augmented Reailty, AR) 增强虚拟 (Augmented Virtuality, AV) 虚拟环境 (Virtual Environment) 5858增强现实系统增强现实系统系统组成5959增强现实技术增强现实技术显示技术 基于光学视透式HMD的增强现实显示原理 图形系统 头部位置 虚拟物体 HMD 监视器 真实世界 光学合成 眼睛 6060增强现实技术增强现实技术显示技术 基于屏幕的增强现实显示原理 图形系统 视频合成 真实 世界 真实场景 视频 相机位置 虚拟物体 增强的视频 显示 6161增强现实技术增强现实技术显示技术 基于视频视透式HMD的增强现实显示原理 图形系统 真实 世界 头部位置 真实场景视频 眼睛 监视器 虚拟物体 视频合成 HMD 相机 6262增强现实技术增强现实技术配准（registration）问题 将位于不同坐标系中的物体统一到一个共同的坐标系中AR系统涉及多个空间，每个空间都有各自不同的坐标系 配准是实现虚拟景物图像和真实世界图像之间正确融合