第八章虚拟现实

1、虚拟现实授课教师：单位：2主要内容l虚拟现实系统的特点及组成l立体视觉的生成与获取l虚拟现实交互设备l虚拟现实系统的分类l增强现实技术主要内容l虚拟现实系统的特点及组成l立体视觉的生成与获取l虚拟现实交互设备l虚拟现实系统的分类l增强现实技术34虚拟现实系统的特点及组成l虚拟现实技术综合图形、图像、声音、手势、语音等要素，试图给计算机使用者创造一种全新的感官体验，使其具有置身于真实世界的感觉l“虚拟环境是使人们具有沉浸感的由计算机生成的、交互的、三维的环境” - Aukstakalnis S and Blatner D.5虚拟现实系统的特点及组成l主要特点l沉浸感如同置身于真实环境中：三维、立

2、体、多通道高交互性可采取现实生活中习以为常的方式来操纵虚拟环境中的物体实时性依视点位置和视线方向实时地改变画面，并实时产生听觉、触觉/力觉响应6虚拟现实系统的特点及组成l典型虚拟现实系统的组成l计算机系统l用户l虚拟环境人机界面 7虚拟现实系统的特点及组成l基于HMD的虚拟现实系统的构成 主要内容l虚拟现实系统的特点及组成l立体视觉的生成与获取l虚拟现实交互设备l虚拟现实系统的分类l增强现实技术89立体视觉的生成与获取l产生沉浸感的至关重要的因素l立体图像与观察者视点和视线方向一致l实时生成l人类立体视觉的产生 l立体图像生成的照相机模型l对称透视投影成像相机模型位置方向10立体视觉的生成与获

3、取l立体图像生成的照相机模型l对称透视投影成像相机模型 （cont.)宽高比视角11立体视觉的生成与获取12立体视觉的生成与获取l立体图像生成的照相机模型l对称透视投影成像相机模型 （cont.)近裁剪平面距离与远裁剪平面距离13立体视觉的生成与获取l立体图像生成的照相机模型l对称透视投影成像相机模型 （cont.)焦距14立体视觉的生成与获取l立体图像生成的照相机模型l对称透视投影成像相机模型 （cont.)左右眼视差（Parallax）l为生成立体图像，计算机必须针对同一场景生成两幅不同的图像l分别按照观察者左、右眼的位置实时绘制 右眼视图 视线方向 视差 左眼视图 15立体视觉的生成与获

4、取l立体视觉的捕获l必须借助于一定的观察设备，使计算机生成的左、右眼图像分别为观察者的左、右眼所接收l常用的立体视觉设备HMD立体眼镜 主要内容l虚拟现实系统的特点及组成l立体视觉的生成与获取l虚拟现实交互设备l虚拟现实系统的分类l增强现实技术1617虚拟现实交互设备lWIMP交互范式已不再适用lWindows，Icons，Menus，Pointing devicesl用户将通过一系列新的交互手段，与虚拟世界中的物体进行直接的、三维的交互l三维鼠标lWANDl数据手套l麦克风l18虚拟现实交互设备l三维定位跟踪设备l用于跟踪用户当前方位的传感器l大多数具有6自由度（6-DOF）位置和方向各3自

5、由度l佩戴于用户身体的某些部位可对相应部位进行跟踪l一般采用电磁技术、超声技术、光学技术，也有基于惯性的和纯机械方式的19虚拟现实交互设备l三维定位跟踪设备l电磁式跟踪器示例 20虚拟现实交互设备l三维定位跟踪设备lLogitech超声三维鼠标 21虚拟现实交互设备l三维定位跟踪设备l光学跟踪器 跟踪器 红外摄像机 LED 被跟踪物 用作标记的小球 22虚拟现实交互设备l手持式交互设备lWand/Wanda美国Illonis大学EVL实验室开发主要用于CAVE、ImmersaDesk等虚拟环境中类似于三维鼠标，上有三个按键和一个操纵杆（Joystick）23虚拟现实交互设备l手持式交互设备lW

6、ii Remote任天堂游戏主机Wii的主要控制器外形及按钮操作与电视遥控器类似可握持在手中，特别适合于指向、挥动等操作 24虚拟现实交互设备l数据手套l附有传感器，分布在手掌和手指的关节处，以获取用户手形的准确信息l传感有电磁式、机械式或光学式l传感器捕获的数据被转换成关节角度数据，用于控制虚拟手的运动25虚拟现实交互设备l数据手套传感器的典型配置 22-dof26虚拟现实交互设备 (a) (b) (c) (d) (e) 27虚拟现实交互设备28虚拟现实交互设备29虚拟现实交互设备30虚拟现实交互设备l交互设备的软件支持l硬件接口l标准的串行设备接口（即RS-232）并行口其它接口（如USB

7、或无线通讯接口）软件接口几乎每一种设备均未采用标准的软件接口使用各自独有的接口控制协议或命令指令集31虚拟现实交互设备l交互设备的软件支持l软件供应商必须为每一硬件供应商的输入设备单独设计应用接口驱动程序l虚拟现实软件间的区别（就交互设备而言）l所能支持的输入设备的多少l设备与各自系统的集成方式l是否有能力进行扩充以支持新的交互设备主要内容l虚拟现实系统的特点及组成l立体视觉的生成与获取l虚拟现实交互设备l虚拟现实系统的分类l增强现实技术32lVR系统的主要不同之处在于系统与用户之间界面l基于系统与用户界面划分l桌面型VR系统l头盔型VR系统l基于投影显示的VR系统l遥在系统l33虚拟现实系统

8、的分类34桌面型虚拟现实系统l采用计算机屏幕作为立体显示载体l辅以一定的声音输出设备、三维交互设备和立体眼镜等l传统计算机图形学的自然扩展l具有好的性价比，但沉浸感略差35基于HMD的虚拟现实系统l利用HMD等设备把用户的视觉、听觉对外界封闭起来l用户完全投入到虚拟环境中l能提供好的沉浸感l阻断了人与人间的交流36基于投影显示的虚拟现实系统l利用大规模投影显示设备让用户完全或部分融入虚拟环境l沉浸式l典型代表：CAVEl半沉浸式l典型代表：Workbench37基于投影显示的虚拟现实系统lCAVEl美国Illonis大学EVL实验室首创l由36个投影屏幕组成正方体形状l计算机系统产生立体图像，

9、经投影仪分别投射到对应的屏幕上l用户戴着立体眼镜站于CAVE的内部l立体眼镜上附有6-DOF跟踪设备对用户头部运动进行实时跟踪l声音系统38基于投影显示的虚拟现实系统lCAVE示意图39基于投影显示的虚拟现实系统lCAVE示例 40基于投影显示的虚拟现实系统lVirtual WorkbenchTM 卫星虚拟装配41遥在系统l将现实世界中远程场景与操作人员的感官直接连通，让用户感觉就像亲临现场一样l利用计算机图形、人机交互、传感器、网络等技术l远程传感器可安装在机器人身上l机器人身上有小型摄像系统l需感知用户位置、动作、语音等，将其传送到远程操控远程对象l用户与远程对象进行信息双向交流 42遥在

10、系统l示例： Cisco远程电话会议系统 http:/ 混合现实 (Mixed Reality, MR) 现实环境 (Real Environment) 增强现实 (Augmented Reailty, AR) 增强虚拟 (Augmented Virtuality, AV) 虚拟环境 (Virtual Environment) 46增强现实系统l系统组成47增强现实技术l显示技术l基于光学视透式HMD的增强现实显示原理 图形系统 头部位置 虚拟物体 HMD 监视器 真实世界 光学合成 眼睛 48增强现实技术l显示技术l基于屏幕的增强现实显示原理 图形系统 视频合成 真实 世界 真实场景 视频 相机位置 虚拟物体 增强的视频 显示 49增强现实技术l显示技术l基于视频视透式HMD的增强现实显示原理 图形系统 真实 世界 头部位置 真实场景视频 眼睛 监视器 虚拟物体 视频合成 HMD 相机 50增强现实技术l配准（registration）问题l将位于不同坐标系中的物体统一到一个共同的坐标系中lAR系统涉及多个空间，每个空间都有各自不同的坐标系l配准是实现虚拟景物图像和真实世界图像之间正确融合的前提l配准错误将导致用户的注意力分散，甚至无法工作51增强现实技术l配准困难的原因l需对人和摄像机的运动进行实时跟踪运动跟踪可借助跟踪设备