虚拟现实技术基础

虚拟现实技术简介,授课教师：侯守明单位：河南理工大学计算机学院,2,主要内容,虚拟现实系统的特点及组成立体视觉的生成与获取虚拟现实交互设备虚拟现实系统的分类增强现实技术,3,虚拟现实系统的特点及组成,虚拟现实技术综合图形、图像、声音、手势、语音等要素，试图给计算机使用者创造一种全新的感官体验，使其具有置身于真实世界的感觉“虚拟环境是使人们具有沉浸感的由计算机生成的、交互的、三维的环境”-AukstakalnisSandBlatnerD.,4,虚拟现实系统的特点及组成,主要特点沉浸感如同置身于真实环境中：三维、立体、多通道高交互性可采取现实生活中习以为常的方式来操纵虚拟环境中的物体实时性依视点位置和视线方向实时地改变画面，并实时产生听觉、触觉/力觉响应,5,虚拟现实系统的特点及组成,典型虚拟现实系统的组成计算机系统用户虚拟环境人机界面,6,虚拟现实系统的特点及组成,基于HMD的虚拟现实系统的构成,7,立体视觉的生成与获取,产生沉浸感的至关重要的因素立体图像与观察者视点和视线方向一致实时生成人类立体视觉的产生,立体图像生成的照相机模型对称透视投影成像相机模型位置方向,8,立体视觉的生成与获取,立体图像生成的照相机模型对称透视投影成像相机模型（cont.)宽高比视角,9,立体视觉的生成与获取,10,立体视觉的生成与获取,立体图像生成的照相机模型对称透视投影成像相机模型（cont.)近裁剪平面距离与远裁剪平面距离,11,立体视觉的生成与获取,立体图像生成的照相机模型对称透视投影成像相机模型（cont.)焦距,12,立体视觉的生成与获取,立体图像生成的照相机模型对称透视投影成像相机模型（cont.)左右眼视差（Parallax）为生成立体图像，计算机必须针对同一场景生成两幅不同的图像分别按照观察者左、右眼的位置实时绘制,13,立体视觉的生成与获取,立体视觉的捕获必须借助于一定的观察设备，使计算机生成的左、右眼图像分别为观察者的左、右眼所接收常用的立体视觉设备HMD立体眼镜,14,虚拟现实交互设备,WIMP交互范式已不再适用Windows，Icons，Menus，Pointingdevices用户将通过一系列新的交互手段，与虚拟世界中的物体进行直接的、三维的交互三维鼠标WAND数据手套麦克风,15,虚拟现实交互设备,三维定位跟踪设备用于跟踪用户当前方位的传感器大多数具有6自由度（6-DOF）位置和方向各3自由度佩戴于用户身体的某些部位可对相应部位进行跟踪一般采用电磁技术、超声技术、光学技术，也有基于惯性的和纯机械方式的,16,虚拟现实交互设备,三维定位跟踪设备电磁式跟踪器示例,17,虚拟现实交互设备,三维定位跟踪设备Logitech超声三维鼠标,18,虚拟现实交互设备,三维定位跟踪设备光学跟踪器,19,虚拟现实交互设备,手持式交互设备Wand/Wanda美国Illonis大学EVL实验室开发主要用于CAVE、ImmersaDesk等虚拟环境中类似于三维鼠标，上有三个按键和一个操纵杆（Joystick）,20,虚拟现实交互设备,手持式交互设备WiiRemote任天堂游戏主机Wii的主要控制器外形及按钮操作与电视遥控器类似可握持在手中，特别适合于指向、挥动等操作,21,虚拟现实交互设备,数据手套附有传感器，分布在手掌和手指的关节处，以获取用户手形的准确信息传感有电磁式、机械式或光学式传感器捕获的数据被转换成关节角度数据，用于控制虚拟手的运动,22,虚拟现实交互设备,数据手套传感器的典型配置,22-dof,23,虚拟现实交互设备,数据手套示例Immersion数据手套产品,24,虚拟现实交互设备,数据手套示例PinchGlove数据手套,25,虚拟现实交互设备,数据手套示例5DT数据手套,26,虚拟现实交互设备,触觉交互设备Phantom,27,虚拟现实交互设备,交互设备的软件支持硬件接口标准的串行设备接口（即RS-232）并行口其它接口（如USB或无线通讯接口）软件接口几乎每一种设备均未采用标准的软件接口使用各自独有的接口控制协议或命令指令集,28,虚拟现实交互设备,交互设备的软件支持软件供应商必须为每一硬件供应商的输入设备单独设计应用接口驱动程序虚拟现实软件间的区别（就交互设备而言）所能支持的输入设备的多少设备与各自系统的集成方式是否有能力进行扩充以支持新的交互设备,VR系统的主要不同之处在于系统与用户之间界面基于系统与用户界面划分桌面型VR系统头盔型VR系统基于投影显示的VR系统遥在系统,29,虚拟现实系统的分类,30,桌面型虚拟现实系统,采用计算机屏幕作为立体显示载体辅以一定的声音输出设备、三维交互设备和立体眼镜等传统计算机图形学的自然扩展具有好的性价比，但沉浸感略差,31,基于HMD的虚拟现实系统,利用HMD等设备把用户的视觉、听觉对外界封闭起来用户完全投入到虚拟环境中能提供好的沉浸感阻断了人与人间的交流,32,基于投影显示的虚拟现实系统,利用大规模投影显示设备让用户完全或部分融入虚拟环境沉浸式典型代表：CAVE半沉浸式典型代表：Workbench,33,基于投影显示的虚拟现实系统,CAVE美国Illonis大学EVL实验室首创由36个投影屏幕组成正方体形状计算机系统产生立体图像，经投影仪分别投射到对应的屏幕上用户戴着立体眼镜站于CAVE的内部立体眼镜上附有6-DOF跟踪设备对用户头部运动进行实时跟踪声音系统,34,基于投影显示的虚拟现实系统,CAVE示意图,35,基于投影显示的虚拟现实系统,CAVE示例,36,基于投影显示的虚拟现实系统,VirtualWorkbenchTM,卫星虚拟装配,37,遥在系统,将现实世界中远程场景与操作人员的感官直接连通，让用户感觉就像亲临现场一样利用计算机图形、人机交互、传感器、网络等技术远程传感器可安装在机器人身上机器人身上有小型摄像系统需感知用户位置、动作、语音等，将其传送到远程操控远程对象用户与远程对象进行信息双向交流,38,遥在系统,示例：Cisco远程电话会议系统,39,增强现实技术,将计算机生成的图形与用户在真实物理世界获取的视觉信息组合在一起使用户产生全新的体验，提高对现实世界中的事物和物理现象的洞察力终极目标：用户感觉不到现实世界中的真实物体与用于增强视觉信息的虚拟物体之间的差别,40,增强现实技术,Milgrim的现实-虚拟连续流,41,增强现实系统,系统组成,42,增强现实技术,显示技术基于光学视透式HMD的增强现实显示原理,43,增强现实技术,显示技术基于屏幕的增强现实显示原理,44,增强现实技术,显示技术基于视频视透式HMD的增强现实显示原理,45,增强现实技术,配准（registration）问题将位于不同坐标系中的物体统一到一个共同的坐标系中AR系统涉及多个空间，每个空间都有各自不同的坐标系配准是实现虚拟景物图像和真实世界图像之间正确融合的前提配准错误将导致用户的注意力分散，甚至无法工作,46,增强现实技术,配准困难的原因需对人和摄像机的运动进行实时跟踪运动跟踪可借助跟踪设备来完成，但如何校正这些运动数据以消除噪声?系统所采用