《虚拟现实技术》PPT课件.ppt

虚拟现实技术,邓海鹰,虚拟现实系统的特点及组成,1,发展历程,2,立体视觉的生成与获取,3,虚拟现实交互设备,4,虚拟现实系统的分类,5,增强现实技术,6,目 录,CONTENTS,虚拟现实系统的特点及组成,1,发展历程,2,立体视觉的生成与获取,3,虚拟现实交互设备,4,虚拟现实系统的分类,5,增强现实技术,6,目 录,CONTENTS,4,虚拟现实系统的特点及组成,虚拟现实技术综合图形、图像、声音、手势、语音等要素，试图给计算机使用者创造一种全新的感官体验，使其具有置身于真实世界的感觉 “虚拟环境是使人们具有沉浸感的由计算机生成的、交互的、三维的环境” - Aukstakalnis S and Blatner D.,虚拟现实系统的特点及组成,1计算机提供“环境“, 不是“数据, 信息“。这改变了人机接口的内容。 2操作者由视觉,听觉,力觉感知环境, 由自然的动作操作环境, 不是由屏幕,键盘,鼠标和计算机交互。这改变了人机接口的形式。 3逼真的感知和自然的动作，使人产生身临其境的感觉。这改变了人机接口的效果。,6,虚拟现实系统的特点及组成,主要特点 沉浸感 如同置身于真实环境中：三维、立体、多通道 高交互性 可采取现实生活中习以为常的方式来操纵虚拟环境中的物体 实时性 依视点位置和视线方向实时地改变画面，并实时产生听觉、触觉/力觉响应,虚拟现实系统的构成,虚拟现实系统有5个关键成分：虚拟世界、虚拟现实软件、计算机、输入设备和输出设备。 虚拟世界是可交互的虚拟环境，它一般是一个包含三维模型或者环境所定义的数据库。 虚拟现实软件提供实时观察和参与虚拟世界的能力。 输入设备可用于观察和构造虚拟世界，包括鼠标、游戏杆和定位跟踪器等，输出设备显示当前虚拟世界视图，包括显示器和头盔等,8,虚拟现实系统的特点及组成,典型虚拟现实系统的组成 计算机系统 用户 虚拟环境人机界面,9,虚拟现实系统的特点及组成,基于HMD的虚拟现实系统的构成,虚拟现实系统的特点及组成,1,发展历程,2,立体视觉的生成与获取,3,虚拟现实交互设备,4,虚拟现实系统的分类,5,增强现实技术,6,目 录,CONTENTS,发展历程,1、1961年，Morton Heilig的设想-体验剧场（Sensorama），以布鲁克林街道为背景，模拟漫步的感受-先驱者 2、1965年，计算图形学之父Ivan Sutherland发表论文“终极的显示”，提出“应将计算的显示屏进化为观看虚拟世界的窗口” 3、次年，他开始研制第一个头盔显示器1970年，在犹他大学成功演示了它的功能。,4、70-80年代，美国军方投巨资研究“飞行头盔”和其他军用仿真器，成为虚拟现实技术发展的主要推动力。 5、1981年，美国国家航空和宇宙航行（NASA）制作了当时最先进的液晶显示器头盔。 6、80年代中期，J.Zimmermn 和Jaron.Lanier发明了数据手套。 1989年组建VPL Research公司,发展历程,发展历程,7、同年Jaron Lanier在文章中正式使用虚拟现实这一术语。 8、其他成就：用计算机生成的图形代替了摄制图像，并开始设计场景生成器-图形加速卡,发展历程,虚拟现实系统的特点及组成,1,发展历程,2,立体视觉的生成与获取,3,虚拟现实交互设备,4,虚拟现实系统的分类,5,增强现实技术,6,目 录,CONTENTS,16,立体视觉的生成与获取,产生沉浸感的至关重要的因素 立体图像与观察者视点和视线方向一致 实时生成 人类立体视觉的产生,立体视觉的生成与获取,立体图像生成的照相机模型 对称透视投影成像相机模型 位置 方向,17,立体视觉的生成与获取,立体图像生成的照相机模型 对称透视投影成像相机模型 （cont.) 宽高比 视角,18,19,立体视觉的生成与获取,立体图像生成的照相机模型 对称透视投影成像相机模型 （cont.) 近裁剪平面距离与远裁剪平面距离,20,立体视觉的生成与获取,立体图像生成的照相机模型 对称透视投影成像相机模型 （cont.) 焦距,21,立体视觉的生成与获取,立体图像生成的照相机模型 对称透视投影成像相机模型 （cont.) 左右眼视差（Parallax） 为生成立体图像，计算机必须针对同一场景生成两幅不同的图像 分别按照观察者左、右眼的位置实时绘制,22,立体视觉的生成与获取,立体视觉的捕获 必须借助于一定的观察设备，使计算机生成的左、右眼图像分别为观察者的左、右眼所接收 常用的立体视觉设备 HMD 立体眼镜,虚拟现实系统的特点及组成,1,发展历程,2,立体视觉的生成与获取,3,虚拟现实交互设备,4,虚拟现实系统的分类,5,增强现实技术,6,目 录,CONTENTS,虚拟现实交互设备,输入设备： 常见的输入设备有三维位置跟踪器、传感手套、三维鼠标等,虚拟现实交互设备,位置跟踪器：许多应用如机器人、建筑设计、CAD等要求实时获知移动物体的位置和方向。在3D空间中移动对象共有三个平移参数和三个旋转参数，这些参数的测量结果组成了一个六维的数据集，用于确定使用者的位置。 传感手套：数据手套是虚拟现实应用的主要交互设备，作为虚拟的手或控件用于3D虚拟场景的模拟交互，可进行物体抓取、移动、装配、操纵、控制、具备有线和无线、左手和右手之分。,虚拟现实交互设备,三维扫描仪：是一种先进的三维模型建立设备，该设备利用CCD成像、激光扫描灯手段实现物体模型的取样，同时通过配套的矢量化软件对三维模型数据进行数字化从而实现计算机系统对数字模型的控制，特别适合于建立一些不规则三维物体模型的工作中。,虚拟现实交互设备,三维鼠标：用户可用手持三维鼠标操纵三维图形界面。鼠标有各种按键，系统不停地采用各按键的状态，并向实时操作系统发出信号，以控制虚拟环境的前、后运动。,虚拟现实交互设备,输出设备： 常见的输出设备有立体显示设备、声音生成设备及触觉力反馈设备。立体显示设备：头盔显示器、立体眼镜、球面投影仪、3D显示器,29,虚拟现实交互设备,WIMP交互范式已不再适用 Windows，Icons，Menus，Pointing devices 用户将通过一系列新的交互手段，与虚拟世界中的物体进行直接的、三维的交互 三维鼠标 WAND 数据手套 麦克风 ,30,虚拟现实交互设备,三维定位跟踪设备 用于跟踪用户当前方位的传感器 大多数具有6自由度（6-DOF） 位置和方向各3自由度 佩戴于用户身体的某些部位可对相应部位进行跟踪 一般采用电磁技术、超声技术、光学技术，也有基于惯性的和纯机械方式的,31,虚拟现实交互设备,三维定位跟踪设备 电磁式跟踪器示例,32,虚拟现实交互设备,三维定位跟踪设备 Logitech超声三维鼠标,33,虚拟现实交互设备,三维定位跟踪设备 光学跟踪器,34,虚拟现实交互设备,手持式交互设备 Wand/Wanda 美国Illonis大学EVL实验室开发 主要用于CAVE、ImmersaDesk等虚拟环境中 类似于三维鼠标，上有三个按键和一个操纵杆（Joystick）,35,虚拟现实交互设备,手持式交互设备 Wii Remote 任天堂游戏主机Wii的主要控制器 外形及按钮操作与电视遥控器类似 可握持在手中，特别适合于指向、挥动等操作,36,虚拟现实交互设备,数据手套 附有传感器，分布在手掌和手指的关节处，以获取用户手形的准确信息 传感有电磁式、机械式或光学式 传感器捕获的数据被转换成关节角度数据，用于控制虚拟手的运动,37,虚拟现实交互设备,数据手套传感器的典型配置,22-dof,38,虚拟现实交互设备,数据手套示例 Immersion数据手套产品 ,39,虚拟现实交互设备,数据手套示例 PinchGlove数据手套 ,40,虚拟现实交互设备,数据手套示例 5DT数据手套 ,41,虚拟现实交互设备,触觉交互设备 Phantom ,42,虚拟现实交互设备,交互设备的软件支持 硬件接口 标准的串行设备接口（即RS-232） 并行口 其它接口（如USB或无线通讯接口） 软件接口 几乎每一种设备均未采用标准的软件接口 使用各自独有的接口控制协议或命令指令集,43,虚拟现实交互设备,交互设备的软件支持 软件供应商必须为每一硬件供应商的输入设备单独设计应用接口驱动程序 虚拟现实软件间的区别（就交互设备而言） 所能支持的输入设备的多少 设备与各自系统的集成方式 是否有能力进行扩充以支持新的交互设备,虚拟现实系统的特点及组成,1,发展历程,2,立体视觉的生成与获取,3,虚拟现实交互设备,4,虚拟现实系统的分类,5,增强现实技术,6,目 录,CONTENTS,虚拟现实系统的分类,VR系统的主要不同之处在于系统与用户之间界面 基于系统与用户界面划分 桌面型VR系统 头盔型VR系统 基于投影显示的VR系统 遥在系统 ,45,46,桌面型虚拟现实系统,采用计算机屏幕作为立体显示载体 辅以一定的声音输出设备、三维交互设备和立体眼镜等 传统计算机图形学的自然扩展 具有好的性价比，但沉浸感略差,47,基于HMD的虚拟现实系统,利用HMD等设备把用户的视觉、听觉对外界封闭起来 用户完全投入到虚拟环境中 能提供好的沉浸感 阻断了人与人间的交流,48,基于投影显示的虚拟现实系统,利用大规模投影显示设备让用户完全或部分融入虚拟环境 沉浸式 典型代表：CAVE 半沉浸式 典型代表：Workbench,49,基于投影显示的虚拟现实系统,CAVE (沉浸式) 美国Illonis大学EVL实验室首创 由36个投影屏幕组成正方体形状 计算机系统产生立体图像，经投影仪分别投射到对应的屏幕上 用户戴着立体眼镜站于CAVE的内部 立体眼镜上附有6-DOF跟踪设备对用户头部运动进行实时跟踪 声音系统,50,基于投影显示的虚拟现实系统,CAVE示意图,51,基于投影显示的虚拟现实系统,CAVE示例,52,基于投影显示的虚拟现实系统,Virtual WorkbenchTM (半沉浸式),卫星虚拟装配,53,遥在系统,将现实世界中远程场景与操作人员的感官直接连通，让用户感觉就像亲临现场一样 利用计算机图形、人机交互、传感器、网络等技术 远程传感器可安装在机器人身上 机器人身上有小型摄像系统 需感知用户位置、动作、语音等，将其传送到远程操控远程对象 用户与远程对象进行信息双向交流,54,遥在系统,示例： Cisco远程电话会议系统,虚拟现实系统的特点及组成,1,发展历程,2,立体视觉的生成与获取,3,虚拟现实交互设备,4,虚拟现实系统的分类,5,增强现实技术,6,目 录,CONTENTS,56,增强现实技术,将计算机生成的图形与用户在真实物理世界获取的视觉信息组合在一起 使用户产生全新的体验，提高对现实世界中的事物和物理现象的洞察力 终极目标：用户感觉不到现实世界中的真实物体与用于增强视觉信息的虚拟物体之间的差别,57,增强现实技术,Milgrim的现实-虚拟连续流,58,增强现实系统,系统组成,59,增强现实技术,显示技术 基于光学视透式HMD的增强现实显示原理,60,增强现实技术,显示技术 基于屏幕的增强现实显示原理,61,增强现实技术,显示技术 基于视频视透式HMD的增强现实显示原理,62,增强现实技术,配准（registration）问题 将位于不同坐标系中的物体统一到一个共同的坐标系中 AR系统涉及多个空间，每个空间都有各自不同的坐标系 配准是实现虚拟景物图像和真实世界图像之间正确融合的前提 配准