虚拟现实系统

虚拟现实授课教师：单位：2主要内容虚拟现实系统的特点及组成立体视觉的生成与获取虚拟现实交互设备虚拟现实系统的分类增强现实技术主要内容虚拟现实系统的特点及组成立体视觉的生成与获取虚拟现实交互设备虚拟现实系统的分类增强现实技术34虚拟现实系统的特点及组成虚拟现实技术综合图形、图像、声音、手势、语音等要素，试图给计算机使用者创造一种全新的感官体验，使其具有置身于真实世界的感觉“虚拟环境是使人们具有沉浸感的由计算机生成的、交互的、三维的环境”

---AukstakalnisSandBlatnerD.5虚拟现实系统的特点及组成主要特点沉浸感如同置身于真实环境中：三维、立体、多通道高交互性可采取现实生活中习以为常的方式来操纵虚拟环境中的物体实时性依视点位置和视线方向实时地改变画面，并实时产生听觉、触觉/力觉响应6虚拟现实系统的特点及组成典型虚拟现实系统的组成计算机系统用户虚拟环境人机界面

7虚拟现实系统的特点及组成基于HMD的虚拟现实系统的构成

主要内容虚拟现实系统的特点及组成立体视觉的生成与获取虚拟现实交互设备虚拟现实系统的分类增强现实技术89立体视觉的生成与获取产生沉浸感的至关重要的因素立体图像与观察者视点和视线方向一致实时生成人类立体视觉的产生立体图像生成的照相机模型对称透视投影成像相机模型位置方向10立体视觉的生成与获取立体图图像生生成的的照相相机模模型对称透透视投投影成成像相相机模模型（cont.)宽高比比视角11立体视视觉的的生成成与获获取12立体视视觉的的生成成与获获取立体图图像生生成的的照相相机模模型对称透透视投投影成成像相相机模模型（cont.)近裁剪剪平面面距离离与远远裁剪剪平面面距离离13立体视视觉的的生成成与获获取立体图图像生生成的的照相相机模模型对称透透视投投影成成像相相机模模型（cont.)焦距14立体视视觉的的生成成与获获取立体图图像生生成的的照相相机模模型对称透透视投投影成成像相相机模模型（cont.)左右眼眼视差差（Parallax）为生成成立体体图像像，计计算机机必须须针对对同一一场景景生成成两幅幅不同同的图图像分别按按照观观察者者左、、右眼眼的位位置实实时绘绘制15立体视视觉的的生成成与获获取立体视视觉的的捕获获必须借借助于于一定定的观观察设设备，，使计计算机机生成成的左左、右右眼图图像分分别为为观察察者的的左、、右眼眼所接接收常用的的立体体视觉觉设备备HMD立体眼眼镜主要内内容虚拟现现实系系统的的特点点及组组成立体视视觉的的生成成与获获取虚拟现现实交交互设设备虚拟现现实系系统的的分类类增强现现实技技术1617虚拟现现实交交互设设备WIMP交互范范式已已不再再适用用Windows，Icons，Menus，Pointingdevices用户将将通过过一系系列新新的交交互手手段，，与虚虚拟世世界中中的物物体进进行直直接的的、三三维的的交互互三维鼠鼠标WAND数据手手套麦克风风…18虚拟现现实交交互设设备三维定定位跟跟踪设设备用于跟跟踪用用户当当前方方位的的传感感器大多数数具有有6自由度度（6-DOF）位置和和方向向各3自由度度佩戴于于用户户身体体的某某些部部位可可对相相应部部位进进行跟跟踪一般采采用电电磁技技术、、超声声技术术、光光学技技术，，也有有基于于惯性性的和和纯机机械方方式的的19虚拟现现实交交互设设备三维定定位跟跟踪设设备电磁式式跟踪踪器示示例20虚拟现现实交交互设设备三维定定位跟跟踪设设备Logitech超声三维鼠鼠标21虚拟现实交交互设备三维定位跟跟踪设备光学跟踪器器22虚拟现实交交互设备手持式交互互设备Wand/Wanda美国Illonis大学EVL实验室开发发主要用于CAVE、ImmersaDesk等虚拟环境境中类似于三维维鼠标，上上有三个按按键和一个个操纵杆（（Joystick）23虚拟现实交交互设备手持式交互互设备WiiRemote任天堂游戏主机Wii的主要控制器外形及按钮钮操作与电电视遥控器器类似可握持在手手中，特别别适合于指指向、挥动动等操作24虚拟现实交交互设备数据手套附有传感器器，分布在在手掌和手手指的关节节处，以获获取用户手手形的准确确信息传感有电磁磁式、机械械式或光学学式传感器捕获获的数据被被转换成关关节角度数数据，用于于控制虚拟拟手的运动动25虚拟现实交交互设备数据手套传传感器的典典型配置22-dof26虚拟现实交交互设备27虚拟现实交交互设备28虚拟现实交交互设备29虚拟现实交交互设备30虚拟现实交交互设备交互设备的的软件支持持硬件接口标准的串行行设备接口口（即RS-232）并行口其它接口（（如USB或无线通讯讯接口）软件接口几乎每一种种设备均未未采用标准准的软件接接口使用各自独独有的接口口控制协议议或命令指指令集31虚拟现实交交互设备交互设备的的软件支持持软件供应商商必须为每每一硬件供供应商的输输入设备单单独设计应应用接口驱驱动程序虚拟现实软软件间的区区别（就交交互设备而而言）所能支持的的输入设备备的多少设备与各自自系统的集集成方式是否有能力力进行扩充充以支持新新的交互设设备主要内容虚拟现实系系统的特点点及组成立体视觉的的生成与获获取虚拟现实交交互设备虚拟拟现现实实系系统统的的分分类类增强强现现实实技技术术32VR系统统的的主主要要不不同同之之处处在在于于系系统统与与用用户户之之间间界界面面基于于系系统统与与用用户户界界面面划划分分桌面面型型VR系统统头盔盔型型VR系统统基于于投投影影显显示示的的VR系统统遥在在系系统统…33虚拟拟现现实实系系统统的的分分类类34桌面面型型虚虚拟拟现现实实系系统统采用用计计算算机机屏屏幕幕作作为为立立体体显显示示载载体体辅以以一一定定的的声声音音输输出出设设备备、、三三维维交交互互设设备备和和立立体体眼眼镜镜等等传统统计计算算机机图图形形学学的的自自然然扩扩展展具有有好好的的性性价价比比，，但但沉沉浸浸感感略略差差35基于于HMD的虚虚拟拟现现实实系系统统利用用HMD等设设备备把把用用户户的的视视觉觉、、听听觉觉对对外外界界封封闭闭起起来来用户户完完全全投投入入到到虚虚拟拟环环境境中中能提提供供好好的的沉沉浸浸感感阻断断了了人人与与人人间间的的交交流流36基于于投投影影显显示示的的虚虚拟拟现现实实系系统统利用用大大规规模模投投影影显显示示设设备备让让用用户户完完全全或或部部分分融融入入虚虚拟拟环环境境沉浸式典型代表：CAVE半沉浸式典型代表：Workbench37基于投影显示示的虚拟现实实系统CAVE美国Illonis大学EVL实验室首创由3～6个投影屏幕组组成正方体形形状计算机系统产产生立体图像像，经投影仪仪分别投射到到对应的屏幕幕上用户戴着立体体眼镜站于CAVE的内部立体眼镜上附附有6-DOF跟踪设备对用用户头部运动动进行实时跟跟踪声音系统38基于投影显示示的虚拟现实实系统CAVE示意图39基于投影显示示的虚拟现实实系统CAVE示例40基于投影显示示的虚拟现实实系统VirtualWorkbenchTM卫星虚拟装配配41遥在系统将现实世界中中远程场景与与操作人员的的感官直接连连通，让用户户感觉就像亲亲临现场一样样利用计算机图图形、人机交交互、传感器器、网络等技技术远程传感器可可安装在机器器人身上机器人身上有有小型摄像系系统需感知用户位位置、动作、、语音等，将将其传送到远远程操控远程程对象用户与远程对对象进行信息息双向交流42遥在系统示例：Cisco远程电话会议议系统主要内容虚拟现实系统统的特点及组组成立体视觉的生生成与获取虚拟现实交互互设备虚拟现实系统统的分类增强现实技术术4344增强现实技术术将计算机生成成的图形与用用户在真实物物理世界获取取的视觉信息息组合在一起起使用户产生全全新的体验，，提高对现实实世界中的事事物和物理现现象的洞察力力终极目标：用用户感觉不到到现实世界中中的真实物体体与用于增强强视觉信息的的虚拟物体之之间的差别45增强现实技术术Milgrim的现实--虚拟连续流46增强现实系统统系统组成47增强现实技术术显示技术基于光学视透透式HMD的增强现实显显示原理48增强现实技术术显示技术基于屏幕的增增强现实显示示原理49增强现实技术术显示技术基于视频视透透式HMD的增强现实显显示原理50增强现实技术术配准（registration）问题将位于不同坐坐标系中的物物体统一到一一个共同的坐坐标系中AR系统涉及多个个空间，每个个空间都有各各自不同的坐坐标系配准是实现虚虚拟景物图像像和真实世界界图像之间正正确融合的前前提配准错误将导导致用户的注注意力分散，，甚至无法工工作51增强现实技术术配准困难的原原因需对人和摄像像机的运动进进行实时跟踪踪