虚拟现实技术基础-课件

虚拟现实技术简介授课教师：侯守明 单位：河南理工大学计算机学院虚拟现实技术简介授课教师：侯守明 2主要内容虚拟现实系统的特点及组成立体视觉的生成与获取虚拟现实交互设备虚拟现实系统的分类增强现实技术2主要内容虚拟现实系统的特点及组成3虚拟现实系统的特点及组成虚拟现实技术综合图形、图像、声音、手势、语音等要素，试图给计算机使用者创造一种全新的感官体验，使其具有置身于真实世界的感觉“虚拟环境是使人们具有沉浸感的由计算机生成的、交互的、三维的环境”

---AukstakalnisSandBlatnerD.3虚拟现实系统的特点及组成虚拟现实技术综合图形、图像、声音、4虚拟现实系统的特点及组成主要特点沉浸感如同置身于真实环境中：三维、立体、多通道高交互性可采取现实生活中习以为常的方式来操纵虚拟环境中的物体实时性依视点位置和视线方向实时地改变画面，并实时产生听觉、触觉/力觉响应4虚拟现实系统的特点及组成主要特点5虚拟现实系统的特点及组成典型虚拟现实系统的组成计算机系统用户虚拟环境人机界面

5虚拟现实系统的特点及组成典型虚拟现实系统的组成6虚拟现实系统的特点及组成基于HMD的虚拟现实系统的构成

6虚拟现实系统的特点及组成基于HMD的虚拟现实系统的构成7立体视觉的生成与获取产生沉浸感的至关重要的因素立体图像与观察者视点和视线方向一致实时生成人类立体视觉的产生7立体视觉的生成与获取产生沉浸感的至关重要的因素立体图像生成的照相机模型对称透视投影成像相机模型位置方向8立体视觉的生成与获取立体图像生成的照相机模型8立体视觉的生成与获取立体图像生成的照相机模型对称透视投影成像相机模型（cont.)宽高比视角9立体视觉的生成与获取立体图像生成的照相机模型9立体视觉的生成与获取10立体视觉的生成与获取立体图像生成的照相机模型对称透视投影成像相机模型（cont.)近裁剪平面距离与远裁剪平面距离10立体视觉的生成与获取立体图像生成的照相机模型11立体视觉的生成与获取立体图像生成的照相机模型对称透视投影成像相机模型（cont.)焦距11立体视觉的生成与获取立体图像生成的照相机模型12立体视觉的生成与获取立体图像生成的照相机模型对称透视投影成像相机模型（cont.)左右眼视差（Parallax）为生成立体图像，计算机必须针对同一场景生成两幅不同的图像分别按照观察者左、右眼的位置实时绘制12立体视觉的生成与获取立体图像生成的照相机模型13立体视觉的生成与获取立体视觉的捕获必须借助于一定的观察设备，使计算机生成的左、右眼图像分别为观察者的左、右眼所接收常用的立体视觉设备HMD立体眼镜

13立体视觉的生成与获取立体视觉的捕获14虚拟现实交互设备WIMP交互范式已不再适用Windows，Icons，Menus，Pointingdevices用户将通过一系列新的交互手段，与虚拟世界中的物体进行直接的、三维的交互三维鼠标WAND数据手套麦克风…14虚拟现实交互设备WIMP交互范式已不再适用15虚拟现实交互设备三维定位跟踪设备用于跟踪用户当前方位的传感器大多数具有6自由度（6-DOF）位置和方向各3自由度佩戴于用户身体的某些部位可对相应部位进行跟踪一般采用电磁技术、超声技术、光学技术，也有基于惯性的和纯机械方式的15虚拟现实交互设备三维定位跟踪设备16虚拟现实交互设备三维定位跟踪设备电磁式跟踪器示例

16虚拟现实交互设备三维定位跟踪设备17虚拟现实交互设备三维定位跟踪设备Logitech超声三维鼠标

17虚拟现实交互设备三维定位跟踪设备18虚拟现实交互设备三维定位跟踪设备光学跟踪器

18虚拟现实交互设备三维定位跟踪设备19虚拟现实交互设备手持式交互设备Wand/Wanda美国Illonis大学EVL实验室开发主要用于CAVE、ImmersaDesk等虚拟环境中类似于三维鼠标，上有三个按键和一个操纵杆（Joystick）19虚拟现实交互设备手持式交互设备20虚拟现实交互设备手持式交互设备WiiRemote任天堂游戏主机Wii的主要控制器外形及按钮操作与电视遥控器类似可握持在手中，特别适合于指向、挥动等操作

20虚拟现实交互设备手持式交互设备21虚拟现实交互设备数据手套附有传感器，分布在手掌和手指的关节处，以获取用户手形的准确信息传感有电磁式、机械式或光学式传感器捕获的数据被转换成关节角度数据，用于控制虚拟手的运动21虚拟现实交互设备数据手套22虚拟现实交互设备数据手套传感器的典型配置22-dof22虚拟现实交互设备数据手套传感器的典型配置22-dof23虚拟现实交互设备23虚拟现实交互设备24虚拟现实交互设备24虚拟现实交互设备25虚拟现实交互设备25虚拟现实交互设备26虚拟现实交互设备26虚拟现实交互设备27虚拟现实交互设备交互设备的软件支持硬件接口标准的串行设备接口（即RS-232）并行口其它接口（如USB或无线通讯接口）软件接口几乎每一种设备均未采用标准的软件接口使用各自独有的接口控制协议或命令指令集27虚拟现实交互设备交互设备的软件支持28虚拟现实交互设备交互设备的软件支持软件供应商必须为每一硬件供应商的输入设备单独设计应用接口驱动程序虚拟现实软件间的区别（就交互设备而言）所能支持的输入设备的多少设备与各自系统的集成方式是否有能力进行扩充以支持新的交互设备28虚拟现实交互设备交互设备的软件支持VR系统的主要不同之处在于系统与用户之间界面基于系统与用户界面划分桌面型VR系统头盔型VR系统基于投影显示的VR系统遥在系统…29虚拟现实系统的分类VR系统的主要不同之处在于系统与用户之间界面29虚拟现实系统30桌面型虚拟现实系统采用计算机屏幕作为立体显示载体辅以一定的声音输出设备、三维交互设备和立体眼镜等传统计算机图形学的自然扩展具有好的性价比，但沉浸感略差30桌面型虚拟现实系统采用计算机屏幕作为立体显示载体31基于HMD的虚拟现实系统利用HMD等设备把用户的视觉、听觉对外界封闭起来用户完全投入到虚拟环境中能提供好的沉浸感阻断了人与人间的交流31基于HMD的虚拟现实系统利用HMD等设备把用户的视觉、听32基于投影显示的虚拟现实系统利用大规模投影显示设备让用户完全或部分融入虚拟环境沉浸式典型代表：CAVE半沉浸式典型代表：Workbench32基于投影显示的虚拟现实系统利用大规模投影显示设备让用户完33基于投影显示的虚拟现实系统CAVE美国Illonis大学EVL实验室首创由3～6个投影屏幕组成正方体形状计算机系统产生立体图像，经投影仪分别投射到对应的屏幕上用户戴着立体眼镜站于CAVE的内部立体眼镜上附有6-DOF跟踪设备对用户头部运动进行实时跟踪声音系统33基于投影显示的虚拟现实系统CAVE34基于投影显示的虚拟现实系统CAVE示意图34基于投影显示的虚拟现实系统CAVE示意图35基于投影显示的虚拟现实系统CAVE示例

35基于投影显示的虚拟现实系统CAVE示例36基于投影显示的虚拟现实系统VirtualWorkbenchTM

卫星虚拟装配36基于投影显示的虚拟现实系统VirtualWorkben37遥在系统将现实世界中远程场景与操作人员的感官直接连通，让用户感觉就像亲临现场一样利用计算机图形、人机交互、传感器、网络等技术远程传感器可安装在机器人身上机器人身上有小型摄像系统需感知用户位置、动作、语音等，将其传送到远程操控远程对象用户与远程对象进行信息双向交流

37遥在系统将现实世界中远程场景与操作人员的感官直接连通，让38遥在系统示例：

Cisco远程电话会议系统

/dlls/2006/prod_102306b.html38遥在系统示例：Cisco远程电话会议系统http39增强现实技术将计算机生成的图形与用户在真实物理世界获取的视觉信息组合在一起使用户产生全新的体验，提高对现实世界中的事物和物理现象的洞察力终极目标：用户感觉不到现实世界中的真实物体与用于增强视觉信息的虚拟物体之间的差别39增强现实技术将计算机生成的图形与用户在真实物理世界获取的40增强现实技术Milgrim的现实--虚拟连续流40增强现实技术Milgrim的现实--虚拟连续流41增强现实系统系统组成41增强现实系统系统组成42增强现实技术显示技术基于光学视透式HMD的增强现实显示原理42增强现实技术显示技术43增强现实技术显示技术基于屏幕的增强现实显示原理43增强现实技术显示技术44增强现实技术显示技术基于视频视透式HMD的增强现实显示原理44增强现实技术显示技术45增强现实技术配准（registration）问题将位于不同坐标系中的物体统一到一个共同的坐标系中AR系统涉及多个空间，每个空间都有各自不同的坐标系配准是实现虚拟景物图像和真实世界图像之间正确融合的前提配准错误将导致用户的注意力分散，甚至无法工作45增强现实技术配准（registration）问题46增强现实技术配准困难的原因需对人和摄像机的运动进行实时跟踪运动跟踪可借助跟踪设备来完成，但如何校正这些运动数据以消除噪声?系统所采用的显示方式决定了虚拟景物图像配准到真实场景图像的精度需要对人眼的结构、摄像系统的参数或其它显示设备有更多了解46增强现实技术配准困难的原因47增强现实的应用领域军事领域47增强现实的应用领域军事领域48增强现实的应用领域医学领域48增强现实的应用领域医学领域49增强现实的应用领域工程领域49增强现实的应用领域工程领域50增强现实的应用领域虚拟演播室

50增强现实的应用领域虚拟演播室51增强现实的应用领域虚拟演播室（cont.）

51增强现实的应用领域虚拟演播室（cont.）虚拟现实技术简介授课教师：侯守明 单位：河南理工大学计算机学院虚拟现实技术简介授课教师：侯守明 53主要内容虚拟现实系统的特点及组成立体视觉的生成与获取虚拟现实交互设备虚拟现实系统的分类增强现实技术2主要内容虚拟现实系统的特点及组成54虚拟现实系统的特点及组成虚拟现实技术综合图形、图像、声音、手势、语音等要素，试图给计算机使用者创造一种全新的感官体验，使其具有置身于真实世界的感觉“虚拟环境是使人们具有沉浸感的由计算机生成的、交互的、三维的环境”

---AukstakalnisSandBlatnerD.3虚拟现实系统的特点及组成虚拟现实技术综合图形、图像、声音、55虚拟现实系统的特点及组成主要特点沉浸感如同置身于真实环境中：三维、立体、多通道高交互性可采取现实生活中习以为常的方式来操纵虚拟环境中的物体实时性依视点位置和视线方向实时地改变画面，并实时产生听觉、触觉/力觉响应4虚拟现实系统的特点及组成主要特点56虚拟现实系统的特点及组成典型虚拟现实系统的组成计算机系统用户虚拟环境人机界面

5虚拟现实系统的特点及组成典型虚拟现实系统的组成57虚拟现实系统的特点及组成基于HMD的虚拟现实系统的构成

6虚拟现实系统的特点及组成基于HMD的虚拟现实系统的构成58立体视觉的生成与获取产生沉浸感的至关重要的因素立体图像与观察者视点和视线方向一致实时生成人类立体视觉的产生7立体视觉的生成与获取产生沉浸感的至关重要的因素立体图像生成的照相机模型对称透视投影成像相机模型位置方向59立体视觉的生成与获取立体图像生成的照相机模型8立体视觉的生成与获取立体图像生成的照相机模型对称透视投影成像相机模型（cont.)宽高比视角60立体视觉的生成与获取立体图像生成的照相机模型9立体视觉的生成与获取61立体视觉的生成与获取立体图像生成的照相机模型对称透视投影成像相机模型（cont.)近裁剪平面距离与远裁剪平面距离10立体视觉的生成与获取立体图像生成的照相机模型62立体视觉的生成与获取立体图像生成的照相机模型对称透视投影成像相机模型（cont.)焦距11立体视觉的生成与获取立体图像生成的照相机模型63立体视觉的生成与获取立体图像生成的照相机模型对称透视投影成像相机模型（cont.)左右眼视差（Parallax）为生成立体图像，计算机必须针对同一场景生成两幅不同的图像分别按照观察者左、右眼的位置实时绘制12立体视觉的生成与获取立体图像生成的照相机模型64立体视觉的生成与获取立体视觉的捕获必须借助于一定的观察设备，使计算机生成的左、右眼图像分别为观察者的左、右眼所接收常用的立体视觉设备HMD立体眼镜

13立体视觉的生成与获取立体视觉的捕获65虚拟现实交互设备WIMP交互范式已不再适用Windows，Icons，Menus，Pointingdevices用户将通过一系列新的交互手段，与虚拟世界中的物体进行直接的、三维的交互三维鼠标WAND数据手套麦克风…14虚拟现实交互设备WIMP交互范式已不再适用66虚拟现实交互设备三维定位跟踪设备用于跟踪用户当前方位的传感器大多数具有6自由度（6-DOF）位置和方向各3自由度佩戴于用户身体的某些部位可对相应部位进行跟踪一般采用电磁技术、超声技术、光学技术，也有基于惯性的和纯机械方式的15虚拟现实交互设备三维定位跟踪设备67虚拟现实交互设备三维定位跟踪设备电磁式跟踪器示例

16虚拟现实交互设备三维定位跟踪设备68虚拟现实交互设备三维定位跟踪设备Logitech超声三维鼠标

17虚拟现实交互设备三维定位跟踪设备69虚拟现实交互设备三维定位跟踪设备光学跟踪器

18虚拟现实交互设备三维定位跟踪设备70虚拟现实交互设备手持式交互设备Wand/Wanda美国Illonis大学EVL实验室开发主要用于CAVE、ImmersaDesk等虚拟环境中类似于三维鼠标，上有三个按键和一个操纵杆（Joystick）19虚拟现实交互设备手持式交互设备71虚拟现实交互设备手持式交互设备WiiRemote任天堂游戏主机Wii的主要控制器外形及按钮操作与电视遥控器类似可握持在手中，特别适合于指向、挥动等操作

20虚拟现实交互设备手持式交互设备72虚拟现实交互设备数据手套附有传感器，分布在手掌和手指的关节处，以获取用户手形的准确信息传感有电磁式、机械式或光学式传感器捕获的数据被转换成关节角度数据，用于控制虚拟手的运动21虚拟现实交互设备数据手套73虚拟现实交互设备数据手套传感器的典型配置22-dof22虚拟现实交互设备数据手套传感器的典型配置22-dof74虚拟现实交互设备23虚拟现实交互设备75虚拟现实交互设备24虚拟现实交互设备76虚拟现实交互设备25虚拟现实交互设备77虚拟现实交互设备26虚拟现实交互设备78虚拟现实交互设备交互设备的软件支持硬件接口标准的串行设备接口（即RS-232）并行口其它接口（如USB或无线通讯接口）软件接口几乎每一种设备均未采用标准的软件接口使用各自独有的接口控制协议或命令指令集27虚拟现实交互设备交互设备的软件支持79虚拟现实交互设备交互设备的软件支持软件供应商必须为每一硬件供应商的输入设备单独设计应用接口驱动程序虚拟现实软件间的区别（就交互设备而言）所能支持的输入设备的多少设备与各自系统的集成方式是否有能力进行扩充以支持新的交互设备28虚拟现实交互设备交互设备的软件支持VR系统的主要不同之处在于系统与用户之间界面基于系统与用户界面划分桌面型VR系统头盔型VR系统基于投影显示的VR系统遥在系统…80虚拟现实系统的分类VR系统的主要不同之处在于系统与用户之间界面29虚拟现实系统81桌面型虚拟现实系统采用计算机屏幕作为立体显示载体辅以一定的声音输出设备、三维交互设备和立体眼镜等传统计算机图形学的自然扩展具有好的性价比，但沉浸感略差30桌面型虚拟现实系统采用计算机屏幕作为立体显示载体82基于HMD的虚拟现实系统利用HMD等设备把用户的视觉、听觉对外界封闭起来用户完全投入到虚拟环境中能提供好的沉浸感阻断了人与人间的交流31基于HMD的虚拟现实系统利用HMD等设备把用户的视觉、听83基于投影显示的虚拟现实系统利用大规模投影显示设备让用户完全或部分融入虚拟环境沉浸式典型代表：CAVE半沉浸式典型代表：Workbench32基于投影显示的虚拟现实系统利用大规模投影显示设备让用户完84基于投影显示的虚拟现实系统CAVE美国Illonis大学EVL实验室首创由3～6个投影屏幕组成正方体形状计算机系统产生立体图像，经投影仪分别投射到对应的屏幕上用户戴着立体眼镜站于CAVE的内部立体眼镜上附有6-DOF跟踪设备对用户头部运动进行实时跟踪声音系统33基于投影显示的虚拟现实系统CAVE85基于投影显示的虚拟现实系统CAVE示意图34基于投影显示的虚拟现实系统CAVE示意图86基于投影显示的虚拟现实系统CAVE示例

35基于投影显示的虚拟现实系统CAVE示例87基于投影显示的虚拟现实系统VirtualWorkbenchTM

卫星虚拟装配36基于投影显示的虚拟现实系统VirtualWorkben88遥在系统将现实世界中远程场景与操作人员的感官直接连通，让用户感觉就像亲临现场一样利用计算机图形、人机交互、传感器、网络等技术远程传感器可安装在机器人身上机器人身上有小型摄像系统需感知用户位置、动作、语音等，将其传送到远程操控远程对象用户与远程对象进行信息双向交流

37遥在系统将现实世界中远程场景与操作人员的感官直接连通，让89遥在系统示例：

Cisco远程电话会议系统

/dlls/2006/prod_102306b.html38遥在系统示例：Cisco远程电话会议系统http90增强现