计算机图形学应用基础 课件 第8章 虚拟现实

虚拟现实授课教师：单位：2主要内容虚拟现实概述虚拟现实的系统组成立体视觉的生成原理虚拟现实交互增强现实技术的特点虚拟现实与增强现实应用3主要内容虚拟现实概述虚拟现实的系统组成立体视觉的生成原理虚拟现实交互增强现实技术的特点虚拟现实与增强现实应用4虚拟现实概述虚拟现实（virtualreality，VR）是采用计算机技术及设备营造的数字化环境，用户在该环境中可以与数字物体互动5虚拟现实概述虚拟现实的特点沉浸感如同置身于真实环境中：三维、立体、多通道高交互性可采取现实生活中习以为常的方式来操纵虚拟环境中的物体实时性依视点位置和视线方向实时地改变画面，并实时产生听觉、触觉/力觉响应6虚拟现实概述增强现实技术将需要模拟的虚拟物体直接嵌入到现实环境中，在现实场景中对其进行三维注册和实时交互增强现实的三个要素虚实共存三维注册实时交互7虚拟现实概述增强现实技术使用户产生全新的体验，提高对现实世界中的事物和物理现象的洞察力终极目标：用户感觉不到现实世界中的真实物体与用于增强视觉信息的虚拟物体之间的差别8虚拟现实概述虚拟现实连续统现实环境虚拟环境混合现实增强现实增强虚拟9虚拟现实概述虚拟现实的发展历史1960-1980s：萌芽阶段图形学的发展1968年首款增强现实头盔1989年虚拟现实的概念及首款虚拟现实头盔1990-2010s：探索阶段2010-现在：产业化阶段首款增强现实头盔显示器10虚拟现实概述虚拟现实的要素和特点虚拟现实是以人为中心的技术重要特征沉浸感交互性构想性虚拟现实系统的逻辑图11主要内容虚拟现实概述虚拟现实的系统组成立体视觉的生成原理虚拟现实交互增强现实技术的特点虚拟现实与增强现实应用12虚拟现实的系统组成虚拟现实系统的组成呈现设备或系统虚拟环境人机交互界面计算机系统及软件

13虚拟现实的系统组成虚拟现实的呈现头盔显示器CAVE

14虚拟现实的系统组成虚拟现实的交互自然的人机交互界面直接与人类的知觉通道连接

15虚拟现实的系统组成空间注册与配准（registration）将位于不同坐标系中的物体统一到一个共同的坐标系中VR的用户操纵或观测位姿与虚拟空间配准AR系统涉及多个空间，每个空间都有各自不同的坐标系配准是实现虚拟景物图像和真实世界图像之间正确融合的前提配准错误将导致用户的注意力分散，甚至无法工作

16虚拟现实的系统组成用于空间注册的跟踪器用于跟踪用户当前方位的传感器大多数具有6自由度（6-DOF）位置和方向各3自由度佩戴于用户身体的某些部位可对相应部位进行跟踪需要满足实时性和精确性

17虚拟现实的系统组成用于空间注册的跟踪器传感器测量及结构化布局惯性跟踪器(IMU)电磁跟踪器超声跟踪器光学跟踪器红外标志激光测距视觉计算摄像头+SLAM(+IMU)

电磁式跟踪器18虚拟现实的系统组成用于空间注册的跟踪器传感器测量及结构化布局惯性跟踪器(IMU)电磁跟踪器超声跟踪器光学跟踪器红外标志激光测距视觉计算摄像头+SLAM(+IMU)

Logitech超声三维鼠标19虚拟现实的系统组成用于空间注册的跟踪器传感器测量及结构化布局惯性跟踪器(IMU)电磁跟踪器超声跟踪器光学跟踪器红外标志激光测距视觉计算摄像头+SLAM(+IMU)

光学跟踪器20虚拟现实的系统组成用于空间注册的跟踪器传感器测量及结构化布局惯性跟踪器(IMU)电磁跟踪器超声跟踪器光学跟踪器红外标志激光测距视觉计算摄像头+SLAM(+IMU)

SLAM跟踪器21虚拟现实的系统组成计算机计算机系统或者服务器移动设备与头盔也成为重要的计算资源软件开发平台Unity3DAR软件开发包ARCore/ARKit/MRTK/Vuforia

VR系统的主要不同之处在于系统与用户之间界面基于系统与用户界面划分桌面型VR系统头盔型VR系统基于投影显示的VR系统遥在系统…22虚拟现实系统的分类23主要内容虚拟现实概述虚拟现实的系统组成立体视觉的生成原理虚拟现实交互增强现实技术的特点虚拟现实与增强现实应用24立体视觉的生成原理人类的立体视觉系统双目视差运动视差研究的主动调焦人的其他经验和心理作用

25立体视觉的生成原理人类的立体视觉系统相机的绘制模型参数位置方向跟踪器获取位姿参数

26立体视觉的生成原理人类的立体视觉系统相机的绘制模型参数宽高比视角近裁剪面远裁剪面

27立体视觉的生成原理人类的立体视觉系统立体相机的配置视差与深度值的对应近处视差大远处视差小

28立体视觉的生成原理虚拟现实的绘制技术虚拟现实的绘制技术为左右眼分别绘制图像实时绘制技术增强现实的绘制技术为左右眼分别绘制图像仅绘制虚拟对象但需要融合虚实景象实时绘制技术

29立体视觉的生成原理立体显示的主要设备与原理虚拟现实环境中立体视觉的生成必须借助于一定的观察设备，使计算机生成的左、右眼图像分别为观察者的左、右眼所接收

30立体视觉的生成原理立体显示的主要设备与原理增强现实头盔显示器立体显示系统

31立体视觉的生成原理虚拟现实的心理效应及对策视觉辐辏冲突原理人眼转动眼球并聚焦是在潜意识中完成的，虚拟现实的显示装置无法产生正确的聚焦点，导致辐辏冲突辐辏冲突导致晕动症

32立体视觉的生成原理虚拟现实的心理效应及对策晕动症的对应策略尽量缩短变速的时间保证用户总能够环顾四周设备保证用户前庭感知到的信息与真实世界一致在视野中增加静态参照物

33立体视觉的生成与获取产生沉浸感的至关重要的因素立体图像与观察者视点和视线方向一致实时生成人类立体视觉的产生34主要内容虚拟现实概述虚拟现实的系统组成立体视觉的生成原理虚拟现实交互增强现实技术的特点虚拟现实与增强现实应用35虚拟现实交互设备WIMP交互范式已不再适用Windows，Icons，Menus，Pointingdevices用户将通过一系列新的交互手段，与虚拟世界中的物体进行直接的、三维的交互三维鼠标WAND数据手套麦克风…36虚拟现实交互设备手持式交互设备WiiRemote任天堂游戏主机Wii的主要控制器外形及按钮操作与电视遥控器类似可握持在手中，特别适合于指向、挥动等操作37虚拟现实交互设备手持式交互设备HTCVive手持设备高精度红外激光定位交互流畅38虚拟现实交互设备数据手套附有传感器，分布在手掌和手指的关节处，以获取用户手形的准确信息传感有电磁式、机械式或光学式传感器捕获的数据被转换成关节角度数据，用于控制虚拟手的运动39虚拟现实交互设备数据手套40虚拟现实交互设备体感交互41虚拟现实交互设备触觉与力反馈42主要内容虚拟现实概述虚拟现实的系统组成立体视觉的生成原理虚拟现实交互增强现实技术的特点虚拟现实与增强现实应用43增强现实技术的特点增强现实的简易模式44增强现实技术的特点增强现实的简易模式平面标志定标45增强现实技术的特点增强现实的实体交互平面标志3D物体标志46增强现实技术的特点增强现实的实体交互平面标志3D物体标志47增强现实技术的特点增强现实的呈现模式秀盒平板或手持式显示器空间增强现实头盔显示器视频穿透式头盔光学传统式头盔智能眼镜48增强现实技术的特点增强现实的呈现模式秀盒平板或手持式显示器空间增强现实头盔显示器视频穿透式头盔光学传统式头盔智能眼镜49增强现实技术的特点增强现实的呈现模式秀盒平板或手持式显示器空间增强现实头盔显示器视频穿透式头盔光学传透式头盔智能眼镜视频穿透式头盔光学传透式头盔50增强现实技术的特点增强现实的呈现模式秀盒平板或手持式显示器空间增强现实头盔显示器视频穿透式头盔光学传统式头盔智能眼镜GoogleGlassesHololens51增强现实虚实融合的一致性几何一致性空间注册（跟踪器）遮挡处理光照一致性光照环境的恢复虚实间阴影的相互投射交互一致性人与虚拟物体的交互虚实物体间的交互52增强现实虚实融合的一致性几何一致性空间注册（跟踪器）遮挡处理光照一致性光照环境的恢复虚实间阴影的相互投射交互一致性人与虚拟物体的交互虚实物体间的交互53增强现实虚实融合的一致性几何一致性空间注册（跟踪器）遮挡处理光照一致性光照环境的恢复虚实间阴影的相互投射交互一致性人与虚拟物体的交互虚实物体间的交互54增强现实虚实融合的一致性55主要内容虚拟现实概述虚拟现实的系统组成立体视觉的生成原理虚拟现实交互增强现实技术的特点虚拟现实与增强现实应用虚拟现实与增强现实应用VR/AR+培训飞行培训军事训练维修操作2007.10.11浙江大学CAD&CG国家重点实验室56虚拟现实与增强现实应用VR/AR+医疗辅助手术辅助检查2007.10.11浙江大学CAD&CG国家重点实验室57虚拟现实与增强现实应用VR/AR+制造设计装配检修2007.10.11浙江大学CAD&CG国家重点实验室58虚拟现实与增强现实应用VR/AR+教育直观教学2007.10.11浙