计算机图形学应用基础 课件 第8、9章 虚拟现实、图形软件支撑平台

虚拟现实授课教师：单位：2主要内容虚拟现实概述虚拟现实的系统组成立体视觉的生成原理虚拟现实交互增强现实技术的特点虚拟现实与增强现实应用3主要内容虚拟现实概述虚拟现实的系统组成立体视觉的生成原理虚拟现实交互增强现实技术的特点虚拟现实与增强现实应用4虚拟现实概述虚拟现实（virtualreality，VR）是采用计算机技术及设备营造的数字化环境，用户在该环境中可以与数字物体互动5虚拟现实概述虚拟现实的特点沉浸感如同置身于真实环境中：三维、立体、多通道高交互性可采取现实生活中习以为常的方式来操纵虚拟环境中的物体实时性依视点位置和视线方向实时地改变画面，并实时产生听觉、触觉/力觉响应6虚拟现实概述增强现实技术将需要模拟的虚拟物体直接嵌入到现实环境中，在现实场景中对其进行三维注册和实时交互增强现实的三个要素虚实共存三维注册实时交互7虚拟现实概述增强现实技术使用户产生全新的体验，提高对现实世界中的事物和物理现象的洞察力终极目标：用户感觉不到现实世界中的真实物体与用于增强视觉信息的虚拟物体之间的差别8虚拟现实概述虚拟现实连续统现实环境虚拟环境混合现实增强现实增强虚拟9虚拟现实概述虚拟现实的发展历史1960-1980s：萌芽阶段图形学的发展1968年首款增强现实头盔1989年虚拟现实的概念及首款虚拟现实头盔1990-2010s：探索阶段2010-现在：产业化阶段首款增强现实头盔显示器10虚拟现实概述虚拟现实的要素和特点虚拟现实是以人为中心的技术重要特征沉浸感交互性构想性虚拟现实系统的逻辑图11主要内容虚拟现实概述虚拟现实的系统组成立体视觉的生成原理虚拟现实交互增强现实技术的特点虚拟现实与增强现实应用12虚拟现实的系统组成虚拟现实系统的组成呈现设备或系统虚拟环境人机交互界面计算机系统及软件

13虚拟现实的系统组成虚拟现实的呈现头盔显示器CAVE

14虚拟现实的系统组成虚拟现实的交互自然的人机交互界面直接与人类的知觉通道连接

15虚拟现实的系统组成空间注册与配准（registration）将位于不同坐标系中的物体统一到一个共同的坐标系中VR的用户操纵或观测位姿与虚拟空间配准AR系统涉及多个空间，每个空间都有各自不同的坐标系配准是实现虚拟景物图像和真实世界图像之间正确融合的前提配准错误将导致用户的注意力分散，甚至无法工作

16虚拟现实的系统组成用于空间注册的跟踪器用于跟踪用户当前方位的传感器大多数具有6自由度（6-DOF）位置和方向各3自由度佩戴于用户身体的某些部位可对相应部位进行跟踪需要满足实时性和精确性

17虚拟现实的系统组成用于空间注册的跟踪器传感器测量及结构化布局惯性跟踪器(IMU)电磁跟踪器超声跟踪器光学跟踪器红外标志激光测距视觉计算摄像头+SLAM(+IMU)

电磁式跟踪器18虚拟现实的系统组成用于空间注册的跟踪器传感器测量及结构化布局惯性跟踪器(IMU)电磁跟踪器超声跟踪器光学跟踪器红外标志激光测距视觉计算摄像头+SLAM(+IMU)

Logitech超声三维鼠标19虚拟现实的系统组成用于空间注册的跟踪器传感器测量及结构化布局惯性跟踪器(IMU)电磁跟踪器超声跟踪器光学跟踪器红外标志激光测距视觉计算摄像头+SLAM(+IMU)

光学跟踪器20虚拟现实的系统组成用于空间注册的跟踪器传感器测量及结构化布局惯性跟踪器(IMU)电磁跟踪器超声跟踪器光学跟踪器红外标志激光测距视觉计算摄像头+SLAM(+IMU)

SLAM跟踪器21虚拟现实的系统组成计算机计算机系统或者服务器移动设备与头盔也成为重要的计算资源软件开发平台Unity3DAR软件开发包ARCore/ARKit/MRTK/Vuforia

VR系统的主要不同之处在于系统与用户之间界面基于系统与用户界面划分桌面型VR系统头盔型VR系统基于投影显示的VR系统遥在系统…22虚拟现实系统的分类23主要内容虚拟现实概述虚拟现实的系统组成立体视觉的生成原理虚拟现实交互增强现实技术的特点虚拟现实与增强现实应用24立体视觉的生成原理人类的立体视觉系统双目视差运动视差研究的主动调焦人的其他经验和心理作用

25立体视觉的生成原理人类的立体视觉系统相机的绘制模型参数位置方向跟踪器获取位姿参数

26立体视觉的生成原理人类的立体视觉系统相机的绘制模型参数宽高比视角近裁剪面远裁剪面

27立体视觉的生成原理人类的立体视觉系统立体相机的配置视差与深度值的对应近处视差大远处视差小

28立体视觉的生成原理虚拟现实的绘制技术虚拟现实的绘制技术为左右眼分别绘制图像实时绘制技术增强现实的绘制技术为左右眼分别绘制图像仅绘制虚拟对象但需要融合虚实景象实时绘制技术

29立体视觉的生成原理立体显示的主要设备与原理虚拟现实环境中立体视觉的生成必须借助于一定的观察设备，使计算机生成的左、右眼图像分别为观察者的左、右眼所接收

30立体视觉的生成原理立体显示的主要设备与原理增强现实头盔显示器立体显示系统

31立体视觉的生成原理虚拟现实的心理效应及对策视觉辐辏冲突原理人眼转动眼球并聚焦是在潜意识中完成的，虚拟现实的显示装置无法产生正确的聚焦点，导致辐辏冲突辐辏冲突导致晕动症

32立体视觉的生成原理虚拟现实的心理效应及对策晕动症的对应策略尽量缩短变速的时间保证用户总能够环顾四周设备保证用户前庭感知到的信息与真实世界一致在视野中增加静态参照物

33立体视觉的生成与获取产生沉浸感的至关重要的因素立体图像与观察者视点和视线方向一致实时生成人类立体视觉的产生34主要内容虚拟现实概述虚拟现实的系统组成立体视觉的生成原理虚拟现实交互增强现实技术的特点虚拟现实与增强现实应用35虚拟现实交互设备WIMP交互范式已不再适用Windows，Icons，Menus，Pointingdevices用户将通过一系列新的交互手段，与虚拟世界中的物体进行直接的、三维的交互三维鼠标WAND数据手套麦克风…36虚拟现实交互设备手持式交互设备WiiRemote任天堂游戏主机Wii的主要控制器外形及按钮操作与电视遥控器类似可握持在手中，特别适合于指向、挥动等操作37虚拟现实交互设备手持式交互设备HTCVive手持设备高精度红外激光定位交互流畅38虚拟现实交互设备数据手套附有传感器，分布在手掌和手指的关节处，以获取用户手形的准确信息传感有电磁式、机械式或光学式传感器捕获的数据被转换成关节角度数据，用于控制虚拟手的运动39虚拟现实交互设备数据手套40虚拟现实交互设备体感交互41虚拟现实交互设备触觉与力反馈42主要内容虚拟现实概述虚拟现实的系统组成立体视觉的生成原理虚拟现实交互增强现实技术的特点虚拟现实与增强现实应用43增强现实技术的特点增强现实的简易模式44增强现实技术的特点增强现实的简易模式平面标志定标45增强现实技术的特点增强现实的实体交互平面标志3D物体标志46增强现实技术的特点增强现实的实体交互平面标志3D物体标志47增强现实技术的特点增强现实的呈现模式秀盒平板或手持式显示器空间增强现实头盔显示器视频穿透式头盔光学传统式头盔智能眼镜48增强现实技术的特点增强现实的呈现模式秀盒平板或手持式显示器空间增强现实头盔显示器视频穿透式头盔光学传统式头盔智能眼镜49增强现实技术的特点增强现实的呈现模式秀盒平板或手持式显示器空间增强现实头盔显示器视频穿透式头盔光学传透式头盔智能眼镜视频穿透式头盔光学传透式头盔50增强现实技术的特点增强现实的呈现模式秀盒平板或手持式显示器空间增强现实头盔显示器视频穿透式头盔光学传统式头盔智能眼镜GoogleGlassesHololens51增强现实虚实融合的一致性几何一致性空间注册（跟踪器）遮挡处理光照一致性光照环境的恢复虚实间阴影的相互投射交互一致性人与虚拟物体的交互虚实物体间的交互52增强现实虚实融合的一致性几何一致性空间注册（跟踪器）遮挡处理光照一致性光照环境的恢复虚实间阴影的相互投射交互一致性人与虚拟物体的交互虚实物体间的交互53增强现实虚实融合的一致性几何一致性空间注册（跟踪器）遮挡处理光照一致性光照环境的恢复虚实间阴影的相互投射交互一致性人与虚拟物体的交互虚实物体间的交互54增强现实虚实融合的一致性55主要内容虚拟现实概述虚拟现实的系统组成立体视觉的生成原理虚拟现实交互增强现实技术的特点虚拟现实与增强现实应用虚拟现实与增强现实应用VR/AR+培训飞行培训军事训练维修操作2007.10.11浙江大学CAD&CG国家重点实验室56虚拟现实与增强现实应用VR/AR+医疗辅助手术辅助检查2007.10.11浙江大学CAD&CG国家重点实验室57虚拟现实与增强现实应用VR/AR+制造设计装配检修2007.10.11浙江大学CAD&CG国家重点实验室58虚拟现实与增强现实应用VR/AR+教育直观教学2007.10.11浙江大学CAD&CG国家重点实验室59虚拟现实与增强现实应用VR/AR+心理辅导克服心理缺点，如恐高、自闭2007.10.11浙江大学CAD&CG国家重点实验室60虚拟现实与增强现实应用VR/AR+社交构建虚拟社区或元宇宙2007.10.11浙江大学CAD&CG国家重点实验室61虚拟现实与增强现实应用VR/AR+贸易提供产品评估手段2007.10.11浙江大学CAD&CG国家重点实验室62图形软件支撑平台

和常用软件简介授课教师：单位：64主要内容常用图形支撑软件简介网络图形开发计算机三维动画软件3DSMax简介65主要内容常用图形支撑软件简介网络图形开发计算机三维动画软件3DSMax简介66常用图形支撑软件简介大多数图形应用程序建立在一定的图形支撑软件上图形支撑软件需具有规范接口便于图形应用程序共享和相互调用采用标准图形函数编写的图形软件便于移植67常用图形支撑软件简介早期图形标准GKS（GraphicalKernelSystem）PHIGS（Programmer’sHierarchicalInteractiveGraphicsStandard）常用图形支撑软件OpenGLDirectX基于场景图的图形开发工具面向虚拟现实应用的图形开发工具68OpenGL简介绘制与造型底层软件库独立于程序语言、独立于图形硬件提供了应用程序与图形硬件的接口/数百个基本函数基本图形单元生成图形属性定义几何变换光照计算…69OpenGL简介工作原理：状态机编程者设置各种状态属性，在绘制时，场景中的所有物体均按照状态机当前所设置的属性予以绘制。OpenGL绘制流水线70OpenGL简介GLU库：OpenGL的重要补充提供了更高级的功能二维图像缩放绘制圆球、圆柱体、圆盘等三维物体从单幅图像中自动生成Mipmap支持NURBS曲线/曲面支持非凸多边形的三角化支持投影变换矩阵等复杂的变换操作…71OpenGL简介图形窗口管理显示窗口：屏幕上用来显示图形的矩形区域。不能直接采用OpenGL基本函数库建立显示窗口需借助于特定的窗口系统不同的窗口系统有不同的OpenGL扩展GLXWGL72OpenGL简介图形窗口管理：GLUT库易学易用、独立于平台/resources/libraries/glut/一系列基本函数支持窗口、菜单、用户输入等操作用于OpenGL绘制的多窗口及窗口管理

回调（Callback）驱动的事件处理

支持键盘、鼠标等多种输入设备

“idle”例程和定时器（timer）弹出式菜单生成多种实体和线框体的实用例程…73DirectX简介GDI（GraphicsDeviceInterface）OpenGL：使编程者能越过GDI直接与图形硬件打交道可视为GDI的一种有效替代DirectX：由微软开发，试图实现对计算机硬件资源的“直接”存取解决PC游戏应用中GDI效率低下及其它一些问题74DirectX简介基于COM标准设计，包含许多组件每一个组件服务于图形、声音、输入、网络等特定需求DirectXAudioDirectXGraphicsDirectInputDirectPlayDirectShow75DirectX结构场景图依据场景中对象的逻辑和空间关系将其有效组织为图或树结构主要针对实时图形绘制的

要求而设计一个结点可有多个子结点，

但只有一个父结点施加于父结点的操作会

自动传递到子结点Example：组合结点76基于场景图的图形开发工具77基于场景图的图形开发工具OSG源码开放、跨平台基于场景图的概念，构建于OpenGL之上完全采用标准C＋＋编写，提供了面向对象的框架一套由许多单独的库构成的结点工具箱数十个插件78面向VR应用的图形开发工具VegaPrime高性能实时三维应用开发环境美国MultiGen-Paradigm公司产品构建于SGIOpenGLPerformer之上良好的跨平台兼容性、可选模块的通用性支持多种数据输入格式最典型的格式：OpenFlight（扩展名为flt）采用Vega场景图VSG组织三维场景79面向VR应用的图形开发工具VegaPrime由C＋＋应用程序

接口和GUI配置

工具LynxPrime

构成LynxPrime图形用户界面80面向VR应用的图形开发工具VegaPrime先采用高效建模工具（如MultiGenCreator™，AutoDeskMaya™等）建立三维场景，再载入VegaPrime进行实时漫游，可大大减少开发时间VegaPrime生成的实时仿真图片81面向VR应用的图形开发工具CAVELib构建于OpenGL和OpenGLPerformer之上采用“回调”机制支持一系列虚拟现实交互外设六自由度定位跟踪器、数据手套等独立于硬件平台，基于CAVELib的VR应用程序可运行于IRIX，Solaris，Windows，以及Linux操作系统可运行于IRIX，Solaris，Windows，Linux82面向VR应用的图形开发工具CAVELib提供了构建虚拟环境基本“模块”创建图形窗口和视口以观察者为中心的透视计算多图形通道显示多进程与多线程编程机群同步与数据共享立体视图网络协同83面向VR应用的图形开发工具CAVELib无需重新编译，只要在运行时通过简单的配置即可运行于一系列显示系统CAVE®FLEX™ImmersaDesk®RealityCenter®HMD其他类似的显示设备84主要内容常用图形支撑软件简介网络图形开发计算机三维动画软件3DSMax简介85VRML/X3D简介VRML：一种在Internet上描述三维虚拟世界的、开放的、可扩展的场景描述语言源于OpenInventor对OpenInventor的文件格式进行了扩展允许用户通过JavaScript和Java编写施加动作的脚本程序，支持三维物体运动和用户交互普遍使用的是VRML2.0（VRML97）规范86VRML/X3D简介采用层次式场景图组织三维场景VRML场景图是一有向非循环图，由结点构成。一个结点可包含除自身外的其它结点作为子结点VRML2.0中定义了50余种结点类型几何基本体素外观属性声音及其属性各种组合结点…结点数据存贮于域中，VRML2.0中有20余种域可用于存贮单个数据或数组等组合数据87VRML/X3D简介消息传递通过事件（event）实现每一结点类型均定义了事件的名称与类型结点的实例可依照定义产生或接收事件ROUTE声明定义事件产生器与接收器间的事件传递路径88VRML/X3D简介动画和用户交互通过传感器实现TimeSensor结点以时间为序产生事件，是所有运动行为的基础其它传感器随用户的交互输入产生事件，是用户交互的基础传感器仅仅产生事件，它们必须通过ROUTE声明与其它结点组合在一起才能对场景施加影响89VRML/X3D简介物体的运动行为可由脚本（script）结点刻画在事件产生器和事件接收器间可插入脚本结点VRML2.0定义了针对Java和JavaScript语言的脚本结点绑定VRML中的Interpolator结点作为内置的脚本，可进行简单的运动计算90VRML/X3D简介VRML2.0采用两种基本技术支持分布式场景通过内联（Inline）结点，可在一个VRML文件中引入存贮于互联网任何地方的其它VRML文件EXTERNPROTO声明允许从互联网的任何地方获取新的结点定义91VRML/X3D简介创建VRML三维虚拟世界的四种方式可通过手工编辑建立较为简单的三维场景可借助于造型及动画软件等工具建立较为复杂的三维场景，通过该软件工具将所建立的三维场景输出为VRML文件可通过格式转换工具将以其它格式存贮的三维场景转换成VRML格式可编写程序创建VRML虚拟世界92VRML/X3D简介VRML文件后缀为wrl可通过<EMBED>标记将VRML虚拟世界嵌入HTML文件Example：<EMBEDSRC="myVirtualWorld.wrl"WIDTH=500HEIGHT=400ALIGN=middle>常用Internet浏览器的VRML浏览器插件Cortona/cortona93VRML/X3D简介一个简单的VRML场景示例采用3个PlaneSensor分别沿x,y,z轴移动一个小方块需安装VRML浏览器，如Cortona94VRML/X3D简介X3D是针对VRML97ISO规范的修訂吸收了图形硬件、数据压缩和数据安全等技术的最新进展在一个可扩展的架构下尽可能地提供好的视觉效果和性能采用XML编码的场景图使三维图形得以集成到web服务架构和分布式环境中95VRML/X3D简介X3D是针对VRML97ISO规范的修