虚拟现实技术培训课程

1、虚拟现实技术培训课程相关知识背景 虚拟现实技术学习的知识背景是什么样的？虚拟现实技术学习的知识背景是什么样的？ 虚拟现实技术是针对计算机专业的本科生开设的课程，学生需要有 计算机原理，体系结构，操作系统，网络，软件工程，程序设计，数据结构，电子学，图形学与CAD，系统分析，人工智能的知识背景。1.虚拟现实概述虚拟现实概述2.虚拟现实的接口设备虚拟现实的接口设备3.虚拟现实的计算机技术虚拟现实的计算机技术4.虚拟现实的建模和仿真技术虚拟现实的建模和仿真技术5.虚拟现实的应用虚拟现实的应用课程目录课程目录学习重点和难点虚拟现实的根本概念；虚拟现实的根本概念；人的视觉系统和虚拟现实的视觉显示技术；人

2、的视觉系统和虚拟现实的视觉显示技术；各类位姿跟踪系统的技术；各类位姿跟踪系统的技术；力觉和触觉反响技术；力觉和触觉反响技术；虚拟现实的计算机系统；虚拟现实的计算机系统；虚拟现实的工具软件系统；虚拟现实的工具软件系统；分布式虚拟现实系统。分布式虚拟现实系统。 第一章 虚拟现实概述课前索引课前索引第一节虚拟现实的根本概念第一节虚拟现实的根本概念第二节虚拟现实有关的人的因素第二节虚拟现实有关的人的因素章节小结章节小结课后习题课后习题 课前索引两个问题两个问题1什么是虚拟现实？2虚拟现实与人有什么关系？ 点击观看点击观看VRML演示演示 第一节 虚拟现实的根本概念1.虚拟现实的概念虚拟现实的概念2.有

3、关的其它概念有关的其它概念3.虚拟现实的特点虚拟现实的特点4.虚拟现实的应用领域虚拟现实的应用领域5.虚拟现实的技术虚拟现实的技术1 虚拟现实虚拟现实这个概念最早是由谁在什么时间提出的？虚拟现实这个概念最早是由谁在什么时间提出的？1989年，美国年，美国VPL Research公司创始人公司创始人Jaron Lanier提出了提出了“Virtual Reality虚拟现实的概念。虚拟现实的概念。如何理解如何理解“虚拟这个词？虚拟这个词？“Virtual说明，这个世界或环境是虚拟的，不是真实的。这个说明，这个世界或环境是虚拟的，不是真实的。这个世界或环境是人工构造的，是存在于计算机内部的。用户应

4、该世界或环境是人工构造的，是存在于计算机内部的。用户应该能够能够“进入这个虚拟的环境中。所谓进入这个虚拟的环境中。所谓“进入这个虚拟的环进入这个虚拟的环境中，是指用户以自然的方式与这个环境交互境中，是指用户以自然的方式与这个环境交互如何理解如何理解“交互这个词？交互这个词？包括感知环境并干预环境，从而产生置身于相应的真实环境中的虚包括感知环境并干预环境，从而产生置身于相应的真实环境中的虚幻感，沉浸感，身临其境的感觉。幻感，沉浸感，身临其境的感觉。虚拟现实或虚拟环境系统包括哪些？虚拟现实或虚拟环境系统包括哪些？包括人类操作者、人机接口和计算机包括人类操作者、人机接口和计算机问题请给出正确与错误的

5、判别请给出正确与错误的判别使用虚拟现实系统的标志就是使用头盔式立体显使用虚拟现实系统的标志就是使用头盔式立体显示器和数据手套。示器和数据手套。虚拟现实系统应用最多的专用设备是头盔式立体虚拟现实系统应用最多的专用设备是头盔式立体显示器和数据手套。于是，有人以使用这些专用显示器和数据手套。于是，有人以使用这些专用设备为虚拟现实系统的标志。这种观点是不准确设备为虚拟现实系统的标志。这种观点是不准确的。的。头盔式立体显示器和数据手套等设备，只是当前头盔式立体显示器和数据手套等设备，只是当前已经实现的一局部虚拟显示设备。它们还很不完已经实现的一局部虚拟显示设备。它们还很不完善。例如，头盔的视场，分辨率，

6、造成眩晕等问善。例如，头盔的视场，分辨率，造成眩晕等问题还有待解决。听觉接口和力觉接口等设备还在题还有待解决。听觉接口和力觉接口等设备还在研究，应用还不多。味觉，嗅觉，运动觉等技术研究，应用还不多。味觉，嗅觉，运动觉等技术，还缺乏研究。，还缺乏研究。关于虚拟仿真虚拟现实系统中的虚拟环境，可能有以下几种情况虚拟现实系统中的虚拟环境，可能有以下几种情况第一种情况是模仿真实世界中的环境。例如，建筑第一种情况是模仿真实世界中的环境。例如，建筑物，武器系统，或战场环境。这种真实环境，可能物，武器系统，或战场环境。这种真实环境，可能是已经存在的，也可能是已经设计好但还没有建成是已经存在的，也可能是已经设计

7、好但还没有建成的。的。为了逼真地模仿真实世界中的环境，要求逼真地建为了逼真地模仿真实世界中的环境，要求逼真地建立几何模型和物理模型。环境的动态应符合物理规立几何模型和物理模型。环境的动态应符合物理规律。这一类虚拟现实系统的功能，实际是系统仿真律。这一类虚拟现实系统的功能，实际是系统仿真。 点击观看居室环境的仿真和漫游例子点击观看居室环境的仿真和漫游例子 2 和虚拟现实有关的几个概念虚拟环境虚拟环境( Virtual Environment )系统或虚拟现实系统或虚拟现实( Virtual Reality )系统系统包括人类操作者、人机接口和计算机遥操作遥操作( Teleoperator )系统

8、系统包括人类操作者、人机接口和遥机器人增强现实增强现实( Augmented Reality )系统系统组合了虚拟环境和真实环境合成环境合成环境( Synthetic Environment )系统系统是遥操作系统、虚拟环境系统、增强现实系统等的总称。关于虚拟现实系统对于虚拟现实系统，与用户交互的环境实际是人工对于虚拟现实系统，与用户交互的环境实际是人工构造的，存在于计算机内部的环境。这种虚拟的环构造的，存在于计算机内部的环境。这种虚拟的环境，可能是不同的环境。境，可能是不同的环境。一种情况是真实环境的仿真。例如，仿真真实建筑物的虚拟建筑物。这种真实建筑物可能是已经建成的，也可能是已经设计好但

9、尚未建成的。一种情况是完全虚拟的人造环境。例如在虚拟风洞中，借助可视化技术构造的虚拟风洞环境。又如在三维动画中，人工构造的虚拟环境。关于遥操作系统为什么要针对虚拟现实系统提出这么多概念？概念之间的区别？为什么要针对虚拟现实系统提出这么多概念？概念之间的区别？ 这些概念之间的区别在于。虚拟现实系统的环境是怎样的？虚拟现实系统的环境是怎样的？ 真实环境的仿真 完全虚拟的人造环境遥操作系统的环境是怎样的？遥操作系统的环境是怎样的？ 对于遥操作系统，与用户交互的环境实际是在远地的一个真实的环境。用户通过类似虚拟现实系统的人机接口，用户通过类似虚拟现实系统的人机接口，也就是看到真实环境的场景，听到真实环

10、境的声音，感到与环境中也就是看到真实环境的场景，听到真实环境的声音，感到与环境中物体的接触。物体的接触。遥操作系统实际上是高级的遥控系统，是采用了先进的虚拟现实技术的遥遥操作系统实际上是高级的遥控系统，是采用了先进的虚拟现实技术的遥控系统。控系统。 3 虚拟现实的特点基于虚拟现实的根本概念，可以得到虚拟现实的以基于虚拟现实的根本概念，可以得到虚拟现实的以下三个特点。下三个特点。1人机接口的内容人机接口的内容计算机提供计算机提供“环境环境, 不是不是“数据数据, 信息。这改变信息。这改变了人机接口的内容。了人机接口的内容。2人机接口的形式人机接口的形式操作者由视觉操作者由视觉,听觉听觉,力觉感知

11、环境力觉感知环境, 由自然的动作操由自然的动作操作环境作环境, 不是由屏幕不是由屏幕,键盘键盘,鼠标和计算机交互。这改鼠标和计算机交互。这改变了人机接口的形式。变了人机接口的形式。3人机接口的效果人机接口的效果逼真的感知和自然的动作，使人产生身临其境的感逼真的感知和自然的动作，使人产生身临其境的感觉。这改变了人机接口的效果。觉。这改变了人机接口的效果。人机接口内容的改变计算机提供计算机提供“环境环境, 不是不是“数据数据, 信息。这改变了人机接口的内信息。这改变了人机接口的内容。容。虚拟现实的这个特点表达了计算机应用的新方向。虚拟现实的这个特点表达了计算机应用的新方向。计算机的名称表达了它的最

12、早应用是计算。当时，计算机和用户计算机的名称表达了它的最早应用是计算。当时，计算机和用户交互的是计算有关的数值。交互的是计算有关的数值。此后，计算机扩大到处理数值，字符串，文本等各类数据。此后，计算机扩大到处理数值，字符串，文本等各类数据。以后，计算机更扩大到处理图像，图形，声音，语言等多种媒体以后，计算机更扩大到处理图像，图形，声音，语言等多种媒体的信息。的信息。虚拟现实系统那么以环境为计算机处理的对象和人机交互的内容。虚拟现实系统那么以环境为计算机处理的对象和人机交互的内容。这开拓了计算机应用的新思路。这开拓了计算机应用的新思路。数值数值-各类数据各类数据-多媒体信息多媒体信息-环境环境人

13、机接口的内容的变化：人机接口的内容的变化：人机接口的形式的改变操作者由视觉操作者由视觉,听觉听觉,力觉感知环境力觉感知环境, 由自然的动作操由自然的动作操作环境作环境, 不是由屏幕不是由屏幕,键盘键盘,鼠标和计算机交互。这改鼠标和计算机交互。这改变了人机接口的形式变了人机接口的形式这个特点表达了计算机人机接口的新方向。这个特点表达了计算机人机接口的新方向。至今为止的计算机人机接口都是面向机器的。至今为止的计算机人机接口都是面向机器的。人机接口有哪些？人机接口有哪些？终端，键盘，鼠标，打印机等接口设备，都是适应终端，键盘，鼠标，打印机等接口设备，都是适应计算机的专用设备。这些设备很好地完成了各类

14、数计算机的专用设备。这些设备很好地完成了各类数据和多媒体信息的交互。据和多媒体信息的交互。虚拟现实中的人机接口，那么是面向用户的。虚拟虚拟现实中的人机接口，那么是面向用户的。虚拟现实系统中，用户以自然的方式与虚拟环境交互。现实系统中，用户以自然的方式与虚拟环境交互。如何理解自然的方式呢？如何理解自然的方式呢？所谓自然的方式，是指用户通过视觉，听觉，触觉所谓自然的方式，是指用户通过视觉，听觉，触觉等感觉虚拟环境，使用户产生在真实环境中的幻觉等感觉虚拟环境，使用户产生在真实环境中的幻觉。同时，用户通过在真实环境中的行为，去干预虚。同时，用户通过在真实环境中的行为，去干预虚拟环境。于是，虚拟现实的人

15、机接口设备，完全不拟环境。于是，虚拟现实的人机接口设备，完全不同于现有计算机的人机接口设备。这也是虚拟现实同于现有计算机的人机接口设备。这也是虚拟现实技术中最有特色的内容。技术中最有特色的内容。人机接口的效果的改变逼真的感知和自然的动作，使人产生身临其境的感逼真的感知和自然的动作，使人产生身临其境的感觉。这改变了人机接口的效果觉。这改变了人机接口的效果这个特点表达了计算机人机接口的新要求。这个特点表达了计算机人机接口的新要求。用户通过人机接口与虚拟环境交互的结果，是使用用户通过人机接口与虚拟环境交互的结果，是使用户产生身临其境的虚幻感，沉浸感。户产生身临其境的虚幻感，沉浸感。 虚拟现实的概念中

16、有三个虚拟现实的概念中有三个I：1Immersion(沉浸沉浸)，是指逼真的，身临其境的感，是指逼真的，身临其境的感觉。觉。2Interaction(交互交互)，是指用户感知与操作环境，是指用户感知与操作环境3Imagination(想象想象)，是指创造性。，是指创造性。 4 虚拟现实的应用领域1娱乐娱乐2国防国防3设计、制造和销售设计、制造和销售4医疗和健康医疗和健康5危险操作危险操作6训练训练7教育教育8信息可视化信息可视化9远程交往与远程游历远程交往与远程游历5 虚拟现实的技术1VR的人机接口的人机接口2VR的计算机系统的计算机系统3VR的建模和仿真的建模和仿真VR的人机接口VR的人机接

17、口的作用是什么？的人机接口的作用是什么？其一是给人类操作者通过什么方式提供环境信息？视觉、听觉和触觉包括：视觉通道、听觉通道、触觉通道、运动接口和其他接口其二是感觉人类操作者的包括：位置跟踪和映射，语音识别等。 1位置跟踪和映射位置跟踪和映射用于位置跟踪和映射用于测量人体各部位的位置和姿态测量人体各部位的位置和姿态分析判断人面部的表情分析判断人面部的表情它的目的是：它的目的是：了解人的身体行为了解人的身体行为这是为了实现人机交互所必需的系统功能。这是为了实现人机交互所必需的系统功能。VR系统由此了解人的行系统由此了解人的行为，然后做出适当的响应，实现交互。为，然后做出适当的响应，实现交互。常用

18、的技术包括：常用的技术包括：机械链接、磁传感器、声传感器、光传感器和惯性传感器机械链接、磁传感器、声传感器、光传感器和惯性传感器根本目标是精确完成位置和姿态的测量。三个主要的要求：大范围根本目标是精确完成位置和姿态的测量。三个主要的要求：大范围的线性响应，高带宽的线性响应，高带宽1kHz，以及允许头和身体的运动。，以及允许头和身体的运动。2视觉通道视觉通道的作用：视觉通道的作用： 给人的视觉系统提供图形显示。给人的视觉系统提供图形显示。为了提供身临其境的逼真感觉视觉通道应该满足的要求：为了提供身临其境的逼真感觉视觉通道应该满足的要求：显示的像素应该足够小，使人不至于感觉到像素的不连续显示的像素

19、应该足够小，使人不至于感觉到像素的不连续显示的频率应该足够高，使人不至于感觉到画面的不连续显示的频率应该足够高，使人不至于感觉到画面的不连续给两眼提供具有双目视差的图形，形成立体视觉。给两眼提供具有双目视差的图形，形成立体视觉。应该具有足够大的视场，理想情况是显示画面充满整个视场。应该具有足够大的视场，理想情况是显示画面充满整个视场。视觉通道的显示外表分为：视觉通道的显示外表分为：基于基于CRT和基于和基于LCD。视觉通道的光学系统分为：视觉通道的光学系统分为：头盔显示头盔显示(HMD)和非头盔显示和非头盔显示(OHD) 专用头盔图3 听觉通道听觉通道的作用：听觉通道的作用： 给人的听觉系统提

20、供声音显示。为了提供身临其境的逼真感觉，听觉通道应该满足一些要求为了提供身临其境的逼真感觉，听觉通道应该满足一些要求 使人感觉置身于立体的声场之中 能识别声音的类型和强度 能判定声源的位置。听觉通道的关键技术包括：听觉通道的关键技术包括： 合成由接口提供的虚拟声音信号 声音在虚拟空间定位问题 发声设备。4 触觉通道触觉通道的作用触觉通道的作用给人体外表提供触觉和力觉。当人体在虚拟空间中给人体外表提供触觉和力觉。当人体在虚拟空间中运动时，如果接触到虚拟物体，虚拟显示系统应该运动时，如果接触到虚拟物体，虚拟显示系统应该给人提供这种触觉和力觉。给人提供这种触觉和力觉。触觉通道涉及操作以及感觉包括触觉

21、通道涉及操作以及感觉包括触觉反响触觉反响力觉反响。力觉反响。触觉通道的结构分为：触觉通道的结构分为：安装在身体上的设备安装在身体上的设备安装在地面的设备。安装在地面的设备。5 运动接口人体在环境中的运动包括：人体在环境中的运动包括： 身体的被动运动如在车上的运动 身体主动运动漫游，如散步。人在运动中，人体内部的运动感觉器官可以感知运动信息。感知运动人在运动中，人体内部的运动感觉器官可以感知运动信息。感知运动信息的器官包含：信息的器官包含： 前庭系统 运动系统 视觉听觉系统 本体感受，动觉和触觉运动接口应该给这些器官提供运动信息。运动接口应该给这些器官提供运动信息。6 其它类型接口其它类型接口包

22、括：其它类型接口包括：嗅觉、味觉通道嗅觉、味觉通道感觉热、风及湿度的接口感觉热、风及湿度的接口还包括语音通讯语音识别与合成还包括语音通讯语音识别与合成以及直接心理感觉和控制。以及直接心理感觉和控制。这些接口，目前还缺乏研究这些接口，目前还缺乏研究2VR的计算机系统 现有的虚拟现实系统，主要的通道是什么？现有的虚拟现实系统，主要的通道是什么？现有的虚拟显示系统主要考虑视觉通道。听觉通道和触觉通道还处于研究阶段。VR的计算机系统主要考虑的通道是什么？的计算机系统主要考虑的通道是什么？所以，VR的计算机系统主要考虑视觉通道的要求。VR的计算机系统的视觉通道1 视觉通道对计算机系统硬件的要求视觉通道对

23、计算机系统硬件的要求 首先是要求维持足够的图形帧速率首先是要求维持足够的图形帧速率这要求在指定的时间内约为这要求在指定的时间内约为0.1秒计算出两眼的秒计算出两眼的两幅图像。两幅图像。同时要求提供足够好质量的图像同时要求提供足够好质量的图像这一般表达在图像中显示的多边形或三角形的树木这一般表达在图像中显示的多边形或三角形的树木。因此，往往需要专用硬件。图形硬件应提供因此，往往需要专用硬件。图形硬件应提供快速几何变换、截取、消隐、多边形填充和外表纹快速几何变换、截取、消隐、多边形填充和外表纹理。理。2视觉通道对计算机系统软件的要求视觉通道对计算机系统软件的要求VR系统中的软件主要包括以下几种：系

24、统中的软件主要包括以下几种：交互软件：交互软件：利用人机控制设备的输出去修改利用人机控制设备的输出去修改VE。视觉漫游软件：视觉漫游软件：控制用户在控制用户在VE中运动时看到的场景。中运动时看到的场景。建模软件：建模软件：定义虚拟物体形状、外观和属性的模型。定义虚拟物体形状、外观和属性的模型。操作系统支持操作系统支持VE的实时多模态要求。的实时多模态要求。3视觉通道对计算机系统网络的要求视觉通道对计算机系统网络的要求分布式交互仿真分布式交互仿真分布式交互仿真已经成为现代仿真技术，特别是军分布式交互仿真已经成为现代仿真技术，特别是军事仿真的潮流。事仿真的潮流。通讯网络可以把通讯网络可以把VE转换

25、成共享的分布式计算环境。转换成共享的分布式计算环境。 3VR的建模和仿真 1 VR的建模包括：的建模包括：几何建模和物理建模几何建模和物理建模VR的几何建模的几何建模一般的一般的VR工具软件都具有几何建模功能。工具软件都具有几何建模功能。利用现有的利用现有的CAD建模工具也是常用的方法。建模工具也是常用的方法。市场上已有商业模型库出售。市场上已有商业模型库出售。对实际物体的建模，那么采用激光扫描等专用设对实际物体的建模，那么采用激光扫描等专用设备。备。VR的物理建模的物理建模物理建模是基于物理方程的建模。物理建模是基于物理方程的建模。一般考虑刚体建模，链接物体的建模，以及非刚一般考虑刚体建模，

26、链接物体的建模，以及非刚体的建模。体的建模。智能体建模不是基于物理方程，而是基于人为的智能体建模不是基于物理方程，而是基于人为的物体智能物体智能思考题什么是刚体？什么是刚体？什么是智能体？什么是智能体？3VR的建模和仿真 2仿真仿真仿真包括：图形绘制和三维动画。仿真包括：图形绘制和三维动画。 图形绘制图形绘制是把三维环境，相对于虚拟摄像机虚拟视点投影，形成图像是把三维环境，相对于虚拟摄像机虚拟视点投影，形成图像的过程。的过程。图形绘制要求图形绘制要求为了提供连续运动的错觉，帧速率必须大于每秒为了提供连续运动的错觉，帧速率必须大于每秒8到到10帧。帧。为了保持瞬间交互控制的错觉，响应时间的延迟必

27、须小于为了保持瞬间交互控制的错觉，响应时间的延迟必须小于0.1秒。秒。为了绘制人眼可分辨的所有细节，这要求有为了绘制人眼可分辨的所有细节，这要求有8千万个多边形。千万个多边形。然而，用今天的硬件，每个画面然而，用今天的硬件，每个画面8千万多边形的系统对真正的千万多边形的系统对真正的实时交互是太慢了，于是存在真实图像与实时交互间的折衷实时交互是太慢了，于是存在真实图像与实时交互间的折衷。某些应用如建筑和艺术可能要求照片一样真实的绘制。某些应用如建筑和艺术可能要求照片一样真实的绘制。制造和医疗应用要求更高层次的实时交互。制造和医疗应用要求更高层次的实时交互。2仿真仿真仿真包括：图形绘制和三维动画。

28、仿真包括：图形绘制和三维动画。 三维动画三维动画可以用两种途径实现可以用两种途径实现:1：基于物理模型的数值计算。：基于物理模型的数值计算。属于满足物理规律的仿真技术，用于军事和工业等属于满足物理规律的仿真技术，用于军事和工业等方面。方面。2：数学插值。：数学插值。这种技术在三维动画电影中获得了巨大的成功。这种技术在三维动画电影中获得了巨大的成功。 虚拟现实开发系统的方块图用户通过输入输出设备与输入输出软件交互。输入软件通过形状编辑器完成用户通过输入输出设备与输入输出软件交互。输入软件通过形状编辑器完成几何建模，通过声音编辑器完成虚拟声音系统建模。然后，在世界编辑器完几何建模，通过声音编辑器完

29、成虚拟声音系统建模。然后，在世界编辑器完成虚拟环境的建模。其中的虚拟剪切器，用于模型的剪切。建立的模型，保成虚拟环境的建模。其中的虚拟剪切器，用于模型的剪切。建立的模型，保存在虚拟世界中。整个工作在计算机系统中完成存在虚拟世界中。整个工作在计算机系统中完成第二节 虚拟现实有关的人的因素为什么要讨论人的因素？为什么要讨论人的因素？计算机，接口和用户是计算机，接口和用户是VR系统中的三个组成局部。系统中的三个组成局部。接口设计必须考虑人的因素，人的因素与接口设计必须考虑人的因素，人的因素与VR系统性系统性能直接相关。能直接相关。虚拟现实中有关的人的因素具体有哪些方面？虚拟现实中有关的人的因素具体有

30、哪些方面？人眼人眼人耳人耳身体感觉身体感觉虚拟现实有关的人的因素-人眼1视觉生理结构视觉生理结构2立体视觉立体视觉 3屈光度屈光度4瞳孔瞳孔5分辨力分辨力6明暗适应明暗适应7周围视觉和中央视觉周围视觉和中央视觉8视觉暂留视觉暂留9视场视场 1视觉生理结构视觉生理结构 大脑皮层大脑皮层Cerebral Cortex是大脑半球的最外是大脑半球的最外层，它负责各种形式的感觉。视网膜层，它负责各种形式的感觉。视网膜Retina是是在每只眼背部的神经细胞的多层膜，它把光转成电在每只眼背部的神经细胞的多层膜，它把光转成电信号，并通过视神经和管道传给大脑。信号，并通过视神经和管道传给大脑。以下图表示，视网膜

31、的解剖图。图中显示了层以下图表示，视网膜的解剖图。图中显示了层，管道和神经。，管道和神经。 光感受器光感受器Photoreceptor是每只眼睛视网膜是每只眼睛视网膜中中1.25亿个神经细胞中的一局部，它在受到特亿个神经细胞中的一局部，它在受到特定波长的光的刺激时，会发出电信号。视网膜定波长的光的刺激时，会发出电信号。视网膜是眼的光敏层，几百微米厚，有是眼的光敏层，几百微米厚，有10层。光线通层。光线通过其中过其中8层，被另外两层的视杆细胞和视锥细层，被另外两层的视杆细胞和视锥细胞的光接收器胞的光接收器Photoreceptor吸收。每只眼吸收。每只眼的视网膜上有的视网膜上有1.25亿个神经细

32、胞。脊椎动物有亿个神经细胞。脊椎动物有两种光感受器，：视杆细胞两种光感受器，：视杆细胞rods负责低分负责低分辨率的、单色的、夜间的视觉。视锥细胞辨率的、单色的、夜间的视觉。视锥细胞cones负责高分辨率的、彩色的、白天的视觉负责高分辨率的、彩色的、白天的视觉。它花费。它花费25ms把光转成电信号，再送给大脑。把光转成电信号，再送给大脑。右图表示，视网膜内光感受器的解剖图。右图表示，视网膜内光感受器的解剖图。图中杆状细胞和锥状细胞在上部，通向大脑的图中杆状细胞和锥状细胞在上部，通向大脑的视神经纤维在下部。视神经纤维在下部。2立体视觉立体视觉 视觉的另一个重要因素是立体视觉能力。提供给人类视觉的

33、另一个重要因素是立体视觉能力。提供给人类视觉的图像，必须使人感觉是立体的。这样，观看者视觉的图像，必须使人感觉是立体的。这样，观看者的视觉系统就可以计算出被看物体的远近。对同一个的视觉系统就可以计算出被看物体的远近。对同一个场景，两眼得到稍有差异的视图。左视区的信息，送场景，两眼得到稍有差异的视图。左视区的信息，送到两眼视网膜的右侧。在视交叉处，左眼的一半神经到两眼视网膜的右侧。在视交叉处，左眼的一半神经纤维交叉到大脑的右半球，左眼的另一半神经纤维不纤维交叉到大脑的右半球，左眼的另一半神经纤维不交叉，直接到大脑的左半球。这样，两眼得到的左视交叉，直接到大脑的左半球。这样，两眼得到的左视区的所有

34、信息，都送到右半球。区的所有信息，都送到右半球。 右图表示，人类立体视觉的原理图。右图表示，人类立体视觉的原理图。HMD头盔显示器提供两个显示，不但应保持双目头盔显示器提供两个显示，不但应保持双目视差，而且应该重叠。实际上视差，而且应该重叠。实际上,由于两眼有由于两眼有6.5cm的瞳的瞳距，所以两者视场总有些差异距，所以两者视场总有些差异,有不重叠的区域。有不重叠的区域。对中央凹区域，深度感在对中央凹区域，深度感在150m时减弱。对周围视觉时减弱。对周围视觉，深度感在，深度感在100m减弱。而在这个距离上，双目视差减弱。而在这个距离上，双目视差不是最有用的，运动视差和透视可能更有用。不是最有用

35、的，运动视差和透视可能更有用。 3屈光度屈光度与眼的光学局部有关的一个度量是与眼的光学局部有关的一个度量是屈光度屈光度 dioptre。有。有1个屈光度个屈光度的镜头，可以聚焦平行光线在的镜头，可以聚焦平行光线在1米距离。人眼的聚焦能力约米距离。人眼的聚焦能力约60屈光度，屈光度，这说明聚焦平行光在这说明聚焦平行光在17mm距离，这就是眼球尺寸，是晶状体和视网膜距离，这就是眼球尺寸，是晶状体和视网膜的距离。的距离。年青人可以连续改变年青人可以连续改变14个屈光度，这称为调节或聚焦。这保证对远近物个屈光度，这称为调节或聚焦。这保证对远近物体都能看到清晰的图像。年长后调节能力减弱，体都能看到清晰的

36、图像。年长后调节能力减弱，50岁时调节能力岁时调节能力2个屈个屈光度，光度，70岁时调节能力岁时调节能力0个屈光度。在注视运动物体时，自动调节屈光个屈光度。在注视运动物体时，自动调节屈光度。度。调节作用保证某个距离的物体清晰，而其它距离物体模糊。这调节作用保证某个距离的物体清晰，而其它距离物体模糊。这起了滤波器的作用，使人集中关注视场中局部区域。在起了滤波器的作用，使人集中关注视场中局部区域。在HMD中没中没有调节，有调节，2个图像都是聚焦在个图像都是聚焦在2到到3米距离。米距离。4瞳孔瞳孔瞳孔是晶状体前的孔，直径可变化，由瞳孔是晶状体前的孔，直径可变化，由1.5mm到到8mm。面积之比。面积

37、之比1:30。瞳孔作用有三个：。瞳孔作用有三个：(a) 放大时放大时可增加眼的敏感；可增加眼的敏感；(b) 缩小时可增加近视觉的视距缩小时可增加近视觉的视距；(c) 缩小时可限制入射光在光学效果最好的中心区缩小时可限制入射光在光学效果最好的中心区。 5分辨力分辨力分辨力是人眼区分两个点的能力，限于分辨力是人眼区分两个点的能力，限于10m距离上距离上约约1.5-2mm。例如在。例如在2m的距离观看宽度的距离观看宽度400mm的电的电视。人眼区分两个点的能力，在视。人眼区分两个点的能力，在2m距离上约距离上约0.4mm。那么宽度。那么宽度400mm上应该由上应该由1000个个0.4mm大小的像素大

38、小的像素。计算机监视器和高清晰度电视机，都到达了这样。计算机监视器和高清晰度电视机，都到达了这样的分辨率。的分辨率。6明暗适应明暗适应眼对亮度的感觉可以自动调节，这是通过改变在视杆和视锥细胞中光敏化合物的浓度眼对亮度的感觉可以自动调节，这是通过改变在视杆和视锥细胞中光敏化合物的浓度。例如从亮处进入暗室时的现象，称为暗适应，花费约。例如从亮处进入暗室时的现象，称为暗适应，花费约40分。亮适应是从暗室进入阳分。亮适应是从暗室进入阳光下时的现象，这种适应的强度变化在光下时的现象，这种适应的强度变化在25000倍。视杆细胞适应时间约倍。视杆细胞适应时间约1小时，视锥细小时，视锥细胞适应时间约几分钟。胞

39、适应时间约几分钟。 7周围视觉和中央视觉周围视觉和中央视觉视网膜不仅是被动的光敏外表。通过视杆和视锥细胞与神经细胞的连接，它视网膜不仅是被动的光敏外表。通过视杆和视锥细胞与神经细胞的连接，它还有一定的图像处理。中央凹是视网膜中央局部，在光轴与视网膜焦点附近还有一定的图像处理。中央凹是视网膜中央局部，在光轴与视网膜焦点附近，直径约，直径约1mm，有高密度视锥细胞。中央凹区域的视觉称为中央视觉。中央，有高密度视锥细胞。中央凹区域的视觉称为中央视觉。中央视觉是高分辨率局部，有彩色的、白天的视觉。视网膜周围区域包含视杆和视觉是高分辨率局部，有彩色的、白天的视觉。视网膜周围区域包含视杆和视锥细胞。视网膜

40、周围区域的视觉称为周围视觉。这些神经细胞对光强的变视锥细胞。视网膜周围区域的视觉称为周围视觉。这些神经细胞对光强的变化敏感，它帮助我们注意运动物体。周围视觉虽然分辨率低，是单色的、夜化敏感，它帮助我们注意运动物体。周围视觉虽然分辨率低，是单色的、夜间的视觉，但敏感运动物体。间的视觉，但敏感运动物体。 8视觉暂留视觉暂留视觉暂留是视网膜的电化学现象造成视觉的反响时视觉暂留是视网膜的电化学现象造成视觉的反响时间。当观看很短的光脉冲时，视杆细胞得到约间。当观看很短的光脉冲时，视杆细胞得到约0.25s 的峰，视锥细胞快的峰，视锥细胞快4倍，得到约倍，得到约0.04s的峰。这种现的峰。这种现象造成视觉暂

41、留象造成视觉暂留现有的现有的VR技术，是否对以上技术，是否对以上8个人眼的因素都考虑个人眼的因素都考虑到了？到了？人眼的八个因素：视觉生理结构、立体视觉、屈光度、瞳孔、分辨力、明暗适应、周围视觉和中央视觉、视觉暂留、视场 现有的VR系统中，已经考虑的因素包括：立体视觉，分辨力，视觉暂留，以及视场。其他因素还没有充分考虑到。 虚拟现实有关的人的因素-人耳1声音声音2声音感觉声音感觉3频率范围频率范围4声强声强5声音方向声音方向6声音舞台声音舞台7头部有关的传递函数头部有关的传递函数 1声音声音音速在空气中，0时331m/s，20时344m/s。在海水中，1时音速1453m/s。在铸铁棒中，音速3

42、500m/s。耳听到的频率范围约20Hz到20kHz。随年岁增加，频率范围缩小，特别是高频段。考虑音速344m/s。 20Hz的波长17.2m, 1kHz的波长34.4cm, 10kHz的波长 3.44cm。人耳的尺寸约7cm，这是5kHz的波长。这说明耳会影响这种频率声音的收集。人的身体也会与声波交互，这也会影响声音的质量。这类似音乐厅中的音响效果。2声音感觉声音感觉耳分为外耳、中耳、内耳。外耳把声音引导进内耳，它也作为滤波器而改变声音。把手放在耳前面，就会感到声音变化。声音最终冲击耳膜，使之振动。耳膜振动再传到耳蜗，并且振动加大20倍。3频率范围频率范围耳蜗有耳蜗有3个螺旋管，被个螺旋管，

43、被2个膜片分开，个膜片分开，Reissner膜和耳底膜。振动会刺激耳底膜上的膜和耳底膜。振动会刺激耳底膜上的2万到万到3万个硬万个硬毛，并产生电信号传给大脑。耳底膜有识别频率的毛，并产生电信号传给大脑。耳底膜有识别频率的机制。高频振动刺激膜的开始局部，中频振动刺激机制。高频振动刺激膜的开始局部，中频振动刺激膜的中间局部，低频振动刺激膜的远端局部。膜的中间局部，低频振动刺激膜的远端局部。4声强声强声强影响到耳底膜的振幅，直接转成毛细胞的刺激声强影响到耳底膜的振幅，直接转成毛细胞的刺激。5声音方向声音方向一般认为，人脑识别声源位置，是利用两耳收到的一般认为，人脑识别声源位置，是利用两耳收到的声音的

44、时间差和声音幅度差。当人面对声源时，两声音的时间差和声音幅度差。当人面对声源时，两耳的声强和路径相等。当人向左转以后，右耳声音耳的声强和路径相等。当人向左转以后，右耳声音比左耳强，且更早听到。假设两耳路径之差为比左耳强，且更早听到。假设两耳路径之差为20cm，那么时间差，那么时间差0.6ms。6声音舞台声音舞台如果用一对麦克风记录立体声音，就可以重现声音如果用一对麦克风记录立体声音，就可以重现声音舞台，它有宽度和深度。舞台，它有宽度和深度。 7头部有关的传递函数头部有关的传递函数在听耳机时，每个耳只听一个发声器的声音。当然一个在听耳机时，每个耳只听一个发声器的声音。当然一个耳中的声音，也会经头

45、部传给另一耳。在听扬声器时，每个耳中的声音，也会经头部传给另一耳。在听扬声器时，每个耳都分别听到两个扬声器的声音。耳都分别听到两个扬声器的声音。1974年年Plenge认为，进入耳的声音的形式，会产生外部认为，进入耳的声音的形式，会产生外部的声音舞台的感觉。对于耳机特别是插入式耳塞，感觉的声音舞台的感觉。对于耳机特别是插入式耳塞，感觉的声音舞台是内部的。如果驱动耳机的左右通道可以由电子的声音舞台是内部的。如果驱动耳机的左右通道可以由电子设备构成声音，那么人会感觉声音有外部的真实性。为此要设备构成声音，那么人会感觉声音有外部的真实性。为此要求知道声音的形状，或由声源到耳内部的传递函数。这个由求知

46、道声音的形状，或由声源到耳内部的传递函数。这个由声源到耳内部的传递函数称为声源到耳内部的传递函数称为头部有关的传递函数头部有关的传递函数 (Head-related transfer functions, HRTF)，它反映头和耳对传声的影响，它反映头和耳对传声的影响，不同的人有不同的，不同的人有不同的HRTF。HRTF的测量方法如下。对空间每个位置的声源，安放在的测量方法如下。对空间每个位置的声源，安放在耳中接近耳膜的小麦克风测量收到的信号。信号经过处理，耳中接近耳膜的小麦克风测量收到的信号。信号经过处理，补偿非线性频率响应。由此得到补偿非线性频率响应。由此得到HRTF。 现有的现有的VR系

47、统中，已经考虑的人耳的因素有哪些？系统中，已经考虑的人耳的因素有哪些？现有的VR系统中，已经考虑的因素包括：声音方向，声音舞台，以及头部有关的传递函数。其他因素还没有充分考虑到。 虚拟现实有关的人的因素-身体感觉在在VR环境中，我们说的身体感觉，主要是对哪些事环境中，我们说的身体感觉，主要是对哪些事物的感觉？物的感觉？感觉外表粗糙、振动、运动、位置、压力、疼痛和感觉外表粗糙、振动、运动、位置、压力、疼痛和温度。温度。现有的现有的VR系统中，已经考虑了触觉和力觉显示。但系统中，已经考虑了触觉和力觉显示。但是有关的技术细节还没有充分考虑到。是有关的技术细节还没有充分考虑到。按身体不同部位，身体感觉

48、可分四类。按身体不同部位，身体感觉可分四类。(a)深部感觉深部感觉它提供关节、骨、腱、肌肉和其它组织的信息，涉它提供关节、骨、腱、肌肉和其它组织的信息，涉及压力、疼痛和振动。及压力、疼痛和振动。 (b)内脏感觉内脏感觉它提供胸腹腔中的内脏的状况，主要是疼痛它提供胸腹腔中的内脏的状况，主要是疼痛 (c)本体感觉本体感觉它提供身体的位置，平衡和肌肉感觉。也涉及与其它提供身体的位置，平衡和肌肉感觉。也涉及与其它物体的接触，如站在地上、躺在床上。本体感觉它物体的接触，如站在地上、躺在床上。本体感觉接受器位于关节、肌肉和深部组织。接受器位于关节、肌肉和深部组织。(d)外感受感觉外感受感觉它是身体外表的接

49、触感觉它是身体外表的接触感觉 VR系统中，对众多的人的因素是如何考虑的？系统中，对众多的人的因素是如何考虑的？ 在在VR中，某些人的因素明显被考虑，如中，某些人的因素明显被考虑，如HMD中考虑瞳距。另外一些人的因素中考虑瞳距。另外一些人的因素未明显考虑，如运动眩晕。未明显考虑，如运动眩晕。Defence Research Agency研究了沉浸感显示的副作用。有些人认为用研究了沉浸感显示的副作用。有些人认为用HMD看看不同远处物体时，不能用会聚和调节，使人不适应。有人认为不同远处物体时，不能用会聚和调节，使人不适应。有人认为HMD与内瞳与内瞳距不匹配也使眼疲劳。有人认为眼不是会聚，而是在发散。

50、有些用户很敏距不匹配也使眼疲劳。有人认为眼不是会聚，而是在发散。有些用户很敏感运动刺激，如汽车、船、飞机、火车等。感运动刺激，如汽车、船、飞机、火车等。有人实验研究了有人实验研究了VR引起运动眩晕问题。在引起运动眩晕问题。在150个实验者中，有个实验者中，有8人产生强烈人产生强烈眩晕。其它实验者经历了眩晕。其它实验者经历了20分钟沉浸环境。分钟沉浸环境。5分后有分后有22%的人眩晕，的人眩晕，10分后分后有有32%人眩晕，人眩晕，15分后有分后有40%人眩晕，人眩晕，20分后有分后有45%人眩晕。在沉浸经历以人眩晕。在沉浸经历以后后5分钟，还有分钟，还有36%的人眩晕，的人眩晕，10分钟后还有

51、分钟后还有27%的人眩晕。的人眩晕。在在VR中，具有图像生成的延迟，视觉和前庭器官信息的时间不同步也造成中，具有图像生成的延迟，视觉和前庭器官信息的时间不同步也造成感觉视觉与本体感觉的冲突。快速处理和予测算法有可能缓解这种不感觉视觉与本体感觉的冲突。快速处理和予测算法有可能缓解这种不同步。同步。 章内小节介绍了虚拟现实的概念和有关的人的因素。介绍了虚拟现实的概念和有关的人的因素。虚拟现实或虚拟环境是人工构造的，存在于计虚拟现实或虚拟环境是人工构造的，存在于计算机内部的环境，包括人类操作者、人机接口和计算机内部的环境，包括人类操作者、人机接口和计算机。虚拟现实具有三个特点。算机。虚拟现实具有三个特点。人的视觉问题和听觉问题，都是和虚拟现实有人的视觉问题和听觉问题，都是和虚拟现实有关的人的因素。关的人的因素。 习题一、一、 填空题填空题1、 虚拟现实系统的三个局部是虚拟现实系统的三个局部是 2、 遥操作系统的三个局部是遥操作系统的三个局部是 3、 增强显示系统是增强显示系统是 4、 合成显示系统是合成显示系统是 5、 虚拟现实系统的三个特点是虚拟现实系统的三个特点是 6