虚拟现实第一部分概述

1、1,现代仿真技术与应用,教师：陆艳洪 联系方式： TEL: 88493458 转921 EMAIL: 办公室：实验大楼A913,2,现代仿真技术与应用 章节安排,第一章 概述 第二章 系统的数学模型 第三章 连续系统的数字仿真 第四章 离散事件系统仿真 第六章 分布式交互仿真 第七章 可视化、多媒体、虚拟现实仿真,3,背景知识包括： 计算机原理与系统结构，操作系统，计算机网络，软件工程，程序设计，数据结构，电子学，图形学与CAD，系统分析，人工智能等。 内容包括虚拟现实与系统仿真的基本概念和术语，虚拟现实与系统仿真的基础方法，虚拟现实有关的人的因素，虚拟现实的接口设备和计算机设备，虚拟现实的世

2、界建模技术，虚拟现实的应用。,现代仿真技术与应用 第七章虚拟现实,4,知识结构,现代仿真技术与应用 第七章虚拟现实,5,重点难点,虚拟现实的基本概念 人的视觉系统和虚拟现实的视觉显示技术 各类位姿跟踪系统的技术 力觉和触觉反馈技术 虚拟现实用计算机系统 虚拟现实的工具软件系统 分布式虚拟现实系统。,现代仿真技术与应用 第七章虚拟现实,6,要求,首先要求掌握虚拟现实与系统仿真的基本概念和术语，以及虚拟现实有关的人的因素，明确虚拟对现实要求。 其次要求掌握虚拟现实与系统仿真的基础方法，虚拟现实的接口设备和计算机设备，虚拟现实的世界建模技术，了解实现要求的技术。 最后要求掌握虚拟现实的应用。,现代仿

3、真技术与应用 第七章虚拟现实,7,参考资料,1.虚拟现实与系统仿真 韦有双；国防工业出版社；2004年 2.虚拟现实的技术及其应用曾建超，俞志和；清华大学出版社；1996 3.灵境（虚拟现实）技术的理论，实现及应用汪成为，高文，王行仁；清华大学出版社，广西科学技术出版社；1996 4.Virtual Reality TechnologyGrigore Burdea，Phillippe Coiffet；John Wiley 逼真的感知和自然的动作，使人产生身临其境的感觉;,现代仿真技术与应用 第七章虚拟现实第一部分概述,该特点改变了人机接口的内容，体现了计算机应用的新方向。以环境为计算机处理的对

4、象和人机交互的内容。,该特点改变了人机接口的形式，体现了计算机人机接口的新方向。 一般计算机系统的人机接口都是面向机器的，终端，键盘，鼠标，打印机等接口设备。它们能很好地完成了各类数据和多媒体信息的交互。 虚拟现实中的人机接口，则是面向用户的。虚拟现实系统中，用户以自然的方式与虚拟环境交互。,该特点改变了人机接口的效果，体现了计算机人机接口的新要求。 用户通过人机接口与虚拟环境交互的结果，是使用户产生身临其境的虚幻感，沉浸感。 虚拟现实的概念中有三个I：（1）Immersion(沉浸)，是指逼真的，身临其境的感觉。（2）Interaction(交互)，是指用户感知与操作环境。（3）Imagin

5、ation(想象)，是指创造性。,24,虚拟现实的应用领域,娱乐 国防 设计、制造和销售 医疗和健康 危险操作 训练,教育 信息可视化 远程交往与远程游历,现代仿真技术与应用 第七章虚拟现实第一部分概述,25,把分布式虚拟现实系统用于建造人体模型、电脑太空旅游、化合物分子结构显示等领域，由于数据更加逼真，大大提高了人们的想象力、激发了受教育者的学习兴趣，学习效果十分显著。同时，随着计算机技术、心理学、教育学等多种学科的相互结合、促进和发展，系统因此能够提供更加协调的人机对话方式，,虚拟现实的应用领域,现代仿真技术与应用 第七章虚拟现实第一部分概述,教育应用 工程应用,当前的工程很大程度上要依赖

6、于图形工具，以便直观地显示各种产品，目前，CAD/CAM已经成为机械、建筑等领域必不可少的软件工具。分布式虚拟现实系统的应用将使工程人员能通过全球网或局域网按协作方式进行三维模型的设计、交流和发布，从而进一步提高生产效率并削减成本。,26,对于那些期望与顾客建立直接联系的公司，尤其是那些在他们的主页上向客户发送电子广告的公司，Internet具有特别的吸引力。分布式虚拟系统的应用有可能大幅度改善顾客购买商品的经历。例如，顾客可以访问虚拟世界中的商店，在那里挑选商品，然后通过Internet办理付款手续，商店则及时把商品送到顾客手中。,虚拟现实的应用领域,现代仿真技术与应用 第七章虚拟现实第一部

7、分概述,商业应用 娱乐应用,娱乐领域是分布式虚拟现实系统的一个重要应用领域。它能够提供更为逼真的虚拟环境，从而使人们能够享受其中的乐趣，带来更好的娱乐感觉。,27,虚拟现实技术简介,1VR的人机接口 2VR的计算机系统 3VR的建模和仿真,现代仿真技术与应用 第七章虚拟现实第一部分概述,给人类操作者提供环境信息；包括位置跟踪和反馈、视觉通道、听觉通道、触觉通道、运动接口和其他接口。 感觉人类操作者的动作和响应；包括位置跟踪和映射，语音识别等。,现有的虚拟系统主要考虑视觉通道。听觉通道和触觉通道还处于研究阶段。所以，VR的计算机系统主要考虑视觉通道的要求。,建模包括几何建模和物理建模。 仿真包括

8、图形绘制、三维动画,28,虚拟现实的接口设备,位姿传感器 视觉通道 听觉通道 触觉通道 运动接口 其他类型接口,VR的人机接口,现代仿真技术与应用 第七章虚拟现实第一部分概述,29,位姿传感器,VR的人机接口,现代仿真技术与应用 第七章虚拟现实第一部分概述,位置跟踪和映射：用于测量人体各部位的位置和姿态，分析判断人面部的表情。它的目的是了解人的身体行为。 这是为了实现人机交互所必需的系统功能，VR系统由此了解人的行为，然后做出适当的响应，实现交互。 常用技术：机械链接、磁传感器、声传感器、光传感器和惯性传感器。 基本目标：精确完成位置和姿态的测量。 三个主要的要求：大范围的线性响应，高带宽（1

9、kHz），以及允许头和身体的运动。,30,各种位姿跟踪器的比较,现代仿真技术与应用 第七章虚拟现实第一部分概述,31,给人的视觉系统提供图形显示。 要求： a) 显示的像素应该足够小，使人不至感觉到像素的不连续； b) 显示的频率应该足够高，使人不至感觉到画面的不连续； c) 给两眼提供具有双目视差的图形，形成立体视觉； d) 应该具有足够大的视场，理想情况是显示画面充满整个视场。,VR的人机接口,现代仿真技术与应用 第七章虚拟现实第一部分概述,视觉接口通道,32,给人的听觉系统提供声音显示。 要求：能识别声音的类型和强度，能判定声源的位置。 关键技术：由接口提供的虚拟声音信号合成，声音在虚拟

10、空间定位问题，以及发声设备,VR的人机接口,现代仿真技术与应用 第七章虚拟现实第一部分概述,听觉通道,33,现有的虚拟系统主要考虑视觉通道。听觉通道和触觉通道还处于研究阶段。所以，VR的计算机系统主要考虑视觉通道的要求。,VR的计算机系统,现代仿真技术与应用 第七章虚拟现实第一部分概述,一、硬件 视觉通道对计算机系统的要求： 首先是要求维持足够的图形帧速率 其次要求在指定的时间内（约为0.1秒）计算出两眼的两幅图像 同时要求提供足够好质量的图像，体现在图像中显示的多边形或三角形的数量上。 要满足以上要求，往往需要专用硬件。图形硬件能提供快速几何变换、截取、消隐、多边形填充和表面纹理。,二、软件

11、 VR系统中的软件主要包括： 交互软件-利用人机控制设备的输出去修改VE； 视觉漫游软件-控制用户在VE中运动时看到的场景。 建模软件-定义虚拟物体形状、外观和属性的模型。 操作系统-支持VE的实时多模态要求。,三、网络 分布式交互仿真已经成为现代仿真技术，特别是军事仿真的潮流。 通讯网络可以把VE转换成共享的分布式计算环境。,34,一、建模 包括：几何建模和物理建模。 几何建模方法：a)一般的VR工具软件；b)利用现有的CAD建模工具；c) 对实际物体的建模，采用激光扫描等专用设备；d)购买市场上已有的商业模型库。几何建模技术在图形学和CAD领域，已有成熟的成果。 物理建模：基于物理方程的建

12、模-刚体建模、链接物体的建模及非刚体建模。,VR的建模和仿真,现代仿真技术与应用 第七章虚拟现实第一部分概述,35,VR的建模和仿真,现代仿真技术与应用 第七章虚拟现实第一部分概述,二、仿真 包括：图形绘制、三维动画。 图形绘制：把三维环境，相对于虚拟摄像机（虚拟视点）投影，形成图像的过程。 要求： 1）为了提供连续运动的错觉，帧速率须大于每秒8到10帧； 2）为保持瞬间交互控制的错觉，响应时间的延迟须小于0.1秒； 3）为绘制可分辨的所有细节，要求有至少8千万个多边形。,然而，用今天的硬件，每个画面8千万多边形的系统 对真正的实时交互是太慢了，于是存在真实图像与实时交互间的折衷。某些应用（如

13、建筑和艺术）可能要求照片一样真实的绘制。制造和医疗应用要求更高层次的实时交互。,三维动画的实现途径： 1）基于物理模型的数值计算-军事和工业等应用，往往要求这种满足物理规律的仿真技术； 2）数学插值-三维动画电影等。,36,虚拟现实开发系统的框图,用户通过输入输出设备与输入输出软件交互。 输入软件通过形状编辑器完成几何建模，通过声音编辑器完成虚拟声音系统建模。在世界编辑器完成虚拟环境的建模。其中的虚拟剪切器，用于模型的剪切。 建立的模型，保存在虚拟世界中。 整个工作在计算机系统中完成。,现代仿真技术与应用 第七章虚拟现实第一部分概述,37,小结,虚拟现实或虚拟环境是人工构造的，存在于计算机内部

14、的环境。 用户应该能够以自然的方式与这个环境交互（包括感知环境并干预环境），从而产生置身于相应的真实环境中的虚幻感，沉浸感，身临其境的感觉。 虚拟现实系统包括人类操作者、人机接口和计算机。,现代仿真技术与应用 第七章虚拟现实第一部分概述,1计算机提供“环境”, 不是“数据, 信息”。 2操作者由视觉,听觉,力觉感知环境, 由自然的动作操作环境。 3逼真的感知和自然的动作，使人产生身临其境的感觉。,虚拟现实有下列三个特点：,38,虚拟现实中有关人的因素,计算机，接口和用户是VR系统中的三个组成部分。接口设计必须考虑人的因素，人的因素与VR系统性能直接相关。下面介绍与VR系统直接相关的人的因素问题

15、，包括： 人眼 人耳 身体感觉,现代仿真技术与应用 第七章虚拟现实第一部分概述,39,视觉生理结构 立体视觉 屈光度 瞳孔 分辨力 明暗适应 周围视觉和中央视觉 视觉暂留 视场,现代仿真技术与应用 第七章虚拟现实第一部分概述,虚拟现实中有关人的因素人眼,现有的VR系统中，已经考虑的因素包括：立体视觉，分辨力，视觉暂留，以及视场。其他因素还没有充分考虑到。,视网膜解剖图,光感受器解剖图,40,图中铅笔的反射光线通过眼睛晶状体的透镜。于是，铅笔的倒置图像直接投影在视网膜上。 视网膜的杆状细胞和锥状细胞负责通过视神经把信号传给大脑。,视觉系统的生理结构图,现代仿真技术与应用 第七章虚拟现实第一部分概

16、述,虚拟现实中有关人的因素人眼,41,立体视觉,人类立体视觉的原理图,现代仿真技术与应用 第七章虚拟现实第一部分概述,虚拟现实中有关人的因素人眼,视觉的另一个重要因素是立体视觉能力。提供给人类视觉的图像，必须使人感觉是立体的，能使观看者的视觉系统计算出被看物体的远近。 对同一个场景，两眼得到稍有差别的视图。 左视区的信息，送到两眼视网膜的右侧。 在视交叉处，左眼的一半神经纤维交叉到大脑的右半球，左眼的另一半神经纤维不交叉，直接到大脑的左半球。 这样，两眼得到的左视区的所有信息，都送到右半球。,42,分辨力是人眼区分两个点的能力，限于10m距离上约1.5-2mm。 人眼区分两个点的能力，在2m距

17、离上约0.4mm。则宽度400mm上应该由1000个0.4mm大小的像素。 计算机监视器和高清晰度电视机，都达到了这样的分辨率。,分辨力,现代仿真技术与应用 第七章虚拟现实第一部分概述,虚拟现实中有关人的因素人眼,43,视觉暂留是视网膜的电化学现象造成视觉的反应时间。当观看很短的光脉冲时，视杆细胞得到约0.25s 的峰，视锥细胞快4倍，得到约0.04s的峰。这种现象造成视觉暂留 。 临界熔合频率（Critical Fusion Frequency, CFF）效果会产生把离散图像序列组合成连续视觉的能力，CFF最低20Hz，并取决于图像尺寸和亮度。英国电视帧频25Hz，美国电视帧频30Hz。电影

18、帧频24Hz。眼对闪烁的敏感正比于亮度，所以若白天的图像更新率为60Hz，则夜间只要30Hz。,视觉暂留,现代仿真技术与应用 第七章虚拟现实第一部分概述,虚拟现实中有关人的因素人眼,视场,双目的视场约为水平1000，垂直600，而水平的双目重叠视场1200。实际的全景显示可能产生水平1000，垂直300视场，这已经有强的沉浸感。,44,声音 声音感觉 频率范围 声强 声音方向 声音舞台 头部有关的传递函数,现代仿真技术与应用 第七章虚拟现实第一部分概述,虚拟现实中有关人的因素人耳,现有的VR系统中，已经考虑的因素包括：声音方向，声音舞台，以及头部有关的传递函数。其他因素还没有充分考虑到。,45

19、,音速在空气中，0时331m/s，20时344m/s。在海水中，1时音速1453m/s。在铸铁棒中，音速3500m/s。 耳听到的频率范围约20Hz到20kHz。随年岁增加，频率范围缩小，特别是高频段。考虑音速344m/s。 20Hz的波长17.2m, 1kHz的波长34.4cm, 10kHz的波长 3.44cm。 人耳的尺寸约7cm，这是5kHz的波长。这说明耳会影响这种频率声音的收集。人的身体也会与声波交互，这也会影响声音的质量。这类似音乐厅中的音响效果。,声音,现代仿真技术与应用 第七章虚拟现实第一部分概述,虚拟现实中有关人的因素人耳,46,耳分为外耳、中耳、内耳。 外耳把声音引导进内耳

20、，它也作为滤波器而改变声音。把手放在耳前面，就会感到声音变化。声音最终冲击耳膜，使之振动。耳膜振动再传到耳蜗，并且振动加大20倍。,声音感觉,现代仿真技术与应用 第七章虚拟现实第一部分概述,虚拟现实中有关人的因素人耳,频率范围,耳蜗有3个螺旋管，被2个膜片（Reissner膜和耳底膜）分开。 振动会刺激耳底膜上的2万到3万个硬毛，并产生电信号传给大脑。耳底膜有识别频率的机制。高频振动刺激膜的开始部分，中频振动刺激膜的中间部分，低频振动刺激膜的远端部分。,47,声强影响到耳底膜的振幅，直接转成毛细胞的刺激。,声强,现代仿真技术与应用 第七章虚拟现实第一部分概述,虚拟现实中有关人的因素人耳,人脑识

21、别声源位置，是利用两耳收到的声音的时间差和声音幅度差。 当人面对声源时，两耳的声强和路径相等。当人向左转以后，右耳声音比左耳强，且更早听到。若两耳路径之差为20cm，则时间差0.6ms。,声音方向,如果用一对麦克风记录立体声音，就可以重现声音舞台，它有宽度和深度。,声音舞台,由声源到耳内部的传递函数称为“头部有关的传递函数” (Head-related transfer functions, HRTF)，它反映头和耳对传声的影响，不同的人有不同的HRTF。HRTF的测量方法： 对空间每个位置的声源，安放在耳中接近耳膜的小麦克风测量收到的信号。 信号经过处理，补偿非线性频率响应。,头部有关的传递

22、函数,48,涉及到感觉表面粗糙、振动、运动、位置、压力、疼痛和温度。按身体不同部位，可分四类。,现代仿真技术与应用 第七章虚拟现实第一部分概述,虚拟现实中有关人的因素身体感觉,深部感觉:提供关节、骨、腱、肌肉和其它组织的信息，涉及压力、疼痛和振动。 内脏感觉:提供胸腹腔中的内脏的状况，主要是疼痛 本体感觉:提供身体的位置，平衡和肌肉感觉；也涉及与其它物体的接触。本体感觉接受器位于关节、肌肉和深部组织。 外感受感觉:是身体表面的接触感觉 。,现有的VR系统中，已经考虑了触觉和力觉显示。但是有关的技术细节还没有充分考虑到。,49,本节介绍了VR中与人有关的因素：人的视觉问题，人的听觉问题和身体感受问题。 在VR中，某些人的因素明显被考虑，如HMD中考虑瞳距。另外一些人的因素未明显考虑，如运动眩晕。 有些人认为用HMD看不同远处物体时，不能会聚和调节，使人不适应。有人认为HMD与内瞳距不匹配也使眼疲劳。有人认为眼不是会聚，而是在发散。有些人运动刺激很敏感。 在VR中，具有图像生成的延迟，视觉和前庭器官信息的时间不同步也造成感觉（视觉与本体感觉）的冲突。快速处理和予测算法有可能缓解这种不同步。,现代仿真技术与应用 第七章虚拟现实第一部分概述,本节小结,50,虚拟现实的基本概念，特点，虚拟现实的应用领域，技术简介，并详细介绍了虚拟现实的人机接口。最后介绍了与虚拟现实有关的人的