多媒体虚拟现实技术概述

1、概述,虚拟现实,Virtual Reality,简称,VR,技术是,20,世纪,80,年代末,90,年代初崛起的一种实用技术，是一种可以创建和,体验虚拟世界,Virtual World,的计算机系统，是一种,逼真地模拟人在自然环境中视觉、听觉、运动等行为的高,级人机界面技术，人能够通过多种感官渠道与它进行实时,交互，这些渠道包括视觉、听觉、触觉、嗅觉和味觉等等,它使计算机从一种需要人用键盘、鼠标对其进行操作的设,备，变成了人处于计算机创造的环境中，通过感官、语言,手势等比较“自然”的方式进行“交互、对话”的系统和,环境,近年来，虚拟现实技术的飞快发展，引起了世界各国学者,的关注，成为十分活跃的

2、研究领域。它汇集一系列高新技,术，包括计算机图形学、多媒体技术、人工智能、人机接,口技术、传感器技术、高度并行的实时计算技术和人的行,为学研究等多项关键技术,主要内容,6.1,虚拟现实系统概述,6.2,虚拟现实系统的硬件设备,6.3,虚拟现实系统的相关技术建模,6.4,虚拟现实软件简介,6.5,虚拟现实建模语言,VRML,6.1,虚拟现实系统概述,6.1.1,虚拟现实技术的发展及现状,6.1.2,虚拟现实技术的主要研究内容,虚拟现实的研究内容主要分以下几个方面,1,人与环境融合技术,1,高分辨率立体显示器,2,方位跟踪系统,3,手势跟踪系统,4,触觉反馈系统,5,声音定位与跟踪系统,6,本体反

3、馈,6.1,虚拟现实系统概述,2,物体对象的仿真技术,1,几何仿真,研究如何快速建立不同层次的显示模型,2,物理仿真,场景造型应采用物理模型，不仅要考虑对象的几何形状,而且要考虑对象的质量、运动规律、受力情况和立体声音,等，使物体在虚拟场景中的表示更为真实可信,3,行为仿真,研究在用户操作下或在其他景物的作用下场景状态的变化,规律和变化过程,6.1,虚拟现实系统概述,3. VR,图像生成技术及高效快速生成体系图技术,实时显示的刷新频率大于,15,帧秒，复杂场景的显示由于,计算量巨大，必须采用层次信息模型与逐步求精技术。双,屏显示的同步问题也是立体显示的一个关键。图形图像的,合成设计及其合理叠加

4、显示、虚拟世界坐标系与对象坐标,系之间的转换，都是需要进一步研究的问题。坐标变换和,碰撞检测需要大量的计算，并行处理是较好的方法,6.1,虚拟现实系统概述,4,实时处理及并发处理的多维信息表示技术,根本目的是使参与者沉浸于多维信息空间仿真建模，从中,获取知识和形成新的概念。应克服的主要技术瓶颈是能对,人类感知和肌肉活动起交互作用的基于计算机系统的接口,系统，支撑技术,软硬件环境和工具,包括各类传感器、三,维显示和音响器、虚拟环境产生器、程序设计工具集、计,算机网络和高性能计算平台等,6.1,虚拟现实系统概述,5,高性能的计算机图形处理硬件研究,重点研究图形处理专用硬件、图形的并行处理、大规模集

5、,成电路技术及其在图形发生器设计中的应用,6,分布式虚拟环境和基于网络环境的虚拟现实研究,对基于网络的虚拟现实研究应给予特别的关注，因为,Internet,技术与,VR,技术的结合为虚拟现实的未来提供了光,明的前景,6.1,虚拟现实系统概述,6.1.3,虚拟现实系统的基本组成,1,虚拟世界,虚拟世界是可交互的虚拟环境，是虚拟环境或给定仿真对,象的全体。它一般是一个包含三维模型或环境定义的数据,库。虚拟环境是由计算机生成的，通过视、听、触觉等作,用于用户，使之产生身临其境的感觉的交互式视景仿真,虚拟环境有多种形式，它可能是某些物理环境,如建筑物,厨房，甚至像汽车这样的物体内部,的伪真实反映,也可

6、,能是根本没有任何物理基础的某一跨国公司的地理、层次,网的三维数据库，甚至可以是与股票交易有关的多维数据,集。虚拟环境还可用来评价一些物理仿真。在对电场中的,分子行为进行模拟时，原子结构的行为动态可用简化的模,型进行模拟。不管应用在何处，都要建立一个反映环境的,几何数据库并将其存储起来，在需要时可进行实时调度和,渲染,6.1,虚拟现实系统概述,2,虚拟现实软件,虚拟现实软件提供实时观察和参与虚拟世界的能力，包括,虚拟环境建模、动画制作、物理仿真、碰撞检测和交互模,式,1,虚拟环境建模,CAD,技术为虚拟现实提供了有效的建模手段。这些模,型可为多数虚拟现实系统利用，节省了可观的再建时间,建模工具

7、一般提供了广泛的图形库支持,2,动画制作,一些动画可用矩阵操作来支持移动及旋转，而摆动及弹跳,运动则需要专门程序。实时计算这些物理过程会带来诸如,系统延时等一些问题，在某些动画序列中，复杂的动作可,用简单的模拟方法而不用复杂的数学过程。这项技术要求,将这些动作分解为一系列离散的关键模型并放到数据库中,6.1,虚拟现实系统概述,3,物理仿真,在进行物理仿真时，我们必须为物体设计一些支持其某些,物理行为的程序。这一方面要求很强的计算能力，同时也,将使系统增加了一些延时,4,碰撞检测,在虚拟现实中，常用碰撞来模拟现实生活中的接触、抓,移动和打击等情形。虚拟现实系统的一个重要功能，就是,能快速进行虚拟

8、世界中物体间的碰撞检测,5,交互模式,为简化人机界面，人们提出了许多新方法，发明了许多新,设备，以及与虚拟现实有关的新技术。由此出现了许多种,交互模式。例如，特征识别单元、视觉显示单元、触摸屏,光笔、游戏杆、拇指轮、压感笔、便笺簿、数字化仪等都,是与虚拟现实有关的设备和技术,6.1,虚拟现实系统概述,3,输入输出设备,输入设备可用于观察和构造虚拟世界，将用户输入信号输,入给计算机，包括三维跟踪器、数据手套、三维鼠标等等,输出设备可用于输出有关虚拟环境的视觉信号、声音信号,和触觉信号，包括头盔显示器、耳机和各种触觉设备,4,与虚拟世界的交互,参与者与虚拟世界交互的过程大致如下：参与者首先激活,输

9、入设备，将头、手的位置和方向等信号输入给计算机,虚拟现实软件接受并解释输入，更新虚拟世界以及其中的,物体，然后，重新计算虚拟世界的三维视图，并将这一新,视图及其他信息如声音信号和触觉信号等立即送给输出设,备以便参与者看到效果。用来支持虚拟现实的计算机能协,调用户提供的各种输入信号，并向用户输出必要的图形,声音及触觉数据,6.1,虚拟现实系统概述,6.1.4,虚拟现实的分类与特征,1,虚拟现实的分类,l,简易型虚拟现实系统,2,沉浸型虚拟现实系统,3,共享型虚拟现实系统,2,虚拟现实的基本特征,1,沉浸性,沉浸性是指让参与者有身临其境的真实感觉。可分为视觉,沉浸、听觉沉浸、触觉沉浸、嗅觉沉浸和味

10、觉沉浸等,2,交互性,3,构想性,6.1,虚拟现实系统概述,6.1.5,虚拟现实系统的应用,1,科学研究和科学计算可视化,2,工程应用,3,商业应用,4,军事应用,5,医学应用,6,教育培训,7,娱乐应用,6.2,虚拟现实系统的硬件,6.2.1,跟踪设备,跟踪系统的功能是确定关于用户的头、手、身体及任意真,实世界物体的位置及指向,方向,目前有六种类型的设备,可以实现对用户的跟踪,1,电磁波跟踪器,此类跟踪器利用小型天线发出的磁场，由多个接收天线接,收信号并通过计算得到三维的位置坐标和方向,2,超声波跟踪器,超声波跟踪器发出高频超声波脉冲，由装在天花板上的三,个接收器接收信号，通过延迟即可计算距

11、离,3,机械跟踪器,机械跟踪器通过精密的机械框架和连接来测量指定点的位,置和指向,6.2,虚拟现实系统的硬件,4,惯性跟踪器,惯性跟踪器采用机械方法，利用小型陀螺仪测量倾角、偏,角和转角,5,光学跟踪器,光学跟踪器是一种红外跟踪器。它利用摄像机获取图像,通过立体视觉计算确定目标位置，并通过观测多个参照点,来确定目标的表面指向,6,图像提取跟踪器,图像提取跟踪器是一种计算密度最高的跟踪器。它是最易,于使用但又最难开发的跟踪器。一台,组,视频摄像机拍摄人,及其动作，然后由图像处理技术来确定人的位置及动作,6.2,虚拟现实系统的硬件,6.2.2,传感器,1,三维空间传感器,三维空间传感器应能实时地检

12、测出一个活动的物体在六个,自由度上相对于某个固定物体的数值，即在,X,Y,Z,坐标,上的位置值，以及围绕,X,Y,Z,轴的旋转值。三维空间传,感器是用来检测绝对位置和方向的,2,跟踪球,跟踪球,trackball,是一种检测和控制相对位置和方向的,传感器，是用增量位置控制的方法实现的,3,三维空间探针,三维空间探针是一种直观、便宜，既能仿真绝对的位置和,方向、又能仿真相对的位置和方向的,I/O,设备,6.2,虚拟现实系统的硬件,6.2.3,数据手套,在虚拟现实中最常用的人机接口工具是数据手套，第一副数,据手套是,1987,年在,NASA,美国国家航空与宇宙航行局,的支,持下研制成功的，近年来已

13、有了极大的改进。数据手套的使,用增加了虚拟现实系统的真实感。数据手套比起传统的鼠标,来，交互的区域更大，手的运动更自由。鼠标局限于二维平,面，而手套则提供了一个三维操作空间,数据手套可以把手势转化成计算机可识别的数据。它利用复,杂的磁骨骸和传感器技术，可以测量每个指关节的弯曲角,视觉跟踪、眼睛跟踪和数据衣这些跟踪系统也都在研制中,6.2,虚拟现实系统的硬件,6.2.4,触觉与力学反馈装置,1,力学反馈手套,力学反馈手套是在计算机的控制下，通过对手指的运动产,生阻尼，从而使用户的手产生力感。阻尼的大小由被抓物,体的物理属性决定,力学反馈手套技术提供给用户一种虚拟手控制系统，使用,户可以选择或操纵

14、机器子系统并能自然感觉到触觉和力量,模拟反馈,2,压力反馈系统,当一个虚拟物被用户抓取时，一些虚拟环境系统要求真正,的压力反馈，来防止手穿过固体。压力反馈系统是把压力,加到操纵者手上，从而使人能够根据运动及压力的感受情,况进行控制,6.2,虚拟现实系统的硬件,3,表面压力反馈装置,表面显示的概念是把虚拟物体本身的表面提供给用户的一,个思想，而不是力的感知或与虚拟物体的接触而产生的触,觉。在虚拟环境的实现中，存在于现实世界中的用户和在,计算机中定义的虚拟物体之间的交互作用不得不通过一个,力反馈设备调解。目前这类表面压力反馈装置包括：点阵,式表面压力反馈装置和,SPICE,触觉接口,6.2.5,头

15、盔显示器,根据头盔的主要图像源是否在头盔上，可将头盔分为两类,图像源在头盔上的显示器采用的是阴极射线管,CRT,或液,晶显示,LCD,设备。这两种头盔的主要缺点一是通常较重,二是比较危险。第二类头盔的主要图像源不在头盔上。它,采用光纤设备把外部图像源输送到头盔上。这种类型头盔,的主要缺点是与头盔相连的光缆过重,6.3,虚拟现实系统的相关技术,虚拟现实系统是用计算机生成的虚拟世界，用户可以通过,视觉、听觉、触觉等多种感官与虚拟世界进行交互，而虚,拟世界能够迅速而准确地做出反应。要达到这个目标，虚,拟现实系统的硬件是基础，但这远远不够，虚拟现实系统,还要进行大量而复杂的软件设计。环境建模技术是虚拟

16、现,实系统软件设计的基础，三维场景实时生成技术和三维虚,拟声重现技术是使虚拟现实系统具有真实感、沉浸感和交,互性的关键，碰撞检测技术是衡量虚拟现实系统真实可用,性的一个重要方面,6.3,虚拟现实系统的相关技术,6.3.1,环境建模技术,环境建模技术是构造虚拟场景模型的技术，它是构造虚拟,环境的核心技术。虚拟现实的环境建模技术不同于一般的,图形建模技术，主要表现在以下三点,1,虚拟现实系统中的场景和物体有自己的行为，而不是,静止的或简单的运动,2,虚拟现实系统中的物体要有良好的可操纵性，当用户,对其进行操作时，物体必须能够做出真实的反应,3,虚拟环境的生成必须满足实时性的要求，能及时地随,用户的

17、操作而改变,1,几何建模技术,几何建模是用几何图形来构造物体模型的方法。几何建模,技术主要研究对物体的几何信息表示与处理、几何信息的,数据结构和构造函数以及操纵数据结构的算法,6.3,虚拟现实系统的相关技术,2,物理建模技术,物理建模是在建模时考虑了物体的物理属性的建模技术,这些物理属性有质量、惯性、变形等。建模技术包括体素,和结构两个方面,3,行为建模技术,行为建模是对物体运动的处理和行为的描述。行为建模不,仅赋予物体外形特征，而且赋予物体行为和反应能力，如,果说几何建模是虚拟现实的基础，那么行为建模则赋予虚,拟现实系统以生命，行为建模真正体现了虚拟现实系统的,根本特征,4,虚拟现实建模,N

18、URBS,技术,许多工程设计，需要统一的数学方法描述曲线和曲面。非,均匀有理,B,样条,简称,NURBS,Non Uniform Rational,Basic Spline,正是这样一种数学方法。它既能与描述自,由型曲线曲面的,B,样条方法相统一，又能精确表示二次曲,线弧与二次曲面,6.3,虚拟现实系统的相关技术,5,纹理贴图,纹理表现了物体表面的自然特征。纹理贴图是既能增加绘,制图象的真实性，又不影响它们的基本几何形状的一种技,术，没有纹理的图形显得呆板和枯燥,6,全局光照,生成真实感图形的光照效果的主要方法有光线跟踪技术和,辐射度技术,7,听觉建模技术,听觉建模是使虚拟场景中具有准确的声源

19、位置，并使声音,随操作者位置的改变而实时改变的声音系统构造方法,6.3,虚拟现实系统的相关技术,6.3.2,立体显示技术,立体图像产生的方法是：对同一景物分别产生两幅对应于,左、右眼的具有一定视差的图像，观察者借助立体眼镜等,设备，使左、右眼分别看到不同的图像，然后经过大脑的,融合，形成立体图像。常用的立体显示技术有,1,彩色眼镜法,2,偏振光眼镜法,3,头盔式立体显示器,4,裸眼立体显示技术,6.3,虚拟现实系统的相关技术,6.3.3,三维虚拟声重现技术,三维虚拟声系统是在虚拟场景中使用户能准确地判断出声,源位置、符合人们在真实世界中听觉方式的声音系统。三,维虚拟声重现技术包括声音定位与跟踪

20、系统、听觉环境系,统,1,声音定位与跟踪系统,利用不同声源的声音到达某一特定地点的时间差、相位差,声压差等可以进行声源定位与跟踪,2,听觉环境系统,听觉环境系统由语音与音响合成设备、识别设备和声源定,位设备所构成,6.3,虚拟现实系统的相关技术,6.3.4,三维场景实时生成技术,虚拟现实系统还要求图像具有真实感和实时性，真实感是,指物体的形状、光学性质、表面的纹理和粗糙程度，以及,物体间的相对位置和遮挡关系等与在真实世界中看到的一,样；实时性是指当用户的视点改变时，场景能随之及时改,变。这就要求图像的生成和显示的速度在每秒,10,30,帧,1,基于几何图形的实时绘制技术,为了保证场景刷新频率不

21、低于,30,帧,秒，除了采用高性能,的计算机外，降低场景的复杂度以提高动态显示速度是一,种行之有效的方法，具体有预测计算、脱机计算、场景分,块、可见消隐和细节层次模型等,6.3,虚拟现实系统的相关技术,1,预测计算,根据物体的运动规律，如行进的方向和速度，在绘制下一,帧画面之前采用预测、外推等方法提前计算出下一幅场景,以提高显示速度,2,脱机计算,将一些可预知的数据事先计算好并存储起来，这样可以加,快显示速度,3,场景分块,将一个复杂的场景划分为若干个互相不可见的子场景，每,次只绘制可见部分，这样可降低场景的复杂度，减少绘制,多边形的数目，提高显示速度。这种方法主要对封闭空间,的场景有效,6.

22、3,虚拟现实系统的相关技术,4,可见消隐,场景分块技术与观察者所处的位置有关，而可见消隐技术,则与观察者的视线有关，系统只显示当前能看见的场景,而隐去视线以外的部分，这样也可以降低场景的复杂度,提高显示速度,5,细节层次模型,所谓细节层次模型,LOD,Level Of Detail,，是对场,景中的不同物体采用不同细节水平而建立的一组模型,6.3,虚拟现实系统的相关技术,2,基于图像的场景生成技术,目前，基于图像的场景生成技术主要有以下两种,1,全景技术,全景技术是选择一个观察点，利用鱼眼数码相机旋转一周,拍摄下一组画面，然后利用软件去生成所在视点不同视角,的场景,2,图像的插值和视图变换技术

23、,全景技术只有一个视点，而采用插值和视图变换技术可以,将在不同视点拍摄的图像，交互地生成两个相邻图像之间,的对应画面，从而得到其他视点的场景图，并且可以实现,多点漫游,6.3,虚拟现实系统的相关技术,6.3.5,碰撞检测技术,在虚拟世界中漫游，人与物体以及物体与物体之间的碰撞,是不可避免的，为了保证虚拟现实系统的真实性，就要对,碰撞进行检测，并作出相应的反应，否则就会发生诸如人,穿墙而过这种不真实的现象，对碰撞问题的处理包括碰撞,检测和碰撞响应两个方面，对他们都有实时性的要求，从,检测出碰撞的发生到系统作出响应要在尽量短的时间内完,成，最长不超过,50ms,否则系统无法正常运行,碰撞检测的方法

24、有层次包围盒法和空间解析法。层次包围,盒法的基本思想是利用体积略大的包围盒将对象包围起来,在进行碰撞检测时，首先进行包围盒的相交测试，只有包,围盒相交的物体才做进一步的碰撞检测。层次包围盒法适,用于复杂环境的碰撞检测。空间解析法是将整个虚拟空间,划分成体积相等的小单元格，对占据同一单元格或相临单,元格的物体进行相交测试。空间解析法通常用于对稀疏环,境中分布比较均匀的物体进行碰撞检测,6.3,虚拟现实系统的相关技术,6.3.6,增强现实系统,增强现实,AR,Augmented Reality,是虚拟现实的一个变,种。虚拟现实是由计算机生成的虚拟环境，并使用户沉浸,其中进行交互的虚拟环境系统。当沉

25、浸在其中时，用户不,能看到他周围的真实世界。与之相比，增强现实允许用户,看到周围的真实世界，虚拟对象则被融合到真实的世界之,中。因此，增强现实是对虚拟现实的补充，而不是完全取,代它，即对现实的“增强”。理想情况下，它应该使用户,感觉到虚拟对象与真实对象共存在同一个空间里,1,增强现实系统的特点,1,组合真实与虚拟环境,2,实时交互,3,定位在,3D,空间,6.3,虚拟现实系统的相关技术,2,构造增强现实系统的技术,1,增强,除了真实世界增加对象之外，增强现实也有能力移去这些,对象。当前的工作集中在把虚拟对象增加到真实环境中去,目前增强现实的研究主要集中在混合真实和虚拟的图像与,图形,2,光学与

26、视频,构造增强现实系统的根本问题是如何完成真实对象与虚拟,对象的结合。有两种基本的方法光学和视频技术,3,定位,当前限制增强现实应用的根本问题是定位问题。真实世界,和虚拟世界中的对象必须相互正确定位。许多应用场合要,求的甚至是精确定位。没有精确定位，增强现实将不被许,多应用所接受,6.4,虚拟现实软件简介,在虚拟现实中，虚拟环境是十分复杂的，我们不能每开发,一个应用系统都从基本的代码开始进行，非常有必要提供,某种框架或平台，使得新的应用可以在已有的虚拟环境系,统开发工具的基础上进行。显然，我们需要一个通用的虚,拟环境开发标准，以保证各种软件开发环境能够提供一个,统一的用于对象建模的虚拟现实构造

27、工具集。工具集主要,提供相应的控制语言，以支持交互、动画和物理仿真,6.4.1,虚拟环境应用工具包,WTK,6.4.2,三维图形设计软件,3DS MAX,6.4.3,网络三维交互软件,Cult3D,6.4.4,分布式虚拟环境系统,dVS,6.4.5,虚拟现实制作工具,Maya,6.5,虚拟现实建模语言,VRML,VRML(Virtual Reality Modeling Language,是虚拟现实,建模语言，是一种三维造型和渲染的图形描述性语言，是,继,HTML,之后的第二代,Web,语言，第二代,Web,把,VRML,与,HTML,Java,流媒体等技术有机地结合起来，形成一种,新的三维超

28、媒体,Web,VRML,包含,3D,动画、音效、传感,器触发、事件输入输出、行为控制、支持多种脚本与多重,使用者等功能，具有与设备无关、可扩展以及能在低带宽,网络中工作等特点,真正在,Web,上实现了动态页面，并加,强了交互功能，达到真正虚拟现实的效果,6.5,虚拟现实建模语言,VRML,6.5.1 VRML,的诞生及发展,1994,年,10,月公布了,VRML1.0,的规范草案,1996,年,8,月公布了,VRML2.0,标准,1997,年,12,月,VRML 97,作为国际标准正式发布,1998,年,1,月正式获得国际标准化组织,ISO,的批准,1999,年底,VRML,的又一种编码方案,X3D,草案发布,2000,年,6,月世界,Web3D,协会发布了,VRML2000,国际标准,草案,2000,年,9,月又发布了,VRML2000,国际标准,2002,年,7,月,23,日,Web3D,联盟发布了可扩展,3D,X3D,标准草案。这项技术是,VRML,的后续产品,6.5,虚拟现实建模语言,VRML,6.5.2 VRML,的工作原理,VRML,仍然是按照面向对象的方式来组织的，对象可以包,含任何内容，如三维几何体,MIDI,数据,JPEG,图像等,VRML,文件的解释、执行和呈现是