虚拟现实技术的研究

1、虚拟现实技术的研究摘要：本文介绍了虚拟现实技术的特点和研究现状，对虚拟现实技术的建模技术进行了描述，论述了虚拟现实技术在科学、军事等领域的应用，并对未来发展方向进行了展望。关键词：虚拟现实技术；三维建模技术；实时绘制技术Overview of Virtual Reality TechniqueAbstract: This paper introduces the the characteristics of virtual reality technology and the current research, Modeling of virtual reality technology is

2、 described, The applications of Virtual Reality Technique in science and military are discussed through examples, its developing trends are predicted.Key words: :virtual reality technique ; 3D Modeling Technology; Real-Time Rendering Technique一、 虚拟现实技术1.1、定义虚拟现实是从两个英语单词“Virtual Reality”翻译而来的，其中“Virt

3、ual”的含义是虚拟的，非真实的，即现场或环境是由计算机模拟生成的非真实的，只存在于计算机内部的世界。“Reality”的意思是现实、实际，真实的事物，即真实的世界或现实的环境。因此，“Virtual Reality”一词应译为虚拟现实。故虚拟现实的含义就是利用计算机技术通过各种技术手段在计算机内部构建一个让人如临其境的虚拟世界。这种用来构建虚拟世界的技术就称为虚拟现实技术。虚拟现实技术，又称“灵境技术”或“赛伯空间”。1.2、特点 人们现在较为熟悉的是3D技术，已被广泛的应用于电影技术中。人们可以看到一个三维的世界，看起来更加真实，观众仿佛已融进了电影情节中，具有较强的视觉冲击感。相较于3D

4、技术，虚拟现实技术则能给我们一个更加完善的虚拟环境，它不光看起来像真的，听起来像真的，还可以摸起来、闻起来、尝起来都像真的。即人的视、听、触、嗅、味各种感觉在这个虚拟环境中就完全如在真实的世界，人们可以完全如在真实的世界中一样与虚拟世界进行交互。虚拟现实技术具有以下几个基本特征: 交互性（Interactivity）: 指用户对虚拟现实环境内物体的操作程度以及在虚拟环境中得到反馈信息的实时性及自然程度; 沉浸感（Immersion）也可称为临场感: 指用访问者到作为主角存在于模拟环境中的真实感的程度;构想性（Imagination）也称想像性: 指用户沉浸在设计者构想的多维信息空间中，通过自己

5、的感知和认知能力获取虚拟环境中的知识，发挥主观能动性，发现新问题，形成新的思想。1.3、现实意义二、 虚拟现实技术的应用涉及多个领域，如航空航天、军事、医疗、教育、建筑、娱乐和商业等等，广泛的应用领域使得虚拟现实技术具有更加广泛的发展空间。一些高成本，高危险实验研究或军事演习等可以通过虚拟现实技术来完成。使得教学效果更加形象具体，可使得学生将抽象的不可见的实验及其演变过程可视化。当有一天，虚拟现实技术真正实现了视觉、听觉、嗅觉、触觉、味觉各方面的完美统一。那么我们就可以借助与电脑来实现梦想中的奇幻之旅。三、 虚拟现实技术的研究现状2. 1国外研究现状美国 虚拟现实技术的发源地是美国，有美国宇航

6、局（NASA）Ames实验室、北卡罗来纳大学(UNC)计算机系、SRI研究中心、麻省理工学院（MIT）媒体实验室等许多知名研究机构，故美国的虚拟现实技术的研究水平基本上就代表了国际水平。目前，美国在虚拟现实技术的研究主要集中在感知、用户界面、后台软件和硬件4个方面。具体来说就是，建模和实时绘制技术。 日本 日本现主要致力于建立大规模虚拟现实知识库和人机接口方面的研究，同时在虚拟现实游戏方面的研究也处于领先地位。富士通实验室有限公司研究虚拟生物与虚拟现实环境的相互作用，已开发了一套神经网络姿势的识别系统；日本奈良尖端技术研究生院的研究小组制造了一种嗅觉模拟器，使用户可以闻到虚拟空间中水果释放的香

7、味，是虚拟现实技术在嗅觉研究领域的一项突破。 另外，国外还有研究出多个用于开发应用程序的虚拟现实软件开发平台，如英国Superscape公司的VRT,Division公司的dVISE等，研发的开发平台针对不同应用项目，在一定程度上提高了虚拟现实系统的研发效果。2. 2国内研究现状我国从20世纪80年代起开始研究VR。北京航空航天大学时国内最早进行VR研究、最有权威的单位之一。它于2000年8月成立了虚拟现实新技术教育部重点实验室，主要从事VR、可视化技术、计算机网络、图像信息处理、分布式系统和人工智能等多个领域的研究与技术开发，承担了一批国家重点项目，同时还与多家单位进行横向项目合作，在虚拟现

8、实关键技术的研究领域迅速形成了自己的特色和优势。三、三维建模技术由于虚拟现实技术的基础就是三维模型的建立，不仅对于模型的外观的逼真性要求较高，而且在虚拟现实系统中， 由于部分物体好要求具有复杂的行为，以及良好的实时性和交换能力。故虚拟现实系统的建模技术与其他图形的建模技术相比具有如下的特点：（1）虚拟场景中的模型数量和类型都是大量的；（2）其他图形建模系统中只需构建静态或者是简单运动的物体，但在虚拟场景中却需对物体建立自己独特的行为，且符合物理规律。（3）为了满足其较好的操作性和良好的实时性及交换性，故物体必须在某种适当的方式来做出相应的反应。所以建模技术可分为三类：几何建模、物理建模、行为建

9、模。几何建模几何建模技术按照结构可分为层次建模法和属主建模法。层次建模法是利用树形结构来表示物体的各个组成部分，当物体发生移动时，只需对某节点及其相对父节点的位置和方向的变化进行描述即可。属主建模法就是让同一类的对象具有相同的属主，属主里面含有了同类对象的详细结构。当需要制作这一类事物时，只需建立一个指向该物主的指针即可。这样不但简单高效，还可以便于修改及一致性也较好。 物理建模 当几何建模完成后，我们就要为其构建动力学体系，描述其预期的运动方式。典型的物理建模方法有分形技术和粒子系统。分形技术的优点是操作简单，易于构建复杂且不规则的物理模型。但是需要大规模的物理计算，造成实时性交差。所以，在

10、虚拟系统中一般只用了构建静态远景模型。在粒子系统中，建模时将物体以最小单位体素来划分，为每一个体素建立独有的位置、速度、颜色和生命周期等等属性。通过动力学计算和随机过程即可得到运动且逼真的画面。故虚拟系统中用粒子系统构建运动的物理模型。行为建模在几何建模和物理建模的基础上，若想让虚拟环境更加逼真，就需要加入行为建模，行为建模用于处理物体的运动和行为。分为运动学法和动力学仿真法两种方法。动力学法是通过线性插值、三次样条插值等方法内插帧，来达到物体的平移和旋转等动作。并不知道物体的物理属性，仿真效果不是很理想。动力学仿真属于物理仿真的一部分，利用物理学定律来描述物体的运动。使得运动的描述更加精确和

11、自然，且物体间的交互和实时性更好。真实感实时绘制技术在虚拟现实系统中，如想做到更加逼真，只靠三维立体感是远远不够的。还要求有较强的真实感和实时性。真实绘制技术虚拟现实系统中，对真实绘制技术的要求与传统的真实感图形绘制不同，传统的绘制只要求图形质量和真实感，但是，在VR中，我们必须做到图形显示的更新速度不小于用户的视觉转变速度，否则就会出现画面的迟滞现象。故在VR中，实时三维绘制要求图形实时生成，每秒钟必须生成不低于10到20帧图像。同时还要求其真实性，必须反映模拟物体的物理属性。通常为了使得画面场景更加逼真和实时性强，通常采用纹理映射、环境映射和反走样的方法。3.2.2基于几何模型的实时绘制技

12、术 为了使得画面不出现迟滞现象，就要求计算机具有很好的性能，保证每秒钟的帧数不低于30帧。虚拟场景的制图基础是几何，即在数学上的曲线、曲面等数学模型，必须先设定好几何模型的轮廓，同时采用模拟虚拟摄像机在六个自由度运动，输出画面。当虚拟场景较复杂时，数据量就会巨大，若产生的延时过长，不但用户的沉浸感会降低，甚至使人产生头晕、乏力等“运动病”。所以，除了提供计算机的硬件设备外，我们也要减低场景的复杂度。 用以提高虚拟三维场景的显示速度的方法有：预测计算、脱机计算、3D剪切、可见消隐、细节层次模型等。基于图像的实时绘制技术 基于图形绘制（Image Based Rendering，IBR）不同于传统

13、的几何绘制方法，先建模型，在定光源的绘制。IBR直接从一系列图形中生成未知角度的图像，画面直接进行变换、插值和变形，从而得到不同视觉角度的场景画面。其特点如下：第一， IBR的方法降低了计算量，减低了对计算机硬件的要求，食用于个人计算机用户使用。第二， 图片的来源可以使数码相机中的真实环境中的相片，也可由电脑生成，或者二者相结合，产生更加逼真的场景。第三， IBR的画面显示开销与画面的复杂度无关，只于画面的分辨率有关，所以可以显示较复杂的画面。 三维虚拟声音技术 日常生活中我们所听到的立体声是来自于左右声道，声音效果可以很明显的是我们感到来自我们面前的平面，而非像有人在我们背后喊我们时，声音来

14、自于声源，且能准确判断出其方位。显然现在的立体声是不能做到的。而三维虚拟声音就是要做到听其音辨其位，即在虚拟场景中用户可以听声辩位，完全符合现实环境中的听力系统的要求，这样的声音系统就称之为三维虚拟声音。三维声音的特点 在虚拟现实系统的声音系统中，我们要致力于为用户营造强烈的存在感和真实性。故在虚拟三维声音系统中的核心技术就是三维虚拟声音定位技术。其特点为：全面三维定位特性（3D steering）、三维实时跟踪特性（3D Localization）、沉浸感与交互性。 全面三维定位特性（3D steering）可以实现将声音信号定位到特定虚拟生源，用户可以通过它精确判断出声源的位置，并符合真实

15、世界中的听觉方式。三维实时跟踪特性（3D Localization）可以使声音效果与变化的视觉相一致，即用户的位置和声源发生相对位置的变化时，其声源位置也随之改变，产生视听觉得叠加和同步效果。故三维实时跟踪特性（3D Localization）就是用来完成三维虚拟环境中实施跟踪虚拟声源位置变化或虚拟影像变化的能力的。沉浸感与交互性是指当用户在虚拟环境中时，加入三维虚拟声音后，可以为用户营造身临其境的感觉，并且随着用户的运动可以产生现场反映和实时响应的能力。语音识别技术（Automatic Speech Recognition,ASR） 语音识别技术（Automatic Speech Recog

16、nition,ASR）是将语言信号转变为可被计算机识别的文字信息，使得计算机可以识别说话人的语言指令和文字内容的技术。 要想达到语音的完全识别是非常困难的，必须经过参数提取、参考模式建立、模式识别等若干个过程。随着研究人员的不断研究，使用了傅里叶转换、到频谱参数等方法，语音识别度也越来越高。语音合成技术（Text to Speech,TTS） 语音合成技术（Text to Speech,TTS），是指人工合成语音的技术。达到计算机输出地语音可以准确、清晰、自然的表达意思。一般方法有两种：一是录音/重放，二是文-语转换。在虚拟现实系统中，语音合成技术的运用可以提高系统的沉浸感，同时弥补视觉信息的

17、不足。人机自然交互技术在虚拟现实系统中，我们致力于使得用户可以通过眼睛、手势、耳朵、语言、鼻子和皮肤等等感觉器官来和计算机系统中产生的虚拟环境进行交互，这种虚拟环境下的交换技术就称之为人机自然交互技术。目前，人机交互技术主要体现在以下三个方面：第一：手势识别技术，通过数据手套(Data glove)来实现。数据手套(Data glove)是虚拟现实系统中最常用的人机交互设备，可精确测量出手的位置和形状，由此实现环境中的虚拟手对虚拟物体的操纵。数据手套通过手指上的弯曲、扭曲传感器和手掌上的弯度、弧度传感器，确定手及关节的位置和方向。手势语言的范例如下： 数据手套还可以使你觉得你的手产生放在问谁水

18、中、或者沙土中的感觉。第二：面部表情识别技术，该项技术目前的研究与人们的期望效果还相差较远，但是去研究成果去展现了其魅力所在。这项技术一般分为三个步骤，首先是面部表情的跟踪，利用摄像机记录下用户的表情，再通过图像分析和识别技术达到表情的识别。其次是对面部表情的编码，研究人员利用面部动作编码系统（FACS）对人的面部表情进行解剖，并对其面部活动进行分类和编码。最后是面部表情的识别， 通过FACS系统可以构成表情识别的系统流程图，如下： 第三：眼动跟踪技术眼动跟踪技术（Eye Movement-based Interaction）也称之为实现跟踪技术。它可以补充头部跟踪技术的不足之处，这样即简单有

19、直接。现有的是先跟踪技术及特点如下：视线追踪方法技 术 特 点角膜反射高带宽，误差大瞳孔-角膜反射高带宽，精度高，对人无干扰，误差小接触镜高带宽，精度最高，对人干扰大，不舒服虹膜-巩膜边缘高带宽，垂直精度低，对人干扰大，误差大眼电图（EOG）高带宽，精度低，对人干扰大实时碰撞检测技术 在日常生活中人们已经建立了一定的物理习惯，如固体之间不能彼此穿透，物体高空坠落做自由落体运动，抛出去的物体做平抛运动等等，同时还要受到重力和空气流速的影响等等。为了在虚拟现实系统中完全的模拟现实环境，且防止发生穿透现象，就必须引入实时碰撞检测技术。 Moore提出了两个碰撞检测算法，其一处理三角剖分的物体表面，另

20、一个处理多面体环境的碰撞检测。为了防止穿透有三个主要部分。首先，必须检测碰撞。其次，为响应碰撞应调节物体速度。最后，如果碰撞，响应不引起物体立刻分开，必须计算和施加接触力，直到分开。三维全景技术三维全景技术（Panorama）为现在最为流行的视觉技术，它以图像绘制技术为基础生成具有真实感图像的虚拟现实技术。全景图的生成，首先是通过照相机平移或旋转得到的一序列图像样本；再利用图像拼接技术生成具有强烈动感和透视效果的全景图像；最后在利用图像融合技术使得全景图给用户带来全新的现实感和交互感。该项技术利用对全景图深度信息的提取来恢复实时场景的三维信息建立模型。方法简单，设计周期缩短，使得费用大大降低，且效果更加，故目前较为流行。四、应用领域五、存在的问题及未来的发展方向存在的问题虚拟现实的发展方向是很明确的更快、更高质量的图形更便宜、设计得更完善的头盔式显示器和其他输人、