虚拟现实技术的发展及其应用-计算机图形学论文.doc

虚拟现实技术的发展与应用1.虚拟现实的概念虚拟现实，也称灵境技术或人工环境，是利用电脑模拟产生一个三度空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。使用者进行位置移动时，电脑可以立即进行复杂的运算，将精确的3D世界影像传回产生临场感。该技术集成了计算机图形(CG)技术、计算机仿真技术、人工智能、传感技术、显示技术、网络并行处理等技术的最新发展成果，是一种由计算机技术辅助生成的高技术模拟系统。从技术的角度来说，虚拟现实系统具有下面三个基本特征：即三个“I”immersion-interaction-imagination（沉浸交互构想），它强调了在虚拟系统中的人的主导作用。从过去人只能从计算机系统的外部去观测处理的结果，到人能够沉浸到计算机系统所创建的环境中，从过去人只能通过键盘、鼠标与计算环境中的单维数字信息发生作用，到人能够用多种传感器与多维信息的环境发生交互作用；从过去的人只能以定量计算为主的结果中启发从而加深对事物的认识，到人有可能从定性和定量综合集成的环境中得到感知和理性的认识从而深化概念和萌发新意。总之，在未来的虚拟系统中，人们的目的是使这个由计算机及其它传感器所组成的信息处理系统去尽量“满足”人的需要，而不是强迫人去“凑合”那些不是很亲切的计算机系统。现在的大部分虚拟现实技术都是视觉体验，一般是通过电脑屏幕、特殊显示设备或立体显示设备获得的，不过一些仿真中还包含了其他的感觉处理，比如从音响和耳机中获得声音效果。在一些高级的触觉系统中还包含了触觉信息，也叫作力反馈，在医学和游戏领域有这样的应用。人们与虚拟环境相互要么通过使用标准装置例如一套键盘与鼠标，要么通过仿真装置例如一只有线手套，要么通过情景手臂和/或全方位踏车。虚拟环境是可以是和现实世界类似的，例如，飞行仿真和作战训练，也可以和现实世界有明显差异，如虚拟现实游戏等。就目前的实际情况来说，它还很难形成一个高逼真的虚拟现实环境，这主要是技术上的限制造成的，这些限制来自计算机处理能力，图像分辨率和通信带宽。然而，随着时间的推移，处理器、图象和数据通讯技术变得更加强大，并具有本效益，这些限制将最终被克服。1. 虚拟现实的发展历程虚拟现实的发展从1962年，Ivan Sutherland 教授在他的博士论文终极显示（The Ultimate Display）中对有关计算机图形交互系统方面作了论述。并在1968年他开发了头盔式立体显示器，他的论文及其实现的简单的虚拟世界展示了具有初始意义的虚拟现实技术，也是虚拟技术的萌芽。20世纪80年代初，虚拟现实技术的概念和理论初步形成，80年代美国宇航局（NASA）及美国国防部组织了一系列有关虚拟现实技术的研究，并取得了令人瞩目的研究成果，从而引起了人们对虚拟现实技术的广泛关注。“Virtual Reality”一词是由美国VPL(“Virtual Programming Languages”)研发公司的创始人之一加隆雷尼尔(Jaron Lanier)在1989年正式提出的。20世纪90年代，迅速发展的计算机硬件技术与不断改进的计算机软件系统相匹配，人际交互技术的设计不断创新，使得虚拟现实理论得以进一步的完善和应用，如用虚拟现实技术设计的波音777获得成功和NASA完成了对哈勃太空望远镜的仿真。如今，虚拟现实技术在娱乐、军事、航天、设计、生产制造、危险及恶劣环境下的遥控控制、教育和培训等方面得到了广泛的应用。虚拟现实系统将成为一种对多维信息处理的强大系统，成为人进行思维和创造的助手及对人们已有的概念进行深化和获取新概念的有力工具。2. 虚拟现实的特点I3IMAGINATION构想INTERACTION交互IMMERSIONNN沉浸(1)多感知性（Multi-Sensory）所谓多感知是指除了一般计算机技术所具有的视觉感知之外，还有听觉感知、力觉感知、触觉感知、运动感知，甚至包括味觉感知、嗅觉感知等。理想的虚拟现实技术应该具有一切人所具有的感知功能。由于相关技术，特别是传感技术的限制，目前虚拟现实技术所具有的感知功能仅限于视觉、听觉、力觉、触觉、运动等几种。 (2)浸没感（Immersion）浸没感又称临场感，指用户感到作为主角存在于模拟环境中的真实程度。理想的模拟环境应该使用户难以分辨真假，使用户全身心地投入到计算机创建的三维虚拟环境中，该环境中的一切看上去是真的，听上去是真的，动起来是真的，甚至闻起来、尝起来等一切感觉都是真的，如同在现实世界中的感觉一样。 (3)交互性（Interactivity）用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度（包括实时性）。例如，用户可以用手去直接抓取模拟环境中虚拟的物体，这时手有握着东西的感觉，并可以感觉物体的重量，视野中被抓的物体也能立刻随着手的移动而移动。 (4)构想性（Imagination）强调虚拟现实技术应具有广阔的可想像空间，可拓宽人类认知范围，不仅可再现真实存在的环境，也可以随意构想客观不存在的甚至是不可能发生的环境。 一般来说，一个完整的虚拟现实系统由虚拟环境、以高性能计算机为核心的虚拟环境处理器、以头盔显示器为核心的视觉系统、以语音识别、声音合成与声音定位为核心的听觉系统、以方位跟踪器、数据手套和数据衣为主体的身体方位姿态跟踪设备，以及味觉、嗅觉、触觉与力觉反馈系统等功能单元构成。 这里，虚拟环境处理器是VR系统的心脏，完成虚拟世界的产生和处理功能。输入设备给VR系统提供来自用户的输入，并允许用户在虚拟环境中改变自己的位置、视线方向和视野，也允许改变虚拟环境中虚拟物体的位置和方向。而输出设备是由VR系统把虚拟环境综合产生的各种感官信息输出给用户，使用户产生一种身临其境的逼真感。4. 虚拟现实的关键技术 (1)环境建模技术。虚拟环境的建立是虚拟现实技术的核心内容，环境建模的目的是获取实际三维环境的三维数据，并根据应用的需求，利用获取的三维数据建立相应的虚拟环境模型。 (2)立体声合成和立体显示技术。在虚拟现实系统中，如何消除声音的方向与用户头部运动的相关性已成为声学专家们研究的热点。同时，虽然三维图形生成和立体图形生成技术已经较为成熟，但复杂场景的实时显示一直是计算机图形学的重要研究内容。 (3)触觉反馈。在虚拟现实系统中，产生身临其境效果的关键因素之一是让用户能够直接操作虚拟物体并感觉到虚拟物体的反作用力。然而研究力学反馈装置是相当困难的，如何解决现有高精度装置的高成本和大重量是一个需要进一步研究的问题。 (4)交互技术。虚拟现实中的人机交互远远超出了键盘和鼠标的传统模式，三维交互技术已经成为计算机图形学中的一个重要研究课题。此外，语音识别与语音输入技术也是虚拟现实系统的一种重要人机交互手段。 (5)系统集成技术。由于虚拟现实系统中包括大量的感知信息和模型，因此系统的集成技术起着至关重要的作用。集成技术包括信息的同步技术、模型的标定技术、数据转换技术、识别和合成技术等等。5. 建立虚拟环境的图形软件包(1)WTKWTK是美国Engineering Animation公司研制的虚拟现实系统应用工具箱。它是以Windows动态链接库的形式发布的VR程序库，是目前比较流行的虚拟环境应用工具箱，其目的是为了便于开发VR应用程序。它不仅提供了对普通VR硬件的接口，而且提供了绘制虚拟世界的命令。从底层看它是由1000多个C语言函数组成的软件包。WTK具有完整的硬件支持，包括各种身体跟踪器、手套接口、鼠标之类的非VR桌面设备和6自由度输入设备。WTK的主要优点是它的跨平台能力：如果需要速度更快、功能更加强大的图形引擎，为PC设计的应用程序可以快速地移植到SGI工作站上；反之，在SGI工作站上开发的应用程序也可以移植到PC上。WTK还支持多显示器和同步合作体验。(2)MultiGenMultiGen公司的VR建模软件MultiGen for WindowsNT是目前最好的交互式图形建模工具之一，具有强大的纹理贴图功能、LOD现实功能、任意路径漫游功能，可以用于虚拟碰撞实验，道路模拟实验，测试数字产品。(3)VegaMultiGen-Paradigm公司的Vega三维场景驱动软件功能强大，可用于实时视觉和听觉仿真，其所带图形用户界面Lynx，使开发者省去许多精力，有单CPU和多CPU两个版本，适用平台包括UNIX、Windows98、WinNT，对硬件要求较高。Vega由被称作Lynx的图形化用户接口、Vega库组成。Vega的功能可以通过附加的特效模块来扩展。这些模块扩展了用户接口，并为代码开发提供定制的函数库。Vega用户也可以开发与Vega的各个单元兼容的自定义模块。(4)VRT(Virtual Reality Toolkit)VRT是由英国Dimension International公司（即后来的Superscape PLC公司）推出的超视景(Superscape)VR工具包(VRT),是当今桌面VR系统的代表性产品，包括以下3个最主要的编辑器：形状编辑器(Shape Editor)、世界编辑器(World Editor)和可视化器(Visualizer)。它可以在多种计算平台上运行，不需要昂贵的图形加速器。另外，WTK是基于文本的，而VRT3采用了基于菜单和图标的图形编程模型，这就使人们更容易学习编程，但由于可用函数菜单有限，支持的接口数目有限，VRT在功能上有所减弱。(5)Distributed Virtual Environment System(DVS)Distributed Virtual Environment System是由英国Division公司开发的分布式虚拟环境工具软件，它主要运行于Pro Vision和Super Vision等并行处理机上。DVS的设计适合于不同的并行体系结构并支持松耦合网络、对成多处理器和单处理器系统。与其他VR系统不同的是，用户可以从底层（如C/C+语言）编写DVS应用，但也可以利用DVS提供的高级动画服务器，直接进行虚拟环境的模拟，从而避免程序编写这一较为专业的环节。(6)VRML（虚拟现实建模语言）VRML(Virtual reality modeling language,虚拟现实建模语言)也常用于VR系统的开发，它是为了在Internet上共享3D图形虚拟世界而创造的，它提供一种用于网上的虚拟世界的描述方法。VRML97规范提供了对于声音和各种类型的行为描述的支持。VRML对虚拟世界的描述包括形状、与其它Web实体的连接、动画脚本和其它简单的行为，还包括声音。(7)OpenGLOpenGL的英文全称是“Open Graphics Library”即“开放的图形程序接口”，它的前身是SGI公司开发的IRIS GL，目前已经发展到2.0。OpenGL被严格定义为“一种到图形硬件的软件接口”。从本质上说，它是一个完全可移植并且速度很快的3D图形和建模库。它是开放的三维图形软件包，独立于窗口系统和操纵系统，在交互式三维图形建模能力和编程方面具有无可比拟的优越性36。OpenGL不但具有开放性、独立性和兼容性三大特点。使用OpenGL，可以创建出视觉质量接近射线跟踪程序的精致漂亮的3D图形37。许多三维演示系统都用OpenGL作为三维图形生成和控制的编程接口。6. 国外虚拟现实技术研究现状计算机的发展提供了一种计算工具和分析工具，并因此导致了许多解决问题的新方法的产生。虚拟现实技术的产生与发展也同样如此，概括的国内外虚拟现实技术，它主要涉及到三个研究领域：通过计算图形方式建立实时的三维视觉效果；建立对虚拟世界的观察界面；使用虚拟现实技术加强诸如科学计算技术等方面的应用。(1)美国的研究现状美国是虚拟现实技术研究的发源地，虚拟现实技术可以追溯到上世纪40年代。最初的研究应用主要集中在美国军方对飞行驾驶员与宇航员的模拟训练。然而，随着冷战后美国军费的削减，这些技术逐步转为民用，目前美国在该领域的基础研究主要集中在感知、用户界面、后台软件和硬件四个方面。上世纪80年代，美国宇航局(NASA)及美国国防部组织了一系列有关虚拟现实技术的研究，并取得了令人瞩目的研究成果，美国宇航局Ames实验室致力于一个叫“虚拟行星探索”(VPE)的实验计划。现NASA已经建立了航空、卫星维护VR训练系统，空间站VR训练系统，并已经建立了可供全国使用的VR教育系统。北卡罗来纳大学的计算机系是进行VR研究最早最著名的大学。他们主要研究分子建模、航空驾驶、外科手术仿真、建筑仿真等。乔治梅森大学研制出一套在动态虚拟环境中的流体实时仿真系统。施乐公司研究中心在VR领域主要从事利用VRT建立未来办公室的研究，并努力设计一项基于VR使得数据存取更容易的窗口系统。波音公司的波音777运输机采用全无纸化设计，利用所开发的虚拟现实系统将虚拟环境叠加于真实环境之上，把虚拟的模板显示在正在加工的工件上，工人根据此模板控制待加工尺寸，从而简化加工过程。图形图像处理技术和传感器技术是以上VR项目的主要技术。就目前看，空间的动态性和时间的实时性是这项技术的最主要焦点。(2)欧洲的研究现状在欧洲，英国在VR开发的某些方面，特别是在分布并行处理、辅助设备(包括触觉反馈)设计和应用研究方面。在欧洲来说是领先的。英国Bristol公司发现，VR应用的交点应集中在整体综合技术上，他们在软件和硬件的某些领域处于领先地位。英国ARRL公司关于远地呈现的研究实验，主要包括VR重构问题。他们的产品还包括建筑和科学可视化计算。欧洲其它一些较发达的国家如：荷兰、德国、瑞典等也积极进行了VR的研究与应用。瑞典的DIVE分布式虚拟交互环境，是一个基于Unix的，不同节点上的多个进程可以在同一世界中工作的异质分布式系统。荷兰海牙TNO研究所的物理电子实验室(TNO-PEL)开发的训练和模拟系统，通过改进人机界面来改善现有模拟系统，以使用户完全介入模拟环境。德国在VR的应用方面取得了出乎意料的成果。在改造传统产业方面，一是用于产品设计、降低成本，避免新产品开发的风险；二是产品演示，吸引客户争取定单；三是用于培训，在新生产设备投入使用前用虚拟工厂来提高工人的操作水平。2008年10月27-29日在法国举行的ACMSymposi-umonVirtualRealitySoftwareandTechnoogy大会，整体上促进了虚拟现实技术的深入发展。(3)在日本的研究现状日本的虚拟现实技术的发展在世界相关领域的研究中同样具有举足轻重的地位，它在建立大规模VR知识库和虚拟现实的游戏方面作出了很大的成就。在东京技术学院精密和智能实验室研究了一个用于建立三维模型的人性化界面，称为SpmARNEC公司开发了一种虚拟现实系统，用代用手来处理CAD中的三维形体模型。通过数据手套把对模型的处理与操作者的手联系起来；日本国际工业和商业部产品科学研究院开发了一种采用x、Y记录器的受力反馈装置；东京大学的高级科学研究中心的研究重点主要集中在远程控制方面，他们最近的研究项目是可以使用户控制远程摄像系统和一个模拟人手的随动机械人手臂的主从系统；东京大学广濑研究室重点研究虚拟现实的可视化问题。他们正在开发一种虚拟全息系统，用于克服当前显示和交互作用技术的局限性；日本奈良尖端技术研究生院大学教授千原国宏领导的研究小组于2004年开发出一种嗅觉模拟器，只要把虚拟空间里的水果放到鼻尖上一闻，装置就会在鼻尖处放出水果的香味，这是虚拟现实技术在嗅觉研究领域的一项突破。7. 国内虚拟现实技术研究现状在我国虚拟现实技术的研究和一些发达国家相比还有很大的一段距离，随着计算机图形学、计算机系统工程等技术的高速发展，虚拟现实技术已经得到了相当的重视，引起我国各界人士的兴趣和关注，研究与应用VR，建立虚拟环境!虚拟场景模型分布式VR系统的开发正朝着深度和广度发展。国家科委国防科工委部已将虚拟现实技术的研究列为重点攻关项目，国内许多研究机构和高校也都在进行虚拟现实的研究和应用并取得了一些不错的研究成果。北京航空航天大学计算机系也是国内最早进行VR研究、最有权威的单位之一，其虚拟实现与可视化新技术研究室集成了分布式虚拟环境，可以提供实时三维动态数据库、虚拟现实演示环境、用于飞行员训练的虚拟现实系统、虚拟现实应用系统的开发平台等，并在以下方面取得进展：着重研究了虚拟环境中物体物理特性的表示与处理；在虚拟现实中的视觉接口方面开发出部分硬件，并提出有关算法及实现方法。清华大学国家光盘工程研究中心所作的“布达拉宫”，采用了QuickTime技术，实现大全景VR制；浙江大学CADCG国家重点实验室开发了一套桌面型虚拟建筑环境实时漫游系统；哈尔滨工业大学计算机系已经成功地合成了人的高级行为中的特定人脸图像，解决了表情的合成和唇动合成技术问题，并正在研究人说话时手势和头势的动作、语音和语调的同步等。8.虚拟现实技术的主要应用(1)飞行仿真系统中的飞行模拟器(Fight Simulator)现代飞机具有高性能的动力装置、精确的导航系统、可靠的自动飞行和自动着陆系统和复杂的航空电子系统，这就要求飞行员具备精湛的飞行技术，然而在真实的飞机上训练驾驶技术，耗资太大，而且受空域和产地的限制，且特殊情况如发动机停车、大幅度角失速，危险系数太大，难以在真实飞机上实现。因此，通过飞机模型器是训练飞行员的最可行、有效、经济的途径。飞行模拟器(Fight Simulator)由仿真计算机、视景系统、运动系统、操作负载系统、音响系统和模拟座舱组成。仿真机解算描述飞行动力学、机载系统特性的数学模型。视景系统利用计算机图像实时生成技术，产生座舱外的景象，包括机场与跑道、灯光、建筑物、田野、河流、道路、地形地貌等，视景系统应模拟能见度、云、雾、雨、雪等气象条件，以及白天、黄昏、夜间的景象，视景系统使飞行员有身临其境的感觉。运动系统给飞行员提供加速、过载等感觉。音响系统模拟发动机噪声、气流噪声等音响效果。模拟座舱具有与真实飞机座舱一样的布局，其中仪表显示系统实时显示飞机的各种飞行参数和机载系统的运行状态。(2)虚拟技术在军事上的应用 随着科学技术的飞速发展，军事作战模拟技术出现了新的飞跃，其中计算机作战模拟运算速度快、准确、科学、可行性强、损耗代价小，是一种崭新的模拟方式。虚拟战场(Virtual Battlefield)是其重要的应用体现。虚拟战场(Virtual Battlefield)传统的实战演习需要耗费大量的资金，且安全性保密性差。通过建立虚拟战场环境来训练军事人员，同时可以检验和评估武器系统的性能，这使军事演习在概念上和方法上有了一个新的飞跃。在虚拟战场环境中，参与者可以看到在地面行进的坦克和装甲车，在空中飞行的直升机、歼击机和导弹，在水中游弋的潜艇；可以看到坦克前进时后面扬起的尘土和被击中坦克的燃烧浓烟；可以听到飞机或坦克的隆隆声由远而近，从声音辨别目标的来向和速度。武器平台(坦克、装甲车、歼击机、直升机、导弹等)由仿真器实现，它们可以分布在不同地区，通过广域网联接进行数据通讯。虽然武器平台不在同一地区，距离相隔很远，但虚拟战场环境描述的是在同一空间、同一地域和同一时间。虚拟技术在战场上的应用还有指挥决策模拟、智能分析模拟、多种兵合成训练指挥模拟等。(3)虚拟技术在虚拟制造及虚拟样机上的应用虚拟制造是实际制造过程在计算机上的本质体现，即采用计算机仿真与虚拟技术，通过仿真模型，在计算机上仿真生产全过程，实现产品的工艺规程、加工制造、装配和调试，预估产品的功能、性能等方面可能存在的问题。虚拟制造从本质上讲就是利用计算机生产出“虚拟产品”。虚拟样机(Virtual Prototyping)是一种基于仿真的设计(Design-Based on Simulation)，包括几何外形、传动和联接关系、物理特性和动力学特性的建模与仿真。与传统的设计方法相比，采用虚拟技术建立的虚拟样机，易于修改和优化设计方案，使产品设计满足高质量、低成本、短周期的要求，提高产品的更新换代速度和市场的竞争力。虚拟样机技术将对产品的传统设计方法产生变革。在现实设计和维护核电厂、高温高压环境下的设备、空间飞行器、空间站、空间设备，虚拟机器节约了资源和时间，并完成了常规条件下无法完成的工作。如美国波音777飞机采用了虚拟技术实现了无图纸设计和生产，波音公司利用SGI计算机系统成功地创建了波音777飞机的虚拟样机，使设计师、工程师们能穿行于这个虚拟飞机中，审视飞机的各项设计。对哈勃望远镜故障和太空环境的进行虚拟模拟，航天员可以熟练的掌握维修操作步骤，大大提高在太空中的维修操作成功率。(4)信息可视化(Information Visualization)科学计算可视化主要解决如何通过VR的手段生动地表现科学数据的内部规律与计算过程，如天气云图的运动规律、空气湍流的特性等。而信息可视化则更进一步，主要用于表现系统中信息的种类、结构、流程以及相互间的作用等。信息可视化能有效地揭示复杂系统内部的规律，解决无法定量、而定性又很难准确表达的问题。(5)虚拟现实技术教育和娱乐中的应用在研究工作和学习过程中，总有许多试验反复进行，期待不同的条件下得到不同的实验结果，(6)VR技术与医学结合的应用与医疗技术结合实现医生远程做手术，医生在远地通过VR技术观察病人的身体，医生进行手术的动作通过通信技术传输到远地的病人处，由一个机械手真正地实施手术，结果再传输到医生处，并通过VR技术表现给医生。这样，医生便能够像在本地一样观察病人、实施手术，看到手术的结果，并重复上述过程动作，以完成一个完整的手术。9. 虚拟现实技术的未来发展趋势随着虚拟现实技术在城市规划、军事等方面应用的不断深入，在建模与绘