第三章显示综合虚拟现实技术

虚拟现实技术一、虚拟现实的根本概念二、虚拟现实的根本特征三、虚拟现实技术的开展四、虚拟现实分类五、虚拟现实系统的主要技术构成六、虚拟现实的运用领域人类有许多梦想，一些梦想曾经变为现实，而有一些梦想也许永远都不能够实现。然而，有一种技术却能使一切梦想全部在感知中实现，这就是虚拟现实技术〔VirtualReality，简称VR〕。虚拟现实〔VR〕技术是20世纪90年代以来兴起的一种新型信息技术，它集多媒体、网络技术、传感技术等多种先进技术为一体，是当今前景最好的计算机技术之一。几种虚拟现实虚拟环境虚拟房间虚拟汽车虚拟人 VirtualReality〔VR〕(J.Lanier,1989)译为:虚拟现实、灵境、幻真...其他：VirtualEnvironment ArtificialReality(M.W.Krueger,1970s) Cyberspace(W.Gibson,1984)一、虚拟现实的根本概念虚拟现实是一种可以创建和体验虚拟世界的计算机系统。而虚拟世界是全体虚拟环境或给定仿真对象的全体。虚拟环境是由计算机生成的，经过视、听、触觉等作用于用户，使之产生身临其境觉得的交互式视景仿真。利用计算机生成的能给人多种感官刺激的人机交互系统。 用计算机技术来生成一个逼真的三维视觉、听觉、触觉或嗅觉等觉得世界，让用户可以从本人的视点出发，利用自然的技艺和某些设备对这终身成的虚拟世界客体进展阅读和交互调查。①逼真的觉得视觉，听觉，触觉，嗅觉等②自然的交互运动，姿态，言语，身体跟踪等③个人的视点用户的眼、耳、身所感到的觉得信④迅速的呼应觉得信息根据视点变化和用户输入及时更新

一、虚拟现实的根本概念一、虚拟现实的根本概念虚拟现实是一项综合技术涉及：计算机图形学、人机接口技术、图像处置与方式识别、多传感器技术、语音处置与音响技术、网络技术、并行处置技术、高性能计算机系统、人工智能技术...中心：2M(MPP,MultiMedia),2O(OpenSystem,Object-oriented)需求：计算机专家、人类工程学(Ergonomics)专家、心思学专家等共同开发研讨。 两个方面：第一是计算机生成的虚拟环境必须是能给人提供多种觉得的感官刺激的环境，能让人有“沉浸〞的觉得，现在的技术程度，虚拟现实通常由视觉、听觉和触觉构成。其二是虚拟现实系统是一种高级的人机交互系统，因此人机交互是虚拟现实的中心。二、虚拟现实的根本特征1、沉浸性(Immersion):又称临场感，让用户感到作为主角存在于模拟环境中的真实程度，沉浸被通俗地解释为“身临其境〞。虚拟技术三角形视觉沉浸：显示象素足够小、刷新频率足够高、具有双目视差、足够大的视场等；听觉沉浸：三维声音；触觉沉浸：力反响方面；嗅觉沉浸身体觉得沉浸、味觉沉浸等二、虚拟现实的根本特征(2)交互性(Interaction):交互性指用户对模拟环境内物体的可操作程度和从环境得到反响的自然程度〔包括实时性〕。(3)想象性(Imagination):用户沉浸在多维信息空间中，依托本人感知和认知才干全方位地获取知识，发扬客观能动性，寻求解答，构成新概念。虚拟技术三角形特点：虚拟环境中人的参与与反响；人机交互的有效性人机交互的实时性虚拟现实与仿真的区别仿真技术虚拟现实多感知视觉、听觉视觉、听觉、触觉、力觉等存在感用户被视为“旁观者”用户沉浸其中，可视场景随用户的视点变化交互性不强调交互的实时性实时交互三、虚拟现实技术的开展1965年，Sutherland在篇名为<终极的显示>〔TheUltimateDisplay〕的论文中初次提出了包括具有交互图形显示、力反响设备以及声音提示的虚拟现实系统的根本思想，从此，人们正式开场了对虚拟现实系统的研讨探求历程。1970年，出现了第一个功能较齐全的HMD系统。美国的JaronLanier在80年代初正式提出了“VirtualReality〞一词。80年代，美国宇航局〔NASA〕及美国国防部组织了一系列有关虚拟现实技术的研讨，并获得了令人瞩目的研讨成果。1984年，NASAAmes研讨中心虚拟行星探测实验室组织开发了用于火星探测的虚拟环境视觉显示器，将火星探测器发回的数据输入计算机，为地面研讨人员构造了火星外表的三维虚拟环境。90年代，迅速开展阶段。例如1993年的11月，宇航员利用虚拟现实系统胜利地完成了从航天飞机的运输舱内取出新的望远镜面板的任务，而用虚拟现实技术设计波音777获得胜利，是近年来引起科技界瞩目的又一件任务。1994年，美国SGI公司和比利时的BARCO投影机制造公司，在英国建立了世界上第一个虚拟现实系统。到2002年底，全球的虚拟现实系统已达500多个。除石油工业外，在计算机辅助制造、游戏文娱业、航空航天、生物技术、军事、培训等众多领域均有广泛的运用。三、虚拟现实技术的开展四、虚拟现实分类按照系统功能和实现方式的不同，可以分为三种类型：沉浸型虚拟现实系统提供完全沉浸的体验。它利用头盔式显示器或其它设备，把参与者的视觉、听觉和其它觉得封锁起来，并提供一个新的、虚拟的觉得空间，并利用位置跟踪器、数据手套、其它手控输入设备、声音等使得参与者产生一种身临其境、全心投入和沉浸其中的觉得。例如，在消防仿真演习系统中，消防员会沉浸于极度真实的火灾场景并做出不同反响。这种系统的优点是用户可完全沉浸到虚拟世界中去，缺陷是系统设备尤其是硬件价钱相对较高，难以大规那么普及推行。〔1〕沉浸型虚拟现实系统〔“可穿戴的〞VR系统〕沉浸式虚拟现实高级虚拟现实系统提供完全沉浸的体验，运用户有一种置身于虚拟境界之中的觉得。四、虚拟现实分类〔2〕简易型虚拟现实系统〔桌面VR系统〕桌面虚拟现实利用个人计算机和低级任务站进展仿真，将计算机的屏幕作为用户察看虚拟境界的一个窗口。经过各种输入设备实现与虚拟现实世界的充分交互，这些外部设备包括立体眼镜、3D控制器使监视器或者鼠标，追踪球，力矩球等。它要求参与者运用输入设备，经过计算机屏幕察看360度范围内的虚拟境界，并支配其中的物体。桌面虚拟现实最大特点是缺乏真实的现实体验，但这种系统的特点是构造简单、价钱低廉，组成灵敏，易于普及推行，是一套经济适用的系统。桌面虚拟现实系统和沉浸式虚拟现实系统比较〔1〕沉浸度差别桌面虚拟现实系统采用CRT彩色显示器和三维立体眼镜添加身临其境觉得，而沉浸式虚拟现实系统那么采用头盔显示器〔HMD〕加强身临其境觉得。〔2〕交互安装差别桌面虚拟现实系统采用的交互安装是六自在度鼠标器或三维支配杆，而沉浸式虚拟现实系统采用的是数据手套和头盔。(3)分布式虚拟现实假设多个用户经过计算机网络衔接在一同，同时参与一个虚拟空间，共同体验虚拟阅历，那虚拟现实那么提升到了一个更高的境界，这就是分布式虚拟现实系统。分布式虚拟现实系统的运用分布式虚拟现实系统在远程教育、工程技术、建筑、电子商务、交互式文娱、远程医疗、大规模军事训练等领域都有着极其广泛的运用前景。利用它可以创建多媒体通讯、设计协作系统、实境式电子商务、网络游戏、虚拟社区全新的运用系统。洽谈讨论设计五、虚拟现实系统的主要技术构成COMPUTER计算机SOFTWARESYSTEM运用软件系统DATABASE数据库USER用户I/ODEVICES输入输出设备虚拟现实系统虚拟世界的生成、人与虚拟世界的自然交互识别用户各种方式的输入，并实时生成相应的反响信息模型的建立、虚拟声音的生成、管理、显示、数据库的建立管理整个虚拟世界中一切物体的各方面信息(1)动态环境建模动态环境建模技术的目的就是获取实践环境的三维数据，并根据运用的需求建立相应的虚拟环境模型。(2)实时三维图形生成技术三维图形的生成技术曾经较为成熟，至少要保证图形的刷新频率不低于15帧/秒，最好高于30帧/秒。提高刷新频率是该技术的主要内容。(3)立体显示和传感器技术虚拟现实的交互才干依赖于立体显示和传感器技术的开展，设备过重、分辨率低、延迟大、有线、跟踪精度低、视场不够宽、眼睛容易疲劳等，因此有必要开发新的三维显示技术。(4)运用系统开发工具虚拟现实的关键是寻觅适宜的场所和对象，即如何发扬想像力和发明性。选择适当的运用对象可以大幅度提高消费效率，减轻劳动强度，提高产质量量。(5)系统集成技术由于VR系统中包括大量的感知信息和模型，因此系统集成技术起着至关重要的作用。集成技术包括信息的同步技术、模型的标定技术、数据转换技术、数据管理模型、识别与合成技术等等。实现虚拟现实的关键技术支持:实现虚拟现实的关键技术支持硬件方面跟踪系统：确定参与者头、手和躯干的位置；触觉系统：提供力与压力的反响；音频系统：提供立体声源和断定空间位置；图像生成和显示系统：产生空间图像和立体显示；高性能计算机处置系统：具有高处置速度，大存储容量、强联网特性。软件方面可以接纳高性能传感器的信息，如头盔的跟踪信息；能生成立体的显示图形，并可对虚拟环境作实时渲染；能提供对各种数据库、各种CAD软件进展调用和互联的集成环境。虚拟现实系统硬件配置表示图：几种常用的虚拟现实设备：高性能图形计算机环形屏幕头盔眼镜三维显示器三维鼠标手套设备：头盔显示器头盔显示器是虚拟现实运用中的3DVR图形显示与察看设备，可单独与主机相连以接受来自主机的3DVR图形信号。运用方式为头戴式，辅以空间跟踪定位器可进展VR输出效果察看，同时察看者可做空间上的自在挪动，如；自在行走、旋转等，VR效果非常好，沉浸感极强，在VR效果的观察设备中，头盔显示器的沉浸感优于立体眼镜。

头盔显示器

视频透视HMD概念图

光学透视HMD概念图头盔显示器设备：三维立体眼镜立体眼镜是用于3D模拟场景VR效果的察看安装，它利用液晶光阀高速切换左右眼图像原理，有有线和无线之分，可支持逐行和隔行立体显示察看，也可用无线眼镜进展多人团体VR效果察看，是目前最为流行和经济适用的VR察看设备。设备：数据手套数据手套是虚拟现实运用的主要交互设备，它作为一只虚拟的手或控件用于3DVR场景的模拟交互，可进展物体抓取、挪动、装配、支配、控制，有有线和无线、左手和右手之分，可用于WTK、Vega等3DVR或视景仿真软件环境中。29虚拟现实交互设备数据手套传感器的典型配置30虚拟现实交互设备数据手套例如Immersion数据手套产品immersion/31虚拟现实交互设备数据手套例如PinchGlove数据手套fakespacelabs32虚拟现实交互设备数据手套例如5DT数据手套5dt/设备：三维空间交互球三维空间交互球是虚拟现实运用中的另一重要的交互设备，用于六个自在度VR场景的模拟交互，可从不同的角度和方位对三维物体察看、阅读、支配；也可作为3DMouse来运用；并可与数据手套或立体眼镜结合运用，作为跟踪定位器。也可单独用于CAD/CAM，(Pro/E、UG)。设备：位置跟踪器三维空间跟踪定位器是VR系统中用于空间跟踪定位的安装，普通与其他VR设备结合运用，如：数据头盔、立体眼镜、数据手套等，使参与者在空间上可以自在挪动、旋转，不局限于固定的空间位置，操作更加灵敏、自若、随意。产品有六个自在度和三个自在度之分。位置丈量原理根据刚体动力学分析，可以用运动物体上参考点的坐标表示该物体的位置坐标，并经过丈量该参考点到空间三个静止的非共线点之间的间隔独一确定位置和方向磁跟踪器任务原理：交流电流经过线圈产生变化的磁场，假设把一个线圈放在这个磁场中，线圈会产生感生电流，感生电流的强弱将由这两个线圈的间隔以及他们之间的角度来确定。在磁跟踪器中，三个相互垂直的线圈组成了发射器〔蓝色〕。另外三个相互垂直的线圈组成接纳器〔红色〕。经过计算机比较接纳器三个线圈中的电流，可以确定接纳器与发射器之间的相对位置和方向。37虚拟现实交互设备三维定位跟踪设备电磁式跟踪器例如

38虚拟现实交互设备三维定位跟踪设备光学跟踪器

设备：三维显示器这种三维显示器并不需求运用者在头部佩戴任何特制眼镜之类的配备，而是运用当前的计算机的计算才干回放或实时渲染显示三维影像。数据衣虚拟环境中的实体分类图五、虚拟现实系统的主要技术构成-----建模实体建模的三个方面几何建模:三个层次：点线面层次、部件和控制层次、对象层次物理属性建模:将物理特性参与虚拟环境中的过程行为建模:原是美国关于在军事仿真中在CGA〔ComputerGeneratedActor〕内对各类与军事相关的战术等动作建模的专称，如今普通指在仿真建模中在CGA中构建人的决策和控制过程，使得这些角色在环境中的行为及反响较为逼真。基于建模的方法是以几何实体建立虚拟环境。几何实体可采用计算机图形学技术绘制,也可用建模工具如AutoCAD、3DStudio等建立模型,然后以一致数据格式输出,进展实时渲染。基于建模的方法主要涉及以下关键技术：三维实体建模技术——动态建模。渲染的实时性与真实感技术——实时渲染是实现虚拟环境真实感的关键技术之一。碰撞检测、干涉校验及关联运动。物理属性———物理属性包括实体外表光滑程度、光学效果、软硬程度、密度、力学特性等。视觉逼真建模与绘制方法基于几何的建模与绘制(GeometryBasedModelingandRendering)基于图像的建模与绘制(ImageBasedModelingandRendering)特殊效果表现对真实世界进展笼统，建立其3D几何模型(几何建模软件)给定察看点和察看方向，利用计算机实现模型绘制、着色、消隐、光照以及投影等一系列过程，产生虚拟场景(图形平台)

优点:场景中一切对象的几何模型都是准确知道的，因此用户可以在这种虚拟场景中自在遨游，还可以恣意地支配虚拟场景中的虚拟对象，真正地“沉浸〞在这样的虚拟场景中。基于几何的建模与绘制(GBR)点线面模型面片模型添加纹理面片模型添加纹理和环境效果真实地形构建的虚拟环境海浪效果的虚拟环境IBR是计算机图形学和计算机视觉相结合的产物：运用计算机图形学的思想构造虚拟场景；运用计算机视觉技术从知的图象中生成新的图象。

特点:以图象为根底构造场景，无需构造场景的3D模型基于图像的建模与绘制(IBR)柱面全景图象发型、衣物的模拟运动系统建模形体建模面部建模皮肤变形模拟皮肤、头发光照模拟构造的合成自然环境(SyntheticNaturalEnvironmentSNE)除了在视觉逼真外,还需求模拟一些自然景象,如：时间气候尾迹,尾焰等特殊效果表现白昼下的虚拟环境夜幕下的虚拟环境云雾效果的虚拟环境阴天的虚拟环境烟雾、火光实时生成的导弹尾迹实时生成的尾焰被炸毁的房屋被击落的直升机被击毁的坦克运动逼真物理属性建模

运动学/动力学方程的构建行为逼真实体在虚拟环境中的行为是由其模型决议的。实体的模型包括：物理才干模型和类人才干模型。物理才干模型是实体的物理本质及其内在的任务原理建模，如对导的建模拟真其动力性能、抗干扰才干、准确性和毁伤才干等。类人才干模型是实体的认知才干和决策才干，这种才干使得实体可以在没有人干涉的情况下，对虚拟环境中的形状和事件自主地进展推理和决策，并实时地做出呼应。行为建模的目的目的：几何建模和物理属性的建模可以在视觉、触觉等方面提供更为逼真的感受，使得虚拟环境更为逼真；行为建模那么思索计算机生成角色的行为逼真性，使各种自治实体的行为更加逼真；而且行为建模可以为各种类型的实体在虚拟环境的动态变化提供一致的表示。行为建模的主要研讨内容CGA的研讨与机器人的研讨有很多类似之处，假设把机器人看作现实世界的“虚拟人〞的话，可以把CGA看作虚拟世界中的“虚拟人〞。他们都涉及如何模拟人在动态、实时的环境中各种判别和处置过程。六、虚拟现实的运用领域〔1〕用于遥控机器人的遥现技术：遥现技术是指当实践上在某一个地方时，可以产生在另一个地方的觉得。例如，在宇宙空间站的开发方案中，受各种要素的制约，机器人的遥控遥现技术起了至关重要的作用。

〔2〕仿真技术计算机生成的具有沉浸感的环境，它对参与者生成诸如视觉、听觉、触觉、味觉等各种感官信息，给参与者一种身临其境的觉得。例如：飞行仿真系统、与虚拟生物对话、作战仿真系统等。〔3〕对象可视化技术：在科学研讨中对研讨数据生成可视化效果以便察看和研讨。例如：虚拟风洞。

〔4〕虚拟实验室：在研讨任务和学习过程中，总会有许多实验需反复进展，以期得到不同条件下的不同结果，虚拟实验室能提供这样一个平台。例如：虚拟物理实验室。〔5〕虚拟电力控制室：运用虚拟现实技术研制辅助设计控制室的系统。运用该系统可以自在地改动控制室内的配置等室内外环境，以便从不同方向察看研讨控制室情况。〔6〕分布式虚拟现实系统：分布式虚拟现实系统〔DVR〕即是一个较为典型的实例。所谓DVR是指一个支持多人实时经过网络进展交互的软件系统，每个用户在一个虚拟现实环境中，经过计算机与其它用户进展交互，并共享信息。〔7〕扩增实境：扩增实境是虚拟现实最具适用价值的运用之一。它在真实环境的根底上把虚拟环境叠加进去，使二者有机结合，产生真假难辩、亦幻亦真的觉得。例如：当人进入到一商店购某物时，即可在显示设备上显示此物的价钱、性能及各种参数等。六、虚拟现实的运用领域虚拟现真实教育领域的详细运用虚拟学习环境虚拟实验室虚拟实训基地虚拟仿真校园虚拟远程教育虚拟现真实军事领域的详细运用虚拟战场环境单兵模拟训练与评判诸军种结合虚拟演习进展指挥员训练虚拟现实技术的军事运用据通讯。虽然武器平台不在同一地域，间隔相隔很远，但虚拟战场环境描画的是在同一空间、同一地域和同一时间。前面所述的分布式虚拟现实技术主要用于虚拟战场的开发。图是一个虚拟指挥中心。图虚拟战场演示图用虚拟实验场手段提升靶场实验程度美国虚拟实验场(VPG)已实施多年。美国陆军阿伯丁实验场、红石技术实验中心、尤马实验场、达格威实验场分别在车辆、导弹和生化武器防护等研讨中进展了虚拟实验探求，值得我们研讨和自创。完成改良型M1坦克的作战实验，采用实物模拟需求24个月、耗资4000万美圆，而用分布式交互模拟技术，只需3个月，破费640万美圆；毫米波、红外雷达制导导弹虚拟飞行实验，由每年耗资1250万美圆，下降为180万美圆。

高新武器的研制实验总伴随着高昂的经费。而在虚拟战场环境中测试武器配备的准确射程、打击范围、损毁程度等目的，不仅准确度高，也大大节省经费。BacktoBaghdad(重返巴格达)

“沙漠风暴〞仿真系统由美国防部组织并提供素材(如地形、地貌、有关武器性能、支配和显示方式及描画方程以及作战想定等)，由MilitarySimulationsInc.和其它仿真公司协作研制，主要用于决策人员、F-16驾驶员、地面指挥人员的训练系统能演示导航、预警、电子干扰等功能，以及有关武器和地面设备(如APG-68多脉冲多普勒雷达)的功能可提供驾驶员、地面人员和训练教官等人的多种视景，已成为美、英、德、以、南非等空军和指挥人员的必要的训练手段.F-16驾驶员座仓的虚拟场景美国Sandia国家实验室用于核弹B-61-x的VR辅助设计系统各组成部分总装完成后用于组装和装配过程的训练及型号的改良如B61-0,1,2,3,4,5...,10NASA的JPL利用网络计算功能，在Web上

利用VRML的创作工具CosmoWorlds创作

了一个基于VRML的火星虚拟环境。虚拟现真实矿业领域的详细运用模拟矿井开采矿业人员技术培训矿井设备的虚拟设计和制造事故模拟与调查分析虚拟现真实商业领域的详细运用物品外观展现物品特性展现物品的功能参数物品的价钱虚拟现真实房地产领域的详细运用最直观的交流方式最快捷的审批平台最方便的设计工具最先进的营销手段几个已实现的例子：1、XX公司用来招徕买主的“厨房世界〞2、杭州大学开发的虚拟故官玩耍系统3、美国佐治亚理工学院开发出虚拟动物园的大猩猩系统4、XX的一家公司设计制造出一个虚拟世界中的歌手5、宾夕法尼亚大学研讨制成虚拟现实人杰克国内研讨概略从1996年开场，在863方案的资助下，以北京航空航天大学计算机系为系统集成单位，国防科技大学、装甲兵工程学院、北航仿真所、浙江大学、中科院软件所和解放军测绘学院等单位为关键技术研讨单位，开展了高级概念演示工程—分布式虚拟战场环境DVENET(DistributedVirtualEnvironmentNETwork)的研讨开发任务。到2000年底该工程获得阶段成果，主要有以下几个方面：

DVENET建成了一个基于多种精度真实地形数据，能满足多种武器平台演练的，具有逼真地表文化特征、自然景象和景象，可表现一定特殊效果的虚拟战场环境；开发了人在回路的歼击机、直升机、坦克、自行高炮、指挥车、雷达、导弹、舰艇和潜艇等多种虚拟武器仿真器和计算机生成兵力〔CGF〕。按照真实军事演习的设置，演练管理器在虚拟战场中的功能对应于真实军事演习中的导演台，担任演练前的规划、预备，演练中的监控、记录，演练后的回放、分析等义务，是分布式虚拟战场环境的重要组成部分，也是提高演练逼真度的重要要素。根据演练管理器的功能需求和DVENET的特点，我们在微机平台上开发了一个功能初步完备的演练管理器。整个软件包括：仿真启动、实时态势监控、实时网络监控、实时数据记录、PDU统计分析和数据回放等六个模块。设计实现了具有实体配置、动态数据采集、二维显示和演练回放等功能的演练管理器。用户可以控制虚拟武器仿真器在虚拟战场景中遨游，感受云、雾等特殊效果及昼夜的变化，可以运用炮火打击对方。当炮弹击中目的时，可以将目的摧毁，并有一定的爆炸效果。坦克等地面车辆行进时，可以随地形起伏，改动姿态。系统还可以检测出仿真实体之间、仿真实体与建筑物等静态物体之间发生的碰撞，并作出碰撞呼应。基于真实交互设备的坦克炮手仿真器加强现实技术及其运用

加强现实技术加强现实技术是将虚拟世界直接叠加在人类感知的真实世界之上的一种技术。E.g.真实世界混合现实加强现实〔AR〕加强虚拟〔AV〕虚拟环境加强现实系统特征及构造加强现实系统的特征：真实世界和虚拟世界融为一体。具有人机交互功能。真实世界和虚拟世界在三维空间上的整合。103加强现实系统系统组成加强现实的支撑技术显示技术三维注册技术立体显示技术三维注册技术注册实践上就是将计算机生成的虚拟物体与摄像机获得的真实环境进展拼接的过程。三维注册所要完成的义务是实时地检测出运用者头部的位置和视野方向，计算机根据这些信息确定所要添加的虚拟信息在投影平