（通信与信息系统专业论文）虚拟现实与虚拟现实建模语言.pdf

ab s t r a c t v i rt u a l r e a l it y t e c h n o l o g y r e p r e s e n t s t h e c o m p u t e r a p p l i c a t i o n i n t h e f u t u r e v i rt u a l r e a l i t y i s a n o t h e r r e s e a r c h h o t s p o t a f t e r t h e a p p e a r a n c e o f m u l t i m e d i a i n c o m p u t e r . i t i s a h i g h l y i n t e g r a t i o n o f m a n y s u b j e c t s : i n c l u d i n g h a r d w a r e a n d s o f tw a r e t e c h n o l o g y , s e n s e t e c h n o l o g y , a rt i f i c i a l i n t e l l i g e n c e t e c h n o l o g y a n d t h r e e - d i m e n s i o n a l g r a p h i c s . a n d in t h e f e e l i n g o f a p e r s o n , t h e i n f o r m a t i o n r e c e iv e d b y e y e s i s t h e m o s t a n d t h e r e s p o n s e i s t h e m o s t s e n s i t i v e , s o t h e t h r e e - d i m e n s i o n a l g r a p h i c s i s o n e o f t h e k e y t e c h n o l o g y o f a l l . i n t h i s p a p e r , i h a v e d i s c u s s e d m a n y f a c e t s o f t h e v i rt u a l r e a l i t y i n d e t a i l : d e f i n i t i o n , c h a r a c t e r i s t i c s , s t r u c t u r e , d e v e l o p m e n t a l s t a t u s , c u r r e n t a p p l i c a t i o n , s u p p o rt i n g t e c h n o l o g y , s o f t w a r e a n d h a r d w a r e . f u rt h e r m o r e t h e p r i n c i p l e o f t h r e e - d i m e n s i o n a l g r a p h i c s h as b e e n d i s c u s s e d i n m u c h d e t a i l . v i rt u a l r e a l i t y m o d e l i n g l a n g u a g e i s a l a n g u a g e w h i c h d e s c r i b e t h e i n t e r a c t i v e t h r e e - d i m e n s i o n al w o r l d a n d o b j e c t s in n u m b e r s . c o m p a r e d w i t h t h e t r a d it i o n a l f i le f o r m a t s , f o r e x a m p l e , t h e d y n a m i c g i f fi l e a n d s t r e a m d a t a f i l e , v i rt u a l r e a l i t y m o d e l i n g l a n g u a g e c a n s h a r e l e s s n e t b a n d w i d t h , a n d b e m o r e e f f i c i e n t , i n t h i s p a p e r , a l l k i n d s o f n o d e s o f t h e v irt u a l r e a l i t y m o d e l i n g l a n g u a g e h a s b e e n f u l l y d e s c r i b e d . b a s e d o n t h e v i rt u a l r e a l i t y m o d e l i n g l a n g u a g e , i h a v e m a d e u p a s y s t e m t o e x p la i n t h e v r m l . t h e r e w i l l b e a f a s c i n a t i n g f u t u r e o f v i rt u a l r e a l i t y a n d v i rt u a l r e a l i t y l a n g u a g e . k e y w o r d s : v i rt u a l r e a l i t y ， v i rt u a l e n v i r o m e n t ， v r ml 第一章 绪论 第一章 绪论 1 . 1虚拟现实技术产生的 背景 虚拟现实v r ( v i rt u a l r e a l it y ) ， 又称灵境，是在信息科学的飞速发展中诞生 的。自 本世纪中叶计算机出现以来，人类社会经过了史无前例的信息革命。大 规模集成电路的广泛应用推动了计算机技术、通讯技术的迅猛发展;计算机通 信技术的同步发展和相互促进成为全世界信息技术和产业发展的主要特征。光 纤技术的发展，促进了网络通讯的推广;高性能的计算机软硬件技术和卫星通 讯技术的实现，更使互联网的大众化成为可能。 数字计算机的发明是信息史上一次质的飞跃，它使社会生产力以前所未有 的速度递增。但是，随着它的发展，人们也逐渐意识到现代计算机在应用上的 局限性。目前为了使这种冯. 诺依曼式的计算机能发挥它的应用作用，必须遵循 “ 可计算”的三个前提条件，即:首先是能用形式化的方法描述某个问题，然 后是可能找到一个算法来解决这个己被形式化了的问题，最后是可能一个合理 的复杂度在当时的计算机上实现这个算法。这也就是说，人们为了使用计算机， 就必须把我们头脑中大部分属于并发的、联想的、形象的和模糊的思维强行翻 译成冯. 诺依曼计算机所能接受的串行的、刻板的、明确的和严格遵守形式逻辑 规则的机器指令。这种翻译过程不仅是十分繁琐和机械的、而且技巧性很强， 同时还要因不同的机器而异.机器所能接受和处理的也仅仅是数字化的信息， 未受过专业化训练的一般用户仍很难直接使用这种计算机。因此， 在真正向计 算机提出 需求的 用户( 我们称他们为最终用户) 和计算机系统之间 就存在着一条 鸿沟，被求解的问题越综合、越形象、越直觉、越模糊、则最终用户和计算机 系统之间的鸿沟就越宽。人们从主观愿望出发，十分迫切的想与计算机建立一 个和谐的人机环境，使我们认识客观问题时的认识空间与计算机处理问题时的 处 理空间 尽可能的 一致。 但遗憾的 是; 实际 上目 前的 计 算机和人的隔阂是很深 的，即人们在认识问题时的认识空间与计算机处理问题时的处理空间是很不一 致的。 为了克服任何计算机之间的隔阂，数十年来曾研究和提出过许许多多有关 计算机的新概念和新技术，其中比较重要的就是两个 m 和两个 o，即 m ( m a s s iv e ly p a r a lle l p r o c e s s in g ) 极大规模并行处理技术 ， m ( m u lt im e d ia ) 多 媒 体技术， o ( o b j e c t - o r ie n t e d ) 面向 对象技术，o ( o p e n s y s t e m ) 开放系统。虽然这 些技术大大减少了人与计算机之间的隔阂，但是尚未从根本上解决现有的计算 机的不合理性。人们己经认识到，为了适应未来信息社会的需要，必须提高任 何信息社会的接口能力，提高人对信息的理解能力，因为这是发挥信息的共享 第一章 绪论 性和增值性的首要前提条件。为此就驱使我们去探讨什么是表示、传送和处理 信息的最佳途径?比较一致的认识是:能较完整地表示概念，能较迅捷地传递 概念，能以符合人的感知和认知过程的方式对概念进行加工的方法就是较理想 的信息表示和处理的途径，它就能使人完成某个智力任务的行为过程得到较大 的改善，就能使人与计算机的关系变得更为和谐。为了适应 2 1世纪信息社会 的需要，人不仅仅是要求通过打印输出或显示屏幕上的窗口，从外部去观察信 息处理的结果，而且要求通过人的视觉、听觉、触觉、嗅觉、以及形体、手势 或口令、参与到信息处理的环境中去，从而取得身临其境的体验。这种信息处 理系统已不再是建立在一个单维的数字化的信息空间上，而是建立在一个多维 化的信息空间之中，建立在一个定性和定量相结合，感性认识和理性认识相结 合的综合集成环境 中了。虚拟现实技术将是支撑这个多维信 息空间 ( c y b e r s p a c e ) 的 关 键 技 术。 1 . 2虚 拟现实的 发 展 状 况 和国 内 外 动 态 虚拟现实是一门 涉及众多学科的新的实用技术，它集先进的计算机技术、 传感与测量技术、仿真技术、微电子技术于一体。在计算机技术中，它又特别 依赖于计算机图形学、人工智能、网络技术、人机接口技术及计算机仿真技术。 这些相关技术的发展带动了虚拟现实技术的进步。 早在1 9 6 5 年， 美国a r p a信息处理办公室( i p t o ) 主任iv a n s u t h e r l a n d 在论文 “ 终极显示”中为计算机图形学提出了一个研究计划。他认为， “ 人们必 须面对一种显示屏幕， 通过这个窗口 可以 看到一个虚拟世界” 。他对计算机世界 提出的 挑战是: “ 必须使窗口 中的景象看起来真实，听 起来真实， 而且物体的 行 动真实。 ” 这篇文章被称为是研究虚拟现实系统的开端。作为虚拟现实前身的图 形仿真 器( 如飞行仿真器) 也于6 0年代在美国 首先出 现。 但是，由 于受限于当时 软硬件技术的发展，这项技术直到八十年代中期才逐步兴起，并在九十年代初 得到了长足发展。 根据近两年国外技术发展的分析，虚拟现实正从大学的实验室走出，走上 认真寻找行业性应用的道路;以下稍举几例: 在工业方面可注意到的例子是，美国汽车城底特律的三巨头 ( 通用汽车， 福特和克莱斯勒)都在热衷地自 行 ( 或与大学内研究中心联合一起)开发和发 展对自己实用的虚拟环境，并将它用在汽车设计和制造上。这一行业未来的多 方面的v r 应用中 ，目 前 取得最 大成功的 是 虚拟放 样 ( v i rt u a l p r o t o t y p i n g ) ， 过 去汽车设计时采用实体放样，用其来考察设计出的内部空间和间距的合理性、 仪表操作的方便性、以及舒适和美观等。这种实体放样费钱 ( 一次代价几十万 美元) 、费时 ( 数月) ，而且由于一个型号的完成需要经过若干次的考察修改， 重新放样，代价之大可以想象，改用虚拟放样后，人们可以进入所设计的汽车 第一章 绪论 的虚境，对其进行操作，并实际体会其合理性、方便性、舒适和美观;一旦发 现不妥之处，当即可作修改并感觉效果，所以将极大的省钱省时，为此这三公 司都不惜投资千万美元开发 v r应用 ( 福特公司一家就在三个部门建立了研究 v r应用环境) 。实际上，世界上主要汽车制造公司都在 v r方面有所动作。此 外，其它的运载器工业，如航空工业、坦克和货车工业、船舶工业、都在积极 开展自己行业的 v r应用;因为这些行业都意识到，采用了 v r技术将使自己 在今后的激烈竞争中取胜 ( 因为在成本和效率上出 现极大优势) 。 在商业方面值得一提的例子是 m r a公司 ( 全美最大的民宅营造商之一) 己将 v r技术运用到商品促销上。他将要推销的城镇民宅 ( 尚未建好的)以虚 境的形式在公司的展销中心展示给买主， 顾客戴上 h m d可开门 进入这一住宅， 观察房间的大小、装饰、壁炉和厨房的布局:通过楼梯走入上层，可环视家俱 和壁橱的布置、宅外周围的环境;对于室内安装的电 器可以实地触摸和操作等。 展出这样的虚拟样宅后，这种住宅的销售量立即增为三倍。日本松下公司在推 销公司的厨房设计和设施时， 建造了虚拟厨房。 售货员问知顾客厨房的尺寸后， 即予输入，随后让顾客戴上立体眼镜和数据手套，进入其中，顾客在此虚拟环 境中可移动每个设施，直至自己 十分满意为止。至此签订合同，公司将按此向 顾客提供厨房的构造和设施。诸如此类的促销措施正在如雨后春笋地涌现，因 为销售者们已意识到，在未来的商业竞争中，v r技术是自己促销的有力武器 ( 因为在吸引顾客和在为顾客服务上呈现极大的优势) 。 在医学方面令人瞩目 的是，美国医学界正在认真且迅速地将 v r技术应用 到这一领域中去。 他们首先是将其用于外科手术方面。最初， 用于手术训练 ( 帮 助熟练掌握手术操作) ;随后，又用于手术策划 ( 帮助制定最佳手术房案) :现 在，己 发展成用于手术实施 ( 帮助正确及时找到病根所在) 。除了外科手术外， v r技术也开始用于疾病治疗 ( 如治疗恐高症，帕金森症，以及帮助治疗癌症 等) 。同时国 外医学界的 研究热点还在转向 远程诊断和远程外科. 现举一例说明 v r技术在上述远程医学方面的作用。 设一病人因后脑生了肿瘤，住进当地医 院就医。经检查，确诊后，准备进行手术。当地外科医生自 觉手术经验不够， 通过信息公路向千里之外这一方面的肿瘤专家联系求授，得到同意。于是当地 医生将该病人的脑部 c 下数据或核磁共振数据，先变成虚拟模型，通过信息高 速公路传送给专家。对方戴上 h m d看到病人的肿瘤实况，进而双方探讨并切 磋手术方案。方案定下后，当地医生就对脑部的虚拟模型进行手术。此时专家 在远方观察一切，并随时加以指点。手术完毕，取得了经验;在需要时当地医 生还可多次演习，使自己达到熟能生巧的地步。当有了充分自信，最后对病人 实施切除手术。以上描述的情景并非科技幻想，而有了 v r技术己 使其成为现 实生活中可以付之实施的过程。 第一章 绪论 在我国也己开始关注 v r技术研究，目 前国内许多研究单位和部门己经和 准备开展这方面工作。例如，利用 v r技术开发的“ 虚拟故宫” 系统就是在技 术上追踪了国际先进水平，是根据故宫真实大小用实时软件建立三维模型、运 行仿真程序用头盔显示器的方式，在虚拟故宫中骑自 行车进行漫游，该类系统 在国内尚属首创。 “ 虚拟故宫”的开发为国内的虚拟现实技术发展奠定了基础。 1 . 3论文的背景和目的 虚拟现实技术的发展使它成为计算机图形领域的一个前沿，它的实现不再 局限于图形工作站，而是趋向于大众化和网络化。目前，虚拟现实在国际互联 网i n t e r n e t 上的应用己成为 it业的一个热点。在互联网发展初期，人们只能通 过文件传输协议和命令语言漫游互联网。万维网www ( wo r ld wid e we b )的 产生使 i n t e r n e t 从文本形式中解脱出来，成为全新的基于图形和超文本链接性 能的网络，这便是第一代 we b( 网络) 。互联网发展的最终目 标是能够把三维、 二维、文本和多媒体集成为统一的整体，用户能在网络上的三维虚拟环境中漫 游并与虚拟对象交互，如同现实生活中一样，从而把对we b的感受从以页面为 中心的模式转变为更为人所习惯和喜爱的三维、交互、动态、 逼真的世界。这 种以三维动态世界为基础的模式便形成了第二代we b . 在现阶段，数据带宽是营造具有丰富媒体we b的最大障碍，利用现有的基 础设施，不可能在互联网上传送丰富的多媒体内容，如高质量的视频和复杂动 画，在 i n t e r n e t 上采用宽带技术也还需要经过多年的努力。然而，i n t e r n e t 的客 户机端可以具有强大的计算和三维图形处理能力，利用这一条件来克服带宽造 成的 瓶颈 是可行的。 v r m l ( v i rt u a l r e a lit y m o d e l in g l a n g u a g e . 虚拟现实建 模语言)正是在解决数据带宽与处理能力之间的矛盾中应运而生。它是一种面 向we b的三维造型语言，为三维数据转换定义了一个标准的文件格式。v r ml 将 3 d模型转化为简洁的数学表达式，因而只需在网上发送转化后的少量数据。 而且，一旦发送出去就不再需要对模型进行下一步发送;在这一过程中，全部 的变化仅仅是在模型中观察者视点的变化。这样，在网上仅需不断传输观察者 的方位，极大地节省了数据带宽。 典型的虚拟现实意味着用户借助 h m d 、数据手套等复杂设备进入虚拟境 界，获得沉浸式体验。而v r m l和设备无关， 它是作为一种描述虚拟境界的语 言独立存在。 以v r m l 为基础可以 建立不同 档次的系统实现， 这一特点是v r m l 得以迅速发展的根本动力之一。另一方面，随着硬件水平不断提高和越来越大 的社会需求，虚拟现实技术的软件水平却相对滞后，迫切需要一个通用性强的 构造虚拟境界的系统框架，由于 v r m l具有广泛用户，经过不断改进，有可能 成为这样的基础框架。 第一章 绪论 v r m l 现己发展成为一个业界标准。因为v r m l的开发重点集中在与平台 无关、易扩展并且基于低带宽的网络连接上，而且从 v r m l数据中产生虚拟场 景，要求本地计算机有较好的性能，而不是主要依赖于网络。几年前，只能在 价格昂贵的图形工作站上实现虚拟三维场景的实时动态显示。随着计算机软硬 件技术的发展，如具有强大浮点运算能力的p e n t iu m i i 处理器和带有a g p功能 的3 d图形加速卡，3 d环境音效卡的出现以及显示器技术的飞速发展，在高档 微机上实现v r己不成为问题， 而且价格便宜得多， 因此在p c机上利用v r m l 进行虚拟现实系统的开发是可行的。 本文就是以v r m l为基础，制作了一个小的系统，体现了虚拟现实的交互 j性。由于条件的限制，现在只能用于在机器上显示，而不能像真正的虚拟现实 系统一样可以做到沉浸感。 第二章 虚拟现实系统的特点和构成 第二章 虚拟现实系统的特点和构成 2 . 1虚拟现实的概念 v irt u a l r e a lit y ” 一词始于1 9 8 9 年，由v p l r e s e a r c h 公司的奠基人j a r o n l a n ie r 在有关杂志上使用，从此引起了公众和媒介的重视，这对 v r 的发展具 有重大意义。 在此之前，已 有不少类似的概念， m .w. k r u e g e r 曾 在年代中期提 出了 “ 人t - 现实” ( a r t ifi c ia l r e a l it y ) 一词，它用来说明由i v a n s u t h e r l a n d 1 9 6 8 年开创的头盔式三维显示技术以来的许多人工仿真现实。美国科幻作家 willia m g ib s o n 1 9 8 4年提出了 另一个词“ 电 脑空间 ” ( c y b e r s p a c e ) ，它是指可以 在世界范 围内 同时 体验的人工现实。 此外还 有人工环境 ( a rt if ic ia l e n v i r o n m e n t ) ， 合成 环 境( s y n t h e t ic e n v i r o n m e n t ) , 虚拟环境( v i rt u a l e n v ir o n m e n t ) 等。 从概念上讲，虚拟现实是一种由计算机和电子技术创造的新世界，是一个 看似真实的模拟环境，通过多种传感设备，用户可根据自 身的感觉，使用人的 自 然技能对虚拟世界中的物体进行考察和操作，参与其中的事件;同时提供视、 听、触等直观而又自 然的实时感知，并使参与者 “ 沉浸”于模拟环境中。尽管 该环境并不真实存在，但它作为一个逼真的三维环境，仿佛就在我们周围。可 见，虚拟现实的概念包括了以下含义: 1 . “ 模拟环境”就是由计算机生成的具有双视点的、实时动态的三维立体逼 真图像，逼真就是要达到三维视觉，甚至包括三维听觉、触觉及嗅觉等的 逼真;而模拟环境可以是某一特定现实世界的真实实现，也可以是虚拟构 想的世界。 2 . “ 感知”是指理想的虚拟现实技术应该具有一切人所具有的感知。除了计 算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知， 甚 至 还包括嗅 觉和味 觉等， 也称为多 感知 ( m u lt i s e n s a t io n ) 。由 于 相关 技术 受到传感器的限制，目前所具有的感知功能仅限于视觉、听觉、触觉、力 觉、运动等，嗅觉方面也已有了新的进展。但无论从感知的范围和精确程 度来讲都无法与人相比 拟。 3 . “ 自 然技能”是指人的头部转动、眼睛、手势或其他人体行为动作，由计 算机来处理与参与者的动作相适应的数据， 并对用户的输入( 手势、口 头命 令等) 作出实时响应， 并分别反馈到用户的五官， 使用户有身临其境的感觉， 并成为该模拟环境中的一内部参与者，还可以和在该环境中的其他参与者 打交道。 4 . “ 传感设备”是指三维交互设备，常用的有立体头盔、数据手套、三维鼠 标、数据衣等穿戴于用户身上的装置和设置于现实环境中的传感装置，如 第二章 虚拟现实系统的特点和构成 摄像机、地板压力传感器等。 v r并不是真实的世界，而是一种可交替更迭的环境，人们可以通过计算 机的各种媒体进入该环境，并与之交互;从而也可以看出，虚拟现实技术是在 众多 相关技术( 如计算机图形学、仿真技术、多媒体技术、 传感器技术、 人工智 能等) 基础上发展起来的， 但它又不是这些相关技术的简单组合。 从技术上看， v r与各相关技术有着或多或少的相似之处，但在思维方式上，v r已经有了质 的飞跃。由于 v r是一门系统性技术，所以它不象某一单项技术那样只从一方 面考虑问题，它需要将所有组成部分作为一个整体去追求系统整体性能的最优。 脱离不同的应用背景看， v r技术是把抽象、复杂的计算机数据空间表示为 直观的、用户熟悉的事物。它的技术实质在于提供了一种高级的人与计算机交 互的接口。 2 . 2虚拟现实的特征 v r具有三个最突出的 特征，即三 “ i ” 特征，可以由 此来区分相邻技术， 如多媒体技术、科学计算可视化技术。 这三个特征是交互性( i n t e r a c t iv it y ) 、想象性( i m a g in a t io n ) 和沉浸感 ( im m e r s io n ) . 交 互 性主 要 是 指 参 与 者 通过 使 用专门 设 备， 用 人 类的自 然技能 实 现对模拟环境的考察与操作程度， 例如用户可以用手去直接抓取模拟环境中的 物体， 且用户有抓取东西的感觉还可感觉到物体的重量，材料等等方面， 视场 中被抓起的物体也应随着手的移动而移动。由于 v r并不只是一种媒介或一个 高级终端用户界面，它的应用能解决在工程、医学、军事等方面的问题，这些 应用是 v r与设计者并行操作， 为发挥它们的 创造性而设计的。这极大地依赖 于人类的想象力，这就是v r的第二个特征一想象性。 v r的 最主要的技术特征是沉浸感，即 投入感。 v r的 追求目 标是力图 使用 户在计算机所创建的三维虚拟环境中处于一种全身心投入的感觉状态，有身临 其境的感觉，即所谓 “ 沉浸感” 。在该环境中的一切看上去是真的、听起来是真 的、动起来也是真的，一切感觉逼真.用户觉得自己是虚拟环境中的一个部分， 而不是旁观者。他感到被虚拟景物所包围，可以 在这一环境中自由走动，与物 体相互作用，如同在己有经验的现实世界中一样。 导致 “ 沉浸感”的原因是用户对计算机环境的虚拟物体产生了类似于对现 实物体的存在意识或幻觉。为此，必须具备三种基本的技术要素:图像，交互 和行为( 如图2 . 1 所示) 1 .图像( i m a g e ry ) : 虚拟物体要有三维结构的显示， 其中包括主要由以 双目 视 差、运动视差提供的深度信息;图像显示要有足够大的视场，造成 “ 在图 像世界内观察”而不是 “ 窗口 观察”的感觉;显示画面符合观察者当前的 第_章 虚拟现实系统的特点和构成 视点，能跟随视线变化;物休图像能得到不同层次的细节审视。 2 交i i: ( in t e r a c t io n ) :虚拟 物体与 用户间 的交互 是只 维的， 用 户是 交互的 主体: 川户能觉得自己是在虚拟环境中参与对物体的控制:交互 是多感知的，用 户t ij 以 使用与 现实生活相同 和不同的方式( 例如手语) 与虚拟物体交互。 认知 沉 浸 感 存 在 感 图 像 交 勺行 为 图2 . 1虚拟现实的技术要素 3 .行为( b e h a v io r ) : 虚拟物体在独自 活 动时、 或相互 作用时、 或在与用户的 交互作用中，其动态都要有一定的表现，这些表现或者服从于自 然规律. 或者 遵循设计者想 象的 规 律， 这也 称之为v r系 统的自 主 性( a u t o n o m y ) o 自1 : -r 是指虚拟环境中物体依据物理定律动作的程度。如当受到力的推动 时， 物体会向力的方向移动、 翻倒或从桌面落到地面等等。 i 几 述技术要索之间是相互关联的，,已 们对于用户的 “ 存在”意识的影响， 进而导致 “ 沉浸感”的过程实际上基于人的认知机理，因而可以说 心理学是虚 拟现实的物理学。 v r的“ 沉浸感” 特征使它与一般的交互式三维计算机图形有较大的不同: 用) , _ . j . 以沉浸 1 ,. 数据空间，可以从数据空间向 外观察，从而可以使用户能以更 自 然、更 直接的方 式与 数 据交互。 利 用沉浸功能， 使 用户暂时与 现实 环境隔离， 投入到虚拟环境中，从而能更真实地注视数据。v r界面也可以给技术人员及 创作人员 提供真实数据，以便正确地创建虚拟环境，这样有助于用户更快、更 个!(i i 地分析理解数据。囚此， v r技术从根本上改变了人与计 算机系统的交互 操作方式 应该指出，这 兰 个 “i ”是虚拟现实系统的三个基本特征.也正是强调了 在i ,k, 拟现实系统中的人的主导作用.从过去 人只能从计算机系统的外部去观测 i i p处理的结果，到人能够沉浸到计算机系 统所创建的环境中;从过去 人只能 通过键iii .鼠标 川 算机环境， 扣 的单位数字化信息发生交互作用，到人能用多 种传感器1 j 多维化信息的环境发生交互作用;从过去的人只能以定量计算为卞 第二章 虚拟现实系统的特点和构成 的结果中得到启发从而加深对事物的认识，到人有可能从定性和定量综合集成 的环境中得到感性和理性的认识从而深化概念和萌发新意。总之，在未来的虚 拟现实系统中，人们的目的是使这个由计算机及其他传感器所组成的信息处理 系统去尽量 “ 满足”人的需要，而不是强迫人去 “ 凑合”那些不很亲切的计算 机系统。 2 . 3桌面虚拟现实系统体系结构 及硬件设备 2 .3 . 1虚 拟现实系统的 分类 按虚拟环境的信息来源和生成途径: a .真实世界的“ 遥现” ( t e le p r e s e n c e ) : 用户不在真实世界某个现场， 但 感觉恰如身临其境，并可据此进入对现实事件的遥操纵。 b .真实世界的计算机实时仿真:并且仿真物体的活动符合自然规律。用 户可通过感觉交互取得如同熟知事物一样的体验。 。 .纯由计算机生成的超现实景物，而且并不一定符合自 然规律。 按视觉环境的构造方式: a .固定 c r t形式:放于桌面，可多人共享，用户约束感小，易于实现交 互， 装置 但视角小，无环绕视觉感。一般要求用户佩带光闸眼睛，并配以实现跟踪 b . h m d型式:一般用两个 l c d屏开成立体对，头盔结构中安装广角光 路，同时附有视线运动检测装置，用户走动自由，但约束感较强，l c d分辨率 低。 c . b o o m型式: 类似于日 m d ， 但显示装置悬挂于机器臂， 重量得到平衡， 位置与姿态得到测量， 用户用手操纵， 约束感适中， 装置可配以高分辨率的c r 丁 对。 d . c a v e型式:大视角、高分辨率、环绕视觉感强，用户只需佩带轻质 光闸眼镜，约束感小，也可多人共享，但需较大的安置空间和复杂的投影系统。 e . v id e o p la c e型 式: 用 户 无 需 佩带 任何 硬 件装置， 毫 无约 束 感， 但对 人 体的位置与姿态检测较难，缺乏触觉、力觉交互手段。这种 “ 无障碍”方式目 前不是v r的主流。 按v r系统沉浸的程度: 按 v r系 统沉浸程度的 不同 分为桌 面虚拟现实系 统( d e s k t o p v r ) ， 沉 浸虚 拟现实系统 ( i m m e r s iv e v r ) ，分布式虚拟现实 ( d is t r ib u t e d v r ) 。此处我们 以介绍桌面虚拟现实系统为主。 第二章 虚拟现实系统的特点和构成 2 .3 .2虚 拟现实系 统的 体系 结 构 桌面虚拟现实系统使用个人计算机和低级工作站实现仿真，计算机的屏幕 作为参与者观察虚拟环境的一个窗口，各种外部设备一般用来驾驭该虚拟环境， 并且用于操纵在虚拟场景中的各种物体。这些外部设备包括鼠标器、跟踪球、 力矩球等等。桌面v r 系统虽然缺乏头盔显示的那种完全沉浸功能，但它仍然比 较普及， 这是因为它的成本相对来说比较低。典型的虚拟现实系统结构如图2 . 2 所示。其中主要包括虚拟环境产生器、效果产生器、应用系统和几何造型系统 等。 效果产生信号转换 虑拟环境产生器十 图2 - 2虚拟现实系统结构 1 .虚拟环境产生器 虚拟环境产生器是v r 系统中的 核心部件， 它由 计算机软硬件系统、软件开 发工具及配套硬件组成。它实质上是一个包括数据库和产生立体图象的高性能 计算机系统;数据库包括虚拟环境中对象的描述以及对对象的运动、行为及碰 撞作用等性质的描述。可见，虚拟环境产生器实际上是一个环境构造程序，它 由一系列子程序组成，用于设计参与者在虚拟环境中将会遇到的景和物。它的 主要功能有:对虚拟环境中物体对象及其运动、行为、碰撞作用等特性进行描 述:生成左、右眼视图合成三维立体图象;为声音系统实时地提供参与者头部 的位置和方向 信号;不仅产生和显示一个虚拟境界，还需处理输入、输出数据， 并将这些数据融合在虚拟环境中。它的输出要转换成参与者的视觉和听觉信息， 因此它是v r 感觉反馈的一个关键部件。 虚拟坏境产生器可以产生和处理虚拟境界，它可包括一台或多台计算机， 第二章 虚拟现实系统的 特点 和构成 用于组合、处理和显示与产生一个虚拟境界有关的全部数据，包括发送给参与 者或从参与者发来的全部信息，或早已 存在于v r 系统中的任何数据。由于人们 主要是通过视觉来获得信息的，因此虚拟环境产生器构造的虚拟环境必须逼真， 其立体图象的生成必须实时，才能真正使参与者有身临其境的感觉。 ( 1 )三维声音处理器:三维声音处理器包括声音合成、3 d 声音定位和语音 识别。在虚拟环境中，一般不能仅依靠一种感觉，错综复杂的临场感通常需要 用到立体声。为此需要设置静态及动态声源，并创建一个动态的声学环境。 人们根据到达两耳的声音强度与相位差来区别发声的位置与方向，而且善 于同时处理多个事件。例如当视觉系统处理某一事件时，听觉系统同时以比视 觉系统低的多的频带宽度在后台工作。由于人们的听觉系统很善于在众多的声 音中选取特定的声音，因此，在v r 系统中加入声音合成装置对沉浸感的经历十 分有效。 虚拟环境产生器中的声音定位系统利用声音的发生源和头部位置及声音相 位差传递函数，来实时计算出声源与头部位置分别变动时的情况。声音定位系 统可采集自 然或合成声音信号，并使用特殊处理技术在 3 6 0度球体中空间化这 些信号。 例如， 我们可以 产生诸如时钟 “ 滴答”的声响并将其放置在虚拟环境 中的准确位置，参与者即使在头部运动时，也能感觉到这种声音保持在原处不 动。为了达到这种效果，声音定位系统必须考虑参与者两个耳廓的高频滤波特 性。参与者头部的方向对于准确地判断空间化声音信号起重要作用。因此虚拟 环境产生器要为声音定位装置提供头部的位置和方向 信号。 v r语音识别系统让计算机具备人类的听觉功能，使人机以语言这种人类最 自 然的方式进行信息交互。 必须根据人类发声机理和听觉机制， 给计算机配上 “ 发声器官” 和 “ 听觉神经” 。当参与者对着微音器说话时，计算机将听到的语 音转换成命令流。在 v r系统中，最有力也是最难实现的是语音识别。 v r系统 中的语音识别装置主要用于合并其他参与者的感觉通道 ( 听觉通道、视觉通道 等) 。 语音识 别系统 在大量 数据输入时， 可以 进行处理 和调 节， 如同 人类在工作 负担繁重时暂时关闭听觉通道一样。 ( 2 )位置和方向跟踪装置:为了与虚拟环境交互操作，必须感知参与者的 视线，即必须跟踪头部的位置和方向。为了在虚拟环境中移动物体甚至移动参 与者的身体，就要求跟踪观察者各肢体的位置。这种跟踪可以从手的位置到全 身各肢体的位置。跟踪装置将这种信息送入应用软件以确定眼睛位置和视线方 向，以便绘制显示器的下一帧图象。读出位置、方向及更新图象的速度必须足 够快，否则用户会产生不舒适的感觉。 ( 3 )触觉、力觉反馈系统:为了增强虚拟环境中身临其境的感觉，必须给 参与者提供一些诸如触觉反馈等的生理反馈。触觉反馈是指v r 系统必须提供所 第二章 虚拟现实系统的特点和构成 能接触到的触觉刺激，如表面纹理甚至包括触摸一个开关的感觉。当我们感觉 到物体的表面纹理时， 我们同时也感觉到了运动阻力，因此， v r 系统中的触觉、 力觉反馈是重点研究的难题，一旦实现，将极大地增强虚拟现实的真实感。 ( 4 )几何构造系统:几何构造系统提供了描述仿真对象物理属性 ( 外形、 颜色、位置) 等的信息，虚拟现实系统的应用系统在生成虚拟世界时需要使用 和处理这些信息。一般用己有的几何造型系统软件作为平台来为虚拟环境中的 几何对象建模，获得线框模型。它还具有立体图象生成、剪裁、消隐、光照明 模型处理，为几何对象加上颜色、纹理、阴影以及物理特性等功能。 2 ， 效果产生器 效果产生器是完成人与虚拟环境交互的 硬件接口 装置，包括能产生沉浸感 的各类输出装置，例如头盔显示器、立体声耳机等，以及能测定视线方向和手 指动作的输入装置，例如头部方位探测器和数据手套等。 由于人们通常是通过视觉和听觉来识别物体与形状的，所以虚拟环境产生 器所生成的三维立体图象必须在最短的时间延迟内考虑参与者头部的位置和方 向，系统内的任何通信延迟都表现为视觉的滞后。如果这种滞后是可感知的， 在某些条件下就会使参与者产生晕眩的感觉。 为增加沉浸感觉的程度， 可采用立体眼镜。它要求两组观察角度略有不同 的图象序列快速轮流地显示在监视器上，当某一只眼睛所观察的图象序列出现 在监视器上时， 立体眼镜相应眼的透镜系统在计算机的控制下自 动遮挡，当 这 种分时系统的显示频率达到一定值时，观察者便可通过左右眼得到的图象序列 产生立体视觉。 3 . 应用系统 应用系统 ( a p p l i c a t i o n ) 是面向 具体问 题的软件部分，描述仿真的具体内 容，包括仿真的动态逻辑、结构以及仿真对象之间和仿真对象与用户之间的交 互关系，它的内容直接取决于v r 系统的应用目 的。 4 . 仿真管理器 仿真管理器是一个协调景、物、事件、输入信息的专用软件，它使得虚拟 环境让参与者接近真实生活。该仿真管理程序有时还包括可以立即运行的虚拟 现实应用程序。 解. 3 .3桌面虚拟现实 系统的 硬件设 备及原理 1 . 立体眼 镜( s t e r e o g l a s s e s ) . 立体眼镜由液晶 光闸眼镜和红外线控制器组成， 它与立体显示监视器相连， 为用户提供立体视觉。 立体显示监视器以两倍于普通扫描频率更新屏幕， 即1 2 0 一， 4 0 中 贞 i s 。计算机把r g b信号发送给监视器，这些信号由两幅交替、偏移的 透视图象组成，与信号同步的红外线控制器用于控制无线模式工作下的活动眼 第二章 虚拟现实系统的特点和构成 镜。控制器操纵液晶光闸交替地关闭两眼中一只眼睛的视野。这样大脑寄存下 了一系列左、右眼图象并通过立体观测，把左、右眼图象融合成一幅含有深度 信息的图像。极其短促的光闸开j 关时间 ( m s )和 1 2 0 h z的监视器刷新频率形 成了无闪烁图象。这种图象比基于 l c d的 h m d要清晰得多，而且长时间观察 给人造成的疲倦感较小。然而，由于光闸过滤器泄露一部分光，观察者看到的 图象亮度不如普通屏幕好。 立体眼镜产生的沉浸感不同于 h m d ，由于观察者并没有与显示器相联，因 此感觉不到是被一虚拟世界所包围，而是把显示器当作一观看虚拟世界的窗口。 光闸眼镜是一种低端视觉设备，观察者的沉浸感较差， 但由于其价格较低， 目 前仍被桌面虚拟现实系统广泛采用。 2 . 空间跟踪器: 空间跟踪器的主要功能是实时检测操作者的身体部位某一时刻在三维空间 中的相对位置。它的检测值包括三维空间的六个自由 度，即x 、 丫 、乙坐标的位 置值和围绕这三个坐标轴的旋转值。现在使用最为普遍的跟踪器是低频磁场式 跟 踪 器、 超声 波 式 跟踪 器以 及空 间 球( s p a c e b a ll) o a . 常用跟踪器 1 .机械式跟踪器 这是较老式的一种，它由 连杆装置组成，其精度、响应速度尚可， 但工 作范围相当有限，对操作人员有一定的机械束缚。 2 .低频磁场式跟踪器 它由发射器、接收器和电子部件组成。发射器由三个正交天线组成，工 作时对外发射低频磁场;接收器内也有一组天线，它接收来自 发射器的 磁场，可计算出接收器相对于发射器的 位置，并将数据传送给计算机。 这种跟踪器的最大弱点就是当环境中存在铁磁性物质时，其跟踪精度将 大大降低。 3 .超声波式传感器 它的发射器由三个超声扩音器构成， 接收器由三个相距较近的超声话筒 构成。根据接收器接收到的三个超声扩音器周期性发出的超声波，可计 算出发射器的相对位置。与低频磁场式跟踪器相比，它精确跟踪的范围 较小。这种跟踪器的不足是分辨率低，延迟时间长，易受到回声和其它 环境噪声的千扰，因而跟踪精度不够高。 4 .空间球 空间球主要用于在虚拟环境中飞行和漫游，通常用在桌面v r系统中。 它是一种检测物体相对位置的传感器。它由差动传感器构成，其中心是 固定的，装有六个发光二极管，在这个球的活动外层中装有六个对应的 光电传感器。当操作者对跟踪球外层施加力和力矩作用时，六个传感器 第二章 虚拟现实系统的特点和构成 可根据 “ 弹簧变形”定律间接测得三个力和三个力矩的信息，通过串行 口 把信息传送给主机，经主机处理并返回 v r物体位置和方向的差动变 化，变化越大就意味着v r物体运动速度越快。空间球的支撑架上设有 在用户手指活动范围内的按钮，通常的工作状态为二值状态，其功能由 软件编程定义。空间球的一个缺点是它工作在开循环模式，使用者可以 在虚拟物体和它所处环境之间控制，但无法感知手中的力。1 9 9 3年 g lo b a l d e v ic e s 三维控制器的出现改变了 这种不足。该设备的外观和工 作方式都类似于空间球，它提供三维相对位置控制。但这种传感球内植 有电子调整控制器，因而能提供 1 6个层次的颤振处理。这样使用者可 以 感知在控制中的v r物体与其所处虚拟环境之间的连接。这种全域设 备控制器不包括硬件过滤器和用于选择附加功能的按钮。 3 . 触觉和力觉反馈器: 触觉和力觉反馈器是一种在 v r系统中模拟人在真实环境中对物体质地和 重量感知的传感装置。目前这类传感器的主要实现方法是基于视觉、声音、气 压感、振动触感、电子触感等。其中基于视觉和声音的力反馈是一种软件方法， 通过视觉效果( 如颜色、动作) 和声音的变化体现操作者所得到的不同力反馈， 这种方法简便易行，但不能真实模拟人的力觉感受。电子触感反馈是向皮肤反 馈宽度和频率可变的电脉冲，由 于它对皮肤直接实施刺激，因而安全性较差。 气压式和振动触感式反馈器的安全性较好。气压式触觉反馈器是在用户手套中 装入一些小气囊，当用户用手操纵虚拟环境中的物体时，气囊的电子阀在计算 机控制下不断打开和关闭。气囊中气体量的改变使得气囊膨胀成不同形状，用 户 通过气囊的 挤压感， 可 得到 较真实的 触感。 振 动触感式反 馈器 是用压电 ( p ie z o ) 效应实现。它是在手套上一定位置安置一些压电薄膜，每个薄膜都有一个前置 放大器，当用户的手接触到虚拟物体时，计算机会启动某些放大器激活薄膜， 使薄膜对手产生微小的振动感。 4 . 三维声音系统: 三维声音系统为用户提供真实环境的听觉方式。与普通立体声系统不同， 它必须能使用户准确地判断虚拟环境中声源的位置。目 前的三维声音系统是基 于头部相关传递函数，其主要原理是通过卷积算法，在声音从计算机发出之前 用头部相关传递函数与之在频域作乘法运算来改变声音特性，使得声音听起来 似乎不是