（计算机应用技术专业论文）虚拟现实技术的实时性研究.pdf

摘要 虚拟现实( v i r t u a lr e a l i t y ，简称v r ) 是一种基于可计算信息的沉 浸式交互环境，最大特点就是参与者能用人类自然的技能与感知能力与 计算机生成的虚拟环境进行自然的交互，因此，要求系统能实时地对各 种输入做出反应 实时、逼真的虚拟环境建立是虚拟现实技术的核心内容。开展虚拟 场景实时生成与实时显示支撑技术的研究，并将研究成果以算法形式融 合到各虚拟仿真环境中，以进一步实现真实感和临场感无疑具有重要的 研究意义 本文首先阐述了虚拟现实技术的基础理论及实时研究现状，分析了 影响虚拟现实系统实时性的主要因素，场景的实时生成和显示技术；并 设计了一个分布式v r 札场景的实时浏览系统；以及对分布式虚拟现实 系统场景的压缩、实时传输和显示技术进行了深入的探讨，并提出了解 决的方案。 关键字：虚拟现实实时全景图场景拼接v 跚l 细节层次 a b s t r a c t v i r t u a lr e a l i t yi sa l li m m e r s e di n t e r a c t i v ee n v i r o n m e n tb a s e do nt h e c a l c u l a b l ei n f o r m a t i o n i ti st h em o s ti m p o r t a n tf e a t u r ei nt h ev i r t u a lr e a l i t y s y s t e mt h a tp a r t i c i p a n t 啪u s e a l li n t e r a c t i v ec o m m u n i c a t i o ns p o n t a n e o u s l y b e t w e e nt h en a t u r et e c h n o l o g ya n da p p e r c e p t i o no fh u m a nb e i n g sa n dt h e v i r t u a le n v i r o n m e n tm a d eb yt h ec o m p u t e r t h e r e f o r e ，i ti sr e q u i r e dt h a t s y s t e mm u s tg i v et h er e a l - t i m er e s p o n s e sf o rt h ev a r i e di n p u t s 儆e s t a b l i s ht h er e a la n dv i v i dv i r t u a le n v i r o n m e n ti st h ec o r ep r o b l e m o ft h ev i r t u a lr e a l i t yt e c h n o l o g y i ti sv e r yi m p o r t a n tt om a k er e s e a r c ho n d e v e l o p i n gt h ev i r t u a le n v i r o n m e n ta n ds h o w i n g , a n ds y n c r e t i s m t h e a r i t h m e t i cb a s e do l lt h er e s e a r c hr e s u l ti n t ot h ev a r i e dv i r t u a la n de m u l a t i o n e n v i r o n m e n t s ，f o ra c h i e v i n gm o r e r e a la n df i e l df e e l i n g i nt h ep a p e r , w ei n t r o d u c et h er e s e a r c h i n gs t a t u so f r e a l - t i m et e c h n o l o g y i nv i r t u a lr e a l i t ys y s t e m , a n da n a l y z et h ep r o b l e mo ft h er e a l - t i m ei nv i r t u a l r e a l i t y h o wt oe s t a b l i s ha n d s h o wt h es c e n ei nr e a l - t i m e ；a n dw ed e s i g n e da s y s t e mf o rl l s e 鹞i n t e r a c t i o na n db r o w s i n gi nv r m ls c e n e s ，b ye x t r a c t i n g t h et i e , n og r a p h , u s e r sc a nc h o o s et h ep a r t sh ei n t e r e s t e df o rt r a n s f e r i n g ， t h e r e f o r et h ec o m m u n i c a t i o nd a t ai sr e d u c e d ，a n dt h ei n t e r a c t i o nb e t w e e n t h el l s e fa n dt h es y s t e mi se n h a n c e d ：a n dt h ed i s t r i b u t i n gv i r t u a lr e a l i t y s y s t e ms c e n ec o m p r e s s i o n , r e a l - t i m et r a n s m i t t i n ga n dd i s p l a y i n ga n d s oo n a n dw ea l s og i v et h es o l v i n gm e t h o df o re a c hp r o b l e m k e yw o r d s ：v i r t u a lr e a l i t y r e a l - t i m ef u l l - s c e n e s i d e - f o l d v r m 儿l e v e io f d e t a l l m 长春理工大学硕士学位论文原创性声明 本人郑重声明：所呈交的硕士学位论文，虚拟现实技术的实时性 研究是本人在指导教师的指导下，独立进行研究工作所取得的成果。 除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经 发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体， 均已在文中以明确方式标明本人完全意识到本声明的法律结果由本人 承担 作者签名：显趁遗砰 月鱼日 长春理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“长春理工大学硕士、博士学 位论文版权使用规定”，同意长春理工大学保留并向国家有关部门或机 构送交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权 长春理工大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。 作者签名：丘渔蕴趔年月互日 指导导师签名：名二她年土月五日 第一章绪论 1 1 本文的研究背景和意义 虚拟现实技术0 1 是一种基于可计算信息的沉浸式交互环境，具体地 说，就是采用以计算机技术为核心的现代高科技生成逼真的视、听、触 觉一体化的特定范围的虚拟环境，用户借助必要的设备以自然的方式与 虚拟环境中的对象进行交互作用、相互影响，从而产生亲临等同真实环 境的感受和体验。 虚拟现实系统的实时性要求系统能实时地对各种输入做出反应； 沉浸性则要求系统能使用户真切感受到虚拟场景的存在；交互性则是指 用户能对虚拟场景中的景物以自然和谐的方式进行交互操作。在这种虚 拟现实系统中，实时交互性与真实感是人们所能感受到的最突出的特点 之一，也是提高人在虚拟环境中沉浸感，实现人机和谐的关键 一般认为，人类从外界获得的信息近8 0 9 6 是通过人的视觉得到的， 人的视觉系统是非常敏感和严格的，任何不满足物理学和光学定律的运 动视景、任何同步不好的视频序列都会给视觉系统带来额外的刺激，严 重影响虚拟环境的“现实感”因而，对于虚拟现实的虚拟环境而言， 随着参与者的动作即时产生相应的图形画面的实时图形视觉效果无疑 是产生现实感觉的必要条件。 实时交互性要求虚拟环境具有实时动态显示能力。人类感知过程的 研究表明，如果虚拟现实系统能在外部事件发生后1 0 0 毫秒内做出响 应，则一般认为这个虚拟现实系统具有实时交互性。响应的延迟时间越 长，系统的真实感越差，用户就越难获得沉浸感。实时动态显示则是指 用户的视点发生变化时，图形显示速度必须跟上视点的改变速度，否则， 就会产生迟滞现象要消除迟滞现象则要求计算机每秒必须生成1 0 一 2 0 帧图像。 对计算机而言，真实感和实时性这两方面是相互制约的。真实感程 度的提高是以实时性的降低为代价的。如真实感程度越低，构成对象的 多边形数目越少，则处理的过程越短，实时性就越高；而景象描绘的越 细致，复杂性就越高，人们越满意，但实时性就越差。通常，两者不能 兼顾。因此，如何使生成的虚拟场景在不影响用户真实感的情况下，满 足虚拟现实实时性就是其中一个很重要的研究领域。 1 2v r 技术发展现状 1 2 1 国外发展现状 ( 1 ) 美国的研究状况： 美国是v r 技术的发源地。美国v r 研究技术的水平基本上就代表国 际v r 发展的水平。目前美国在该领域的基础研究主要集中在感知、用 户界面、后台软件和硬件四个方面 美国宇航局( n a s a ) 的a w e s 实验室完善了 泐：并将v p l 的数据手 套工程化，使其成为可用性较高的产品。n a s a 研究的重点放在对空间 站操纵的实时仿真上，大多数研究是在n a s a 的约翰逊空间中心完成的。 他们大量运用了面向座舱的飞行模拟技术n a s a 完成的一项著名的工 作是对哈勃太空望远镜的仿真。n s a 的a m e s 现在正致力于一个叫“虚 拟行星探索”( 、p e ) 的实验计划，这一项目能使“虚拟探索者”( v i r t u a l e x p l o r e r ) 利用虚拟环境来考察遥远的行星，他们的第一个目标是火星。 现在n a s a 已经建立了航空、卫星维护v l l 训练系统，空间站v r 训练系 统，并且已经建立了可供全国使用的v r 教育系统。 麻省理工学院( m i t ) 是一个一直走在最新技术前沿的科学研究机 构。m i t 原先就是研究人工智能、机器人和计算机图形学及动画的先锋， 这些技术都是v r 技术的基础，1 9 8 5 年m i t 成立了媒体实验室，进行虚 拟环境的正规研究。这个媒体实验室建立了一个名叫b o l l 0 的测试环 境，用于进行不同图形仿真技术的实验利用这一环境，m i t 建立了一 个虚拟环境下的对象运动跟踪动态系统。另外，m i t 还在进行“路径计 划”与“运动计划”等研究。 s r i 研究中心建立了“视觉感知计划”，研究现有v r 技术的进一 步发展1 9 9 1 年后，s r i 进行了利用v r 技术对军用飞机或车辆驾驶的 训练研究，试图通过仿真来减少飞行事故另外，s r i 还利用遥控技术 进行外科手术仿真的研究。 华盛顿大学华盛顿技术中心的人机界面技术实验室( h i tl a b ) 在新 概念的研究中起着领先作用，同时也在进行感觉、知觉、认知和运动控 制能力的研究。h i t 将v r 研究引入了教育、设计、娱乐和制造领域。 例如，波音公司的v 2 2 运输机就是先在实验室中造出虚拟机后再投入生 产的。 乔治梅森大学研制出一套在动态虚拟环境中的流体实时仿真系统。 在一个分布交互式仿真系统中仿真真实世界复杂流体的物理特性，包括 仿真正在穿过水面行驶的船、仿真搅拌液体、仿真混合不同颜色的液体、 仿真混合不能溶解的油和水、仿真下雨和流动的地形以及仿真流体的相 互影响等特性。但该系统有一些缺陷，例如：当船行进时不能显示出水 的不同波浪曲线，不能用于任何精确的工程用途等。 ( 2 ) 日本的研究状况 在当前实用虚拟现实技术的研究与开发中日本是居于领先位置的 国家之一，主要致力于建立大规模v r 知识库的研究。另外在虚拟现实 2 的游戏方面的研究也做了很多工作但日本大部分虚拟现实硬件是从美 国进口的 n e c 公司计算机和通信分部中的系统研究实验室开发了一种虚拟现 实系统，它能让操作者都使用“代用手”去处理三维c a d 中的形体模型， 该系统通过v p l 公司的数据手套把对模型的处理与操作者手的运动联 系起来。 富士通实验室有限公司正在研究的一个项目是虚拟生物与v r 环境 的相互作用。他们还在研究虚拟现实中的手势识别，已经开发了一套神 经网络姿势识别系统，该系统可以识别姿势，也可以识别表示词的信号 语言 1 2 2 国内发展现状 和一些发达国家相比，我国v l l 技术还有一定的差距，但已引起政 府有关部门和科学家们的高度重视根据我国的国情，制定了开展v r 技术的研究，例如，九五规划、国家自然科学基金会、国家高技术研究 发展计划等都把v r 列入了研究项目在紧跟国际新技术的同时，国内 一些重点院校，已积极投入到了这一领域的研究工作。 北京航空航天大学计算机系是国内最早进行v r 研究、最有权威的 单位之一，他们首先进行了一些基础知识方面的研究，并着重研究了虚 拟环境中物体物理特性的表示与处理：在虚拟现实中的视觉接口方面开 发出了部分硬件，并提出了有关算法及实现方法；实现了分布式虚拟环 境网络设计，建立了网上虚拟现实研究论坛，可以提供实时三维动态数 据库，提供虚拟现实演示环境，提供用于飞行员训练的虚拟现实系统， 提供开发虚拟现实应用系统的开发平台，并将要实现与有关单位的远程 连接 浙江大学c a i ) & c g 国家重点实验室开发出了一套桌面型虚拟建筑环 境实时漫游系统，该系统采用了层面迭加的绘制技术和预消隐技术，实 现了立体视觉，同时还提供了方便的交互工具，使整个系统的实时性和 画面的真实感都达到了较高的水平另外，他们还研制出了在虚拟环境 中一种新的快速漫游算法和一种递进网格的快速生成算法。 哈尔滨工业大学计算机系已经成功地虚拟出了人的高级行为中特 定人脸图像的合成，表情的合成和唇动的合成等技术问题，并正在研究 人说话时头势和手势动作，话音和语调的同步等。 清华大学计算机科学和技术系对虚拟现实和临场感的方面进行了 研究，例如球面屏幕显示和图像随动、克服立体图闪烁的措施和深度感 实验等方面都具有不少独特的方法。他们还针对室内环境水平特征丰富 的特点，提出借助图像变换，使立体视觉图像中对应水平特征呈现形状 一致性，以利于实现特征匹配，并获取物体三维结构的新颖算法“。 西安交通大学信息工程研究所对虚拟现实中的关键技术一立体显示 技术进行了研究。他们在借鉴人类视觉特性的基础上提出了一种基于 j p e g 标准压缩编码新方案，并获得了较高的压缩比、信噪比以及解压 速度，并且已经通过实验结果证明了这种方案的优越性。 中国科技开发院威海分院主要研究虚拟现实中视觉接口技术，完成 了虚拟现实中的体视图像对算法回显及软件接口。他们在硬件开发上已 经完成了l c d 红外立体眼镜，并且已经实现商品化。 北方工业大学c a d 研究中心是我国最早开展计算机动画研究的单 位之一，中国第一部完全用计算机动画技术制作的科教片相似就出 自该中心关于虚拟现实的研究已经完成了2 个“8 6 3 ”项目，完成了 体视动画的自动生成部分算法与合成软件处理，完成了v r 图像处理与 演示系统的多媒体平台及相关的音频资料库，制作了一些相关的体视动 画光盘 另外，西北工业大学c a d c a m 研究中心、上海交通大学图像处理模 式识别研究所，长沙国防禾滋大学计算机研究所、华东船舶工业学院计 算机系等单位也进行了一些研究工作和尝试 1 3 本论文内容和组织结构 1 3 1 论文内容 本文首先介绍了虚拟现实技术的概况、基础理论及实时性研究现 状，分析了影响虚拟现实系统实时性的场景的实时生成和显示技术；并 研究了一个分布式v r m l 场景的实时浏览系统；以及对分布式虚拟现实 系统场景的压缩、实时传输和显示进行了深入的探讨，并提出了解决的 方案。其主要研究内容如下： ( 1 ) 本文对序列图像拼接实时生成全景图的研究中，提出了一种拼 接预处理算法。在全景图实时生成技术中，本文选择了h a r r i s 角检测 算子进行特征点的提取，在图像融合技术中选择了渐入渐出法，通过实 例证明生成的虚拟场景在不影响用户真实感的情况下，满足了虚拟现实 实时性的要求。 ( 2 ) 由于目前i n t e r n e t 的传输速度仍不能满足分布式虚拟现实系 统的实时性和交互性要求。为解决上述问题，本文设计了一个基于分布 式v 眦场景的交互浏览系统。在此系统中，提出了利用细节层次和按 需传输相结合的方法对v r m l 描述的场景文件进行处理，以支持实时浏 览和交互式观察。 ( 3 ) 针对分布式虚拟现实中广泛使用的v p j l 建模语言，研究了基于 v r m l 文件的二进制压缩编码技术。通过研究发现其提高了分布式虚拟 现实系统的网络传输的速度。 4 1 3 2 组织结构 本文一共分六章图文并茂地阐述了本课题的研究工作情况 第一章介绍了论文的研究目的和意义、国内外研究现状及本论文的 主要内容、创新点和组织结构 第二章简要介绍了虚拟现实系统部分基础理论，虚拟现实中实时性 研究的关键技术以及分布式虚拟现实的实时性等 第三章介绍了序列图像生成全景图的方法，并提出了一种图像拼接 预处理算法。 第四章研究了一个基于分布式v r m l 场景的交互浏览系统。 第五章对虚拟场景数据的压缩编码进行了深入的探讨，实现了一种 基于v r m l 文件的二进制压缩编码。 第六章总结了论文的研究内容，并对今后的研究做出了展望。最后 给出主要的参考文献 5 第二章虚拟现实技术的基础理论 2 1 虚拟现实技术简介 2 1 1 虚拟现实的概念 目前为止，尚不存在一个学术和技术界公认的有关虚拟现实的定 义，这是因为不少专家认为，虚拟现实技术还在发展之中，过早地给其 下以明确的定义，也许会限制了它的发展。但是任何要研究的对象，如 果没有明确的描述而只是模糊的概念，往往会在研究中目标不明、主次 不清、甚至迷失方向，这对研究虚拟现实也不例外本文就对虚拟现实 的定义作个归纳。删： ( 1 ) 虚拟现实( v r ) 是近几年来国内外科技界关注的一个热点，其发展 也是日新月异。简单地说，v r 技术就是借助于计算机技术及硬件设备， 实现种人们可以通过视、听、触、嗅等手段所感受到的虚拟幻境，故 v r 技术又称幻境或灵境技术。 ( 2 ) 虚拟现实是一门集成了人与信息的科学。其核心是由一些三维的 交互式计算机生成的环境组成。这些环境可以是真实的，也可以是想象 的世界模型，其目的是通过人工合成的经历来表示信息。有了虚拟现实 技术，复杂或抽象系统的概念的形成，可以通过将系统的各子部件，以 某种方式表示成具有确切含义的符号。虚拟现实是融合了许多人的因 素，且放大了它对个人感觉影响的工程。虚拟现实技术是建立在集成诸 多学科如心理学、控制学、计算机图形学、数据库设计、实时分布系统、 电子学、机器人及多媒体技术等之上的 ( 3 ) 虚拟现实是通过计算机生成一个非常逼真的足以“迷惑”我们人 类视觉的虚幻世界。这种“迷惑”是多方面的，我们不仅可以看到而且 可以听到、触到及嗅到这个虚拟世界中所发生的一切。这种感觉是如此 的真实，以至于我们能全方位地浸没在这个虚幻世界中，这就是v r 的 浸没感( i m e r s i o n ) 或临场参与感。一般来说，虚拟系统的输出设备应 尽可能面向使用者的感觉器官，以保证良好的浸没感。如头盔式显示器 ( 璜l d ) ，它将使用者的听觉视觉功能完全置于虚拟的环境之中并切断了 所有外界信息。 ( 4 ) 虚拟现实与通常c a d 系统所产生的模型是不一样的，它不是一个 静态的世界，而是一个开放的环境，可对使用者的输入( 如手势，语言 命令) 做出响应。比如你可以拿起一虚拟的火炬并打开其开关，你一推 操纵杆，仿佛可以在里面漫游，甚至可以用虚拟的手感触到虚拟物体存 在，虚拟现实环境可以通过控制与监视装置影响或被使用者影响。 综上所述，虚拟现实是一种由计算机和电子技术创造的新世界，是 6 一个看似真实的模拟环境，通过多种传感设备，用户可根据自身的感觉， 使用人的自然技能对虚拟世界中的物体进行考察或操作，参与其中的事 件：同时提供视、听、摸等直观而又自然的实时感知，并使参与者“沉 浸”在模拟环境中简而言之，虚拟现实就是人们可以通过视听触等信 息通道感受到设计者思想的高级用户界面。 2 1 2 虚拟现实技术的重要技术特征 虚拟现实技术具有以下四个重要特征哪： ( 1 ) 多感知性 所谓多感知性就是说除了一般计算机所具有的视觉感知外，还有听 觉感知、触觉感知、运动感知、甚至包括味觉感知、嗅觉感知等等理 想的虚拟现实就是应该具有人所具有的感觉能力。 ( 2 ) 存在性 又称临场感，它是指用户感到作为主角存在于模拟环境中的真实程 度。理想的模拟环境应该达到使用户难以分辨真假的程度 ( 3 ) 交互性 交互性是指用户对模拟环境内的物体的可操作程度和从环境得到 反馈的自然程度( 包括实时性) 。例如，用户可以用手直接抓取环境中的 物体，这时手就有握着东西的感觉，并可以感觉物体的重量，视场中的 物体也随着手的移动而移动 ( 4 ) 自主性 是指虚拟环境中的物体依据物理定律动作的程度。例如，当受到力 的推动时，物体会向力的方向移动、或翻转、或从桌面落到地面等。 2 1 3 虚拟现实技术的体系结构 一般的虚拟现实系统主要由专业图形处理计算机、应用软件系统、 输入设备和演示设备等组成。 ( 1 ) 硬件平台 由于虚拟世界本身的复杂性( 如大面积城区规划的立体显示等) 及 计算实时性的要求，产生虚拟环境所需的计算量极为巨大，这对中心计 算机的配置提出了极高的要求。目前，国外的v r 系统一般配备有s g i 或s u n 工作站；大型的虚拟现实系统，采用的是计算机并行处理系统。 这些超级计算机虽然性能超群，但是价格非常昂贵，入门级的系统往往 也要数十万美金以上。伟景行科技新近推出的高性能专业图形集群系 统，性能达到甚至超过国外同类产品，但价格更能适应国内各类用户的 预算要求。 ( 2 ) 软件系统 虚拟现实的软件系统是实现v r 技术应用的关键。v r 技术在国外的 应用比国内早，在军事领域战场模拟、飞行仿真以及飞机、汽车制造等 7 工程需求的支持下，培育出一些大型的v r 开发及演示软件，如m u l t i g e n c r e a t o r 和v e g a 等。虽然国外的软件系统比较成熟，但他们在建筑、 城市规划领域应用有较大的先天不足、主要问题包括：软件应用需要二 次开发、与行业特点结合不够紧密以及价格比较昂贵等。和国外v r 软 件不同的是，伟景行自主开发的c i t y m a k e r 虚拟建筑和虚拟城市软件应 用平台，是建立在建筑和计算机双重背景之上的，首先面向建筑与规划 行业应用的专用软件、伟景行在创建之初就定位于建筑与规划行业内虚 拟现实技术研发及应用推广，因此我们的技术始终围绕该行业的需求而 发展，相应的解决方案比较专业实用，性能和效果也更加出色。 ( 3 ) 输入和输出设备 虚拟现实技术的特征之一就是人机之间的交互性( i n t e r a c t i o n ) ， 为了实现人机之间充分交换信息，必须设计特殊输入工具和演示设备， 以识别人的各种输入命令，且提供相应反馈信息，实现真正的仿真效果。 不同的项目可以根据实际的应用可以有选择的使用这些工具，主要包 括： a 、头盔式显示器和跟踪器 b 、数据传感手套 c 、大屏幕立体显示系统 d 、三维虚拟立体声音生成装置 2 1 4 虚拟现实技术的典型应用领域 虚拟现实系统在远程教育、科学计算可视化、工程技术、建筑、电 子商务、交互式娱乐、艺术等领域都有着极其广泛的应用前景。利用它 可以创建多媒体通信、设计协作系统、实境式电子商务、网络游戏、虚 拟社区等全新的应用系统典型的应用领域有： ( 1 ) 教育应用 把虚拟现实用于建造人体模型、电脑太空旅游、化合物分子结构显 示等领域，由于数据更加逼真。大大提高了人们的想象力。激发了受教 育者的兴趣，学习效果十分显著。同时，随着计算机技术、心理学、教 育学等多种学科的相互结合、促进和发展，虚拟现实系统因此能够提供 更加协调的人机对话方式 ( 2 ) 工程应用 当前工程很大程度上要依赖图形工具，以便直观的显示各种产品， 目前，c a d c 埘已经成为机械、建筑等领域必不可少的软件工具。虚拟 现实系统的应用将使工程人员能够通过全球网或局域网按协作式方式 进行三维模型的设计、交流和发布，从而进一步提高生产效率并削减成 本。 ( 3 ) 商业应用 3 对于那些期望与顾客建立直接联系的公司，尤其是那些在他们的主 页上向客户发送电子广告的公司，i n t e r n e t 具有特别的吸引力分布 式虚拟系统的应用有可能大幅度改善顾客购买商品的经历。例如，顾客 可以访问虚拟世界中的商店，在那里挑选商品，然后通过i n t e r n e t 办 理付款手续，商店则及时把商品送到顾客手中 ( 4 ) 娱乐应用 娱乐领域是分布式虚拟现实系统的一个重要应用领域。它能够提供 更为逼真的虚拟环境，从而使人们能够享受其中的乐趣，带来更好的娱 乐感觉 2 2 虚拟现实技术实时性研究中关键技术 虚拟现实是多种技术的综合，其实时性【5 】研究的关键技术和研究内 容包括以下几个方面 2 2 1 实时环境建模技术 虚拟环境的建立是虚拟现实技术的核心内容，环境建模的目的是获 取实际三维环境的三维数据，并根据应用的需要，利用获取的三维数据 建立相应的虚拟环境模型。 建模技术是主要涉及到动态数据结构、计算机视觉、计算机图形和 图像等方法和理论。图形生成技术较为成熟，但要达到“实时”决非易 事。屏幕图形的刷新率至少不低于1 5 帧秒，人眼才不会觉察到明显的 图像跳动。这项技术不仅依赖于软件开发中三维图像显示算法的优化， 更重要的是有待于更新更好的计算机系统和图形加速系统的研制。 用计算机生成真实感图形一直是计算机图形学中最具有挑战性的 研究方向之一，图形的真实感反映了计算机生成的图形与客观世界的相 似程度，在虚拟环境中直接影响着场景的沉浸感。 2 2 2 实时显示技术 在虚拟现实系统中，虽然三维图形生成和立体图形生成技术已经较 为成熟，但复杂场景的实时显示一直是计算机图形学的重要研究内容。 实时显示阶段完成的工作包括三维场景的建立、静态模型的导入与定 位、运动物体的运动属性描述、动态环境的实时生成及显示。 规则物体在实对显示之前已经完成静态建模工作，在实时显示时需 要真实再现该三维对象。对已经建立三维模型的规则对象进行实时显 示，主要就是对该对象在三维场景中进行重定位，即管理该对象的变化， 它包括对象的平移、旋转、比例缩放等几何变换。 为了提高绘制速度，更好地实现实时动态显示，必须尽可能地减少 不必要的运算，所采取的主要技术如下： ( 1 ) 多精度模型实时调度 9 为了减少实时显示时的图形处理计算量，现在普遍采用层次细节模 型( l o d ) 技术来加速显示在实时显示时实时计算视点与三维对象的距 离，并由预先设定的阈值来确定模型的层次 在不同细节层次的模型之间切换时可能会引起视觉上的突跳，要解 决这一问题，一是建立更多不同精度的模型，相邻精度之间差别不大， 这样在切换时就比较圆滑，但过多精度的模型会大量占用系统内存，造 成系统资源的紧张。另一种方法是采用雾化技术，使远处的物体相对较 模糊，这样在动态切换时也可产生较圆滑的效果。 ( 2 ) 可见性裁剪 在动态显示几何模型时，观察点位于某一封闭物体之内( 外) ，这时， 位于该物体之外( 内) 的物体即为不可见，因而不必对不可见的物体进行 绘制此外，在三维几何模型中，落在所定义的观察空间之外的物体也 是不可见的，同样没有必要进行绘制。因此对于某些结构比较复杂的模 型，就可以在预处理阶段，计算出不同空间以及不同物体之间的可见性， 并存放起来，从而大大减少在动态显示时对可见性的测试和计算。当然， 复杂结构模型中的可见性计算也是比较复杂的，需要耗费不少时间，但 这可以在预处理中进行，不影响实时动态显示的速度 ( 3 实例技术 在复杂的三维场景中，往往会有同一种物体多次出现的情况。例如， 飞机上的导弹，仪表盘上的显示器、按键等等。这时，只需要在计算机 内存中存放一个实例，并通过几何变换而得到其它位置的物体。这样， 就可以大大节省内存，提高动态显示的速度 2 2 3 实时交互技术 虚拟现实中的人机交互远远超出了键盘和鼠标的传统模式，实时交 互技术已经成为计算机图形学中的一个重要研究课题。传感器技术是虚 拟现实交互性的体现。现有的头盔式三维立体显示器、数据手套等设备 有明显的缺点，不能满足理想的虚拟现实系统的需要。 2 2 4 实时场景数据传输技术 分布式虚拟现实系统的场景数据是由分布在网络中的用户节点共 享的，传输数据量较大，且实时性要求高，有必要研究传输技术及其提 高传输速度的相关技术。 首先由于各二子节点可能具有不同的网络构架，整个试验与测试系 统属于异构网络，为保证传输协议实现的透明性，有必要屏蔽掉网络的 异构特征，只为用户提供统一的软件层接口。 数据传输的实时性和准确性是整个系统网络协议实现中的主要矛 盾。由于数据传输流量较大，若实现为点到点的专用线路传输，则网络 开销大，系统成本高，系统难以实现。为降低系统实现成本，有必要实 1 0 现传输线路的多点共享使用t c p i p 协议来实现数据传输，能保证数 据传输的准确性，但由于t c p i p 采用面向连接的传输方式，系统的实 时性将受到影响。采用u d p 协议来实现数据传输，其面向无连接的传输 特征能满足系统的实时性要求，但这一特性无法保证数据传输的准确 性。 因此，分布式虚拟现实系统的传输层协议要求满足数据传输的实时 性和准确性两方面的要求而且在高实时性要求下，在进行数据传输时， 有必要针对兴趣组的多播数据传输方式和传输数据编码压缩技术进行 研究 另外，高性能计算处理技术也是重要的研究领域。它主要包括数据 转换和数据预处理技术：实时、逼真图形图像生成与显示技术；多种声 音的合成与声音空间化技术；多维信息数据的融合、数据压缩以及数据 库的生成；包括命令识别、语音识别以及手势和人的面部表情信息的检 测等在内的模式识别；分布式与并行计算，以及高速、大规模的远程网 络技术 2 3 分布式虚拟现实及其实时性问题 几十年来，计算机、通讯技术的同步发展和相互促进成为全世界信 息技术与产业飞速发展的主要特征。特别是网络技术的迅速崛起，使得 信息应用系统在深度和广度上发生了本质性的变化，分布式虚拟现实系 统( d v r ) 即是一个较为典型的实例。 分布式虚拟现实系统是基于网络的虚拟环境。所谓d v r 是指一个支 持多人实时通过网络进行交互的软件系统，每个用户在一个虚拟现实环 境中，通过计算机与其它用户进行交互，并共享信息。分布式虚拟现实 给虚拟现实的实时性研究又带来了新的研究课题。 在分布式虚拟现实系统中，由于各子系统可能具有不同的网络构 架，整个系统属于异构网络，为保证传输协议实现的透明性，有必要屏 蔽掉网络的异构特征，只为用户提供统一的软件层接口。而且由于数据 传输流量较大，实现数据传输的实时性和准确性是分布式虚拟现实沉浸 感、交互性，想象力特征的要求。因此，本文研究了一个v r i d l 场景的 交互浏览系统，旨在减少网络数据量和提高系统实时性。 第三章全景图实时生成技术研究 实时性问题是目前虚拟现实研究的一个热点，而虚拟场景的实时生 成、实时显示以及基于网络的场景压缩和实时传输是实时性研究的重要 内容虚拟场景的实时生成、实时显示的前提是解决场景建模问题。 虚拟现实的关键在于虚拟场景建模一虚拟世界的构造。虚拟现实 要求具有沉浸感，使得对逼真的虚拟环境的建立的要求越来越高。 围绕虚拟场景建模问题的解决方式主要有两种：一种是基于计算机 图形学的三维几何模型建模和绘制( g e o m e t r y - b a s e dm o d e l i n ga n d r e n d e r i n g - g b m r ) 技术，另一种是基于图像的建模和绘制( i m a g e b a s e d m o d e l i n ga n dr e n d e r i n g i b w r ) 技术 g b m r 这种几何的场景构造方法通常是建立场景的三维几何模型， 然后对场景中的光照、物体的材料、表面的纹理等特征进行描述，当视 点在场景中移动的时候，通过光强的计算和消隐等技术来生成视点观察 到的图像该方法需要进行大量的计算，对系统的硬件计算能力和图形 加速性能都有很高的要求，一般用在基于高性能图形工作站的系统 在虚拟现实技术的研究中，图像绘制的实时性和高质量往往是一对 难以解决的矛盾以往的虚拟现实系统一般通过g b m r 技术来生成，即 按基于图形渲染技术生成虚拟环境，这需要大量的环境建模工作以及昂 贵的专门硬件的支持。而且，计算机图形的生成与显示时间依赖于图形 的复杂度，这与虚拟现实的实时要求相矛盾。所以很多情况下不能避免 显示质量和景象复杂度受到约束。可以看到这种方法存在三个严重问 题： ( 1 ) 创建这样的虚拟环境很大程度上是一个人工建模的过程； ( 2 ) 由于实时要求，所以景象复杂度和质量受到限制； ( 3 ) 需要专门的图形处理硬件，限制了这种虚拟现实系统的推广 当传统的基于几何的绘制方法难以处理好这对日益尖锐的矛盾时， i b m r 技术提出了较为完善的解决方案并引起了人们极大的兴趣。这种 建模方式是近几年才发展起来的，该建模方式是在一定的图像处理算法 和视觉计算算法的基础上，由待建三维虚拟空间的有限幅图像样本来直 接构造三维场景。即是以环境中抽样出的离散图像组成基础数据，通过 处理与组织这些图像数据得到环境的连续描述的过程。i b m r 技术摒弃 传统的三维建模生成虚拟场景的方法，通过对一组预先采集到的场景图 像进行适当组合来完成虚拟场景的图像绘制工作。它具有真实场景的绘 制质量，而且算法复杂度与场景复杂度无关，只与图像的分辨率有关， 避免了大量的图形计算，逐渐成为研究的主流。 但是总的来说，目前的虚拟现实技术还很不成熟。尽管近年来在各 1 2 界的关注下，该技术已经取得了长足的发展，但是由于其发展时间有限， 技术难度高，因此当前的发展状况距离各行各业的实际需求仍然相差甚 远虚拟现实技术要得到充分的应用还有很多工作需要完成。 在虚拟现实硬件方面，正在大力发展基于p c 的低价格的虚拟现实 系统，而基于多个视频输入的系统也逐渐受到重视。而在虚拟现实软件 方面，正在出现管理不同输入的工具包，将来有可能发展成为操作系统 同时虚拟现实也在向网络化、智能化方向发展，最终将形成网络化的虚 拟社会 在基于图像的虚拟现实技术中，全景图的实时生成是其中重要的研 究内容。全景图的生成是通过将多幅场景图像进行拼接来实现的，而要 实现图像拼接，就要对图像进行匹配。图像匹配的方法主要分为两大类： 特征匹配和区域匹配。特征匹配是利用图像中的边缘、纹理、目标等显 著点来确定匹配位置；区域匹配是利用图像区域之间像素的相关性等进 行匹配 在全景图拼接啪中，由于图像匹配的起始匹配范围很大，造成了很 大的计算量，匹配的效率和精度都很低。有关快速匹配算法，如变灰度 级相关算法、序贯相似性检测算法、变分辨率相关算法、变模板相关算 法等，虽然匹配速度都有所提高，但其匹配的起始范围都还很大，因而 计算量也比较大。 本章的研究是基于特征匹配的方法来进行图像的拼接工作，试图通 过对相邻图像进行预处理，以便粗略确定匹配位置，从而显著缩小匹配 范围，以减小运算量，提高匹配速度，从而实现场景的实时生成。 3 1 基于图象的建模与绘制技术 目前，国内外相关学者已经围绕着i b m r 技术进行了一些研究，取得 了一批有意义的成果，提出并讨论了多种i b m r 技术的具体实现方法。 然而，由于发展时间较短，当前该项技术还不是很成熟，有许多问题仍 处于探讨阶段 i s m r 的主要特点是它的绘制是和场景复杂度无关的场景图像拼合 技术就是这样一种场景编码方法，它被大多数的i b m r 方法用来建立高 分辨率的复杂场景，例如柱面和球面全景图、环境映照等等。这种方法 利用预先获取的一组图像样本实现虚拟场景的3 6 0 度任意漫游。根据这 些方法的特点，i b m r 可以简单地分为四类：视点插值、全视空间函数 构造方法、全景图像拼合方法和深度映射恢复方法其中全景图像拼合 是利用照相机平移或旋转得到的部分重叠的图像样本生成一个较大的 甚至左右对接的全方位图像的场景绘制方法。它已成为i b m r 绘制方法 中的一项基本技术。 a p p l e 公司的“q t l i c k t i m ev l l ”就是基于该技术的一个典型的系统， 通过在全景图上开窗口，实时生成用户需要观察的虚拟环境，经不同全 景图之间的切换来实现在虚拟环境中的漫游，使用户能主动地从不同视 点和方向了解环境。 以全景图像技术为基础构建出的虚拟全景空间也是当今最成熟、最 实用的基于i b j l r 技术的虚拟现实系统 在基于全景图像的虚拟现实系统中，虚拟场景是按以下步骤生成的： 首先利用采集的离散图像或连续的视频图像序列作为基础数据，经过处 理形成全景图像；然后通过合适的空间模型把多幅全景图像组织为虚拟 全景空间。用户在这个空间中可以进行前进、后退、3 6 0 度环视、仰视、 俯视、近看和远看等操作。 虚拟全景空间具有如下的优点： ( 1 ) 不需要硬件加速就能在p c 机上实时运行； ( 2 ) 不依赖于特殊的设备，如头盔显示器等； ( 3 ) 能显示高质量图像，而且处理时间与场景复杂度无关 由此可见，在i b m r 绘制方法中，全景图像的拼接是较有代表性的一 项基本技术，目前广泛地应用于虚拟现实和计算机视觉等多个领域。关 于它的研究对于整个i b m r 技术有普遍意义 3 1 1 图象绘制的特点与难点 图像绘制技术嘲已成为计算机图像学领域的一个新的研究热点。基 于图像的方法是以计算机图像处理技术为基础，利用全景图集合来构造 虚拟环境，在虚拟环境中漫游相当于选择不同视角的全景图。它采用数 学模型中光学图像集合成所需的视图，从而产生全景图集合以构成虚拟 环境，在虚拟环境中漫游相当于选择不同的全景图。这种技术的优越性 是生成图像的质量独立于场景的复杂性，因而可以不用专门的硬件加速 就能获得真实感很强的图像和实时的交互速度。该方法可以实现图像实 时显示，但也有其限制： ( 1 ) 用户只能在事先创建的视点间漫游，不象基于模型的技术可以 很容易地产生其它视点。为解决只能在原图像摄取点进行漫游这一问 题，可通过在不同的图像或视点间进行插值或视图变换的方法有限解决 这些问题。其基本思想是：在不同的观察点取得三维场景或某一物体的 多幅图像，交互地给出或自动地求出每两幅图像间的对应点，再用图像 插值或变换的方法求出该物体对应于其它观察点的图像。此法需要解决 在图像插值时可能出现的空洞或重叠问题。 ( 2 ) 场景必须为静态的。解决静态环境限制的方法是结合图像绘制 和3 d 绘制，静态的背景用全景图绘制，运动物体用3 d 绘制。绘制好的 物体用a l p h a m a s k i n g 或z - b u f f e r i n g 方法实时合成在全景背景图上。 1 4 总之，基于图像的虚拟环境构建技术，能建立起真实感更强、实时性更 好的虚拟环境，是目前虚拟现实及多媒体技术研究的另一个热点 同时，基于图像的方法也面临以下主要难点： ( 1 ) 还没有好的无缝拼接算法实现基于序列图像的全景图的自动生 成 ( 2 ) 实现透视关系一致性也是难点之一 ( 3 ) 还没有高效的视图插值算法 ( 4 ) 基于图像的方法建立的场景由于实际上只有图像组成的封闭空 间，因此，只能实时浏览，而不能实时操纵 3 1 2 全景图生成原理 所谓全景图，就是视点位置固定而视线环视一周所观察到的所有帧 经过处理后所构成的图。全景图空间以全景图作为基本组成单位，在一 个视点处存储多幅不同深度的全景图。多幅全景图之间漫游，是通过不 同视点间的“平滑跳动”来实现的全景图可用计算机生成，也可用全 景相机拍摄或用普通相机拍摄后再加以镶嵌。此方法无须繁琐的场景建 模工作，能实时地显示构建的环境，处理时间独立于场景的复杂性，因 而不用专门的硬件加速就可获得真实感很强的图像和实时的交互速度。 在一个全景图中，只要视点不变，任意视线方向场景的生成过程就 是一个从环境图到新的视平面的投影过程，环境图的实时重投影技术成 为可视化、周围场景和交互式漫游的关键技术。基于图像的虚拟环境模 型如图3 1 所示，可分3 步完成 全景图模式 上 全景图节点选取 工 全景图构造 j工工 计算机绘制普通相机拍摄全景相机拍摄 上 图象镶嵌 ， j ， 上 全景图节点连接 上 虚拟环境 图3 i 基于图像的虚拟环境模型 ( i ) 节点的选择实际上是确定拍摄距离、角度方案，即以多大的间 隔拍摄，每个节点如何拍摄。 ( 2 ) 图的生成有以下途径： a 、计算机绘制该方法采用计算机图形学的技术给场景建模，然后 再绘制成全景图这样绘制全景图并不需要实时控制，因此可绘制比较 复杂的场景和采用真实感较强的光照模型。其优点是可容易得到任意形 状的全景图，且不需要任何附加步骤。其缺点是建模相当费时和繁琐。 b 、用全景相机直接拍摄其优点是容易得到全景图且不需要复杂的 建模工作。其缺点是需要昂贵的专门设备 c 、用普通相机拍摄出一系列相互重叠的照片，然后将它们镶嵌成 全景图。其优点是可做成任何形状的全景图，而不需要专门设备，可对 每幅相片进行曝光控制，因此，得到的