（计算机软件与理论专业论文）异构cve系统研究.pdf

浙江大学硕士学位论文 摘要 快速发展的三维显示技术和高性能网络，使协同虚拟环境步入了快速发展的 阶段，越来越多的用户在协同虚拟环境进行交互合作。几年来无线通讯高速发展， 多功能，高性能的移动设备不断涌现，人们采用的计算平台也不再仅仅局限于 p c 平台。人们不再仅仅在办公室中办公，通过移动通讯和笔记本，p d a 等，人 们的工作环境已经扩展到了随时随地都可能和可能需要和其他人进行协同工作 的地步。同时移动设备硬件性能的提高和新一代网络技术的发展，客观上也使得 移动设备已经具备了进行较复杂的协同工作的可能性，因此c v e 系统本身也开始 阳移动用户发展但是目前的c v e 系统的构架大部分还都是基于p c 用户的，由 于移动用户固有的界面，硬件，网络异构性，使得移动用户只能进行一些简单的 交互。在本文中我们提出了一个异构c v e 系统的框架，通过实现数据独立性和 设备独立性，使移动用户具备了和p c 用户进行复杂协同工作的可能性。 目前切、同虚拟环境中的计算平台一般都是p c 平台，因此传统的信息过滤中 的动态过滤率调整，主要是根据用户的地域密集性的变化进行动态调度，没有考 虑不同用户的硬件异构和网络异构对信息过滤的影响，因此如果采用传统的算法， 就会造成系统必须以参加的用户中性能比较差的节点为标准，从而使其他的离性 能计算平台无法得到充分的发挥。同时我们也可以看到，移动用户往往在协同工 作中扮演着和p c 用户不同的角色，不同的角色造成了用户需要感知的范围，用户 的操作类型的不同，这造成了移动用户完成任务需要的信息量和信息类型不同， 阳此需要根据这些异构性进行动态的调整，使得每个节点都能够充分发挥性能优 势。因此本文提出了基于用户角色的动态信息过滤技术在基于用户角色的动态 信息过滤技术中，我们首先对根据用，的角色建立性能的评价体系，当系统运行 时，首先通过约束条件集合，将评价体系中涉及的不同性能组成的性能空f c i j 约柬 在一个子空间内，在该予空间内的性能变动将使系统的各种关键性能处于个平 衡状态，不会造成出于过分提成某方而性能使其他性能下降以致无法完成协同任 务的情况发生，在此基础上通过性能的 i 价体系和用户的资源分配策略，动态调 整用户a o i 的大i , $ n 不同信息类型的信息过滤牢。 浙江大学硕士学位论文 在异构c v e 系统中，由于移动平台的限制以及本地响应时间和一致性控制之 间的矛盾导致一些传统的一致性控制策略，无法在异构平台实现。目前大部分的 一致性控制算法都是采用牺牲本地响应时间来获取高一致性。但是本地响应时间 是和网络延迟线性相关的，在移动网络中，移动网络的高延迟将使得本地响应时 i 甸大大增加，使得用户之问完成协同任务非常困难。因此本文提出了通过对操作 进行矢量化处理，将大部分操作转化为传输用户状态改变量，使多个用户对同一 个物体的并发操作可以进行操作效果的矢量合成，从而使得虚拟场景中的物体状 惫能够保持结果一致性。出于传输的是用户的状态改变量，不是物体的整个状态， 所以传输信息量可以大大降低，提供了多人同时操作一个物体的支持，并且大大 减小了平均本地响应时间，同时消除了大部分由于操作次序不同产生的不一致。 关键字：协同虚拟环境，一致性，信息过滤，异构协作 i i 浙江大孝硕士学位论文 a b s t r a c t r h ea v a i l a b i l i t yo f j n e x p e n s iv ea n dp o w e r f u lg r a p h i c sc a r d sa sw e l l a sf a s ti n t e r n e tc o n n e c t i o n sm a k ec o l l a b o r a t i v ev i r t u a le n v i r o n m e n t s v i a b l ef o rm i l l i o n so fu s e r sa n dm a n y n e wa p p l i c a t i o n s t h er e c e n t p r o l i f e r a t i o no fh e t e r o g e n e o u sc o m p u t i n gd e v i c e sa n dw i r e l e s sn e t w o r k t e c h n o l o g yp r e s e n t sn e wo p p o r l u n it i e sf o rc o m p u t e rs u p p o r t e dc o o p e r a t i v e w o r k ( c s c w ) w h i c hm a k ec o l l a b o r a t i r eh e t e r o g e n e o u s c o l l a b o r a t i v e v i r t u a l e n v i r o n m e n t s ( h e t e r o g e n e o u sc v e )i m p o s s i b l e t or e a l i z e ， h e t e r o g e n e o u sc v es u p p o r tu b i q u i t o u sc o l l a b o r a t i o n ， s oi tc a np r o v i d e w i d e s p r e a da c c e s s t os h a r e ds e r v i c e st h r o u g ha v a r i e t yo fi n t e r a c t i v e d e v i c e s ，i r r e s p e c t l v eo fw h e t h e ri n d i v i d u a l sa r em o b i l eo rd e s k b o u n d h o w e v e r ，d e v e l o p i n gg r o u p w a r et h a ti si n t e r o p e r a b l ea c r o s sd i v e r s e ，o f t e n m o b i l e e n v i r o n m e n t sc a r lb ed i f f i c u lca n dc o s t l y t h ef u n d a m e n t a li s s u e i st h a tc u r r e n ta p p l i c a t i o na r c h it e e t u r ef o rc v ea r en o to p e r a b l ew i t h i n e m e r g i n gu b i q u i t o u ss e t t i n g s t h j s p a p e re x p l o r e s t h i s p r o b l e ma n d p r e s e n t seg e n e r ich e t e r o g e n e o u sc v ep l a t f o r mt h a tp r o m o t e sn e wf o r m so f c o l l a b o r a t i o nt h r o u g hm o b i l i t ya n de v e r p r e s e n t c o m p u t i n gs e r v i c e s a n dw ep u tf o r w a r da nn o v e l a d a p t i v ef i i t e r i n gm e c h a n i s i l lw h i c h a ll o w i n gal a r g en u m b e ro fu s e r st op a r t i c i p a t ei na h e t e r o g e n e o u sc v e t h ec u r r e n tf i i t e r i n gm e c h a n i s mu s i n g r e g i o n 一，c e l l 一，o rl o c a l e - b a s e d a p p r o a c h e s a r ef a i l e dt oh a n d let h i s p r o b l e mb e c a u s et h e yi g n o r et h e h e t e r o g e n e i t yo fd e v i c ea n dw i l lm a k es l o w e rn o d e so v e r l o a d s ow ep u t f o r w a r dar o l eb a s e da d a p t i r ef i l t e r i n gm e c h a n i s mo fo u rs c h e m ei st oa l l o w s l o w e rn o d e st op a r t i c i p a t ei nt h es e s s i o nb yp r e v e n t i n gf a s tn o d e sf r o m f io o d i n gs l o wn o d e s w i t hl e o m a n ym e s s a g e s p o l i c i e sa n du s e r s p r e f e r e n c e sc a nb ee x p r e s s e da ss i m p l el i n e a re q u a t i o n sf o r m i n gam o d e l t h a td e s c r i b e st h es y s t e ma saw h o l ea sw e l la si t si n d i v i d u a lc o m p o n e n t s i i i 浙江大学硕士学位论文 w h e ns o l u t i o n st ot h i sm o d e la r em a p p e db a c kt ot h ep r o b l e md o m a i n ，v i a b l e s o l u t i o n st h a ta c c o m m o d a t eh e t e r o g e n e jt ya n ds y s t e mp o l i c i e sa r eo b t a i n e d f o re x a m p le ，s l o w e rn o d e sm a yr e c e i v el e s sf r e q u e n tu p d a t e st h a nf a s t e r o n e sf o ro n eo rs e v e r a l in f o r m a ti o ns t r e a m s w ea l s o s t u d y o nt h e c o n s i s t e n c y c o n t r o lm e c h a n i s mi nt h e h e t e r o g e n e o u sc v e t h ec u r r e n tc o n s i s t e n c yc o n t r o lm e c h a n i s mi nc v ea r e m o s t i yr u n o nt h ep c p l a t f o r m s o w e p u tf o r w a r da nn o v e lc o n s i s t e n c y c o n t r o lm e c h a n i s i l lu s i n go p e r a t i o nt r a n s f o r m ，b yt r a n s f o r mu s e ro p e r a t i o n a n ds t a t eu p d a t e m e s s a g et o u s e rs t a t ei n c r e m e n tm e s s a g ew em a k et h e c o m b i n a t i o no ft h ec o n c u r r e n tu s e re v e n t s p o s s i b l e ， a n d p r o v i d e ( n n c u r r e n t o p e r a t eo n t h es a m eo b j e c ta tt h es a m et i m e a sb e f o r et h e c o n c u r r e n to p e r a t eo nt h es a m eo b j e c ta ts a m et i m ei st h em a i nr e a s o no f t h ei n c o n s is t e n c y ，b u ti no u rm e c h a n i s mb yc o m b i n a t i o i lo ft h ec o n c u r r e n t e v e n t ，i ti sl e g a la n dw i l ln o tl e a dt oi n c o n s i s t e n c y k e y w o r d s ：c v e ，f i l t e r i n gm e c h a n i s m ，c o n s i s t e n c ym e c h a n i s m ，h e t e r o g e n e o u s c o l l a b o r a t i o n ， i v 1 1 相关领域的发展 第一章绪论 随着三维技术和网络技术的发展传统的c s c w 史美林1 9 9 5 计算机支持的 系统工作) 系统与虚拟现实技术相结合产生了分布式虚拟环境的分支领域，分布 式虚拟环境 潘志庚2 0 0 0 ( d i s t r i b u t e d v i r t u a le n v i r o n m e n t ，d v e ) 是单用户虚拟 环境网络化、多用户化的发展。传统的虚拟环境实现了单个用户在虚拟环境中的 漫游，与虚拟环境及其中的物体进行交互。分布式虚拟环境旨在将不同的局部虚 拟环境通过空间关联以构造大范围的虚拟环境，支持分布在不同地域的用户同时 进入虚拟环境，并与之进行交互。分布式虚拟环境强调用户对虚拟环境的体验， 用户在虚拟环境中的行为是彼此相互独立的。近2 0 年来，各种各样的分布式虚拟 环境应用变为了现实，在军事模拟，虚拟手术，娱乐等各种领域都获得了广泛的 应用。现在随着高带宽网络的发展，许多现有的系统可以支持多用户同时在一个 大场景，拥有众多复杂物体的分布式虚拟环境中，进行工作和交流。但是随着技 术的发展，虚拟环境的用户现在已经不仅仅满足于只是和虚拟环境进行简单的信 息交互，传统的一些应用领域比如漫游，导航之类，更多的是和虚拟物体之间的 交互，而缺乏人于人之间的交互，如何使人们在虚拟环境中和更好的和其他人之 间进行协作，以共同完成任务，就成了虚拟环境在网绍化后的一个重要问题，特 别是在军事，游戏，以及其他科研和商业领域，因此协同虚拟环境就应运而生。 协同虚拟环境 j o s l i n2 0 0 4 1 ( c o l l a b o r a t i v e v i r t u a le n v i r o n m e n t ，c v e ) 是一种多用 户的分布式系统，用户所有的活动都处于同一个概念空间虚拟环境中，而且 对于其他用户而言均是可见的。用户具有自主的行为，可以在虚拟环境中独自地 移动，用户之间能够用不同的方法进行通信和协作。 传统的协同虚拟环境基本上都是以p c 平台为客户端，以固定高速网络为通 讯信道的。但是随着近几年来无线通讯的高速发展，多功能，高性能的移动设 备不断涌现，人们采用的计算平台也不再仅仅局限于p c 平台。特别是由于移动 设备的发展，人们不再仅仅在办公室中办公，通过移动通讯和笔记本，p d a 等， 人们的工作环境已经扩展到了随时随地都可能和可能需要和其他人进行协同工 浙江大学硕士学位论文 作的地步。因此c v e 系统本身也出传统v e 系统向m o b i l ec v e 系统和m o b i l e 增强现实，混合式现实等新的领域扩展。随着移动设备硬件性能的提高和新一代 刚络技术的发展，客观上使得移动设备已经具备了进行较复杂的协同工作的可能 性，例如最新的p d a 已经达到了5 0 0 m 以上的主频，w i - f i 技术提供了i o m 以上 的接入带宽已经足够使移动设备进行一些复杂的交互协作，现在正在使用的2 。 5 代无线技术提供的1 4 4 k b i t s ，以及下一代移动网络技术即将提供的高达2 m b i t s 的带宽和f i 益增加的存储容量使目的广泛使用的手机用户可以进行简单的无线 手机网络游戏，如现在已经在i - a p p l i 终端运营的第一款大型m m o r p g 游戏 3 a m u r a ir o m a n e s q u e j a n 2 0 0 3 。随着将来各种新的设备和新的技术的发展，将使 得移动设备在c s c w 中扮演越来越重要的角色。 这就使得c v e 系统本身需要和c s c w 的另一个研究领域m o b i l ec s c w 史美林 2 0 0 2 进行结合。上世纪9 0 年代初，研究人员首先提出了在办公环境下利用可携 带移动设备进行无线通信和交互的可能性，随着c s c w 研究的深入和m o b i l e c o m p u t i n g 技术的发展，研究人员提出了m o b i l ec s c w 的概念，一方面，c s c w 的研究者们认识到移动性是c s c w 系统面向许多应用场景不可或缺的特性，1 9 9 8 年英国剑桥大学的两位学者l u 正p 和c h e a f l a 从c s c w 系统研究者的角度，提 出了c s c w 系统移动性支持的必要性；另一方面，m o b i l ec o m p u t i n g 的研究者们 认为移动计算所提供给用户的不应该仅仅是无任何时、无任何地获取信息的能 力，而应孩提供给用户以无任何时、无任何地进行协作的能力。在这样的背景下， m o b i l ec s c w 渐渐成了c s c w 领域中一个新的研究方向，并将成为c s c w 研究不 可或缺的重要组成部分。 本文主要讨论c v e 系统向移动领域扩展时，p c 与移动设备之间的硬件异构， 州络片构。性能异构和用户角色异构刘于协刷工作的影响和系统在体系构架，界 面协作，信息过滤和一致性控制中如果消除异构性的影响。目t * j m o b i l ec s c w 研 究由于移动特性给移动协作系统所带来的影响，其重点在协作任务的支持与协作 知识共享，因此虽然出于设备和网络条件的多样性。m o b i l ec s c w 系统需要考虑 不同的运行环镜中的异构性，但是m o b i l ec s c w 主要考虑的是移动设备之间的异 构性，目前大部分m o b i l ec s c w 考虑的是界面和运行平台之间的异构性的消除， 但是异构不仅仅指不同硬件设备的异构，不同的网络性能，拓扑，相同硬件，但 浙江大学硕士学位论文 性能相差很大也可以成为异构，甚至不同的软件环境也是异构的一种考虑情况， 其中以p c 与移动设备平台之涮的异构最具有代表性。融入了移动性支持的异构 协同虚拟环境平台具有更广泛应用场景，如移动多媒体虚拟工作场所、移动办公、 野外作业、军事野战协作通信和个人娱乐领域。 图1 1 相关研究示意图 1 2 移动技术的发展带给异构c v e 系统的机遇 移动数据通信技术的快速发展，出现了各种层次、多种规范的无线数据网络 通信技术，使得移动设备具备了和p c 进行高交互性协作的可能性： ( 1 ) 以无线蜂窝通信设施为基础，在广域网层次上目前已经广泛使用技术有： g p r s ( 通用无线分组业务，g e n e r a l i z e dp a c k e tr a d i os e r v i c e ) ，其最大原始数据 速率为1 1 5k p b s ；e d g e ( 全球增强型数据提升率，e n h a n c e d d a t a r a t e s f o r g s m e v o l u t i o n ) ，最大原始数据速率薹3 3 8 4 k p b s 。c d m a ( 码分多址：c o d e - d i v i s i o n m u l t i p l e a c c e s s ) ，目前使用中的c d m a1 x 的理论传输速率为1 5 3 。6 k b p s 。国际 电信联盟( i t u ) 在2 0 0 0 年5 月确定w - c d m a 、c dm a 2 0 0 0 和t d s c d m a - 三大主 流无线接口标准，写入3 g 技术指导性文件( ( 2 0 0 0 年国际移动通讯计划( 简称 i m t - 2 0 0 0 ) 。 新一代的3 9 技术将固有地集成无线数据通信技术，并提供更高 速率，最终目标为个人用户提供室内低移动速率下2 m b p s 的数据速率、室外步行 状态- b - 3 8 4 k p b s 的数据速率、高速车载状态下1 4 4 k p b s 的数据速率，最终为用户 提供一个跨越室内外的移动数据通信网络环境，目前3 9 手机已经问世，3 9 l 孓j 代也 即将到来。 浙江大学硕士学位论丈 ( 2 ) 局域网层次上，8 0 2 。l l 系列无线局域网协议标准取得了较快的发展。8 0 2 。 1 1 是i e e e 最初制定的一个无线局域网标准，主要用于解决办公室局域网和校园 网中用户与用户终端的无线接入，业务主要限于数据存取，速率最高只能达到 2 m b p s 。由于它在速率和传输距离上都不能满足人们的需要，因此，i e e e d 、组又 相继推出了8 0 2 。l l b 和8 0 2 。l i a 两个新标准，日f 者已经成为目前的主流标准，而 后者也被很多厂商看好。其中最新的i e e e 8 0 2 。1 1 e 可实现w l a n 图像和语音的实 时传输，8 0 2 。l l g 协议可将现有w l a n 的j 1 m b i t s ( i e e e s 0 2 。1 l b ) 的最高数据传 输速度提高到2 0 m b i “s 以上。 ( 3 ) 更低网络层次上，蓝牙( b l u e t o o t h ) 和红外技术，也使一些个人通讯设 备可以在更小的范围例如家庭环境中和p c 进行连网。其中蓝牙协议采用d s s 和 f r e q u e n c yh o p p i n g 技术，目标通信范围在0 。1 - 1 0 米内，支持的移动性很差，适 合于在小办公室和家庭场合，用来替代终端至h u b 的接入电缆，已有b l u e t o o t h1 。 l 规范标准提供1 m b p s 的最大原始数据速率； ( 4 ) 区别于前面的无线网络技术，w i r e l e s s a dh o c 网络是以游牧状态存在的。 a dh o c 网络是一种没有有线基础设施支持的移动网络，网络中的节点均出移动 主机构成。a dh o e 网络最初应用于军事领域，它的研究起源于战场环境下分组 无线网数据通信项目，该项目由da rpa 资助，其后，又在1 9 8 3 年和1 9 9 4 年进 行了抗毁可适应网络su ran ( survivabl eada pt iven u 【woj k ) 和全球移动信息系统gl omo ( globalinform ationsyst e m ) 项目的研究。由于无线通信和终端技术的不断发展， a dh o e 网络在民用环境下也得到了发展，如需要在没有有线基础设施的地区进 行临时通信时，可以很方便地通过搭建a dh o c 网络实现。 1 3 移动技术给异构c v e 系统带来的挑战 移动技术在给异构c v e 系统带来实现可能性的同时也带来了巨大的挑战。主 要有七个挑战： 硬件的局限 浙江大学硕士学位论文 相对于p c 来说移动设备存在着c p u ，内存，信息传输率等方面的差异，这 在一定程度上限制了移动设备能够实现的功能强弱。因此程序运行时必须考虑到 系统硬件的限制，比如一些在p c 平台上面能够完美解决相关问题的控制算法， 有可能由于移动设备的计算能力限制无法达到预期的效果。 网络通讯 移动通讯网络的快速发展已经提高了移动通讯在带宽和稳定性上的差异，但是目 前相对于固定网络来说，其差距还是比较明显的，特别是移动网络本身的延时和 不稳定性对于协同任务的顺利完成会带来非常大的挑战。目前大部分的网络通讯 协议都是在固定网络中进行试验和推广的，当这些协议本身被推向到移动通讯领 域时，由于移动网络高延时，不稳定性和移动性，使得传统协议在应用过程中遇 到了许多困难，虽然目前有许多专门针对移动网络进行优化的协议，例如m o b i l e i p ，i - t c p ，s d p ，d s d v 等，但这些还没有获得广泛应用，这就造成了原来的网 络应用程序旦移植整合到移动网络时，可能无法达到理想的效果甚至无法完成 应用。 系统构架的开放性 因为使用协同虚拟环境的用户有可能来自各个地方，使用不同硬件，不同操 作系统，所以系统框架必须具有丌发性，以便支持各种软硬件平台的用户。因此 系统框架的设计不应该被特定的硬件软件或网络协议所限制。硬件系统和软件平 台的不同将给应用系统的性能造成了相当大的影响。传统的软件系统只需要考虑 某一个平台，或几个平台的适用性，可以采用一定的跨平台技术进行解决。但在 p c 与移动设备之间的通讯模型中，即使采用各种跨平台技术，例! t 1 j a v a ，中间件 技术等，也只能解决一部分的跨平台问题，例n j a v a 本身用于p c 的类库i 2 s e 和用 于移动设备的j 2 m e 类库本身就存在差异性，只能解决语言级别的异构性或同类设 备之蒯的异构性。因此构建一个可以跨越p c 和移动设备的系统构架将在很多问 题上遇到困难。另外移动设备的硬件组成相对于p c 平台来说更加多样化，不同 的硬件组成在运行不同协作任务的时候存在的性能瓶颈不同，因此应用程序必须 具备一定的自适应性，以最大限度的发挥硬件功能。一些移动设备可能在现在或 浙江大学硕士学位论文 将来装备一些特殊硬件系统，系统必须具备较好的可扩展性，提供对非常规输入 输出设备的支持。 群体感知 在协同虚拟系统中，用户往往需要协同工作以完成某项任务，而协同存在和 感知l p r e s e n c e a w a r e n e s s ) 是协作质感的重要保证，由于无线网络中存在网络 延迟大和网络短线比较频繁的特性，协同存在和感知在有移动用户参与的协同虚 拟环境中具有更重要的意义。特别是一些参与协作的移动设备可能装备了g p s 等 服务定位系统，系统必须提供该类服务的位置感知和移动性感知。同时除了提供 虚拟环境中的通过用户化身的感知外，需要提供较完善的团队感知功能，支持用 户不在一个场景中时能够通过其它感知通道进行联系，例如团队中的用户可以在 完成任务过程中进行文本，音频甚至视频的交互，通过多种手段了解到协作团队 中的其他用户的成员列表的变化，各个用户当前的工作进展，是否需要帮助等。 s e s s i o n 控制的强壮性 断连操作的普遍存在是异构c v e 系统必须解决的问题。传统的s e s s i o n 控制中 对于网络断丌的情形，在有线状态下常常当成网络错误来处理，导致系统的异常 中止；在无线状态下，断连应该当成一釉特定的网络通信状态来处理，短暂的网 络中断不应该中断正在进行中的协作会话，系统应根据当前的协作上下文或屏蔽 网络中断事件。同时s e s s i g n 控制的健壮性是协作系统能否作为分布企业信息基础 设施的关键，在无线移动条件下，山于移动性、网络通信的断连特性，必须保证 群体的协作过程、协作状态、协作情景、协作历史过程能够独立于协作群体的移 动而存在，从而能够做到在任何地点、任何时间下为有共同任务目标的群体用户 提供l ：i 匀、作。 一致性 所有的用户在同一时间看到虚拟世界必须保持高度的一致性，这意昧着一个 用户的操作引起的场景变化必须转发给其他用户的客户端程序，以同步更新所有 节点的环境。不幸的是由于硬件和网络的传输延时，导致用户的本地相应速度和 6 浙江大学硕士学位论文 一致性的存在矛盾，使得一致性控制必须在绝对的一致性和较快的用户响应事件 两者之问进行调和。 用户界面的自适应性 为了在各种无线终端上提供协作能力，要求协作系统的信息能够被多态显示， 系统要为协作信息提供多态性的结构化存储，使系统能够在特定的应用语义下提 供确当的信息内容和显示视图，x m l 语言为这一需求提供了可能性。但是移动 设备的界面和p c 的界面差别很大，不同的移动设备之间界面的大小，表现度也 千差万别。传统的m o b i l ec s c w 中一般主要考虑的是界面带来的异构性。而当p c 与移动设备进行互联时就需要考虑如何在移动设备上表现复杂的虚拟环境的场 景。特别是由于目前移动设备的性能还无法达至r j p c 的水平，大部分的移动设备 上只能采用2 维界面，而目前大部分的协同虚拟环境采用的是三维界面，这就需 要考虑三维界面和二维界面之间如何进行数据表示和相互协作。同时大量无线终 端的出现，使传统的c s c w 研究的人机界面、人人界面的交互问题日益突出，传 统的键盘、鼠标、显示器( c r t ) 界面在无线移动终端上不再是最有效的方式，而 需要代之以更友好的人文界面，如传统的笔输入、| 力- 作者姿态及其它可视化输入、 三维图形和动画、以及感知环境的其它传感系统。 1 4 相关研究 目前对于c v e 系统扩展到移动领域时，由于用户之间设备和通讯信道的异构 性的研究还比较少，大部分对于p c 与移动设备的异构交互研究都是存在于原来 的m o b i l ec s c w 领域，主要研究移动设备本身之间的异构，无法与p c 和移动设 备之间的异构性相比，并且大部分研究集中在界面异构方面。传统的c v e 系统中 对于异构性的研究绝大部分都只是考虑到了p c 平台中由于硬件和网络平台的差 异产生的性能方面的异构。目碰i m o b i l e 增强现实，混合现实中也由于其虚拟场景 r 涉及到移动设备，必须考虑移动发备与p c 的差异，但是目前这类系统的交互 性都不是很强，移动设备往往处于配角地位，例如系统中移动设备的脚色可能仅 仅是通过g p s 型号获取用户或其他辅助设备的位置信息，显示一个移动用户的化 浙江大学硕士学位论文 身位置信息，而没有提供协同虚拟环境中复杂交互功能的支持。 f 1 ) m a g i cl o u n g e 项日 m a g i cl o u n g e m i o u n g e 是德田人j 嘴￥能研究中心( t h eg e r m a nr e s e a r c h c e n t e rf o r a r t i f i c i a li n t e l l i g e n c e ) 等多家研究所合作的一个研究项目，主要用于解 决采用异构通讯进行协同任务合作时产生的问题，使移动用户可以不需要了解更 多的通信细节就可以年, t j p c 用户进行交互。在m a g i cl o u n g e 研究人员建立了一个 虚拟会议空间，在这个虚拟空问中币同地点，不同设备的用户可以互相交谈，对 某些任务进行协作商谈，用户可以在其中通过文本，音频，图像等多种交互手段 和其他用户进行交互协作，共同完成某项任务。 图1 2m a g i cl o u n g e 项目示意图 ( 2 ) 英国诺丁汉火学的混合式现实实验室( t h em i x e dr e a l i t yl a b o r a t o r y l 该实验室在首先丌发了一个称为c a ny 0 us e em en o w ? ( c y s m n ) f l i n t h a m 2 0 0 3 的游戏。在该游戏中，共有两类用户，一类是p c 用户，直接连接到本地 i n t e r n e t n 络中，另外一类是移动用户，移动用户装备了一台i p a q 的p d a ，一个 用于显示移动用户当前位鼹的g p s 接收器，并通过8 0 2 。1 l b 连接到本地的固定网 络上，游戏中采用了混合式现实显示技术，移动用户在实际的街道中行走，通过 对街道进行3 维建模芹 i g p s 获取移动用户在街道上的位罨实现。下面是游戏p c 界 浙江大学硕士学位论文 面的截图，p c 用户在图中用蓝色人型方框表示，白色人型方框代表p c 用户自己 在本地节点的当前位置，而黄色人型方框表示移动用户，p c 用户和移动用户之 间可以通过文本和语音等其他通讯手段进行辅助协作。 这个是移动用户的界面。 图1 _ 3c y s m n 系统的p c 界面 图1 4c y s m n 1 7 , j p d a 界谢 c y s m n 只是解决t 1 c 与移动用户之问的互动，但没有对p c 与移动用户之间 的协作进行深入研究，同时该实验室进一步采用中问件技术提出了一个异构交互 平台f u s e s h a h f a m2 0 0 2 1 ，以消除不问平台和硬件之间的异构。 下面是浚实验室采n f u s e 平台将协同虚拟舅：境m a s s i v e i j 。展到移动用户 浙江犬学硕士学位论文 的一个截图，左边是携带g p s 设备的移动用户，右边是携带头盔式显示器的操作 人员，中间是用户可以看到的3 维场景，其中在左边的就是移动用户在虚拟场景 中的化身。 图1 5f u s e 平台在m a s s i v e 系统上的应用 ( 3 ) 美国r u t g e r 大学的c a i p ( c e n t e rf o r a d v a n c e di n f o r m a t i o np r o c e s s i n g ) 研究中 心 r u t g e r 大学的c a i p 研究中心首次对于基于p c 的三维世界和基于移动设备 ( p d a ) 的二维世界之间的用户复杂交互协作行为进行了深入的研究，对于传统的 协同虚拟环境与移动设备协作时产生的硬件性能受限，资源异构和多样化对于用 户协作的影响进行了详细分析。该实验室丌发t d i s e i p l e k r e b s2 0 0 3 ( d i s t r i b u t e d s y s t e mf o rc o l l a b o r a t i v ei n f o m m t i o np r o c e s s i n ga n dl e a r n i n g ) 以用于对p c 与移动 设备在用户界面，网络传输等多个方面的异构性进行研究。下面是该系统平台上 丌发的一个用于对三维二维之间的协作性能测试的试验系统。 左图图是p c 用户的界面，p c 用户可以通过键盘鼠标操作三维空间中的物体 右图是p a l m 用户的界面，p a l m 用户只能通过p a l m 上的有限几个按键在二维平面上 操作物体 p c 用嘲p a l m 用户可以看到对方的动作，并可以通过网络互相进行讨论，共同 协作，以在最短时间内移动物体到特定地点莉】方位。 浙江大学硕士学位论文 1 5 本文的组织结构 图1 6 d i s c i p l e 项目示意图 本文后续几章的内容安排如下： 第二章提出了一个基于异构c v e 的系统结构，构建t p c 与移动设备协作的 一个平台，分析和解决了传统的基于三维界面的复杂虚拟环境系统与移动设备互 连时的硬件异构和界面转化问题。 第三章研究目前 c v e 系统中的一致性控制算法，同时提出了适用于异构c v e 系统的基于用户角色的信息过滤技术。 第四章对一致性问题扩展到移动设备存在的一些问题进行了分析，并且提出 新的一致性控制策略 第五章是是总结与展望 浙江大学硕士学位论文 第二章异构c v e 系统构架 2 1 系统总体结构 在我们的原型系统中采用的是客户机服务器结构。客户机n 务器结构对于一 些建立比较复杂用户操作控制和管理无疑是比较简单而有效的。在客户机，服务 器结构中，所有用户的操作都首先被发送到服务器，再由服务器决定发送给那些 用户，以及是否需要进行一些其他的诸如权限控制，流量控制。系统可以根据不 同的网络情况会话需求方便的进行调解。同时通过把一些必要的信息处理控制 机制放置在服务器可以减少系统遭受非法网络攻击的危险性。因此c s 结构相对 于p 2 p 结构可以提供方便而有效的程序流程管理以及一些附加性能的要求。 同时由于移动设备与p c 进行交互时，一般移动设备会成为交互的瓶颈所在。 因此最大限度的减少移动设备客户端的计算负荷和网络负荷对于异构平台之间 的| 办作是尤为重要的。对于客户端来说，假定用户需要感知的其他用户共有n 个， 接收每个用户的更新信息所需要的网络负荷为kb y t e s 。那么在客户机月艮务器模 j 、，川1 户的总需求带宽为b l ：( n + ) + k b y t e s 。在p e e r t op e e r 模式下，由于 用户需要向其他n 个用户节点发送本地节点的更新信息，因此其总带宽负荷为b 2 2 2 8 n + k b y t e s ，可见当n 较大时b 2 = 2 + b 1 。因此采用客户机朋陵务器结构相对于 p e e r t o p e e r 结构来说可以通过将计算能力和网络负荷向服务器端倾斜，从而一 定程度上降低了本身资源有限的移动客户端的负载。完整体系结构如下图所示： 图2 1 系统结构图 浙江大学硕士学位论文 2 2 系统的主要组成部分 虚拟世界 每个世界可能有几个虚拟场景组成，同时每个虚拟场景包括两个部分的虚拟 物体集，静态虚拟物体集( 系统中状态不能改变的物体) ，动态虚拟物体集( 状态可 能改变的物体，系统主要控制对象) 。服务器和客户端的虚拟世界有比较大的区 别。由于客户端用户需要看到一个完整的可以显示在桌面，头孺式显示器等设各 上的图像，所以在客户端得虚拟世界包含了完整的从抽象数据结构到最后视屏显 示用的完整模型的所有数据结构，而对于服务器来讲主要适用于一些一致性，持 续性控制用的，所以只需要表示虚拟世界逻辑结构的抽象数据结构模块。 对象管理模块 当本地用户对一个虚拟物体进行操作时，对象管理模块必须能够检测到这个 操作，同时记录必要的操作信息。当一个用户在远端对物体进行了操作时，对象 管理某块必须即时的把本地该物体的状态进行劂新以保持显示的一致性。同时进 步的对象管理模块必须支持，在系统运行过程中，动态进行添加物体，删除物 体等操作。 事件箭理模块 当本地用户操作发生时，客户端的事件管理模块首先必须决定这个操作是否 应该被发送到其他客户端。如果该事件是需要转发的事件，事件管理模块首先判 断事件的类型和事件的重要性，同时分机事件的信息，以把事件打包压缩成适合 网络传输的格式，发送给相应的传输模块。如果对象管理模块接受到一个网络事 件包，按相同的方式把分析信息包以构建本地的具体可执行事件，从而把远端用 户的操作在本地虚拟环境中重现。事件管理模块的另一个功能是在网络负担较高 时，过滤掉一些重要度比较低的事件，而确保关键事件的准确传输。 致性控制模块 如果在同一时候多个用户尉时操作同个物体，或者存在因果关系的物体 组，由于网络延时就可能导致在不闹节点的用户看到的最终结果不一致。致性 浙江大学硕士学位论文 控制模块就是用来确保在同一时间不同用户所看到的虚拟场景是相同的。目前已 经提出了许多用于一致性控制的算法，例如加锁法，瞬间加锁法，时间扭曲法等。 大部分同步控制机制开始都是用于大型军事模拟系统，之后才力口以改进后用于其 他领域，例如多人网络游戏。但是这些机制的缺点是不能同时确保高一致性和短 用户响应时阃。 场景管理 服务器和客户端都拥有这个模块，但是具体的功能相差很大。 a 。服务器端的功能 当程序运行了一段比较长的时问后，虚拟物体的状态可能改变了很多，因此 当个新的用户加入时，在读取原始的配置文件后，必须等待一长串事件序列在 本地执行完，获敬用户的最新状态，以保持和其他客户的一致性，如果事件足够 多的话，这将会是个漫长的过程。所以场景管理模块每过一段事件就需要把最 新的物体信息打成一个包，以便在用户加入时，直接用这个信息包对物体状态进 行刷新，之后再把其他事件发送给用户，这样就可以大大减少用户中途加入的开 销。系统必须选择一个合适的时间对虚拟环境中的物体信息打包，太频繁会影响 系统的正常运行，间隔太长会导致必要的网络事件序列太多影响瞬时网络带宽和 用户等待时削。当管理员添加了一个新的物体时，场景管理模块必须把新的物体 配置文件发送到所有的客户端，同时有可能管理员需要添加一种新的物体到场景 中来，这时候服务器除了发送物体配置文件外，还需要把详细描述该物体的资源 文件也分发到各个客户端，以刷新客户端的物体类库。 b 。客户端的功能 在程序启动的时候对原始的物体配置文件进行解析，同时通过本地的资源文 件初始化本地的虚拟场景。场景中添加了一个新种类的物体时，如果本地资源文 件不存在，需要从服务器上下载最新版本的文件，以正确的在客户端显示该物体。 当服务器对一些基本的静念物体的配簧刷新时，场景管理模块需要自动更改本地 的相应配置同时使本地的显示与服务器保持一致。 4 浙江大学硕士学位论文 组控制 协同虚拟环境中很多任务都需要多人协作才能完成。完成同个任务的多个 用户可以组成一个工作组，一个工作组中的用户有可能在地理上处于各个不同地 域，组成工作组后可以方便的在同组成员间进行通讯，交流信息，用户也可以根 据需要