（计算机软件与理论专业论文）基于pccluster的并行绘制及其分布式输入虚拟现实环境.pdf

武汉理t 大学硕+ 学位论文 摘要 虚拟现实技术是计算机技术高度发展的综合技术，它朝着沉浸，交互，想 象的特征方向发展。多台p c 机的集群机器驱动的基于大屏幕投影的虚拟现实 环境在国内出现，并在视景仿真，教学，娱乐等方面广泛使用。使用目前常用 的场景图a p i 开发的软件平台，虽然有着比较丰富的功能高效的性能，但在节 点之问同步，设备交互通信等诸多方面仍然存在着不足。 2 0 世纪9 0 年代出现的c a v e 自动化虚拟现实环境是基于共享内存的高端 工作站驱动的沉浸式虚拟现实环境。共享内存的模式会造成价格昂贵，不方便扩展 等问题，而通过分析c a v e 的软件设计，将它做面向集群环境的扩展是有可能的。 另一方面，以传统流水线中分布元素的阶段的方法划分出了s o r t f i r s t ， s o r t m i d d l e ，s o r t l a s t 三种模式，并在这一理论的指导下产生了许多实例系统， 同时，还出现了s o r t f i r s t 分布图元定义和s o r t 1 a s t 合并象素混合的新模式。 w i r e g l 系统将这一模式中s o r t f i r s t 的对象改为o p e n g l 指令流中的指令并着眼 于节点间的指令流级的同步问题。为了挖掘新的集群环境下的软件体系，又出 现了对流水线中场景管理和场景绘制的划分：场景管理阶段包括设备输入并同 步，系统对输入数据响应，定义场景；场景绘制是在定义的场景之上流水线的 后续工作。从而有了在不受场景管理阶段变化影响，在场景绘制的阶段，指令 与操作系统通信时同步的新体系。而通过对流水线划分阶段标准的讨论以及说 明新的划分方法出现，文本最终分别以保留模式和立即模式为例论述了分布式 输入虚拟现实环境与并行绘制机制结合的可能。 做为c a v e 系统的后续开源项目v rj u g g l e l 的集群环境扩展，c l u s t e r j u g g l e r 主要着眼于场景管理阶段，即从设备输入到场景定义时的节点问同步问 题。o p e n s c e n e g r a p h 是集群环境下分布场景定义的软件体系。它们的结合从理 论上是可行而有效的方案。 在实验过程中，首先说明了v rj u g g l e r 软件包的各个组件的名称功能，然 后说明了在w i n d o w s 操作系统的集群环境下v rj u g g l e r 软件的编译，安装和设置问 题，接着说明了v rj u g g l e r 提供的a p i 的二次开发方法和场景漫游实例的应用程序 开发过程，并给出了相应的x m l 文件配置方法，最后给出了实验的效果。 总结全文的基础上，给出了工作不足之处，并且对未来的工作做了简要的 展望。 关键词：沉浸式虚拟现实；并行绘制；v rj u g g l e r ；o p e n s c e n e g r a p h a b s t r a c t t h ev i r t u a lr e a l i t yt e c h n o l o g yw a sat e c h n o l o g yu n i v e r s e dw i t ht h eh i g h l y d e v e l o p e dc o m p u t e rt e c h n o l o g y i t w a sd i r e c t e dt ot h et r e n do fi m m e r s i o n ， i n t e l l i g e n c ea n di m a g i n a t i o n t h ev i r t u a lr e a l i t ye n v i r o n m e n tb a s e do nl a r g es c a l eo f p r o j e c t i o nd r i v e nb yp c c l u s t e r s ，h a de m e r g e d d o m e s t i c ，a n dw a sp r e v a l e n t l yu s e di n t h ef i e l do fs i m u l a t i o n ，e d u c a t i o na n de n t e r t a i n m e n t a l t h o u g hi tw a so fm u l t i p l e f u n c t i o na n dv a l u a b l ep e r f o r m a n c e ，s t i l l ，b yt h ew a yo fu s i n gt h ec o m m o n l ys c e n e g r a p ha p ip l a t f o r mh a ds o m ed i s a d v a n t a g er e s p e c t i n gt ot h es y n c h r o n o u sb e t w e e n t h en o d e sa n dt h ec o m m u n i c a t i o no f t h ed e v i c et ot h es y s t e m l a s t9 0 s ，t h ec a v ea u t o m a t i cv i r t u a lr e a l i t ye n v i r o n m e n tt h a tw a sd r i v e nb a s e d o nt h eh i g he n ds h a r em e m o r yw o r k s t a t i o n ，w a sa ni m m e r s i v ev i r t u a le n v i r o n m e n t t h e p a t t e r no f s h a r em e m o r yc a u s e dt h ep r o b l e m so fe x p e n s i v ei np r i c e , i n c o n v i e n c e i ns c a b i l i t ya n ds u c hl i k e w h i l e ，b ya n a l y z i n gt h ea r c h i t e c t u r eo ft h ec a v es o f w a r e , i tc a nb es e e nt h a ti ti sp o s s i b l et oe x t e n di tt ot h ed u s t e r i no t h e rh a n d ，t h ec o n v e n t i o n a lc a t e g o r yt h a tw a sc l a s s i f i e db yt h es t e p t h e p i p e l i n ed i s t r u b u t e dt h ee l e m e n t s ，t h es o r t - f i r s t ，s o r t - m i d d l e ，a n ds o r t - l a s tm o d e w a s r e l e v a t e d ，a n dt h u s ，i n d u c i n gm a n ys y s t e m sa st h ei n s t a n c eo f t h et h e o r y a m o n g t h e m ，t h e r ew e r en e wm o d e t h a th y b r i dt h es o r t f i r s t sd i s t r i b u t i n gd e f i n eo fg r a p h i c e l e i l l e n t sa n dt h es o r t l a s t sc o m b i n a t i o no ft h ep i x e l w i r e g lm o d i f i e dt h eo b j e c to f s o r t f i r s tt ot h eo p e n g lc o m m a n d sa n dt h u sf o c u s e do nt h es y n c h r o n o u sb e t w e e n t h en o d e si nt h el e v e lo fc o m m a n d s i no r d e rt oe x p l o r et h en e ws o f t w a r e a r c h i t e c t u r e n e wc a t e g o r yw a se l a s s i f i e di nt e r m so fs c e n em a n a g e m e n ta n ds c e n e d r a w i n g ：t h es c e n em a n a g e m e n ts t e pi n c l u d i n g t h ei n p u to ft h ed e v i c ea n di t s s y n c h r o n o u s ，t h a tw a st h es y s t e m sr e s p o n d e n s et ot h ei n p u td a t aa n dt h ed e f i n eo f t h es c e n e ；w h i l e ，s c e n ed r a w i n gt h ep i p e l i n e sw o r ka f t e rt h es c e n ed e f i n i n g t h u s ， t h e r ew e r en e wa r c h i t e c t u r ef o c u s e do nt h es y n c h r o n o u so fc o m m u n i c a t i o nb e t w e e n t h ec o m m a n da n dt h eo sw i t h i nt h es t e po fs c e n ed r a w i n g ，t h a tw a sb a r e l y i n f l u e n c e db yt h em o d i f i c a t i o no ft h ei n p u td a t a t h e r e f o r e ，b yt h ed i s c u s s i o no f s t a n d a r do f t h ec l a s s i f i c a t i o no f p i p e l i n ea n dt h ei l l u s t r a t i o no f t h en e wc l a s s i f i c a t i o n ， l i 武汉理t 大学硕十学位论文 t h ep a p e rf i n a l l yd e m o n s t r a t e dt h ep o s s i b i l i t yo ft h ec o m b i n a t i o no fd i s t r i b u t ei n p u t v i r t u a le n v i r o n m e n ta n dt h em e c h a n i s mo fp a r a l l e lr e n d e r i n g , b yt h ei n s t a n c eo f r e t a i nm o d ea n dt h ei m m e d i a t em o d e a st h ec l u s t e re x t e n s i o no fc a v es y s t e m sf o l l o w i n go p e ns o u r c ep r o j e c tv r j u g g l e r , c l u s t e rj u g g l e rm a i n l ys o l v e dt h ep r o b l e mo fs c e n em a n a g es t e p ，t h a tw a s t h es y n c h r o n o u si s s u ef r o mt h ed e v i c ei n p u tt ot h es c e n ed e f i n e o p e n s c e n e g r a p h w a st h ea r c h i t e c t u r eo fd i s t r i b u t i n gs c e n ed e f i n i n gu n d e rt h ed u s t e re n v i r o n m e n t t h e i r sc o m b i n a t i o nw a sa p r o m i s i n ga n de f f e c t i v es o l u t i o n d u r i n gt h ee x p e r i m e n t ，f i r s t l y , t h ev a r i o u sc o m p o n e n t sn a m ea n df u n c t i o no f t h ev r j u g g l e rs u i t e sw a si l l u s t r a t e d ，t h e nt h ec o m p i l e ，i n s t a l la n ds e t t i n go f t h ev r j u g g l e rs o f t w a r ei nt h ec l u s t e rw i t ht h ew i n d o w so sw a sd e m o n s t r a t e d ，f o l l o w e db y t h ei l l u s t r a t i o no fm e t h o l o g yo fu s i n ga p ip r o v i d e db yv rj u g g l e ra n dt h e d e v e l o p i n gp r o c e s so ft h ei n s t a n c eo fs c e n en a v i g a t i o n ，a n dt h ex m lc o n f i g u r a t i o n w a sg i v e nr e s p e c t i v e l y , f i n a l l y , t h ee x p e r i m e n tr e s u l t e dw a sp r e s e n t e d b a s e do nt h ec o n c l u s i o no ft h ew h o l ep a p e r , t h es h o r t a g ew a sg i v e na sw e l la sa b r i e f p r o s p e r i t yo f t h ef u t u r ew o r k k e y w o r d s ：i m m e r s i v ev i r t u a le n v i r o n m e n t ；p a r a l l e lr e n d e r i n g ；v rj u g g l e r , o p e n s c e n eg r a p h i i i 独创性声明 本人声明，所呈交的论文是我个人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均己在论文中明确的说明并表示了谢意。 研究生签名： 关于论文使用授权的说明 日期毕6 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后遵守此规定) 研究生( ：心盛导师( 签孙毖日期w ) 访 武汉理工人学硕士学位论文 第1 章绪论 1 1 关于虚拟现实概念 虚拟现实是门综合技术，它以计算机技术为主，综合利用计算机三维图形 技术、模拟技术、传感技术、人机界面技术、显示技术、伺服技术等，来生成 一个逼真的三维视觉、触觉以及嗅觉等感觉世界，让用户可以从自己的视点出 发，利用自身的功能和一些设备，对所产生的虚拟世界这一客体进行浏览和交 互式考察。虚拟现实是在计算机中构造出一个形象逼真的模型。人与该模型可 以进行交互，并产生与真实世界中相同的反馈信息，使人们获得和真实世界中 一样的感受。当人们需要构造当前不存在的环境( 合理虚拟现实) 、人类不可 能达到的环境( 夸张虚拟现实) 或构造纯粹虚构的环境( 虚幻虚拟现实) 以取 代需要耗资巨大的真实环境时，就可以利用虚拟现实技术。为了实现和在真实 世界中一样的感觉，就需要有能实现各种感觉的技术。人在真实世界中是通过 眼睛、耳朵、手指、鼻子等器官来实现视觉、触觉( 力觉) 、嗅觉等功能的。 人们通过视觉观看到色彩斑斓的外部环境，通过听觉感知丰富多彩的音响世界， 通过触觉了解物体的形状和特性，通过嗅觉知道周围的气味。总之，通过各种 各样的感觉，使我们能够同客观真实世界交互( 交流) ，使我们浸沉于和真实 世界一样的坏境中。在这里，实现听觉最为容易；实现视觉是最基本的，也是 必不可少的和最常用的；实现触觉只有在某些情况下需要，现在j 下在完善；实 现嗅觉还刚刚开始。 虚拟现实有三“l ”特钳，即“沉浸( i m m e r s i o n ) ，“交互( i n t e r a c t i o n ) ” 和“想象( i m a g i n a t i o n ) ”，如图1 1 所示。 ( 1 ) 交互性：指用户与虚拟场景中的各个对象相互作用的能力，它是人机 和谐的关键性因素。交互性包含对象的可操作程度及用户从环境中反馈的自然 程度。虚拟场景中对象依据物理定律而运动。v r 是自主参考系，以用户的视 点变化进行虚拟交换，这个过程中最重要的因素是实时性。 武汉理r t 大学硕十学位论文 图l l 虚拟现实的三个“i 特性 ( 2 ) 沉浸感：这是v r 系统的核心，使用户投入到计算机生成的虚拟场景 中去，用户成为系统中的一部分，有“身临其境 之感。在计算机虚拟的场景 中，一切感觉逼真。用户觉得自己是虚拟环境的一部分，而不是旁观者。感到 被虚拟场景所包围，可以在这一环境中自由走动，与物体相互作用，如同在已 有的经验的现实世界一样。这种使用户达到作为一个主角沉浸与虚拟环境的真 实程度。如可视场景应随着视点的变化而变化，有比现实更逼真的效果，甚至 比真的还“真”。 ( 3 ) 想象：v r 系统不仅仅是一个用户终端接口，它还可以使用户沉浸其 中获得新的知识，提高感性和理性认识，从而产生新的构想。这种想象结果输 入到系统中去，系统会将处理后的状态实时的显示或由传感器装置反馈给用户， 如此反复，这是一个学习创造再学习再创造过程，因而可以说， v r 是启发人创造性思维的活动。 1 2 虚拟现实技术的应用 作为计算机技术高度发展的结果，虚拟现实技术在计算机图形学与计算机 网络技术，数据库技术，以及人机交互等诸多领域交叉融合，在很多应用领域 得到应用。国内许多机构和学者对此展开了讨论。 武汉理工大学在广泛研究调查了分布式虚拟现实技术在交通领域的应用基 础上，制造了分布式汽车驾驶交互仿真系统，并在实际中产生一定的产业价值i 2 。 主要特点在于：自主研发了基于计算机集群的多通道屏幕投影与显示技术，满 足了沉浸式虚拟驾驶演示环境的特殊要求；实现了基于多个的分布式多客户同 2 武汉理工人学硕+ 学位论文 场景的交互驾驶与实时通信对话等 1 3 关于基于集群机的投影系统 2 0 世纪9 0 年代后期出现的高性能3 d 商用图形显仁开创了使用p c 集群机 作为高端虚拟现实应用的方法。当前的p c 集群机被广泛的用于大屏幕投影的 沉浸式环境中，如罔1 2 所示。特点主要在于： 廉价，由r 集群机的组成部分都是为广大市场广泛生产的。 出f 组件化使得集群机得以适应用户的需要而不必考虑组件，大小或性能。 由于与标准相容，软件和硬件可以互相兼容。 出于业内有大量的开源软件解决方案，可以根据需要得到所需的软件层。 起初其主要的动机在于多个视频输出来驱动大屏幕拼接的沉浸式环境。对 于人规模的3 d 场景，单台p c 机使用个甚至多个图形显卡无法支持多个视频 输出。早期的使用发展后，p c 集群机技术和软件方案深入发展，不同的方案在 性能，可移植性，使用便利等方研各有其不同的优势，劣势。 1 3 l 集群机硬件 图1 - 2 大屏幕投影虚拟现实环境 p c 集群机是在个房问内建立起一组联网的p c 机用于处理高端的分布式 并行处理应用。它的体系结构包括从由低端的e l h e r l a e t 或g i g a e t h e m e t 网络联 结的单c p u 机器到由高端的m y 6 n e t 或者i n f i n i b a n d 联结的多c p u 机器。 近年来，p c i e x p r e s s 总线可能是最重要的p c 集群机硬仆。山于其两个重 要的组件得以显著地提高数据传输带宽。 如m y r i e n t 高性能网络的带宽首先足被p c i 而后是p c i x 总线限制而不是 3 武汉理工大学硕士学位论文 它本身的技术。p c i e x p r e s s 技术使得更高性能的带宽得到可能。例如m y r i e n t 的m y r i 一1 0 g 的显卡点对点的带宽可以达到1 2 g b y t e s s 。 从内存传输到显卡的带宽也能受益于p c i e x p r e s s 总线。比起a g p 总线它 在双向的性能上都有提高。a g pl x 传输速度为2 6 4 m b s ，作为最后的a g p 版 本，a g p8 x 速度达到2 g b s 。 1 3 2 集群机软件 对于集群机的一个困难是在所有的计算节点上安装和维护同构的系统。经 典的方案是采用硬盘克隆方法。每当有异构的现象出现在不同的机器时，例如 用户在一台机器上更改了配置而忘记在其它所有机器上做相同的更改，节点的 硬盘就从参照的计算机上做克隆。 l i n u x 是集群机的主流操作系统。一些l i n u x 上面向c l u s t e r 的丌源发布， 提供了安装和维护集群机的便利。通常它们提供快速克隆机制，还有一些经典 的c l u s t e r 工具，例如消息传递库m p i 或者是c l u s t e r 性能监视工具g a n g l i a 。 虽然这些工具提供了集群机管理的便利，用户还是要把c l u s t e r 看作一组p c 机，每个都独立的运行在其操作系统之上。往后的努力在于着眼于开发单一界 面的c l u s t e r 环境操作系统。 1 3 3 投影系统 当前有各种不同的投影技术。通常被分为四大类： c r t 投影仪有三个通道，每个对应一种颜色( r g b ) 。这三种颜色叠加并 融合成一种颜色，并逐象素逐象素的绘制。c r t 投影仪没有固定数目的象素。 随着绘制象素的增加，刷新率也随着降低。现在c r t 投影技术有被其它技术代 替的潮流。 l c d 投影仪包括三个独立的l c d 玻璃面板，每个对应一种颜色。当光线 穿过l c d 面板时，它们的色相被控制为所需要的象素。l c d 是主流的技术之 一而很少需要维护。 d l p 投影仪是基于被称为d m d 芯片的半导体的。d m d 芯片是一组可以控 制亮度的芯片。商用d l p 投影仪使用一个d m d ，而高端的使用3 个d m d 。 d l p 投影仪需要很少维护。 4 武汉理1 ：大学硕士学位论文 l c o s 投影仪是一项新技术，它使用带一个镜子在下面的l c d 过滤器。这 项技术今天用于高端的投影仪。 1 4 本文研究背景 1 4 1 关于o p e n s c e n e g r a p h 近年来场景图( s c e n e g r a p h ) 的概念为大型的虚拟现实应用提供了便利。 场景图的特点主要包括，如图l 一3 所示： 以场景组织单位的图 数据结构采用树型结构，面向对象 采取应用时遍历图 o p e n s c e n e g r a p h 是一个开放源码，跨平台的网形开发包p 】，它为诸如飞行 器仿真，游戏，虚拟现实，科学计算可视化这样的高性能图形应用程序开发而 设计。它基于场景图的概念，它提供一个在o p e n g l 之上的面向对致的框架， 从而能把丌发者从实现和优化底层图形的调用中解脱出来，并目它为图形应用 程序的快速开发提供很多附加的实用 。具。 g r a p ho f r 图l 一3 场景图概念的例子 目前，部分高性能的软件已经使用了o s g 来渲染复杂的2 d 和3 d 场 景。虽然大部分基于o s g 的软件更适用于可视化设计与工业仿真，但是在 使用3 d 图形的每个领域，都已经有o s g 的应用。这其中包括了地理信息 哆 鼢 西d ，垂 _ l 武汉理上人学硕士学位论文 系统( g i s ) 、计算机辅助设计( c a d ) 、建模和数字内容创作( d c c ) 、 数据库开发、虚拟现实、动丽、游戏和娱乐业。 1 4 2 关于c y b e r m a k c r 2 0 0 6 0 8 垒2 0 0 70 8 ，武汉理工大学智能制造与控制研究所与北京黎明视景 科技开发有限公司合作开发基于o p e n s c e n e c , - r a p h 开源软件的虚拟现实应用软 件c y b e r m a k e r ，主要实现以下功能： 3 d 模型的导入及控制，支持多种模型格式； 场景漫游( 如图1 _ 4 ) ，包括交互球模式、自由漫游模式和驾驶模式； 渲染方式，可以选择显示方式( 点线，面) 、丌关纹理、抗锯齿、限制帧速； 妊示方式，支持多种显示类型( 显示器大屏幕i f 体头盔) 和立体模式，视 差可调： 自然环境模拟，如灯光、雾效、陌、雪； 声音模拟，包括 f 景音乐和环境声音； 多通道和分布式，可以多台机器同步显示和操作： 外接设备，支持常用的数据手套、位置跟踪器、控制器和力反馈器； 能够发布成小型应用程序，在c y b e r m a k e r 平台外也能运彳亍： 图1 4 漫游场景时的c 汕e r m a k e r 效果 系统总体结构设计如图1 5 所示： 6 武汉理工大学硕士学位论文 图1 5 系统总体结构 其中，场景管理模块接收其它模块的输入，根据配置文件和数据库的内容，实 时地组织场景并触发相关事件，然后将结果交给显示，音效等模块处理。 图象显示模块控制各种显示模式，如纹理，灯光，立体和多通道等。 仿真特效模块负责模拟各种自然现象，如雾，降雨，降雪，镜像，动态云， 太阳光晕，火焰等【4 1 。 音效模块负责模拟各种环境音，播放背景音乐和其它声音。 相机控制模块根据用户的输入，针对不同的漫游模式，实时地改变相机的 位置与朝向。若需要还应检测与周围景物和地形的碰撞【5 1 。 应用发布模块可以方便地将虚拟场景以视频或者小型应用程序发布，使用 户在没有c y b e r m a k e l 的机器上也能观看。 外设接口模块负责接收各种外设设备的操作，包括方向盘，数据手套，位 置跟踪器，交互球，力反馈等，对于具有反馈功能设备还应发送相关数据。 1 4 3c y b e r m a k e r 中外设接口模块 1 4 3 1 游戏控制器 游戏控制器，如图1 - 6 ，是常用来玩赛车、飞行等模拟类游戏的外接设备， 包括游戏方向盘、游戏操纵杆等。在本系统中，c y b e r m a k e r 设计了以下两种设 7 武汉理i 大学硕十学位论文 备的接e l ，分别将方向盘应用于驾驶模式、操纵轩应用于漫游模式。 图1 75 d t1 4 触点数据手套 43 3 位置跟踪器 c y b e r m a k e r 支持的位置跗踪器有2 种：f a s t r a k 和p a t r i o t ，如图卜8 所示。 8 武汉理上人学硕士学位论文 图1 - 8 位置跟踪器 1 434 交互球 交互球s p a c e b a l l ，如图l - 9 是3 d c o n n e x i o n 运动控制器之。，是利一6 自 由度输入设备，它将最微小的指尖压力转换为x 、y 、z 的平动和转动，i ，_ 以 实时并且同步地移动2 d 和3 d 图像。它提供了模型、场景、图像和文档的直觉 和交互控制。在本系统中，利用它可以实时移动、转动3 d 模型的特点，增强 场景的交互性。 图l 一9 交互球s p a e e b a l l5 0 0 0 控制而板 9 武汉理大学硕士学位论文 1 4 35 力反馈设备 力反馈设备，如图1 1 0 提供了对二维模型的触觉上的感受，解决了用鼠标 操作时无法感受虚拟物体一些物理属性的问题。c y b e r m a k e r 使用的设备是 s e n s a b l e 公司的p h a n t o md e s k t o p 设备。利用p h a n t o md e s k t o p ，可以感 知到虚拟空间巾的物体的表面硬度，粗糙度等，通过对模型的拾取还可以感受 模型的重量。 圈l l o 力反馈p h a n t o md e s k t o p 14 4c y b e r m a k e r 中的分布式相关模块 o s g 中的p r o d u c e r ：c a m e r a 类封装了o p e n g l 的视点变换，投影变换等功 能，通过对浚类进行矩阵设置，我们可以得到想要的投影变换。在o s g 中实现 c l u s t e r 环境下的多通道拼接的核心代码如下【6 】： h a t 为投影面宽高比 d o u b i ea r = m a _ ，c a m e r a 一g e t l e n s a s p e c t r a t i o ( ) ； 通过视锥水平张角1 1 1d i s f o v x ( 由用户给定) 得到垂直张角 d o u b l ev f o v = r a d i a n s t o d e 日e e s ( 2 0 + a t a n ( t a n ( o s g ：d e g r e e s t o r a d i a n s ( md i s f o v x + 0 5 ) ) 岫) ； 设置视锥 mp c a m e r a s e t l e n s p e r s p e c t i v e ( m d i s f o v x ，v f o v , 10 ，l e 6 ) ； o 武汉理r t 大学硕十学位论文 i f ( mb s y m m e t r i c ) 对称视锥( 对应环形幕) d o u b l eh f o v = m _ p c a m e r a - g e t l e n s h o r i z o n t a l f o v o ； d o u b l ev f o v = m _ p c a m e r a 一 g e t l e n s v e r t i c a l f o v 0 ； 设置偏移矩阵，m _ o v e r l a p x ，m _ o v e r l a p y 为融合区大小 m a t r i xm a t = m a t r i x ：r o t a t e ( o s g ：i n d e g r e e s ( m _ o f f s e t x ( 1 一m _ o v e r l a p x ) 幸h f o v ) ，y x i s ) ； m a t 拳= m a t r i x ：r o t a t e ( o s g ：i n d e g r e e s ( - m _ o f f s e t y 宰( 1 一m _ o v e r l a p y ) 宰v f o v ) ，x _ a x i s ) ； 偏移视锥 m _ p c a m e r a - s e t o f f s e t ( m a t p t r 0 ，0 0 ，0 o ) ； e l s e 非对称视锥( 对应平板幕) 设置偏移量 f l o a tx s h e a r = 一2 0 宰m o f f s e t x 幸( 1 一m _ o v e r l a p x ) ； f l o a ty s h e a r = - 2 0 木m o f f s e t y 宰( 1 一m _ o v e r l a p y ) ； 偏移视锥 m _ p c a m e r a - s e t o f f s e t ( o s g ：m a t r i x ：i d e n t i t y ( ) p t r ( ) ，x s h e a r , y s h e a r ) ； ) 另一方面，为了让雨、雪等特效在c l u s t e r 环境下也能得到应用，c y b c r m a k c r 使用主机向从机用s o c k e t 发送信号的方式进行同步。 1 4 5c y b e r m a k e r 中待解决的问题 虽然凭借o s g 强大的能力和出色的性能，c y b e r m a k e r 在诸多应用领域得 以应用。但由于o s g 本身固有的缺陷，在c l u s t e r 环境下仍然有些不可逾越的 障碍。 由于便宜的p c 机也可以配备性能强大的图形显卡，使用他们来构建机群 机成为可能和可负担的方案。典型的应用包括用来驱动小型或者大型的拼接而 成的大屏幕，或者联合机群机的强大能力来处理超大规模的场景。这些想法已 l l 武汉理t 大学硕士学位论文 经诞生一段时间了，但是实现机群环境下的应用比单机的应用需要多的多的工 作。 主要问题是一台机器上的所有应用都需要在所有其他的机器上反映出来， 这样每台机器就能显示出分配给它的那部分。或者是部分的图象或者是部分的 场景。这意味着所有的事件都需要被同步。 有一个权宜之计可以被任何系统采用，即明确的把场景中改变了的信息包 装入网络格式中，将它通过网线发送并且将结果在其他节点上复制。由于任意 的可能的事件都需要被单独编码，很多系统将这些事件限制为系统中可能发生 改变的一小部分。这种思想下最小的改变量即视点的位置和漫游在场景中的角 度。而o p e n s e e n e g r a p hj 下是采用这种方法。 正是由于这一原因，除去视点信息的其他信息( 场景中环境，包括雨，雪 天气，天空背景，设备输入信息，帧同步问题，垂直同步) 问题都无法被同步， 这使得c y b e r m a k e r 在c l u s t e r 环境下的应用受到极大的限制。 另一方面，c l u s t e r 环境下的各种软硬件体系结构，负载平衡算法基础问题 在国内外广泛深入的开展。如何给出完备的理论体系和将他们的成果应用于产 业? 如何给出c y b e r m a k e r 问题的解决方案? 本文在试图调和，追问这些问题中 展开思考。 1 5 本课题主要内容与结构安排 本文首先针对多台机器驱动的多面拼接的虚拟现实技术主要特点和需要解 决的问题，分析了当前常用的场景图a p i 解决方案存在的问题( 第l 章) ；接着， 以技术发展时间的顺序，分别论述了集群环境下的软件体系结构，并行绘制体 系结构和分布式输入虚拟现实环境体系结构的分布元素特征以及同步特征，证 明了它们结合的可能，并且提出作为这一理论的体现，v rj u g g | e l - 和o s g 的结 合的开发架构是本课题适合的研究和实验对象( 第2 章) ；然后，说明了v r j u g g l e l - 开源软件的主要组成和结构( 第3 章) ；进而，给出了比较详尽的实验 过程，并且给出了一个键盘输入控制的场景漫游程序的实例( 第4 章) ；最后分 析了本课题研究不足之处并且简要地对未来的工作做出展望( 第5 章) 。 1 2 武汉理t 大学硕士学位论文 第2 章集群环境下的软件体系 2 1c a v e 自动化虚拟现实环境 c a v e 软件体系，在上世纪9 0 年代初，由伊利诺斯大学提出。在诸多方面 有开创性的工作。 2 1 1 沉浸式虚拟现实应用 图形响应系统可以根据其三个特征分为三类：自动化、交互性和沉浸感。 自动化是计算模型以响应事件的能力。交互性是程序运行时操作模型参数的程 度。沉浸感是在响应事件中输入和输出通道的数量与质量的度量。在这样的模 式下，传统的计算机图形交互系统有很高的自动化与交互性，但是缺乏沉浸感。 有效的v r 体验应该具有很高程度的自动化、交互性和沉浸感。沉浸感意味着 虚拟环境参与者不仅可以操作虚拟实体，而且可以视觉的，听觉的或者物理的 “感受 到虚拟实体。 在传统的交互计算机图形系统中，用户、用户的行动与虚拟实体有清楚的 界线。用户在计算机生成的虚拟世界之外通过计算机屏幕作为虚拟世界的窗口 去物理的或者精神的感受。通常的计算机屏幕设备中，应用的图形在一个窗口 中显示，而用户在一个分离的窗口中去操作来与虚拟世界交互。 在设计的过程中，虽然场景是三维的，开发者不能摆脱二维的计算机屏幕。 它们必须生成合适的投影函数来将虚拟世界投影到图形窗口中。电视机屏幕式 的显示器提供二维的平面显示来表现三维的虚拟世界。鼠标与键盘的操作使用 需要将二维的设备操作映射到三维的行动中，从而在图形窗口中产生响应。例 如，按在操作面板的一个特定的键可以映射到开始停止一个物体的连续旋转操 作。这个映射必须仔细的设计以避免由于在操作域缺少一维而带来的混淆。 v r 系统提供与传统桌面系统很不一样的感知体验。v r 提供越过计算机屏 幕而进入虚拟世界的体验。用户不再是观察者，而是物理的和精神的参与虚拟 世界的探索。体验者、行动和虚拟实体之间没有分别；他们都在虚拟环境中的 同一层次中。体验者可以与虚拟实体交互，而虚拟实体感受到体验者在环境中 的在场并自然的响应他的行动。多通道交互可以通过三维传感器和其它交互设 1 3 武汉理工大学硕士学位论文 备实现【。 由于沉浸感，虚拟现实的体验必须设计与传统的交互图形完全不同的方法。 v r 环境随之应该是三维的；运用三维用户感知接口，体验者“就在”计算机生成 的环境之中。在很多情况下接口是应用系统的一部分并且对于体验者是封装起 来的。在一些系统中，用户交互可能需要融入虚拟世界的真实世界物体参与， 例如在虚拟交通仿真中操作真实的轮盘。设计用户接口的技术不仅要求使用， 而且要使得操作自然舒适。 2 1 2c a v e 的虚拟现实软件设计 传统的图形交互系统与虚拟现实系统使用大致相同的基本硬件和编程语 言。首先初始化应用，然后捕获用户动作，更新虚拟世界，计算视点，处理更 新后的世界，最后显示出一帧。 但是功能上实现有大不同样的要求。v r 的特征是要求有很高程度的沉浸 感。而沉浸感是通过用户在虚拟世界中使用特定的硬件设备来生成并接收“真 实”的信号，包括视觉，听觉以及人体力反馈系统。真实的意味着感知这些信号 如同感知真实世界中的一样，这要求事件发生和感官感知到之间非常小的时间 间隔。这样，为了创造一个满意的沉浸体验。所有的v r 系统的硬件和软件组 件都必须是实时的。 c a v e 是在总结了当时p q 种设计v r 体系和工具的趋势的基础上设计的m j 。 这四种趋势按照复杂程度依次递增分别是： 基于应用的体系结构( a p p l i c a t i o n - b a s e d ) ：体系结构依照应用的逻辑顺序。 这也是设计v r 应用的最基本的体系结构。在一个大循环中包括了实现与控制 执行应用相关的各种不同任务，v r 的特定任务与其它特定的虚拟世界没有分 别。应用被视为一组时序的步骤一个接着一个地执行。 基于事件的体系结构( e v e n t b a s e da r c h i t e c t u r e s ) ：基于事件的v r 系统体 系结构直接从传统交互图形应用中继承而来。在基于事件驱动的工作站系统中， 环境保持空闲直到一个用户事件发生，或者以鼠标移动的形式，或者是敲击键 盘或者其他行动。所有可能的行动都被工作站接口定义，用户每次只能执行一 个行动。每个行动都被转换成一个事件，事件被排入软件系统控制的一个事件队 列中。每个事件都有一个相关的过程，由应用程序员定义，并在出队时被执行。 为了控制v r 系统，基于事件的体系必须被扩展以包括全部特定设备的事 1 4 武汉理i ：大学硕士学位论文 件，例如跟踪器或者数据手套。虚拟环境的事件比工作站的事件要复杂的多， w 为虚拟物体有它们自己的行动并能对环境中用户的在场做出反映。 基于设备的体系结构( d e v i c e b a s e da r c h i t e c t u r e ) ：基于设各的体系结构着 眼于v r 系统中的设备控制。它是基于c l i e n t s e r v e r 模式的，即设备驱动端是 s e r v e r 而应用程序是c l i e n t 。 基于性能的体系结构( p e r f o r m a n c e - b a s e da r c h i t e c t u r e s ) ：v r 应用的基于性 能的体系结构注意在从所有系统与应用的不同组件中获得晟好的性能。例如， 府用根据它们的作用被分为若干并发的过程。应用处理与绘制和设各处理分割 丌来从而独立的操作。 c a v e