（计算机系统结构专业论文）基于集群的大屏幕立体拼接显示系统的实现.pdf

浙江大学倾士学位论文 y8 7 7 5 1 9 摘要 随着投影技术的发展，建立高分辨率，大屏幕显示画面的拼接显示系统( 又 称拼接显示墙) 成为虚拟现实和可视化技术发展的追切需求。为了更好的满足我 中心科学可视化方面的需求，我们以中心现有的曙光p c 集群为平台，开发了自 己的大屏幕立体拼接显示系统。本文围绕搭建拼接显示系统的科研实践展开，洋 细介绍了在硬件和软件上遇到的一系列问题，经过分析后给出了我们的解决方 案。 应用c h r o m i u m 系统只能实现对o p e n g l 程序的并行分布绘制，在其基础之 上，我们将校正工作和d m x 相结合，应用于拼接显示系统：实现了一般程序在 拼接显示系统上的展示。 利用多个投影仪建立大屏幕投影墙的过程中面临的两个最大的难题就是如 何实现几何上的对准和如何解决颜色不均匀的问题，解决好这两个问题，才能真 正的实现无缝拼接。本文在对分布式并行图形绘制技术进行阐述后，分别对几何 校正和颜色校正问题进行了深入的分析和探讨。以往的几何校正算法都需要对每 台投影仪单独进行拍照，投影墙规模增大时十分不便，我们的算法只要通过一张 照片就可实现对所有投影仪的校正工作( 立体显示需两张) 。在颜色校正上，我 们在简化了m a j u m d e r 的颜色校正算法后与边缘融合技术结合，实现了多投 影仪拼接处的平滑过渡。 本文还介绍了立体显示的原理，在比较了几种典型的立体投影显示系统后结 合本中心的硬件情况提出了自己的解决方案，并在就如何用c 晒e n g l 进行3 d 绘 制进行分析之后，给出了生成左右眼视图的算法实现。 此外，本文还就搭建立体投影墙过程中可能碰到的硬件选择问题进行了比较 分析，给出我们在构建这一高分辨率立体投影墙过程中的一些经验和体会。 关键字：科学可视化几何校正并行分布绘制拼接显示立体绘制 浙江大学硕士学位论文 a b s t r a c t a 1 0 n g w i t ht h e p r o j e c t i o nt e c h n 0 1 0 9 yd e v e i o p m e n t ， m ee s t a b l i s h m e n to f h i g h r e s o l u t i o n ，1 a 唱e s c r e e nt i l e dd i s p l a ys y s t e m ( a l s oc a l l e dt i l e dd i s p l a yw a l l ) b e c o m e st h eu 唱e n td e m a n do f v i r t l l a lr e a l i t ya n dv i s u a l i z a t i o nt e c h n 0 1 0 9 yi no r d e rt o p r o v i d eab e t t e rd i s p l a yp l a t f o mf o ro u rr e s e a r c h o fs c i e n t i f i cv i s u a l i z a t i o n ，w e d e v e l o po u ro w ns t c r c ot i i e dd i s p l a ys y s t e mb a s e do no u rd a w n i n gp cc l u s t e lt h i s t h e s i sr e v o l v e sa r o u n do u rr e s e a r c hd u r i n gb u i l d i n gt l l et i l e dd i s p l a ys y s t e m ，i nd e t a 订 i n t r o d u c e das e r i e so fp r o b l e m sm e to n 幽eh a r d w a r ea n dt h es o r w a r ei np r a c t i c e w e p r e s e n to u r s o l u t i o n sa f t e rt h o m u 曲a l l a l y s i s b yu s i n gt l l ec h f o m i u ms y s f e mc a no n l yr e a l i z et h ed i s t r i b u t e dp a r a l l e lr e n d e r j n g o fo p e n g lp r o c e d u r e s s o ，w ea p p l yc o r r e c t i n ge f r o r t st oa i le x i s t i n gd i s t r i b u t e d m u l t i h e a dxp r o j e c t ，a j l da c h i e v et h ep u r p o s eo fg e n e r a lp r o c e d u r e sr u 蛐i n go nt h e t i l e dd i s p l a ys y s t e m t h e r ea r em o p r i m a r yc h a l l e n g e sf a c e dw h i l eb u i l d i n gas e a m l e s sm u l t ip r o j e c t o r d i s p l a y t h e s ea r eg e o m e 砸cm i s a l i g n m e n ta n dc o l o rv a r i a t i o n a r e re l a b o r a t i n go n d i s n i b u t e dp a m l l e lr e n d e r i i l gt e c h n o l o g y ，t h j s 血e s i sc a r r i e so nm et h o r o u 曲a n a l y s i s a n dt h ed i s c u s s i o nt ot h eg e o m e 田a d j u s t m e n ta n dm ec o l o ra d j u s t n l e n ti s s u e s i n p r e v i o u sg e o m e t r yr e g i s t r a t i o na l g o r i t l l m s ，p e o p l ch a v et ot a k es 印a r a t ep h o t o g r 印h s f o re a c hp r o j e c t o li t i s q u i t et e d i o u sw h e nm ep r o j e c t i o nw a l ls c a l ei n c r e a s e s w i t h o u ra l g o r i m m ，w eo n l yn e e dt a k eo n ep h o t o g r 印ht or e g i s t e rf o ra 1 1p r o j e c t o r s ( t w o p h o t o g r a p h sf o r3 dr e n d e r i n g ) t ba c h i e v ep h o t o m e 砸cs e a m l e s s n e s s ，w es i m p l i 母 m a j u m d e r sm e t h o d ，a n dc o m b i n ei tw i t he d g eb l e n d i n gt os m o o t ht | l eo v e r l 印p i n g r e g i o n s s t e r e or e n d e r i n gi sa l s od i s c u s s e di nt h i st h e s i s w ei n t r o d u c et h ep r i n c i p l eo f s t c r c od i s p la y a n dm a k ec o m p 撕s o na m o n gs e v e r a lk i n d so ft y p i c a ls t e r e op r o j e c t i n g d i s p l a ys y s t e m ，m e ng i v eo u rr e s o l u t i o na c c o r d i n gt oo u rh a r d w a r ec o n d i t i o n s a f t e r g i v i n ga ni n t r o 血c t i o no nh o wt oi m p l e m e n ts t c r e o 崩l d 喇n gu s j n go p e n g l ，w ea l s o p r e s e n tt l l ea l g o r i 恤mt oc a l c u l a t ep r o p e rs t e r e op a i r s i na d d i t j o n ，w ed i s c u s so nt h et o p i co f h a r d w a r eo p t i o n s ，s o m ee x p e r i e n c e sa r e g a i n e dd u r i n gt l et i l e dd i s p l a yw a l lc o n s 仃1 l c t i n gp r o g r e s s k e yw o r d s ：s c i e n t i f l cv i s u a l i z a t i o n ，g e o m e t r i cr e g i s t r a t i o n ，d i s t r i b u t e dp a r a l l e l r e n d e r i n g ，t i l e dd i s p l a y ，s t e r e or e n d e r i n g h 浙江大学碗士学仡论文 第一章绪论 1 1大屏幕拼接显示系统的研究背景 科学可视化( v i s u a l i z a l i o ni ns c i e n t m cc o m p u t i n 简称v i s c ) 是研究如何把科 学数据，无论是通过计算还是从测量获得的数值，或是从卫星传送回来的图像， 或是医学c t ( 计算机层面x 射线照相) 和m r i ( 核磁共振现象) 转换成可视的、 能帮助科学家理解的信息的计算方法。 1 】随着科学技术的进步和社会信息化的 高速增长，可视化作为当前计算机学科的一个重要研究方向，需求也急剧扩大， 对显示结果的要求也越来越高。 现代的数据可视化( d a t av i s u a l i z a t i o n ) 技术指的是运用计算机图形学和图 像处理技术，将数据换为图形或图像在屏幕上显示出来，并进行交互处理的理论、 方法和技术。它的一个重要研究内容是研究如何把科学数据一数值与图像转变为 可视的图形( 图像) 。以下是当前可视化研究的几个重要研究课题： 医学影像数据的可视化：通过c t 、m r i 和正电子放射断层扫描( p e t ) 等手段获得有关器官和组织的二维断层图像，采用可视化软件系统重构 其三维图像，为医学诊断和治疗提供依据和指导。 流场的可视化：对复杂的几何模型求解，计算出流场中各种参数在每一 时刻的数值，利用可视化技本在屏幕上将数据动态地显示出来。例如， 用多种不同方法表示出每一点的速度、压力、温度和组分等，并显示出涡 流、冲击波、剪切层、尾流及湍流等。 脑结构及其功能可视化：在人脑研究过程中，利用可视化技术辅助获取 数据( c t 和m r 等) 、提取特征( 根据实验数据生成脑的三维结构图和 功能图) 并进行脑图分析，以适当的三维方式显示出来。 以上应用中，都需要处理大量的科学数据，转换生成不同的图形( 图像) 显 示出来供分析和研究。通常这些应用对显示设备的分辨率都有很高的要求，在脑 结构的研究中，绘制人脑的神经元要求极高的分辨率，在流场的可视化中，要逼 真地显示流场的细微结构和各种参数的等值面，分辨率的一点损失可能会造成 重要信息的丢失，甚至会造成实验结果的无效。 追求亮丽的超大画面、纯真的色彩、高分辨率的显示效果，历来是人们对视 觉感受的一种潜在要求。不仅仅是科学可视化，大到指挥监控中心、网管中心的 建立，小到视频会议、学术报告、技术讲座和多功能会议的进行，对大画面、多 色彩、高分辨率显示效果的渴望越来越强烈，单台显示设备所能显示的信息已经 远远不能满足人们的需求，随着投影显示技术的不断发展与创新，更高的分辨率 显示成为显示系统的迫切需求。 浙汀大学硕七学位论文 1 2 大屏幕拼接显示系统的研究现状 为了满足人们对超大画面和高分辨率显示的迫切需求，随着投影技术的发 展，大屏幕拼接显示系统( 又称投影墙，d i s p l a yw a l l ) 应时而生。拼接显示系 统通过把若干个独立的低分辨率显示设备( 显示器或投影仪，本文中采用投影仪) 拼接在一起共同组成一个大的高分辨率大屏幕显示系统。很不幸，在可视化的世 界里，一加一从来不等于二。我们在机场，广场和一些购物中心看到的商业上的 拼接显示墙要么就是分辨太低，要么就是拼缝太过明显，而且这些设备成本十分 昂贵。图1 1 所显示的是美国纽约n a s d a o 金融超市用l o o 个电子显示器拼成 的电视墙，这l o o 个电视协同工作来模拟一个大的视频输出，这个显示系统拼缝 明显，当时建立这个系统耗资数百万美元。 图1 1 纽约纳斯达克金融超市的背投电视墙 拼接显示技术致力于将单个的标准分辨率的显示输出组合成无缝的高分辨 率显示整体。理想状况下，如果我们想得到n 倍于单个显示设备的分辨率，我们 需要胛2 个显示设备来组合。 起初的研究都是在高端的图形工作站上做的，如u n i v e r s i t yo fm i n n e s o t a 的 p o w e rw a l l 2 】，u n i v e r s i t yo f i l l i n o i sa tc h i c a g o 的i n f i n i t ew a l l 3 ，这两个系统都 是用s g i0 1 1 y x 2 驱动的。这样做的缺点是成本昂贵。 近年来，出现了基于集群的的拼接显示系统。和前一种系统相比，低廉的成 本是它最为吸引人的地方。在这种系统中，每一个投影仪被集群上的一个节点所 驱动，节点间通过高速的网络( 高速以太网或m y r i n e t 4 】) 连接，使得图形的快 速绘制成为可能。普林斯顿大学的s c a l a b l ed i s p l a yw a l l 和斯坦福大学的 i n t e r a c t i v em u r a l 就是基于集群搭建的。 u n i v e r s i t yo f k e n t u c k y ，u n i v e r s i t yo f n o n hc a r o l i n aa tc h a p e lh i l l ，也都做过 浙江大学矾土学位论文 相关方面的研究。 三菱电子研究实验室( m e r l ) 5 】对曲面上的大屏幕拼接显示进行了大量的 研究，研制成功球面和柱面上的拼接投影，本文主要讨论平面上的拼接显示。 1 3 大屏幕拼接显示系统研究的难点 图1 - 2 大屏幕拼接显示系统构成 在拼接显示系统的实现中，利用多台投影仪要实现无缝拼接的效果，几何校 正和颜色校正是最重要的两个问题。 因为投影仪之间的关联性，使得利用手工调整的来实现多台投影仪的精确对 准的工作异常繁琐和艰难， 往往一台投影仪位置的小小变动将影响到其他所有 投影仪的重调。对此，拼接显示系统大多采用了软件校正的方式，即通过对连接 每个投影仪的图形卡的帧缓存内容做变换以达到投影时对齐的效果。目前的研究 认为，对于平面屏幕上的校正，通过投影系统中的线形映射关系来进行校正的算 法比较准确。利用这种算法，可以实现集合几何上的快速校正。 因为各个投影仪亮度、色调的不同，及驱动投影的显卡型号的差异，造成了 不通的投影仪的输出在色彩上的不一致，这使投影仪的拼接处显得特别突兀，画 面的整体视觉效果也较差，要实现视觉上一致性，必须对拼接系统的颜色进行校 浙江大学硕十学位论文 j e 。在这方面，a d i t i m a j u m d e r 等 6 给出了一个很好的解决方案。在颜色校j e 中 他们首先分析整副画面的光度变化，然后用l a m s ( l u m i n a n c ea t t e n u a t i o nm a p s ) 对亮度进行补偿。 与单机上的绘制不同，并行绘制是拼接显示系统要解决的又一问题。图l 一2 是拼接显示系统中显示一幅图像过程的流水示意图。大画面的高分辨率的图像被 分割成几个小的图像，被分布到不同的客户端上显示。如果是在3 d 场景中，这 便意味着要将三维的集合信息分布到不同的p c 服务器上，再由投影仪投放出来。 1 4 本文的研究内容和行文结构 本文主要讨论了c e s c 大屏幕投影系统科研项目研究中涉及到的相关问题， 论文的主要工作包括图形的分布式并行绘制，几何校正，颜色校正，立体显示以 及在构建系统时硬件的选择。全文共分七章，各章主要内容简述如下。 第一章简要介绍了本文的研究背景、现状及建立大屏幕拼接显示系统面临的 主要难题。 第二章讲基于集群的并行绘制技术。本章对分布式并行绘制技术的分类、研 究热点进行了详细的论述，介绍了几个典型的系统并侧重讨论了c h r o m i u m 的运 行机制。 第三章对几何校正问题进行了详细阐述，并给出了c e s c 大屏幕拼接显示系 统通过相机拍照来进行几何校正的具体做法。 第四章对拼接显示系统中色彩不均匀的问题进行了深入的分析和讨论，在借 鉴前人研究的基础上提出了自己的解决方案。 第五章阐述了立体显示的原理。并对立体显示方式进行了分类介绍，经过比 较分析之后给出了c e s c 的解决方案。本章还对利用o p e n g l 进行立体绘制的技 术进行了探讨。 第六章谈到了c e s c 在构建大屏幕拼接显示系统过程中，硬件选择上的一些 经验和体会，总结了其软件系统结构，提到了投影仪控制软件的相关议题。 第七章是对本文内容的总结，对今后的研究方向做出展望。 浙江人学砸士学位论文 第二章基于集群的分布式并行绘制技术 本章介绍基于集群的分布式并行绘制方面的概念知识，并重点介绍了 c h r o m i u m 的工作机制和在大屏幕拼接显示系统上的应用。 2 1 概述 集群是全体计算机结点的集合，这些计算机由高性能网络或局域网( l a n ) 物 理的互连。典型情况下，每个计算机结点是一台s m p 服务器，台工作站或是 一台p c 计算机。更重要的是。所有集群结点必须能一起集体工作，如同一个单 一集成的计算资源，除了满足由交互用户单独的使用每个结点的协定任务之外。 集群是全体计算机( 结点) 的互连集。这些互连的计算机能集体的工作，尤如一个 单一系统，以提供不会被中断( 可用性) 和有效的( 性能) 服务。 并行绘制技术最初应用于一些特殊的领域，如n a s a 的实时飞行仿真 7 】； 随着超大规模集成电路( v e f yl a r g es c a l ei n t e 酽a t i o n ) 技术的出现，流水线设计 技术渗透到图形处理专用芯片领域，图形专用芯片广泛使用了并行设计；p m e s a 等系统利用并行计算机作为硬件平台，通过软件实现并行绘制 8 】【9 ；随着低端 p c 图形卡的处理能力的提高和网络技术的发展。出现了一种新的并行绘制体系 结构：建立在以高速网络连接的p c 或工作站集群上的并行绘制系统 1 0 l1l 】。集 群式的并行绘制系统具有诱人的性价比和良好的可扩展性，引起了广泛的兴趣 【1 2 】。现在集群式并行多边形绘制系统成为研究的热点，原因在于： 低端图形硬件性能的提高和百兆、千兆高速网络设各的出现，使构建高性能、 低价格、高可扩展的集群式系统成为了可能； 应用于特殊的目的，比如以低廉的价格实现超高分辨率的显示驱动系统： 一些关键技术的解决使得集群式系统可提供很高的绘制速度。如w i r e g l 系 统，最初用于驱动多个投影仪以实现超高分辨率显示，但其研究者相继解决 了快速指令打包、o p e n g l 状态跟踪【1 3 、快速图形上下文切换、并行图形 程序a p i 等关键技术，使其性能大大提高，w i r e g l 在3 2 台p c 并行对绘制 速度可达7 0 ，0 0 0 ，0 0 叭r i a n g l “s ； 用工作站集群可构造良好的实验系统，以进一步深入地研究并行多边形绘制 体系结构。这种系统即可为硬件设计提供仿真，也可用于实际。 浙江大学硕十学位论文 2 2 分布式并行图形绘制 2 2 1 绘制与图形流水线 “绘制词，在图形学中有明确的定义，它是指用数学模型模拟客观世界中 物体与可见光的相互作用生成真实感图像的过程。绘制是一个过程，有明确定义 的输入和输出。以多边形绘制为例，它用多个多边形( 通常是三角形) 来逼近物 体的表面，并使用简单光照模型来生成真实感图像。这一过程的输入包括：表示 物体形状的三角面片集合，点的法向，材质属性，物体在三维空间的位置，一 组光源视点和相机角度，纹理等其他属性；其输出则是关于象素值的一个二维 数组，在实际计算机系统中，这数组就是帧缓存( 行a m eb u f f c r ) 。 和c p u 流水线的概念相似，图形流水线主要用来描述图形数据处理的过程， 它将整个图形处理划分为多个流水阶段，以流水作业的方式分阶段实现图形计 算。目前典型的图形流水有o p e n g l 和d i r e c t 3 d 。o p e n g l 定义了一组面向应用 程序与硬件无关的应用程序接口规范。硬件设计者必须遵从o p e n g l 虚拟状态机 以支持o p e n g l 接口规范。d i r e c t 3 d 体系结构也采用了类似的虚拟状态机制，其 体系的主要目标是游戏应用，追求的目标为实时性和速度，而0 p e n g l 能够取得 更好的真实感。 图2 1 一个典型的图形流水线1 1 4 l 一个典型的图形流水线 1 4 见图2 - 1 。该流水线是o p e n g l 的s i n g l e p a s s 的体 系结构。下面我们来对其各阶段进行解释。 命令处理 命令处理阶段负责处理应用程序产生的几何命令数据流。命令大致可划分为 浙江大学硕上学位论文 两种，一种是用来设置和改变o p e n g l 的状态，但是这些命令的使用频率比较低。 另外一类命令为几何图元命令，顶点参数定义与三角形定义，这类命令的使用频 率非常地高。内容包括定义位置、法向量、纹理坐标、颜色信息、材质。除了顶 点位置属性以外，其它属性都保存在当前顶点这个变量中。命令处理器将顶点组 合为3 维空间的三角形，并且将这些三角形发送到随后的流水线单元，同时它还 负责维护纹理数据与显示列表，显示列表是经过编译的一组0 p e n g l 命令，提供 快速的存取和绘制能力。纹理能够保证3 d 显示更加正确。 几何变换 该流水线单元接受三维对象空间的三角形，根据模型视图4 x 4 矩阵变换到世 界空间坐标系统。这个4x 4 的矩阵将对象空间的矩阵变换到归一化的世界空间， 该坐标系统眼睛位于原点，眼睛观察方向为z 轴的负方向。该矩阵可以表达任意 系列的几何变换，平移，旋转，缩放，剪切，投影操作。然后根据透视投影矩阵 变换到裁剪坐标系。裁剪坐标系的范围为( 1 ，1 ，1 ) 到( 1 ，l ，1 ) ，范围之外的 三角形不再送到下一级流水线。法向量直接被变换到世界坐标。纹理坐标利用纹 理变换矩阵生成最终的纹理坐标。当所有的变换都完成之后，剩余的处理工作就 包括光照处理和三角形的像素化。 光照处理 通过几何变换可得到位于屏幕空间的位置和归一化的法向量的三角形，根据 计算机图形的光照理论，和三角形的材质，计算出每个顶点的光照效果。光源的 类型包括环境光，点光源，锥光源，允许高光区域和光源能量衰减。 扫描转换 输入屏幕空间的三角形的三个顶点，产生三角形的内部采样片断，每 个采样为一个屏幕像素。每个像素一般包含颜色，深度和纹理坐标属性，这些数 据一般根据三个顶点采用线性插值的方法生成。光照插值的方法可分为g o u r a u d 和p h o n g 两种。生成的片段将进行纹理贴图。 纹理贴图 基本的纹理操作是根据片断的纹理坐标将个纹理映射到一个或多个透视 变换后的三角形。一般纹理图像不能正好映射到目标区域，因此需要进行过滤操 作。典型的过滤器包括点过滤，双线性插值和三线性插值。三线性插值采用权重 决定目标像素的纹理数值。由于三角形投影到屏幕区域大小变化很大，因此m i p 纹理映射是常用的方法。 图像合成 一般三维图形除了颜色缓冲区外还包含一个深度缓冲区，用来保存一个对象 和另外一个对象对于视线方向的远近关系。如果物体不透明，那么远处的物体将 被近处的物体所遮挡。如果包含透明物体，那么将对这两个对象的像素做混合操 浙江人学硕士学位论文 作。模板缓冲区( s t e n c i lb u f f e r ) 根据模板函数生成。累积缓冲区( a c c u m u j a t i o n b u 仃e r ) 主要用来做超级子采样( s u p e r _ s a m p l i n g ) 和运动模糊( m o t i o nb l u r r i n g ) 。 o d e n g l 是一个状态相关和严格顺序的图形流水线。前一个命令序列会影响 随后的命令序列绘制的结果。如果要实现并行绘制，关键的问题是解决o p e n g l 虚拟状态的跟踪。o p e n g l 的数据存在严重的相关性，如何在并行图形中消除数 据相关性提供并行度是实现图形流水线并行化的关键。 另外o p e n g l 是基于图形命令的a p i ，易于为并行图形计算提供较细的并行 粒度。并行计算的并行粒度是指并行计算的任务划分的工作量的大小，一般而言， 粒度划分越小，应用程序的并行度越高，但是如果粒度太小，通信带来的开销会 急剧增加，反而降低并行程序的效率。图形计算的并行粒度大致可划分为三种， 最细粒度为三角形级别，所有的任务划分以三角形为最小任务粒度其次为三角 形组，多个三角形组合在一起为一个任务划分，最粗粒度为场景级别，将整个场 景划分为一个或者多个图形对象组，以图形对象组作为任务划分的单位。使用中 粒度的任务划分将降低通信开销，同时又能够实现较细的任务划分。 2 2 2 分布式并行绘制概述 并行绘制的基础是绘制算法本身的可并行性，比如前述的多边形绘制算法的 特点是：几何变换的输出为光栅化的输入。几何变换处理模型的物理坐标，浮点 运算密集。光栅化处理模型屏幕坐标，整数运算( 主要为整数加法) 密集，两者 计算特点不同【1 5 】。几何变换和光栅化都由多个计算步骤组成，经过图形学的充 分研究，这些独立的计算步骤的输入、输出定义明确，算法成熟。这些特点使得 多边形绘制非常适合于模块化。 多边形绘制的基本处理单元为三角面片。两个三角面片的计算大部分可分离 处理，只在“深度比较”和“a l p h a 混合”步骤，它们的像素有重合时，其中一个面 片的部分像素的可见性需引用另一个面片的信息来判定。在此之前，包括几何转 换和扫描转换，两个面片的计算不需相互引用，也没有顺序的要求。数据弱相关 的特点使得多边形绘制算法非常适合并行处理。多边形绘制是一种“近似易并行” 的计算，其特点是：适合并行，但需要进行计算任务的分布和计算结果的收集， 并用某种方式加以组合。对多边形绘制算法引入并行的方法有两种：功能并行 ( f u n c t i o n a lp a r “l e l i s m ) 和数据并行( d a t ap a r a l l e i i s m ) 。功能并行方式：多边 形绘制系统由一系列顺序相连的处理单元组成，每个处理单元执行一个步骤，并 将结果输出到下一单元，这样的系统称为绘制流水线( r e n d e r i n gp i p e l i n e ) 。功 能并行技术在上个世纪的8 0 、9 0 年代得到了充分的发展，当时大多应用予图形 工作站的专用绘制硬件的设计上，比如c l a r k sg e o m e 仃ys y s t e m 使用了一个深度 浙江大学硕士学位论文 达1 2 级的流水线来执行几何变换 1 6 。随着硬件技术的发展，现在p c 的图形加 速昔也基于流水线构造，“绘制流水线”( r e n d e r i n gp i p e l i n e ) 已经成了“绘制器” ( r e n d e r e f ) 的代名词。多边形绘制流水线的理论加速比等于流水线的级数，但 其总体加速效果受最慢的流水级和内部通讯带宽的限制。要提高流水线的加速 比，需要使用尽鼍多的流水级，并在设计上尽量避免出现瓶颈。 数据并行方式：将数据剖分成多个独立的数据流( d a t as t r e a m s ) ，在一些 相同的处理单元上同时对这些数据流进行处理。这种方式的并行效果不受绘制流 水线级数的限制，但受制于相同的处理单元的数目和系统内部的通讯带宽。由于 多边形绘制算法的数据间的相关性很弱，所以数据并行方式有大的潜力。另外， 数据并行方式有良好的可扩展性，能构建庞大的、包含上百个处理单元的绘制系 统。 实际的多边形并行绘制系统中，通常单条数据流按照流水线方式构造，同时 将多条流水线并列，并对流水级的输入输出进行重新组织。 2 2 2s o r t i n g 分类 m o l n a r 在【1 7 中根据并行计算任务划分的阶段与典型图形绘制流程的关系， 依据两个主要的流水线过程，将并行渲染算法划分为三个不同的分类方法， s o n - f i r s t ，s o n m i d d l e ，s o r t 1 a s t ，该理论成为并行图形绘制和分布图形绘制研究的 里程碑，标志着并行图形理论化研究的开始。 g r a d h i c sd a t a b a s e ( a r b i 自r a r i f yp a 喇翻o n e d ) ( p 陀桐n s f o m l ) g e o m e l r y p r o c e s s i n g r a s t e n z a t i o n d i s p i a y 图2 2s o r t 酊r s t f l 7 l s o r t f l r s t ，见图2 2 。该方法是指在几何处理阶段决定图元对象在屏幕上的对 应位置。所有参与并行渲染阶段的每个对象管理一个屏幕区域的渲染。其主要特 浙洳：大学硕士学位论文 点就是快速决定几何图元的目标渲染器和实时分配图元算法。目前还没有基于 s o n - f j r s t 体系结构的商业化的系统。基于层次结构数组织的场景容易实现负载平 衡算法。其主要优点是可以满足大规模几何场景绘制和高分辨率图像渲染。该系 统的主要问题比较难实现负载平衡和几何对象实时分配。 g 阳d h i c sd a t a b a s e ( 鑫r b i t r a r i l yp a r t i 乜o n e d ) o i s p a y g e o m e l r y p r o c e s s l n g r a s t e r l z a t i o n 图2 - 3s o r tm i d d i e l l7 l s o r t - m i d d l e ( 见图2 - 3 ) 的体系结构被大多数商业渲染流水线所采用，如s g i 的i n f i n i t e r e a l i t ye n g i n e 。它首先分配图元到几何处理器。经过几何变换处理的图 元被发送到光栅化处理器。每个光栅化处理器负责一定的屏幕区域。一般商业系 统采用每两个扫描线分配一个光栅化处理器。图元传递的方式采用广播的方法。 这个方法的主要缺点是几何变换后的几何图元处理得负载平衡很差。同时由于广 播的方式会带来很高的通信工作量。 g 限d h i c sd a t a b a s e ( a r b i l r a i yp a r t 谴i o n e d ) d i s p l a y 图2 - 4s o r tl a s t 【1 7 j - 1 0 g e o m e t r y p r o c e ss i n g r a s t e r ；z a l o n c o m p o s t i n g ) 浙扎大学硕士学位论文 s o r t 1 a s t ( 见图2 4 ) 直接分配图元到每个渲染器，每个绘制整个屏幕图像。 所有的图元被光栅化后，得到的结构被和称为晟终图像。显然由于每个渲染器都 处理整个屏幕图像显然该体系结构能够实现很好的负载平衡，同时每个渲染器都 出来整个屏幕的象素，造成巨大的图像传输带宽需求，这是一般的硬件设备所无 法承受的，其可扩展性很差。另外每个渲染器都处理整个屏幕，无法实现反走样 处理，否则带来高出一个数量级的带宽需求。 由于s o nm i d d l e 中，并行绘制任务的分布在整条图形流水线的中间进行，所 以无法用软件实现，主要用专用图形硬件实现。而对于s o r tf i r s t 和s o r tl a s t ，可 以用软件方式实现。 2 2 3 立即模式v s 保留模式 按几何场景数据的存储位置，可以将分布式并行绘制技术分为立即模式与保 留模式【1 8 。立即模式与保留模式的概念源于单机的绘制引擎。o p e n g l 是最著 名的立即模式绘制引擎，绘制硬件中不保留几何场景，而由用户每一帧传送三角 形数据；d i r e c t 3 d 则是一套基于保留模式的绘制引擎，绘制硬件对几何场景进 行了封装，原则上程序员不需要知道绘制器如何处理这些数据。如图2 5 所示。 图2 5 单机系统中的立即模式和保留模式1 1 8 】 将这一概念引申到分布式并行绘制中，对应的立即模式，每绘制一帧，客户 端必须向服务器端传送几何数据，绘制服务器绘制完成后，丢弃所有几何数据， 当绘制下一帧时，客户端必须重传所有几何数据，由此造成了立即模式对高速网 络的依赖。当几何数据不断增加时，这一传送步骤将成为瓶颈，限制整体的绘制 速度，w i r e g l 与c h r o m i u m 即是此类系统的典型代表。而保留模式在客户端传 浙江大学硕士学位论文 送次数据后，将这些数据保留在服务器端，当绘制下一帧时，客户端只需要传 送变化的数据，由此极大的减少了网络带宽需求，也增强了系统的可扩展性。如 图2 6 所示 图2 6 并行绘制中的立即模式和保留模式1 1 8 l 2 2 4 并行程序设计与同步控制 并行图形程序设计为了提高效率，灵活性。正确性，应该提供给用户一定并 行程序设计接口或者同步控制接口。g 乙r 实现了一个c ，s 模式的o p e n g l ，远程 o p e n g l 系统的执行通过一个g l s e s s i o n 的句柄保证o p 姐g l 上下文切换的一 致性。目前可以见到的程序设计接口为i g e h y 在( 1 9 】中提出，定义了两类同步控 制接口，b a r r i e r 和s e m a p h o r e ，主要保证正确的应用程逻辑，以及高性能并行 分布图形系统中确保o p c n g l 严格顺序程序执行的正确性，并且被w i r e g l 所使 用。该并行接口配合m p i 实现主从式分布图形程序控制，主要依靠b a r r i e r 阻塞 整个分布流程，使用信号量图形渲染的顺序。 常用的并行程序设计库主要由三种，消息传递接口( m e s s a g ep a s s i n g i n t e r f 如e ，m p i ) ，p t l l 揩a d 和o p e n m p ，由于m p l 具有可靠性高，支持的软硬件 种类广而被广泛采用。m p i 的定义严格，支持点对点通信和集合通信，同时支 持分组通信功能，并且可以独立于网络设备。m p i2 0 支持单向内存存取和动态 通信集合功能。m p i 可运行于集群计算系统，对称多处理器系统，大规模并行 计算系统以及分布共享内存系统，几乎所有的操作系统都支持m p i 。m p i 目前支 持的语言绑定包括c c + + ，以及f o r t r a n 。m p i 库提供了远程g u i 窗口支持的 浙江大学硕士学位论文 能力。允许用户实现分布g u i 程序。目前的大部分并行体绘制系统都是基于m p i 建造的，特别是医学图像可视化，等值面抽取等应用领域。典型的m p i 程序为 t 从式结构，一般使用节点o 作为主控进程，其它苒点作为从进程。基本的m p i 通信命令为m p i s e n d 和m p i j t e c v 。 2 2 5 典型系统 并行图形绘制的实现主要分为硬件实现和软件实现。硬件实现的典型代表 是：l n f i n i t e r e a l 畸e n g i n e 和s t a n f b r d 的p o m e g r a n a t e 。但是此类高端并行机大都 价格十分昂贵，严重的阻碍了其推广、普及、以及更新。随着p c 级硬件的不断 发展和完善，低端图形卡的性能不断提高，国内外关于高性能图形绘制的研究逐 渐转向了利用通过网络互连的p c 集群系统来代替传统的图形工作站，利用分布 式并行绘制来代替单处理器绘制，以实现对大规模数据的实时绘制，即软件实现。 软件实现中，比较最成功的是w i r e g l 。这是第一个基于s o n f i r s t 体系结构并 且独立与硬件的图形集群计算系统。w i r e g l 包含两类节点：客户节点和渲染服 务器。客户节点负责分配o p e n g l 命令数据包到服务器节点，服务器节点负责 0 p e n g l 包的解码和绘制，并且将最终的图像通过数字视频接口( d i g i t a lv i d e o i n t e r f a c e ) 发送到一个数字视频合成硬件，l j g h t n n 争2 。c h r o m j u m 是s t a n f o r d 大 学在w i r e g l 的基础上实现的一个基于s p u ( s t r e 啪p r o c e s s i n gu n i t ) 的并行绘制 系统。利用s p u ，每一个并行绘制的阶段被封装为一个相对独立的模块；通过各 个模块的不同组合，可配置的实现了s o r t - f i r s t ，s o n - l a s t ，已经混合模式的分布式并 行绘制。c e s c 的投影墙系统的o p e n g l 绘制部分就是基于c h m m i u m 的，下面我 们会对c h r o m i u m 做出更详细的介绍。 2 3c h r o m i u m 2 3 1 概述 在过去几年中，普通图形卡和桌面c p u 处理能力的上升，以及高性能网络 的发展，催生了新一带的超级计算机：集群。这种以普通p c 机集合起来的集群， 提供了无限的绘制和显示三维图形的能力。然而，这些系统的应用程序接口 ( a p i ) 并不是为大型并行集群所设计的。c h r o m i u m 提供了通用的并行图形引 用程序接口以支持这些集群。另外，它可支持所有已经存在的应用程序的运行而 不需要修改，并且能尽最大可能地开发出集群的并行绘制功能。 c h r o m i u m 是w i r e g l 的后续版本，它可以在当今大多数主流操作系统 浙汀大学硕十学位论文 f u n i x & w i n d o w s l 上运行。由于其具有完全可扩展性的架构，因此并行的绘制算 法可以在集群上方便地实现。和w i r e g l 一样，c h r o m i 啪也是基于o p e n g l 绘 图指令来实现的。它最大的特点是明确地提出了“流处理” 2 0 】的概念，图形绘制 过程被看作数据流在s p u ( s t r e a mp r o c e s su n i t ) 间流动的过程，通过各种类型 s p u 的连接组合可以生成各种结构的并行绘制系统。而且，c h r o m i u m 的流处理 器可以进行编程扩展，这方便了c i l r o m i u m 用户来解决更通用的问题，可扩展性 足c h r o m j u m 的重要特点，它对基本的图形绘制指令提供了一种可编程过滤机制， 因此可以通过c h r o m i u m 实现许多底层的算法。 c 1 1 r o m i u m 的强大功能源于其对一些技术的无缝拼接，如： 0 p e n g l a p i 解释机制 基于o p e ng l 的命令流处理模型 最优化状态的跟踪机制 扩展o p e n g l 的方法 一个可编程的实现管线的系统( m o l l l e r s h i 口) c h m m i u m 是基于工业标准的0 p e ng l 的编程接口。o p e ng l 必须动态地链 接到这些库以支持不同的显示卡。c h r o m i u m 则用自己的解释库来替代原有的库。 这个设计使得c h r o m i 帆可以使用本地计算机的0 帚e ng l 实现，从而保证了调用 函数的硬件加速。 当c h r o m i u m 控制了一个应用程序的绘制系统时，所有的图形命令都被转化 成图形命令流。命令流机制使得c h r o m u m 自然地从单机扩展到分布式内存的集 群，并且使用了非常有效的网络抽象层。这点在现代高速的互联中起着重要作用。 2 3 2 工作原理 c h m m i u m 有三类重要应用：一是可以支持0 p e n g l 程序在大屏幕拼接显示