（计算机软件与理论专业论文）三维集群渲染负载均衡技术研究.pdf

硕士擘位论文 m a s t e r 。st h e s i s 中文摘要 为了充分发挥集群计算的优势，需要对计算资源进行高效的管理。集群作业管 理系统正是为适应这种要求而出现并侠速发展起来的。它可以根据用户的需求，统 一管理和调度集群的软硬件资源，保证用户作业公平合理地共享集群资源，提高系 统利用率和吞吐率。 本文e 耳绕如何提高三维集群渲染任务执行效率这一目标，在l s f 作业管理系统 基础之上，重点对该系统的调度框架结构、基本工作流程、调度插件工作原理以及 扩展插件优化技术进行了研究。 首先分析三维集群渲染相关技术，确定执行三维渲染任务的资源需求，为衡量 机器性能提供依据。然后分析比较了l s f 作业管理系统调度框架支持作业调度策略 以及典型的负载均衡资源调度算法。 由于静态调度算法在很大程度上依赖于调度任务和服务器的静态属性，而任务 具有负载非均衡性，且外界环境也不断变化，因此通常静态算法未能很好地实现负 载的均衡。为了将任务更均衡地分配给各执行主机，提出了基于负载信息更新的动 态反馈机制。利用该机制，设计并实现了基于资源调度的负载增量动态反馈算法。 该算法通过监视和评估各主机的当前负载，然后由此选择最合适的主机去处理新任 务。 最后利用l s f 的插件功能，将实现的资源调度模块添加到l s f 调度模块中，并 且可以和系统中其他调度策略协同工作。 关键词：三维集群渲染；资源调度；负载均衡；动态反馈；l s f a b s t r a c t h i 曲l ye 硒c i a n tm a n a g e m e n to fc l u s t e rr e s o u r c e s i sn e e d e dt oe x e r tt h ea d v a n t a g e s o f c l 吣t e r sc o m p u t i n g o nt h i sd e m a n dt h ec l u s t e r j o bm a n a g e m e n ts y s t e ma p p e a r e da n d f a s tt od e v e l o p i tm a n a g e sa n ds c h e d u l e ss o f t w a r ea n dh a r d w a r er e s o u r c e sa c c o r d i n gt o u s e rd e m a n dt og u a r a n t e et h ea v e r a g es h a r eo fr e s o u r c e sa n di m p r o v et h es y s t e mu t i l i t y a n do u t p u t t h i sp a p e ri sa b s o r b e di nt h ea i mo fh o wt oi m p r o v et h ee f f i c i e n c yo f3 dc l u s t e r r e n d e r i n gt a s k s b a s e do bt h ej o bm a n a g e m e n ts y s t e ml s f , i tf o c u s e sr e s e a r c h0 l ll s f f r a m e w o r k , b a s i cw o r kp r o c e s s , t h ew o r kp r i n c i p l eo fs c h e d u l i n gp l u g - i na n d o p t i m i z a t i o no f e x t e n d e dp l u g - i n t h e 玎渤u r c e sr e q u i r e m e n to f3 1 ) r e n d e r i n gi se s s e n t i a lf o re v a l u a t i n gt h e p 矾o r m a n c o f h o s t sa sw ea n a l y s i st h et e c h n i q u e so f 3 dr e n d e r i n go nc l u s t e r s a d d i t i o n a l l y , t h ej o bs c h e d u l i n gs t r a t e g i e sw h i c ha s u p p o r t e db yl s fs c h e d u l i n g f r a m e w o r ka n dt h et y p i c a ln 郴u r c e ss c h e d u l i n ga l g o r i t h m sf o rl o a db a l a n c ea r ea n a l y z e d a 8 w e l l a si ti sw e l lk n o w n , t h es t a t i cs c h e d u l i n ga l g o r i t h m s ，w h i c hd e p e n d 鲫a t l yo nt h e t a s k s o rs e r v e r s s t a t i ca t t r i b u t e s ，c o u l d n td i s t r i b u t et h el o a de v e n l ya m o n gac l u s t e ro f b a c k - e n ds e r v e r s , d u et ot h et a s k s u n b a l a n c i n ga n dd y n a m i ce n v i r o n m e n t a na l g o r i t h m c a l l e dd y n a m i cf e e d b a c ko fl o a d - i n c r e m e n th a sb e e nd e s i g n e da n dr e a l i z e da c c o r d i n gt o t h ed y n a m i cf e e d b a c km e c h a n i s mw h i c hw i l lm o d i 母t h el o a di n f o r m a t i o na ta l li n t e r v a l t i m e t h i ss c h e d u l i n gr e q m r e ss o m em e c h a n i s mf o rm o n i t o r i n ga n de v a l u a t i n gt h e p r e s e n tl o a do ne a c hs o i v c ts ot h a ti t c o u l ds e l e c tt h er i g h ts e r v e rt ou n d e r t a k et h e i n c o m i n gt a s k f i n a l i y ，t h er e a l i z e dr e s o u r c e ss c h e d u l i n gm o d u l ei sa d d e dt ot h el s fs c h e d u f i n g m o d u l e sa s s o c i a t e dw i t hl s fp l u g - i n m o r e o v e r , i tc a nc o o p e r a t ew o r kw i t ho t h e r s c h e d u l i n gp o l i c e si nt h es y s t e m k e yw o r d s ：t h r c c - d i m e m i o n a lc l u s t e rr e n d e r i n g ；i g o u i c c ss c h e d u l i n g ；l o a db a l a n c e ； d y n a m i cf e e d b a c k ；l o a ds h a r i n gf a c i l i t y n 硕士学位论文 m a s t e r st h e s i s 华中师范大学学位论文原创性声明和使甩授权说明 原创性声明 本人郑重声明；所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本声明的法律结果由本人承担。 储始叔习 日期：矽少年占月，d 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权华中师范大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权 中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通 过网络向社会公众提供信息服务。 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程”，同意将本人的 学位论文提交“c a l i s 高校学位论文全文数据库”中全文发布，并可按“章程”中的 规定享受相关权益。回壶监塞埕銮厦澄厦i 旦圭生；旦二生；旦三生筮查! ：蠕眷 1 1 研究背景及意义 第一章绪论 随着数字媒体制作手段的更新和数字电影、h d t v 标准的普及所带来的海量数 据，数字媒体制作对计算机的总线带宽计算速度等硬件要求越来越高。能带给人们 极大视觉冲击力及真实感的3 d 动画，越来越多的出现在各类媒体作品中。但是， 单机渲染和动画生成计算往往非常耗时。虽然计算机的单机性能有了很大的提高， 但是在处理复杂的3 d 图形时仍显力不从心。无论是单处理器的商用机还是双处理 器甚至四处理器的工作站在面对渲染处理中的庞大计算量时，其处理能力都是十分 有限的，即便是多处理器的工作站使用数小时渲染一帧较复杂场景也是很平常的事 情。那么对于一个数分钟或者几小时拥有上万帧的片子，其渲染时间将是十分漫长 的。这个问题已经成为c g 产业的最大瓶颈。 早在上世纪七十年代计算机厂商和研究机构就开始了对集群系统的研究和开 发。将多台同构或异构的计算机连接起来协同完成特定的作业就构成了集群系统， 由于它具有投资风险小、可扩展性好、可继承现有软硬件资源以及开发周期短、可 编程性好等特点，已成为并行处理和商业应用的热点和主流。因此，针对上述c g 产业的瓶颈问题，在国内外的3 d 制作中。考虑采用集群计算机并行渲染的方法来 提高渲染效率的人越来越多。 为了使动画作品更加完美逼真，往往需要更精细的艺术造型创作、更方便的制 作软件、更快捷的计算速度和更有效的设备使用。为达到上述目的，使用网络集群 渲染技术是必然的。它主要解决了3 d 动画快速生成，在以流水线式的动画制作方 式中和在用3 d 动画描述突发事件等方面得到了广泛应用，极大地提高了制作效率， 解决了制作时间并提高了设备利用率。在制作过程中，在完成模型设计和动作设定 后，需要对每个镜头进行渲染，以便进行实际效果的审查：在最终作品完成时，要 进行最终的动画场景生成。 1 2 研究现状 1 2 1 网络集群渲染的应用及发展 在现阶段，许多网络集群渲染计算往往是通过手工或简单的自动分配来完成某 些特定的渲染工作的。对于智能化的网络集群渲染，国内的若干研究机构和应用单 位也作了不同程度的尝试，但由于技术和经验的限制。在生产上还没有成功地大规 硕士学位论文 m a s t e r st h e s i s 模应用，但其理论结构和应用流程已被国内业界人士广泛认可，成为目前突破3 d 制作工作中的瓶颈、改善工作流程、提高效益的首选方案。通过采用网络集群渲染， 合理应用集群作业管理系统( j o bm a n a g e m e n ts y s t e m ) 的强大功能，不但可以大大 缩短3 d 动画制作时问，提升工作效率，而且可以提高系统的容错能力，全面发挥 系统和设备所具有的各种优势。 作业管理系统在集群计算领域得到了广泛的应用，一个典型的例子是美国 p i x a r 公司开发a l f r e d 生成管理系统。它基于系统管理分配渲染任务，能有效、自 动、智能、集群化地管理整个工作室的渲染工作。a l f r e d 系统可以实时管理和监视 渲染节点的工作情况，由此可以最大效率地发挥集群渲染的优势，避免渲染节点的 空闲。在建立了集群网络之后，a l f r e d 可以智能化地根据当前计算机的c p u 使用状 况来决定你的哪一台计算机参与生成工作，管理从几台到上百台的计算机。a l f r e d 相比其它生成管理系统，对大规模集群渲染的能力更强。在国外三维制作中使用 a l f r e d 系统生成的例子比比皆是，诸如最近的纯三维动画大片：玩具总动员，昆虫 总动员，海底总动员等都有a 1 f r e d 系统参与制作生成。a l f r e d 至今已经在市场上 应用于两百多部电影上。p i x a r 公司已成功地为中央电视台安装这套三维鼹络集群 渲染系统，并已投入生产运行，完成数部大片( 如：郑和下西洋、再说长江等) 中的三维渲染部分。 近年来，国内外对集群作业管理系统的研发工作一直很活跃，世界上许多大学 和研究所都开展了大量的研究工作，并进行了许多应用测试。结果表明，大量的并 行应用程序都能在集群系统上获得很好的效率。据统计，美国l i v e r m o r e 国家实验 室9 0 的应用问题都能在集群系统上解决。并且产生了许多公用和商业化的作业管 理系统，公用的免费系统如n q s 、p b s 、c o n d o r 、d q s 等是由美国的一些大机构或大 学开发的，可以从i n t e r n e t 上直接获得它们的源代码；商业化的系统由软件公司 或硬件生产公司为自己的机器开发，如加拿大p l a t f o r m 公司的l s f ，i b m 公司的l o a d l e v e l e r 等 目前这些流行的作业管理系统，虽然具有比较完善的基本管理能力，但还不能 根据不同应用对软硬件资源的需求和偏好程度进行调度和管理，管理性能与适应能 力还有待进一步提高。本文将在现有作业管理系统的基础上，主要研究三维渲染应 用需求，同时对调度策略及其相关机制进行研究，实现面向三维集群渲染应用领域 的资源管理优化 2 硕士擘位论文 m a s t e r st h e s i s 1 2 2 且前任务调度策略研究的内容 任务调度策略是指合理地分配子任务到各个计算节点，保证总任务在最短时间 内完成【l l 。目前，对任务调度策略的研究主要集中在以下几个方面： 1 集中式的调度策略和分布式的调度策略 集中式的调度策略由一个处理机维护一个任务分布表，并由这个处理机负责任 务的分配。分布式任务的调度策略不再有一个集中的处理机管理任务分配表，每个 处理机只与一部分处理机通信。每个处理器都参与负载平衡的控制，它只需了解周 边处理机的局部负载信息，通过渗透方式或交换方式将负载均匀地分散到系统的各 个处理机上。二者各有优点：集中式的实现方便，但容易出现瓶颈问题；分布式的 实现复杂。 2 任务划分问题 任务粒度对于集群系统中任务分配策略的确定具有重要的意义，对于所有任务 调度算法，任务粒度都是一个影响其性能的重要因素。在集群系统中，由于不同结 点之间进程通讯开销比较大，过细的任务粒度会使通讯开销增长，抵消并行计算带 来的好处。因此，在集群系统中，人 订一直都追求大粒度的任务。然而，对于什么 才算“大粒度”的任务，目前尚在研究。针对三维渲染任务，我们可以为机器划分 单个渲染任务的帧数，即通过划分量大b ( c h u n ks i z e ) 来确定。那么如何合理的划分 任务，也是本文研究涉及的内容。 3 任务迁移 为了实现负载平衡，有时需要将正在运行的任务从一个处理机迁移到另外一个 处理机，这就是任务迁移。任务迁移要能够达到透明性、可伸缩性、并行性、异构 性等要求。进程迁移时要收集己执行任务的虚存映像、进程控制块、没读的消息和 缓冲区、文件指针和已设置的定时器等，由于收集这些状态信息是比较困难的， 所以任务迁移实现起来难度很大。 4 负载信息收集策略 要获得良好的负载平衡，在任务分配和再分配时就要收集系统的负载信息。何 时收集何种负载信息也一直是研究的热点目前的负载信息指标主要有：行队列中 的任务数、系统调用的频率、c p u 上下文的切换率、空闲c p u 时间百分比、空闲 存储器的大小( k 字节) 以及每分钟的平均负载等。对于负载信息收集策略主要有三 种：周期性收集策略、命令驱动策略、状态变化驱动策略。 5 网络并行计算的可伸缩性 在网络并行计算中，一个关键问题是用户如何有效地利用整个网络的系统资 源，其中最重要的就是处理机资源。可伸缩性是指并行系统如 可根据问题的规模自 动的伸展( c 的、v i n 曲、收缩( s h r i n k i n 曲和调节负载平衡( l 0 a db 炯c i n g ) 。 1 3 论文的主要工作与结构 1 3 1 论文的主要工作 通过对目前集群作业管理系统的特点及其相关专业各方面的深入调查，认真分 析了任务调度和动态负载平衡以及计算机网络的关键技术，提出了三维集群渲染在 l s f 集群作业管理系统中的负载均衡策略研究作为本文的论题。 研究了l s f 集群作业管理系统，在原有作业调度、资源调度和负载平衡等作业 管理技术的基础之上，扩展调度策略，根据分析三维集群渲染的资源需求合理分配 计算资源、存储资源和软件资源，有效解决密集型计算和异构资源的管理问题，使 集群在具有高可用性的同时，具有高柔软性，可以提供不问断的高效计算服务，满 足用户的服务需求，同时具有灵活自主的资源分配和负载均衡的功能。本文针对以 下几个方面进行了研究和实现： 1 面向三维集群渲染管理的资源需求 在集群计算系统的背景下，对三维集群渲染的资源及影响三维模型渲染因素进 行深入分析，确定了面向集群计算系统的三维渲染资源需求； 2 基于三维渲染需求的作业管理 对于传统作业调度策略( 如f c f s 、f i r s t f i t 、b e s t f i t 等) 进行分析比较，并探讨了 典型的负载均衡资源调度方法，根据三维渲染任务的特点，在动态反馈机制之上提 出了负载增量动态反馈资源调度算法，满足用户的服务需求，从而使系统可以有针 对性的为三维渲染作业分配执行主机，不会因为作业的过度资源竞争而导致系统性 能下降； 3 集群系统作业调度技术及其相关机制的优化实现 研究作业管理系统的作业调度机制、调度原理以及工作流程，重点分析l s f 作 业调度系统的结构和实现机制，并结合l s f 的调度插件u gi n ) 的a p i ，实现了以 满足三维渲染需求的算法思想为核心的负载增量动态反馈算法。 1 3 2 论文的结构 本文分为六章，各章节内容安排如下： 第一章引言，综述性介绍论文研究背景、意义，研究现状和研究内容： 第二章主要介绍了三维集群渲染相关概念，分析了影响三维模型渲染效率的内 4 硕士学住论文 m a s l e r st r h e s i s 在及外在因素，确定三维渲染的资源需求。 第三章详细阐述了集群管理系统的负载均衡技术及任务调度机制，重点分析 l s f 集群管理系统任务调度工作原理，基本工作流程，分析了l s f 系统执行渲染作 业的功能特点。 第四章分析比较了典型调度策略及常见的负载均衡算法，并在此基础上提出了 动态反馈算法的优点。详细阐述了本论文设计实现的负载增量动态反馈算法设计思 想。重点介绍如何结合负载信息动态反馈机制，设计适合三维渲染资源需求的算法。 第五章详细介绍动态反馈均衡算法利用l s f 调度插件扩展功能得到实现。具体 包括调度器s c h e d u l e r 的结构、工作流程和实现以及支持s c h e d u l e r 的相关机制的优 化。 第六章对目前工作进行总结，提出了下一步研究的方向和问题。 5 硕士学位论文 m a s t e r st h e s i s 第二章三维集群渲染技术 2 1 三维渲染技术简介 2 1 1 三维集群渲染相关概念 渲染( r e n d e r i n g ) 是在计算机内建立的3 d 几何模型上附加一定的材质、纹理及 色彩，并加上光源，通过计算机的计算生成具有真实感效果的场景图形 2 1 。其实质 就是根据光学物理的有关定律，计算场景中所有物体可见表面上任一点投向观察者 眼中的光亮度的大小和色彩【3 1 。渲染是三维动画至关重要的一步，渲染的效果直接 影响到成品的质量。精致的模型，流畅的动作、逼真的材质以及自然的灯光是高品 质的作品登不可少的因素。 所谓三维集群渲染平台( r e n d e rf a r m ) 是利用集群计算机的优势，通过网络分发 软件和并行3 d 渲染软件，充分利用集群网络中的计算机硬件资源，将复杂的3 d 场景通过大量计算，生成预览图像或最终动画图像，以供效果调整审定或后期制作 合成之用【2 l 。整个过程是自动化和智能化的，它代表了制作技术的发展方向。 该平台实际上是将一组计算机通过通信协议连接在一起的计算集群，采用领先 的分布式渲染技术，系统将自动确定网络中可用的渲染节点和资源，间时将任务分 解到相应渲染节点，自动负载平衡功能可以优化工作流程中的每个渲染节点的使用 效率。如果某渲染节点与网络断开，内置式故障保护功能管理端将自动将作业重新 路由到渲染集群中的其他渲染节点，实现一定的负载均衡功能，确保渲染工作如期 完成。 集群渲染平台目前可以很好的支持3 d s m a x ，m a y a 等软件设计模型的网络渲染 工作。在实际应用的过程中，集群渲染平台将可以根据具体设计软件调整参数结合 使用，较好地解决了复杂情况下的模型渲染问题。对于已经构造好的三维模型，也 可以利用集群渲染，可以通过简单的设置来对渲染模型属性参数进行交互式的编辑 与修改，以达到迅速设定渲染模型的目的 2 1 2 主要工作流程 进行网络集群渲染的过程中，渲染任务是被逐帧分配的。在菜一时刻，渲染服 务器独立渲染某一帧。最后的渲染结果将被收集在网络中的一个共享目录里。在网 络渲染过程中，渲染主机自动探测网络上参与渲染的主机，发现合适资源时，进行 任务分配。同时，如果网络中的某一台渲染节点意外终止了渲染服务，主机将会把 6 这一未完成的任务自动分配给另一个合适的节点。其典型工作流程如下( 图1 ) ： 圈1 舟络集群渲染工作流程 当用户完成三维场景制作后，保存为渲染器能够接受的文件格式。通过管理软 件接口将该渲染任务提交给管理软件，管理软件自动启动以后，便可告知管理服务 器有渲染任务。管理服务器通过作业管理软件的作业调度功能，在网络上查找负载 较轻的节点，发现适合的资源后，进行作业分配。渲染节点接到任务后，开始渲染 工作，并把工作情况实时报告反馈给管理服务器，管理服务器把收到的信息反馈给 管理软件，同时把信息反馈给用户。整个场景渲染完成，用户得到可以应用的图片 序列。 2 2 影响三维模型渲染效率的因素 影响三维模型渲染时问的因素有很多，但是在用户看来，可以分为两大类，一 个在于三维场景本身，包括场景的复杂程度以及渲染器的选择两部分；另一类在于 执行渲染任务的计算结点上。 2 2 1 三维场景的复杂程度 我们首先从三维模型本身的复杂程度来看，渲染的场景和物体越复杂，渲染时 所需要的计算量越大，占用的计算机内存越多，渲染时间越长。物体的复杂性是由 其顶点数和面数决定的，由大量面组成的物体需要的计算量要比一个简单物体大得 多【4 】。在建模的时候充分考虑物体的复杂性，做到只在必要的地方才使用非常精确 的模型，在其它的时候尽可能的简单，以加快渲染速度。这些方面在本质上来说是 对三维场景制作人员的要求。 1 物体的复杂度 利用二维造型模块( 2 ds h a p e r ) 生成的三维放样模块( 3 dl o f l e r ) 是比较基本且常 用的建模方法。在二维造型模块中建立的多边形是由线段和节点组成的可调整的瞌 7 硕士学位论文 m a s t e r st h e s i s 线。我们可以通过移动节点的位置，调整曲线和设定图形的步长来控制复杂度，在 建立曲线多边形时，尽可能用较少的节点去模拟曲线的形状、充分利用修改( m o d i f y ) 命令，通过改变线段的曲率来产生要达到的形状。步数( s t e p ) 将影响在三维放样模块 中放样生成的三维网格体的复杂性。 2 灯光及投影 场景中不要布置太多的聚光灯。在一般情况下，先布置低亮度的环境光，用以 控制场景的总体色调，加强场景的对比度，再布置一个明亮的灯光( 泛光灯或聚光灯) 作为主光源，然后再加上一个辅助光源即可达到照明效果。在需要投影及其它特殊 要求时，再追加所需的光源。 3 消齿的级数 由于显示在监视器的图像是由一定大小的像素组成的，就会造成直线或曲线出 现锯齿形或阶梯型边沿消除锯齿现象是把图像渲染到内存中，通过对临近像素的 颜色进行抽样计算，在组成直线或边界的像素周围加入一些中间色调的像素而实现 的。例如，3 d s 模型提供了4 级消齿参数：n o n e 、l o w 、m e d i u m 、h i 曲，消齿级 别越高，对锯齿现象的平滑处理效果越好，但同时渲染时间和内存用量也会成倍增 加。我们在实际工作中，根据需要采取最合适的消齿级别，使用不同的消齿算法， 从而达到图像的质量最好，渲染效率最高的目的。 4 图像的分辨率 分辨率越高，像素越多，所需的计算量越大，占用的内存就越多，渲染时间也 就越长。我们可以在预着色时采取较低的分辨率来检查场景中物体、灯光、颜色、 最后输出时再采用较高的分辨率达到很好的图像质量。 2 2 2 渲染器的选择 三维制作软件中，主要由a l i a s 公司的m a y a 及d i s c r e e t 公司的3 ds t u d i om a x 占主导地位。m a y a 已经逐步发展成故事电影、动画片制作行业的创立者和领先者。 但是在游戏工业领域，其普及程序还稍微落后于3 d s m a x 。对于渲染器领域，占据 主导地位的是好莱坞著名的动画公司p i x a r 的所开发的用于电影及视频领域的最 强渲染器r e n d e r m a n 以及a v i d 公司的s o f t i m a g e l x s ! 中的标准渲染器m e n t a lr a y 。 前者的主要特色是在新版本中，加入了光线追踪和全局照明功能，这些功能以 前只能使用一些其他的渲染器来虚拟计算。之所以在电影制作中大量使用 r e n d e r m a n 是因为它渲染的图像非常鲜亮、置换贴图的细节和运动模糊效果非常逼 真，可以非常快速地渲染出极高分辨率的图像。r e n d e r m a n 在渲染计算时，并不是 8 在渲染之前就将所有的n u r b s 表面模型或者细分表面模型镶嵌细分成多边形表面。 而是分区域进行这个工作。 后者是一个非常复杂的可编制程序的光线追踪渲染器，支持全局照明、光线的 发散反射及光学特效。m e n t a lr a y 的材质模型就是一些标准的程序代码，通常是使 用c - 卜 语言编写的。所以在速度上要优于用其他脚本语言编写的材质模型。，但是 这同时也给材质模型的开发工作带来了一定的困难。m e n t a lr a y 中的各个渲染进程 都是用可编写程序式的材质模型进行控制的，比如几何体材质模型用来控制细分表 面物体或者几何体的镶嵌细分，材质和贴图模型用来控制表面夕 观，光子材质模型 用来控制全局照明效果，摄像机材质模型用来控制各种镜头的应用和抗锯齿效果。 输出材质模型用来控制各种后期特效等等。 现在m e n t a lr a y 也被包括在了a l i a s 公司的m a y a 之中，而且在其他的动画系 统中也越来越普及。当用户在m a y a 的w i n d o w s 菜单下的插件管理器中将m a y a t o m r 加载后，m a y a 就装载了m e n t a lr a y ，并将m e n t a lr a y 的菜单项添加进了菜单栏， 这样每次打开m a y a 时就可以自动装载该渲染器。m e n t a l r a y 现在也是3 d s m a x 中 的一个可选渲染器，但是功能有限，不支持可编成的材质模型。 2 2 3 任务节点的性能 通过分析了三维场景本身影响渲染效率的因素之后，我们不难发现，三维渲染 计算任务属于计算密集型的作业。需要强大的c p u 浮点运算能力及较大的内存容 量 另外，集群系统并行程序运算的瓶颈在于通信，过大的通讯延迟将影响运算速 度四。假设，在计算过程中，将整个数据分割成n 个模块，分配给n 个c p u 计算， 启动计算进程，由主进程调度各c p u 进行计算。并行集群的计算存在一个效率发 挥的问题，c p u 数量和渲染时间的关系理论上与实际情况存在一定的差异，而且不 同系统的实际时间也不尽相同。理论上，c p u 数量越大，渲染时间越短，它们成反 比关系。例如，一个任务由n 颗c p u 来完成，假设l 颗c p u ( n = 1 ) 完成此任务 所需要的时间t 为1 。则n 颗c p u 的效率是1 颗c p u 效率的n 倍。然而事实上， 动画渲染花费的时间和c p u 的数量并非成线形反比。当计算节点到某个数量级别 的时候，简单地增加c p u 数量或者计算节点根本无法有效地提高渲染的效率，c p u 个数达到一定数量后系统效率不但不增加，还有可能减少 系统内联网络主要在运算节点问传递数据，对于通用的并行计算而言，任何两 个运算节点之间最好要求平权地保证全队分、全双工、全带宽、无阻碍的特点。以 9 确保运算负载的均衡，避免消息传递时的等待与浪费。因此可以在集群构架方面采 用c p u 间通讯方式的结构，即“胖树嘲”拓扑结构( 图2 ) ，这样可以增加线程数。 采用小型交换机来形成更大的内联交换系统。 图2 。胖树”网络拓扑结构示意图( 圆形为枝叶交换机、八角为主千交换机) 从理论上讲，这个“胖树”可以无限制地扩展下去，可以利用这个结构形成任 意大小的集群是超级计算机。胖节点架构提供对大内存支持，节点中任何一个c p u 都可以使用结点内全部的内存1 7 l 。同时提供多线程的支持，一个节点中采用多个 c p u ，这些c p u 之问可以进行多线程的并行。 2 3 小结 从集群及三维集群渲染平台等三维集群渲染相关概念出发，了解了三维集群渲 染的工作流程。然后从三个方面分析影响三维模型渲染效率的因素，具体包括三维 场景本身的复杂程度，渲染器的比较与选择以及任务节点的性能。 三维渲染计算任务是一种计算密集型作业，需要强大的c p u 浮点运算能力及 较大的内存容量，为了充分发挥执行计算的核心部件的支持，可以通过改进网络连 接方式来进行优化配置。 l o 第三章集群作业管理系统 3 1 集群系统概述 3 1 1 集群系统的分类 小型化、并行化、网络化、智能化是当今计算机发展的主要趋势，集群系统是 这些发展的主要挑战性问题之一，也是当前计算机科学的一个研究热点。集群系统 是一种并行或者分布处理系统。它由一组互连的单机组成，这些单机协调工作提供 个单一的、完整的计算资源。它利用智能机制实现动态的网络范围内的资源共享， 并随着资源供求的变化而变化。这些机制给集群带来了可扩展性，而且允许灵活地 使用工作站，因为集群或网络范围内的可用资源应该比集群中某个节点、工作站上 的资源充足。智能机制同样使得集群能支持多用户、分时共享和并行执行环境。 在这些系统中，可以通过共享资源和动态分配负载从而有效利用全局资源的功 能。有效地开发工作站集群计算能力的想法已经在高性能计算领域内得到高度重 视，当前的趋势也更倾向于这种商品化的超级计算机。集群计算已被认为是未来解 决大型科学或商业计算的主流方案。 根据所要完成作业的不同，通常把集群系纠8 】分为以下三种基本类型，包括高 可用( h i g h - a v a i l a b i l i t y ) 集群、负载均衡( l o a db a l a n c e ) 集群及高性能傩曲 p e r f o r m a n c e ) 集群。 1 高可用集群p 僦是采用集群技术来实现计算机系统的高可用性。通常有两种 工作方式，一种是容错系统，通常是主从服务器方式。从服务器检测主服务器的状 态，当主服务器工作正常时，从服务器并不提供服务。一旦主服务器实效，从服务 器就开始代替主服务器向客户提供服务。另一种为负载均衡系统，集群中所有的节 点都处于活动状态，它们分摊系统的工作负载。一般w e b 服务器集群、数据库集群 和应用服务器集群都属于这种类型。 2 负载均衡集群1 0 l l 1 为企业需求提供了更实用的系统。如名称所暗示的，该 系统使负载可以在计算机集群中尽可能平均地分摊处理。该负载可能是需要均衡的 应用程序处理负载或网络流量负载。这样的系统非常适合于运行同一组应用程序的 大量用户负载均衡集群可以使负载在集群中尽可能平均地分摊处理，充分利用集 群内各节点机的处理能力，提高对作业的处理效率。 根据所承担作业的不同，负载均衡集群可以分为两类： 1 ) 面向作业处理的批处理型负载均衡集群：一般利用批处理作业管理系统， 如l s f 、p b s 等。它们不断检测集群内各节点机的负载情况，把作业分配到负载较 轻的节点进行处理，加快处理速度，提高集群的使用效率。负载均衡集群在多节点 之间分发网络或计算处理负载。在这种情况下，区别在于缺少跨节点运行的单并行 程序。大多数情况下，这种集群中的每个节点都是运行单独软件的独立系统。但是， 不管是在节点之间进行直接通信，还是通过中央负载均衡服务器来控制每个节点的 负载，在节点之间都有一种公共关系。通常，使用特定的算法来分发该负载。 2 ) 面向网络服务的网络流量型负载均衡集群：网络流量负载均衡是一个过程， 它检查到某个集群的入网流量，然后将流量分发到各个节点以进行适当处理。它最 适合大型网络应用程序，如w e b 或f t p 服务器。负载均衡网络应用服务要求集群 软件检查每个节点的当前负载，并确定哪些节点可以接受新的作业。这最适合运行 如数据分析等串行和批处理作业。这些系统还可以配置成关注某特定节点的硬件或 操作系统功能。因此，集群中的节点就没有必要是一致的。 3 高性能集群 1 2 1 1 3 主要用于处理复杂的计算问题，应用在需要大规模科学计 算的环境中，如天气预报、分子模拟、基因测序等。高性能集群上运行的应用程序 一般使用并行算法，把一个大的普通问题根据一定的规则分为许多小的子问题，在 集群内的不同节点上进行计算，而这些小问题的处理结果，经过处理可合并为原问 题的最终结果。由于这些小问题的计算一般是可以并行完成的，从而可以缩短问题 的处理时间。高性能集群在计算过程中，各节点是协同工作的，它们分别处理大问 题的一部分并在处理中根据需要进行数据交换，各节点的处理结果都是最终结果的 一部分。高性能集群的处理能力与集群的规模成正比，是集群内各节点处理能力之 和，但这样的集群一般是没有高可用性的【1 4 1 。 3 1 2 负载均衡集群系统的核心工作 本文是基于负载均衡集群系统进行研究的。集群作业管理系统的负载平衡分为 静态负载平衡和动态负载平衡1 9 1 ”j 。静态负载平衡通常在进程执行之前进行，一般 指映射问题或调度问题。但是静态负载平衡存在与系统和应用有关的根本缺陷，所 以在大多情况下还必须进行动态负载平衡。 集群系统是由若干台计算机组成的系统，含有多个通用资源元件( 包括物理资源 和逻辑资源) ，它们可以在动态的基础上被指定各个特定的任务这引起物理和逻辑元 件在物理上是分布的，通过一个通信网络互相作用网络采用双方合作的协议来控制 信息的传送i l q 。集群系统拥有良好的可用性、可扩展性、可靠性和健壮性，并为用 硕士擘位论文 m a s t e r st h s i s 户提供透明方便的用户界面，它还实行全系统范围内资源的动态分配，实现负载平 衡策略，使得系统得到最佳的资源分配和最好的资源共享的效果。 但是，集群系统还没有非常有效的手段和机制克服由于分布而引起的种种问 题。比如，某一时刻，一些节点的负载极重，而另一些节点的负载却很轻，各个节 点的负载极不平衡。因此，对各个集群系统节点进行负载平衡也就成为任务分配与 调度的主要目标，它能够提高整个系统的性能，在不影响节点的情况下，减少并行 计算时间。 在集群系统中，要能够发挥其高性能比、高可用性和可扩展性的优势，系统设 计人员必须解决好集群系统中任务分配的问题，即任务调度策略。规划好任务调度 策略是负载均衡集群系统的核一t ) , - r 作1 1 7 1 射。 负载均衡的实现涉及面较广，相关的技术包括调度算法、负载评价、系统监控 以及反馈与修正f l 引。在大多数情况下，调度算法承担了负载均衡实现中最主要的工 作。调度算法具有很强的针对性，由于应用程序和并行环境不同所导致的性能差异 较大。负载评价分为两种：对并行任务的负载量的计算和当前并行系统的负载量的 计算。如何判断负载平衡的程度。直接影响到调度算法的决策。对于动态负载平衡 和某些静态实现来说，运行时的支持是必须的。 在动态系统中，无论是抢先还是非抢先式调度，都需要在运行时监视并行系统 的负载变化，确定分配决策或任务迁移决策。在抢险调度中，根据当前状态对现有 的调度方案进行修正是保证负载平衡的重要环节。这种修正称为任务再调度或再分 配。 3 2l s f 作业管理系统 3 2 1 作业管理系统的体系结构 l s f 系统是平台计算公司( p l a t f o r mc o m p u t i n gc o r p o r a t i o n ) 的产品 2 0 j ，在世 界各地有广泛的应用，目前最新版本是p l a t f o r ml s f6 2 。它是建立在操作系统与用 户程序之间的一种系统软件，可以为用户提供统一的系统环境，即将异构计算机网 络当作单一的系统来管理，用户不必受限于本地工作站的资源，不必重写或是更改 程序。 l s f 根据当前负载情况和应用的资源需求，自动在异构环境中选择主机。不同 版本的操作系统和由多个局域网组成的大型异构分布式系统有机地结合起来，形成 一台性能优越的大型虚拟计算机1 2 n 。具体功能包括利用网络技术，实现异地软硬件 资源的整合、集成和共享，实现资源优化，保护现有投资；利用先进的作业容锗及 灵活的作业调度技术，实现资源及作业的智能调度。其目的在于整合不同档次的硬 件资源，利用先进的网格计算技术，提高各种大计算量作业的处理效率f 图3 1 。 国3 l s f 作业管理系统的体系结构 体系结构图中的阴影模块部分构成了l s f 的基础瞄l ，由l s f 负载共享库 ( l s l m ) 、负载信息管理器( l i m ) 以及远程执行服务器( r e s ) - - 部分组成。基础的系 统a p i 接口及后采服务器建立在操作系统之上，位于上层的是设备及应用程序。服 务器d a 锄o n $ 就是运行共享负载的主机，在每个主机上运行负载信息管理器和远程 执行服务器。l i m 和r e s 以d a e m o n s 进程的形式直接与下层操作系统打交道，给 上层用户提供统一的环境。l s l 玲是基本的接口，提供到l i m 和r e s 的访问。 构建在l s f 基础之上的l s fb a t c h 是一种分布式批处理系统，它能屏蔽下层操 作系统，提供作业跨c l u s t e r 调度。l s fm u l t i c l u s t e r 是它的跨c l u s t e r 资源管理模块， 它能够支持跨越局域网及广域网计算环境的资源共享，实现全球资源共享与负载平 衡。m u l t i c l u s t e r 实现了跨域的批处理作业队列。用户提交到队列的作业可能在当地 运行，也可能到远程c l u s t e r 运行以获得更好的性能或所需资源。l s f 管理员可以控 制队列输出，并根据队列的配置运行作业。当提交批处理作业时，用户可以指定输 入及输出文件，即在作业执行之前输入文件被转入选定的执行主机；作业执行之后 输出文件被转出到提交主机。 l s fp a r a l l e lt o o l s 能够管理分布式异构计算环境中运行的并行作业。p a r a l l e l 为 并行计算提供关键作业定位及动态作业调度。并行应用程序采用基于策略的动态作 业调度。通过支持工业标准m p i ( m e s s a g ep a s s i n gi n t e r f a c e ) ，p a r a l l e l 允许将一个大 型计算作业分发到多个c p u 和主机运行确保并行作业执行时所有相关c p u 及主 机都能达到负载平衡，从而保证了优化的性能和网络吞吐量。由并行作业派生的远 程任务可以在适当的主机上被执行。允许用户暂停、恢复、终止或修改任何并行作 硕士擘往论文 m a s t e r st h e s i s 业。p a r a l l e l 可以跟踪并完成各种资源的限制，如每个作业的文件大小、数据区大小、 计算时间及内存大小。l s f 在通知用户作业已完成之前确保该作业中所有任务都已 完成。 通常一个并行作业的一个任务先在一台主机上启动，由并行应用管理器( p a m ) 根据本地l i m 与其他l i m 协商，再在其他的主机上启动该作业的其他任务。p a r a l l e l 的并行作业调度策略：当资源可用时并行作业将被动态调度。作业可用性是基于可 配置的策略。这些策略由系统管理员定义以满足最佳的利用率和资源共享的需要 并行作业可以被调度到s m p 的主机上运行，又可以投放到多台主机上。p a r a l l e l 支 持预约机制，任意主机上的任意数目的c p u 都可被指定或预留来运行该作