（计算机应用技术专业论文）基于动态反馈的集群渲染系统的设计与实现.pdf

摘耍 摘要 随着动漫产业的不断发展壮大，动画制作也从传统的二维动画转变到现在 主流的三维动画，三维动画带给人们更加真实逼真的感觉，但是三维动画的渲 染是一项很复杂的计算，往往很耗时，单机渲染所需的时间往往让人难以忍受， 所以集群渲染成为渲染方式逐渐被业内采用。 本文首先研究了集群的相关理论和技术，分析和比较了几种集群的结构和 连接方式，研究了集群管理系统的工作流程以及系统中管理服务器和工作节点 的分工，然后研究了三维动画制作软件的制作流程，分析了影响动画后期渲染 相关因素，指出了集群的通讯开销和整个渲染系统的任务调度分配策略对整个 系统的效率有关。 接下来本文围绕减少系统通讯开销以及保证系统负载平衡做了研究，首先 分析传统的任务分配策略，根据传统分配策略的优势和不足，引入反馈思想， 结合负载平衡原理，提出基于反馈的负载均衡调度策略的思想。最后本文在系 统设计的总目标的基础上，给出了本系统总体框架，包括系统的节点模块、功 能模块、通讯模块的实现，阐述了系统的工作流程。在任务调度策略方面，分 析了任务划分的目的和原则，并结合计算机的处理能力和当前任务负载实现了 基于动态反馈的负载平衡调度策略，最后通过实验测试，减少了系统通讯所消 耗的时间，并实现了整个系统的负载平衡，提高了集群的工作效率。 关键词集群系统；负载平衡；动态反馈；渲染 a b s t r a c t i i i a b s tr a c t w i t ht h ed e v e l o p m e n to ft h ec a r t o o n ，t h ea n i m a t i o nh a sb e c o m et h ep o p u l a r t h r e e d i m e n s i o n a lc a r t o o nf i o mt h et r a d i t i o n a lp l a n a r , t h et h r e e d i m e n s i o n a lc a r t o o n b r i n gm o r ev i v i df e e l i n gt op e o p l e ，b u tt h er e n d e ro fc a r t o o ni s av e r yc o m p l e x c o m p u t a t i o na l w a y st i m e - c o n s u m i n g , t h et i m eo fs i n g l e m a c h i n er e n d e r i n gv i e w s a n dc a r t o o n sa r ea l w a y su n b e a r a b l e ，s oc l u s t e rr e n d e rh a sb e e nw i d e l ya d o p t e db y m a n yc o m p a n i e s i nt h et r a d e f i r s t l yw e h a v er e s e a r c ht h a tt h et h e o r ya n dt e c h n o l o g yo fc l u s t e r , a n a l y z e da n d c o m p a r et h es t r u c t u r ea n dt h ew a y s o fl i n ko fs e v e r a ls o r t so fc l u s t e r s ；t h ew o r kf l o w o fd u s t e rm a n a g e m e n ts y s t e ma n dt h ec o o p e r a t o ro fm a n a g e m e n tn o d ea n dw o r k n o d e s t h e nr e s e a r c ht h ef l o wo f3 dc a r t o o ns o f h t c a r e , a n a l y z et h ef a c t o r so ft h e u p p e rr e n d e r i n g e f f e c to f3 dc a r t o o n ，p o i n to u tt h a tt h ec o m m u n i c a t i o ns p e n d i n g o fc l u s t e ro fc l u s t e ra n dt h et a s ks c h e d u l e ra r er e l a t e rw i t ht h ee f f i c i e n c yo f t h e s y s t e m h lt h ef o l l o ww eh a v er e s e a r c ht h a th o wt or e d u c et h es p e n d i n go f c o m m u n i c a t i o na n de n s u r et h el o a db a l a n c eo fs y s t e m ，f i r s t l yw ea n a l y z et h e a d v a n t a g ea n ds h o r t a g eo ft h et r a d i t i o n a ls c h e d u l e r , i n t r o d u c et h ef e e d b a c kt h o u g h t a n dl o a db a l a n c et h e o r y , b r i n go u tal o a db a l a n c es c h e d u l e rs t r a t e g yb a s eo n f e e d b a c kt h o u g h t a tt h el a s t ，b a s e dt h et a r g e to ft h es y s t e md e s i g n ，d e s i g nt h ef l a m e o fs y s t e m ，i n c l u d et h a tt h er e a l i z a t i o no fn o d em o d u l e ，f u n c t i o nm o d u l e ， c o m m u n i c a t i o nm o d u l eo fs y s t e m ，e x p a t i a t et h ew o r k f l o wo fs y s t e m i nt h ea s p e c to f t a s ks c h e d u l e r , a n a l y z et h ed i v i d eo ft a s k ，a n di n t e g r a t et h ec o m p u t e ra b i l i t ya n d c 1 】n - e n tt a s ki o a dt or e a l i z eai o a db a l a n c es c h e d u l e rs t r a t e g yb a s e do nd y n a m i c f e e d b a c k , t h e nf r o mt h ee x p e r i m e n tt e s t ，p r o v et h a tc a nr e d u c e t h et i m eo f c o m m u n i c a t i o na n dr e a l i z el o a db a l a n c eo fs y s t e m ，i m p r o v et h ew o r ke f f i c i e n c y k e yw o r d sc l u s t e r ；l o a db a l a n c e ；d y n a m i cf e e d b a c k ；r e n d e r i i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名： 关于论文使用授权的说明 日期：塑上：刍 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：导师签名： 日期：掣 第1 带绪论 1 1 研究背景及意义 第1 章绪论 随着数字媒体技术手段的不断更新和发展，在全球以游戏动漫为主的文化 创意产业被视为继通信、互联网之后的新一轮技术产业变革。在动漫游戏产业 最发达的美国、日本、韩国，动画游戏产品及其衍生产品的产值早己超过钢铁、 汽车等传统工业，成为重要的支柱产业。近年来，我国动漫产业不断发展壮大， 2 0 0 5 年，我国游戏动漫产业产值已超过电影产业。我国已经提出经过5 年至l o 年时间，动漫产业至少要占g d p 的1 的发展目标。这意味着我国动漫产业未 来至少具有10 0 0 亿元产值的巨大发展空剐1 1 。 从早期的二维动画设计到目前的三维动画设计，动画设计进入了一个成熟 的时期，二维动画是对手工传统动画的一个改进，以“分层”技术为基础的动画 设计方法，动画师将运动的物体和静止的背景分别绘制在不同的透明胶片上， 然后叠加在一起拍摄并逐帧输入计算机，由计算机帮助完成绘线上色的工作， 并在计算机控制下完成记录工作。结合上发达的电脑技术，各个层开始在计算 机上直接合成，还能绘制出大自然、科幻式奇效等手绘无法完成的画面。 三维动画设计强大的优势越来越被人们所认可，同二维动画相比三维动画 有着更为优美的画面和更加逼真的视觉效果。另外三维动画还具有许多突出优 势：它不受帧数的限制，在模拟动作灯光都设置妥当的前提下，渲染程序可以 自动产生足量的画面，使影片看起来如同现实一般流畅自然；在着色方面，三 维动画的渲染步骤是一次性的过程，不必再像二维动画那样逐帧着色，大大减 少了重复劳动。 三维动画在呈现给人们良好的视觉效果的同时也存在这一些问题，因为三 维动画的渲梨2 j 是一项非常繁琐的运算，对于处理某些复杂的动画，势必会有 繁重低效的时候。无论是单处理器的计算机，还是多处理器的工作站在面对渲 染庞大计算量时，其处理能力都是十分有限的，即便是多处理器的工作站使用 数小时渲染一帧较复杂场景也是很平常的事情。那么对于一个数分钟或者几小 时拥有上万帧的片子，其渲染时间将是十分漫长的。这个问题已经成为c g 产 业的最大瓶颈。 早在上世纪七十年代计算机厂商和研究机构就开始了对集群系统【3 ，4 】的研 究和开发。将多台同构或异构的计算机连接起来协同完成特定的作业构成了集 群系统，由于它具有投资风险小、可扩展性好、可继承现有软硬件资源以及开 发周期短、可编程性好等特点，己成为并行处理和商业应用的热点和主流。因 北京 e q k 人学t 学硕 j 学佗论文 此，针对上述问题，在国内外的3 d 制作中，集群渲染方案已经得到了广泛的 应用，逐渐成为解决c g 瓶颈问题的首选方案。 1 2 课题研究现状 1 2 1 国内外集群渲染的应用与研究现状 在国内，许多网络集群渲染【5 6 】往往是通过手工或简单的自动分配来完成某 些特定渲染工作的，对于智能化的集群渲染，由于技术和经验的限制还没有进 行大规模的应用。但是国内的若干研究机构和应用单位作了不同程度的尝试， 其理论结构和应用流程已被国内业界人士广泛认可，现今全国很多地方已建立 起了集群渲染的服务平台。 以上海市多媒体公共服务平台为例，它是由上海市科委、长宁区人民政府 共同出资，上海市科技信息中心、上海市多媒体行业协会建设完成，是上海市 研发多媒体服务平台领域的专业服务机构。平台旨在增强政府的服务功能，降 低多媒体中、小企业的投入成本和运营成本，形成企业聚集效应，推动多媒体 产业发展。 平台建设集群渲染阵列配备了5 2 台h p 原装1 0 4 个c p u 的服务器、1 0 台 a p p l eg 52 0 个c p u 的服务器、4 台曙光服务器4 0 个c p u 、1 3 台清华同方服 务器4 6 个c p u 、5 台华硕服务器2 0 个c p u 及相关网络设备和存储阵列。选用 了s o f l i m a g e x s i4 0 、3 d m a x 、m a y a 等三维制作软件和r c n d c r m a n 、m e n t a l r a y 、 m a y a r e n d e r 等著名渲染软件以及业内主流的渲染分发管理软件，组建了业内领 先的集群渲染系统，可对大多数三维动画项目实施制作和渲染。 在国外，集群渲染的应用则相对较为广泛。比如在电影星战前传i i 制 作过程中，导演希望能够把电影的3 d 场景展示推向一个新的高度，尤其要在 画面细节方面做得更好，人物更加逼真自然。影片画面的细节提升就意味着后 期处理的任务量要增加数倍，要消耗极大的人力物力来做这项艰巨的工作。如 果用普通的p c 机来进行这些运算，则需要好几十年的时间才能完成。又比如 大家都熟悉的玩具总动员，如果仅使用一台电脑( 单一处理器) ，这部长达 7 7 分钟的影片的渲染时间将会是4 3 年。所以在数字动画领域，高成本和低成 本的影片主要差距就是在后期电影特效处理的渲染时间，即在电脑被告知该作 什么之后多长时间能渲染出影片。在北美地区拍一个电影，通常3 0 到4 0 的 整体预算是花在特效处理上。 借助集群渲染平台，可以大大地缩短渲染影片的时间，这样导演就可以及 时提出意见并修改影片。正因为如此，我们才有幸看到银幕上那些宏大壮丽的 第1 帚绪论 3 d 场景和活泼生动的人物造型。 集群渲染平台中的管理软件【_ 7 】是整个集群渲染系统的核心，它负责维护整 个平台的正常运行以及作业的分发和集群节点的管理等。目前对于集群渲染管 理系统的研究主要有两个方面，一是针对某些具体的三维动画制作软件开发的 渲染管理分发软件。另一种就是在现有成熟的集群作业管理系统的基础上开发 第三方插件，为具体的动画制作软件实现任务的分发和管理。 1 2 2 集群渲染管理系统的发展 近年来，国内外对集群作业管理系纠8 9 】的研发工作一直很活跃，世界上许 多大学和研究所都开展了大量的研究工作，并进行了许多应用测试。其中颇具 代表性和影响力的作业管理系统有n a s a 与m i u 公司共同开发的p b s ( p o r t a b l e b a t h es y s t e m ) ，威斯康星大学开发的集群作业管理系统c o n d o r ，加拿大 p l a t f o r m 公司研发的负载共享软件l s f ( l o a ds h a r i n gf a c i l i t y ) 以及i b m 开发的 集群作业管理系统l o a dl e v e l e r 。由于开发设计的侧重点和应用领域的差异，它 们在目标、结构、功能和实现上各有千秋，各自有着不同的性能和功能特点， 同时它们也从不同侧面反映了集群资源管理系统所应具备的特性。 以l s f 为例，l s f 1 0 , 1 1 】是加拿大p l a t f o r m 公司研制的用于对分布式集群进 行管理的软件，将物理上分离的多个集群连接在一起，使多个同构或异构的计 算机能够通过局域网或广域网共享计算资源，并能够为用户提供对资源的透明 访问。h p 公司为迪斯尼构建的集群渲染系统为例，该系统名列为2 0 0 4 年世界 5 0 0 强超级计算机第5 7 位，在电影公司是第一位，它采用9 0 0 颗i n t e lx e o n3 0 6 g h z 处理器，使用了h p c 技术，和p l a t f o r ml s f 以及e n f u z i o n 集群管理软件， 使用此集群渲染系统渲染速度有了质的提升。中央电视台构建的集群渲染系统， 也采用了p l a t f o r ml s f 和e n f u z i o n 集群管理软件进行任务的管理和调度。 1 3 论文的主要工作和结构 1 3 1 论文的主要工作 通过研究集群技术以及集群作业管理系统的特点，认真分析了动画集群渲 染以及集群作业管理的关键技术，并研究了集群传统任务分配的策略和动态反 馈负载平衡机制，将基于动态反馈机制的集群动画渲染平台作为本文研究的主 题。 研究以往集群管理系统的工作机制和流程，分析了三维动画的制作流程以 北京t 业人学t 学硕l j 学位论文 及动画集群渲染所用到的相关技术，利用集群技术搭建了分布式的集群渲染平 台，使集群中一台机器作为主管理节点，其他节点作为工作节点，整个系统在 主管理节点的调度和监控下进行工作。在集群工作过程中，根据系统中各个工 作节点的处理能力以及负载情况进行渲染任务的分配和调度，减少集群通讯所 浪费的时间，提高了整个集群的吞吐量。本文针对以下几个方面进行了研究和 实现： ( 1 ) 三动画维集群渲染平台的搭建 集群平台是三维集群渲染的基础，分析了集群的工作模式，系统采用t c p i p 作为集群的通讯传输和控制协议，保证了集群之间的通讯。 ( 2 ) 集群渲染系统的作业管理 集群系统的作业管理是系统正常工作的核心，通过分析集群作业管理系统 的功能和结构，采用“主一从”节点的工作方式，主节点是整个系统的管理节点， 负责整个系统看任务分配、任务管理、节点管理等功能，工作节点负责计算具 体的渲染子任务，并将渲染结果返回。 ( 3 ) 三维动画集群集群渲染的作业调度 在集群系统中，作业管理系统的调度的策略直接决定着系统的工作效率， 本文主要分析了传统的调度算法的不足，并研究了动态和静态调度的优缺点， 结合动态反馈以及负载平衡思想提出了一种基于动态反馈的渲染调度策略。 1 3 2 论文的主要结构 本文共分五章。 第一章首先介绍了课题的研究背景及意义，总结了目前国内外集群渲染系 统的现状并说明了本文研究的问题，最后给出了论文的组织结构。 第二章介绍了有关集群的理论基础，包括集群的概述，集群管理系统的介 绍以及系统的工作流程。 第三章介绍了集群动画渲染系统的有关知识，包括三维动画制作软件的制 作流程以及影响后期渲染的主要因素，为本文以下的研究打下了基础。 第四章首先指出了传统集群渲染调度算法的不足，详细介绍和分析了常见 的动态和静态调度算法，然后结合负载平衡以及动态反馈思想，提出基于处理 机计算能力动态分配渲染任务的理论基础。 第五章第一部分概述了系统设计的总目标，然后给出了系统的体系结构。 第二部分是系统的具体设计思路以及各个部分的实现，包括节点部分设计和实 现，功能模块设计和实现，集群通讯机制的实现，最后阐述了系统的工作流程。 最后一部分是本系统动态调度策略的设计，首先从任务划分的原因和原则入手， 4 幂1 千绪论 设计了一种基于动态反馈思想的调度策略，并经过实验测试证明了该策略的优 越性。 最后是结论部分，对本文进行了总结，并提出了一些需要进一步研究的问 题。 第2 审棠群技术硬作q k 管砰系统 第2 章集群技术及作业管理系统 2 1 集群系统概述 集群计算是一种解决并行计算且具有较高性价比的良好方案，它是由一组具 有独立工作能力的计算机通过现代网络技术互连而成。对于用户和应用程序而 言，集群就像是一个单一的系统，每个用户都可以独立地拥有系统中的所有资源 ( 处理器、存储器和i o ) ，而不需要考虑这些资源是在本地还是在远程。各工作 节点通过统一调度【1 2 , 1 3 1 和协调处理，实现高效的并行计算。 2 i i 集群计算系统 集群( c l u s t e r ) 就是一组计算机，它们作为一个整体向用户提供一组网络资源。 这些单个的计算机系统就是集群的节点( n o d e ) 。节点问通过高性能的互连网络连 接，各节点除了可以作为一个单一的计算资源供交互式用户使用外，还可以协同 工作并表现为一个单一的、集中的计算资源进行并行计算。集群是一个系统，而 非多个计算机系统。在集群系统中可以随意增加和删改集群系统的节点。 2 1 2 集群的分类 节点 节点 图2 - i 集群系统结构图 f i g u r e2 - 1c o n f i g u r a t i o no fc l u s t e rs y s t e m 根据所要完成作业【1 4 ，1 5 1 的不同，通常把集群系统分为以下三种基本类型，包 北京t 业人学t 学i ，页l ：学位论文 括高可用( h i g ha v a i l a b i l i t y ) 集群、负载均衡( l o a db a l a n c e ) 集群及高。 生胄匕( h i g h p e r f o r m a n c e ) 集群。 ( 1 ) 高性能计算科学集群 高性能计算科学集群主要应用在需要大规模科学计算的环境中，如天气预 报、石油勘探与油藏模拟、分子模拟、基因测序等。高性能集群上运行的应用程 序一般使用并行算法，把一个大的普通问题根据一定的规则分为许多小的子问 题，在集群内的不同节点上进行计算，而这些小问题的处理结果，经过处理可合 并为原问题的最终结果。由于这些小问题的计算一般是可以并行完成的，从而可 以缩短问题的处理时间。 高性能集群在计算过程中，各节点是协同工作的，它们分别处理大问题的一 部分，并在处理中根据需要进行数据交换，各节点的处理结果都是最终结果的一 部分。高性能集群的处理能力与集群的规模成正比，是集群内各节点处理能力之 和，但这种集群一般没有高可用性。 ( 2 ) 高可用性集群 高可用集群就是采用集群技术来实现计算机系统的高可用性。为保证集群整 体服务的高可用，考虑计算硬件和软件的容错性。如果高可用性群集中的某个节 点发生了故障，那么将由另外的节点代替它。整个系统环境对于用户是一致的。 ( 3 ) 负载均衡集群 负载均衡集群可使负载在集群中尽可能平均地分摊处理，充分利用集群内各 节点机的处理能力，提高对作业的处理效率。该负载需要均衡计算的应用程序处 理端口负载或网络流量负载。这样的系统非常适合于运行同一组应用程序的大量 用户。每个节点都可以处理一部分负载，并且可以在节点之间动态分配负载，以 实现平衡。 2 1 3 集群系统的特点 随着网络技术的进步和处理器性能的提高，越来越多的人开始用相对 廉价的以太网把相对便宜的服务器工作站连接起来组成集群使用，从而 以较少的代价获得较高的性能【l6 1 。集群己成为超级计算机研究开发的一个 方向。集群的应用范围也在不断扩大，从科学计算到网络服务，事务处理。 集群具有以下特点【1 7 , 1 s ： ( 1 ) 计算节点的独立性。每一个计算节点都是单独的计算机，即使没有作为 集群的单个节点，仍然可以单独使用，不会存在资源搁置的情况，这和传统的 s m p 或者m p p 不同。 ( 2 ) 利用率高。集群系统提供负载平衡功能，它能够通过监视集群中的实际 第2 帚集群技术及作、眦管坪系统 计算节点的负载情况来动态地进行调整，最大程度的利用集群的一切资源。 ( 3 ) 可扩展性好。集群系统有良好的可扩展性，只需很少的配置工作就可以 方便地向集群中加入或删除计算节点。当现有集群不能满足计算或者服务时，一 个简单的办法就是在集群中增加新的计算节点来扩充集群的处理能力或者增加 新的功能。 ( 4 ) 性能价格比高。性能相近的集群系统和一台巨型机或m p p 相比，有着 较低廉的价格，这是集群系统流行的主要经济因素。 ( 5 ) 良好的可用性。在集群系统的某个节点( 非管理节点) 出现故障时，集群 系统仍然可以提供持续的服务，几乎所有的集群系统都有故障处理功能。 从以上的分析可知，集群计算是一种性能卓越，价格低廉的计算模式，集群 技术是发展可扩放高性能计算系统的主流趋势。 2 2 集群作业管理系统 作为集群系统【1 9 2 0 1 的核心部分，集群作业管理系统可以根据用户的需求，统 一管理和调度集群的软硬件资源，保证用户作业公平合理地共享集群资源，提高 系统利用率和吞吐率。因此，集群作业管理系统己成为高性能计算机领域的一个 热点问题，己经出现了十几种不同特性的作业管理系统。 2 2 1 作业管理系统概述 在操作系统中，作业是指用户为了完成一个特定的计算任务，而要求计算机 系统f 2 1 2 2 1 所进行的一系列处理过程，它包括与特定计算任务相关的程序、数据、 作业运行实体( 如进程、线程) 以及所使用的各种系统资源。 ( 1 ) 作业管理系统产生的意义 作业管理系统的出现有很多原因，包括：负载均衡、利用空闲的系统资源、 系统容错等。但最主要的原因是作业管理系统的存在可以使得系统提供更强、更 可靠的服务和更高的吞吐量。 在多个用户同时使用集群系统时，尤其是当用户大量提交作业时，用户作业 之间的资源竞争情况经常发生；有的作业需要占用大量c p u 资源，有的则需要占 用大量的内存资源，不同作业竞争资源，常常造成换页频率过高、磁盘i 0 过大、 系统负荷过重、系统反映变慢、作业运行时间增长、运算效率降低，严重时甚至 导致系统死机，给用户带来诸多的不变。 因此，集群系统中需要一套完整的作业和资源管理系统，进行作业的监控、 调度和管理，以及资源的分析和统计，达到系统资源充分利用的目的。 ( 2 ) 作业管理系统的功能 9 北京t 业大学t 学顾f j 学位论文 作业管理是集群作业管理系统的核心，它的功能就是传统意义上的作业管理 系统实现的基本功能，包括作业的定义、提交、执行以及监控等等。因此，作业 管理层的结构与传统意义上的作业管理系统基本一致，并增加了对集群的支持。 集群作业管理系统要使用集群系统获得尽可能大的吞吐量，同时使资源高效 的利用。集群作业管理系统一方面可以有效避免单点故障，通过故障转移及故障 恢复策略有效提高了系统的可用性。另一方面能够充分利用集群系统资源，使用 “虚拟服务”技术将作业分散到空闲的虚拟作业管理服务器上，有效提高了资源的 利用率和作业的执行效率。 2 2 2 集群作业管理系统的结构 作业管理系统一般具有典型的客户服务器结构，服务器的功能包括批处理 排队、作业调度、作业执行及资源管理等。客户的功能包括作业定义、服务器管 理、系统信息查询等。在服务器与客户之间，采用t c p i p 网络连接协议及与平 台无关的数据通讯协议。其一般结构主要包括以下三个部分。 ( 1 ) 管理服务器：作业服务器运行于集群的工作节点，它是用户和作业管理系 统连接的桥梁。用户通过该服务器向作业管理系统提交、删除、查询、挂起、释 放作业，另外用户还可以通过它查询队列信息。 ( 2 ) 作业调度器：调度器根据作业类型、资源需求、资源可用性以及调度策略 来执行作业调度和排队。 ( 3 ) 资源管理器：该管理器监视和分配资源，执行调度策略，并收集节点信息。 另外，一个作业管理系统还包括作业迁移和检查点操作等功能。 2 2 3 集群作业管理系统的工作流程 集群作业管理系统的工作流程如图2 - 2 所示： l o 第2 幸集群技术硬作q k 管理系统 图2 - 2 集群管理系统的工作流程 f i g u r e2 - 2w o r kf l o wo fc l u s t e rm a n a g e m e n ts y s t e m 2 3 本章小结 集群是实现集群渲染的基础，本章主要介绍了集群的一些相关内容，包括集 群的体系结构和特点等，最后介绍了集群的作业管理系统，集群的作业管理系统 是维持集群正常工作的核心。下一章主要介绍利用集群系统对三维动画进行渲染 的相关技术。 第3 市 维动面集群演染技术 第3 章三维动画集群渲染技术 3 1 三维动画技术概述 3 1 1 三维动画制作的流程 传统的动画制作大致的过程是：先由经验丰富的动画设计师画出动画系列 中的关键画面，然后由辅助的动画设计者及其助手画出那些位于两个关键画面 之间的画面，这些画面要符合指定的动作时间，让动作体现自然流杨。这些还 都是铅笔图稿，为了初步测定造型和动作，可将这些图输入动画测试台进行测 试，这一过程叫做铅笔稿测试。测试通过后再把铅笔稿图手工描在透明片上， 或用照相制版的方法印在透明片上，接着给各幅画面在透明片上涂上各种颜色 的颜料，这个工作需要耐心和精确，透明片要有良好的透明度。经过严格的动 作质量检查后，才能在动画摄制台上进行拍摄。在拍摄之前要有一个摄制表， 这是由导演编制的拍摄进度、层次和时间的规划表。动画摄影师把动画系列通 过拍摄依次记录在胶片上。最后再对胶片进行编辑、剪接、配音、加字募等后 期制作工序。 由此可见，传统的动画制作过程是一个非常复杂而费时的过程，比如我国 的5 2 集动画连续剧西游记就绘制了1 0 0 多万张原画、近2 万张背景，共耗 纸3 0 吨、耗时整整5 年。而在迪斯尼的动画大片花木兰中，一场匈奴大军 厮杀的戏仅用了5 张手绘士兵的图，电脑就变化出三、四千个不同表情士兵作 战的模样。花木兰人物设计总监表示，这部影片如果用传统的手绘方式来完 成，以动画制片小组的人力，完成整部影片的时间可能由5 年延长至2 0 年，而 且要拍摄出片中千军万马奔腾厮杀的场面，是基本不可能的。 目前流行的三维动画设计是近年来随着计算机软硬件技术的发展而产生的 一种新兴技术。依赖c g 技术通过电脑强大的运算能力来模拟现实，经过建模、 运动、渲染三个基本步骤。具体流程是在计算机中首先建立一个虚拟的世界， 设计师在这个虚拟的三维世界中按照要表现的对象的形状尺寸建立模型以及场 景，再根据要求设定模型的运动轨迹、虚拟摄影机的运动和其它动画参数，最 后按要求为模型赋上特定的材质，并打上灯光。当这一切完成后就可以让计算 机自动运算，生成最后的画面。总体说来二维动画更接近于绘画，而三维动画 则更接近于摄影。 就拿海底总动员为例，制作人员先依据原画，以点、线、面逐步完善 北京t 业大学t 学硕f ：学位论文 的方式，创建出小鱼与周围的海洋环境的几何信息，这种搭“骨架”的方式就是 “建模”；之后是“运动”，在有了模型的基础上，通过运动捕捉、力场模拟等方法 来让小鱼们按照设计运动起来。接下来的“渲染”，则是在三维世界中添加虚拟 的灯光、通过摄像机来模拟摄影，此时小鱼的肤色和纹理都变得十分清晰和逼 真，海水也被赋予了流动的波纹。当然，建模、运动、渲染只是三个“基本”步 骤，在经过“光照计算”，并按照虚拟摄影机的设置来逐帧成像之后，那些各式 各样、色彩斑斓的鱼才能真正游动了起来。三维动画软件的流程如图3 1 所示： 图3 - i 三维动画软件的制作流程 f i g u r e3 - 1f a c t u r ef l o wo f3 dc a r t o o ns o f t w a r e 3 1 2 三维动画的后期渲染 三维模型能否能人一种真实感，关键就在于渲染技术。渲染是在计算机内 建立的3 d 几何模型上附加一定的材质、纹理及色彩，并加上光源，通过计算 机的计算生成具有真实感效果的场景图形。其实质就是根据光学物理定律，计 算场景中所有物体可见表面上任一点投向观察者眼中的光亮度的大小和色彩， 英文为r e n d e r 。 3 1 3 三维动画制作软件简介 ( 1 ) s o f t i m a g e3 d 在电脑动画兴起和发展的十多年历史中，s o f t i m a g e3 d 一直都是那些世界 上处于主导地位的影视数字工作室用于制作电影特技、电视系列片、广告和视 频游戏的主要工具。 由于s o f t i m a g e3 d 所提供的工具和环境为制作人员带来了最快的制作速度 和高质量的动画图像，使它在获得了诸多荣誉的同时成为世界公认的最具革新 的专业三维动画制作软件。 ( 2 ) 3 d sm a x 3 d sm a x 是一款应用于p c 平台的元老级三维动画软件，由a u t o d e s k 公司 出品。它具有优良的多线程运算能力，支持多处理器的并行运算，丰富的建模 和动画能力，出色的材质编辑系统。目前在中国，3 d sm a x 的使用人数大大超 过其他三维软件。 ( 3 ) m a y a m a y a 是a l i a s 公司的产品，作为三维动画软件的后起之秀，深受业界欢迎 1 4 第3 币_ 维动【m i 肇群洱粱手之术 和钟爱。m a y a 集成了a l i a s 最先进的动画及数字效果技术，它不仅包括一般 三维和视觉效果制作的功能，而且还结合了最先进的建模、数字化布料模拟、 毛发渲染和运动匹配技术。m a y a 因其强大的功能在3 d 动画界造成巨大的影 响，已经渗入到电影、广播电视、公司演示、游戏可视化等各个领域，且成为 三维动画软件中的佼佼者。 ( 4 ) l i g h t 、) l 删e3 d l i g h t w a v e3 d 是n e w t e k 公司的产品。目前l i g h t w a v e 在好莱坞的影响一 点也不比s o f f i m a g e 、m a y a 等差。它具有出色品质的，价格却是非常低廉，这 也是众多公司选用它的原因之一。泰坦尼克号中的泰坦尼克号模型，就是用 l i g h t w a v e 制作的。 此外还有p i x a r 公司的p h o t or e a l i s t i cr e n d e r m a n 和m e n t a l l m a g 公司的 m e n t a l r a y 等一些三维制作软件。目前主流的，被广泛应用的主要是m a y a 和 3 ds t u d i om a x 。 3 2 三维动画集群渲染系统 3 2 1 三维集群渲染平台 三维集群渲染平台( r e n d e rf a r m ) 骱l j 用集群计算机的优判2 3 1 ，通过管理软 件和3 d 渲染软件，充分利用集群网络中的计算机硬件资源，将复杂的3 d 场景 通过大量计算，生成预览图像或最终动画图像，以供效果调整审定或后期制作 合成之用。整个过程是自动化和智能化的，它代表了制作技术的发展方向。 平台的底层是若干连接在一起的计算机组成的集群，采用领先的分布式渲 染【2 4 】技术，系统将自动确定网络中可用的渲染节点和资源，同时将任务分解到 相应渲染节点，自动负载平衡功能可以优化工作流程中的每个渲染节点的使用 效率。如果某渲染节点与网络断开，管理端将对渲染失败的作业重新处理，并 实现一定的负载均衡功能，确保渲染工作如期完成。 集群渲染平台目前可以很好的支持3 d s m a x ，m a y a 等软件设计模型的网络 渲染工作。在实际应用的过程中，集群渲染平台将可以根据具体设计软件调整 参数结合使用，较好地解决了复杂情况下的模型渲染问题。对于己经构造好的 三维模型，也可以利用集群渲染，可以通过简单的设置来对渲染模型属性参数 进行交互式的编辑与修改，以达到迅速设定渲染模型的目的。 北京t 业人学t 学硕l j 学位论丈 3 2 2 三维集群渲染的主要工作流程 当用户完成三维场景制作后，保存为渲染器能够接受的文件格式。通过管 理软件接口将该渲染任务提交给管理软件，管理软件自动启动以后，便可告知 管理服务器有渲染任务。管理服务器通过作业管理软件的作业调度功能，在网 络上查找负载较轻的节点，发现适合的资源后，进行作业分配。渲染节点接到 任务后，开始渲染工作，并把工作情况实时报告反馈给管理服务器，管理服务 器把收到的信息反馈给管理软件，同时把信息反馈给用户。整个场景渲染完成， 用户得到可以应用的图片序列。其典型工作流程如图3 2 所示： 图3 - 2 集群渲染工作流程 f i g u r e3 - 2w o r kf l o w o fc l u s t e rr e n d e r i n gs y s t e m 3 3 影响三维集群渲染效率的因素 影响三维模型渲染时间的因素有很多，主要在以下几个方面。 1 6 第3 节j 维动【叭集群渲染技术 1 ) 三维场景的复杂程度 我们首先从三维模型本身的复杂程度来看，渲染的场景和物体越复杂，渲 染时所需要的计算量越大，占用的计算机内存越多，渲染时间越长。物体的复 杂性是由其顶点数和面数决定的，由大量面组成的物体需要的计算量要比一个 简单物体大得多。在建模的时候充分考虑物体的复杂性，做到只在必要的地方 才使用非常精确的模型，在其它的时候尽可能的简单，以加快渲染速度。这些 方面在本质上来说是对三维场景制作人员的要求。 ( 1 ) 物体的复杂度 利用二维造型模块生成的三维放样模块是比较基本且常用的建模方法。在 二维造型模块中建立的多边形是由线段和节点组成的可调整的曲线。我们可以 通过移动节点的位置，调整曲线和设定图形的步长来控制复杂度，在建立曲线 多边形时，尽可能用较少的节点去模拟曲线的形状、充分利用修改命令，通过 改变线段的曲率来产生要达到的形状。步数( s t e p ) 将影响在三维放样模块中放样 生成的三维网格体的复杂性。 ( 2 ) 灯光及投影 场景中不要布置太多的聚光灯。在一般情况下，先布置低亮度的环境光， 用以控制场景的总体色调，加强场景的对比度，再布置一个明亮的灯光( 泛光灯 或聚光灯) 作为主光源，然后再加上一个辅助光源即可达到照明效果。在需要投 影及其它特殊要求时，再追加所需的光源。 ( 3 ) 消齿的级数 由于显示在监视器的图像是由一定大小的像素组成的，就会造成直线或曲 线出现锯齿形或阶梯型边沿。消除锯齿现象是把图像渲染到内存中，通过对临 近像素的颜色进行抽样计算，在组成直线或边界的像素周围加入一些中间色调 的像素而实现的。例如，3 d s 模型提供了4 级消齿参数：n o n e 、l o w 、m e d i u m 、 h i g l l ，消齿级别越高，对锯齿现象的平滑处理效果越好，但同时渲染时间和内 存用量也会成倍增加。我们在实际工作中，根据需要采取最合适的消齿级别， 使用不同的消齿算法，从而达到图像的质量最好，渲染效率最高的目的。 ( 4 ) 图像的分辨率 分辨率越高，像素越多，所需的计算量越大，占用的内存就越多，渲染时 间也就越长。我们可以在预着色时采取较低的分辨率来检查场景中物体、灯光、 颜色、最后输出时再采用较高的分辨率达到很好的图像质量。 2 ) 工作节点的性能以及集群通信 通过分析了三维场景本身影响渲染效率的因素之后，我们不难发现，三维 渲染计算任务属于计算密集型的作业。需要强大的c p u 浮点运算能力及较大的 内存容量。 北京t 业大学t 学硕l 学位论文 曼曼曼曼皇舅i i 一 ；i i ii 鼍曼皇曼曼曼曼曼曼曼曼量量曼曼曼寰曼皇曼曼曼曼皇曼曼曼曼曼曼曼吕曼曼皇曼鼍曼曼量曼曼曼曼曼鼍 另外，集群系统并行程序运算的瓶颈在于通信【2 5 2 6 2 7 1 ，过大的通讯延迟将 影响运算速度。假设，在计算过程中，将整个数据分割成n 个模块，分配给n 个c p u 计算，启动计算进程，由主进程调度各c p u 进行计算。并行集群的计 算存在一个效率发挥的问题，c p u 数量和渲染时间的关系理论上与实际情况存 在一定的差异，而且不同系统的实际时间也不尽相同。理论上，c p u 数量越大， 渲染时间越短，它们成反比关系。例如，一个任务由n 颗c p u 来完成，假设1 颗c p u ( n = i ) 完成此任务所需要的时间t 为1 ，则n 颗c p u 的效率是1 颗c p u 效率的n 倍。经过实验测试，如图3 3 ，3 - 4 可以看出c p u 数量和渲染时间并 不是成线性比。 图3 3c p u 数量和渲染时i 司的理论关系 f i g u r e3 - 3t h e o r e t i cr e l a t i o no fc p un u m b e r sa n dt i m eo fr e n d e r i n g 然而事实上，动画渲染花费的时间和c p u 的数量并非成线性反比。当计算 节点到某个数量级别的时候，简单地增加c p u 数量或者计算节点根本无法有效 地提高渲染的效率，c p u 个数达到一定数量后系统效率不但不增加，还有可能 减少。如图3 - 4 所示。 第3 市三维动田1 宪群渲染技术 图3 - 4c p u 数量和渲染时间的实际关系 f i g u r e3 - 4r e a lr e l a t i o no fc p un u m b e r sa n dt i m e o fr e n d e r i n g 3 ) 集群渲染任务调度策略 在集群系统中，如何进行作业的调度对整个集群的性能是至关重要的，要 能够发挥其高性能比、高可用性和可扩展性的优势，系统设计人员必须解决好 集群系统中任务分配的问题，即任务调度策略。规划好任务调度策略是集群系 统负载均衡 2 8 2 9 1 的核心工作。 在大多数情况下，调度算法承担了负载均衡实现中最主要的工作。调度算 法【3 0 】具有很强的针对性，如何选择一个较为高效率的调度从而实现整个集群渲 染系统的负载平衡是影响集群渲染效率的一个关键所在，同样也是本文所要研 究的重点内容。 3 4 本章小结 本章首先介绍了三维动画的渲染流程，包括后期的渲染，然后介绍了一些 主流的三维动画制作软件。随后介绍了三维集群的渲染技术，包括三维集群渲 染平台的原理和工作流程。最后分析了影响三维集群渲染效率的一些因素，特 别是最后两条将是本文接下来研究的重点内容。 1 9 第4 审系统动态负载、f 衡调度设计 第4 章系统动态负载平衡调度设计 4 1 集群渲染传统算法的不足 在实际的渲染过程中，要保证动画渲染系统的渲染结果的正确性，必须做 到不丢帧、不产生错误帧和重复帧。要保证系统的稳定性，必须要避免工作节 点“饿死”( 即整个渲染任务还没有完成，但存在工作节点空闲) 和其他节点负 载过重的现象。 图4 1 饿死节点和空闲节点 f i g u r e4 - 1n o d e so f s t a r v a t i o na n df l e e 传统的集群渲染算法在下面的情况下显得不足：节点上次分配的任务还没 有完成，后面又有新的任务提交。由于每个工作节点的渲染