（计算机软件与理论专业论文）渲染集群节能控制研究与实现.pdf

摘要 继报纸、杂志、广播、电视四大传统媒体之后，以互联网为代 表的数字媒体方兴未艾。动漫产业的兴起，3 d 动画制作的要求越来 越高，渲染的繁重低效问题日愈突显。集群计算以其卓越的性能、 极高的性能价格比在国内外科学计算及资源管理中已得到了初步的 应用，为解决渲染领域的低效问题，集群渲染技术应运而生。与此 同时，渲染集群的巨大能耗已成为当前业界关注的焦点之一，随着 能源供应的日趋紧张，以及人们对集群可控性，节能性的要求愈来 愈高，迫切要求在保持集群负载和吞吐量的前提下，最大限度地降 低集群能耗。 本文主要研究了在三维动画集群渲染系统中如何有效的进行节 能控制，以节约电能，提高渲染节点使用寿命。首先介绍了集群渲 染相关概念、回顾了集群渲染、渲染节能控制以及当前集群渲染软 件发展概况、研究现状及研究动向。接着提出了三维动画集群渲染 系统c c r s 的基本架构，分析了该系统的三层体系结构、工作流程 和实现方式，并详细描述了系统各个功能模块。针对三维渲染领域 的特点，我们提出以任务量预测为基础，以渲染节点自动开关机控 制为手段的节能控制框架。以历史任务量数据为依据，结合渲染节 点开关机代价分析和机器状态转换规则，提出基于多步预测的自动 开关机控制算法，并针对不同的工作时段采用灵活的控制策略和相 应的控制方法。本文以基于减聚类的离线r b f 神经网络预测算法为 基础，建立在线预测模型以完成任务量预测。同时，对预测算法及 节能控制的有效性进行了验证，并分析了其中的不足之处。 关键词：集群渲染，节能控制，神经网络，多步预测 a b s t r a c t a f t e rs o m et r a d i t i o n a lm e d i as u c ha s n e w s p a p e r , m a g a z i n e ， b r o a d c a s ta n dt e l e v i s i o n ，i n t e r n e t - d e l e g a t e dd i g i t a lm e d i aa r eg e t t i n g m o r ea n dm o r ep o p u l a r f o rt h es a k eo fs p r i n g i n gu po fc a r t o o n sa n d h i g hr e q u i r e m e n t so f3 dc a r t o o np r o d u c t i o n ，t h ei n e f f i c i e n ta n dh e a v y p r o b l e m so fr e n d e r i n gt a s k sb e c o m ea p p a r e n ti n c r e a s i n g l y t or e s o l v e t h ed i f f i c u l t i e sa b o v e ，c l u s t e rr e n d e r i n gt e c h n o l o g ye m e r g e sa st h et i m e s r e q u i r e ，t h er e a s o n so fw h i c ha r et h a t c l u s t e rc o m p u t a t i o nc o n t a i n s e x c e l l e n t p e r f o r m a n c ea n da p p r o p r i a t e c o s tp e r f o r m a n c e t h e r e f o r e ， c l u s t e r r e n d e r i n gt e c h n o l o g y h a sb e e ni n i t i a l i z e d i ns c i e n t i f i c c o m p u t a t i o na n dr e s o u r c em a n a g e m e n ta l lo v e rt h ew o r l d a tt h es a m e t i m et h ev a s te n e r g yc o n s u m p t i o no fr e n d e rc l u s t e r i n gb e c o m e so n eo f t h ef o c u s e so ft h i sf i e l d a st h er e s o u r c et u r n sl e s sa n dl e s s a n dt h e r e q u i r e m e n t sf o rt h eh u m a n sc o n t r o lo fc lu s t e ra sw e l la se n e r g ys a v i n g b e c o m eh i g h e ra n dh i g h e r , i ti su r g e n tt or e d u c et h ec l u s t e rc o n s u m p t i o n t ot h em a x i m u me x t e n tu n d e rt h ec i r c u m s t a n c eo ft h eg u a r a n t e eo f c l u s t e rl o a d sa n dt h r o u g h p u t s i nt h i sp a p e ls o m er e s e a r c h e sh a v eb e e nd o n e ，f o ri n s t a n c eh o wt o c o n d u c te n e r g ys a v i n gc o n t r o le f f e c t i v e l yt os a v ee l e c t r i c i t ya n dp r o l o n g t h e l i f e s p a no fr e n d e r i n gn o d e si n3 dc a r t o o nc l u s t e rr e n d e r i n g s y s t e m s f i r s t l y , s o m ec o n c e p t so ft h i sa r e ah a v eb e e ni n t r o d u c e d a l s o c l u s t e r r e n d e r i n ga n dr e n d e r i n ge n e r g ys a v i n gc o n t r o lh a v e b e e n r e v i e w e d ，a sw e l la st h ed e v e l o p m e n t ，a c t u a l i t ya n df u t u r ep u l s eo f c u r r e n tc l u s t e rr e n d e r i n gs o f tw a r e s a l t e r n a t i v e l y , t h ea r c h i t e c t u r eo f3 d c a r t o o nc l u s t e rr e n d e r i n gs y s t e m - - - c c r sh a sb e e np r o p o s e d ，b a s e do n w h i c ht r i l a y e rs t r u c t u r e ，f l o wo fw o r ka n dt h ew a yo fr e a l i z a t i o no f c c r sh a v eb e e na n a l y z e da n dt h ef u n c t i o nm o d u l e so fc c r sh a v eb e e n d e p i c t e di nd e t a i l p o i n t e da tt h ef e a t u r e so f3 dr e n d e r i n g ，ar e n d e r i n g c l u s t e re n e r g ys a v i n gc o n t r o lf r a m eh a sb e e np u tf o r w a r d ，b a s e do nt h e p r e d i c t i o no ft h en u m b e ro ft h et a s k sa n du s i n ga u t o m a t i cp o w e r - o na n d p o w e r - o f fc o n t r o l a st h em e a n s a c c o r d i n gt ot h e h i s t o r yd a t ao f r e n d e r i n gt a s k sc o m b i n e dw i t ht h ea n a l y s i so ft h ec o s to fr e n d e r i n g i i i n o d e sp o w e r - o na n dp o w e r - o f fa n dt h es t a t e c o n v e r s i o nr u l e so f r e n d e r i n gn o d e s ，m u l t i s t e pp r e d i c t i o n a u t o m a t i c p o w e r - o n a n d p o w e r - o f fc o n t r o la l g o r i t h mh a sb e e nb r o u g h t m o r e o v e rf l e x i b l ec o n t r o l s t r a t e g ya n dc o r r e s p o n d i n gc o n t r o lm e t h o dh a v ea l s oa d o p t e da i m e da t d i f f e r e n tp e r i o d s i nt h i st h e s i s ，o n 1 i n ep r e d i c t i o nm o d e lh a sb e e nb u i l t o nab a s i so fs u b t r a c t i v ec l u s t e r i n go f f - l i n er b fn e u r a ln e t w o r k p r e d i c t i o na l g o r i t h m s i na d d i t i o n ，t h et h e s i sh a sv a l i d a t e dt h ee f f i c i e n c y o fm ep r e d i c t i o na l g o r i t h ma n dt h ee n e r g ys a v i n gc o n t r o l ，a n da n a l y z e d t h es h o r t c o m i n g s k e y w o r d s ：c l u s t e rr e n d e r i n g ，e n e r g y s a v i n gc o n t r o l ，n e u r a l n e t w o r k ，m u l t i s t e pp r e d i c t i o n i v 湖南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不含任何其他个人或集体已经发表或撰写过的作品成果。对 本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标 明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：易各互红 加g 年多月 日 湖南师范大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权湖南师范大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密函。 ( 请在以上相应方框内打“”) 作者签名：涨互红日期：卯g 年6 月岁日 导师签名：离吞鸣 啡川年6 月奎日 渲染集群节能控制研究与实现 1 绪论 随着数码技术的高速发展，越来越多的3 d 动画作品出现在大型 的电影、卡通、电视和广告媒体中。人们对视觉欣赏的要求越来越 高，为了使动画作品更加完美逼真，往往需要更精细的艺术造型创 作、更方便的制作软件、更快捷的计算速度、更有效的设备使用。 为满足上述目的，集群渲染技术应运而生。集群渲染主要用来解决 3 d 动画制作过程中的繁重低效问题，即“渲染瓶颈”，以提高制作 效率，节约制作时间并提高设备利用率。 近年来，随着我国社会经济的快速发展，原先并不凸现的资源 危机已经开始显现。一方面，我国企业规模不断扩大，资源需求量 不断增加，另一方面，粗放型经济仍占有一席之地，资源节约并没 有引起足够的重视，从而已导致我国东部沿海地区电力、水力等资 源的严重短缺，尤其是对于电力资源消耗巨大的三维动画制作企业 而言，影响更大。集群渲染是解决渲染瓶颈的重要手段之一，渲染 集群规模发展过大会导致资源消耗的急剧增加，会使集群面临较大 的资源供给压力，如何在保证集群发展的同时又能降低资源消耗是 我们当前亟待解决的问题。 本章主要介绍三维动画集群渲染相关概念，集群渲染国内外研 究现状以及节能控制在渲染集群中的应用现状，并介绍当前国外集 群渲染软件的研究情况，从不同的角度说明本文的研究目的和研究 意义并介绍本文的主要内容。 1 1 研究背景 数字媒体技术方兴未艾，已经开始影响着当今全球的经济与文 化，与此同时，3 d 动画制作领域却存在着严重的“渲染瓶颈”问题。 计算机硬件在今天的发展尤为迅速，集群技术开始在各个领域发挥 作用，三维动画集群渲染技术在动画制作领域的日益成熟。另一方 面，大规模渲染集群的能耗问题日益严重，渲染集群节能控制正受 到产业界和学术界越来越广泛的关注。 1 1 1 数字媒体 数字媒体( d i g i t a lm e d i a ) 是以信息科学和数字技术为主导，以 大众传播理论为依据，以现代艺术为指导，将信息传播技术应用到 文化、艺术、商业、教育和管理领域的科学与艺术高度融合的综合 交叉学科。数字媒体包括了图像、文字以及音频、视频等各种形式， 以及传播形式和传播内容中采用数字化，即信息的采集、存取、加 工和分发的数字化过程。 1 1 2 渲染技术 渲染技术( r e n d e r i n g ) 是一种计算机图形生成技术。它首先在 计算机中构造出所需要场景的几何模型，附上一定的色彩、材质及 纹理，并加上光源，然后根据假定的光照条件，计算画面上可见的 各景物表面的光亮度，生成具有真实感或非真实感效果的场景图形。 其关键技术主要包括场景模型的简化和管理、光照模型、渲染算法、 纹理映射、材质设置等方面。渲染技术按渲染风格的不同可以分为 真实感渲染和非真实感渲染，按渲染任务划分的不同可以分为单机 渲染、并行集群渲染、分布式渲染等。 1 1 3 集群渲染 集群( c l u s t e r ) 指的是一组计算机通过通信协议连接在一起的 计算机群，它们能够将工作负载从一个超载的计算机迁移到集群中 的其他计算机上，这一特性称为负载均衡( l o a db a l a n c i n g ) ，它的 目标是使用主流的硬件设备组成网格计算能力，达到甚至超过天价 的超级计算机的计算性能。 渲染集群节能控制研究与实现 集群渲染( c l u s t e rr e n d e r ) 又称为渲染农场( r e n d e rf a r m ) ， 是用于动画渲染领域的“分布式并行集群计算系统”的通俗叫法， 利用连接在网络中的多台渲染节点通过管理服务器和管理软件分发 任务来达到批量运算的目的。 1 1 4 节能控制 数字媒体卡通行业对电力能源的需求极大，特别是渲染领域， 一帧动画动辄几个小时，大量机器在不分昼夜的运转，用电量极大。 另一方面，在现行大规模集群渲染中又存在相当严重的资源浪费， 生产高峰期渲染工作的机器不够，生产间隔期大量机器无负荷运转。 如何有效的利用资源，如何有效的节约资源，已经成为当前研究的 热点问题。 当前在集群渲染软件中几乎不考虑节能控制，单纯依靠系统管 理员的经验来完成对渲染节点的开关机控制，或者采用简单的映射 策略来完成对整个集群的控制，即存在不确定性，又存在不合理性。 1 2 集群渲染研究现状 目前全国有数以千计的动画工作室，但大部分属于中小型规模， 他们大都使用图形工作站来完成渲染的任务。而在将来，会有更多 和更大的动画制作公司和单位出现。然而使用单机工作站渲染视频 动画的方式速度很低，同时在渲染时动画制作人员就无法使用计算 机进行工作，降低了动画产品的制作效率。动画越来越逼真、模型 越来越细腻、渲染要求越来越高的情况下，伴随着文件变大、素材 库变大，庞大的数据处理对渲染的要求越来越高。 在进行艺术创作过程中，设计者们常常遇到这样尴尬的事情： 利用单机渲染视图和动画时所需时间往往让人难以忍受，3 0 帧动画 就可能耗费数小时。利用单机渲染往往以数天计算，甚至出现上月 的情况，渲染占用了很大的制作时间l l , f f 0 。正是如此，集群渲染的 研究开始引起大家的关注。 当前，三维动画渲染的研究已经涉及很多方面，实时渲染，网 络渲染、协同渲染以及并行渲染等等。依据从物空间到像空间变换 的过程中渲染任务拆分位置的不同，并行渲染系统主要可以分为以 下三类：s o r t - f i r s t 、s o r t - m i d d l e 弄l s o r t 1 a s t 1 1 。基于s o r t m i d d l e 架构的 应用较为成熟，例如s g i 的i n f i n i t er e a l i t ye n g i n e l 2 ，该引擎使用三角 总线将三角形参数信息从几何引擎传送到象素段生成器，而顶点总 线只负责传送屏幕空间顶点信息。采用s o r t - l a s t 架构来构建的典型系 统如h p & u n c 共同开发的p i x e l f l o w i 3 1 。s o r t - f i r s t 架构关注较晚，典型 的是斯坦福大学& i n t e l 开发研制的w i r e g l 【4 】以及普林斯顿大学的“可 扩展显示墙 【5 1 。 在协同渲染方面，文献【6 】介绍了一个基于图形与图像混合建模 和绘制技术构造的多用户分布式虚拟环境系统，文献 7 则利用 d i r e c t x 的渲染引擎和c o r b a 等技术，实现了分布式虚拟样机可视 化框架的构建。文献【8 】在基于特征的3 d 建模技术和j a v a 技术基础 上提出了一种客户端j 7 务器端的协同设计环境。 国内集群渲染的研究也已经兴起，网络集群渲染方面，李树声 提出网络集群渲染在3 d 动画制作中的应用【9 1 并阐述其技术优势1 0 1 。 在并行渲染方面，浙江大学的枷g l 综合采用s o r t f i r s t 矛f l s o r t - l a s t 两种架构，理论上解决了分布图形计算的可扩展性问题。王永强分 析了基于s o r t - f i r s t 架构的实时渲染系统【1 2 】。其它方面，如强氧公司 阐述了并行集群渲染系统的基本理论【1 3 】，文献【1 4 提出基于w 曲 s e r v i c e 的分布式三维渲染，文献【1 5 贝l j 对协同计算环境下的渲染技术 进行了研究。 渲染集群节能控制研究与实现 1 3 渲染集群节能控制研究现状 近年来，渲染集群的能耗问题越来越受到重视。由于渲染集群 耗电量极大，采用合理的节能控制降低集群能耗不仅可以节约能源， 而且可以延长机器寿命，因此其节能控制显得格外重要。 目前，对于集群计算能耗节约问题的研究主要集中在单机服务 器，重点研究降低其处理器和主存的能耗b 6 , 1 7 】，而对渲染集群服务 器的能耗降低问题的探讨比较少。 文献【1 8 】认为嵌入式集群的总能耗主要由c p u 的能耗决定，其 他部件的能耗所占比例较小。文献【1 9 讨论了嵌入式集群平台的前端 和后端的节能策略，提出一种针对嵌入式w e b 集群服务器的能耗节 约方案，并将该方案应用于基于l i n u x 的嵌入式w e b 集群服务器平 台。文献【2 0 指出，在不影响系统性能的情况下，关闭一些后端节点 并使其他后端节点处于较高工作频率远比开启所有服务器并使其工 作在较低工作频率要节省能耗。因此，及时关闭暂时无须使用的后 端节点对于降耗有重大意义。在d v s 方面，文献 2 l 】认为在满足任 务硬实时要求的前提下，动态调整处理器的运行速度，使得处理器 的工作电压不必持续处于最高值，从而达到节能的目的。 1 4 现有集群渲染软件研究现状 集群渲染软件的研究在国外部分公司已经开展，并提出了相关 的集群渲染管理软件，包括基于m i c r o s o t lw i n d o w s 平台的f i l m f r a n t i c 公司的d e a d l i n e 以及p i p e l i n ef x 公司的q u b e 等等。虽然目前国 内尚无相关的集群渲染软件产品，但已开始得到企业级的应用，如 北京天文馆集群渲染项引2 2 1 和强氧d e a d l i n e t 2 3 1 集群渲染解决方案。下 面介绍几种常见的集群渲染软件及其各自的特点。 1 4 1f j i mf r a n ticd e a dl - n 6 f r a n t i cf i l m s 公司的d e a d l i n e 集群渲染管理软件是一款能够在 基于微软w i n d o w s 平台的不同规模的渲染集群上进行集群渲染管理 的系统。d e a d l i n e 集群渲染管理软件具独特的“蜂群架构，来消 除对集中化服务器应用程序的需求。它带有一个不会影响到可靠性， 但能够改善大型渲染集群性能的服务器应用程序，即使在程序因为 某种原因而关闭，“蜂群 架构能够起到故障保护( f a i ls a f e ) 的作 用，具有较高的稳定性。 d e a d l i n e 为各个三维动画和特效合成软件提供了脚本和插件， 几乎支持所有主流商业软件，制作人员可以从这些软件内部提交渲 染工作。d e a d l i n e 的特点如下： ( 1 ) d e a d l i n e 拥有友好直观的用户界面。 ( 2 ) 支持所有标准命令行渲染工具，并具备有针对各类软件的 专用接口。 ( 3 ) 较强的报错功能，较高效率和可配置性，允许处理有限许 可插件和渲染包。 ( 4 ) 较好的管理和审查功能，可以记录并跟踪系统行为。 ( 5 ) 集成远程管理工具。 1 4 2pip ei n ef xo u b e q u b e 是由p i p e l i n e f x 公司开发的一款企业级别的渲染农场管理 系统，用于电影及游戏产业。q u b e 具有高度的自定义性，可伸缩性， 可以被整合到任何产品工作流程中，该产品能够提供2 4x7 的技术 支持。 q u b e 能够支持的应用程序包括a u t o d e s k 3 d sm a x 、a u t o d e s k m a y a ，n u k e t m ，s o f t i m a g e i x s i ，s h a k e 、 a d o b e a f t e r e f f e c t s 等等。并且操作系统支持l i n u x ，w i n d o w s x p ，2 0 0 0 和 2 0 0 3 ，m a co s x 环境。 最新的q u b e 版本为5 1 ，它支持工业标准的p 、恤o n 脚本语言， 增强了工作流和开发产品能力。另外，q u b e5 1 还增加了对众多新 版本软件的支持，包括m a y a8 5 ；m i g e n ( 新) ；支持m a y a 的m e n t a l r a y ( m i 文件) 引擎；3 d sm a x9 0 ；m e n t a l r a y 独立版本；w i n d o w s 平台的l i g h t w a v e8 5 和9 o ；o s x 平台的s h a k e 4 1 ；f u s i o n5 1 等新 的功能。 1 4 3m i c r o s o f tr e n d e r f a r m r e n d e r f a r m 2 4 】是基于软件和硬件应用的结合，是用于管理复杂 的和跨平台的高级3 d 和2 d 网络渲染解决方案，在渲染效率、稳定 性、灵活性方面具有一定的优势。r e n d e r f a r m 独特的“蜂群 构架 消除了对集中“管理器”的需求。 r e n d e r f a r m 支持最新的双核心处理器，可在1 u 平台上集成四颗 物理核心处理器；采用6 4 位系统构架；友善的用户界面，没有了缓 慢的页面、晦涩难懂的术语和运行怪异的多平台用户界面窗口部件， 取而代之的是一个单一完整的m o n i t o r 用户界面。 r e n d e r f a r m 支持所有标准命令行渲染工具，r e n d e f f a r m 带有针 对m a y a ，3 d sm a x ，d i g i t a lf u s i o n ，l i g h t w a v e ，s o r i m a g ex s i 和 a f t e r e f f e c t s 等软件的自定义编写窗口，通过专门的应用软件脚本或 者插件，以实现高效率及可配置性。 r e n d e r f a r i l l 有良好的系统兼容性，可以运行于w i n d o w s2 0 0 0 、 x p 、s e r v e r2 0 0 0 ，以及n e t1 1 平台的顶层，他通过向一个w i n d o w s 共享的文件夹读写文件实现网络渲染，没有必要在贮藏库主机上安 装客户端软件。 1 4 4a x c eie o ne n f u zio n a x c e l e o ne n f u z i o n 是国内最早建立集群渲染的管理软件，中央 硕士学位论文 电视台在e n f u z i o n 的内核上自己开发了中文图形界面，并且一直在 使用，e n f u z i o n 是从小型到大型制作公司都适合的管理软件。 e n f u z i o n 的特点如下： ( 1 ) e n f u z i o n 不限平台，几乎支持所有的o s 版本，包括6 4 位操作系统，提供6 4 位渲染系统环境，从而最大的获取硬件性能。 ( 2 ) 支持分割渲染，并且支持扫描线渲染器以及r e n d e r m a n 。 ( 3 ) 提供图像浏览器和缩略图浏览器，用户可以方便观看渲染 的情况。 1 4 5v ir t u aiv e r t e xm u s t e r m u s t e r 是较早拥有图形化界面进行任务分发管理的软件之一， 可以说，m u s t e r 是最先以g u i 界面获得客户好感的管理软件。m u s t e r 的特点如下： ( 1 ) 支持多平台的渲染客户端，m u s t e r 需要使用w i n d o w s n t x p 作为渲染器，但可以使用l i n u x 和m a co s x 作为渲染服务器。 ( 2 ) m u s t e r 支持主流的应用软件，价格较低，是小型制作公司 最具性价比的选择。 ( 3 ) 支持m e n t a lr a y 等某些渲染器的分割渲染功能。 1 4 6p ix a raif r e d a l f r e d 生成管理系统由美国p i x a r 公司开发，是完全综合的网络 渲染生成管理系统。它是集群渲染最理想的调度员。它基于系统管 理分配渲染任务，能有效、自动、智能、集群化地管理整个工作室 的渲染工作。 a l f r e d 生成管理系统采用c p u 计算生成的方式，所以只需要几 台普通的p c 机通过集群化，智能化的生成管理，就可以替代昂贵的 设备来完成生成的工作。在建立了集群网络之后，a l f r e d 可以智能 化地根据当前计算机的c p u 使用状况来决定你的哪一台计算机参与 生成工作，管理从几台到上百台的计算机。 a l f r e d 兼容当前所有的主流三维制作软件，如m a y a 、x s i 、 3 d m a x 等，特别支持m a y a 的分层渲染及大容量文件的生成管理， 可管理m a y a b a t c h 、r e n d e r m a n 、m e n t a l r a y 渲染器，可使工作效 率成倍提高。 其他的的集群渲染管理软件如a l 仃e d 、l s f 、s p i d e r 、 d i u e u e 、r o y a l r e n d e r 等，在国内应用比较少。其中s p i d e r 和d r d u e u e 是开源软件项目，对于有开发能力的制作公司来说， 是可以考虑的方案。例如，上影数码曾在s p i d e r 项目上进行开发， 作为自有软件使用。而l s f 目前只是一个网格计算数据库，并没有 专门对渲染农场的工具，开发难度会相对高一些。 1 5 本文研究内容 本文主要研究了在渲染集群中如何实现节能控制，在介绍三维 动画集群渲染系统c c r s 的基础上，将神经网络算法引入渲染集群 节能控制研究，提出基于多步预测的自动开关机控制算法，给出渲 染集群节能控制框架以其实现细节，并通过实验数据验证了节能控 制的有效性。 一 本文首先分析了集群渲染的研究背景、意义和必要性，介绍了 目前本课题的研究现状，讨论分析了目前研究现状存在的问题，以 及本文的主要内容。 第二章提出了三维动画集群渲染系统c c r s ，分析了该系统的 体系结构、工作流程和实现方式，给出了系统的主要组成部分，并 详细描述了系统各模块的功能。 第三章，通过对集群渲染任务量历史数据的分析，结合渲染节 点开关机代价分析以及机器状态转换规则，设计了基于多步预测的 自动开关机控制算法，并以此为基础提出渲染集群节能控制机制， 硕上学位论文 并详细阐述了节能控制几个主要部分的实现细节。 第四章，以基于减聚类的离线r b f 神经网络训练算法为基础， 在集群渲染系统中引入神经网络在线预测算法，给出了算法的详细 描述和实现代码。 第五章，通过实验数据验证了预测算法及节能控制的有效性， 并分析了其中的不足之处。 第六章，总结了本文的主要研究内容和研究成果，并对今后的 发展方向进行了展望。 渲染集群节能控制研究与实现 2 三维动画集群渲染系统c c r s 本章我们介绍了三维动画集群渲染系统( c a r t o o nc l u s t e rr e n d e r s y s t e m ，c c r s ) 的总体框架、工作流程和实现方式。c c r s 采用三 层体系结构，以管理节点为中心，以虚拟分发为补充，全面管理整 个渲染集群的工作。 2 1 集群渲染概述 集群渲染系统由一台或几台服务器、多台p c 和网络连接设备构 成，每台p c 拥有中央处理器、主板、内存以及存储设备。每个工作 站将制作好的三维场景文件提交给集群渲染的服务器，由集群渲染 服务器将任务发配给系统中任意个节点，渲染完成后每个节点再将 结果返回渲染服务器，最后由渲染服务器把视频信号输出到视频设 备( 如b e t ac a m 、d v d 制作设备和打印机) 或者三维视频工作站。 渲染集群是由管理节点和渲染节点通过网络互联组成，作为运 行环境的渲染集群管理软件是整个网络的神经中枢，用于完成主机 的管理、协调任务的提交和分配、与安装在渲染节点上的渲染引擎 通信等工作。工作站先通过网络将渲染任务提交到渲染集群的管理 节点上，然后由其负责分派到与之联网的多个渲染节点，在渲染节 点上由一个定制开发的可执行模块负责与安装在渲染节点上的负责 渲染当前分配的任务的渲染引擎直接通讯，控制其完成渲染。出于 管理渲染任务数据的需要，通常管理节点会有一个大容量并能提供 很高读写带宽的本地存储月j 于共享数据。 灵活的集群渲染并不意味着大笔的资金投入，渲染节点的概念 并不局限特指高端的计算服务器，除了需要采购全新的高性能渲染 服务器外，员工的工作p c 机也可以作为集群的有效补充，“按需部 署 将是最为合理的选择。按需部署的集群渲染方案注重效率与预 硕士学位论文 算的平衡，有效管理和合理流程是实现“按需部署”的显著特点。 乔治卢卡斯说“没有渲染集群的帮助，观众可能需要2 0 0 年才 能看到星战3 这部影片”，当今影视的后期制作已离不开特效的 支持，后期制作部门面对观众苛求的要求，艺术家们不仅需要在每 个项目上追求创新，并且需要解决实现复杂特效的快速工具；即使 最绚丽的特效，在交付期结束前若不能递交将没有任何市场价值。 集群渲染则是实现高效渲染的解决方案，应用于电影电视、c g 行业 的集群渲染不仅可以渲染三维场景，而且可以渲染多种操作系统下 的合成软件场景，用来解决长时间的图像渲染问题。大型的特效制 作均离不开集群渲染，如w e t a 制作的魔戒三部曲，在制作时运 用了近2 0 0 台的s g i 服务器，以及1 5 台i b m 集群服务器进行2 4 小 时的不间断运行，用于处理三维、特效制作需要长时间渲染的图像。 ： 2 2c c r s 体系结构 c c r s 是我们自主开发了一款三维动画集群渲染系统，其体系 结构如图2 1 所示。 、 百兆交换网络 匡蠹匿匡 l 。一早坪 m a s l 廿s o u r c e s e r 出 由、l 兆 - r 规i d 盯 图2 - 1c c r s 体系结构 c c r s 大致分为四个层次，最外层为客户端( c l i e n t ) ，用户通过 渲染集群节能控制研究与实现 c l i e n t 提交任务到服务器。第二层为管理层，该层包括总控节点 ( m a s t e r ) 、源文件服务器( s o u r c e s e r v e r ) 、目标文件服务器 ( t a r g e t s e r v e r ) 、域管理服务器( d c ) 、流量监测器( m r t g ) 以及邮 件服务器( e m a i l ) 等等。管理层负责整个系统的任务调度、机器 控制和系统监测。第三层为虚拟分发层，由虚拟分发节点( v i r t u a l d i s p a t c h e r ，v d ) 组成，在一台物理机器中包含多个v d ，该层负责 管理和监测单个任务。系统的最下层由大量的渲染节点( r e n d e r ) 组成，在c c r s 中，每个渲染节点都是对等的，系统允许渲染服务 器或p c 动态的加入正在运行的系统当中。图2 2 给出了c c r s 主要 模块之间的时序图。 回回囤回囤回囤囤 、发送表电 j j 消息处理 、i p 咯务入库 、请求反馈 一 t 心跳 r 一 u 一取任务 i i 存任务信息文件 i 虚拟分凝广 任务分发三r 一取任务分段信息 状态监控l l 取渲染源j 件 状态监控、渲染 t _ 一 存渲染结月 文件 i i t i 图2 - 2c c r s 模块时序图 如图2 2 所示，c l i e n t 发送任务请求到m a s t e r ，消息处理线程从 消息线程池中取出一个空闲线程处理消息内容，将任务数据存入 d a t a b a s e ，并通知用户任务请求已经接收。r e n d e r 出现空闲时，向 m a s t e r 发送机器空闲心跳，由m a s t e r 从数据库中依据任务调度策略 取出待处理的任务信息，按照事先制定的任务分段原则对用户任务 分段，将任务信息及分段信息存入f i l e s y s t e m ，并向d i s p a t c h e r 发送 虚拟分发消息。d i s p a t c h e r 接收到来自m a s t e r 的消息后，将分段任 务消息发送到r e n d e r ，如果来自一个新的任务则同时启动该任务的 监控线程直至该任务结束。r e n d e r 在接收到来自d i s p a t c h e r 的分段 任务消息后，从s o u r c e f i l e 中取出渲染源文件，启动渲染引擎，执 行渲染过程，渲染结束后将渲染结果文件写入t a r g e t f i l e 。系统各部 分在执行过程中都接受m a s t e r 的监控，以便于控制和管理。 2 3c c r s 模块介绍 c c r s 包括很多模块，各模块之间相互通信，整个系统以消息 为驱动，系统的管理层、虚拟分发层及渲染层分别由功能明确的子 模块组成。管理层作为系统的核心包括任务接收、任务调度，机器 监控，任务监控、节能控制、容错处理，邮件处理，域控制等模块。 虚拟分发层作为管理层的有效补充，包括消息处理、渲染命令分发， 任务监控等模块。渲染层为系统的主要工作部分，由消息驻留、心 跳和渲染等模块组成，下面我们分别介绍c c r s 的各个组成部分。 2 3 1w e b 页面 c c r s 采用b s 结构，以w e b 应用服务器作为服务端，用户通 过浏览器访问系统。c c r s 标准的管理界面、友好的交互设计，整 合了任务管理，渲染节点的管理和系统统计报告的输出。 c c r s 为不同的登陆者提供不同的w e b 页，系统根据登陆者的 身份自动识别，登陆者即可以用管理员的身份登陆系统，也可以用 普通用户的身份登陆系统，当然，两者具有不同的操作权限。 对于用户而言，可以提交任务、查看任务完成情况、机器运行 状况以及收到来自系统的消息提示等。对于系统管理员而言，可以 对整个系统的运行进行有效的控制、包括任务优先级的更改，集群 内渲染节点的控制以及所有用户所具有的权限。 渲染集群节能控制研究与实现 2 3 2 任务调度 c c r s 中任务调度分为两种情况，一种是系统的自动调度，一 种是系统管理员进行的强制调度，两种方式相辅相成共同构成整个 系统的调度控制。 c c r s 采用反馈控制负载均衡算法实现渲染任务动态调度，较 好地解决集群渲染系统的颠簸现象和自适应差的问题。与此同时， 系统管理员通过对任务的优先级的调整可以及时的更改任务的执行 顺序，缩短系统中相应任务的响应时间，以满足部分客户的特殊要 求。 2 3 3 虚拟分发 集群渲染系统中存在大量的渲染节点，如果仅存在单一的管理 节点，系统的通信瓶颈将严重影响系统的整体性能。这就需要一个 合理的体系结构，来有效的分散通信压力，同时配合优秀的集群渲 染管理软件进行调度，以最大限度发挥每个c p u 的效能。为此，c c r s 独创设计了虚拟分发( v i r t u a ld i s p a t c h e r ，v d ) ，v d 位于管理节点 与渲染节点之间，c c r s 通过v d 来管理单个渲染任务。 一个v d 在物理上并不对应一台实际机器，在一台物理机器中 可以拥有多个v d 。管理结点只负责整个系统环境的管理和全部的任 务管理，而单个任务的管理则交给v d 来负责完成，v d 因任务存在 而生，因任务消亡而亡。c c r s 通过v d 有效的降低了管理节点的通 信压力和监控压力，使管理结点的功能更加明确和清晰。 2 3 4 渲染模块 渲染模块负责完成c c r s 三维渲染程序的启动并监控整个渲染 过程的执行情况。渲染模块包括初始化、命令接收、渲染器调用以 及心跳信息处理等部分，在c c r s 中，渲染模块相当于_ 个驻留程 序，但要复杂得多。 渲染模块启动时需要完成一系列的初始化工作，包括机器注册、 路径检查以及心跳发送等。当管理节点为该台渲染节点分配了任务 后，渲染模块会接收到来自管理节点的任务信息，随后启动渲染器 执行渲染任务。在完成每次分段任务后，通知管理节点进行后续处 理。 2 3 5 状态监控 c c r s 中的监控系统包括两个部分，一个是任务状态的监控， 一个是机器状态的监控。任务状态的监控以文件系统的扫描为基础， 任务监控模块会定时扫描系统结果文件服务器，依据系统中当前运 行的任务编号扫描相应的文件夹，并将扫描结果统计成任务运行状 态。机器状态的监控以系统的心跳信息系统为基础，通过主动和被 动两种方式实时监控系统中所有的渲染节点的机器状态。 2 3 6 节能控制 ， 当前现有的集群渲染系统都没有节能控制这一部分，在c c r s 中，节能控制是系统的一大特色，也是本文研究的重点。我们针对 三维动画集群渲染这一特定领域，采用神经网络智能预测系统负载， 提出完整的节能控制框架，实现并验证了有效性。 c c r s 通过节能控制保证只是在工作的时候唤醒渲染节点，尽 可能的减少渲染节点空转的时间，提高机器利用率，从而在节约能 源的同时减少电费开支。 2 3 7 通信机制 c c r s 系统存在大量的信息存储和信息交换，如果仅采用单一 的信息存储和信息通信机制显然不能满足系统要求，c c r s 结合三 种方式来完成系统的通信要求，有效的降低了系统通信压力，提高 渲染集群节能控制研究与实现 了系统的可靠性。 c c r s 的通信机制包括三个方面：s o c k e t 通信、m y s q l 数据库和 文件系统。c c r s 采用消息驱动，通过s o c k e t 通信实现系统各个模 块之间的协同工作，数据库用于存放任务临时信息以及系统相关参 数