（计算机应用技术专业论文）基于hadoop平台下的集群渲染系统作业管理的研究.pdf

， 飞j ad i s s e r t a t i o ns u b m i t t e dt og u a n g d o n gu n i v e r s i t yo f t e c h n o l o g yf o rt h ed e g r e eo f m a s t e ro fe n g i n e e r i n gs c i e n c e r e s e a r c ho nj o bm a n a g e m e n to fc l u s t e rr e n d e r i n g s y s t e mb a s e do nh a d o o p m a s t e rc a n d i d a t e ：c h e nc h a n g d a s u p e r v i s o r ：p r o f y a n gw e n w e i m a y2 0 10 f a c u l t yo fc o m p u t e r g u a n g d o n gu n i v e r s i t yo ft e c h n o l o g y g u a n g z h o u ，g u a n g d o n g ，p r c h i n a ，5 1 0 0 9 0 73 哪754川7，iiiii哪y 摘要 摘要 随着c g 技术的高速发展，越来越多的3 d 动画作品出现在大型的电影、卡通、 电视和广告媒体中。2 0 0 9 年底上映的一部3 d 电影阿凡达，吸引了全球众多影 迷的眼球，打破了由泰坦尼克号保持的全球票房最高纪录，掀起3 d 电影制作 的高潮，带动了c g 产业蓬勃发展。 然而，3 d 动画制作的要求越来越高，普通单机动画渲染速度慢的瓶颈问题日愈 突显，为此，集群渲染技术应运而生。为了充分发挥集群渲染的优势，需要对集群 环境下的渲染计算资源进行高效的管理。在此研究背景下，本文着重研究集群渲染 系统作业管理的资源筛选和作业调度，根据集群渲染的特点，采用h a d o o p 分布式 集群计算框架，统一管理集群中的软硬件资源，保证渲染任务的合理调度，提高系 统利用率和吞吐率，进而有效的提高渲染服务质量。 本文首先给出研究背景和意义，分析了集群渲染相关技术发展现状，讨论了集 群系统的体系结构和集群系统作业管理的需求、结构、流程及作业调度策略；探讨 集群渲染系统的建立流程、设计原则、渲染流程及特点。 在此基础之上，着重研究集群渲染系统的作业管理问题，探讨典型作业调度策 略和集群渲染作业调度策略，确定执行渲染任务的资源需求，分析引起集群渲染负 载不平衡的因数，并根据集群系统的负载平衡相关技术以及集群渲染自身的一些影 响和制约系统并行效能的关键因素，结合资源的q o s ，采用基于减聚类的b r f 神经 网络算法对渲染资源筛选进行优化，并通过采用基于动态反馈的负载平衡策略，对 集群渲染系统作业管理中的资源性能负载平衡和渲染任务的负载平衡进行优化。最 后借助h a d o o p 分布式集群计算框架，设计集群渲染平台，实现集群渲染系统作业 管理的优化策略，最终得到优化后的实验结果。 本文通过渲染资源筛选策略，并动态反馈机制之上，对渲染计算节点性能负载 和管理节点负载，采用动态反馈策略，具有一定的优化作用，动态监测负载信息， 并对监测周期内的负载量进行调整，进而提高计算节点的c u p 和内存利用率，改善 集群渲染的服务质量。 广东工业大学硕士学位论文 关键词：集群渲染，作业管理，资源筛选，负载平衡，动态反馈，h a d o o p a b s t r a c t a bs t r a c t w i t ht h er a p i dd e v e l o p m e n to fc gt e c h n o l o g y ，m o r ea n dm o r e3 da n i m a t i o n a p p e a r si nt h el a r g e - s c a l em o v i e s ，c a r t o o n s ，t e l e v i s i o na n da d v e r t i s i n g m e d i a al a t e 2 0 0 9r e l e a s eo f3 df i l m ”a v a t a r ”t oa t t r a c tt h ea t t e n t i o no ft h ew o r l d sm a n yf a n s ，b r o k e n b y ”t i t a n i c ”t ok e e pt h ew o r l db o x o f f i c er e c o r d ，s e to f f t h ec l i m a xo f3 df i l mp r o d u c t i o n , l e dt h ec gi n d u s t r yi sf l o u r i s h i n gd e v e l o p m e n t h o w e v e r ，3 da n i m a t i o n sh a v eb e c o m ei n c r e a s i n g l yd e m a n d i n g c o m m o ns i n g l e a n i m a t i o nr e n d e r i n gs l o w l yb e c o m et h eb o t t l e n e c ko ft h er e n d e rf a r mo b v i o u s l y t h u s ，c l u s t e rr e n d e r i n gt e c h n o l o g yc a m ei n t ob e i n g i no r d e rt og i v ef u l lp l a yt ot h e a d v a n t a g eo fr e n d e r i n gc l u s t e r s ，w es h o u l dm a n a g et h er e n d e r i n gc o m p u t i n gr e s o u r c e s i nt h ec l u s t e re n v i r o n m e n te f f i c i e n t l y i nt h ec o n t e x to ft h i ss t u d y ，t h i sp a p e rf o c u s e so n t h er e s o u r c ef i l t e ra n dj o bs c h e d u l i n go ft h eo p e r a t i o n sm a n a g e m e n ti nc l u s t e rr e n d e r s y s t e m , a c c o r d i n gt ot h ec h a r a c t e r i s t i c so f t h ec l u s t e rr e n d e r i n g ，u s eh a d o o pw h i c hi sa d i s t r i b u t e dc l u s t e rc o m p u t i n gf r a m e w o r k ，u n i f i e da n dm a n a g et h ec l u s t e rh a r d w a r ea n d s o f t w a r er e s o u r c e st oe n s u r ear e a s o n a b l er e n d e r i n gt a s ks c h e d u l i n g ，a n di m p r o v et h e s y s t e mu t i l i z a t i o na n dt h r o u g h p u t ，t h e r e b ye f f e c t i v e l yi m p r o v et h er e n d e r i n gq u a l i t yo f s e r v i c e a tf i r s t ，t h er e s e a r c hb a c k g r o u n da n ds i g n i f i c a n c eo ft h ec l u s t e rr e n d e r i n gr e l a t e d t e c h n o l o g yd e v e l o p m e n ts i t u a t i o na r es h o w e di n t h i sp a p e r t h ea u t h o ra n a l y s e st h e a r c h i t e c t u r eo fc l u s t e rs y s t e ma n dt h en e e d s ，s t r u c t u r e ，p r o c e s sa n dj o bs c h e d u l i n g s t r a t e g i e so ft h ec l u s t e rj o bm a n a g e m e n ts y s t e m , a n di n q u i r ei n t ot h eb u i l dp r o c e s s ， d e s i g np r i n c i p l e s ，r e n d e r i n gp r o c e s sa n d c h a r a c t e r i s t i c so ft h er e n d e rf a r m b a s eo nt h a t ，t h ea u t h o rf o c u s e do nt h ej o bm a n a g e m e n to ft h er e n d e rf a r m , p r o b e i n t ot h et y p i c a lj o bs c h e d u l i n gs t r a t e g i e sa n dc l u s t e rr e n d e r i n gj o bs c h e d u l i n gs t r a t e g yt o f i n do u tt h en e e dt od or e n d e rj o b sa n dt h ef a c t o r so fd e t e r m i n i n gt h er e s o u r c e r e q u i r e m e n t so ft h el o a di m b a l a n c ec a u s e db yc l u s t e rr e n d e r i n g a n da c c o r d i n gt ot h e t e c h n o l o g yo ft h el o a db a l a n c i n gi nc l u s t e r e ds y s t e ma n dc l u s t e rr e n d e r i n gs o m eo f i t s i l l 广东工业大学硕士学位论文 i n f l u e n c ea n dr e s t r i c tt h ek e yf a c t o rf o rp a r a l l e lp e r f o r m a n c e ，j o i n i n gi nt h er e s o u r c e sf o r q o s ，t h i sp a p e ru s e db r fb yc l u s t e r i n gb a s e do nn e u r a ln e t w o r ka l g o r i t h mt oo p t i m i z i n g t h er e n d e rr e s o u r c ef i l t e r ，a n db a s e do nd y n a m i cf e e d b a c kt h r o u g ht h el o a db a l a n c i n g s t r a t e g y ，o p t i m i z et h el o a db a l a n c i n go fr e n d e r i n gt a s k sa n dr e s o u r c e si nt h ej o b m a n a g e m e n to ft h er e n d e rf a r m f i n a l l y ，t oa c h i e v eo p t i m a lo p e r a t i o nm a n a g e m e n t s t r a t e g y ，t h ea u t h o rd e s i g nc l u s t e rr e n d e r i n gp l a t f o r mu s i n gh a d o o pc l u s t e rf r a m e w o r k a n dt h e n ，t h ee x p e r i m e n t a lr e s u l t ss h o w e di nt h i sp a p e r a c c o r d i n gt ot h er e n d e rr e s o u r c ef i l t e ra n dd y n a m i cf e e d b a c kt h r o u g ht h el o a d b a l a n c i n gs t r a t e g y ，t h i sp a p e rs u b m i tas c h e m ew h i c ho p t i m i z e dt h el o a db a l a n c i n go f r e n d e r i n gt a s k sa n dr e s o u r c e si nt h ej o bm a n a g e m e n to ft h er e n d e rf a r m b a s e do n m o n i t o r i n go f d y n a m i cl o a di n f o r m a t i o n ，i ta d j u s tt h ew e i g h to f t h el o a d i n gi np e r i o d ，a n d t h u si m p r o v et h ec o m p u t a t i o n a ln o d e sc u pa n dm e m o r yu t i l i z a t i o n ，i m p r o v et h eq u a l i t y o fs e r v i c e sr e n d e r e dc l u s t e r k e yw o r d s ：c l u s t e rr e n d e r i n g ，j o bm a n a g e m e n t ，r e s o u r c ef i l t e r ，l o a db a l a n c i n g ， d y n a m i cf e e d b a c k ，h a d o o p i v 目录 目录 摘要 a b s t r a c t 目录 c o n t e n t s 第一章绪论 1 1 课题研究背景及意义 1 2 国内外研究现状 1 2 1 集群渲染的发展与应用 1 2 2 目前作业调度策略研究的内容 1 3 本文主要的研究内容 第二章集群系统的作业管理 2 1 集群系统概述 2 1 1 集群系统的特点 2 1 2 集群系统的分类 2 2 集群计算系统的作业管理 2 2 1 集群系统的作业管理需求 2 2 2 作业管理系统的结构 2 2 3 集群系统的作业管理的核心流程 第三章集群渲染技术 3 1 渲染技术 3 2 集群渲染系统的建立 3 2 1 渲染系统应具备的条件 3 2 2 渲染建立背景 3 2 3 三维动画制作 v 广东工业大学硕士学位论文 3 2 4 渲染任务分发l6 3 2 5 集群渲染1 6 3 3 集群渲染系统的体系结构1 7 3 3 1 集群渲染系统的结构1 7 3 3 2 集群渲染的设计原则18 3 3 3 集群渲染的流程2 0 3 3 4 集群渲染的特点2 l 第四章集群渲染系统的作业管理。2 3 4 1 典型作业调度策略分析2 3 4 1 1 作业调度策略2 3 4 1 2 典型的作业调度算法一2 4 4 2 集群渲染作业调度策略。2 6 4 2 1 集中式调度。2 6 4 2 2 分布式调度2 7 4 2 3 层次式调度2 7 4 3 集群渲染系统负载平衡的探讨2 8 4 3 1 负载平衡的概述2 8 4 3 2 影响集群系统负载平衡的因数2 9 4 3 3 引起渲染集群系统负载不平衡的原因一3 0 4 3 4 渲染集群系统负载平衡的核心问题3 l 第五章集群渲染系统作业管理优化策略3 3 5 1 集群渲染系统的渲染资源筛选3 3 5 1 1r b f 神经网络3 3 5 1 2 渲染资源预测算法3 4 5 1 3 资源的q o s 3 6 5 1 4 渲染资源筛选优化策略3 7 5 2 集群渲染系统的作业调度策略优化3 9 5 2 1 动态反馈模型的设计。3 9 5 2 2 负载信息收集4 0 v 1 目录 5 2 3 渲染节点性能负载估算4 l 5 2 4 管理节点负载平衡的管理4 2 第六章集群渲染系统作业管理优化的实验4 5 6 1h a d o o p 分布式集群计算框架4 5 6 1 1h a d o o p 概j 签4 5 6 1 2h d f s 分布式文件系统介绍4 6 6 1 3m a p r e d u c e 介绍4 7 6 。1 4m a p r e d u c e 工作流程。4 8 6 2 集群渲染系统作业管理优化的实现5 0 6 2 1 实验平台及基本配置5 0 6 2 2h a d o o p 平台的集群渲染设计5 2 6 2 3 集群渲染系统作业管理优化的实现5 4 6 2 4 实验结果6 0 结束语6 3 参考文献6 4 攻读学位期间发表论文6 8 独创性声明6 9 致谢7 0 v u 广东工业大学j 页士学位论丈 co n t e n t s a b s t r a c t ( c h i n e s e ) i a b s t r a c t i i i c o n t e n t s ( c h i n e s e ) v c o n t e n t s v i i i c h a p t e r1i n t r o d u c t i o n 1 1 1r e s e a r c hb a c k g r o u n da n ds i g n i f i c a n c e 1 1 2r e s e a r c hs t a t u s 2 1 2 1d e v e l o p m e n ta n da p p l i c a t i o no fc l u s t e rr e n d e r i n g 2 1 2 2t h ec u r r e n tc o n t e n t so fs c h e d u l i n gs t r a t e g i e s 4 1 3m a i nr e s e a r c hc o n t e n t 5 c h a p t e r2j o bm a n a g e m e n to fc l u s t e rs y s t e m 6 2 1c l u s t e rs y s t e mo v e r v i e w 6 2 1 1c l u s t e rc h a r a c t e r i s t i c s 6 2 1 2c l u s t e rc l a s s i f i c a t i o n 6 2 2j o bm a n a g e m e n to f c l u s t e r 8 2 2 1c l u s t e r j o bm a n a g e m e n tn e e d s 8 2 2 2j o bm a n a g e m e n ts y s t e ms t r u c t u r e 9 2 2 3c l u s t e rj o bm a n a g e m e n tc o r ep r o c e s s e s 9 c h a p t e r3c l u s t e rr e n d e r i n g 1 2 3 1 r e n d e r 1 2 3 2e s t a b l i s h m e n to fc l u s t e rr e n d e r i n gs y s t e m 13 3 2 1t h ec o n d i t i o n so f r e n d e r i n gs y s t e m 1 3 3 2 2t h eb a c k g r o u n do fr e n d e r 14 3 2 33 da n i m a t i o n 1 4 v n l c o n t e n t s 3 2 4d i s t r i b u t i o no f r e n d e r i n gt a s k s 1 6 3 2 5c l u s t e rr e n d e r i n g 16 3 3c l u s t e rr e n d e r i n gs y s t e ma r c h i t e c t u r e 17 3 3 1t h es t r u c t u r eo f t h ec l u s t e rr e n d e r i n gs y s t e m 17 ：；3 2t h ed e s i g np r i n c i p l e so f c l u s t e rr e n d e r i n g 18 3 3 3c l u s t e rr e n d e r i n gp r o c e s s 2 0 ：；3 4c l u s t e rr e n d e r i n gf e a t u r e s 2 1 c h a p t e r4j o bm a n a g e m e n to fc l u s t e rr e n d e r i n gs y s t e m 2 3 4 1t y p i c a ls t r a t e g i e so f j o bs c h e d u l i n g 2 3 4 1 1j o bs c h e d u l i n gs t r a t e g i e s 2 3 4 1 2t y p i c a lj o bs c h e d u l i n ga l g o r i t h m 2 4 4 2j o bs c h e d u l i n gs t r a t e g yo f c l u s t e rr e n d e r i n g 2 6 4 2 1c e n t r a l i z e ds c h e d u l i n g 2 6 4 2 2d i s t r i b u t e ds c h e d u l i n g 2 7 4 2 3h i e r a r c h i c a ls c h e d u l i n g 2 7 4 3r e s e r c ho nl o a db a l a n c i n go f c l u s t e rr e n d e r i n gs y s t e m 2 8 4 3 1o v e r v i e wo f l o a db a l a n c i n g 2 8 4 3 2t h ef a c t o r sf o rl o a db a l a n c i n go fc l u s t e rs y s t e m 2 9 4 3 3t h ec a u s e sf o rl o a di m b a l a n c i n go f c l u s t e rr e n d e r i n gs y s t e m 3 0 4 3 4t h ec o r ei s s u e sf o rl o a db a l a n c i n go f c l u s t e rr e n d e r i n gs y s t e m 31 c h a p t e r 5o p t i m i z a t i o ns t r a t e g yt oj o bm a n a g e m e n to fc l u s t e rr e n d e r i n gs y s t e m 3 3 5 1c l u s t e rr e s o u r c e sf i l t e ro fc l u s t e rr e n d e r i n gs y s t e m 3 3 5 1 1r b fn e u r a ln e t w o r k 3 3 5 1 2r e n d e r i n gr e s o u r c ep r e d i c t i o na l g o r i t h m 3 4 5 1 3q o sr e s o u r c e s 3 6 5 1 4o p t i m i z a t i o ns t r a t e g yo fc l u s t e rr e s o u r c e sf i l t e r 3 7 5 2i m p r o v ej o bs c h e d u l i n go f c l u s t e rr e n d e r i n gs y s t e m 3 9 5 2 1d e s i g no fd y n a m i cf e e d b a c km o d e l 3 9 5 ：! 2l o a di n f o r m a t i o nc o l l e c t i o n 4 0 i x 广东工业大学硕士学位论文 5 2 3e s t i m a t i o nl o a dp e r f o r m a n c ef o rr e n d e r i n gn o d e 4 1 5 2 4m a n a g e m e n tf o rl o a db a l a n c i n go f t h ec o n t r o l l e dn o d e 4 2 c h a p t e r6e x p e r i m e n tf o ro p t i m i z a t i nj o bm a n a g e m e n to fc l u s t e rr e n d e r i n gs y s t e m 4 5 6 1 h a d o o p d i s t r i b u t e dc l u s t e rc o m p u t i n gf r a m e w o r k 4 5 6 1 1o v e r v i e wo fh a d o o p 。4 5 6 1 2i n t r o d u c t i o no fh d f sd i s t r i b u t e df i l es y s t e m 4 6 6 1 3i n t r o d u c t i o no fm a p r e d u c e 4 7 6 1 4w o r k f l o wo fm a p r e d u c e 4 8 6 2 i m p l e m e n t a t i o nf o ro p t i m i z a t i o nj o bm a n a g e m e n to fc l u s t e rr e n d e r i n g s y s t e m 5 0 6 2 1e x p e r i m e n t a lp l a t f o r ma n db a s i cc o n f i g u r a t i o n 5 0 6 2 2d e s i g nc l u s t e rr e n d e r i n go nh a d o o pp l a t f o r m 5 2 6 2 3i m p l e m e n t a t i o nf o ro p t i m i z a t i o nj o bm a n a g e m e n to fc l u s t e rr e n d e r i n g s y s t e m 5 4 6 2 4e x p e r i m e n t a lr e s u l t s 6 0 c o n c l u s i o n t i ：i r e f e r e n c e s 6 4 p u b l i c a t i o n sd u r i n gm a s t e r ss t u d y 6 8 o r i g i n a lc r e a t i o nd e c l a r e 6 9 a c k n o w l e d g e m e n t 7 0 第一章绪论 1 1 课题研究背景及意义 第一章绪论 自从c g 技术传入中国后，被广泛应用于影视动画、电影电视剧特技、医疗模拟、 军事模拟、游戏、玩具、汽车及广告等行业，c g 元素几乎充斥了我们生活的每一个 角落，当你行走在路上路边的广告牌、当你打开电视机、当你进入电影院、当你打 开手机，无时无刻c g 元素都围绕在你身边。再加之国家为促进全国文化产业的发展， 财政部和国家税务总局于2 0 0 9 年7 月3 1 日联合发布了关于扶持动漫产业发展有关税 收政策问题的通知，以及各地政府都为扶持动画产业都在打造各地的动漫基地， 以扶持国内动漫产业增强自主创新能力。 我国目前的原创动画片绝大多数都是用于电视播放的长篇动画系列剧，动画电 影很少，动画短片多以非商业用途为主。长篇动画连续剧具有剧情持续性发展、角 色相对固定、单集制作时间压力大、投资回报周期较长等特点，建立一套合理有效 的产业化生产模式对动画产业的发展有着至关重要的作用。 动画作为一种独特的视觉艺术形式一直受到广泛欢迎。从早期的二维动画设计 到目前的三维动画设计，经历了将近1 0 年的发展，已经步入全盛时期。这里提到的 二维动画是指以“分层 技术为基础的动画设计方法。动画师将运动的物体和静止 的背景分别绘制在不同的透明胶片上，然后叠加在一起拍摄。发达的电脑技术与优 秀动画师的联姻进一步推动了二维动画的发展，各个层开始在电脑上直接合成，电 脑还能绘制出大自然、科幻式奇效等手绘无法完成的画面。而目前最为流行的三维 动画设计则是依赖的c g 技术通过电脑强大的运算能力来模拟现实，建模、运动、渲 染是制造三维动画的基本步骤。总体说来二维动画更接近于绘画，而三维动画则更 接近于摄影。 在进行三维创作过程，动画设计者往往遇上这样尴尬的事情，他们大都使用图 形工作站来完成渲染的任务。单机渲染视图和动画时所需时间往往让人难以忍受， 3 0 帧动画就可能耗费数小时，显然渲染时间显得十分困窘，使用单机工作站渲染视 频动画的方式速度实在很低，往往是以数天计算，甚至上月的；这样的渲染占到很 广东工业大学硕士学位论文 大的制作时间比例。在渲染时动画设计者就无法使用计算机进行工作，降低了动画 产品的制作效率，甚至影响了作品及时的交付。这个问题己经成为c g 产业的最大瓶 颈。 早在上世纪七十年代计算机厂商和研究机构就开始了对集群系统的研究和开 发。将多台同构或异构的计算机连接起来协同完成特定的作业就构成了集群系统， 由于它具有投资风险小、可扩展性好、可继承现有软硬件资源以及开发周期短、可 编程性好等特点，已成为并行处理和商业应用的热点和主流。因此，针对上述c g 产业的瓶颈问题，在国内外的3 d 制作中，考虑采用集群计算机并行渲染的方法来 提高渲染效率的人越来越多。 为了使动画作品更加完美逼真，往往需要更精细的艺术造型创作、更方便的制 作软件、更快捷的计算速度和更有效的设备使用。为达到上述目的，使用网络集群 渲染技术是必然的。它主要解决了3 d 动画快速生成，在以流水线式的动画制作方式 中和在用3 d 动画描述突发事件等方面得到了广泛应用，极大地提高了制作效率，解 决了制作时间并提高了设备利用率。在制作过程中，在完成模型设计和动作设定后， 需要对每个镜头进行渲染，以便进行实际效果的审查：在最终作品完成时，要进行最 终的动画场景生成。 1 2 国内外研究现状 1 2 1 集群渲染的发展与应用 在现阶段，许多网络集群渲染计算往往是通过手工或简单的自动分配来完成某 些特定的渲染工作的。对于智能化的网络集群渲染，国内的若干研究机构和应用单 位也作了不同程度的尝试，但由于技术和经验的限制，在生产上还没有成功地大规 模应用，但其理论结构和应用流程已被国内业界人士广泛认可，成为目前突破3 d f l ；0 作工作中的瓶颈、改善工作流程、提高效益的首选方案。通过采用网络集群渲染， 合理应用集群作业管理系统( j o bm a n a g e m e n ts y s t e m ) 的强大功能，不但可以大大缩 短3 d 动画制作时间，提升工作效率，而且可以提高系统的容错能力，全面发挥系统 和设备所具有的各种优势。 2 第一章绪论 在国内，中央电视台使用了一套由1 0 台h p 主机组成的并行集群渲染系统，它使 用t u r b ol i n u x 操作系统，采用p l a t f o ml s f 5 和e n f u z i o n 集群管理软件进行任务的管 理和调度。 湖南国家数字媒体技术产业化基地三维集群渲染