（计算机系统结构专业论文）多媒体渲染网格的研究与实现.pdf

上海大学硕士学位论文 摘要 计算机动画是把一系列静态图片有序排列形成连续的动态画面的过程，每 一幅图片即是一帧。渲染是把三维几何模型转换为图片的过程，非常的耗时。 网格技术的出现和发展，为其高效渲染工作提供了更加有效的手段和途径。 多媒体渲染网格应用平台是为需要大规模渲染的科学研究人员提供了计算 资源共享的平台。利用这个平台，研究人员可以使用多媒体渲染网格中的更多 的计算资源进行各种复杂的大规模渲染。 本文根据多媒体渲染作业的特征，研究和实现了一个有效的多媒体渲染作 业调度系统，实现了对网格资源的优化使用，为多媒体渲染作业用户提供了更 好的网格资源服务共享。论文的主要贡献在： 设计和实现了一个多媒体渲染网格应用平台，该平台基于网格w s r f 规范1 和g l o b u s t o o t k i t4 网格核心中间件 1 2 11 1 3 1 。网格资源是高性能计算机系统，其 系统管理软件是o p e n p b s 。 在深入分析多媒体渲染作业特点的基础上，提出了一个多媒体渲染网格的调 度策略。该策略有以下优点：频度轮转调度优化了系统性能，提高了资源的利 用率和渲染计算任务的吞吐率，论文中对此进行了模拟验证；实现了二级调度， 资源所有者掌握了资源提供服务的决策权，为渲染网格走向市场创造了条件。 这是本论文的创新点。 资源所有者在决策时，必须要估计渲染任务的计算时间。论文提出了一个解 决方案，并且利用研制的平台进行了试验，证明所提出的方案是可行的。 论文所研制的多媒体渲染平台通过了上海市计算机软件评测重点实验室的 测试。 关键词：多媒体渲染网格作业管理作业调度频度轮转调度 v 上海大学硕士学位论文 a b s t r a c t c o m p u t e ra n i m a t i o ni sap r o c e s sw h e r eas e r i e so fs t i l li m a g e si sa s s e m b l e da n d s h o w ns e q u e n t i a l l yt og e n e r a t ea ni l l u s i o no fac o n t i n u o u sm o t i o ne f f e c t r e n d e r i n gi s t h ep r o c e s so fc o n v e r t i n g3 d g e o m e t r i cm o d e l si n t og r a p h i c si m a g e s r e n d e r i n go fa n a n i m a t e ds c e n ei sav e r yt i m ec o n s u m i n gt a s k w i t ht h ea p p e a r a n c ea n dd e v e l o p m e n t o fg r i dt e c h n o l o g y , am o r ee f f e c t i v em e t h o di sp r o v i d e d c o m p u t e ra n i m a t i o nr e n d e r i n gg r i dh a sp r o v i d e dc o m p u t i n gr e s o u r c 髓s h a r i n g p l a t f o r mf o rs c i e n c er e s e a r c h e r sw h or e q u i r el a r g es c a l er e n d e r i n gc o m p u t a t i o n c o m p l e xr e n d e r i n gt a s k sc a nb ec a r r i e do nb yu s i n g 鲥dr e s o u r c e s i nt h ep a p e r , w eh a v es t u d i e da n dr e a l i z e da ne f f e c t i v ej o bs c h e d u l i n gs y s t e m a c c o r d i n gt ot h ec h a r a c t e r i s t i co ft h er e n d e r i n gt a s k i tr e a l i z e st h eo p t i m i z a t i o no n u s i n go fg r i dr e s o u r c e sa n dp r o v i d e sb e t t e rg r i dr e s o u r c e ss h a r i n gf o ru s e r s o u r c o n t r i b u t i o n sa r el i s t e da sf o l l o w s am u l t i m e d i ar e n d e r i n g 班di sd e s i g n e da n di m p l e m e n t e d t h e 鲥di sb a s e d o nw s r fs p e c i f i c a t i o na n dg l o b u st o o l k i t4 g r i dc o r em i d d l e w a r e t h er e s o u r c e so f t h eg r i da r eh i g hp e r f o r m a n c ec o m p u t e rs y s t e m sa n dt h e i rm a n a g e m e n ts y s t e mi s o p c n p b s as c h e d u l i n gp o l i c yo fm u l t i m e d i ar e n d e r i n g 鲥dt h a ti sb a s e do nd e e p l y a n a l y i n gt h ec h a r a c t e r i s t i co fr e n d e r i n gt a s k si sp r e s e n t e d t h es c h e d u l i n gp o l i c yh a s t h ef o l l o w i n ga d v a n t a g e s ：t h ef i r s ta d v a n t a g ei st h a te q u a lc p uc o n s u m i n gt i m e s c h e d u l i n gp o l i c yo p i t i m i z e ss y s t e mp e r f o r m a n c ea n di m p r o v e st h es y s t e m t h r o u g h p u ta n ds y s t e mr e s o u r c e su t i l i z a t i o n t h ea d v a n t a g e sh a v eb e e np r o v e db y s i m u l a t i o n t h es e c o n da d v a n t a g ei st h a tt w ol e v e l so fs c h e d u l i n ga r eu s e d t h e d e c i s i o no fs u p p o r t i n gs e r v i c e sb yr e s o u r c e si sm a d eb yr e s o u r c e s o w n e ra n di ti s m o r es u i t a b l ef o rm a r k e t i n gr e q u i r e d t h i sc o n t r i b m i o ni so n eo f m a j o rc r e a t i v ep o i n t i nt h ep a p e r v i 上海大学硕士学位论文 w h e nr e s o u r c e s o w n e rw a n t st om a k ead e c i s i o n ，i ti sn e c e s s a r yt oe s t i m a t e t h ec o m p u t a t i o nt i m en e e d e dt oc o m p l e t ear e n d e r i n gt a s k a ne s t i m a t i n gm e t h o di s p r e s e n t e d a n dt h em e t h o d i st e s t e do i lt h em u l t i m e d i ar e n d e r i n g g r i d t h es o f t w a r eo ft h em u l t i m e d i ar e n d e r i n g 酊dh a sb e e nt e s t e db ys h a n g h a i c o m p u t e rs o f t w a r et e s t i n gk e y l a b k e y w o r d s ：c o m p u t e ra n i m a t i o nr e n d e r i n gg r i d ，j o bm a n a g e m e n t ，j o bs c h e d u l i n g ， e q u a lc p uc o n s u m i n gt i m es c h e d u l i n g v 上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：整堕堕e t 期：丛三：型 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名： 导师签名：盈生至生日期： 2 , o - o 铲、弓加 上海大学硕士学位论文 第一章绪论 课题研究背景及意义 渲染2 1 ，英文为r e n d e r ，也有的把它称为着色，但习惯把s h a d e 称为着色， 把r e n d e r 称为渲染。s h a d e 是一种显示方案，一般出现在三维软件的主要窗口 中，和三维模型的线框图一样起到辅助观察模型的作用。s h a d e 可以显示出简 单的灯光效果、阴影效果和表面纹理效果，但是s h a d e 采用的是一种实时显示 技术，硬件的速度限制它无法实时地反馈出场景中的反射、折射等光线追踪效 果。而现实工作中我们往往要把模型或者场景输出成图像文件、视频信号或者 电影胶片，这就必须经过渲染程序。 在多媒体处理领域，如图形图像渲染、动画设计等应用中，各种全局光的 渲染软件得到了广泛的应用。渲染器就能根据光的反射和折射以及能量的传递 等条件进行灯光的自动计算。以至于一个能力很普通的效果图制作者能够制作 出比现实更漂亮的效果图，让客户感到很满意。然而全局光渲染器在提高图片 渲染效果的同时也带来了很大的副作用，因为需要进行庞大的数据计算，以至 于稍微复杂一点的图像就需要配置性能很高的计算机进行几个甚至几十个小时 渲染。诚然，当前多核处理器发展迅速，双核、四核，甚至八核处理器已经问 世。但对于上百帧、千帧或者万帧以上的图形图像的渲染任务来说，在单机上 是无法运行的，即使能够有足够大的磁盘空间以及大容量的内存做支持，计算 这么庞大的计算任务，所花费的时间也是难以估计的。但如果借助于分布式渲 染器3 1 ，把大型渲染作业导入网格渲染系统，通过网格中集群渲染强大的数据 处理能力，就能够迅速地按需求对动画或帧进行渲染。通过分布式计算，往往 可以将一个大型的渲染作业时间缩短到原来的几分之一，甚至几十分之一，大 大提高工作效率。 网格渲染系统是由很多渲染节点组成，采用领先的分布式渲染技术3 1 ，系 统将自动确定网络中可用的渲染节点和资源，同时将任务分解到相应渲染节点， 自动负载平衡功能可以优化工作流程中每个渲染节点的使用效率。如果某一个 上海大学硕士学位论文 渲染节点与网络断开，内置式故障保护功能管理端，将自动将作业重新路由到 渲染网格中的其他渲染节点，确保渲染工作如期完成。 因此，使用网格进行渲染能够大大节省了渲染时间、减轻了渲染劳动强度， 同时能够为高效率地完成后续合成工作打下了坚实的基础。这一点，在中、大 型建筑模型应用和计算机动画等多媒体制作领域作用尤为明显。 1 2 项目的来源与支持 本项目是由上海市多媒体公共服务平台与上海大学合作，目的是利用现有 的若干集群资源，在上海市科委目前委托给多媒体公共服务平台开发的多媒体 渲染服务项目的支持下，设计研发一个多媒体渲染网格平台。该平台的服务对 象是国内动画、影视制作及工业设计等需要高性能渲染计算和影视后期制作的 企业和个人。平台将积极开拓服务功能，为多媒体企业提供优质的特色服务。 1 3 多媒体渲染网格的特点及研究现状 1 3 1 多媒体渲染网格的主要特性 传统计算网格具有典型的基本特征4 1 ，诸如虚拟组织性，异构性，动态性 等。本篇论文所介绍的多媒体渲染网格从分类上仍属于计算网格的一种表现形 式，所以它含有传统计算网格的一般特征，但由于多媒体渲染的特殊应用，渲 染网格有不同于传统计算网格的特性。它的主要特性表现总结如下： 作业结构的复杂性： 在传统计算网格中，用户所计算的作业结构往往比较简单，因为用户提交 到负载运算的作业就是其作业全部，作业内部不再有更细的结构划分，并且用 户在提交作业时通常会把该提交作业的所需要的计算参数文件一起打包送到调 度器中，因此调度程序无需关心用户作业下文件的关联性以及作业与其计算参 数的对应性。 而在渲染网格中，由于渲染作业的自身特点，其作业内部的文件结构较为 复杂，一个用户下往往有多个作业项目文件，每个作业项目文件下包含若干个 2 上海大学硕士学位论文 场景文件，每个场景文件根据用户需要细化出众多帧( 帧组) 。实际上，最终提 交到资源负载上计算的为帧或帧组单元，而不是作业或场景本身。因此，在底 层作业调度器来看，作业的结构是复杂的，调度程序必须主动建立用户作业下 的作业一场景一帧( 帧组) 之间的关联，以保证用户作业的完整性；另外，渲 染用户在提交作业文件时并不包含其计算参数，而是在提交作业后在渲染门户 网页上继续填写对应于该作业文件的渲染参数，即作业与参数是前后分离的， 由于渲染网格系统采用的是b s 架构，在底层调度程序来看，作业文件与其对 应的渲染参数是完全独立的，所以调度程序必须同步建立起作业与其渲染参数 的对应关系。这样由渲染作业本身带来的复杂性必须由渲染网格进行严格地处 理，并建立起健壮的关联来保证用户文件的完整性与一致性。 需要资源数量的不确定性： 在传统的计算网格中，一般情况下，用户在提交作业计算时需要事前和网 格管理员申请计算其作业所需要的资源负载数，申请后用户在网格系统中所持 有的资源负载数目将是恒定的，即使用户的作业量很大，也只能在其申请到的 节点上运算。仅当用户有特殊请求时，网格系统管理员才会根据用户额外需求 变更其申请的资源负载数目。 而在渲染网格渲染作业中，如前所述，一个作业可以包含很多帧( 或帧组) ， 因此所需要的资源数量是不确定的。它可以是一个，也可以是网格中的全部资 源。网格下的所有资源负载对于渲染用户来说是完全透明的，资源的分配情况 完全交由调度服务来管理，因此渲染网格和传统计算网格对于调度系统的要求 有很大的不同。 1 3 2 渲染网格技术应用研究现状 在渲染网格技术的研究上，总体来说国内外的差距比较明显，尤其是在数 字影视、动画制作方面，美国等西方发达国家不管是在硬件设备还是软件环境 上始终保持着领先水平。特别是近年来，随着高性能计算机的迅速发展以及多 媒体渲染技术的逐步提升，众多影视动画渲染任务为了达到更快更好的渲染效 果不得不把作业提交到大型集群，甚至连接几个大型集群的网格上去运算。例 上海大学硕士学位论文 如，好莱坞著名的动画公司p i x a r 公司开发的a l f r e d 网络集群渲染管理系统 1 ， 配合相应插件，能够对主流3 d 软件，如m a y a 等使用多种渲染器进行智能化的 网络集群渲染，在它旗下的创作的汽车总动员等大型动画片中动画特效均 是由集群渲染得来的。在数字动画领域，高成本和低成本的影片主要差距就是 在后期电影特效处理的渲染时间，一般拍一个电影，通常3 0 到4 0 的整体预 算是花在特效渲染上，由此可见渲染技术在影视动画中所占有的地位与比重。 目前，在全球多媒体渲染领域中，较完善、较成熟的集群渲染平台m u s t e r 6 1 ，它是v i r t u a lv e r t e x 公司提供的管理复杂和跨平台的多媒体集群渲染平台， 为国际市场上最好的2 d 和3 d 产品提供的完善的解决方案，其最新的版本更具 有动态服务、多平台支持、多引擎和单独镜像切片等强劲功能。 在国内，对于智能化的网络集群渲染，若干研究事业机构，数字媒体集团 以及动画产业基地也作了不同程度的尝试。例如，中央电视台动画技术部使用 了一套由1 5 0 计算节点的并行集群渲染系统，采用p l a t f o r ml s f s 和e n f u z i o n 集群管理软件进行任务的管理和调度，其支持各种主流渲染软件，为央视选择 动画染色程序提供了足够的选择。再如，上海c g 渲染农场公共服务平台目前 建成1 5 8 0 颗高端服务器c p u ( 全部为a m do p 2 8 5 2 2 1 8 ) 节点，所有设备均具 备从标清到4 k 的生产能力；并根据行业的不同需求，配置有部分超高端的 1 6 c p u 渲染机组。其平台设备均实现了高智能高集群化的全自动管理手段，能 为大部分渲染需求提供最简洁快速的服务。 本文研究的内容和上述的系统是不同的。上述系统强调的是系统能力的强 大，而本文研究的内容是在网格环境下，即在多个可以用于渲染计算的计算机 系统组合成为一个渲染网格的情况下，如何使得它们能够发挥出最大的效率。 1 4 本文主要研究内容 本论文是以作者攻读硕士学位期间承担课题的工作为基础，通过对目前渲 染网格的背景的了解以及相关领域知识的系统学习，与传统计算网格比较，针 对性地提出了渲染网格的自身特性，并在实际项目中创新性地设计出一套针对 渲染网格特性的调度策略，以及在调度策略的基础上完成对整个网格平台的设 4 上海大学硕士学位论文 计与实现。具体研究内容如下： 渲染网格的特性分析与研究 渲染网格平台的搭建与网络通信配置 渲染作业对应的w e b 服务的设计开发与编码实现 针对渲染特性设计调度算法的提出与算法实现 网格通信安全服务的建立 系统的测试 1 5 本文的组织结构 本文其他章节内容如下： 第一章阐述了课题研究的来源、目的、意义，渲染网格的特性以及国内外 研究的现状。 第二章概述了多媒体渲染网格平台的集群计算环境，系统总体的框架设计， 以及多媒体渲染的整个业务流程等。 第三章作为本文的重点章节之一，详述了网格平台的具体实现，包括p o r t a l 端与g r a m 端的设计与实现，以及基于渲染网格本身的w e b 服务的编码实现 与互联通信的组织与实现。 第四章为本文的核心章节，在传统的调度算法基础上，提出了一套针对渲 染网格服务的调度策略，包括网格内，网格间的两级调度以及其具体实现过程 在占 寸。 第五章详述了基于g t 4 的网格安全体制，以及在本渲染网格平台上的安全 组件的安装与部署实现。 第六章是对整个渲染网格平台的测试以及对系统整体交互界面的描述与展 示。 第七章对全文的研究工作进行总结，并展望将来要继续做的一些工作。 上海大学硕士学位论文 第二章多媒体渲染网格平台的总体设计 高性能并行计算与多媒体渲染的结合是当今一个新的趋势，然而较好的整 合这两者不仅仅依赖于现有硬件环境设备，还要有一套完整的软件服务体系做 支撑。本章将对整个渲染网格平台的体系构架和逻辑设计进行总体概述。组织 如下，第2 1 节介绍多媒体渲染网格平台的硬件环境情况。第2 2 节对网格平台 的体系构架进行概述。第2 3 是对多媒体渲染的流程概述。最后，第2 4 节是本 章小结。 2 1 多媒体渲染网格平台的硬件指标与环境 2 1 1 上海大学自强3 0 0 0 大型集群 上海大学自强3 0 0 0 大型集群系统性能如下： 峰值速度为2 1 5 万亿次秒 l i n p a c k 值为1 5l 万亿次秒 平均效率为7 0 系统配置 计算节点( 1 9 0 台h pd l 3 6 0 刀片服务器)每台有2 个i n t e lx e o n3 0 6 g c p u ，2 g 内存，其中1 7 4 台配有3 6 7 gs c s i 硬盘，1 6 台配有1 4 6 8 gs c s i 硬盘 主节点( 2 台h pd l 3 8 0 刀片服务器)一台为管理节点( 2 g 内存) ，另一 台为存储节点( 4 g 内存) 互联传输速率为1 0 g 的i n f i n i b a n d 交换机进行信息交互 存储容量为1 t 的磁盘阵列 2 1 2 上海多媒体公共服务平台中型集群 上海多媒体公共服务平台是上海研发公共服务平台多媒体领域的专业服务 机构。服务对象是国内动画、影视制作及工业设计等需要高性能渲染计算和影视 后期制作的企业和个人。在平台中的一个中型集群系统参于渲染网格，其配置为： 计算节点( 5 2 台1 0 4 个c p u 的h p j 艮务器，1 0 台g 52 0 个c p u 的a p p l e 服 务器) 6 晦大学酮学位论文 存储介质( h p 存储阵列) 2 2 多媒体渲染网格平台的体系构架 幽21多赚怀世架嘲格半台刚糊埋构梨 它主要由三个层面组成，即用户交互界面层( u s e ri n t e r f a c el a y e r ) 、网格资 源中间件层( c a d r e s o u r c e m i d d l e w a r e l a y e r ) 和底层计算资源层( g r i df o u n d a t i o n r e s o u r c el a y e r ) 。 1 ) 用户交互界面层( 包括网格的全局调度系统) 用户交互接口层是渲染用户与网格资源与服务之间的枢纽。它的功能实现 主要b d p o r t a l 前台服务器担当，采用典型的b s 模式，主要职责是渲染用户的账 户管理，用户作业管理( 包括渲染信息的获取，场景文件的上传，下载，渲染作 业的全局调度分配等) ，以及底层计算资源信息管理等。具体功能设计与实现详 上海大学硕士学位论文 见本文3 1 节。 2 ) 网格资源中间件层 网格资源中间件层作为用户交互接口层与底层计算资源层的中间桥梁，是整 个系统的核心所在，与渲染作业的渲染成败和计算效率紧密相关。此层次由两个 异地的g r a m ( g 1 0 b u sr e s o u r c e a l l o c a t i o nm a n a g e r ) 吲后台资源管理服务器实现， 它细化为两个子层：g l o b u s 服务容器0 1 子层和作业调度子层。其中g l o b u s h 艮务 容器子层决定了渲染作业是否能够被成功渲染计算，以及底层计算资源的引擎资 源信息反馈；而作业调度子层则决定了作业渲染的效率与系统开销，其调度策略 完全不同于在p o r t a l 端的全局调度分配，具体设计与实现详见本文第四章所述。 3 ) 底层计算资源层 底层计算资源层作为渲染系统指令的最终执行者与解释者，主要由两个大中 型集群物理组成。其中包含上海大学自强3 0 0 0 大型集群( 1 9 2 个计算资源节点) 和上海多媒体公共服务平台的中型混合集群( 约6 0 个计算资源节点) 。它们分别 链接到各自的l i n u x 共享磁盘阵列( 以后简称共享磁阵) 来存储渲染场景文件与 渲染结果文件。底层计算资源完全能够满足多用户多作业一般渲染任务。 2 3 多媒体作业渲染的流程概述 2 3 1 多媒体渲染的业务流程 作业的渲染业务的流程可以分为三个部分：一是用户数据信息的上传，包括 作业文件压缩包的上传与渲染场景参数的提交以及中心存储等；二是数据文件的 渲染计算，包括作业的分发管理调度管理，作业渲染计算以及渲染结果文件的 保存等，三是用户下载结果文件，包括用户下载前按照渲染量与渲染时间的付费 及付费后的邱下载等等。 以大型图形渲染软件m a y a 为例，整合上述三部分业务处理过程，完整的渲 染流程如图2 2 所示。 上海大学硕士学位论文 客户数据上传 1 、 上 中心存储 ， 渲染场景提交 分发管到 冈 调度管理 l l 一 ， 渲染服务器 i 客户数据下载 渲染 存储 1 图2 2 m a y a 作业渲染流程图 2 3 2 渲染作业的完整周期流程 图2 3 渲染作业完整周期流图 用户渲染作业的周期流程是根据其业务流程演化而来的。如图2 3 ，用户提 交的一个作业会有一个完整的生命周期。这个周期根据作业的业务流程被划分为 9 上海大学硕士学位论文 若干个子周期，分别为作业提交与上传，作业审核，作业调度，作业渲染，作业 存储以及作业完成与下载等。 1 ) 作业提交与上传子周期 渲染用户在p o r t a l 以其真实身份注册后，接受p o r t a l 管理员审核。审核 通过后，便可以其用户i d 登录，这里包括用户登录的身份验证审核，以及 当用户忘记自身登录密码时的取回密码等机制。成功登录后用户提交其渲 染作业文件与渲染场景文件的信息参数，作业文件通过邱送往p o r t a l 端； 信息参数保存到p o r t a l 端m y s q l 数据库。 2 ) 作业审核子周期 用户上传的渲染作业压缩包必须按照约定的形式( 即压缩包的格式与 文件夹名称必须符合约定要求) 。p o r t a l 端在接受用户上传的作业文件时实 时检查文件的格式与文件的完整性并记录下其压缩包大小，文件大小将作 为参数由w e bs e r v i c e 送到g r a m 端，以便在后续操作中能使g r a m 端也 同样能保证接受的用户文件的完整性。完整性的保证详见3 5 节。 3 ) 作业调度子周期 渲染作业调度是整个渲染操作的核心。整个平台分为两级调度：一是 集群式计算机系统之间调度，即作业接收到p o r t a l 后应该交给哪个集群渲 染处理。二是集群式计算机系统内调度，即作业被分解细化后，以帧组为 最小单元的作业体应该如何均衡占有c p u 。 4 ) 作业渲染子周期 作业被提交到g r a m 后台服务端时，经过解压得到目标渲染文件。同 时负责自顶向下获取信息参数的w e bs e r v i c e 生成计算脚本与r s l 格式 ( g t 4 规定必须使用r s l 格式的文件来提交作业脚本) 的运行文件。渲染 作业细化成最终的帧组形式，交由集群内部的计算节点处理，集群内部管 理软件p b s 将会负责管理批作业的并行处理。 5 ) 作业存储子周期 由于集群内部存储采用的共享磁阵形式，以保证作业的共享性，即集 群内部的每个计算节点都可以处理该作业。作业提交到p o r t a l 端后，会由 l o 上海大学硕士学位论文 p o r t a l 端用g r i d f t p 转发到g r a m 端，而共享磁阵直接挂载到g r a m 上，所以相当于渲染文件直接放入磁阵中。同样在作业完成渲染后把作业 结束信息传回p o r t a l 端，等待用户下载。 6 ) 作业完成与下载子周期 作业渲染完毕后，会由g r a m 把完成信息反馈回p o r t a l 端。p o r t a l 端 接收到作业结束的信息以后，分析渲染量与渲染时间统计出计费，然后等 待用户缴费下载。 2 4 本章小结 本章主要介绍了多媒体渲染平台的总体构架，概括地阐述它的三层逻辑结 构，然后以m a y a 为例介绍了多媒体渲染平台进行作业计算的业务流程，以及 渲染作业的完整周期流程，为后续网格作业各个功能服务模块的设计和实现提 供了有效的规范和准则。 上海大学硕士学位论文 第三章渲染网格平台的详细设计与具体实现 本渲染网格平台设计与实现主要基于g t 4 ( g l o b u st o o l k i tv 4 ) 平台m 1 3 1 所提供的w s ( w e bs e r v i c e ) 组件川开发环境，其特性之一是严格遵从w s r f ( w 曲s e r v i c er e s o u r c ef r a m e w o r k ) 标准，实现了有状态的w e b 服务，可以支 持计算机之间的服务交互。它的实现从应用逻辑上主要包括两大部分：即自顶 向下的信息获取和自底向上的信息反馈。这里的信息资源( w sr e s o u r c e ) 1 被 定义为由w e b 服务和有状态的资源构成的实体，有状态的资源可以在w e b 服 务消息交换中使用。可以创建和销毁w s r e s o u r c e s 资源信息，而且可以通过 消息交换查询或更改其状态。 本章是渲染网格平台的具体编码实现部分。具体组织如下，第3 1 节介绍 p o r t a l 端的设计与实现。第3 2 介绍g r a m 端的设计与实现。第3 3 节是根据 w s r f 标准编写定制的w e b 服务。第3 4 节介绍了渲染脚本及提交文件的生成。 第3 5 节描述了p o r t a l 端与g r a m 端的交互通信。最后，第3 6 节是本章小结。 3 1p o r t a l 端的逻辑设计与物理实现 作为直接与用户渲染交互的界面，p o r t a l 端既要考虑到用户的易用性，又 要考虑到网格系统的通用性。为实现此目的p o r t a l 端上必须结合好以下两种技 术，一是门户网站设计，出于本项目合作单位即甲方的合同要求，我们采用 j e t s p e e d 技术来开发设计门户界面；二是g l o b u s 组件所需求的p o r t a l 端，即信 息获取w e b 服务的服务器端的设计。j e t s p e e d 技术需要第三方t o m c a t 容器支持， 而g l o b u s 组件带有它自己的g l o b u s 容器，这两种容器的接口通信是p o r t a l 端 设计的重点，详见本章3 5 节描述。 3 1 1p o r t a i 端的逻辑概述 p o r t a l 作为门户服务器主要有两个主要任务，一是负责完成与渲染用户的 交互，二是与g r a m 端的通信。而作为第一级调度，即集群式计算机系统间的 1 2 上海大学硕士学位论文 简单调度模型就是部署在p o r t a l 端上的。这个第一级简单调度器负责分派渲染 用户提交的作业到远程异地上的g r a m 端去运算。其调度策略详见本文第四章 所述。 312p o r t a i 端的物理实现 图3ip o r t a l 端逻辑结构崮 p o r t a l 作为前台服务器，直接与用户客户机进行远程交互，同时在取得作 业信息后与两个后台资源管理机通信。如图31 所示，它的措建环境如下： 硬件描述：d e l lp o w e r e d g es c l 4 2 0 服务器( x 2x e o n30 g h z g p u ，2 g 内 存) 软件描述：操作系统r e d h a t l i n u x a s4 0 网格开发组件g l o b u s t o o l k i t s40 4 企业门户( e i p ) 实现j e t s p e e d2 12 w e b 应用服务器组件t o m c a t ( 包含在j e t s p e e d 中) 断点保存数据库系统p o s t g r e s q l8 0 3 上海大学硕士学位论文 渲染信息存储数据库m y s q l 软件开发环境j d k1 5 1 2 w e b 服务打包工具a n t1 6 0 3 1 3p o r t a i 端组件功能概述 p o r t a l 端实现组件中最重要的是两个容器的搭建与配置，具体功能表述如 下： g t 4 容器组件1 0 1 作为g t 4 组件的核心，g t 4 容器装载着所有w e b 服务，其中包括容器本身 的缺省服务以及后续由具体应用而带来的其他w e b 服务，如本项目中的渲染计 算的信息获取与反馈服务等。其次是s i m p l e c a ( c e r t i f i c a t e & a u t h o r i t y ) 4 1 组 件服务，它作为g t 4 的内部组件，主要负责网格内证书的签发与认证，是整个 g l o b u s 网格体系中对于w e b 服务的一种安全保证体制，本文第五章5 2 节会对 此安全体制做具体阐述。g r i d f t p 服务1 是g t 4 组件自带的f t p 文件传输服 务，它结合第三方软件r f t ( r e l i a b l ef i l et r a n s f e r ) 5 1 能较好支持文件的断点 续传。若传输过程中由于网络原因出现传输错误，断点信息会自动保存在 p o s t g r e s q l 数据库中，等待系统恢复后，反馈给g r i d f t p 完成断点续传。 t o m c a t 容器组件 作为开放源代码的企业信息门户( e i p ) 的实现，j e t s p e e d 能够较好的支持大、 中型集群，而集群则作为j e t s p e e d 的服务实体对客户端的需求进行服务，另外 j e t s p e e d 内嵌t o m c a tw e b 应用服务器，使得p o r t a l 下开发门户网站所需要的 s e r v l e t 以及j s p 规范能够在t o m c a t 容器中得到体现。用户账户信息会被自动保 存在j e t s p e e d 自带的数据库存储，而用户提交的作业文件信息则需要另一个数 据库支持，在此我们采用开源的m y s q l 作为渲染作业信息存储。 3 2 g r a m 端的逻辑设计与物理实现 在网格系统中，必须存在一个资源管理器负责对本地资源进行协调和调 度。g t 4 中的g r a m 组件提供了一组w e b 服务，它采用了w s r e s o u r c e 1 4 上海大学硕士学位论文 f r a m e w o r k ，其设计目标是帮助平台管理者在网格环境中提交作业和管理作业。 g r a m 可以用于那些需要信任证书( c a ) 1 1 4 1 可靠执行以及协调文件步骤的作 业。 3 2 1g r a m 端的逻辑概述 我们把装备g r a m 组件的一台l i n u x 后台服务器定义为g r a m 端，它将 负责承担g l o b u s 环境下g r a m 组件的所有功能与服务的实现。它作为后台资 源节点管理机，物理上通过局域网直接与集群互联，在逻辑上作为该计算集群 的管理调度机，在客户端与密集计算端起到了一个桥梁的作用。 3 2 2g r a m 端的物理实现 图3 2g r a m 端逻辑结构图 由于有两个资源集群，因此g r a m 端也分为两极，即两个资源节点管理机， 它们分别用来管理异地的两个资源集群的作业调度与分发，如图3 2 ，装配它们 的软件环境基本类似，但也存在微小的差别。 左侧管理机作为g r a m 端的主节点管理机( g r a m l ) ，它负责管理上海大 学自强3 0 0 0 大型集群下的渲染计算节点，具体实现如下： 1 5 上海大学硕士学位论文 硬件描述：d e l lp o w e re d g es c l 4 2 0 服务器( 双x e o n3 0 g h z c p u ，2 g 内 存) 软件描述：操作系统r e d h a tl i n u xa s4 0 网格开发组件g l o b u st o o l k i t s4 0 4 集群调度管理软件o p e n p b s2 3 1 6 并行计算环境m p i c h 21 0 3 断点保存数据库系统p o s t g r e s q l8 0 3 软件开发环境j d k1 5 1 2 w e b 应用服务器组件t o m c a t5 5 2 3 w 曲服务打包工具a n t1 6 0 右侧管理机作为g r a m 端的次节点管理机( g r a m 2 ) ，它负责管理上海多 媒体公共服务平台中型集群下的渲染节点，软硬件配置与主节点机基本相同。 3 2 3g r a m 端组件功能概述 g r a m 作为后台资源服务器，它像p o r t a l 一样，同样需要t o m c a t 容器，因 为在获取底层渲染引擎信息时系统需调用w e b m d s ( m o n i t o r i n g & d i s c o v e r y s y s t e m ) 印来反馈引擎工作状态信息。在建立好两台节点管理机后，通过g t 4 提供的一个虚拟组织层( v ol e v e l ) 们把两台异地的资源节点机所监控的底层 集群信息汇总起来，由w e bm d s 把信息反馈回p o r t a l 端，以便p o r t a l 的第一级 调度器能够实时判断底层资源使用情况，例如c p u 总数、空闲c p u 数目、时 钟速度、物理内存总量、虚拟内存以及可用磁盘空间等。而这些功能是由m d s 自带的索引服务和触发服务实现的，详见本文3 3 2 节，在此不再赘述。 在g t 4 配置方面基本与p o r t a l 端一致。但不同的是g r a m 要直接与集群 对话，必须得有集群作业管理软件的支持。在主节点管理机( g 洲1 ) 我们选 择开源的集群作业处理软件o p e n p b s 作为底层资源的调度手段，而次节点机 ( g r a m 2 ) 上使用商用的p b s p r o ( 合作单位上海多媒体公共服务平台提供) 。 1 6 上海大学硕士学位论文 3 3 w e b 服务的编码设计与实现 为了实现p o r t a l 端与g r a m 端信息的交互与安全传递，必须为此定制一套 安全的有状态的( s t a t e f u l ) w e b 服务。我们知道，通常无状态的( s t a t e l e s s ) 1 1 w e b 服务可以增强可靠性和可扩展性( 例如，在失败之后，服务可以重启，而 不用关心之前的交互) 。然而，有些情况下则需要使用有状态的服务一服务会 根据交换的消息来操作有状态的资源以及包括服务间的交互。 在本项目中用户提交的作业信息参数被视为有状态的资源，可以在w e b 服 务消息交换中使用，同时可以创建和销毁w e b 服务资源，而且可以通过消息交 换查询或更改其状态。因此这些有状态的资源信息是有生命周期的，它们会伴 随用户提交作业的生命周期而存亡。 3 3 1 自顶向下的信息获取服务 从p o r t a l 端获得用户渲染作业信息参数送往g r a m 调度机上是一个完整 的w s r fw e b 服务。它必须发布到g l o b u s 容器上，随g t 4 缺省的服务一起启 动来完成信息的安全传递。 根据w s r f 标准一个完整的w e b 服务的实现应分为五部分1 1 7 | 定义w e b 服务接口，实现w e b 服务，定义发布服务参数，编译服务并打包以及发布服务。 为此，我们设计了一套自顶向下的w e b 服务命名为g e t u n s e r v i c e ，分为服 务端和客户端，服务端将运行在p o r t a l 上，目的是获取当前要提交渲染的用户 作业参数信息。服务端实现具体分为五个步骤，如下： 1 ) 定义w e b 服务接口 为了遵循w s r f 标准，w e b 服务接口我们采用w s d l ( w 曲s e r v i c e d e s c r i p t i o nl a n g u a g e ) m 1 语言来编写，它的语法基于x m l 语言而来，使用了 w s d l ，我们就可以通过跨平台和跨语言的方法使w e bs e r v i c e 代理的产生自动 化。就像c o m 和c o r b a 的i d l 文件，w s d l 文件由客户和服务器约定。w s d l 文档可以分为两部分。顶部分由抽象定义组成，而底部分则由具体描述组成。 抽象部分以独立于平台和语言的方式定义s o a p 消息，它们并不包含任何随机 1 7 上海大学硕士学位论文 器或语言而变的元素。 2 ) 实现w e b 服务 服务接口部分描述了该w e b 服务要做什么，而实现w e b 服务部分是对服务 接口部分的具体实现，依据w s r f 标准定义，我们把该服务的实现分为两个类， 一个类实现服务，主要负责如何把所需的信息参数正确传递给信息资源请求者； 另一个类实现信息资源的获取，主要负责轮询当前符合条件的信息资源，并取 得该信息资源到服务内作为传递参数。 3 ) 定义发布服务参数 w e b 服务实现后必须通过发布才能加载到g t 4 容器中，服务的发布需要 w s d d ( w e bs e r v i c ed e p l o y m e n td e s c r i p t o r ) 7 1 描述符文件和j n d i ( j a v a n a m i n ga n dd i r e c t o r yi n t e r f a c e ) 1 7