基于云计算技术的渲染应用

江苏科技大学南徐学院2011届毕业设计（论文）基于云计算技术的渲染应用系部电子与信息工程专业名称通信工程班级07428261学号0742826120作者江哲指导教师刘镇2011年6月8日江苏科技大学南徐学院本科毕业论文基于云计算技术的渲染应用RENDERINGBASEDONCLOUDCOMPUTINGAPPLICATIONS江苏科技大学南徐学院本科毕业设计（论文）III摘要云渲染，是在传统渲染农场的原理基础上，采用云计算技术而形成的一种新型渲染模式。因为云计算的核心思想是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。所以基于云计算的3D网络渲染可以解决传统渲染农场中负载不均衡，单机效率低下，以及文件系统繁复所造成的管理混乱等问题。本课题主要是研究云计算技术该如何应用在多机集群渲染中，从而能够达到负载均衡，以及单机高效等指标；并且讲述应该如何构建一个云渲染平台，能够充分发挥云计算的优点，解决文件系统繁乱复杂等问题；最终可以达到管理高效，自动管理等目标。为了达到以上目标，所使用的管理软件必须包括三个模块第一个模块为管理控制台（XMC），第二个模块为渲染任务调度服务器MASTER，第三个模块为渲染节点程序（SLAVE）第一个部分为管理控制台界面，此模块体现出了云渲染中的高效管理和自动管理。用户可以在界面中提交任务，主要特点为基于WEB的界面，用户不需要安装客户端软件，即可以提交和监控任务，可以查看任务状态，以及划分后的每个子任务的状态，并且可以查看每个子任务的输出，察看结果；可以改变任务的调度顺序等；支持中文和英文，对于计算节点而言，可以监控节点的运行状态，支持远程对节点关机/休眠和远程唤醒。第二个部分为任务调度服务器，该模块体现出云渲染中任务分配合理高效等优点。该模块可以支持上百个渲染节点。其基本功能为将用户提交的任务划分成为子任务后，分发到每个机群节点上运行，并且收集计算结果。节点之间的数据共享可以采取WINDOWS共享文件夹。在机群资源的管理上，采用四级映射机制，分别为用户组，任务队列，节点组和文件服务器，两两之间都为多对多映射，可以根据具体的应用环境，采取合适的资源分配/调度策略。第三个部分为集群节点上的执行引擎，该模块能够发挥云渲染中负载均衡的特江苏科技大学南徐学院本科毕业设计（论文）IV点。负责监控当前计算节点的资源，如果资源空闲，则从任务调度系统获取，执行和监控子任务（包括输入/输出），并且负责将计算结果交给任务调度系统，从而最终展现给用户。关键词云计算、管理平台、文件系统江苏科技大学南徐学院本科毕业设计（论文）VABSTRACTCLOUDRENDERING,RENDERFARMINTHETRADITIONALPRINCIPLEBASEDONTHEUSEOFCLOUDCOMPUTINGTECHNOLOGYANDTHEFORMATIONOFANEWRENDERINGMODEBECAUSETHECOREIDEAOFCLOUDCOMPUTINGISTOALARGENUMBEROFCOMPUTINGRESOURCESWITHTHENETWORKCONNECTIONUNIFIEDMANAGEMENTANDSCHEDULING,TOFORMAPOOLOFCOMPUTINGRESOURCESONDEMANDSERVICESTOUSERSTHEREFORE,NETWORKBASEDCLOUDRENDERING,3DRENDERFARMCANBESOLVEDINTHETRADITIONALLOADIMBALANCE,INEFFICIENCYSTANDALONE,ANDDOCUMENTMANAGEMENTSYSTEMCREATEDBYCOMPLEXDISLOCATIONTHEMAINTOPICISTOSTUDYHOWCLOUDCOMPUTINGTECHNOLOGIESUSEDINMULTIMACHINECLUSTERRENDERING,THUSTOACHIEVELOADBALANCING,ANDSINGLEANDHIGHEFFICIENCYINDICATORSANDTELLSHOWTOBUILDACLOUDRENDERINGPLATFORM,ABLETOGIVEFULLPLAYTOTHEADVANTAGESOFCLOUDCOMPUTINGTOADDRESSFILECOMPLICATEDCHAOTICSYSTEMANDCOMPLEXPROBLEMSEVENTUALLYMANAGEDTOACHIEVEEFFICIENT,AUTOMATEDMANAGEMENTOBJECTIVESTOACHIEVETHEABOVEOBJECTIVES,THEUSEOFMANAGEMENTSOFTWAREMUSTINCLUDETHREEMODULESFIRSTMODULEFORTHEMANAGEMENTCONSOLEXMC,ASECONDMODULEFORRENDERINGTHETASKSCHEDULERSERVERMASTER,ATHIRDMODULEFORRENDERINGNODESLAVETHEFIRSTPARTOFTHEMANAGEMENTCONSOLEINTERFACE,THISMODULEREFLECTSTHECLOUDRENDERINGOFEFFICIENTMANAGEMENTANDAUTOMATEDMANAGEMENTUSERSCANSUBMITTASKSINTHEINTERFACE,THEMAINFEATURESOFWEBBASEDINTERFACE,USERSDONOTNEEDTOINSTALLCLIENTSOFTWARE,WHICHCANSUBMITANDMONITORTASKS,YOUCANVIEWJOBSTATUS,ANDAFTEREACHSUBDIVISIONSTATUSOFTHETASK,ANDCANSEEEACHTHEOUTPUTOFSUBTASKS,SEETHERESULTSCANCHANGETHEORDEROFTASKSCHEDULING,ETCSUPPORTCHINESEANDENGLISH,FORTHECOMPUTENODES,WECANMONITORTHEOPERATIONALSTATUSOFTHENODE,REMOTENODESHUTDOWNHIBERNATEANDREMOTEWAKEUPTHESECONDPARTOFTHETASKSCHEDULINGSERVER,RENDERINGTHEMODULEREFLECTTHECLOUDSINTHERATIONALANDEFFICIENTDISTRIBUTIONOFTASKSANDSOONTHEMODULECANSUPPORTHUNDREDSOFRENDERINGNODESITSBASICFUNCTIONISTOBESUBMITTEDBYTHEUSERTASKINTOSUBTASKS,THEDISTRIBUTIONTOEACHCLUSTERNODE,RUN,ANDCOLLECTTHERESULTSSHARINGOFDATABETWEENNODESCANTAKEWINDOWSSHAREDFOLDERMANAGEMENTOFRESOURCESINTHECLUSTER,USINGTHEFOURMAPPINGMECHANISM,RESPECTIVELY,FORTHEUSERGROUP,TASKQUEUES,ANDFILESERVERNODEGROUP,BETWEENTWOTOMANYMAPPINGBETWEENALL,BASEDONSPECIFICAPPLICATIONENVIRONMENT,TAKETHEAPPROPRIATEALLOCATIONOFRESOURCESSCHEDULINGPOLICY江苏科技大学南徐学院本科毕业设计（论文）VITHETHIRDPARTOFTHECLUSTERNODESINTHEEXECUTIONENGINE,THEMODULECANPLAYCLOUDRENDERINGLOADBALANCINGFEATURESRESPONSIBLEFORMONITORINGTHECURRENTCOMPUTENODERESOURCES,IFRESOURCESAREIDLE,THETASKSCHEDULINGSYSTEMFROMTHEACQUISITION,IMPLEMENTATIONANDMONITORINGOFSUBTASKSINCLUDINGINPUT/OUTPUT,ANDISRESPONSIBLEFORTHERESULTSTOTHESCHEDULINGSYSTEM,ANDULTIMATELYPRESENTEDTOTHEUSERKEYWORDSCLOUDCOMPUTING、MANAGEMENTPLATFORM、FILESYSTEM江苏科技大学南徐学院本科毕业设计（论文）7目录第一章绪论511研究背景512研究现状及存在问题813研究的内容和意义9第二章课题相关技术云计算1021云计算的概念1022云计算的特点1023云计算的服务方式1124云计算的实现机制1225云计算的文件系统14251HDFS14252GPFS15第三章为渲染应用构建简单云计算系统1731渲染应用IAAS构建1732渲染应用PAAS构建1933GPFS文件系统的安装2234渲染应用SAAS设计27第四章渲染应用SAAS测试2941文件系统测试29411设置文件服务器29412监控渲染节点30413提交任务31414运行队列3242SAAS详细测试33421任务提交33422任务监控36423渲染节点管理39424文件共享配置41425渲染插件配置42第五章测试中出现的问题、结果及结论4351出现的问题及原因4352测试结果4353结论44结语45江苏科技大学南徐学院本科毕业设计（论文）8致谢46参考文献47江苏科技大学南徐学院本科毕业设计（论文）9第一章绪论11研究背景近年来，我国的动漫行业作为自主创新的朝阳产业，取得了可喜的发展。涌现出一系列以三维动画制作为基础的优秀动漫作品，并带动动漫周边产业的热销，产业链条基本形成。但是，在三维动画制作过程中，动画设计者经常遇到这样的难题制作十帧长的动画可能只需要十几分钟，但是渲染这十帧长的动画往往需要花费一百多分钟甚至几百分钟，而在渲染的时间里电脑几乎是干不了其他任何的事情。在电影和高清节目的制作上此类问题更加突出，渲染周期常常以天，乃至以月计算。虽然当前的超级计算机可以完成这样需要大量运算的渲染任务，但是过于高昂的售价和过于庞大的体积都让大部分中小型动漫制作企业望而却步。为什么会遇到这种状况呢我先来介绍一下什么是渲染。3D动画的制作一般分为场景、建模、美工、渲染四个步骤。前期的场景、建模和美工都是由人来完成工作的，而后期的渲染这一步骤，主要是将前期制作的场景和模型，加入摄像头和光源后，通过专门的渲染软件计算出3D场景中的光效果。这个光效指的就是光在场景和模型中的反射、折射等。渲染这一步骤是全由计算机独立计算完成。所以说渲染时间的长短和渲染画质的好坏，全凭计算机的性能对于中国的影视动漫产业而言，拥有一种经济快速的渲染渠道，已经是势在必行的了。云计算是基于互联网的商业计算模型，利用高速互联网的传输能力，将数据处理过程从个人计算机或服务器转移到互联网上的服务器集群中，达到超级计算机的计算能力。将云计算应用于动漫制作中的渲染过程，可以给动漫制作提供更稳定、更快速、无渲染瓶颈的渲染服务，达到缩短制作周期，降低制作成本的效果。江苏科技大学南徐学院本科毕业设计（论文）1012研究现状及存在问题2009年1月份，在CES展会上，AMD与OTOY、EA等合作伙伴一道演示了“AMDFUSIONRENDERCLOUD”云渲染技术。在该演示中，AMD首先采用一台配置PHENOMX4处理器、RADEONHD4870X2的顶级台式机中渲染ELECTRONICARTS的“雇佣兵2战火纷飞”游戏，然后渲染画面通过有线网络发送到一部基于YUKON平台的HPPAVILIONDV2超薄笔记本电脑上，用户在笔记本电脑中对游戏进行控制，指令通过网络再传送至台式机，台式机则将渲染结果传回、显示在笔记本电脑的WEB界面上。此时笔记本电脑就相当于一部客户机端、只做显示和键鼠输入控制功能，游戏的全部处理工作都在远程完成。同时，AMD还演示了云模式下的高清解码用户在笔记本电脑上使用浏览器远程播放了一段1080P蓝光电影，而实际上视频解码工作则是在台式机中完成的。尽管用于演示的笔记本电脑性能只比普通ATOM上网本强一点，但是无论3D渲染画面还是蓝光视频都表现得非常理想，这当然是背后那台高性能PC的功劳。现在，国外出现了许多的云渲染平台，国内也开始陆续出现这一平台。但是，如果大家仔细研究这些云渲染平台，就会发现这些平台其实并没有用到多少云计算技术。如果真要详细说的话，这些渲染平台最多只能算是分布式并行集群渲染平台，还不能算是云渲染平台。图11一种云渲染的构架方案江苏科技大学南徐学院本科毕业设计（论文）11因为云计算技术除了涉及到分布式计算、并行计算等相关传统计算技术之外，还涉及到网络存储、虚拟化、负载均衡等新型技术。现阶段所存在的网络渲染平台并没有属于自己的云计算文件系统，还是使用传统的FTP文件传输协议技术。所以它们并不能做到实时渲染，只能由用户先将要渲染的模型文件上传到渲染网站中，再由网站的渲染平台做渲染。另外这些渲染平台也没有解决负载均衡这一问题，其渲染节点的使用率并不能做到相一致，从而造成了资源浪费。13研究的内容和意义我的这篇论文主要是研究如何将云计算技术中应用到3D渲染中。云计算是一种商业计算模型，它将计算任务分布在大量计算机构成的资源池上，使用户能够按需获取计算能力、存储空间和信息服务。这种资源池称为“云”。“云”是一些可以自我维护和管理的虚拟计算资源，通常是一些大型服务器集群，包括计算服务器、存储服务器和宽带资源等。云计算将计算资源集中起来，并通过专门软件实现自动管理，无需人为参与。用户可以动态申请部分资源，支持各种应用程序的运转，无需为繁琐的细节烦恼，能够更加专注于自己的业务，有利于提高效率、降低成本和技术创新。当3D渲染运用到云计算技术后，可以大幅提升渲染的速度。也可以大幅提高渲染的质量。用户不需要再像以前一样，要将模型文件上传至渲染平台的网站，请渲染平台渲染。而是直接调用渲染平台中的节点资源，自行渲染。同时渲染平台在拥有了云计算技术后就可以做到负载均衡，使每个渲染节点都能提高效率。江苏科技大学南徐学院本科毕业设计（论文）12第二章课题相关技术云计算21云计算的概念狭义云计算指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算（CLOUDCOMPUTING）是网格计算（GRIDCOMPUTING）、分布式计算（DISTRIBUTEDCOMPUTING）、并行计算（PARALLELCOMPUTING）、效用计算（UTILITYCOMPUTING）、网络存储（NETWORKSTORAGETECHNOLOGIES）、虚拟化（VIRTUALIZATION）、负载均衡（LOADBALANCE）等传统计算机和网络技术发展融合的产物。云计算的核心思想，是将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。这种特性经常被称为像水电一样使用IT基础设施。总的来说，云计算可以算作是网格计算的一个商业演化版。22云计算的特点从研究现状上看，云计算具有以下特点1）超大规模“云”具有相当的规模，GOOGLE云计算已经拥有100多万台服务器，亚马逊、IBM、微软和YAHOO等公司的“云”均拥有几十万台服务器。“云”能赋予用户前所未有的计算能力。2）虚拟化云计算支持用户在任意位置、使用各种终端获取服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解应用运行的具体位置，只需要一台笔记本或一个PDA，就可以通过网络服务来获取各种能力超强的服务。3）高可靠性“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机更加可靠。江苏科技大学南徐学院本科毕业设计（论文）134）通用性云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一片“云”可以同时支撑不同的应用运行。5）高扩展性“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。6）按需服务“云”是一个庞大的资源池，用户按需购买，像自来水、电和管道煤气一样计费。7）及其廉价“云”的特殊容错措施使得可以采用及其廉价的节点来构建成云；“云”的自动化管理使数据中心管理成本大幅降低；“云”的公用性和通用性使资源利用率大幅提升；“云”设施可以建在电力资源丰富的地区，从而大幅降低能源成本。因此，“云”的成本具有前所未有的性能价格比23云计算的服务方式云计算按照服务类型大致可以分为三类将基础设施作为服务IAAS、将平台作为服务PAAS、将软件作为服务SAAS，如图21所示。图21云计算的服务类型IAASINFRASTRUCTUREASASERVICE的意思是基础设施即服务，是一种资源抽象，是指把基础设施经过虚拟化后的计算资源、存储资源和网络带宽等以服务的方式通过互联网提供给用户使用，也是一种托管型的硬件使用方式。不同云计算提供商的基础设施层所提供的服务有所不同，实现方式也有区江苏科技大学南徐学院本科毕业设计（论文）14别，但都有一个共同点就是面对大规模的硬件资源，为实现高层次的资源管理，对底层资源进行的虚拟化。通过虚拟化这一过程，屏蔽了硬件资源产品上的差异，也为实现各种硬件资源的统一管理提供了逻辑接口。基础设施层的资源虚拟化往往具有多个层次。目前业界提出了虚拟机、集群、虚拟数据中心和云等若干层次分明的资源抽象。资源虚拟化为资源管理逻辑定义了操作的对象和粒度，是构建基础设施层的基础。通过对不同品牌和型号的物理资源进行抽象，以一个全局统一的资源池进行管理并呈现给客户，是基础设施层的关键。PAASPLATFORMASASERVICE的意思是平台即服务，是指将软件研发的平台作为一种服务提供给使用者，在这过程中，也使用到了SAAS所提供的服务，因此，PAAS也是SAAS模式的一种应用。云计算提供商把服务器平台作为一种服务提供的商业模式。在传统的软件开发时代，若想要开发一个系统，开发者必须先准备开发硬件、软件平台，而在云计算时代这些都不用开发者自己准备，可以直接使用云计算提供商提供的服务器平台和开发环境，大大缩短了开发周期。PAAS为开发者提供了便利，主要是因为它能提供企业研发所需要的中间件平台涵盖了数据库和WEB应用发布服务器，同时这个中间件平台是可定制的。应用软件开发者根据自己的需要，定制适合自己的开发平台，从而丰富了基于该平台的应用，也丰富了SAAS服务。SAASSOFTWAREASASERVICE的意思是软件即服务，是一种基于互联网提出的软件服务应用模式。SAAS服务提供商把所提供的服务软件统一的部署在自己建立的数据中心里，企业只需提出需求，然后利用提供商提供的服务。有了这种服务模式，企业用户或个人用户再也不用像使用传统系统软件那样建立服务器、购买硬件、软件等，只需要有能接入互联网的终端，使用浏览器访问所需服务。用户也不用考虑版本和日常维护等，这些都由服务提供商进行处理。对于广大中小型企业来说，SAAS这种网络布局模型为他们带来的不仅仅是方便，更为他们带来了很大的商机，规避了投资风险。因为这种模型便于用户通过互联网托管、部署和接入。用户也是按需缴纳费用而不用一次性投入大量的人力和物力。江苏科技大学南徐学院本科毕业设计（论文）1524云计算的实现机制由于云计算分为IAAS、PAAS、和SAAS三种类型，不同的厂家又提够了不同的解决方案，目前还没有一个统一的技术体系结构。但是综合不同厂家的方案，可以构造一个供参考的云计算体系结构，如图22所示。图22云计算技术体系结构云计算的体系结构分为四层物理资源层、资源池层、管理中间件层和SOA构建层。物理资源层包括计算机、存储器、网络设施、数据库和软件等。资源池层是将大量相同类型的资源构成同构或接近同构的资源池，如计算资源池、数据资源池等。构建资源池更多的是物理资源的集成和管理工作，例如研究在一个标准集装箱的空间如何装下2000个服务器、解决散热和故障节点的替换的问题并降低能耗。管理中间件层负责对云计算的资源进行管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务。SOA构建层将云计算能力封装成标准的WEBSERVICES服务，并纳入到SOA体系进行管理和使用，包括服务接口、服务注册、服务查找、服务访问和服务工作流等。管理中间件层和资源池层是云计算技术的最关键部分，SOA构建层的功能更多依靠外部设施提供。云计算的管理中间件层负责资源管理、任务管理、用户管理和安全管理等工作。资源管理负责均衡地使用云资源节点，检测节点的故障并试图恢复或屏蔽之，并对资源的使用情况进行监视江苏科技大学南徐学院本科毕业设计（论文）16统计；任务管理负责执行用户或应用提交的任务，包括完成用户任务映像的部署和管理、任务调度、任务执行、任务生命期管理等；用户管理是实现云计算商业模式的一个必不可少的环节，包括提供用户交互接口、管理和识别用户身份、创建用户程序的执行环境、对用户的使用进行计费等；安全管理保障云计算设施的整体安全，包括身份认证、访问授权、综合防护和安全审计等。基于上述体系结构，这里简述一下典型云计算平台的实现机制。用户交互接口向应用以WEBSERVICES方式提供访问接口，获取用户需求。服务目录是用户可以访问的服务清单。系统管理模块负责管理和分配所有可用的资源，其核心是负载均衡。配置工具负责在分配的节点上准备任务运行环境。监视统计模块负责监视节点的运行状态，并完成用户使用节点情况的统计。执行过程并不复杂，用户交互接口允许用户从目录中选取并调用一个服务，该请求传递给系统管理模块后，它将为用户分配恰当的资源，然后调用配置工具为用户准备运行环境。25云计算的文件系统GOOGLE云计算最核心技术是GFS、MAPREDUCE和BIGTABLE，其中GFS指的就是谷歌文件系统。由此可见，文件系统是云计算技术中最为核心的技术之一。实现一种云计算，构建其文件系统是最为重要的步骤之一。在这里我就简要介绍两种文件系统，它们分别是HDFS和GPFS。其中，GPFS就是我在这次毕业设计中所用到的文件系统。251HDFS自从云计算的概念被提出之后，不断地有IT厂商推出自己的云计算平台。但这些平台无一列外都是商业性平台，对于想要继续研究和发展云计算技术的个人和科研团体来说，无法获得更多的了解。而开源云计算系统则为研究者们带来了希望。其中，最为知名的开源云计算系统之一就是HADOOP。HADOOP模仿和实现了GOOGLE云计算的主要技术，其核心技术分别是HADOOPHDFS、HADOOPMAPREDUCE、HADOOPHBASE。HDFS就是开源云计算HADOOP的分布式文件系统。HDFS是一个主从结构体系，HDFS集江苏科技大学南徐学院本科毕业设计（论文）17群有一个NAMENODE和很多个DATANODE组成。NAMENODE管理文件系统的元数据，DATANODE存储实际的数据。客户端联系NAMENODE以获取文件的元数据，而真正的文件I/O操作是直接和DATANODE进行交互的。NAMENODE也就是主控制服务器，负责维护文件系统的命名空间并协调客户端对文件的访问，记录命名空间内的任何改动或命名空间内的本身属性改动。DATANODE负责对它们所在的物理节点上的存储管理，如图23所示。图23HDFS的结构示意图HDFS可以真正做到存储节点和计算节点相结合，从而可以避免大量的网络数据传输，从而提高云计算的工作效率。252GPFSGPFSGENERALPARALLELFILESYSTEM是IBM公司第一个共享文件系统，起源于IBMSP系统上使用的虚拟共享磁盘技术VSD。作为这项技术的核心，GPFS是一个并行的磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统。而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。GPFS允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。它提供了许多标准的UNIX文件系统接口，允许应用不需修改或者重新编辑就可以在其上运行。GPFS也支持UNIX文件系统的工具，即用户可以像使用普通文件系统一样使用基于GPFS的文件系统，唯一不同的在于管理GPFS文件系统的命令。GPFS提供的文件系统操作服务可以支持并行应用和串行应用，它允许任何节点（这些节点属于同一个节江苏科技大学南徐学院本科毕业设计（论文）18点组）上的并行应用同时访问同一个文件或者不同的文件。GPFS文件系统基本上由三层架构组成磁盘，网络共享磁盘（NSD），GPFS文件设备，如图24所示。磁盘是GPFS文件系统最底层的是物理磁盘设备。原则上可以采用系统上任何块设备，包括磁盘，磁盘分区，逻辑卷。从物理连接上来看，GPFS支持使用所有方式连接的磁盘。包括本地IDE磁盘，本地SCSI磁盘，光纤SAN磁盘，ISCSI磁盘，等等。NSD是由磁盘映射出来的虚拟设备，NSD与磁盘是一一对应的关系。NSD被标记了不同属性来区分其用途，我们可以将磁盘标记为4种用途DESCONLY只存储GPFS文件系统描述信息的磁盘；DATAONLY只存储文件系统中的数据信息；METADATAONLY只存储文件系统中的目录结构INODE信息；METAANDDATA存储所有信息（默认）。GPFS文件设备是一个可被系统挂载的文件设备，由NSD创建而成，可以并行的同时挂载在多个节点上。图24GPFS基本结构GPFS文件系统最底层的是物理磁盘设备。原则上可以采用系统上任何块设备，包括磁盘，磁盘分区，逻辑卷。从物理连接上来看，GPFS支持使用所有方式连接的磁盘。包括本地IDE磁盘，本地SCSI磁盘，光纤SAN磁盘，ISCSI磁盘，等等。NSD是由磁盘映射出来的虚拟设备，NSD与磁盘是一一对应的关系。NSD被标记了不同属性来区分其用途，我们可以将磁盘标记为4种用途DESCONLY只存储GPFS文件系统描述信息的磁盘。DATAONLY只存储文件系统中的数据信息。METADATAONLY只存储文件系统中的目录结构INODE信息。METAANDDATA存储所有信息（默认）。GPFS设备是一个可被系统挂载的江苏科技大学南徐学院本科毕业设计（论文）20文件设备，由NSD创建而成，可以并行的同时挂载在多个节点上。江苏科技大学南徐学院本科毕业设计（论文）21第三章为渲染应用构建简单云计算系统从之前第二章第四节的内容可以得知，构建一个云计算系统应该从云计算的技术体系入手。因为云计算的技术体系总体分为四层，那么构建一个云计算系统也应该丛这四层结构入手。云计算技术体系结构分为四层物理资源层、资源池层、管理中间件层和SOA（SERVICEORIENTEDARCHITECTURE，面向服务的体系结构）构建层。其实这四层结构对应了云计算的三种服务方式IAAS、PAAS、SAAS。IAAS即将基础设施作为服务，它的构建对应了物理资源层和资源池层。物理资源层包括计算机、存储器、网络设施、数据库和软件等。资源池层是将大量相同类型的资源构成同构或接近同构的资源池，如计算资源池、数据资源池等。如此说来，构建一个IAAS云计算体系，就必须基于物理资源层和资源池层。PAAS即将平台作为服务，它的构建对应管理中间件层。管理中间件层负责对云计算的资源进行管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务。通过对管理中间件层的研究，可以很好的构建一个PAAS云计算体系。SAAS即将软件作为服务，它的构建对应SOA构建层。SOA构建层将云计算能力封装成标准的WEBSERVICES服务，并纳入到SOA体系进行管理和使用，包括服务接口、服务注册、服务查找、服务访问和服务工作流等。31渲染应用IAAS构建渲染应用的IAAS构建，也就是基于云计算技术渲染应用中的硬件架构。所需要的硬件有文件服务器、管理服务器和渲染节点。这次毕业设计，我们选用的文件服务器是DELL的机架式服务器。选择DELL机架式服务器的原因是渲染是计算密集型，同时也是网络密集型的应用。每个渲染节点需要从文件服务器上读取场景、素材等文件，而后在本地渲染，渲染的结果也需要保存在文件服务器上。如果节点规模很大，那对文件服务器江苏科技大学南徐学院本科毕业设计（论文）22的压力非常大。根据节点的规模，需要选择合适的文件服务器架构，确保整个渲染农场可以高效率的工作。文件服务器的选择主要考虑的因素是稳定性、性能和可扩展性。一般情况下文件服务器要采用RAID技术，来提高容错性和性能，同时采用多口的服务器网卡，确保可以给渲染节点提供稳定可靠的带宽。图31DELL机架式服务器和其硬盘而戴尔服务器恰恰采用了RAID技术，其中有六个存储容量为1T的硬盘，构成廉价硬盘冗余阵列。而且这些硬盘支持热插拔，当其中有硬盘损坏时，可以在服务器工作状态下进行硬盘更换，从而保证数据的安全。对于管理服务器，我们选用的是惠普Z800服务器。因为管理服务器的主要任务是做任务分发等，是基于云计算技术渲染应用的核心。渲染应用能否发挥效率，除了硬件配置需要平衡外，也需要渲染管理软件的高效的管理。整个渲染应用的各种服务，全都由渲染管理软件负责。此节点对性能要求不高，但是要求非常稳定。惠普Z800服务器不仅性能优秀，而且工作状态非常稳定。所以由它来做管理服务器是一种很好的选择。对于渲染节点的选择，应该主要考虑服务器的计算性能、价格、功耗和占用空间大小。例如制作阿凡达的维塔工作室采用的是HP的高密度刀片服务器，每个机柜可以有4个机箱，每个机箱有16个刀片，而每个高密度刀片是两个节点，每个节点都是双路的服务器，因此每个机柜就可以拥有多大41622256颗处理器。江苏科技大学南徐学院本科毕业设计（论文）23图32IBM刀片式服务器基于以上选择分析，我们使用IBM刀片式服务器作为渲染节点。因为这种服务器不光性能优良，而且能耗低、价格适中，是综合性能较为优秀的一款服务器。选定好硬件设备后，就应该根据物理资源层和资源池层的体系结构开始来架构渲染应用的IAAS，下图33为硬件组网图。图33硬件组网把这些选定好的服务器，按照上图的组网方式进行简单的组网。为每一台服务器配置好IP地址，到此时IAAS的架构算是告一段落。32渲染应用PAAS构建PAAS就是将平台作为服务，其构建涉及到管理中间件层的应用。对于有关渲染应用PAAS的构建其实就是渲染平台的安装。当IAAS所需要的硬件都基本就绪后，就可以考虑安装平台软件了。首先得规划一下是否采用DNS和DHCP等。如果决定使用DNS和DHCP，则可以在管理服务器上安装配置DNS或者DHCP服务器。如果已有DNS或者DHCP服务器，则不需要安装，使用原来的即可。一般的有线或者无线路由器也具有DHCP服务器的功能。一般情况下，对于渲染节点除了有机器名外，也配置静态的IP地址，以便在DNS服务器失效的情况下，可以远程访问渲染节点。如果渲染农场的渲染节点配置完全一样时，可以采取硬盘克隆的方式快速安装每个节点。或者采用其他操作系统自动部署方案。最简单的办法就是一台一台的人工安装。江苏科技大学南徐学院本科毕业设计（论文）24对于每一台渲染节点，都需要安装64位的操作系统，以便能够利用大内存。也同时需要安装64位版本的渲染软件，例如MAYA200964位，或者MENTALRAYSTANDALONEFORMAYA等等。随后，需要在每台节点上安装平台集群管理软件的渲染节点程序。对于WINDOWS渲染节点而言，平台安装程序会自动启动远程桌面功能。由于授权的限制，用户在远程桌面的环境下，是不能直接使用MAYA的，而平台节点程序则可以正常使用MAYA。如果用户有登录到渲染节点手工使用MAYA的需求，则需要考虑安装其他远程桌面软件以避开此类授权问题，例如安装VNC和DAMEWARE等软件。对于对外服务的渲染平台而言，渲染节点最好只有一个C盘，因为动画后期工作室等经常使用D盘，因此拿到渲染平台渲染时，如果渲染节点本身有D盘的话，则操作相对很麻烦和耗时。渲染平台的最重要的是效率，保证机器24小时不间断的渲染才是重中之重。在安装渲染节点的时候，也可以安装管理服务器。这两者没有前后依赖关系。可以先安装平台服务器后，然后逐台安装平台节点，这样在每台节点安装后，都可以在管理控制台的节点管理界面，看到新安装的渲染节点。在安装完成后，需要准备好文件服务器。如果不是专用的文件服务器，而是一台服务器或者PC作为服务器。那么需要在文件服务器上安装服务器操作系统例如WINDOWSSERVER2003/2008或者LINUX。一般不使用WINDOWSXP等桌面客户端软件作为服务器，主要原因为桌面操作系统对连接的个数有限制，例如WINDOWSXP不能超过10个，如果渲染集群的渲染节点个数很少，也可以采用WINDOWSXP操作系统。文件服务器可以为32位操作系统。如果使用了硬件RAID卡等，还需要考虑RAID卡的驱动程序支持的操作系统类型。平台集群管理软件完善的支持多种存储架构，例如单文件服务器多IP地址（避免带宽聚合导致的成本增加，例如更昂贵的交换机等），多文件服务器等等。另外，对于用户DIY的文件服务器，平台提供了一种增加文件服务器可靠性的软件，它能非常有效的增加渲染农场的可用性，避免文件服务器崩溃所带来的影响。安装完上述软件后，就可以参考平台集群管理软件用户手册来渲染镜头了。如下就三个具体的事项进行了详细说明。渲染节点安装程序需要使用系统管理员权限运行。渲染节点程序的安装，先选择安装界面的语言，这里选择简体中文（CHINESESIMPLIFIED）界面。点江苏科技大学南徐学院本科毕业设计（论文）25击“OK”进入下一步。进入许可证协议界面，按PGDN键或拖动滑块可以查看软件授权使用协议全文，点击“我接受”，可以进入下一步。选择安装的组件，点击“下一步”可以进入选择安装位置界面。如下图34所示。图34组件选择界面选择安装文件夹，一般情况下使用默认安装路径，如果是在WINDOWSVISTA操作系统下，请选择PROGRAMFILES或者PROGRAMFILESX86以外的路径安装，以避免程序不能写盘的操作。点击“下一步”，出现了设置网络参数界面。如下图35所示。图35网络参数设置界面这个界面主要是设置渲染任务调度服务器的机器名和端口号，并且设置渲染节点程序服务端口。一般情况下只需要设置一下服务器IP地址即可。继续单击“安装”，开始安装。之后就能安装完成。节点管理软件安装完毕后，就要开始安装管理服务器软件。启动管理平台服务器的安装程序后，先选择安装界面的语言，这里选择简体中文界面。点击“OK”进入下一步。进入许可证协议界面，按PGDN键或拖动滑块可以查看江苏科技大学南徐学院本科毕业设计（论文）26软件授权使用协议全文，点击“我接受”，可以进入下一步。选择安装的组件，点击“下一步”可以进入选择安装位置界面。选择安装文件夹，一般情况下使用默认安装路径，如果是在WINDOWSVISTA操作系统下，请选择PROGRAMFILES或者PROGRAMFILESX86以外的路径安装，以避免程序不能写盘的操作。点击“下一步”，出现了设置服务器参数的界面。如下图36所示。图36服务端安装参数设置界面这个界面主要是设置调度服务器的两个端口号，设置管理控制台WEB服务器的端口号和数据库服务器的端口号。一般情况下采用默认设置，执行安装即可。如果与其它程序出现端口冲突，则需要更具设计情况改变端口号的配置。继续单击“安装”，开始安装，并安装完成。33GPFS文件系统的安装GPFS文件系统，是基于LINUX操作系统环境下的一类文件系统。在安装GPFS文件系统时，文件服务器必须先安装LINUX操作系统。下面GPFS的安装都是在LINUX操作系统中进行的。将INSTALL_GPFSSH和GPFS安装文件拷贝到所有服务器安装，建一个NFS服务器共享安装，输入下列命令NSD1ROOT/HOME/SCRIPTS/GPFSRCP_FILESH/HOME/SCRIPTS/GPFS/INSTALL_GPFSSHNSD1ROOT/HOME/SCRIPTS/GPFSRUN_CMDSH/HOME/SCRIPTS/GPFS/INSTALL_GPFSSH；确认每台服务器安装显示OK。添加所有PROFILE的执行路径，输入下列命令江苏科技大学南徐学院本科毕业设计（论文）27NSD1ROOT/HOME/SCRIPTS/GPFSRUN_CMDSH/HOME/SCRIPTS/GPFS/CHANG_PROFILESH目录准备，输入NSD1ROOT/HOME/SCRIPTS/GPFSRUN_CMDSHMKDIR/SHARENSD1ROOT/HOME/SCRIPTS/GPFSRUN_CMDSHLNS/SHARE/TMP/MMFSNSD1ROOT/HOME/SCRIPTS/GPFSRUN_CMDSHMKDIR/TMP/GPFS配置GPFS集群，配置节点文件，输入NSD1ROOT/VI/TMP/GPFS/NODEFILE；则出现下列显示NSD1QUORUMNSD2QUORUMAPP1CLIENTAPP2CLIENTAPP3CLIENTAPP4CLIENT建立GPFS集群，先确保清理干净原先GPFS集群，输入NSD1ROOT/TMP/GPFSMMDELNODEF建立集群，输入NSD1ROOT/TMP/GPFSMMCRCLUSTERCBGBCRUNUBGBCN/TMP/GPFS/NODEFILEPNSD1SNSD2；则出现以下显示THUJUN28154257BEIST200760271664MMCRCLUSTERPROCESSINGNODENSD1THUJUN28154257BEIST200760271664MMCRCLUSTERPROCESSINGNODENSD2MMCRCLUSTERCOMMANDSUCCESSFULLYCOMPLETEDMMCRCLUSTER60271371PROPAGATINGTHECLUSTERCONFIGURATIONDATATOALLAFFECTEDNODESTHISISANASYNCHRONOUSPROCESS其中参数含义江苏科技大学南徐学院本科毕业设计（论文）28CBGBCRUN设定集群名称UBGBC定义域名N/TMP/GPFS/NODEFILE指定节点文件名PNSD1指定主NSD服务器为NSD1SNSD1指定备NSD服务器为NSD1确认查看，输入命令NSD1ROOT/TMP/GPFSMMLSCLUSTER；则出现下列显示GPFSCLUSTERINFORMATIONGPFSCLUSTERNAMEBGBCRUNNSD1GPFSCLUSTERID739157013761844865GPFSUIDDOMAINBGBCREMOTESHELLCOMMAND/USR/BIN/RSHREMOTEFILECOPYCOMMAND/USR/BIN/RCPGPFSCLUSTERCONFIGURATIONSERVERSPRIMARYSERVERNSD1SECONDARYSERVERNSD2表37GPFS确认服务NODEDAEMONNODENAMEIPADDRESSADMINNODENAMEDESIGNATION1NSD11066398NSD1QUORUM2NSD21066399NSD2QUORUM3APP11066551APP14APP21066552APP25APP31066553APP36APP41066554APP4配置GPFS的共享盘，建立NSD（NETWORKSHAREDDISK）文件，输入NSD1ROOT/TMP/GPFSVI/TMP/GPFS/NSDFILE江苏科技大学南徐学院本科毕业设计（论文）29添加HDISK2NSD1NSD2DATAANDMETADATA4生成NSD盘，输入NSD1ROOT/TMP/GPFSMMCRNSDF/TMP/GPFS/NSDFILE；出现MMCRNSDPROCESSINGDISKHDISK2MMCRNSD60271371PROPAGATINGTHECLUSTERCONFIGURATIONDATATOALLAFFECTEDNODESTHISISANASYNCHRONOUSPROCESS此时，该文件作了转换，输入NSD1ROOT/TMP/GPFSCATNSDFILE；出现HDISK2NSD2NSD1DATAANDMETADATA4GPFS1NSDDATAANDMETADATA4确认结果，输入NSD1ROOT/TMP/GPFSLSPV；出现HDISK300003E846FFA7A6EGPFS1NSD启动GPFS系统，输入NSD2ROOT/TMP/GPFSMMSTARTUPA；出现THUJUN28155212BEIST200760271642MMSTARTUPSTARTINGGPFSNSD260272114THEGPFSSUBSYSTEMISALREADYACTIVEAPP460272114THEGPFSSUBSYSTEMISALREADYACTIVE配置GPFS的共享文件系统，建立GPFS文件系统，输入NSD2ROOT/MMCRFS/SHARESHARELVF/TMP/GPFS/NSDFILEAYESB64KN30VNO；出现GPFS6027531THEFOLLOWINGDISKSOFSHARELVWILLBEFORMATTEDONNODENSD1GPFS1NSDSIZE67108864KBGPFS6027540FORMATTINGFILESYSTEMGPFS6027535DISKSUPTOSIZE140GBCANBEADDEDTOSTORAGEPOOLSYSTEM江苏科技大学南徐学院本科毕业设计（论文）30CREATINGINODEFILECREATINGALLOCATIONMAPSCLEARINGINODEALLOCATIONMAPCLEARINGBLOCKALLOCATIONMAPGPFS6027572COMPLETEDCREATIONOFFILESYSTEM/DEV/SHARELVMMCRFS60271371PROPAGATINGTHECLUSTERCONFIGURATIONDATATOALLAFFECTEDNODESTHISISANASYNCHRONOUSPROCESS参数含义如下/SHARE文件系统MOUNT点名SHARELV指定文件系统LV名F指定NSD的文件名A自动MOUNT选项为YESB块大小为64KN挂载文件系统的节点估计数30个V校验建立磁盘是否已有文件系统为否装载文件系统，输入NSD2ROOT/HOME/SCRIPTS/GPFSRUN_CMDSHMOUNT/SHARE建立目录APP1ROOT/MKDI