（教育技术学专业论文）基于lsf平台的集群渲染可视化监控研究与实现.pdf

中文摘要 数码技术的快速发展，使得越来越多的三维动画作品出现在大型的电影、卡通、 电视和广告媒体中在动画制作过程中，对复杂的场景特效进行渲染，需要耗费大 量的时间，渲染速度过慢成为动画制作的一个瓶颈。集群渲染系统便是解决动画制 作瓶颈、提高工作效率的有效手段。集群渲染系统的广泛应用，系统中软硬件资源 也在不断地增加，因此系统失效韵概率也逐渐增大。这样，对系统进行监控显得尤 为重要，监控系统得到的数据可以用于负载均衡、任务调度和相应服务的调整，及 时通知管理员有关硬件方面的故障或软件的失效，以便保证集群的可靠性 本文首先分析了集群渲染系统的构成、工作流程和特点，并针对集群渲染系统 的工作流程指出了可视化技术在集群渲染监控中的应用：系统状态信息可视化监 控、作业状态可视化监控以及渲染结果可视化监控。 其次，提出了集群渲染监控的总体要求，介绍了用户访问系统的流程；指出本 系统的主要功能要求，依据这些要求设计了系统的功能模块，其中主要介绍了负载 信息收集和作业信息收集模块。 最后，具体介绍了监测信息的获取、存储，以及图形化显示，在l s f 平台上实 现以图形化方式实时显示集群状态、作业运行状态、以及渲染结果等功能。 关键词：集群渲染；监控；可视化；e n g i n f r a m e ：l s f a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to f c u g i t a lt e c h n o l o g y , m o r ea n dm o r et h r e ed i m e n s i o n a l a n i m a t i o nw o r k sa p p e a ri nt h el a r g e s c a l em o v i e ，t h ec a r t o o n , t h et e l e v i s i o na n dt h e a d v e r t i s e m e n tm e d i a - i ti st i m ec o n s u m i n gt or e n d e rc o m p l e x e l l a sa n ds p e c i a le f f e c t s i nt h ea n i m a t i o nm a n u f a c t u r ep r o c e s s ，w h i c hb e p ：o m e s t h eb o t t l e n e c ko fa n i m a t i o n p r o d u c t i o n c l u s t e rr e n d e r i n gs y s t e mi s a l le f f e c t i v em e t h o dt oa l l e v i a t et h eb o t t l e n e c k q u e s t i o na n dp r o m o t er e n d e r i n ge f f i c i e n c y b e c a u s eo ft h ew i d e s p r e a do fc l u s t e rr e n d e r i n gs y s t e ma n dt h ei n c r e m e n to ft h e s o f t w a r ea n dh a r d w a r er e s o u r c e s ，s ot h es y s t e me r r o r sa r ei n c r e a s i n gg r a d u a l l ya sw e l l i n t h a tc a g c , i ti sv e r yi m p o r t a r t tt om o n i t o rt h es y s t e m t h ed a t ao b t a i n e di nt h ep r o c e s so f m o n i t o ri su s e f u lt ol o a db a l a n c i n g ；j o bs c h e d u l i n ga n dc o r r e s p o n d i n gs e r v i c ea d j u s t i n g , a n di tc 卸b eu s e dt oi n f o r mt h em a n a g e rt h eb r e a k d o w nr e l a t e do f h a r d w a r ep r o m p t l y , i n o r d e rt og u a r a n t e et h er e l i a b i l i t yo f c l n s t e rs y s t e m f r o mt h e p r o b l e m sa r em e n t i o n e da b o v e ，t h i sp a p e rd e s i g n s o n ek i n do f v i s u a l i z a t i o ni n t e r f a c ew h i c hm a k e st h en s e rt oe x a mt h ej o br u n n i n gs t a t u s ，r e n d e r i n g r e s u l t sa n dc l u s t e rs t a t n s , s ot h a tt h e yc a nd e a lw i t ht h ep r o b l e m si nt h es y s t e m f i r s to f a 1 1 t h i sp a p e ri n t r o d u c e st h ee l n s t e ra n di t sc l m f a c t e r s , t h e na n a l y s e st h ec o n s t i t u t i o no f e l n s t e rr e n d e r i n gm o n i t o rs y s t e m , w o r ks t e p s w h a t sm o r e , a i m i n ga tt h ew o r ks t e p so f c l u s t e rr e n d e r i n gm o n i t o rs y s t e m , t h i sp a p e rr a i s e st h ev i s u a l i z a t i o nt e c h n o l o g yw h i c h a p p l i e st oc l u s t e rr e n d e r i n gm o n i t o rs y s t e m s e c o n d l y , t h i sp a p e ra l s op u t sf o r w a r dt h e g e n e r a lr e q u i r e m e n t so fc l n s t e rr e n d e r i n gm o n i t o rs y s t e m , a n da c c o r d i n gt ot h e s e r e q u i r e m e n t s , t h i sp a p e rh a sd e s i g n e dt h ef u n c t i o n a lm o d u l e so fs y s t e m f i n a l l y , i t i m p l e m e n t st h ef u n c t i o n st h a tj o br u n n i n gs t a t u s ，r e n d e r i n gr e s u l t s ，c l u s t e rs t a t u sa n ds o o ni nt h el s fp l a t f o r m k e y w o r d s ：c l u s t e rr e n d e r i n g ；m o n i t o r , v i s u a l i z a t i o n ；e n g i n f r a m e ；l s f 硕士学位论文 m a s t e r sn l e s i s 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本声明的法律结果由本人承担。 作者懿：弘重 日期：加产乡月，伊 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权华中师范大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权 中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通 过网络向社会公众提供信息服务。 作者签名： 移受 日期：硇1 年6 月f f 日 ， 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程”。同意将本人的 学位论文提交4 c a l i s 高校学位论文全文数据库”中全文发布，并可按4 章程”中的 规定享受相关权益囤丞盈塞堡銮卮澄厦! 旦圭生i 旦= 生i 旦三生蕴查： 储签名彦怨重 日瓤御年月 汨￥辫 ，飞、 冬日 1 a丹耗童 名签 ： 师期 硕士学位论文 m a s t e r st h e s i s 第一章引言 1 1 背景和意义 数码技术的快速发展，使得越来越多的三维动画作品出现在大型的电影、卡通、 电视和广告媒体中。由于人们对视觉欣赏的要求大大提高，需要更精细的艺术造型 创作，更方便的制作软件、更快捷的计算速度和更有效的设备使用，才能使动画作 品更加完美逼真。在动画制作过程中，完成动画建模和动画设定以后，需要对每个 镜头进行渲染以便迸行实际效果的审查。然而，对复杂的场景和特效进行渲染着色， 是一个及其耗时的过程。过去一般都采用专门的图形工作站来完成，虽然计算机的 性能有了很大的提高，但是单一的工作站在将一个复杂的场景渲染成动画的时候， 往往需要数天的时间，而在渲染期间，动画师却不能继续他们的工作。使用工作站 进行渲染，也就意味着动画的制作必然花费高昂的成本。因此动画制作领域需要迫 切解决的一个问题就是如何利用现有资源，提高动画制作的效率，降低动画制作的 成本。 基于p c 的动画制作系统已经形成了一整套完整的体系。从动画的初期创意、 原画的绘制，到模型的建立、动画的设定，再到后面的着色渲染、编辑合成，p c 在整个流程中，都已经一展拳脚，得到数字内容创作者的认可。然而动画市场的巨 大需求与动画制作本身的复杂性之间的矛盾越来越突出，动画制作过程中仍然存在 一些瓶颈，部分资源相对短缺，其中重要的一方面就是渲染所需时间过长，直接影 响到动画制作的效率和周期。网络渲染技术就尝试解决这一问题。现在主流三维动 画制作软件都推出了相应的网络渲染功能，该功能可以使多台局域网内的计算机共 同完成某场景的渲染工作，提高动画渲染的速度f i j 。其工作原理就是将渲染任务 分成若干份交给局域网内的其它电脑来完成，每一台电脑都把自己渲染完成的那部 分图像序列提交给主机，在整个渲染流程中主机可以完全不必参与，只需对渲染的 机器进行检查和管理。在渲染期间，主机可以进行其它的重要工作而不受渲染高负 载的影响，最主要的是能够减少等待时间，尽快完成渲染工作。 然而，随着制作规模的扩大，网络渲染的弊端也逐渐暴露出来：网络渲染无法 满足大规模应用的需求。在大规模的动画制作中，必须对资源进行有效的分配，对 作业进行有效的管理，而不是简单的靠手动的方式来完成动画的创作是一个十分 复杂的过程，涉及到众多的制作平台和制作软件，让它们协调的工作至关重要对 渲染这一环节，需要对各种软硬件资源和平台进行有效的整合，集群渲染管理系统 硕士擘位论文 m a s t e r s t h e s ! s 便应运而生，并且该类系统已经成为目前解决动画制作瓶颈、提高工作效率的有效 手段，在动画制作中得到了广泛的应用。 集群渲染系统的广泛应用，系统中软硬件资源也在不断地增加，因此系统失效 的概率也势必逐渐增大。当集群的规模达到上百个节点时，系统发生错误将会给用 户造成巨大的损失。此外，由于集群系统是由多个相互独立的子系统组成，当系统 中各节点处理能力存在差异时，如何处理负载平衡问题也就显得愈来愈重要【2 j 当前利用集群系统进行计算的用户，往往都是先人工通过依次切换节点机来检 查各个节点的状态，然后再将数据分发给各个节点以进行计算。很多渲染计算的运 行时间往往很长，例如一个大型动画项目，动辄需要计算十几个小时，甚至更长时 问，因此在计算过程中难免会出现节点故障或者应用程序中断的现象。若这时用户 仍通过命令行的方式来确定节点状态和确定应用进程状态，当节点数较大时，要检 查所有节点的进程状态就必须依次登录到每一个节点上，这是非常不方便且是效率 低下的! 基于以上分析设计出一种可视化界面对集群渲染进行监控显得尤为重要。 集群节点需要对外提供自身的状态信息，以便相关资源或集群系统以及用户根 据状态信息有效地使用资源。在实际运行过程中，监控系统提供所有被监控节点的 信息，使管理员有效地管理整个系统，对异常情况及时做出反应，合理安捧下一步 的活动。监控系统是保证系统健壮性、可用性的手段。掌握系统资源的状态和负载 变化是集群作业调度和应用性能分析与预测的基础。作业的分配和调度需要了解集 群计算能力，软硬件资源的负载和状态，从而做到有效地使用系统资源。借助监控 系统，可以了解系统的性能、资源的利用情况，从而发现系统瓶颈，改进应用，优 化结构。调度程序利用资源，性能信息实现动态应用和资源调度，达到负载平衡； 系统管理者可以基于监控系统提供的信息发现、识别、诊断和解决故障，并能通过 一定的分析预测在事发前发现故障，从而避免故障的发生，或者在发生故障时通过 动态处理和报警使故障得以及时处理，将网络和资源故障对系统的影响降至最小【3 j 。 基于以上考虑，本文对集群渲染以及可视化监控进行了研究，从而设计出一个 界面友好的集群渲染可视化监控系统该系统可以将集群中各个节点的状态与用户 提交作业的执行状态以及执行结果实时的、准确的、清晰的呈现给客户，该系统在 提高集群渲染系统的性能、方便用户使用等方面具有着重要意义 1 2 集群渲染现状分析 渲染( r e n d e r ) 是在计算机内建立的三维几何模型上附加一定的材质、纹理及 色彩，并加上光源。通过计算机的计算生成具有真实感效果的场景图形【4 】。其实质 2 腰士学位论文 m a s t e r s t h e s l 8 就是根据光学物理的有关定律，计算场景中所有物体可见表面上任一点投向观察者 眼中的光亮度的大小和色彩【5 】。渲染是基于一套完整的程序计算出来的，硬件的性 能对它的影响只是一个速度问题，而不会改变渲染的结果，影响最终输出结果的是 看它是基于什么程序渲染的。 对于智能化的网络集群渲染，国内的若干研究机构和应用单位也作了不同程度 的尝试，虽然在生产上还没有成功地大规模应用，但其理论结构和应用流程已被国 内业界人士广泛认可通过采用网络集群渲染，合理应用集群作业管理系统的强大 功能，不但可以大大缩短三维动画制作时间，提升工作效率，而且可以提高系统的 容错能力，全面发挥系统和设备所具有的各种优势。 作业管理系统在集群计算领域得到了广泛的应用，一个典型的例子是美国p i x a r 公司开发a l f r e d 生成管理系统嘲。它基于系统管理分配渲染任务，能有效、自动、 智能、集群化地管理整个工作室的渲染工作。a l f r e d 系统可以实时管理和监视渲染 节点的工作情况，由此可以最大效率地发挥集群渲染的优势，避免渲染节点的空闲。 在建立了集群网络之后，a l f r e d 可以智能化地根据当前计算机的c p u 使用状况来决 定你的哪一台计算机参与生成工作，管理从几台到上百台的计算机。a l f r e d 相比其 它生成管理系统，对大规模集群渲染的能力更强。在国外三维制作中使用a l f r e d 系 统生成的例子比比皆是，诸如最近的纯三维动画大片；玩具总动员，昆虫总动员， 海底总动员等都有a l f r e d 系统参与制作生成。a l f r e d 至今已经在市场上应用于两百 多部电影上。p i x a r 公司已成功地为中央电视台安装这套三维网络集群渲染系统，并 已投入生产运行。 另外，湖南国家数字媒体技术产业化基地高性能三维动画集群渲染系统采用成 熟的硬件和软件，在性能和资金投入上进行折衷，确保达到符合要求的渲染能力。 该基地主要研究高性能三维动画集群渲染技术、卡通动画网上协同制作技术、流媒 体传播技术、交互式卡通动画节目制作和游戏播出技术而三维动画集群渲染技术 主要研究三维动画集群渲染系统的渲染模型、渲染作业调度算法、渲染平台的安全 机制、渲染平台的f o 调度、渲染平台性能评估方法等问题，并用于指导三维集群 渲染系统的建立集群渲染系统选用f r a n t i cf i l m s 公司的d e a d l i n e 作为渲染管理软 件：用c h 编程实现，具有文件加密、隔离、存取身份验证、文件日志、业务记载 等功能渲染软件大致分成三类：3 d 应用软件自身携带的渲染器、专为某3 d 应用 软件开发的第三方渲染器、通用的高级渲染器。系统拥有1 0 0 个c p u ，采用d e a d l i n e 渲染管理软件和m e n t a l r a y 渲染软件，支持3 d m a x 、m a y a 等制作软件m 。 国内外对集群作业管理系统的研发工作一直很活跃，世界上许多大学和研究所 都开展了大量的研究工作，并进行了许多应用测试。结果表明，大量的并行应用程 序都能在集群系统上获得很好的效率。据统计，美国l i v e r m o r e 国家实验室9 0 0 的 应用问题都能在集群系统上解决。并且产生了许多公用和商业化的作业管理系统， 公用的免费系统如n q s ，p b s 、c o n d o r 、d q s 等是由美国的一些大机构或大学 开发的，可以从i n t e r n e t 上直接获得它们的源代码；商业化的系统由软件公司或硬 件生产公司为自己的机器开发，如加拿大p l a t f o r m 公司的l s f ，m m 公司的b a d l e v e l e r 等。 1 3 论文的研究内容 通过对目前集群渲染系统特点及相关专业知识的学习，认真分析了集群渲染系 统的现状，设计出一种可视化界面使用户可以实时查看作业运行状况、作业运行结 果、集群状态，对于系统中存在的问题可以及时的处理。 ( 1 ) 研究了集群渲染系统的构成、特点、流程； ( 2 ) 分析了可视化技术在集群渲染监控中的应用； ( 3 ) 根据渲染任务的特点，实现监控过程中相关信息的采集、存储、可视化图 形显示： ( 4 ) 使用e n g i n f r a m et 具制作可视化w e b 界面。 1 4 论文的组织 第一章为引言，主要介绍了课题的背景和意义，集群渲染现状，本论文的研究 内容以及论文的组织结构 第二章主要对集群、集群特点加以介绍，研究了集群渲染系统的组成，集群渲 染的流程和特点、可视化集群监控等相关知识。 第三章、第四章是本文的重点，主要讲述了一种基于l s f 的集群渲染可视化监 控的总体设计及实现。 第五章、第六章对实现的功能进行测试，总结了本文的工作，并且指出将来工 作的重点。 4 项士擘住论文 m a s t e r st h e s i s 第二章集群渲染及可视化监控技术 2 1 集群及其特点 集群是利用高速通用网络将一组高性能计算机，按照某神结构连接在一起，在 并行程序设计以及可视化人机交互集成开发环境支持下，统一调度，协调处理。实 现高效并行处理的系统【8 】从结构和节点间的通信方式来看，它属于分布式存储系 统，主要利用消息传递方式实现各个主机之间的通信，由建立在一般操作系统之上 的并行编程环境完成系统的资源管理以及相互协作，同时也屏蔽计算机之间的异构 性。对程序员和用户来说，集群系统是一个整体的并行系统。集群系统中的主机和 网络可以是同构的，也可以是异构的唧。 已实现和正在研制中的集群系统大多数采用现有商用计算机和通用l a n 网络， 这样可以尽量利用商用系统的研究成果，减少系统的开发和维护费用。集群系统有 良好的可扩展性和可编程性，具有很好的发展前景。 集群系统主要具有以下特征1 1 0 l ： ( 1 ) 集群系统都具有良好的可用性。即它们都能够在集群的某部分节点出故障的 情况下继续向用户提供持续的服务。 ( 2 ) 集群系统有良好的可扩展性。只需很少的配置工作就可以方便地向集群中加 入或删除工作节点。 ( 3 ) 典型的集群系统提供了良好的可管理性。管理人员通过简单的操作就可以对 集群中的工作节点或控制节点进行配置工作。 ( 4 ) 集群系统一般都提供了负载平衡功能。负载平衡包括静态负载平衡和动态负 载平衡，为了最大程度地利用集群中的一切资源，集群需要具有动态负载平衡功能， 它能够通过监视集群中的实际节点的负载情况并动态地进行调度的改变。 ( 5 ) 大部分集群系统都有一个主控机，它能够对集群中的机器的运行状态进行监 视，而且能够根据各机器的负载轻重进行作业的调度。 2 2 集群渲染系统 集群渲染系统由一台或几台服务器、多台p c 和网络连接设备构成，每台p c 拥有中央处理器、主板、内存以及存储设备。渲染服务器通过一系列分布式工作命 令借助强大的渲染能力来帮助设计师高效率地完成三维作品的最后成形借助于分 布式渲染器，动画设计者可以在设计完成三维模型以后，导入集群渲染系统，通过 5 集群渲染强大的数据处理能力，迅速的按需求进行对动画或静帧进行渲染。通过分 布式计算，将一个大型的模型快速渲染，时间往往缩短到原来的1 2 ，1 3 ，甚至几 十分之一。原来可能要几天运算的数据，可能几个小时就能搞定，大大提高工作效 率。 集群渲染系统是有很多渲染节点组成，采用领先的分布式渲染技术，系统将自 动确定网络中可用的渲染节点和资源，同时将将任务分解到相应渲染节点，自动负 载平衡功能可以优化工作流程中每个渲染节点的使用效率。如果某一个渲染节点与 网络断开，内置式故障保护功能管理端将自动将作业重新路由到渲染集群中的其他 渲染节点，确保渲染工作如期完成。 使用集群渲染能够大大节省渲染时间、减轻渲染劳动强度，同时能够为高效率 地完成后续合成工作打下了坚实的基础。这在大中型动画项目等多媒体制作领域作 用尤为明显。 2 2 1 集群渲染系统的构成 集群渲染系统从节点类型来看，包括计算节点、管理节点、存储节点等。 ( 1 ) 管理节点 管理节点主要完成两项工作，一是对渲染作业进行调度和管理，二是为计算节 点提供基本的网络服务。一般集群渲染管理系统的管理端运行在该节点上。 ( 2 ) 计算节点 计算节点是整个集群渲染系统的计算核心，它的功能就是执行计算实际渲染 任务就是在计算节点上完成的。通常集群渲染管理系统的渲染客户端运行在该类节 点上。计算节点可以是多种平台、多种配置的机器。一般来说，为提高渲染效率， 多处理器节点具有更快的渲染速度和更高的性价比。 ( 3 ) 存储节点 存储节点主要是为计算节点和管理节点进行大量数据i o 而设置的。集群渲染 系统在运行过程中，需要频繁读取各种场景、贴图、材质等文件，同时还会生成大 量的图片序列，因此，存储节点必须能够外挂大容量磁盘阵列以满足工作需要，负 责整个集群渲染系统的数据共享、文件存储管理。 群渲染系统的高效运行需要高速硬件连接设备，计算机之间的数据传输，需要 选择的设备主要包括千兆网卡、交换机或者光纤卡以及相应的光纤交换机等。对于 中小型的集群系统来说，千兆的传输速率完全能够满足了 6 集群渲染系统采用分布式渲染技术，系统将自动确定网络中可用的渲染节点和 资源，并将任务按照需求分发到相应渲染节点。如果某一个渲染节点出现故障，管 理服务器会自动将作业重新分发到渲染集群中的其他渲染节点，确保渲染作业如期 完成。 2 2 2 集群渲染的流程 每个工作站制作好的三维场景文件提交给管理节点服务器，由管理节点服务器 将任务分发给系统中任意个计算节点，渲染完成后每个节点再将结果返回管理节点 服务器，最后由管理服务器把视频信号输w , 至i j 视频设备( 如b e t a c a m 、d v d 制作 设备和打印机) 或者三维，视频工作站【l l l 。 网络集群渲染的主要工作流型4 】： ( 1 ) 用三维软件制作三维场景后，输出渲染器能接受的文件； ( 2 ) 通过管理软件接口将该文件提交给管理软件； ( 3 ) 管理软件自动启动以后，通知管理服务器，有工作需要进行渲染； ( 4 ) 管理服务器查找网络上的空闲节点，并把工作分配下去； 空闲渲染节点接到任务后，开始渲染工作，并把工作情况实时报告给管理服 务器； ( 6 ) 管理服务器把收到的信息反馈给管理软件，同时把信息反馈给用户： ( 7 ) 整个场景渲染完成，用户得到可以应用的图片序列。 2 2 3 集群渲染的特点 ( 1 ) 高性能 高性能表现在三个方面：第一是单节点性能高。当单个节点性能提高时，可以 有效控制集群规模，增加渲染速度，提高渲染效率第二是整体性能可以扩展。集 群渲染系统有着很强的可扩展性，性能随着节点机数量的增加而增强。跟单台p c 机相比t 集群渲染的渲染速度可以是一个甚至是两个数量级的提高。另一个衡量集 群性能优劣的重要标准就是性能扩展的线性度从理论上说，c p u 数量越大，渲染 时间就越短，它们成反比关系但实际上，动画渲染的时间和c p u 的数量并非成 线性反比简单地增加c p u 数量或p c 节点根本无法有效地提高渲染效率。当c p u 数量达到一定值后系统效率不但不增加，反而还有可能降低。造成这种问题的原因 主要在于通信( 不止网络通信，还包括p c 内部、c p u 与内存和硬盘之间的通信1 和 软件的算法。另外，系统中使用多少个节点的计算机( 基于c p u 的数量) 也是需要考 ， 虑的问题，越小越可以使用更多的c p u 。一个好的集群渲染管理软件，可以发挥系 统8 0 ，甚至9 0 以上的性能【1 2 1 ( 2 ) 高可靠性 首先是计算节点的可靠性。渲染集群节点机具有较高级别的可靠性，以确保渲 染工作按时完成。其次是作业执行的可靠性。就是要求集群还具有容错特性，单个 节点机出现故障时，不会对渲染任务造成影响。 ( 3 ) 使用方式灵活低成本 就是一般所说的总体成本f f c o ) 要较低。首先是软硬件投入成本低，购置硬件 和配套软件的费用要低。其次后期的维护费用、管理费用、升级成本等要低。允许 用户根据自身需要制定渲染集群中进行工作的节点。在节点的选择和工作时间上提 供较大的灵活性。比如在下班时间让空闲的工作站参与渲染，而在上班之前停止渲 染工作。集群渲染应该具有丰富的渲染方式和灵活的参数修改方式，可以直观地修 改渲染的各类参数，也可以通过对输出属性的调整，及时改变输出结果特性与类型。 ( 4 ) 易于管理 首先是集群本身要方便管理，能够进行有效的监视，能及时发现和解决可能存 在的故障和隐患。其次对渲染任务能够进行方便有效的管理，这对于大型项目而言 尤为重要。 2 3 可视化监控技术 2 3 1 可视化技术基本概念 可视化是把数据转换为人们可以直观、形象理解的图形或图像表达方式的技 术，从而可以为计算机用户提供更为快捷、有效的服务。可视化方法在过去的科研 活动中一直是在被应用着的，在没出现计算机之前，人们使用图和表来直观的表示 科学实验的结果，并从图表中得到成果。当科学模拟出现后，人们自然想到了可视 化，用图形、图像来显示计算结果，以便从海量的结果数据中找到规律。于是可视 化就成了现在的科学计算不可或缺的分析工具。可视化程序的输入是科学模拟的计 算结果，随着科学问题的复杂化和模拟的精确度的提高，往往模拟的结果数据是非 常庞大的。现在的可视化工具大都要求一次性读入输入数据，这对于一般的机器是 个考验，尤其是微机，它的存储容量和计算能力是不能满足这种要求的。由于现在 的集群的大量应用，人们希望能够用许多微机来实现复杂的可视化问题【1 3 1 科学计算可视化是科学计算中不可缺少的一个组成部分。研究人员为了获德数 值模拟的研究结果，必须对计算输出的数据进行仔细地分析理解，以便洞察计算中 8 硕士学位论文 m a s t e r s t h e s l s 发生的情况和问题，从而获得对被研究现象的认识与理解。然而这是一个十分费时 而又繁琐的过程，这对科研人员来说是一种不堪承受的重负。为使研究人员摆脱或 减轻分析和理解计算过程中所产生的巨大数据，出路只有借助科学计算可视化，即 用直观的图形输出代替数字输出 科学计算可视化1 1 4 ( v i s u a l i z a t i o ni ns c i e n t i f i cc o m p u t a t i o n v i s c ) 是对计算机数 据进行探索，以获得对数据的理解与洞察。也就是说，科学计算可视化实现把计算 中所涉及的和所产生的数字信息转变为直观的、以图像或图形信息表示的、随时间 和空间变化的物理现象或物理量呈现在研究者面前，使他们能够观察到模拟和计 算，即看到传统意义上不可见的事物或现象。由此可知，科学计算可视化的目的就 是依靠人类强大的视觉能力，促进对所考察数据更深一层的理解，培养出对新的潜 在过程的洞察力。正如r i c h a x d h a m m i n g 早期所指出的：”t n e p u r p o s e o f c o m p u t i n g i si n s i g h t , n o t 姗n 出f 1 5 】( 科学计算的目的是洞察，而不仅是获得数i f ) ” 科学计算可视化综合利用计算机图形学、用户界面方法学、图像处理、系统设 计以及信号处理等领域的各种知识，并把这些被认为是相互独立的领域，通过可视 化工具与技术把它们结合起来进行统一研究和分析。这种统一的研究和分析反过来 又推动着当前科学计算可视化的新发展，使科学可视化工具与技术向着对用户更加 友好，对各应用领域更加适应的方向发展，从而增强它的潜力和可用性。 2 3 2 可视化技术的作用 科学计算可视化首先是为了高效地处理科学数据和解释科学数据而提出并形 成的，是把计算机图形学与图像处理技术应用于计算科学的学科，是当代科学技术 飞速发展的结果。它的作用主要包括【1 6 】f l - q ： ( 1 ) 为各大应用领域提供分析工具与手段，使各领域的用户使用现有的可视化工 具和技术，分析和显示大体积的、随时间变化的多维数据，并可快速而轻易地提取 有意义的特征和结果，从而协同计算工具取得更好的效果。 ( 2 ) 将图形和计算紧密结合，强有力地支持了那些把视觉洞察力作为问题求解能 力的应用领域。 ( 3 ) 为超级计算机所产生的大量信息提供生成和表现方法，使科学家们通过检索 计算结果的图像，能够有效地进一步研究更为复杂而详细的数学模型和模拟方法， 将过去那种模拟与设计独立进行的处理方法结合起来处理，使之更加接近现实，从 而为科学家们增加了获得新知识和新理解的可能性。 2 3 3 可视化技术在集群渲染监控中的应用 9 硕士学位论文 m a s t e r s t h e s s 集群监控是集群管理的一个核心部分1 1 8 1 1 9 1 ，对集群管理起着辅助作用。集群监 控需要收集系统各节点的性能参数信息( 如节点的c p u 利用率、内存利用率、f o 和 中断频率等) ，并且将这些信息以一种友好的、可视化形式显示出来，以利于系统管 理员理解这些信息。这种服务对于大型集群系统的持续管理尤为重要，图形化的显 示集群各个节点的状态能帮助管理员尽早发现节点潜在的故障，针对问题节点加以 调整；另外，集群系统的其它部件也能从监控中获得帮助，例如监控的信息可用于 任务调度的修改，以获得更好的负载平衡。同时可以呈现给管理员作业的运行状态， 对于负载过重的异常工作，作业监控负责检测可能会引起迁移的警报点，并把检测 到的信息发送给调度器，由资源调度器来评价是否值得迁移作业，同时为作业进行 一次新的资源分配刚。 根据不同的用户需求，要监控不同的内容。例如作业调度可能更关心的是各节 点的空闲资源的情况、负载分布情况等与作业调度相关的信息；而系统管理员更关 心的则是系统的运行状况，用户更关心的则是提交作业的运行状况以及对渲染结果 的查看。 根据监控内容的不同，主要可以分为以下三类： ( 1 ) 系统状态信息可视化监控：图形化显示计算资源或者存储资源的运行状态 包括c p u 利用率，系统负载，内存使用，磁盘使用，网络状况等。这些信息用来 判断一个节点是否能满足一个作业的需求并作为资源分配的依据。 ( 2 ) 作业状态可视化监控：这类信息主要体现了系统内作业队列的状态。主要包 括各个作业队列的信息，用户提交作业的信息( 数量，优先级，对资源的要求) ， 作业的运行状态( 等待，调度，运行，完成) 等信息。这些信息可以帮助调度程序 进行作业调度或者提供给用户 ( 3 ) 渲染结果可视化监控：由于三维动画渲染不同于其他计算，用户需要对所生 成的图片进行查看，了解生成图片的质量，如果同预期的效果不致可以结束任务， 如果没有问题可以继续渲染下去，这样不至于浪费很多时间生成质量差不能使用的 图片。因此针对渲染的特殊要求，有必要在监控过程中设计对渲染结果的查看。 2 4 本章小结 本章首先介绍了集群及其特点，并且分析了集群渲染的流程，并且针对渲染流 程提出了可视化的监控，从作业的可视化监控，渲染结果的可视化监控，以及集群 状态的可视化监控三个方面进行监控。 1 0 硕士拳住论文 m a s t e r st h e $ 1 5 第三章集群渲染可视化监控设计 3 1 系统的总体设计 3 1 1 系统的总体要求 本文所属课题的主要任务是开发集群环境下的一个针对m a y a 渲染的可视化监 控，根据本系统设计的初衷和功能要求，我们列出如下一系列监控系统必须或者是 应该满足的需求。这些需求一部分是根据自己经验设计，还有一部分是在调查其他 相关监控系统基础上的总结【2 “ 系统的总体要求： ( 1 ) 实时性：系统必须为用户的信息访问请求提供正确、及时的服务响应，这样 访问活动才能进行；同时，只要资源的基本信息或状态信息任何一项发生改变，系 统要随之发生变化，及时记录这些交化以便及时响应用户的访问请求； ( 2 ) 可靠性：采用可靠的网络协议，提高对系统的出错处理能；采用分布式体系 结构设计，不会由于某个局部故障或通信子网局部的异常造成全系统瘫痪；在系统 的各层中保持一定程度的冗余度，这样当某个局部资源监控暂时失效时不会影响到 访问的正确完成圈； ( 3 ) 低延迟：监控信息的生命周期较短，数据的获取和传输都应该在可以接受的 时间内完成，保证监控信息的时效性，保证数据能尽可能反应系统的当前状态，并 在尽可能短的时问内发现故障，保证基于监控数据的决策有效性； ( 4 ) 动态可扩展性：系统应该可以随着集群规模的扩展而扩展。允许底层被监控 资源的自由加入和退出而不影响整个系统，监控对象的数目和种类也会随着集群的 发展不断增加； ( 5 ) 安全性：系统必须符合整个宿主环境的安全策略，监控信息只能由授权的用 户访问，并且授权用户获得的信息应该是完整的、真实的； ( 6 ) 可管理性：管理员可以容易地部署、配置、检查和管理监测系统，由于集群 系统规模巨大，高度的可管理性对系统的可用性至关重要。一方面需要好的用户接 口，另一方面系统内部应采取智能化的设计，自动完成一些事情，减少用户的干预； ( 7 ) 友善性：用户视图按照常见的浏览器界面设计，结构统一，界面一致。用户 易于操作，并容易获取帮助信息 3 1 2 系统的访问流程 用户名 普通用户 登 录 系统管理员 查 询 已 提 交 任 务 选 择 待 监 控 任 务 获 得 任 务 状 态 未执行 监控负载信息 监控任务状态 监控集群状态 系统性能分析 结 束 图3 1 系统访问流程 当用户访问系统时( 如图3 ，i ) ，可以看到可视化用户界面控制页，在这个界面里 监测系统接收用户的输入信息，判断用户权限，如果是酱通用户登录后，选择查看 内容，根据请求显示负载信息、任务状态、渲染结果；如果是管理员用户还可以查 看集群状态以及系统性能分析。 3 2 系统功能要求 3 2 1 软硬件资源实时监测与更新 本系统中必须建立灵活的、可扩展的监测与更新机制。被监控软硬件资源的加 入、修改与撤销应该灵活方便，具有高度的可扩展性。同时，对被监控软硬件资源 的性能干扰应该减少到最小，避免受控资源的系统性能不会因为监控的加入而受影 响。此外，在满足监控需求的情况下，尽量不要采集资源上的无关数据，这一方面 可以避免影响资源监控系统的性能，另外也可以保护受控资源的信息不被泄漏。 3 2 2 监控信息的存储管理 在每个集群m l i m 都负责将本地的资源监控信息归档存储，除此之外，为避免 单点实效，提高对资源信息的搜索效率，建立副本保存。这样在一个监控节点发生 故障后，能够避免相关资源监测信息的丢失实现的功能是要自动进行资源监测信 息副本的管理，并为管理员进行资源信息的恢复提供支持。 3 2 0 可扩展性 由于集群具有可扩展性，某些计算节点可能随时加入或者离开，所以对于运行 于集群之上的监控系统，也必须能够提供某种方法使得系统能够对新加入的节点进 行检测。 3 3 监控系统设计 3 3 1 模块结构图 从功能上可以划分为四个模块：节点负载信息收集模块、作业信息收集模块、 数据收集模块，以及可视化模块。系统功能模模块如图3 2 ： 主控机 可视化显示 + 信息收集命令数据库服务器 l 建立连接收集数据 i 命芋收l i 数据库客户端l 卡 i 福耱佶自腑隹胙d b 佶自i 妇隹i 图3 2 系统功能模块结构图 ( 1 ) 节点负载信息的监测一般采用c l i e n t s e r v e r 模式在集群的各个节点上，设 置一个负载信息管理器q l d 田，即守护进程( s e r v e r d a e m o n ) 在后台运行。s e r v 口 d a e m o n 每隔一定时间就在后台收集负载信息记录在负载日志中。经过计算，得到 该进程的系统资源利用情况，包括c p u 利用率、内存利用率、磁盘可用率、系统 中的进程数、系统负载、网络流量等信息。 ( 2 ) 作业信息收集模块主要是收集作业运行状态、执行主机、开始执行时问、结 束时问等。 ( 3 ) 数据收集模块。由于大场景渲染中，运算时间比较长，节点的采样频率不能 过快，否则会造成整个集群的性能下降；但若采样频率太慢，又容易漏掉对一些重 要的数据的采集。故在设计上宜采用灵活的采样频率，该采样频率可以由用户自定 义设置。 ( 4 ) 可视化模块。该模块既可以伴随渲染作业的执行实时或事后形成视图。一 个完整的视图可视化过程是这样的：首先对来自性能数据接收器中的数据进行简单 加- r ( 统计分析) 和计算，再将这些性能数据映射到某种视图上，以形式化的方式得 以表现，借以帮助管理员了解集群状态和性能。 在主控节点上，用户可见到的只有可视化用户界面控制面板，在这个界面里监 控系统接收用户的输入信息，识别用户是否有权限访问资源。根据用户需求向计算 节点发送命令和数据，这些命令包括开始采集数据，设置采集频率等。主控节点的 数据库部分把数据从数据库服务器提取出来后分析量化显示出来，并对数据进行一 定的对比操作，以图形形式提供给用户。 计算节点部分是整个系统的关键部分，完成集群系统中硬件环境和软件环境的 数据采集工作，同时把采集到的重要数据通过网络保存到数据库服务器。采集数据 的实现方法主要通过l s f 平台的l i m 进程来实现。另外，在计算节点上不设置本 地数据库系统，所有数据的保存全部通过网络来实现的：这样可以减少计算节点的 负担，但是同时增加了网络通信的负担，这在以后的工作中需要进一步的优化。 3 3 2 信息收集模块设计 信息收集模块直接负责底层资源数据的收集，考虑我们要监控内容的区别，把 负载信息和作业信息的收集分开来设计。 ( 1 ) 负载信息收集 收集负载信息的方法通常有三种，周期性收集策略，命令驱动策略，状态变化 驱动策略 3 7 1 周期性收集策略是指每隔一定的时间周期，每个节点就向其它节点报 告( 或查询) 最近的负载状况。周期性策略需要很大的通讯开销，对系统状态变化的 适应能力很差，在一定情况下会加重系统负载；命令驱动策略依赖于系统的状态， 只有当节点成为发送节点或接受节点时才可向其它节点发送请求( 迁入或者迁出任 1 4 硕士拳位论文 m a s t e r st h e $ 1 s 务1 ：状态变化驱动策略随着时间的变化，系统的负载状况会发生变化，节点仅在发 生某种程度的变化时，它才发布自己的状态信息，可以是集中式或非集中式的。l s f 系统是有l i m 来管理负载信息的，每台机器上都分配了个l i m ，而且采取的是 周期性的收集策略( 图3 3 ) 。 管理节点l i m调度器 图3 3 负载信息的传递过程 在l s e o n f 文件中定义的周期时问，默认值为5 秒。即每个5 秒的时间，u m 更新内部的负载信息。当调度器提出负载信息收集需求时，l i m 将最新的负载信息 发送到调度器中，从而为负载排队以及负载平衡提供依据 调度所需的信息，如任务信息，目标机器信息等重要参数被记录在数据成员中， 调度器依据这些信息为负载排队，并记录调度的结果，包括任务