（计算机应用技术专业论文）网格环境下资源监控的研究及应用.pdf

网格环境下资源监控的研究及应用 摘要 为了监控网格环境下分布的、动态的、异构的资源，本文分析了网格环境下资 源监控的任务、难点和用途，并对g m a 网格资源监控框架，以及不同部件之间的交 互方式进行了研究。在分析了几个典型的网格资源监控系统特性的基础上，研究了 网格架构的可扩展性，异构和动态资源的监控，并根据网格资源监控系统设计原则 和功能需求，设计了一种可扩展的网格资源监控系统g r i d r m s 。 本文主要工作如下： ( 1 ) 研究了网格资源监控框架g m a ，详细分析了网格资源监控系统的基本模型和 功能框架，以及不同部件之间的交互方式。研究了以g m a 为基础实现的网格资源监 控系统，分析了各系统的基本设计框架和思想，以及具有的优缺点。 ( 2 ) 根据网格监控系统的特殊需求，研究了监控系统架构的可扩展性，以及异构 和动态资源的监控等问题。根据网格环境的特点设计了一种可扩展的两层监控架构， 能够用于子网格或大网格的资源监控。根据网格资源的特点，设计了一种层次化的 资源描述模型，以及采用了一种跨平台的资源描述语言和动态刷新的目录服务技术， 来解决监控资源的异构性和动态性问题。 ( 3 ) 根据监控系统的设计原则和功能需求，设计了一种可扩展的网格资源监控系 统g r i d r m s 。该系统基于g m a 框架，采用两层的架构设计，系统中所有的资源信息采 用层次化资源模型描述。重点设计了其中的资源代理和目录服务模块。监控服务采 用标准的w e bs e r v i c e 描述，利于模块之间的相互调用和协作，降低模块之阃的耦 合度，提高系统可管理性。 ( 4 ) 最后对g r i d r m s 的关键模块进行了实验性实现，并通过在g r i d r m s 中加入一 个集群探测器和消费者验证了g r i d r m s 的可用性。 关键词：网格，网格监控。g m a ，w e bs e r v i c e 两格环境下资源监控的研究及应用 a b s t r a c t i no r d e rt om o n i t o rt h ed i s t r i b u t e d ，d y n a m i ca n ds d f - g n v e r n i n gr e s o u r c ei nt h e 鲥d e n v i r o n m e n t t h i sp a p e ra n a l y s i st h et a s ld i f f i c u l ta n du s a g eo fg r i dr e s o u r c em o n i t o r , a n dr e s e a r c ht h eg m aa r c h i t e c t u r ea n dt h ec o m p o n e n to p e r a t o re a c ho t h e r i nt h eb a s eo f a n a l y s i ss e v e r a lt y p i c a lg r i dr e s o u l c m o n i t o rs y s t e m , r e s e a r c ht h es c a l e a b l eo fg r i d s y s t e mf r a m e w o r k ，r e s e a r c ht h em o n i t o ro f i s o m e r o u sa n dd y n a m i cr e s o u r c e b a s e do nt h e d e s i g np r a c t i c ea n df u n c t i o n a lr e q u i r e m e n to f g n dm o n i t o r i n gs y s t e m d e s i g na ns c a l a b l e g r i dr l y s o u r c om o n i t o r i n gs y s t e mt h a ti sn a m e dg r i d r m s 1 1 摭m a i nw o r ko f t h i st h e s i sa sf o l l o w s ： f i r s t l y , g m aa n dg r i dr 岱, o u l g om o n i t o rs y s t e m sf u n c t i o nf r a m e sa n db a s i cm o d e l a r ed e e p l ys t u d i e da sw e l la st h ei n t e r a c t i o n sa m o n gd i f f e r e n ts e c t i o n s ，a n dh o wt h eg r i d r e s o u r c em o n i t o rs y s t e mw o r k sw h o s eb a s i si sg m a b a s i cf r a m e so f a l lk i n d so f s y s t e m s a l ea n a l y z e di n c l u d i n gs y s t e m sa d v a n t a g e sa n d d i s a d v a n t a g e s s e c o n d l y , t os a t i s f yt h es p e c i a ln e e do fg r i dr e s o u r c em o n i t o rs y s t e m s ，t h ee x t e n to f e x t e n s i o no ff r a m e w o r ko fm o n i t o r i n gs y s t e m sa r er e s e a r c h e d , a n dh o wh e t e r o g e n e o u s a n dd y n a m i cr c s o u l c e sb em o n i t o r e di sd i s c u s s e d a c c o r d i n gt og r i de n v i r o n m e n t sf e a t u r e , as c a l e a b l em o n i t o rf r a m e w o r kc o n m i n i n gt w ol a y e r sa r i s e s ，w h i c hc o u l db eu s e f u lf o r s e c o n d 鲥da n db i gg r i dr e s o u r c em o n i t o r i n g ah i e r a r c h i c a lm o d e li sp r o p o s e dw h i c hi s b a s e do nt h ec h a r a c t e ro fg i r dr e s o u r c e s m a k i n gu s eo faa c r o s sp l a t f o r m s p o r t r a i ta n d d y n a m i cr e f r e s h i n gs e r v i c ec o n q u e rt h ep r o b l e mb r i n g i n gu pa b o v e t h i r d l y , g r i d r i v l s as c a l e a b l eg i r dr e s o u r c em o n i t o r i n g , i sr a i s e da n dc o u l d a c c o m p l i s hi t sp r o t o t y p et oc a t e r t ot h en e e do fm o n i t o r i n gs y s t e m sd e s i g n i n gp r i n c i p l e s a n df u n c t i o nd e m a n d s t h es y s t e me m e r g e di nt h i sp a p e ri sb a s e do ng m af r a m e w o r ka n d d e s i g n e di nt w ol a y e r s ，a n dah i e r a r c h i c a lm o d e li sp r o p o s e df o ra l lt h er e s o u r c e si n s y s t e m t h et r a i to ft h i sp a p e ri st h ed e v e l o p m e n to fr e s o u r c ea g e n ta n d s e 1 w i c em o d u l e t h es t a n d a r dw e bs e r v i c ed e s c r i p t i o ni su t i l i z e da sm o n i t o r i n gs e r v i c ec r i t e r i o n c o u p l i n g a m o n gs e p a r a t em o d u l e si s d e c r e a s e da n ds y s t e m sm a n a g e m e n t sr i s e b ym u t u a l i n v o c a t i o na n dc o o p e r a t i o na m o n gs e p a r a t em o d u l e s a tl a s t , c r i t i c a l 翻x 吐o fg r i d r m se s k r r i 髓o u ts i m u l a t i o n , a n dt h eu t i l i t yo f g r i d r m sc e r t i f i e sb ya d d i n ga l li n t e g r a t i n gd e t e c t o ra n dc o n s u l n e l st ot h es y s t e m k e y w o r d ：g r i d ，g r i dm o n i t o r i n g ，g m a ，w e bs e r v i c e 玎 学位论文独创性声明 本人所提交的论文是我个人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了中文中特别加以标注和致 谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果。与我一同工作的同事对本研究所做的任何贡献均已在论文 中作了明确的说明并表示了谢意。如不实，本人负责全部责任。 论文作者( 签名) ： 乏丝毖哆年，月雩7 日 学位论文使用授权说明 河海大学、中国科学技术信息研究所、国家图书馆、中国学 术期刊( 光盘版) 电子杂志有权保留本人所送交学位论文的复 印件或电子文档，可以采用影印、缩印或其他复印手段保存论 文。本人电子文档的内容和纸质论文的内容相一致。除在保密 期内的保密论文外，允许论文被查阅和借阅论文全部或部分 内容的公布( 包括期刊) 授权河海大学研究生院办理。 论文拓者( 签孙互幻牡一叩年，月 舟格环境下资源监控的研究及应用 1 1 网格概述 1 1 1 网格概念 第一章绪论 网格( g r i d ) 概念产生于9 0 年代中期，它借鉴了电力网( p o w e rg r i d ) 概念。全 球网格研究的领军人物、美国阿岗( a r g o n n e ) 国家实验室的资深科学家、美国g l o b u s 项目的领导人i a nf o s t e r 曾在1 9 9 8 年出版的网格：2 1 世纪信息技术基础设施 的蓝图一书中这样描述网格埘：“网格是构筑在互联网上的一组新兴技术，它将高 速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一体，为科技人 员和普通老百姓提供更多的资源、功能和交互性。互联网主要为人们提供电子邮件、 网页浏览等通信功能，而网格功能则更多更强，让人们透明地使用计算、存储等其 它资源”。 2 0 0 2 年7 月，i a nf o s t e r 在什么是网格? 判断是否网格的三个标准一文 中，限定网格必须同时满足三个条件0 1 ： ( 1 ) 在非集中控制的环境中协同使用资源； ( 2 ) 使用标准的、开放的和通用的协议和接口( i a nf o s t e r 认为目前只有g l o b u s 才算得上标准协议) ： ( 3 ) 提供非平凡的服务。这三个条件非常严格，像p 2 p 、s u ng r i de n g i n e 、c o n d o r 、 e n t r o p i a 、m u l t i c l u s t e r 等都被排除在网格之外 资源管理和监控是网格计算中的关键技术之一，网格环境中的资源具有分布性、 异构性、自治性和动态性的特点，因此，对网格资源的管理和监控技术的研究是该 领域极具有挑战性的研究课题。 1 1 2 网格特点 ( 1 ) 异构性 由于网格由分布在广域网上不同管理域的各种计算资源组成，这些计算资源无 论在硬件上还是在软件上都是不同的，作为网格必须要能“消化”这些异构资源， 而对用户提供一个统一的接口。这样，如何实现异构机器间的合作和转换就成了首 要问题。 ( 2 ) 可扩展性 一个大的网格可以由若干个小型的网格系统构成。一个国家的网格可以由各省 市的区域网格所组成。网格必须能够解决要在网格资源规模不断扩展的问题。 ( 3 ) 动态自适应性 网格环境下资源监控的研究及应用 在网格环境中，一台计算设备可以随时会加入或者离开网格。而且在网格中， 某一资源出现故障或失败的可能性较高，资源管理必须能动态监视和管理网格资源， 在一台或者多台计算设备出现故障或者离开网格的时候可以正常运行，并且对于特 定的作业能够从可利用的资源中选取最佳资源来提供服务。 ( 4 ) 自治性 网格上的资源是属于资源所有者的，所有者有权决定资源是否向网格开放以及 向谁、怎么公开，网格应该允许资源拥有者对他的资源有自主的管理能力，这就是 网格的自治性。因此，跨组织域的资源共享与协同必须服从各自治域的安全和管理 策略，网格应用对可信计算的需求与跨组织域节点的“不信任通信基础”之间的矛 盾也凸显了构造网格的可信计算环境的重要性。 1 1 3 网格体系结构 网格体系结构是关于如何构建网格的技术。它包括两个层次的内涵，一是要标 识出网格系统由哪些部分组成，清晰地描述出各个部分的功能、目的和特点；二是 要描述网格各个组成部分之间的关系，如何将各个部分有机地结合在一起，形成完 整的网格系统，从而保证网格有效地运转，也就是将各个部分进行集成的方式或方 法。网格技术的权威i a nf o s t e r 将网格体系结构定义为“划分系统基本组件，指定 系统组件的目的与功能，说明组件之间如何相互作用的技术”。显然，网格体系结 构是网格的骨架，只有建立合理的网格体系结构，才能设计和构建好网格。 到目前为止，主流的网格体系结构主要有三种：第一种是i a nf o s t e r 等人在早 些时候提出的五层沙漏结构( f i v e - l e v e ls a n d g l a s sa r c h i t e c t u r e ) ；第二种是在以 i b m 为代表的工业界的影响下，考虑到w e b 技术的发展与影响后，i a nf o s t e r 等人 结合五层沙漏结构和w e bs e r v i c e 提出的开放网格服务体系结构( o p e ng r i d s e r v i c e sa r c h i t e c t u r e ，o g s a “”) ；第三种是由g l o b u s 联盟、i b m 和h p 于2 0 0 4 年 初共同提出的w e b 服务资源框架( w e bs e r v i c er e s o u r c ef r a m e w o r k ，w s r f “”) 。 1 2 网格资源监控概述 1 2 1 网格资源定义和特点 网格资源指所有能通过网格远程使用的实体，包括计算机软件、计算机硬件、 设备和仪器等。计算机软件资源包括系统软件、应用程序、数据等；计算机硬件资 源包括处理器、存储器、硬盘以及其它计算机基础设施；设备和仪器包含通信介质、 天文望远镜、显微镜、传感器等 无论是简单的计算机系统还是复杂的集群系统、并行系统、分布式系统都存在 着不同的资源，但是那些资源无论是种类的多样性还是功能的多样性方面，都不能 2 网格环境下资源监控的研究及应用 和网格系统相比网格中的资源具备了以往系统中的资源所不具备的特点，网格资 源具体有如下特点： ( 1 ) 资源的地理分布极广，资源之间、资源与客户以及客户之间往往通过广域网 ( 如i n t e r n e t ) 连接。 ( 2 ) 资源种类多样、数量巨大，工作在异构平台上，并且由不同的管理策略控制， 同时又要求一定程度的协同工作。 ( 3 ) 资源可以自由地加入网格和离开网格系统，网格资源的可获得性以及一个网 格资源提供给用户使用的能力是随时间的变化而动态变化的，网格资源的负载也是 动态变化的。 ( 4 ) 资源是由资源拥有者提供的，资源的拥有者对该资源有最高的使用权限，但 是该资源又是网格中的资源需要被网格用户共享。 此外，网格资源共享的方式也不同于传统的共享，传统的共享往往停留在文件 传输的层次，而网格资源的共享允许直接控制其资源。 1 2 2 网格资源监控的难点 根据网格环境下资源的特点，通过分析得出网格环境下资源监控主要难点在于 下面几个方面：被监控资源的多样性；被监控资源的数目巨大；被监控系统具有内 部的逻辑结构；被监控资源自身的动态性。下面分别详细讨论： ( 1 ) 被监控资源的多样性 网格包含硬件、软件及外部设备等多种类型的资源，不仅种类繁多，而且这些 资源之间的关系也比较复杂，对这些资源的命名、定义、组织、访问需要新的方法。 比较有代表性的例子是不同型号的处理器拥有一些共同的特性，但他们又有自己独 特的特性，尽量简单的在逻辑上分别描述这些处理器不是很容易的事情。 ( 2 ) 被监控资源数目巨大 网格系统将走向联合，形成全球规模的大系统，如此众多的资源无法被放到一 个平面内统一管理，结构化的方法成为必需。通过结构化的方法，可以进行资源的 划分，从而实现分而治之。但对大量资源的划分和组织是复杂的，涉及的因素有地 理位置、拓扑结构、资源类型、资源间关系、用户需求等。 ( 3 ) 被监控资源具有内部逻辑结构 目前的局域网和互联网基本是任意互连的，其中的资源缺少内在逻辑结构的描 述与限定。网格虽然也不限定特定结构，但在现实应用中，会体现出与其功能分布、 数据流图等特征对应的逻辑拓扑结构，从子结构可以复合出复杂的结构。对于这种 情况可以采用划分子结构的方法，以有助于资源的组织和管理。 ( 4 ) 被监控资源自身的动态性 网格是动态变化的，不仅被监控资源有不断变化的性能数据，而且被监控资源 网格环境下资源监控的研究及应用 自身( 元数据) 也处于不断变化中。比如操作系统中的进程，新进程不断生成，同时 运行结束的进程不断消失。 以上几个方面的难点，在设计网格资源监控系统设计中需重点加以解决，这也 是进行网格环境下资源监控系统研究的重点所在。 1 2 3 资源监控的主要用途 网格资源的监控在网格系统中起到重要的作用，主要有下述的几个方面： ( 1 ) 故障处理和错误检测 实时的错误检测和数据的分析都需要全面的监控信息 ( 2 ) 性能分析和调整 网格应用和中间件的开发者常常会遇到一些性能上的问题，比如不正常的低流 量和很高的网络延迟。确定性能问题的原因需要详细地对每个组件进行端到端检测， 这些组件包括应用程序、操作系统、主机和网络。 ( 3 ) 指导调度决策 在可用的通信和计算资源均不断变化的环境里面，检测当前的资源状态有助于 形成资源分配和调度决策。 ( 4 ) 收集数据以提高下次运行性能 性能检测的用途就是用来做离线调整。程序员或者编译器使用程序运行时收集 的数据来调整数据，使程序在下次运行得更快。 ( 5 ) 计算执行自适应 对于那些长时问运行的程序，每次执行时，所需资源的状况可能已经改变，性 能数据可以用于指导计算过程，或者允许应用程序或运行库根据这些性能数据自动 调整。 ( 6 ) 调试 复杂的多线程分布式应用通常很难调试，适当的检测和性能分析工具可以辅助 调试过程。 ( 7 ) 审计和入侵检测 安全和记账服务是监控数据的另外一个重要消费者。 1 3 课题背景及意义 网格的重要目标是实现不同区域资源的统一共享。因此，通过国际组织进行技 术的协商，通过统一的标准来确保不同的网格能够连通，对网格的应用推广具有极 其重要的意义。目前，网格的主要国际组织是全球网格论坛( g l o b a lg r i df o r u m ， g g f ) 。它为全世界的网格方面的研究者、开发者和用户提供了公共论坛。其主要任 务是通过开发实践和标准化工作来推动网格技术及其应用。 4 网格环境下资源监控的研究及应用 国际上的网格研究主要采用开放源码、公开合作的模式。全球网格论坛是目前 主要的合作组织，比较有影响的研究计划有：g l o b u s ，l e g i o n ，i n f o r m a t i o np o w e r g r i d ，e u r o g r i d 等。其中，最著名的网格计算研究项目是美国的g l o b u s 项目。该 项目的研究目标主要有两个：其一是网格技术的研究；其二是网格中问件的开发和 为网格标准的制定提供依据。 随着网格研究在学术界的加速，信息产业界的大公司也相继公布了与网格目标 一致的研究开发计划。惠普、i b m 、微软、s u n 等公司最近取得共识。支持x m l ，s o a p ， u d d i 等标准，从而更有利于开发基于w s r f 的网格应用，即网格服务。其目的是将互 联网上的资源信息汇聚在一起，组合成企业和消费者所需要的服务。惠普推出了 e s p e a k 服务平台；i b m 用它的w e bs p h e r e 平台和一系列中间件实现万维网服务；微 软的路线是通过其n e t 计划和c # 语言来实现；s u n 则通过o p e nn e t w o r k e n v i r o n m e n t ( s u no n e ) 计划和j a v a 平台来实现，s u n 在2 0 0 0 年9 月就公布了其网格 资源调度引擎软件s u ng r i de n g i n e 。 目前网格的研究主要集中在美国和欧洲，国内的网格计算尚处于研究阶段，主 要集中于中科院计算所、国防科大、清华大学、华中理工大学等几家在高性能计算 方面有较强实力的研究单位目前，我国已启动了五个网格项目，科技部负责的中 国国家国格( c n g r i d ) 、教育部负责的中国教育科研网格( c h i n ag r i d ) 、国家自然科 学基金委负责的e - s c i e n c e 网格、上海信息网格、中国空闻信息网格。随着网格研 究的潮流，很多的单位和高校也根据各自的需求建立了各自的网格系统。 总的看来，网格技术还远不如互联网和w e b 技术那么成熟，但它已经进入了实 践阶段。网格计算技术正在和各个应用领域技术相结合、进行实践、并推动应用领 域技术的发展。从目前的需求来看，我国的许多行业，如能源、交通、气象、水利、 农林、教育、环保等对网格计算的需求是非常巨大的。巨大的需求是网格应用发展 的强大驱动力，无论是保证社会的可持续发展，还是提高人们的生活质量，无论是 促进当前科学与技术的发展，还是开拓未来知识经济的新天地，网格技术将发挥巨 大的作用。 在网格环境下，存在各种各样异构的计算资源，这些计算资源分布在世界各地， 通过互联网结合在一起。由于这些特点，运行过程中一些节点可能会发生故障，网 络断开或者出现性能问题。而且，一些节点可能随时会动态的加入或者离开网格环 境。在某些情况下，人工的干预也是不可避免的。由于网格规模巨大，在系统运行 时会产生大量的性能数据，手工对网格系统进行状态信息的收集、监控和分析而不 借助一定的工具是很困难的，这就使得网格资源监控在网格系统中显得尤为突出。 通过资源监控可以发现故障的节点，分析系统瓶颈，帮助用户在最短的时间内 恢复和调整系统；通过监控可以了解网格资源的负载情况，这些信息可以提供给调 度程序进行调度来实现节点问的负载平衡。基于这些，本文发现无论是对系统管理 员还是网格用户，乃至于网格调度程序以及网格计费系统来说，网格资源监控都是 网格环境下资源监控的研究及应用 非常重要的。 本课题做为河海大学科技创新基金“网格计算基础设施试验床的研究与构建” 及河海大学“十五”“2 1 1t 程”建设子项目“高性能工程计算平台”的研究内容， 拟通过该课题来为河海网格的资源监控提供研究依据。 1 4 本文主要工作 本课题结合已有的网格资源监控的研究成果和网格资源监控系统的自身特点， 探索网格环境下资源监控系统的解决方案。本文的主要工作有如下几点： 研究了网格资源监控框架g m a ，详细分析了网格资源监控系统的基本模型和功能 框架，以及不同部件之间的交互方式。研究了以g m a 为基础实现的网格资源监控系 统，分析了各系统的基本设计框架和思想，以及具有的优缺点。 根据网格监控系统的特殊需求，研究了监控系统架构的可扩展性，以及异构和 动态资源的监控等问题。根据网格环境的特点设计了一种可扩展的两层监控架构， 能够用于子网格或大网格的资源监控。根据网格资源的特点，设计了一种层次化的 资源描述规范，以及采用了一种跨平台的资源描述语言和动态刷新的目录服务技术， 来解决资源的异构性和动态性问题。 根据监控系统的设计原则和功能需求，设计了一种可扩展的网格资源监控系统 g r i d r m s 。该系统基于g m a 框架，采用两层的架构设计，系统中所有的资源信息采用 层次化资源模型描述。重点设计了其中的资源代理和目录服务模块。监控服务采用 标准的w e bs e r v i c e 描述，利于模块之间的相互调用和协作，降低模块之间的耦合 度，提高系统可管理性。 1 5 论文结构 本文围绕网格资源监控的要求开展了理论研究和试验平台的设计与开发。详细 介绍了网格，网格监控，网格监控理论与技术，并将网格监控理论与技术运用到网 格资源监控中，设计了一个的可扩展的网格资源监控系统g r i d r m s 。全文正文分为六 章，每章的具体内容如下： 第一章绪论 本章主要介绍了网格的概念、特点和架构设计，概述了网格资源的定义和特点， 并叙述了网格资源监控的难点和用途。讲述了本课题的研究背景和意思，以及本文 的主要工作，最后介绍了本文的具体章节安排。 第二章网格资源监控研究现状 本章主要介绍了网格资源监控技术的研究现状，其中介绍了资源监控的发展过 程，网格资源监控体系结构g m a 及其相关技术，介绍了国内外在网格资源监控系统 6 网格环境下资源监控的研究及应用 方面的相关工作。最后对现有工作进行了总结，提出本文的研究重点。 第三章6 r i d p , m s 整体设计 本章主要依据g m a 框架结构和网格资源监控系统的设计原则和功能需求，根据 系统设计的需要，设计了一个可扩展的网格资源监控系统6 r i d r m s 。详细介绍了系统 的整体架构设计、系统的局部逻辑结构、系统资源的信息访问流程等内容。 第四章g r i d r m s 关键问题 本章主要讨论了6 r i d r m s 在设计过程中重点要解决的几个关键问题：结构可扩 展性、资源异构性、资源动态性、资源信息管理等几个问题，以及这几个问题在 g r i d r 惦中的解决方法。 第五章g r i d 刚s 实现及应用 本章叙述了本系统的开发语言和开发方案，介绍了资源代理模块和域目录服务 模块的具体设计与实现方法。最后把一个集群资源探测器加入到系统框架中，并通 过一个消费者演示系统的使用方法，从而也验证了系统的可用性。 第六章总结与展望 对全文进行小结，并对今后的工作进行了展望。 网格环境下资源监控的研究及应用 第二章网格资源监控研究现状 2 1 资源监控发展过程 在计算机的发展过程中，资源监控技术随着计算机的发展越来越成熟，在计算 机的不同时期具有不同的资源监控工具和技术。 ( 1 ) 单机环境 w i n d o w s 系统中有任务管理器能够提供c p u 利用率，内存利用率等信息。而l i n u x 系统中存在t o p ，v m s t a t ，p s 等s h e l l 命令来获取系统当前的状态。虽然它们能够 提供详细的系统信息，但是这些系统都无法提供网络访问。 ( 2 ) 集群环境 目前存在大量的集群监控系统，例如，g a n g l i a 监控系统。但是由于集群的地理 位置相对集中以及集群中节点结构上的同构性，这决定了集群监控系统也无法满足 网格的需要。 ( 3 ) 网络环境 随着网络的发展，简单网络管理协议“”( s i m p l en e t w o r km a n a g e m e n tp r o t o c a l ， s n m p ) 和远程监控协议“1 ( r e m o t em o n i t o r i n gm i b ，r u o n ) 发展起来。它们能够提供 网络访问，但是只提供了点对点的访问机制。对于高性能、大规模的广域分布式计 算环境来说，s n m p 在结构和功能上都不能满足要求。 网格技术的发展，必然推动资源监控技术的更新与发展，需要出现新的资源监 控系统用来适合网格环境下的应用，这也掀起了网格资源监控领域新一轮研究高潮。 2 2 网格监控体系结构g m a 全球网格论坛“”( g l o b a lg r i df o r u m ，g g f ) 中的p e r f o r m a n c e 工作组“”( p e r f - w g ) 主要从事性能方面的工作，网格资源的性能检测是其研究重点，它专门针对网格监 控研究领域提出了网格监控体系结构( g r i dm o n i t o r i n ga r c h i t e c t u r e “” i g pg i l a ) g m a 于2 0 0 0 年3 月提出草稿，2 0 0 2 年1 月修订后作为g g f 正式工作报告发布。 g m a 文档包括了网格监控服务的主要目标、关键特性和描述。其中，网格监控服 务的目标，包括错误检测，性能分析，性能预测和资源调度。g m a 区分了网格监控与 一般监控的区别，认为网格资源监控系统必须能够在跨越广域网、具有大量异构资 源的系统上实现可扩展性。g m a 在目前的文档中，着重描述了网格资源监控系统核心 部件和高层通信模型，没有涉及与使用关系密切的部件的创建和管理。g m a 希望能通 过目前的工作能为网格监控研究引导方向，推进各方面的参与，建立网格监控环境。 网格环境下资源监控的研究及应用 2 2 1 生产者，消费者模型 g 姒网格监控框架是基于目录服务的 生产者消费者模型，如图2 1 所示( 引 自；g m a 文档) 。这个模型由三种类型的成 分组成：1 ) 生产者( p r o d u c e r ) 获取性能数 据并使性能数据可用；2 ) 消费者( c o n s u m e r ) 是监控数据的使用者，它可以运行在生产 者所在的同一台主机上也可以在不同主机 上，它可以是存档信息的收集者，也可以 是数据分析工具或可视化工具等；3 ) 目录 图2 1g m a 的体系结构 服务( d i r e c t o r ys e r v i c e ) ，支持信息发布和发现。 消费者和生产者通过目录服务彼此发现感兴趣的对方。然而，控制数据和性能 数据的传递和请求是在每一个生产者消费者对之间直接发生，不再需要目录服务的 干预。 在g 姒中，性能数据被设计成带时问戳的性能事件来处理一个事件“”是一个 经命名的、有事件戳的结构。这种结构包含一个或多个数据条目。这些数据可以关 联到一种或多种资源。目录服务并不存储事件的附加数据，它只提供数据的名称、 特征和位置信息。这样，若想获得事件的数据，首先要通过目录服务找到该事件生 产者的静态信息，比如事件类型、主机地址等，然后再向该生产者发出请求获得相 应的数据。 生产者的监控数据来自许多被称为“传感器”的小部件嘲，传感器是指能产生 或获取性能监控事件( 如c p u 、内存、磁盘、网络、作业等) 的程序。g m a 定义的事件 数据源有主机传感器、网络传感器、进程传感器、存储和输入输出传感器、应用传 感器、中间件传感器。传感器还能用于监控出错情况( 如服务器进程冲突、路由器的 c r c 错误等) 。 2 2 2 组件和接口 ( 1 ) 目录服务 为了描述和发现网格中的性能数据，具有发布和查询功能的分布式目录服务是 必不可少的。目录服务作用是定位、命名和描述网格中具有结构化特征的数据，让 消费者发现信息、理解可用信息的特征。g 姒的目录服务包含有关接受请求的生产者 和消费者的信息。生产者和消费者在目录服务中发布它们的存在时便指定了它们各 自所“生产”或“消费”的事件类型。这种发布使得其他生产者和消费者能够发现 当前所能获得的事件数据类型、数据的特征、每种数据即将产生或接收的来源或接 收方。目录服务并不负责存储事件数据而只负责信息的预发布。“事件概要”根据需 9 网格环境下资源监控的研究及应用 要可以存储在目录服务中 目录服务主要提供以下功能包括： 消费者认证：识别消费者身份，并将其映射到访问控制；生产者认证：与前者 相同，但可用不同的机制；查找记录：查找事件数据，客户端可以指定是一个结果 还是多个结果；增加记录：向目录中加入记录；删除记录：从目录中删除一个或多 个记录；更新记录：改变记录在目录中的状态；版本请求：客户端可以查询接口的 当前版本。 ( 2 ) 生产者 生产者负责通过响应请求或异步通知为消费者提供事件数据。生产者将在目录 服务中发布事件的可用信息。生产者可以为消费者提供流模式或查询请求服务。在 流模式下，消费者发出一个请求，然后在应答中返回一个事件。生产者也可以实现 访问控制，允许不同等级的用户进行不同的访问。一般有多个组织来控制被监控的 网格资源，因而会有不同的访问策略，支持不同的访问频率，对组织内外的消费者 提供不同的性能。 生产者支持的功能包括： 消费者认证：生产者建立消费者身份识别和访问控制。认证可以和订阅或者查 询请求相结合，或者独立进行并把结果存放在某种共享的k e y 中；授权给消费者： 生产者联系某个消费者并提供其身份证明，可以为每个会话或者请求执行一次；查 询：接受消费者的查询，返回一组事件；接受消费者订阅：接受消费者的请求建立 事件数据流，请求应当包含参数、过滤器等；消费者取消订阅：接受消费者结束订 阅的正常操作；生产者发起的订阅：生产者异步开始给消费者发送数据；版本：消 费者可以请求接口的当前版本；生产者取消订阅：生产者通知消费者订阅将结束。 ( 3 ) 消费者 消费者是可以从生产者接受数据的任意程序。消费者实时接受监控数据并提供 实时分析工具使用，可为存档服务收集数据，收集的信息可以供分析使用。消费者 从多个信息源收集事件信息，使用组合信息做出基于单个主机数据无法做出的决定 消费者支持的功能包括： 授权给生产者：消费者联系生产者并提供其身份证明。可以是每个会话一次， 也可以是每个请求一次。生产者认证：消费者接受来自生产者的认证请求，验证其 身份，可以是每个会话一次，也可以是每个请求一次。查询：消费者从生产者接收 一个或者一组事件，可以设置过滤器表明感兴趣的部分。消费者发起的订阅：消费 者建立到生产者的连接以连续接收数据。消费者取消订阅：消费者告诉生产者关闭 订阅。生产者发起的订阅：消费者接受来自希望传送数据的生产者的订阅。生产者 取消订阅：消费者接受来自生产者的取消订阅请求。授权给目录服务：消费者联系 目录服务并提供其身份验证，可以每个会话一次或每个查找一次。查找：消费者向 目录服务进行查询，至少需要两类查询，一是获得事件的描述；二是从与事件相关 1 0 同格环境下资源监控的研究及应用 联的生产者处得到数据。更新：消费者更新目录服务中有关从生产者发起的订阅接 收的事件记录。 消费者的类型主要有： 实时监控：实时收集监控数据供实时分析工具使用。存档：为存档服务收集信 息，收集的信息可以供历史分析。进程监控：消费者被用于触发基于服务进程事件 的动作。全面监控：从多个信息源收集事件，使用组合信息做出无法基于单个主机 的数据做出的决定。其他：除上述四类之外的消费者。 ( 4 ) 复合生产消费者 生产者消费者是g m a 中重要的概念，它决 定着数据的流向和使用，在元数据中占据重要 位置。当然这里的消费者和生产者并不是截然 分开的，在复杂情况下，一个模块可能同时既 是消费者又是生产者，一个消费者可能从多个 生产者收集数据，然后处理这些数据派生新的 事件数据类型，这些新的事件数据类型可以被 其他的消费者使用。通过这种有两个角色的模 块，可以构成复杂的生产者消费者模型，如图 2 2 所示( 引自：g m a 文档) 。它完成生产者和消 隧囊蠹鞭鞠 监控模块 蹩稿彝孝簇百习 图2 2 复合的生产者和消费者 费者的双重功能，在整个系统中，它是监控数据传送的中介。复合生产者消费者可 以用来进行数据综合，生成派生数据，供其它消费者使用。这种机制可以减少数据 通信量，减轻系统负载。 2 2 3 交互方式 生产者和消费者之间的数据传输有三种模式口1 1 ：定购发布方式 ( p u b l i s h s u b s c r i b e ) 、询问回应方式( q u e r y r e s p o n s e ) 和通知方式 ( n o t i f i c a t i o n ) p u b l i s h s u b s c r i b e 方式需要生产者或消费者的一方发送预定请求 ( s u b s c r i b e ) ，声明感兴趣的数据，以及相关的传输参数，预定完成后，生产者就根 据预定参数，向消费者发送监控数据( p u b l i s h ) ，当两者之间取消预定( u n s u b s c r i b e ) 成功后，发送结束；在q u e r y r e s p o n s e 模式中，首先消费者发出请求，随后生产者 将消费者需要的数据在一个单个的响应中将所有的性能数据发送给消费者，此次交 互结束；在n o t i f i c a t i o n 模式中，发起者必须是生产者，生产者在一次“通知”中 将所有的性能数据传递给消费者，没有其它交互过程。 两格环境下资源监控的研究及应用 2 2 4g m a 总结 g 姒设计的生产者消费者体系结构从逻辑上将事件的提供者消费者、发现机 制、事件传输存储机制分离开，从高层次上概括了网格监控的基本框架，而没有限 定任何具体的数据模型、实现机制和实现技术，故可以指导有实际应用需求的监控 系统设计。虽然目前g m a 并不是一种工业标准，但是随着全球网格论坛性能工作组 的努力必将成为网格体系结构的标准，基于g m a 体系结构也是将来网格资源监控系 统的必然选择。 虽然g m a 已经定义了网格资源监控系统的一个基本框架，但是目前的g m a 只是 一个粗粒度的框架，没有涉及细节及其协议。例如，g m a 中并没有定义生产者如何与 性能数据来源交互，也没有定义如何获取性能数据。而且g m a 中也没有涉及安全闯 题，所以在性能数据的存取控制以及身份认证等安全问题上也值得进一步研究。因 此，想要利用g m a 来实现一个真正使用的网格资源监控系统还需要很多的工作要做。 2 。3g m a 典型应用研究 在现有的网格监控系统中比较典型的包括：m d s 、r - g m a 、v g m s 、n w s 和g a n 9 1 i a 。 由于各个监控系统其侧重点不同，所要解决的问题也不尽相同，其设计和实现的系 统架构差别较大。下面对它们进行逐一分析介绍，然后对它们进行分析总结。 2 3 1m d s 监控和发现服务幽“蚓( m o n i t o r i n ga n dd i s c o v e r ys e r v i c e ，m d s ) 是g l o b u s t o o l k i t 中提供的组件，是g l o b u s 项目用来支持网格计算环境下资源信息的发现、 选择。它的主要任务是管理网格中各种信息。其功能包括信息的发现、注册、查询、 修改、注销等。它提供一套工具和应用程序接口用于发现、发布和访问网格中各种 资源信息。这些信息对网格系统本身的操作、维护和网格应用的构建都是至关重 要的。随着g l o b u s 项目的发展，m d s 也发生了不断的变化，包括g t 2 ( g l o b u st o o l k i t 2 ) 中的m d s 2 ( m e t a - c o m p u t i n gd i r e c t o r ys e r v i c e ，元计算目录服务) ；g t 3 ( g l o b u s t o o l k i t3 ) 中的m d s 3 ( m o n i t o r i n ga n dd i s c o v e r ys e r v i c e ，监控和发现服务) ； g t 4 ( g l o b u st o o l k i t4 ) 中的m d s 4 ( m o n i t o r i n ga n dd i s c o v e r ys e r v i c e ，监控和发 现服务) ，m d s 的发展过程基本表明了网格资源监控系统的发展方向。 2 3 1 1m d s 2 m d s 2 是元计算目录服务，是基于轻量级目录访问协议( l i g h td i r e c t o r ya c c e s s s e r v i c e ，l d a p 嘲口町) 的信息服务的实施。m d