（计算机应用技术专业论文）网格操作系统中的资源监测服务.pdf

摘要 摘要 本文详细介绍了网格操作系统中资源监测服务豹研究与实现。通过对网格操 作系统的深入研究，发现网格操作系统虽然能够管理上千台计算机协同工作，但 用户却无法查看整个机群的运行情况。因此，迫切需要一项服务来监测其中资源 运行的状态，而今网格资源监测系统尚处在研究阶段。本文以网格操作系统的特 点为基础，针对资源运行状态，研发出了一套可行的资源监测服务。该服务采用 先进的插件技术可以方便的扩充监测数据的类型和报表内容。利用当前流行的w e b 技术实现了随时随地查看报表数据的功能。将监测功能作为网格操作系统的一项 服务，大大增强了服务的安全性和性能。本文所提出的资源监测服务是目前唯一 投入商业应用的监测服务，具有很强的商业实用价值和现实指导意义。 关键词：资源监测服务网格操作系统网格计算 a b s t r a c t a b s t r a c t t h i s p a p e ri n t r o d u c e s t h er e s e a r c h a n di m p l e m e n to fr e s o u r c em o n i t o r i n g s e r v i c e ( r m s ) o fg r i do p e r a t i n gs y s t e m ( g o s ) g o sc a nm a n a g et h o u s a n d so f c o m p u t e r s ，w h i c hc a nw o r kt o g e t h e rl i k eah u g ev i r t u a lc o m p u t e r b u tu s e r sc a nn o tg e t a n yi n f o r m a t i o no fi tr u n n i n gs t a t u s ；t h e r e f o r eg o s n e e das e r v i c et om o n i t o ri t ss t a t u s i m m i n e n t l y w h e r e a sc u r r e n tg i r dm o n i t o r i n gs e r v i c e sa r es t i l li nr e s e a r c h t h i sp a p e r a n a l y z e st h ef e a t u r e so fg o sa n dd e v e l o p sab r a n dn e wr e s o u r c em o n i t o r i n gs e r v i c e r m sa d o p t sa d v a n c e dp l u g - i nt e c h n o l o g yw h i c hg r e a t l ye a s e sd e v e l o p i n gr e p o r t st o d i s p l a yn e wd a t aa n dm o d u l e st oc o l l e c tn e wi n f o r m a t i o n i ta l s om a k e su s eo fn e w w c bt e c h n o l o g yw h i c ha l l o w su s e r sc a nv i s i tr e p o r ta ta n ym o m e n ta n de v e r y w h e r e b e c a u s ei tb a s e do ng o s ，i th a sh i g hs e c u r i t ya n dp e r f o r m a n c e r m si nt h i sp a p e ri s o n l yg 醚m o n i t o r i n gs e r v i c et h a tu s e di nb u s i n e s s i th a sp r a c t i c a l i t ya n dg u i d a n c e m e a n i n g k e y w o r d s ：r e s o u r c em o n i t o r i n g s e r v i c eg r i do p e r a t i n gs y s t e mg r i d c o m p u t i n g 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名：兰盛 导师签名：蟒 日期墨边：3 j 垒 第一章绪论 第一章绪论 1 1 研究背景 随着计算机和网络技术的迅猛发展，基于互联网的各种技术的兴起和广泛应 用，有力地促进了网络环境下的商业应用发展和科学应用研究。人们对计算机的 应用需求正迅速朝着高性能、多样性、多功能发展，许多大规模科学计算应用不 仅仅需要一台超高性能的计算机，它还更需要由多种机器组成、多个系统合作、 多个科学仪器设备相连的网络虚拟超级计算机。这样网格计算技术就应运而生了， 它可以将地理和组织上分布的异构的各种高性能计算机、数据服务器、大型检索 存储系统和可视化、虚拟现实系统等，通过高速互连网络连接并集成起来，共同 完成一些重大应用研究问题，并且实现资源的共享。， 但是，目前网格技术尚处在研究实验阶段，发展还不成熟，在一些重要领域的 实际应用较少。例如飞机制造业，他们急需利用网格技术使企业信息部门变得更 加灵活和高效则必须使企业中现有软硬件全速运转。因为一台大型机的价格极为 昂贵，一般单位和部门难以承受，同时单位内部又有很多服务器和台式机有很多 闲置时间，没有被充分利用起来。可是由于保密和稳定性问题，使其不能采用 g l o b u s 此类网格平台。于是一些企业便发现了这一商机，将网格计算技术仅应用 于企业内部，这就产生了网格操作系统，它实际上是一个能够实时地管理和协调 企业中各种不同信息资源的虚拟数据中心。网格操作系统的典型代表就是p l a t f o r m 公司的e g o ( e n t e r p r i s eg r i do r c h e s t r a t o r ) 。 网格操作系统虽然可以让上千台主机协同工作，但是要想使其性能达到最优， 我们必须监测其中各种资源的运行情况，来帮助管理员分析和发现现有系统的瓶 颈。因此就开始了对网格资源监测系统的研究。目前，网格监测系统主要有两种， 一种是g l o b u s 项目中所使用的监测和发现服务( m o n i t o r i n ga n dd i s c o v e r ys e r v i c e ， m d s ) ，另一种是全球网格论坛提倡的网格监测系统体系结构( g r i dm o n i t o r i n g a r c h i t e c t u r e ，g m a ) 。 但是这些系统同样处于研究阶段，还不成熟，因此，本文将针对网格操作系统 的特点提出一套切实可行的资源监测服务，来解决网格操作系统运行中资源状态 监测的问题，以便于将整个网格的性能调整到最优化。 2 网格操作系统中的资源监测服务 1 2 研究内容 本文旨在研究网格操作系统中的资源监测服务，通过分析和研究当前已有的网 格监测系统或网格监测服务，充分吸收它们的优点，再结合实际的需要和网格操 作系统自身的一些特点，设计出一套基于e g o ( e n t e r p r i s eg r i do r c h e s t r a t o r ，网格 操作系统) 的网格资源监控服务系统。该系统的设计着重从可扩展、高性能、安 全性、可靠性、易使用和跨平台等方面进行了全面细致的考虑，要求能够达到及 时、准确、高效的收集系统内部各种资源的运行情况，然后通过富有意义的报表 形式展现出来，使用户可以随时随地的查看报表，以便将系统进一步优化，使所 有资源的利用率达到最高。 作者参与了这一项目各个阶段各个部分的研究和开发，特别集中于以下几个方 面： ( 1 ) 对l o a d e rc o n t r o l l e r 主框架的设计和实现，以及数据丢失保护和恢复，数 据库异常处理等。 ( 2 ) 分析和实现了系统中逻辑最为复杂的一个d a t al o a d e r 。 ( 3 ) 协助编写数据创建脚本。 ( 4 ) 参与报表框架的实现、重构以及维护。 ( 5 ) 实现所有预定义报表。 1 3本文组织结构 本文围绕网格操作系统中的资源监测服务展开理论研究和实际系统的开发，详 细介绍网格、网格操作系统、网格监测系统的理论背景和实现方法。全文正文分 为六章。 第二章分为两大部分。第一部分介绍网格的基本理论，主要解释了网格技术所 要解决的主要问题，网格技术的基本特征及其体系结构，然后对目前主流的网格 技术g l o b u s 进行了详细的分析。第二部分介绍了基于网格技术的网格操作系统的 概念和内部结构。 第三章介绍了资源监测服务概念，以及它与资源监测系统关系。接着又介绍了 现有网格资源监测系统的发展情况，特别介绍了两大主流监测系统监测和发现服 务( m d s ) 和网格监测系统体系结构( g m a ) 。 第四章是在设计和实现资源监测服务前，对可能存在的一些难点问题进行研 究，从而为后面的工作打下基础。 第五章是本论文的核心部分，给出了整套监测服务的架构，然后分模块讨论了 第一章绪论 3 数据存储部分，数据获取部分和数据展示部分的实现方案，进而给出一些重要模 块的实现。 第六章对整套服务进行了多方面的测试，统计出各部分运行时的实验数据，并 对实验结果进行了分析。证明本文所提出的资源监测服务的可行性。 第七章对研究工作进行总结。 第二章网格技术概述 5 第二章网格技术概述 2 1网格计算技术 2 i i 网格计算技术的背景 计算机和网络通信技术的迅猛发展，i n t e m e t 技术的兴起和广泛应用，有力地 促进了网络环境下的商业应用发展和科学应用研究。人类的应用需求正迅速朝着 高性能、多样性、多功能发展，许多大规模科学计算应用不仅仅需要一台超高性 能的计算机，它还更需要由多种机器组成、多个系统合作、多个科学仪器设备相 连的网络虚拟超级计算机。这些应用要求将地理上分布、异构的多种计算资源通 过高速网络连接起来i ，共同完成计算问题。 广域高性能的网格技术【2 j 的研究正是在这样的背景下提出来的，它的目标是将 地理和组织上分布、异构的各种高性能计算机、数据服务器、大型检索存储系统 和可视化、虚拟现实系统等，通过高速互连网络连接并集成起来，共同完成一些 缺乏有效研究办法的重大应用研究问题，并且实现资源的共享。 网格是一种新兴的基础设施，它将从根本上改变我们思考和使用计算的方式。 网格这个词来源于可随时随地提供电能的电力网格，他像计算机和其它科技进步 的产物一样，对人类的能力和社会有着巨大的影响。人们相信通过使信息技术基 础设旌中的所有成分，包括计算能力、数据库、传感器和人，灵活共享成为真正 的协作工具，网格将有着类似的改造效果，导致新类型应用的出现。 3 1 2 1 2网格的相关概念 一个集成的计算与资源环境称为网格，基于网格的问题求解叫网格计算。网格 试图实现互联网上所有资源的全面连通，包括计算资源、存储资源、通信资源、 软件资源、信息资源、知识资源等，然后像一台超级计算机一样为用户提供一体 化信息服务。网格计算是i n t e r a c t 应用的新发展，又称为虚拟计算环境。网格计算 可定义为一个广域范围的“无缝的集成和协同计算环境”，它不仅提供利用强力 计算机解决巨大挑战性问题的环境，网格计算还是一种基础组织，把分布在各地 的远程资源和设备组织成统一的整体。它也可理解为一种把广义的各类资源祸合 起来的超级机群。通过高速网络连接分布的、异构的计算资源，发展配置系统软 件、工具和应用环境，使之成为一个相互协调的、可看作是单一的超大型计算环 6 网格操作系统中的资源监测服务 境或网格虚拟超级计算机，形成网格状的高性能计算网，各种计算资源就像是网 格状的结点。 网格计算可以从三个方面理解：首先，网格计算的目标是资源共享和分布协同 工作。网格计算概念可以清晰地指导行业和企业对各个部门的资源进行统一规划、 部署、整合和共享；其次，网格计算是一种技术。为了达到多种类型的分布资源 共享和协作，网格计算技术必须解决多个层次的资源共享和合作技术，制定网络 的标准，将因特网从通信和信息交互的平台提升到一个资源共享的平台；最后， 网格计算是各种网络来综合计算机、数据、设备、服务等资源的基础设施。随着 网格技术的逐步成熟，建立地理分布遍布全国或全球的大型资源节点，形成网络 上的多个资源，联合向全社会按需提供全方位的信息服务。p 卅 2 1 3 网格系统结构 这里我们以g l o b u s t o o l k i t 4 ( g t 4 ) 为例来介绍一下网格体系结构。g t 4 来源 于g l o b u s 项目，g l o b u s 项目是国际上最有影响力的与网格计算相关的项目之一， 是由来自世界各地关注网格技术的研究人员和开发人员共同努力的成果。g t 4 框 架的提出旨在实现下列目标： ( 1 ) 为开发一个新的基于o g s a 的w e b 服务、使用j a v a 或c 犯+ + g r i da p i s 开发应用程序、使用基础的安全机构来开发安全的应用程序等提供一个一 致的网格开发环境。 ( 2 ) 包含一系列的基础网格服务：如：任务提交管理服务、文件传输服务、数据 库访问服务、数据管理( 副本，元数据) 服务、监控索引系统信息服务等。 ( 3 ) 提供一些相关的工具和例子。 ( 4 ) 为一些网格公用工具提供前提。 7 - 8 1 g t 4 体系结构有五个主要部分：公共运行时( c o m m o nr u n t i m e ) 、信息服务 ( i n f o r m a t i o ns e r v i c e s ) 、执行期管理( e x e c u t i o nm a n a g e m e n t ) 、数据管理( d a t a m a n a g e m e n t ) 、安全性( s e c u r i t y ) ，下面分别加以介绍。 公共运行时( c o m m o nr u n t i m e ) g t 4 中的公共运行时( c o m m o nr u n t i m e ) 是g l o b u st o o l k i t 工具包的基础，它 为开发ws r e s o u r c e 和非w s r e s o u r c e 程序提供了一系列的基础类库，支持 g l o b u s 的系统服务( 如g r a m ，r f t ，d e l e g a t i o n 等) 以及用户自己开发的服 务。在g t 4 中，它已经被重新设计以增强整个g l o b u s t o o l k i t 工具包的可扩展 性、模块性、通用性及性能。它不但对已经存在的w s d l 、s o a p 、ws s e c u r i t y 、 w s - a d d r e s s i n g 等标准起到了杠杆作用，而且还增加了对于新兴w e b 服务标准 ( w s r f ，w s n o t i f i c a t i o n 等) 的支持，同时也提供了一个使用j a v a 、p y t h o n 第二章网格技术概述 7 或c 语言开发的网格服务的宿主运行环境。 信息服务( i n f o r m a t i o ns e r v i c e s ) 信息服务一般也称为m d s ( m o n i t o r i n g a n d d i s c o v e r ys e r v i c e s ) ，它包含一系 列的组件用来在一个虚拟组织内发现和监控w s r e s o u r c e ，同时为了保持对遗 留版本的兼容性，它也包含一个非w s r e s o u r c e 版本的m d s ( m d s 2 ) ，但这 个组件在以后将发布的版本中肯定会消失。在g t 4 中的每一个w s r e s o u r c e 都可以使用公共的机制被监控和被发现，这些机制由w s r f 及w s n 标准提供 支持。m d s 服务由索引服务( i n d e xs e r v i c e ) 、触发器服务( t r i g g e rs e r v i c e ) 、 聚合器框架( a g g r e g a t o rf r a m e w o r k ) 、w e b 界面的m d s 服务( w e bm d s ) 组成。 执行期管理( e x e c u t i o nm a n a g e m e n t ) 执行期管理组件涉及到作业的初始化、监控、管理、调度以及协调。g t 4 提 供了网格资源分配和管理( g r i dr e s o u r c ea l l o c a t i o na n dm a n a g e m e n t ，g r a m ) 接口作为实现以上用途的基本机制。g t 4 的g r a m 服务器典型地被配置成与 委托服务和r f i 服务一起以一种集成的方式来寻址分段传输的数据、代理凭 证的委托以及进行计算监控和管理。它提供了一个公共的w s 接口来实现对 u n i x 、c o n d o r 、l s f 、p b s 、s g e 、n q e 等资源的调度。 数据管理( d a t am a n a g e m e n t ) 数据管理组件允许我们在虚拟组织中管理大批量的数据。通过数据管理组件提 供的副本定位服务( r e p l i c al o c a t i o ns e r v i c e ，r l s ) 、可靠文件传输( r e l i a b l e f i l et r a n s f e r ，r f r ) 、网格文件传输协议( g r i df 1 1 p ) 可以找到及访问或移动 指定的数据，g f i d f i t 对标准的f i t 协议进行扩充，在其上可以提供网格环 境下安全传输、高效移动数据块的功能，满足了对网格计算环境需求不同的应 用对广域范围分布的、大量的数据需求。r l s 服务维护从逻辑数据名字到目标 数据名字的映射信息，并对外提供这些信息。g t 4 中的r l s 版本更加强了可 伸缩性和稳定性，以及对网格环境中文件量日益增大的支持r f t 服务对外提 供控制和监控用g r i d f i t 服务器进行第三方数据传输的接口。 安全性( s e c u r i t y ) 使用安全性组件可以使我们的通信得到安全的保证。在g t 4 中用新的基于w s 标准的w e b 服务授权鉴定( w sa u t h e n t i c a t i o na u t h o r i z a t i o n ) 组件代替了原来 的g s i ( g r i ds e c u r i t yi n f r a s t r u c t u r e ) 结构。同时被再细分为消息( m e s s a g e ) 级安全性和授权框架( a u t h o r i z a t i o nf r a m e w o r k ) 。消息级安全性又实现了两 个新标准：w s s e c u r i t y 和w s s e c u r e c o n v e r s a t i o n 。这两个标准提供s o a p 消息 加密、完整性和重放保护。【9 】 8 网格操作系统中的资源监测服务 2 2 网格操作系统 网格操作系统，即使开发者、管理员、用户将地理上分布的各种软件和硬件资 源当作一个虚拟计算机来使用。在网格操作系统中，每台计算机相当于它要管理 的一个硬件，而在该硬件上安装的传统操作系统( 如w i d o w s ，l i n u x 等) 则相当于 这个硬件的驱动程序。各台计算机在网格操作系统的调度下，协同工作，共同完 成一些庞大的或者大批量的作业。网格操作系统的典型代表是p l a t f o r m 公司的 e n t e r p r i s eg r i do r c h e s t r a t o r ( e g o ) 。 e g o 是当今唯一能够为企业各种商业应用程序提供虚拟的可共享访问的所有 r r 资源的网格平台。通过e g o 信息部门能够以最快速度为各种商业变化分配所需 资源，这样便使企业各个部门融为一体，相互协作。 图2 1e g o 体系结构图 图2 1 展现了基于e g o 的企业整体信息化平台的结构，自下而上它由三层组 成： ( 1 ) 计算机层。此层由众多计算机( 也称为主机) 组成，每台计算机包括两部分， 物理计算机和传统操作系统。物理计算机包括个人计算机和服务器等，传统操 作系统包括w i n d o w s ，l i n u x ，仰( ，h p u x , s o l a r i s 等。这些计算机共同组成一 个o u s t e r ，在网格操作系统中，o u s t e r 是指一组松散耦合的计算机组成的一 个集群，它们一起在一个共享的计算基础设施上工作，其中有一个主控计算机， 它来管理c l u s t e r 中的其他计算机。客户端必须通过主控机来向o u s t e r 申请资 第二章网格技术概述 9 源，分配到资源后，则可以直接与资源所在的计算机进行交互。当有多个客户 端( 请求资源的客户端也称为消费者) 请求资源时，网格平台会根据现有资源 和请求情况平衡的分配资源。一旦c l u s t e r 被建立并运转起来，管理员必须定 义消费者，用户，资源分配策略，部署服务，注册应用程序，以服务客户端。 ( 2 ) e g o 层。此层又由两部分组成，e g o 和e g os d k 。其中e g os d k 为上层应 用提供的软件开发工具包。 ( 3 ) 应用软件层。此层包含众多可以运行在网格平台上的应用软件，如p l a t f o r ml s f a p p l i c a t i o ns e r v e r s ，e r p 等。 2 3e g o 的内部架构 圉圈国圉国圉国 图2 2e g o 内部架构图 图2 2 为e g o 的架构，自下而上它由三层组成。 ( 1 ) e g o 内核。内核是一个被自动启动的进程，它运行在c l u s t e r 中的某一台主机 上。它提供一套核心的中央控制功能，以平衡c l u s t e r 中的各台主机上的负载。 内核整合了所有主机的资源，并对外表现为个虚拟的计算机。它由三个模块 组成，分别是信息，分配和执行模块。 信息模块。 该模块负责收集各台主机的信息，使用户可以通过统一的接口来查询各项 信息，如各种资源的状态，分配请求的状态，消费者( c o n s u m e r ) 的层次 1 0 网格操作系统中的资源监测服务 ( 包括分配给每个消费者的资源，已经启动的服务) 等。信息模块提供了 对静态信息和接近实时的动态信息的统一访问方式，这样内核就可以高效 地监测和管理所有资源，并且用户也能发现那些是可用资源。 分配模块。 分配模块负责管理来自用户对资源的请求。如同传统操作系统中的虚拟内 存管理程序将物理资源转变为虚拟资源并分配给应用程序一样，分配模块 会将分布的资源虚拟化。例如，它能够将物理主机的c p u 分给为多个虚 拟的c p us l o t ，这样用户就可以像使用真正的c p u 一样来使用c p us l o t 。 通过考虑可用资源和消费者的权利，分配模块将会按照预先定义好的分配 计划决定分配哪些资源。当资源可用后，分配模块将会同步地通知用户可 用资源，一旦用户确定了这些资源，主机信息将会送回给用户。分配模块 会平衡资源请求和可用资源。它会跟踪每种资源的数量，调整它们的优先 级，召回多分配的资源。 执行模块。 执行模块负责在资源分配后，利用这些资源执行一些任务。它可以运行， 终止，或控制被执行的任务。内核利用在每台主机上运行的进程执行程序 ( p r o c e s se x e c u t i o nm a n a g e r , p e m ) 来执行一些远程操作。主机运行状态的变 化将会被同步的报告给用户，用户将会决定如何处理失败并重新启动。 ( e g o 服务。e g o 中的服务是指独立的持续运行的进程，它可以接受一个或多 个请求，运算后返回一个或多个相应。在e g o 中一个服务可能会在多个主机 上启动多个实例以服务更多的用户。e g o 的标准服务提供通用功能以支持多 个关注负载的应用程序。高层服务平衡了这些通用服务，以保证持续性的管理 分布式应用程序的负载。它包含了一些标准的服务，如s e r v i c e c o n t r o l l e r ， s e r v i c e d i r e c t o r ，w e b s e r v i c e g a t e w a y ，w e b g u i 等服务。 ( 3 ) 标准a p i 。它是上层应用程序在e g o 平台上的编程接口，它提供对多种语言 的支持，包括c c + + ，j a v a 等。上层应用程序通过这些a p i 便可以使自己的应 用运行在e g o 上，并且可以使用e g o 提供的很多服务，如获取资源等。 2 4 本章小节 本章介绍了网格计算的概念，并以g l o b u s 为例介绍网格的结构。然后简单介 绍了基于网格技术的网格操作系统，包括网格操作系统的概念、特点、组成和内 部结构等。 第三章现有资源监测系统概述 第三章现有资源监测系统概述 3 1 资源监测服务 在网格操作系统中，资源是系统的核心，系统的主要作用就是接受资源请求， 然后合理的分配资源。在这里资源是指所有可以被客户端使用的物理的和逻辑的 实体，例如，应用程序( 客户端) 请求一个c p u ( 资源) 来运行程序。资源本身 还具有一些属性，例如，一个主机具有内存用量，c p u 利用率，操作系统类型等。 网格操作系统本质上是一个广域异构资源的有机集合体，它是由很多资源共同 组成的，而这些资源分布在不同的地方，因此对各种资源进行监测对系统管理员 来说非常重要。它具有以下一些作用： ( 1 ) 收集分布于各处的各种资源的数据，包括实时采样数据和事件历史数据。 ( 2 ) 提供统一的在线数据展现界面，帮助管理员及时查看各项运行指标。 ( 3 ) 对数据进行统计，并展现出数据的变化趋势，便于管理员及时发现系统中存在 的问题并对性能进行调优。 ( 4 ) 为运行于网格操作系统上的应用提供接口，使得资源监测服务能够同时为其它 应用提供服务。 在这里我们将本文研究的资源监测系统称为服务是因为本监测系统是以一项 服务形式出现在网格操作系统中，而非一个独立的系统，这点与现有一些独立的 监测系统有所不同，但究其本质网格监测服务和网格监测系统是一样的，它们都 是为监测网格中各种资源而服务的。 3 2 网格监测系统的发展情况 目前，网格监测系统主要有两种，一种是g l o b u s 项目中所使用的监测和发现 服务( m o n i t o r i n ga n dd i s c o v e r ys e r v i c e ，m d s ) ，另一种是全球网格论坛提倡的 网格监测系统体系结构( g r i dm o n i t o r i n ga r c h i t e c t u r e ，g m a ) 。下面就这两种系 统分别作以简要的介绍。 3 2 1监测和发现服务m d s ( 1 ) m d s 的目的 网格操作系统中的资源监测服务 在网格计算环境中存在各种动态资源，它们在地理上分散，又可以动态地加入 或离开不同的虚拟组织。如何使网格应用程序方便地使用各种资源是g l o b u s 项目 必须解决的问题。为此在g l o b u s 项目中提出了m d s ，它主要是一种基于网格环境 的信息服务框架，面向网格计算环境中数目巨大、地理上分布、具有动态性的各 种资源和服务。m d s 的内容主要包括资源( 服务) 发现、资源( 服务) 描述和资 源( 服务) 监视与更新。这样网格应用程序可方便地利用g l o b u s 提供的m d s 信 息服务满足自己的各种需求。g l o b u s 第三版基于开放网格服务结构o g s a ，用x m l 来描述各种信息，并且与w e bs e r v i c e 技术中的s o a p 、w s d l 和w s i n s p e c t i o n 紧密结合，提供更加方便和有效的监测发现服务。 1 0 l 作为信息基础设施的一部分，m d s 采用动态可扩展的框架来管理网格计算环 境中的各种资源的静态和动态信息( 包括计算、网络、存储、仪器等) 。目前m d s 可提供的信息包括网格环境中存在的资源、网格计算环境的状态信息以及基于当 前的网格计算环境的网格应用的优化信息。【1 1 l ( 2 ) m d s 的组成部分 m d s 使用l d a p 协议作为查询各种系统组件信息的统一手段，并可以创建一 个统一的、跨虚拟组织的资源信息名字空间。m d s 因此定义一个方法( 基于l d a p 和特定的模式) 来表示数据。在g l o b u s 工具包中与m d s 相关的主要有g r i s ( g r i d r e s o u r c ei n f o r m a t i o ns e r v i c e ) 和g i i s ( g r i di n d e xi n f o r m a t i o ns e r v i c e ) 服务。g r i s 服务提供一个统一的手段来查询网格中资源的配置、能力和状态。g r i s 是一个分 布的信息服务，通过在网格计算环境中对g r i s 进行部署可满足相关的查询要求， 如主机名称、节点操作系统版本号等静态信息和可用c p u 数和内存大小等动态信 息。g i i s 提供了一种把各种g r i s 服务结合起来的手段，并提供一个连贯的系统 映像以方便网格应用程序进行搜索和查询。g i i s 可鉴别特定类型的资源，如g i i s 可列出属于某个虚拟组织的所有实验室中的计算资源，或者某个结构的所有分布 的存储系统等。g i i s 可把属于某个虚拟组织的所有网格资源进行汇总，并提供一 个连贯的网格资源系统映像。0 2 1 ( 3 ) m d s 的信息模型 m d s 遵从l d a p 模型，主要由目录信息树( d i r e c t o r y i n f o r m a t i o n t r e e ，d i t ) 层次和对象类定义组成。m d s 中的g r i s 和g i i s 也是基于o p e n l d a p 软件实现的。 目前m d s 的信息模型中有三种类型的信息： 结构信息：结构信息通过映射到对象的层次结构来表示，而对象是通过 d r r 中的有名位置来表示。 合并信息：合并信息通过把携带子节点数据的父节点联合起来表示，通常 第三章现有资源监测系统概述 用于简化查询模式。 辅助信息：辅助信息采用l d a p 辅助对象类来统一表示l e a f p a r e n t 数据， 可用于表示相关属性信息的集合。 一个对象必须有一个结构类型，但可有零或多个辅助类型。m d s 的信息模型 把计算资源的物理和逻辑组件用一种层次元素来表示。其中只有小部分元素类型 对应l d a p 结构对象类。一个辅助类型的补充部分增加了特殊元素的信息。l d a p 辅助类型可用于对结构类型对象进行扩展。在m d s 的信息模型中使用这个特性把 信息“向上”融合，使得在页节点可包含单个资源实例的信息时，父节点可包含 多个资源实例的合成信息。f 廿1 ( 4 ) m d s 的应用 通过m d s 可定位和查询资源的各种属性。例如，可向m d s 发出“哪些资源 具有特定的体系结构、软件或网络带宽? ”来定位资源；也可向m d s 发出“这个 资源的物理特征和网络情况是什么? ”来查询资源。更具体来讲，通过m d s 可查 询的信息包括： 计算资源的信息：口地址、可使用的软件、系统管理者、连接的网络、操 作系统名称和版本号、存储系统信息、系统负载、进程信息、内存信息、 任务队列等； 网络资源信息；网络带宽、网络协议、网络延迟、网络的逻辑拓扑结构等； g l o b u s 基础设施信息：主机信息、资源管理者等。 g l o b u s 用户和高层服务可通过m d s - a p i 或通过命令行对m d s 进行访问。 为了对m d s 进行交互，用户首先需要合法的安全证书，并且创建用户代理进 行授权访问，同时在服务方启动m d s 。在g l o b u s 环境中可通过g r i d i n f o s e a r c h 命令对信息进行查询，命令的接受方由节点名、信息服务方和端口号确定。 3 2 2网格监测系统体系结构g m a ( 1 ) g m a 的目的 g m a 是一份关于网格资源监测的参考文档，它是由g 1 0 b a lg r i df o r u m ( g g f ) 中的p e r f o r m a n c e 工作组提出的，他们主要从事网格资源性能监测方面的工作【1 4 , 1 5 j 。 g m a 提出了网格监测服务的主要目标、关键特征和描述。其中网格监测服务 的目标包括错误检测，性能分析，性能优化，性能预测和资源调度。g m a 区分了 网格监测与一般监测的区别，认为网格监测系统必须能够在跨越广域网、具有大 量异构资源的系统上实现高度可扩展性。g m a 在目前的文档中着重描述了网格监 测系统核心部件和高层通讯模型，对于与实用关系密切的部件创建和管理没有涉 1 4 网格操作系统中的资源监测服务 及。g m a 希望能通过目前的工作能为网格监测研究引导方向，推动各方面的参与， 建立网格监测环境。 g m a 总结了网格环境下监测数据的独特特点：短生命周期、变化频繁、随机 性。对于网格监测系统，g m a 定义了以下要求：低延迟、高传输率、小额外开销、 安全、可缩放。基于这些需求，g m a 提出应对收集、传送监测数据的延迟和额外 开销进行精确的本地控制。为此，数据发现与数据传输应该分开进行。为了实现 数据发现与数据传输的分离，元数据需要被抽离出来，存放于公共位置，它具有 足够的信息来启动数据源与目的之间的数据传输，存放管理元数据的部件即为目 录服务( d i r e c t o r ys e r v i c e ) 。目录服务有助于实现分布来实现系统的可扩展性。 绝大多数情况下，元数据的传输量小于被监测数据的传输量，在g m a 中，监测数 据的传输在数据源与目的间直接进行，不经过目录服务。因此，目录服务不会因 此成为瓶颈。 ( 2 ) g m a 的结构 g m a 由三种部件组成： 目录服务( d i r e c t o r ys e r v i c e ) ：支持信息发布与发现 生产者( p r o d u c e r ) ：提供性能数据( 数据源发地) 消费者( c o n s u m e r ) ：接收性能数据( 数据目的地) 目录服务用来定位生产者和消费者，它并不特指如l d a p 那样的层次式目录服 务。生产者和消费者之间的查找与定位是通过目录服务实现的，它们利用目录服 务的信息来启动两者之间的数据传输。 生产者消费者是g m a 中重要的概念，它决定着数据的流向与使用，在元数 据中占据重要位置。有一类特殊的生产者消费者，即复合的生产者消费者，它完 成生产者和消费者的双重功能，在整个系统中，它是监测数据传送的中介。复合 的生产者消费者可以用来进行数据综合，生成派生数据，供其他消费者使用。这 种机制可以减少数据通讯量，以及减轻系统负载。 生产者与消费者之间的数据传输有三种模式： 发布，预订 查询响应 通知 “发布预订”方式需要生产者或消费者中的一方发送预订请求( “预订”) ， 声明感兴趣的数据，以及相关的传输参数，预订完成后，生产者就根据预订参数， 向消费者发送监测数据( “发布”) ，当两者之间取消预订成功后，发送结束。 在“查询响应”模式中，首先由消费者发出请求，随后生产者将消费者需要的数 据一次发送出去，此次交互过程结束。在“通知”模式中，生产者直接向消费者 第三章现有资源监测系统概述 发送数据，没有其它交互过程。 g m a 还定义了各部件支持的功能接口。 目录服务功能接口有：a d d 、u p d a t e 、r e m o v e 、s e a r c h 。 生产者功能接口有：m a i n t a i nr e g i s t r a t i o n 、a c c e p tq u e r y 、a c c e p ts c r i b e 、a c c e p t u n s u b s c r i b e 、l o c a t ec o n s u m e r 、n o t i f y 、i n i t i a t es u b s c r i b e 、i n i t i a t eu n s u b s c r i b e 。 消费者支持的核心接口有：l o c a t ep r o d u c e r 、i n i t i a t eq u e r y 、i n i t i a t es u b s c r i b e 、 i n i t i a t eu n s u b s c r i b e 、m a i n t a i nr e g i s t r a t i o n 、a c c e p tn o t i f i c a t i o n 、a c c e p ts u b s c r i b e 、 a c c e p tu n s u b s c r i b e 、l o c a t ee v e n ts c h e m a 。 通过这些详细定义，有助于对g m a 工作过程有更好的理解。 g m a 还列出了一些实现上的问题： 系统各部件需要容错能力 数据管理系统能够适应处于性能变化中的坏境 所有系统部件可缩放 监测数据分布管理 监测系统要控制对被监测系统的性能影响 数据格式在高效和易用间的权衡 安全机制 这些方面对于我们自己的资源监测系统也十分重要，需要详细考虑。 ( 3 ) g m a 目前的实现 目前，针对g m a 文档的实现有以下几个系统。( 如表3 1 ) 这几个项目都涉及到资源监测或性能监测，但在对g m a 的实现程度上，有较 大差异。 a u t o p i l o t 体现的g m a 各个方面较全面，实现也比较有特色，它不以独立程序 或部件形式提供，而以c + + 库提供，可以在应用程序中直接使用，也可以以此为 基础实现自己的监测系统，这种方式使用比较灵活，值得借鉴。 r g m a 也使用了g m a 中的基本概念，其中的生产者消费者使用关系数据库 中s q l 语句来进行注册和数据获取，它使用j a v as e r v l e t 实现生产者消费者的访 问接口，传输数据使用x m l 格式。 p y g m a 目前只涉及g m a 部件间的通讯接口，部件内部实现需要进一步解决。 虽然简单，但对g m a 遵循较好，其意义在于促进不同部件实现的互操作性。 其他大多项目仅与g m a 有比较少的共同点，比如d m f 仅使用发布预订模型。 1 6 网格操作系统中的资源监测服务 表3 1 目前与g m a 有关的实现 名称 描述 开发者 d i s t r i b u t e dm o n i t o r i n gf r a m e w o r k ，致力于改进高速网络 环境下数据密集应用程序的端到端数据吞吐量，提供性 能分析和失败检测的能力。包括i n s t r u m e n t a t i o n ， d i d c， d m f s e n s o r s ，s e n s o rm 鲫a g e m e n t ，e v e n tp u b l i c a t i o n 和e v e n t l b n l a r c h i v i n g 等模块。使用发布，预订模型，支持网络监测。 1 6 1 提供s o a p w e bs e r v i c e s 上g m a 接口的p y t h o n 模块， p y g m a仅提供通讯，不涉及各部件的实现，包含有简单的 d i d c， r e g i s t r y 作为d i r e c t o r ys e r v i c e 。 l b n l g r i da p p l i c a t i o nd e v e l o p m e n ts o f t w a r ep r o j e c t ，目标是建g r a d s g r a d s 立支持容易有效使用网格资源的集成的网格执行环境，p r o j e c t s ， 包含性能监测和预测的机制。1 1 7 1 r i c eu n i v 提供简化进程间数据分布与远程控制的c + + 类库，实现 了可以插入应用程序或监测程序的软件感应器和激励 a u t o p i l o tu i u c 器，感应器和