（计算机应用技术专业论文）存储网格资源管理系统的研究与实现.pdf

中文摘要 摘要：网格是继传统互联网、w e b 之后的第三个大浪潮，可以称之为第三代 互联网应用。网格计算实际上是构筑在i n t e r a c t 上的一组新兴技术，其目标是在动 态变化的、广域分布的异构虚拟组织阈实现协同资源共享。本文从介绍网格的基 本概念开始，简述了什么是网格、网格的体系结构及各层次的作用和相互关系， 并比较了国内外网格的发展情况。接着阐述了目前最具影响力的网格中间件 g l o b u s 的体系结构和系统结构，并介绍了g l o b u s 项目实现的主要部分：网格安全 基础设施g r i ds e c u r i t y 蛐c t u r e ( o s r ) 、g l o b e s 资源分配管理g l o b u s r e s o u r c ea l l o c a t i o nm a n a g e r ( g r a m ) 等，着重分析了资源发现及触发系统 m o n i t o r i n ga n dd i s c o v e r ys e r v i c e 的实现原理及方法。 建设校园存储网格首先要解决资源监测与资源触发问题。资源监测为其他的 网格中间件提供必要的与资源有关的性能数据，是资源发现和任务分配的基础。 资源触发功能的强弱直接决定了存储网格的使用效率 本文在对网格研究的基础上，提出了建设存储网格应注意的问题，着重研究 了资源监测与触发基本理论和相关技术，提出了资源监测与触发的方法，结合校 园存储网格本身的特点，给出了建设校园计算网格应实现的功能，分析了资源监 测与触发服务在校园计算网格模型中的地位，最后设计实现了校园存储网格资源 监测与触发服务。 关键词：网格，资源，监测，触发，聚合器 分类号：t p 3 1 5 a b s t r a c t a b s t r a c t ：t h eg r i dh b e o o r n et h et h i r dp o p u l a rt e c h n o l o g i cw a v ca f t e rt h e t m d i 廿o n a li n t e m e ta n dw e b i ti sc a l l e dt h et h i r dg e n e r a t i o na p p l i c a t i o no fi n t c r n c t a c t u a l l yg r i dc o m p u t i n gh a se m e r g e da san 删i m p o r t a n tt e c h n o l o g yu p o nt h ei n t e m e t i ti so , - j c n t a t 既tt oc o o r d i n a t 例lh 爆o u r c cs h a r i n gi nd y n a m i ca n dm u l t i - i n s t i t u t i o n a lv i r t u a l o r g a n i z a t i o n s i nt h i sp a p e r , w ei n m x l u c e9 咖eb a s i ck n o w l e d g eo f c n i dc o m p u t i n g , s u c h 笛w h a tg r i di s a n dt h ei m p o m a tc o m p o n c _ f l ti ng l o b t mp r o j o c ta r e ：g r i ds e c u r i t y i n 鱼l s l n l c t u r g s d ，g l o b mr e s o u r c ea l l o c a t i o nm a n a g e r ( g r a m ) , e s p e e i a l l y t h e m o n i t o r i n ga n dd i s c o v e r ys e r v i c e ( m d s ) i ng l o b u sp r o j e c t r e s o u r c em o n i t o r i n ga n du i g g c ri st h eb a s oo f t h ec a m p u ss t o r eg r i ds i n c ei tw i l l o f f e rt h en e c e s s a r y 托踟鼢i n f o r m a t i o nt oo t h e 鲥dm i d d l e w a r e t h ep o w e ro f 蝴m o n i t o r i n ga n dt r i g g e rs ) 7 s t 皿w i l ls t 删ya n dd i r e c t l ya f f e c tt h ed e g r e eo f t h e 面du s a g ee f f i c i e n c y b a s e do nt h er e s e a r c ho fg r k l t h ea t t e n t i v ep r o b l e m s 黜b r o u 班f o r w a ! t h i s p a p e ri n t t o d u c e dt h eb a s i cp r i n c i p l e 趾da l s or e l a t e dt e c h n i q u e sa n d m e t h o d so f r e s o u r c e m o n i t o r i n ga n dt r i g g e r b a s e do nt h ec h a r a c t e r i s t i c so fc a m p u ss t o r eg r i d , m e r ei sa d i s c u s s i o na b o u ti m p o r t a n tf u n c t i o n so fc a m p u ss t o r e # i dw h i c hs h o u l db er e a l i z e d a a a , a m l y s i so ft h ep o s i t i o no ft h e “薯们麟m o n i t o r i n ga n dd i s c o v e r ys e n ，i c ei nt h e s t o r og r i c l f a n a l l y , t h es e l v i 嘲o fc a m p u ss t o r eg r i d sr e s o u r c em o n i t o r i n ga n dt r i g g e r h a v eb e e nr e a l i z e l k e y w o r d s ：g r i d ；r e s o l l r c e ；m o n i t o r i n g ；t r i g g e r = a g g r e g a t o r c l a s s n 0 ；t p 3 1 5 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：嗽氯 签字1 3 期：。硼年1 2 月7 - 1 日 - , - 9 # 躲弘孔 签名：死协俐， 签字日期：0 年肛月2 歹日 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者签名： ；长辣 签字日期：2 价7 年1 1 月沙日 5 2 致谢 本论文的工作是在我的导师罗四维教授的悉心指导下完成的，罗四维教授严 谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢三年来 罗老师对我的关心和指导。 罗教授悉心指导我们完成了实验室的科研工作，在学习上和生活上都给予了 我很大的关心和帮助，在此向罗老师表示衷心的谢意。 罗教授对于我的科研工作和论文都提出了许多的宝贵意见，在此表示衰心的 感谢。 在实验室工作及撰写论文期间，高瞻、王鹏等同学对我论文中的研究工作给 予了热情帮助，在此向他们表达我的感激之情。 另夕l , t g 感谢家人，他们的理解和支持使我能够在学校专心完成我的学业。 1 1 选题依据 1 引言 i n t e r n e t 的产生与发展，对人们的思维方式、工作模式以及生活理念都产生 了巨大的影响与冲击。以e - m a il 为主要应用的第一代i n t e r n e t 把遍布于世界各地 的计算机用t c p i p 协议连接在一起：第二代i n t e r n e t 贝u 通过w e b 信息浏览及电子商 务应用等信息服务，实现了全球网页的连通：第三代i n t e r n e t 将“试图实现互联网 上所有资源的全面连通，包括计算资源、存储资源、通信资源、软件资源、信息 资源、知识资源等”，这就是网格( g r i d ) 【l 】。 两格突破了存储能力大小的限制，资源地理位置的限制，而且更重要的是它 打破了传统的共享或协作的限制。网格的根本特征并不一定是它的规模，而是资 源共享，消除了资源孤岛。我们可以构造地区性的网格、企事业内部网格、局域 网网格、甚至家庭网格和个人网格。 校园网作为互联网络的一部分具有分布范围较小、传播速度较快、资源易于 统一管理等特点，因此非常适合作为构建计算网格的实验床。而在校园环境内， 不同学科领域、专业、研究组的科学家和研究人员在开展他们的研究工作时，往 往需要计算机的海量存储、这也为校园存储网格的建设提出了应用需求。 校园网资源细分为教学资源、图书资源、数据资源、计算资源等，但在实际 中，资源并不是完全独立的，而是互相联系的不能认为某些资源是专门为哪些 网格服务而使用。教学网格服务可能会使用到教学、计算、科研、图书等资源， 在必要的情况下，还可能会用到其它校园网或者网格系统中世界其它地方的资源。 同样，计算网格服务、人事管理网格服务等的开发在对资源的使用上有着非 常大的灵活性，这充分体现了资源的共享在使用资源时，并不是直接来使用， 而是通过网格系统提供的网格服务来实现。 在网格中，物理资源经过了虚拟化，资源的物理特性大多被隐藏起来，但是 实际工作中，网格系统还是需要根据用户对资源物理特性的需求信息，比如处理 机的速度、剩余存储空间的大小、操作系统的版本等，帮助用户找到合适的资源。 而且在使用资源的时候，如果系统中的某一可用资源出现问题，用户可以得到有 别的可用资源，这样，就可以使存储网格将会比以往各种形式的海量存储方案更 可靠，拥有更强大的生命力 在实验室进行的存储网格项目中，我主要承担基于g t 4 的网格资源管理及事 件触发部分的实现，这两部分分别负责存储网格内部的资源监控及资源达到某一 预定条件时的事件处理，是存储网格项目实现的基础。 1 2 论文的主要研究内容与创新 1 2 1 论文的主要研究内容 本论文首先介绍了网格的定义、特点、意义，提出了建设网格应该注意的问 题，然后对网格建设的首要问题资源监测与资源发现进行了理论和体系结构的剖 析，并深入探讨了基于g l o b u st o o l k it s 4 的资源监测与资源发现的实现方法，最 后以存储网格为依托实现了资源监测与发现。具体研究内容如下： l 、对0 g s 网格服务体系结构以及它的具体实现模型0 6 s i 和w s r f 进行了研究； 2 、对基于赆r f 框架的g t 4 0 中的网格监控与发现系统的原理进行了研究与分析； 3 、分析资源监测与资源发现应解决的问题，确立资源监测与发现服务的设计目 标； 4 、在网格中间件g t 4 0 平台上进行完整网格用例的开发和部署，为在此平台上进 行后续开发提供开发样例； 部署实验室内部网格监控与触发系统，目前可以为存储网格系统提供各结点 磁盘信息、c p u 使用信息、数据传输状态信息和结点网格服务容器中服务列表信息 的实时监控功能。 1 2 2 论文的创新点 本论文的创新点如下： ( 1 ) 设计了资源监测与发现服务框架 将对资源监测与资源发现的理论研究付诸实践，设计了资源监测与发现服务 的框架，并首次把资源监测与资源发现联系起来实现了基本的资源信息服务。 ( 2 ) 运用与1 4 1 ) s 结合的方案实现资源监测器 g l o b u s 项目开发的g l o b u st o o l k i t 已经成为普遍使用的网格工具集，其信息 服务的核心帅s 提供了方便快捷的a p i 函数可以实现对网格中资源信息的提取， 但是使用这些a p 进行开发的资源监测器的实例少之又少，本文在对胁s 及l d a p 分析研究的基础上，实现了资源监测与触发器。 2 1 网格概述 2 网格基础 随着经济全球化和信息技术的深入发展，人们越来越需要在组织机构、区域 乃至全球范围内共享和交换信息。特别是在一些大型科学研究和工程领域中，一 些超大规模应用问题的解决往往需要多个机构合作和资源共享。这就需要一种技 术来将地理上分布、系统异构的多种资源通过高速网络连接起来，以获得复杂问 题的求解能力。这种技术被称为网格c g r i d ) 技术。网格对现有互联网进行了非 常好的管理，它把分散在不同地理位置的资源虚拟成为一台空前强大的超级计算 机，实现计算资源、存储资源、数据资源、信息资源、软件资源、通信资源、知 识资源和专家资源等的全面共享这些资源形成一个整体后，就可以向用户提供 前所未有的使用方便性和超强的计算能力。也就是说，在硬件方面，网格需要将 地理上分布在不同的地方的硬件资源，如网络、计算机、数据仓库以及可视化虚 拟现实显示仪等设备有机地连接起来；在软件方面，网格的作用就像一个操作系 统，它将因特网上的各种硬件和软件资源有机地整合起来，进行管理，以便这些 分散的部件能够很好地协同地运作。与当今的因特网相比，网格有了巨大的进步 和提高。当今因特网的主要功能是将分散的信息资源互联，以w e b 的方式将信息 发布给用户；而网格的目标却远不止这些，它不仅能够使全球范围内的资源互联 与共享，更能把分散在全球各个角落的网格节点的能力整合起来，形成一个强大 的合力，来应付解决未来更难、更复杂的问题因此，网格又被称为下一代的因 特网。它代表了面向因特网的分布计算技术的新趋势。 眼下，网格已经应用于社会的许多领域。在科学研究方面，如高性能计算、 高能物理、生命科学、协同数据共享等；在商业应用方面，支持协同设计、生物 制药、财务模型等。通过在各个领域的应用实践，网格得到了飞速地发展与推广。 人们在积累的经验知识中对它有了各种各样分类认识。值得注意的是，在现实的 网格应用中，网格的类型是没有很清晰的界限，往往是多种网格类型的结合。但 是，从各个不同的角度来认识网格对我们今后的网格应用的开发有着重要的指导 意义。纵观人们对网格的分类认识，不外乎有以下几种认识： ( 1 ) 数据网格主要研究数据的共享，即数据的表示、存储和访问。不论是 分布式计算还是信息整合，数据共享都是最基本的要求。网格中数据的特征表现 为分布、多组织、大规模、异构等特征。就其具体研究的内容而言，数据网格研 究的内容有：跨组织之问数据共享和管理、数据透明存储与访问、数据共享的安 全性等。 ( 2 ) 计算网格是研究网格环境下分布式计算体系结构。数据密集型计算是网 格最基础性的应用之一，也是网格发展最初致力于解决的问题。计算网格就是把 分散于网络各个节点的计算资源从高性能计算服务器甚至到个入计算机整合起 来，提供更高的计算能力，或者在成员问动态规划计算能力的分配。 ( 3 ) 信息网格的目标是支持用户有效共享和管理信息资源，为用户提供透明 的信息服务。相对于数据网格，信息网格更偏重于信息的整合。网格提倡的虚拟 化概念在信息网格中体现得较为突出。如在异构数据库整合应用中，通过建立虚 拟数据库，为用户建立一个全局的资源视图，使用户可以通过虚拟数据库获得需 要的信息。信息网格利用到了许多信息系统整合的技术。此外，信息网格还被应 用到数据碎片整理等方面当然，信息网格也迫切需要解决安全性等问题。 ( 4 ) 知识网格( 或称语义网格) 使用户能够有效地共享和管理知识资源，进 而为用户提供更高层次的知识服务。知识网格是近年发展起来的网格研究分支。 知识网格( 基本等同于语义网格) 集合了语义w e b 的研究，涉及本体、数据挖掘 等技术。研究内容主要包括：知识获取与知识表示的理论、模型、方法和机制， 知识可视化和创新，动态虚拟组织问进行有效的知识传播和知识管理，知识的有 效组织、评估、提炼和衍生，知识关联和集成。 2 2 网格技术的发展 网格的发展大致经历了三个阶段：计算网格、数据网格和服务网格。计算网 格的研究起步比较早，到现在已经发展的比较成熟。目前比较典型的计算网格平 台有g l o b u s 、l e g i o n 、l s f 等。其中，g l o b u s 是由美国阿岗国家实验室、南加州 大学和芝加哥大学联合开发的。该项目的初衷是为了满足分布式超级计算的需求。 它作为计算网格平台推出的成熟系统是g t 2 ，到目前为止，它已成为了计算网格事 实上的标准。数据网格平台的典型代表有g l o b u s 、欧洲数据网格项目中的g d m p 和 圣地亚戈超级计算中心( s d s c ) 的存储资源代理系统( s r b ) 。这些数据网格平台 都各自有自己的优势和不足。g l o b u s 的数据管理部件负责管理数据集的完整和部 分拷贝，用户根据需求创建一个完整和部分数据集的副本，在副本目录中记录这 些新的副本，用户和应用程序可以查询目录以获得一个特殊文件或者一个文件集 的所有副本，同时也根据网格中的信息服务提供的存储和网络特性来选择最佳的 备份访问。g d m p 实现了在广域网中不同节点之间，实现了在广域网中不同节点之 间进行面向对象的、大批量的自动、高效、容错、异步的数据备份。s r b 存储资源 4 代理系统是用途较广的数据网格软件之一。它为用户提供了一个访问文件系统、 档案系统、数据库系统等多种异构存储系统的统一接口，屏蔽了存储系统的异构 特性。它支持广域网环境下多种数据源的访问，提供了数据复制、副本访问、文 件的汇集、分布文件的逻辑集合等功能。此外，o r a c l e 和h p 企业在网格数据管理 方面也做了许多突出的工作。o r a c l e 已经在他们的新数据库系统o r a c l e l o g 中实 现了数据库的网格化，并能集成到g l o b u s 的平台下。h p 的公用数据中心( u d c ) 为用户提供了一个完全虚拟化的数据存储中心。当前，服务网格平台正处于研究 的高潮期，发展变化比较快。眼前服务网格平台的开发主要以0 g s a 框架作为基 础。国外主要有g l o b u st o o l k i t 、p y g l o b u s 、o g s i n e t 和u n i c o r e ，国内主要 有中科院计算所的v e g a 以及华中科技大学的h o w u 平台。目前由于o g s a 的核心规 范已经由o g s i 转向骼r f ，这些原来基于o g s i 的平台也开始过渡到w s r f 框架。 2 3 网格体系结构 网格计算是一门有着光明前途的新兴技术。不管是学术还是商业组织，他们 都在积极开发使用网格技术的应用程序。网格计算的定义多种多样，但究其本质 而言，网格计算是资源的联合加上这些资源的虚拟化，从而达到加速应用程序处 理、提高资源利用率等目的 然而，一大批异构、分布的资源组成了一个网格后，这些资源及其它们上所 提供的组件之问的互操作性就成为了网格系统运行的首要问题。这极大地促进了 开放网格服务架构( o p e ng r i ds e r v i c e sa r c h i t e c t u r e 简称o g s a ) 的出现。o g s a 是g l o b a lg r i df o r u m ( g g f ) 组织提出的重要标准，被誉为下一代的网格体系结构： 它是在原来g l o b u s “五层沙漏结构”的基础上，结合w e bs e r v i c e 技术提出来 的。 o g s a 包括两大关键技术即网格技术和w e bs e r v i c e 技术。以服务为中心是 o g s a 的基本思想，在o g s a 中一切都是服务。这里的服务是指具有特定功能的网络 化实体，包括各种计算资源，存储资源，网络，程序，数据库等等，总之，一切 都是服务。 为了使服务的思想更明确和具体，在0 g s a 中定义了网格服务( g r i ds e r v i c e ) 的概念。网格服务是一种w e bs e r v i c e ，提供了一组接口，这些接口的定义明确并 且遵守特定的惯例。在o g s a 中，将一切都看作是网格服务，网格就是可扩展的网 格服务的集合。网格服务可以以不同的方式聚集起来满足虚拟组织的需要。但是 这个集合不是一成不变的，是可以扩展的，这反映了网格的动态特性。网格服务 通过定义接口来完成不同的功能，服务数据是关于网格服务实例的信息，因此网 格服务可以简单地表示为“网格服务= 接口行为+ 服务数据”。 应用程序 o g s a 体系的服务 开发同格服务基础( o g s i ) 或w e b 资源框架( w s r f ) w c b 服务 o g s o g s a0 g s ao g s a0 g s a0 g s a 安全工作流数据库文件系统 目录消息 o g s a 化的服务器o g s a 化的存储器 o g s a 化的网络 图2 - io ( 3 s a 体系结构 o g s a 架构由四个主要的层构成，参见图2 1 ，从下到上依次为： l ，资源：物理资源和逻辑资源。 2 ，w e b 服务以及定义网格服务的0 g s i ，w s r f 扩展 3 、基于o g s a 架构的服务。 4 ，网格应用程序。 我们来逐一考察这些层： 物理和逻辑资源层： 资源的概念是o g s a 以及通常意义上的网格的中心部分。构成网格能力的资 源并不仅限于处理器。物理资源包括服务器、存储器和网络。物理资源之上是逻 辑资源，它们通过虚拟化和聚合物理层的资源来提供额外的功能。通用的中间件 比如文件系统、数据库、目录和工作流管理器在物理网格之上提供这些抽象服务。 w e b 服务层以及定义网格服务的o g s l ，w s r f 扩展： o g s a 架构中的第二层是w 曲服务。这里有一条重要的o g s a 原则：所有 网格资源( 逻辑的与物理的) 都被建模为服务。o g s i w s r f 规范定义了网格服务， 并建立在标准w e ；b 服务技术之上。o g s i ，w s r f 利用诸如x m l 与w 曲服务描述 语言( w e bs e r v i c e sd e s c r i p t i o nl a n g u a g e ，w s d l ) ，这样的w e b 服务机制为所有网 格资源指定标准的接口、行为与交互。o g s i w s r f 进一步扩展了w c b 服务的定 义，提供了动态的、有状态的和可管理的w 曲服务的能力，这在对网格资源进行 建模时都是必需的h 。 6 基于o g s a 架构的网格服务层t w e b 服务层及其o g s i w s r f 扩展为基于o g s a 架构的网格服务提供了基础 设旄。g g f 目前正在致力于在诸如程序执行、数据服务和核心服务等领域中定义 基于网格架构的服务。随着这些新架构的服务开始出现，o g s a 将变成更加有用 的面向服务的架构( s o a ) 。 网格应用程序层： 随着时间的推移，一组丰富的基于网格架构的服务不断被开发出来，使用一 个或多个基于网格架构的服务的新网格应用程序亦将出现。这些应用程序构成了 o g s a 架构的第四个主要的层。 3g i o b u s 及m d s 技术简介 3 1g i o b u s 项目简介 g t 4 ( g l o b u st o o l k i tv e r s i o n 4 ) 是基于o g s a 的结构模型的、构架网格计算平 台的工具包，也是目前最重要的网格应用开发软件包。g t 4 是一个组件的集合，主 要的组件有公共运行时组件、安全组件、数据管理组件、信息服务组件、执行管 理组件。 g l o b u st o o l k i t 工具包来源t - g 1 0 b t i s 项目，g l o b u st o o l k i t 是一个开放源码 的网格的基础平台，基于开放结构、开放服务资源和软件库，并支持网格和网格 应用，目的是为构建网格应用提供中问件服务和程序库。g l o b u st o o l k i t 具有较 为统一的国际标准，有利于整合现有资源，也易于维护和升级换代。现在，一些 重要的公司都公开宣布支持g l o b u st o o l k i t 。目前大多数网格项目都是采用基于 g l o b u st o o l k i t 所提供的协议及服务建设的。2 0 0 5 年1 月g l o b u s 推出了基于开放网 格服务体系结构o g s a 、支持网格服务的g l o b u st o o l k i t 4 o t _ 具包。g l o b u s t o o l k i t 4 0 ( 以下简称g t 4 ) 是髂r f ( - e bs e r v i c e sr e s o u r c ef r a m e w o r k ) 的第一个 参考实现。6 t 4 提供a p i 来构建有状态的w e b 服务，其目标是建立分布式异构计算 环境。所有知名的g t 3 协议都放重新设计为可以使用w s r f ，并且g t 4 也住其中增添 了一些新的w e b 服务的组件。 3 2g i o b u s 结构模块简介 g l o b 峭备个梗块之间的相互关系 圈3 - 1g t 4 中模块关系 f i g u r e 3 - 1t h ei v 1 a f i o n s h i pb f t w mt h e g t 4 3m a d a l e s 如图3 - 1 所示，g t 4 由信息管理、资源管理、数据管理及安全等模块组成。 信息管理包含两个模块：网格索引信息服务g i i s 和网格资源信息服务g r i s 。 g u s 是网格资源的信息注册处，相当于目录服务。g r i s 是网格资源信息收集者或信 息提供者，从g u s 中可以查询到特定的g r i s 的信息 资源管理模块包含资源协同分配器d u r o c 和g l o b u s 资源分配管理器g r a m 两部 分。g r a m 负责管理本地资源，d u r o c 实现跨节点的资源协同分配。 数据管理包含辅助存储全局访问g a s s 和6 r i d f t p ，支持数据的存储、传输、副 本管理等。g a s s 为远程文件访问提供了统一的接口，g r i d f f p 提供了网格环境下的 文件传输服务。 网格安全基础设施g s i 提供了在两格环境下的方便、安全的访问网格资源的功 能。 3 3m d s 4 技术 在网格中，物理资源经过了虚拟化，资源的物理特性大多被隐藏起来，但在 实际工作中，用户还是需要知道资源的有关物理特性的信息，比如处理器的速度、 内存空间的大小、操作系统的版本，以及当前的负载状况等，以便选择适合自 己使用的资源。网格中的信息可以分为静态信息和动态信息。信息管理模块就是 信息请求者和资源提供者之间架起的一座桥梁，为用户提供需要的网格信息。 9 监视与发现服务m d s ( m o n i t o r i n ga n dd i s c o v e r ys e r v i c e ) 是提供信息服务的 一个模块，主要任务是管理网格中的各种信息，其功能包括信息的发现、注册、 查询、修改、注销等。 3 3 1m d s 4 基本架构 g t 4 版本的m d s 称为m d s 4 或w s m d s ，基于g t 4 的w s c o r e ，使用 j a v a 、c 和p y i h 佃实现它执行w e bs e r v i c e sr e s o u r c ef r a m e w o r k ( w s r f ) 和 w s - n o t i f i c a t i o n 标准。m d s 4 中信息的“发现”通过一个可扩展的接口将w s r f 服务中的资源属性信息、执行本地程序所查询到的信息、第三方监控系统提供的 信息进行汇总。这些汇总后的信息，m d s 4 通过提供标准的w s r f 服务接口对信 息进行“监控”。其中，i n d e x 服务提供任意详细资源的查询、订阅功能；t r i g g e r 服务提供当资源状态所发生的变化达到我们提前设定的阙值时触发设定动作的功 能。 图3 - 2 m d s 4 基本架构 f i g u r v3 - 2m d s 4 sa r c h i t e c t u r e m d s 4 是一个“协议沙漏”，它定义了信息获取和传递的标准协议l ，j 。如图3 - 2 所示，对上层用户来说m d s 4 提供网格级的监控服务，它通过一个w e b 服务接口 将所搜集的信息提供给用户，用户可以向m d s 查询信息，也可以订阅感兴趣的资 源属性，即当所订阅的资源属性发生变化时用户可以得到通知对底层信息提供 l o 者来说，m d s 4 提供了标准的注册接口，使信息提供者有资格将信息提供给m d s 4 ， 信息提供者既可以是g l o b u s 服务( g r a m ，r f r ，r l s ) ，也可以是集群监控软件 ( g a n g l i ah a w k e y e ) 或队列系统软件( p b s ，l s f ) 等这些非g l o b u s 服务。对于注册到 m d s 4 中的信息提供者，其中是g l o b u s 服务的将通过w e bs e r v i c e 标准的订阅注册 通知接口被选择收集，非g l o b u s 服务的将通过g l u es c h e m a 的映射机制被采集。 3 3 2 岫s 4 功能实现 m d s 4 的功能实现很大程度上依赖于w s r f 和w s - n o t i f l c a t i o n 规范。上述架 构的实现包括信息提供者的注册机制，信息使用者的查询订阅以及被通知的机制 都可以看作是上述规范的应用。 w e b 服务资源特性( w s _ r 髑州_ c cp r o p e r t i 唧：定义了如何使用w e b 服务技术 来查询和改变与一个有状态资源相关联的数据。提供了一种标准的方法可以用于 关联数据和允许由客户端访问资源。w e b 服务资源的特性声明代表了w e b 服务 资源状态的一个投影或一个视图，这种投影又代表了可以通过w e b 服务接口定义 访问资源特性。 w e b 服务基本通知规范( w s - b a s en o t i f i c a t i o n ) ：定义一种获取资源属性信息韵 订阅通知接口。 w e b 服务服务组f w s - s e r v i c eg r o u p ) ：定义了一种方法将w e b 服务和w e b 服 务资源可以为了某个领域的特定目的而聚集或组合在一起。为了让请求者能够根 据服务组( s e r v i c e g r o u p ) 的内容进行有意义的查询，必须以某种方式来限制组中的 成员资格。对成员资格的限制是通过使用分类机制以级别表达的，而每个级别的 成员必须共享一组共同的信息来表达查询。 3 3 3a g g r e g a t o r 结构： m d s 4 的功能主要是建立在a g g r e g a t o rf r a m e w o r k 基础之上。如图3 - 3 所示， a g g r e g a t o r f i a m e w o r k 是一个软件框架，负责对a g g r c g a t o r 源中的数据进行搜集、 管理和编索引，这一过程我们称之为信息采集【6 】；并将这些资料发送给一个 a g g r e g a t o r 接收器进行处理，这一过程我们称之为信息发布。 m d $ 4 中的信息流如图3 - 3 所示： 任_ 目辫 煺删性 w 目噶e # i 矗序斯 t 圈医粤ii 淼。ji 女_ mil 塑 巢 陶陶闰 o r q 山m 柚 图3 - 3 如s 4 中的信息流 f i g u r e3 - 3i n f o r m a t i o nf l o wi nw s - m d s 在网格环境中资源发现的最终目的并不一定是发现新的资源，而应该是确定 哪些资源或资源的组合最适合完成某个任务，要求任务执行时间最短、利用资源 的效率最高【卯。要达到这一目的，我们首先需要得到一个网格环境中部分( 任务只 有使用某些资源和服务的权限) 或全部资源和服务信息的清单。这个清单中将包括 资源的静态信息( 例如c p u 数量、物理内存总量、虚拟内存、时钟速度以及可用磁 盘空间) 和动态信息( 例如可用c p u 数量当前资源的利用率队列中等待执行的作业 个数) 。 在m d s 4 中完成信息“发现”这一功能的组件我们称之为a g g r e g a t o r 源，m d s 中的信息是使用下列3 种a g g r e g a t o r 源进行注册： l 、查询( q u e r y ) a g g r e g a t o r 源，使用w s r e s o u r c e p r o p e r t y 机制对服务信息进行注 册，使之具有提供查询的功能； 2 、订i 弼( s u b s c r i p t i o n ) a g g r e g a t o r 源，它通过基于w s r f 的订阅通知机制对服务 中的资源信息进行注册，使得在资源信息值发生变化时用户可以接收到通知； 3 、执行( e x e c u t i o n ) a g g r e g a t o r 源，它执行一个管理员支持的程序去收集信息。 向a g g r e g a t o r 源提供信息的组件我们称之为信息提供者，每个信息提供者都 通过一个x m l 格式的注册文件与一个具体的a g g r e g a t o r 源建立联系。 1 2 暑 一 一 3 3 4i n d e x 和t r i g g e r 服务 m d s 4 提供两个基于w s r f 的高层服务如图3 3 所示：i n d e x 服务和t r i g g e r 服射“。通过前面的介绍我们已经解决了信息的来源和信息的统一格式问题，信息 的使用者如何使用这些信息我们下面将会介绍。 建立在a g g r e g a t o rf r a m e w o r k 上的服务通常被称为a g g r e g a t o rs e r l v i c l e s ，这些服 务一般具有三个共同点： 1 、通过a g g r e g a t o r 源收集信息。一个a g g r e g a t o r 源是一个j a v a 类，它实现了一 个接口( 定义为a g g r e g a t o r 框架的一部分) ，收集x m l 格式数据。 2 、他们使用统一的配置机制获得关于使用哪个a g g r e g a t o r 源以及相关的参数( 什 么数据被获得，并且从哪里获得) 的信息 3 、他们是自清除的。每一个注册都有一个生命周期。 i n d e x 服务从大量的a g g r e g a t o r 源中收集信息，并且将这些信息当作资源特性 来发布。客户端使用标准的w s r f 资源特性查询和提交，通知接口从i n d e x 服务接 收信息。i n d e x 可以在不同结点闯彼此注册，这样可以在不同层次聚合数据。i n d e x 服务是收集数据提供者的数据，为了保证数据提供者的访问策略，i n d e x 服务通常 选择以下两种模式：p u b l i ci n d e x ，i n d e x 服务中的数据可被任何访问它的用户查询； p e r s o n a li n d e x ，i n d e x 服务中的数据只可被授权用户查询 t r i g g e r 服务用于监视资源并跟踪所选择的资源属性，它可以通知订阅者属性 值发生了变化。与i n d e xs e r v i c e 类似，t r i g g e r5 b 器v i c e 也要从资源中搜集数据，同 时还要对所搜集的数据进行监视，这样就可以在资源状态到达某个极限值时执行 某些预定的操作。要采取的操作可以非常复杂例，如当利用率太高时提供更多资 源；也可以非常简单，例如邮件通知系统管理员某个文件系统已经满了。 前面在介绍a g g r e g a t o r 源时，我们已经介绍过信息提供者通过一个x m l 格式 的注册文件记录了该提供者所提供的信息、以及该信息应该注册的服务组和服务 配置参数。这个文档可以与m d s - s e r v i c e g r o u p - a d d 命令一起，建立网格资源与 a g g r e g a t o r 服务之间的联系。 在i n d e xs e r v i c e 中，将x m l 注册文件通过下列命令与i ) e f a u l t h d e x s e r v i c e 关 联，如下所示： $ g l o b u s _ l o c a t l o n b i n m d s - s e r v i c e g r o u p - a d d s 、 h t t p s ：1 9 2 1 6 8 ，0 1 5 ：8 4 4 3 w s r f s e r v i e e s d e f a u l t l n d e x s e r v i c e $ g l o b u s _ l o c a t i o n e t e d g l o l m sw s r fm d s _ a g g r e g a t o r e x a m p l e - a g g r e g a t o r - r e g i s t r a t i o n x m l 在t n g g e r s e r v i c e 中，m d s t r i g g e r s e r v i c e 通过w e b 服务提供此功能，客户 机使用这个w e b 服务来注册触发器事件。为了进行注册，客户机要提供程序的名 字、一个x p a t h 查询表达式以及一个值。当x p a t h 查询所返回的值等于注册时 所提供的值时就运行这个程序。m d st r i 鲫 s e r v i c e 通过对所搜集到的信息和在 m d s t d g g 豇s e r v i c e 注册和配置文件中所指定的条件进行比较来提供这种功能，如 下所示： $ g l o b u sl o c a t i o n b i n m d s - s e r v i c e g r o u p - a d d s h t t p s ：1 9 2 1 6 8 0 1 5 ：8 4 4 3 w s f f s e r v i c e s d e f a u l t t r i g g e r s e r v i c e 、 $ g l o b u s _ l o c a t i o n e t c g l o l m sw s r fm d s _ t n g g e r t r i g g e r - a g g r e g a t e r - r e g i s t r a t i o n x m l 1 4 4 存储网格资源监测与触发系统的设计 4 1 存储网格系统 4 1 1 框架及功能概述 存储网格可以构建在当前所有的硬件和软件平台上。在校园网上，可以利用 校园网内的资源建设校园存储网格，以此作为网格实验平台并向校园网内的用户 提供存储服务嘲 存储网格系统 j ，- j 图4 - 1 存储网格系统框架图 f i g u r e4 - 1s t o r eg r i d sa r c h i t e c t u r e 图4 1 显示了存储网格系统框架图，以下对整个框架进行简单介绍： 整个系统分为存储网格登陆界面、资源监测触发模块、网格安全模块、分发 及提取模块和数据库模块。 用户登陆网格系统时，界面模块首先根据安全模块分析该用户的身份是否合 法。正常登陆后，根据用户所属的级别，界面模块向监测触发模块、分发及提取 模块发出请求，两模块分别返回网格系统各结点的资源信息数据及该用户具有权 限的资源信息，界面模块分析两模块提供的数据后，以w e b 页面方式向用户进行 反馈。 1 4 4 1 2 校园存储网格的特点 校园存储网格的特点与校园网的特点和网格资源的特点分不开，校园计算网 格的特点可以概括为以下几个方面： ( 1 ) 覆盖范围小 ( 2 ) 网络带宽相对较宽、网速较快、网络延迟较小 ( 3 ) 资源相对集中，但具有定的分布 ( 4 ) 管理域是多级管理域，但不太复杂 ( 5 ) 校园网内资源的逻辑结构简单 ( 6 ) 资源具有动态性 4 1 3 校园计算网格应实现的功能 建设校园存储网格的主要目的是实现校园网内资源的广泛共享，满足不同层