（计算机应用技术专业论文）基于gt4的网格信息服务研究与改进.pdf

摘要 网格系统是共享因特网上分布式资源进行合作的新形式，g t 4 ( o l o b u st o o l k i t4 ) 是一 种被广泛接受的网格技术解决方案。信息服务是网格服务系统中的一个重要组成部分，而其 在g t 4 的实现存在一些局限性，如网状的逻辑结构、网络全拓扑，全复制式的信息服务同 步策略和没有节点失效处理等。其局限性的核心问题是它采用了全复制的信息服务同步策 略，这样就导致了网络上大量的通信代价，以此来换取信息服务的本地查询。本文以剑桥大 学的分布式弱一致数据复制算法为基础，并根据现实的应用场景提出了改进的算法。通过采 用改进的分布式层状弱一致复制协议作为m d s 的消息传播算法，从而达到通信代价和查询 时间的一种折中。接着，本文对改进后的分布式弱一致复制算法，进行了深入的讨论和分析， 并给出了详细的信息服务同步消息传播模型，以及仿真分析和比较。最后，本文针对信息服 务的特殊情况，采用了n s ( n e t w o r ks i m u l a t o r ) 模拟器对算法进行了模拟，并对实验结果 进行了详细的分析和讨论。 关键字：g t 4 、信息服务、消息传播、弱一致复制协议、n s 东南大学硕士学位论文 a b s t r a c t g r i di san e wp a r a d i g mo fi n t e r n e tc o m p u t i n gt os h a r ed i s t r i b u t e dr e s o u r c e sa n dc o l l a b o r a t e t h e m , a n dg t 4 ( g l o b u st o o l k i t4 ) i saw i d e l ya c c e p t e dr e s o l u t i o no f 鲥di m p l e m e n t a t i o n i n f o r m a t i o ns e r v i c ei sa l li m p o r t a n tp a r to ft h e 鲥ds y s t e m ，b u ti ng t 4i t si m p l e m e n t a t i o nh a s s o m ep r o b l e m s ，s u c h 私t h en e tc o n n e c t i o na r c h i t e c t u r e ，t h ew h o l et o p o l o g yo f t h en e t ，t h ea l l - c o p y s y n c h r o n i z a t i o ns t r a t e g ya m o n gi n f o r m a t i o ns e f 、，i c e sa n dn os o l u t i o nt od o w nn o d e s w h a tt h ek e y p r o b l e mi st h ea l l - c o p ys y n c h r o n i z a t i o ns t r a t e g ya m o n gi n f o r m a t i o ns e r v i c e s ，w h i c hh e l p st ol o c a l q u e r y i n ga tt h ec o s to fl a r g ec o m m u n i c a t i o nm e s s a g e s a tt h eb a s eo ft h ew e a k - c o n s i s t e n c y r e p l i c a t i o np r o t o c o l f o rd i s t r i b u t e ds y s t e m , c o n s i d e r i n gt h er e a la p p l i c a t i o nc o n d i t i o n s ，a n i m p r o v e dw e a k - c o n s i s t e n c yr e p l i c a t i o np r o t o c o li sp u tf o r w a r di nt h i sa r t i c l e u s i n gt h ei m p r o v e d p r o t o c o li nm d s ，ap e r f e c tb a l a n c eo fc o m m u n i c a t i o nc o s ta n dt h ef a s tq u e r yi sa c h i e v e d t h e n , t h ed e e pa n a l y z eo ft h ei m p r o v e dp r o t o c o li sc a r r i e d n t oe x e c u t i o n , a n dt h ed e t a i lm e s s a g e t r a n s f e r r i n gm o d e li sp u tf o r w a r dt o o f i n a l l y , n s0 q e t w o r ks i m u l a t o r ) i su s e dt os i m u l a t et h e n e t w o r kw h i c hu s e st h ei m p r o v e dp r o t o c o l ，a n dt h ee x p e r i m e n tr e s u l t s 锄七a n a l y z e dp a r t i c u l a r l y k e yw o r d s ：g t 4 ，i n f o r m a t i o ns e r v i c e ，m e s s a g et r a n s f e r , w e a k - c o n s i s t e n c yr e p l i c a t i o n p r o t o c o l ，n s i i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名：盛e l 期：趔 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学 位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。 本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外， 允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文 的公布( 包括刊登) 授权东南大学研究生院办理。 研究生签名：盛盔 导师签名： 轴趔丑 第一章绪言 1 1 研究背景 第一章绪言 网格是一种分布式基础设施，用来实现在动态的、跨组织边界的虚拟组织内的资源共享 与协同。松散耦合、异构和动态的环境，以及跨多个组织边界是网格区别于传统的分布式并 行系统的重要特征。网格研究来源于美国联邦政府过去十年来资助的高性能计算科研项目， 其最初的目的是将分布在各地的计算机资源包括c p u 、存储器等以及各种贵重设备，通过 高速的互联网组成充分共享的资源集成，整合其成为一台巨大的超级计算机。 随着网格技术的不断发展，“在动态变化的多个虚拟组织间实现一致的、柔性的资源共 享与协同问题”开始逐步被确定为网格的重点研究问题，将需要共享的动态资源从计算设施 扩展到了信息与服务【l 】。网格中的“虚拟的超级计算机”的管理范围进一步扩展到了数据、 信息、服务等资源，开始致力于实现计算资源、通信资源、存储资源、数据资源、信息资源、 服务资源等的全面连通与共享。可以说，i n t e m e t 实现了计登机硬件的连通，w e b 实现了网 页的连通，而网格试图实现互联网上所有资源的全面连通，因此网格也被视为下一代的万维 网( w e b ) 。随着网络服务( w e bs e r v i c e s ) 的兴起，其跨i n t e m e t 的互操作和协同能力为网格提 供了有力的支撑，因此，开放式网格服务体系( o g s i ) 被确立为网格计算的体系结构1 2 j 。我们 认为，以网络为基础的科学活动环境就是一种网格，而网络计算环境综合试验平台就是网格 开发、部署、运行和管理的支撑环境。 目前，网格的研究主要发生在美国和欧洲。英国政府己投资l 亿英镑，研制“英国国家 网格”( u k n a t i o n a lg r i d ) 。美国政府用于网格技术基础研究经费已达五亿美元。美国军方己 在规划实施一个宏大的网格计划，叫做“全球信息网格”( g 1 0 b a li n f o r m a t i o ng r i d ) ，预计在 2 0 2 0 年完成。作为这个计划的一部分，美国海军和海军陆战队己先期启动一个1 6 0 亿美元 的八年项目，包括系统的研制、建设、维护和升级。随着网格研究在学术界的加速，信息产 业界的大公司也相继公布了与网格目标一致的研究开发计划，如，m m 最近宣布投资4 0 亿 美元，启动一个全公司的“网格计算创新计划”，太阳微系统公司在2 0 0 0 年9 月公布了它 的网格引擎软件。 全球网格论坛( g l o b a lg r i df o r u m ) 是目前主要的合作组织，g g f 已经成为事实上的全球 性的网格技术标准化组织。近两年来，与网格相关的另外两个组织( p e e r - 2 p e e r w o r k i n gg r o u p 与n e wp r o d u c t i v i t yi n i t i a t i v e ) 也并入了g g f 。目前，国外已有多个网格软件系统的实现，如 研究界的g l o b u st o o l k i t , l e g i o ns y s t e m ，商业界的w e b s p h e r e ( i b m 公司) ，s u no n e ( s u n 公 司) ，n e t ( 微软公司) 等等。其中最具影响力的是o g s a 和g l o b u st o o l k i t ，已经成为g g f 的 主要参考标准。 总而言之，网格应用已经成为当前计算机技术发展的一个重要方向，而面向服务的开放 式网格服务体系是网格发展的趋势。信息服务作为服务信息组织和管理的基础服务，是面向 服务的网格系统的一个重要技术内容。随着网格应用需求的复杂化，应用资源的多样化，以 及与网络服务的结合，网格服务所提供的资源无论是数量还是复杂程度都有大幅度的提高， 提供分布式注册和动态发现的信息服务也就成为我们研究和实现的一个目标。 东南大学硕士学位论文 1 2 研究目标 网格技术使得网络上各种资源的共享和合作成为现实。这种共享和合作的关系可能是静 态的和长期的( 例如：一个公司或大学的主要研究机构之间) ，也可能是动态的( 例如：一 个全球范围内的科学研究机构合作组织) 。无论是上面哪种情况，都面临一个问题：在一个 虚拟组织内，一个用户并不知道其合作者所提供的资源的信息，更谈不上使用了。正因为此， 信息服务成为网格中不可或缺的部分，该服务提供分布式注册、动态发现资源、动态的监视 运行中的资源等功能。 信息服务在网格中有很多的应用场景，比如收集服务的信息、发现服务、对于应用服务 的动态反应、负载均衡和服务诊断等。这些场景虽然不同，但是根本上它们都是需要获取其 他服务提供者的信息，所以我们就需要提供一种机制，来实现服务消费者和服务提供者之间 的互通信，这种机制就是信息服务。信息服务是网格基础设施中至关重要的组件，其功能是 维护了关于资源可用性、处理能力、当前使用情况的知识。不论在哪个网格中，c p u 和数 据资源的情况都是不断变动的，这种变动是与处理任务和共享数据能力有关的。随着网格中 的资源不断被释放，资源的状态可以在网格信息服务中得到更新。之后，客户机、代理、网 格资源管理器等高级服务通过综合这些信息，才能进行资源的使用。 g l o b u s 中虽然提供了信息服务的模块m d s ，但是该模块只能适用于小规模的环境中， 不能推广到广域网中( 如：i n t e m e t 中) 。所以本文针对这个问题，对m d s 模块进行了深入 的研究，提出了对信息服务的改进。 1 3 研究现状 面向服务的网格体系结构中，将所有的资源都封装为服务的标准模式，系统对资源的定 义、注册、更新和发现也就相应的被封装为服务信息的创建、注册、更新和发现。信息服务 成为网格系统中，识别和调度网格服务的主要功能承担者。 在目前主要的网格系统中，都专门针对信息服务进行了研究和设计。在织女星网格中采 用了层状的组织结构，各服务管理节点存储了相近的部分网格节点的信息，采用类似路由器 的请求转发策略来实现服务的发现和访问。w e b 服务中的u d d i 标准构造的u d d i 注册中 心其实质就是一个信息服务中心，是对所有服务信息的集中式存储。在g l o b u st o o l k i t 中， 主要采用层次的，树型的信息组织方式，对信息的缓存、汇聚、管理等通过分布的网格服务 一索引服务( g r i ds e r v i c e i n d e xs e r v i c e ) 完成，可以访问各级索引服务所存储的服务信息。 本文主要通过研究g l o b u s 中信息服务的实现模型，并参考其他的信息服务模型，提出 对其的改进。 1 4 本文研究内容 通过对背景知识的学习和相关研究的分析，我们将提供分布式的服务注册和动态的服务 发现，其包括以下内容： 1 研究信息服务的框架，确定信息服务的技术要点。 2 研究理想状态下的信息服务的基本组成结构，主要包括：信息服务节点的网络和逻辑拓 扑结构信息，服务节点之间的消息传播机制和信息服务节点的管理机制。 3 在前者的基础上，研究信息网格应用场景下的服务组织和管理问题，主要研究如何实现 2 第一章绪言 分布式信息服务之间的消息传播、查询和安全控制，并对理想状态下的信息服务组织模 型和消息传播规范进行扩展和改进。 4 分析信息服务的主要算法和数据结构。 1 ) 针对g l o b u st o o l k i t 中信息服务的特性，对现有的信息服务组织模型提出改进，设 计可扩展的信息服务节点模型。 2 )设计信息服务节点组织结构，核心包含两大部分：信息节点树的构造和服务信息的 传播。 3 )通过总体结构的设计，进一步对各个服务的处理过程进行了详细的描述，主要的服 务信息管理接口包括：服务信息的注册、服务信息的更新、服务信息的撤销和服务 信息的查询( 服务注册和查询是信息服务的基础) 。 4 )对信息服务的管理，主要接口包括：信息服务的初始化、服务的备份、故障恢复、 信息服务的撤销和节点树重构。 5 )在n s 模拟器下，模拟运行改进的信息服务同步算法，测试其性能。 1 5 本文组织结构 本文共分为六章，每一章的内容安排如下： 第一章绪论，介绍了本论文的研究背景、研究目标、研究现状以及本文的主要研究内 容。 第二章相关技术介绍，介绍了网格的概念和结构，之后主要介绍了网格中信息服务模 块的相关研究。 第三章g t 4 中的信息服务，介绍了g l o b u s t o o l k i t 4 中的信息服务模块，并和以前的版 本进行了比较，最后深入介绍了g t 4 中m d s 的编程模型，并分析了其局限性。 第四章网格信息服务的关键技术研究，首先介绍了剑桥大学的弱一致复制算法，然后 结合网格中信息服务的实际情况给出了改进算法，最后对改进算法进行了深入的讨论。 第五章n s 下的模拟，首先简单介绍了各种网格模拟器，接着详细介绍了n s 模拟器， 然后运用n s 模拟器进行实验，最后对实验数据进行了详细的分析和讨论。 第六章总结和展望，对论文进行了总结，并提出了改进方向。 3 东南大学硕士学位论文 第二章相关技术介绍 2 1 网格的概念 网格之父f o s t e r 在1 9 9 8 年提出了网格的定义，即动态的、多机构虚拟组织之间的受控 协同资源共享以及问题的解决p j 。这些资源的概念非常广泛：包括计算资源、存储资源、应 用程序等资源，并且这些资源的共享通常在受控且定义良好的条件与策略下完成，这些共享 定义良好的条件和规则的组织、个体形成了一个个动态生成的“虚拟组织”【3 】。 我们可以把虚拟组织定义成：虚拟组织是为了按需解决特定的问题或者按需提供特定的 资源，动态创建的具有有限生命周期的逻辑实体。因而虚拟组织是个逻辑的概念，是根据具 体的网格资源消费者的需求来动态生成的，在每个具体的虚拟组织中各种不同的资源( 包括 计算资源、存储资源等) 都是具有特定目的。为了能够实现网格的目标：在虚拟组织之间协 同共享各种网格资源，在构建网格的基础设施中就必须解决下面几个关键的问题： 1 安全：网格资源提供者的目的是为了让网格资源在安全策略下进行受控的访问，包括资 源的安全访问和认证、安全联盟以及安全证书的管理。网格安全基础设施( g r i ds e c u r i t y i n f r a s t r u c t u r e 。g s i ) 提供了单点登陆、不同平台集成以及安全资源访问认证的能力。从 虚拟组织的定义来讲，同一个虚拟组织共享了相同的安全策略。 2 信息服务：网格提供了一个中间件使得网格资源消费者和网格资源提供者能够对网格资 源的利用进行协商( s e r v i c e l e v e la g r e e m e n t , s l a ) ，信息服务为这种资源利用的协商提 供了最基本的功能：网格资源描述信息的聚集和网格资源描述信息的分类，从而网格资 源的消费者可以很方便的获取网格的资源情况。网格监控和发现服务( m o n i t o ra n d d i s c o v e r ys e r v i c e 。m d s ) 和数据聚集器( d a t a a g g r e g a t o r ) 提供了信息服务的功能。 3 资源管理：网格中存在数量惊人的且不同类型的潜在网格资源，这些异构的、分布的、 动态变化的网格资源为网格资源的管理提出了严重的挑战。网格的资源管理关心四个基 本问题：网格资源的发布、网格资源的发现、网格资源的分配和任务的调度。网格资源 管理服务( g r i dr e s o u r c ea l l o c a t i m a n a g e m e n t ，g r j m ) 结合网格监控和发现服务 ( m o n i t o r a n d d i s c o v e r y s e r v i c e ，m d s ) ，为网格资源消费者提供了健壮的网格资源管理 功能。 2 2 网格服务体系结构 网格是近年来逐渐兴起的一种i n t e m e t 计算模式，其目的是为了在分布、异构、自治的 网络资源环境之上构造动态的虚拟组织，并在其内部实现跨自治域的资源共享与资源协作， 有效地满足面向互联网的复杂应用对大规模计算能力和海量数据处理的需求。网格计算的理 想目标是使网络上的所有资源易于协同工作，服务于不同的网格应用，实现资源在跨组织( 自 治域) 间应用的共享与集成。 网格研究源于分布式元计算，早期的网格研究( 如g l o b u s 【l 冈，l e g i o n t a l ，c o n d o r 5 】等) 多集 中研究“计算力”资源的共享和集成。目前，应用资源的多样性为网格研究带来新的机遇和 挑战，需要网格技术对异类、异构的网络资源提供无缝的共享和集成支持，这些资源不仅包 括计算、存储、大型仪器等物理资源，也包括网络带宽、软件服务等逻辑资源。因此，如何 4 第二章相关技术介绍 建立开放、可扩展的网络中间件体系结构，以满足对各类网络资源的共享与集成需求，成为 网格研究的一个根本问题。 在早期的网格研究中，为了简化网格应用的开发，许多研究工作致力于提供网格中间件， 以提高网格应用的开发、部署和管理效率，解决网格应用的共性问题，典型的工作有g l o b u s , l e g i o n ，c o n d o r 等。但是，由于不同网格中间件系统的核心协议具有独立性，不同的中间件 系统通过各自的方式实现资源管理、任务提交、监控和容错等核心功能，这样基于不同中间 件系统的网格应用之间就难以互操作；另一方面，由于早期中间件系统未能给出明确、一致 的功能扩展机制，即使基于同一中间件系统的网格应用系统在扩展应用需求功能时，采取的 扩展方式也不一致，使得网格系统之间的互操作问题日益突出。这些问题导致网格应用之间 互相孤立，进而使跨自治域的应用资源共享和集成变得异常复杂，逐渐背离了网格计算构造 “全球统一的资源池”这个最终目标。2 0 0 0 年以来，一些研究工作致力于解决此类网格系 统间的互操作问题( 如c o n d o r - g 【6 】，g r i p 等) ，但这些工作的研究重点放在如何实现不同网 格中间件系统间的互操作，无法从根本上解决应用网格间的互操作问题。 近年来，w e b 服务技术得到快速发展和应用，并得到学术界和产业界的广泛认可。目 前，基于w e b 服务的应用中间件技术和系统己较为成熟，如a p a c h e 的a x i s 。s y s t i n e t 公司的 w a s p ，m m 的w s t k 和w e b s p h e r ew e b 服务扩展等。 将w e b 服务技术引入网格研究领域，有助于解决网格研究所面临的应用集成、资源共 享、系统互操作和标准化等问题。目前，一些研究工作也从不同的角度尝试借助w e b 服务 来部分解决网格系统的互操作性，如u n i v e r s i 哆o f s o u t h a m p t o n 对c o n d o r 的w e ；b 服务封装【_ 7 1 ， u n i v e r s i t yo f c a l i f o m i a 的批处理脚本生成服务【引。m i c r o s o f tp h i l i p p i n e 的b a y a n i h a n c o m p u t i n g n e t t 9 等。2 0 0 1 年，f o s t e r 提出了开放的网格服务体系架构( o p e ng r i ds e r v i c e a r c h i t e c t u r e ，简称o g s a ) 1 0 , 1 1 】，将w e b 服务的互操作模型引入到网格研究中，确立了w e b 服务作为网格资源的新的抽象形式和构造基础。在2 0 0 3 年3 月的g g f 7 上，o g s a 己经成 为目前网格研究的主流方向。w e b 服务技术极大地增强了网格协议和服务的互操作性，也 为网格应用提供了一种统一的功能扩展机制，领域相关的功能可以通过引入新的应用服务扩 充到网格系统中，而新引入的服务与其他网格服务之间的交互则采用一致的服务交互模型。 这种融合不仅解决了网格间的互操作问题，而且也使网格应用不再局限于科学计算方面，基 于w e ；b 服务的网格应用可能扩展到电子商务、电子政务等更广泛的领域。 o g s a 提出了w e b 服务在网格基础架构中的中心地位，但是，它并没有明确指出w e b 服务如何直接应用于网格系统构造和网格平台建设。2 0 0 2 年以来，一系列研究工作在o g s a 的框架下开展，许多工作仍是在己有的中间件研究基础上进行，如在网格平台体系结构研究 方面，只是从不同侧面探讨了基于w e b 服务的网格平台的功能需求、体系结构和实现技术， 典型的工作有g t 3 、i c e n i t l 2 j 和c r r i 一”1 等。 本节分析了基于w e b 服务的网格平台研究现状，给出了网格平台的功能需求模型。下 面我们给出信息服务的特性和国内外相关的技术工作。 2 3 信息服务相关研究 作为网格服务的基础，信息服务担负着所有服务的发现、注册、维护和管理工作，是直 接与开发平台、运行支持环境相关的首要的服务。针对信息服务的特征和需求，在网格应用 和网络服务应用中的典型项目中逐渐形成了了几种相应的信息服务组织模式，比较常见的包 括u d d i ( 通用描述发现集成协议) 注册中心，g l o b u st o o l k i t 的g r i s g i s 组件，织女星中面 向服务发现的组织结构和对等的p 2 p 信息服务等等。 u d d i 注册中心：u d d i 是一套基于w e b 的、分布式的、为w e b 服务提供信息注册中 5 东南大学硕士学位论文 心的实现标准规范，同时也包含一组访问协议的实现标准。它主要用于解决当前基于互联网 的电子商务和电子政务中存在的互操作性问题。u d d i 通过一个物理上分布、逻辑上集中的 注册中心和对应用服务进行描述的统一的x m l 应用程序来实现的。其中，注册中心是其核 心组件，它由很多提供u d d i 注册服务的服务器所组成，成为一个集群。对于应用于局域网 内的注册中心，尽管可能只有一个服务器所组成，但是它们的数据结构以及访问手段都是一 致的。u d d i 注册中心要求网格系统中遵从共同的安全和信任机制，但是位于公网的安全信 任管理目前并没有实现，所以在u d d i 注册中心的基础上又出现了私有u d d i 注册中心与公 有u d d i 注册中心相结合的模式：即在每个独立的虚拟组织内部实现一个私有u d d i 注册中 心，然后由该注册中心与公有注册中心之间进行信息的交互与同步，保障私有注册中心的自 治权力。但是私有注册中心对服务定义的g i d 与公有注册中心的统一g i d 往往会产生冲突， 其安全信任机制也还需要进行大量的工作。 织女星：织女星采用层状结构，各服务管理节点存储了相近的部分网格节点的信息，采 用类似路由器的请求转发策略来实现服务的发现和访问。 对等的p 2 p ：信息服务节点之间采用完全的对等身份进行通信，能够提供纯分布式的信 息服务，很好地解决了规模化的问题，但是同时带来了信息使用的低效性。 g l o b u st o o l k i t ：在g l o b u st o o l k i t 的各个版本中，都专门提供了信息服务的模块或组件， 在第三章将详细介绍。 6 第三章g t 4 中信息服务 第三章g t 4 中信息服务 3 1g t 中信息服务模块 3 1 1g t 4 之前版本 v e r s i o n1 o ：采用集中式的l d a p 系统存储信息，将全局信息集中到一个网格节点，所 有信息访问和操作都通过此节点完成。 v e r s i o n2 0 ：分布式l d a p 系统存储信息。采用层次的，树型的信息组织方式，许多信 息的访问与查询可以通过树型中的“父节点”进行，而不必完全通过树型的“根节点”完成。 v e r s i o n3 0 ：仍采用层次的，树型的信息组织方式，对信息的缓存、汇聚、管理等通过 分布的网格服务一索引服务( g r i ds e r v i c e - i n d e xs e r v i c e ) 完成，可以访问各级索引服务的信 息。 3 1 2g t 4 中信息服务模块 1 综述 目前最新的网格体系结构是，2 0 0 4 年初提出的w s r f ( w e bs e r v i c er e s o u r c e f r a m e w o r k ) 结构，是表示有状态资源和w e b 服务之间关系的一种新方法，是网格技术 与w e b 服务相结合的具体体现，也是网格技术发展史上的一座里程碑。w s r f 较以前 的o g s i ，给出了完全不同的定义：资源是有状态的，服务是无状态的。w s r f 中把 w e bs e r v i c e 和表示状态的数据分割开来，这样一方面可以直接把w e bs e r v i c e 的低层标 准和协议直接拿来用，另一方面也通过有状态的数据来实现了服务的状态。 g t 4 是基于w s r f 的实现，g t 4 中信息服务的组件只有一个：监控与发现服务 ( m o n i t o r i n ga n dd i s c o v e r ys e r v i c e ，m d s ) 。m d s 4 是由一组用于在网格上监控和发现 资源和服务网格服务组成的，提供用户在虚拟组织v o ( v i r t u a lo r g a n i z a t i o n ) 内对资源 的发现和监控。m d s 4 提供了对任意资源的查询和订阅的接口，同时也提供了在资源上 建立触发器的机制。m d s 4 上注册的所有服务，都可以通过m d s 4 的可扩展的接口获 取这些服务的信息。 2 m d s 4 服务 m d s 4 包括2 个基于w s r f 的服务：索引服务( i n d e xs e r v i c e ) ，负责收集各种资 源的信息并提供查询订阅的接口；触发器服务( t r i g g e rs e r v i c e ) ，当收集的资源信息 符合用户定义的某种条件时，就触发相应的动作收集相应的信息。存档服务( a r c h i v e s e r v i c e ) ，服务记录历史数据，将在以后的版本中实现。 索引服务类似于u d d i ，是一个注册器，但是它比u d d i 更灵活。索引服务收集和 发布的信息称为资源属性( r e s o u r c ep r o p e r t i e s ) 。客户端可以通过标准的w s r f 资源 属性查询和订阅接口，向索引服务索取信息。索引服务之间也可以相互注册，从而形成 一定的组织结构，如层次结构。但是，m d s 4 提供的这种层次结构组织方式的功能是有 限的：首先，m d s 4 中索引服务之间的信息同步采用的是全复制方式，这样就带来了大 7 东南大学硕士学位论文 量的同步开销：其次，这种组织结构的构建是由用户负责的( 详见丝节) ，没有严格 的算法来保证其结果，最后往往形成网状的结构：然后，这种组织结构没有维护算法， 无法处理节点失效等问题。这些问题导致了g t 4 无法适用于广域网。每个注册的索引 服务都是有生命周期的，如果一个注册的索引服务在其生命周期到期前没有刷新的话， 就将被清除。每个g l e b u s 容器都自带m d s 4 模块，当g l o b u s 容器启动时，都会自动启 一个缺省的索引服务实例。这样，其他的运行的服务( 如g r a m 。r f t 或者c a s ) 都将 向这个缺省的索引服务注册。 触发器服务也是负责收集信息的，不过它采取另一种方式：通过查询配置文件的条 件是否满足，从而采取相应的响应，比如当服务器的空间不足时，向系统管理员发送邮 件。 3 m d s 4 聚集框架 m d s 4 的聚集框架( a g g r e g a t o rf r a m e w o r k ) 是一个用来建立收集和聚集数据服务 的架构。在聚集框架中，象索引服务和触发器服务这样的服务，一般被称为聚集服务 ( a g g r e g a t o rs e r v i c e ) ，这些聚集服务有下列共性： 1 ) 都通过聚集源( a g g r e g a t o rs o u r c e ) 来收集信息，聚集源实质是一个实现了聚集框 架定义接口的j a v a 类，该j a v a 类负责收集x m l 格式的数据。 2 )都使用相同的配置方法来获得聚集源的信息以及聚集源相关的参数。聚集框架中 w s d l 定义了拥有配置信息和数据的聚集服务组的入口类型，客户端管理程序使 用标准的w s r f 服务组注册机制，把这些入口类型注册到聚集服务中。 3 )都是自清理的( s e l f - c l e a n i n g ) ，每个注册都有一个生命周期。如果一个服务注册过 期了仍没有刷新，则该服务以及和它相关的数据都会被清除。 4 信息提供者 上面提及的聚集源( a g g r e g a t o rs o u r c e ) 获取信息的实现，会使用到信息提供者 ( h f o r m a t i o np r o v i d e r ) 。信息提供者是一些外部的软件构件，比如它可以是一个可执行 的程序，负责抽取信息提供给聚集源。目前，m d s 4 包括一下的几种信息提供者： 1 ) h a w k e y e 信息提供者：使用g l u e 模式的x m l 映射，处理聚集到的c o n d o r 资源 的h a w k e y e 数据，并把这些数据报告给g r a m 服务，然后g r a m 服务可以发布 其资源属性( r e s o u r c ep r o p e r t i e s ) 。h a w k e y e 信息提供者可以提供的信息如下：基 本的主机信息( 主机名，m ) 、处理器信息、内存信息、操作系统及其版本、文件 系统数据、处理器负载和其他基本的c o n d o r 主机数据。 2 ) g a n g l i a 信息提供者：使用g l u e 模式的x m l 映射，聚集安装集群监测工具g a n g l i a 的集群的数据，并把这些数据报告给g r a m 服务，然后g r a m 服务可以发布其资 源属性( r e s o u r c ep r o p e r t i e s ) 。g a n g l i a 信息提供者可以提供的信息如下：基本的主 机信息( 主机名，d ) 、内存信息、操作系统及其版本、文件系统数据、处理器负 载和其他基本的集群的数据。 3 )网格资源配置管理器( g r a m ) ：遵循标准的g t 4 的组件，这个w s r f 服务负责 发布本地的调度信息。g r a m 可以提供的信息如下：队列信息、可用的c p u 数目、 作业的信息和一些内存数据。 4 )可信文件传输服务( r f t ) ：g t 4 的文件传输服务组件。r f t 可以提供的信息如下： 服务器的状态数据、文件的传输状态、活动的传输数目和运行服务的资源的一些状 态信息。 5 )通信认证服务( c a s ) ：这个w s r f 服务负责发布一个虚拟组织( v o ) 的识别信 息。 6 )任何其他可以发布资源属性的w s r f 服务。 8 第t 章g t 4 中信息服务 5 w e b m d s 明户搂l | w e b m d s 此一个用丁浏览w s r f 资源属性的w e b 接n ，它是个时户友好的 访问索引服务的接f 1 。w e b m d $ 使川标准的资源属性请求硅f 询井h l 以川多种格式 髓币数据。 6m d s 4 实现过样 g t 4 中m d s 4 的实现过程如f ：首先每个信息源根据其要提供资源信息的模式， 向相向的资源信息聚集服务泣册( 如一个信息源h 需要提t i 它的资源信息供布询，就向 m d si n d e x 注册；如 个信息源的某个资源信息发乍变化要触最某个动作就向 m d s t r i g g e r 注册) ：其扶，每个注册都楚育生命周期的，f ：息源需监定时的向资 1 5 | 信 包集集服务注册过埘的信息 ；| 将被删际，从而实现资源】动态加入和离j l ：信息源定 期的向资源信息聚集服井捉供最新的资源j i 息，提供信息的模式是“推”还楚“拉”是 i h 信息游决定的；然 i ，资源信息聚集服务把服务信息存八本地的x m l 服务器，再个 小目的资源信息聚集服井而通过同步机制完成个v o 内信息的同步：蛀后，资源能包 聚集服务通过开放相戍的w e bs e n i c e 接u ，发布其收集剑的资源信扈，如图3 】所示。 劁3 ig t 4 中m d s 的局部架杠j 7 m d s 4 的组织结构 按照上述的注册方式+ m d s 4 最终将形成一个喇就的组织结柑，如幽3 2 所不 东南大学硕士学位论文 图3 2m d s 4 的组织结构图 每个节点上的索引服务向其他索引服务注册，从而形成网状的组织结构。各个索引 服务之间的信息同步采用的是定期的全一致复制协议。通过以上的描述，可以看出 m d s 4 中，每个节点都定期同步，这种分散的，端对端的同步方式不仅造成资源的重复 浪费，而且当规模增大时，将造成网络上的巨大开销。这就是本文研究的重点，本文考 虑在广域网环境下，在g t 4 的基础上研究和实现一个具有可扩充性、高可用的，并具 有较高性能的一个信息服务。 3 1 3g t 各版本中m d s 的比较 1 g 1 2 和g t 4 比较 虽然g t 2 和g t 4 在基本功能上是一样的，但是他们在结构、使用的标准和实现都 存在很大的区别，如表3 1 所示： 2 g t 3 和g 门m 比较 虽然g t 4 和g t 3 中m d s 的基本功能一样，但是他们的架构改变了，从g t 3 中的 o g s i 转换为g t 4 中的w s r f 。在o g s i 中，服务的信息是服务数据( s e r v i c ed a t a ) ： 在w s r f 中，服务的信息是资源属性( r e s o u r c ep r o p e r t i e s ) 。资源属性和服务数据是 很相似的，都使用了x m l 格式描述网格资源的各种数据、以及相关的查询和订阅通知 的接口。 g t 4 中的索引服务提供了和g t 3 中索引服务相同的功能，但是g t 4 中的索引服务 提供的服务注册、资源属性查询和订阅通知机制都是基于w s r f 的，而g t 3 都是基于 o g s i 的，区别如表3 - 2 所示： 1 0 第三章g t 4 中信息服务 表3 1g t 2 和g t 4 比较表 描述g t 2g t 4 描述资源的数据l d a p 的数据层次格式x m l 的数据文档 格式 查询语言l d a p 查询x p a t h 查询 查询的数据格式 l d a p w s r e s o u r c e p r o p e r t i e s 查询的a p i s l d a pa p i sw sc o r e a p i s 客户端命令行查g r i d i n f o s e a r c h w s r f - g e t - p r o p e r t y , w s r f - g e t - p r o p e r t i e s ， 询 w s r f - q u e r y g u i s l d a p 浏览器 w e b m d s 订阅通知 不支持 w s o n o t i f i c a t i o n 订阅通知a p i s不支持w sc o r e a p i s 安全支持使用x 5 0 9 、代理和主机认证使用x 5 0 9 、代理和主机认证的基于 的基于s a m l 的安全机制h t t p s 的安全机制 对聚集信息索引g i i s ，使用l d a p 相关的标准m d s 聚集服务，使用w s r f 相关的 的查询发布信息标准发布信息 对非聚集信息的g r i s ，使用信息提供者收集服单独的w e b s e r v i c e ，使用w s r f 相 查询 务信息，然后使用l d a p 相关关标准发布他们自己的信息 标准发布 注册机制m d s 服务向g i i s 注册。一个m d s 索引服务持有聚集的服务的注 m d s 服务通过编辑文件 册信息( 生命周期、获取信息的机 g r i d - i n f o - r c s o u r c c - r e g i s t c r c o n f 制和附加参数) 。使用 ( 文件中包括要注册的索引 m d s s e r v i c e g r o u p - a d d 命令，注册就 的位置以及注册的生命周期) 可以完成。服务都是向容器中缺省 向索引注册的索引服务注册的。 收集信息的机制g i i s 向信息收集者发送l d a pm d s 索引服务使用基于插件的架构 查询支持多种收集信息的机制。g l o b u s t o o l k i t 提供轮询、订阅通知和编程 执行这几种机制。 东南大学硕士学位论文 表3 2g t 3 和g t 4 比较表 描述 g t 3g t 4 查询操作f i n d s e r v i c e d a t a ( 通过名字 g e t r e s o u r c e p r o p e r t y ( 通过名字获取一个单 获取一个单个的服务数据独的资源属性) 元素或者执行x p a t h 查询)g e t m u l t i p l e r e s o u r c e p r o p e r t i e s ( 通过名字获 取多个资源属性) q u e r y r e s o u r c e p r o p e r t i e s ( 对资源属性执行 x p a t h 查询) 查询的o g s ic o r ea p i sw sc o r e a p i s a p i s 客户端命o g s i - f m d - s e r v i c e - d a t a w s r f - g e t - p r o p e r t y , w s r f - g e t - p r o p e r t i e s ， 令行查询 w s r f - q u e r y g u i sg l o b u s s d b 和w 曲s d bw | e b m d s 订阅通基于o g s i基于w s r f 知操作 订阅通o g s ic o r ea p i sw sc o r e a p i s 知操作 a p i s 注册机制 g t 3 服务配置了向索引服m d s 索引服务持有聚集的服务的注册信息 务注册 ( 生命周期、获取信息的机制和附加参数) 。 使用m d s - s e r v i c e g r o u p - a d d 命令，注册就可 以完成。服务都是向容器中缺省的索引服务