（计算机应用技术专业论文）基于mesh结构的网格资源发现和管理.pdf

基于m e s h 结构的网格资源发现和管理 基于m e s h 结构的网格资源发现和管理 摘要 在如今大规模网格环境下，如何快速、准确的进行资源发现并能够对其有 效的管理对于一个网格系统的部署起着至关重要的作用。虽然目前的资源发现 和管理模型，如集中式、分布式、层次式和基于多a g e n t 式等，为我们提供了 多种形态的发现和管理资源的策略，但是却没有为我们提供一种对智能化宏观 调控、快速响应资源变动等需求的整合。同时，由于网格与p 2 p 网络的相似性 与互补性，两者的融合己逐渐成为学术界的共识。因此，本文针对目前在网格 资源发现和管理方面的需求和存在问题，提出了一种基于改进的p 2 p 结构 m e s h 结构的网格资源发现和管理方法。 本文首先提出了基于m e s h 结构的网格资源发现和管理模型，在中央节点 之外，引入了超级节点的概念，将整个资源搜索过程分为本地搜索和全局搜索。 在该模型基础之上，提出了基于q o s 的网格资源请求处理方法，按网格用户的 资源q o s 需求对其请求进行资源查找和匹配，在v o 层基于服务等级和c a c h e 技术转发请求，并对返回的资源发现结果进行进一步选择排序。接着，针对网 格资源异构和动态变化的特点，给出了网格资源状态的监控和动态维护的方法。 最后，基于对a m s 应用背景的需求分析和上述理论研究，提出了校园网格平 台的整体设计方案，并对其中的资源发现和管理模块作了详细设计和实现。 通过对模型的分析和原型系统的实现，验证了该资源发现和管理方法的灵 活性和有效性，并能为a l m s 海量数据计算环境提供有利的支持。 关键字：网格计算、资源发现和管理、m e s h 、q o s 东南大学硕士学位论文 m e s h b a s e dg r i dr e s o u r c ed i s c o v e r ya n dm a n a g e m e n t a b s t r a c t r e s o u r c ed i s c o v e r ya n dm a n a g e m e n ti nc u r r e n td y n a n l i ca n dh e t e r o g e n e o u s g r i d e n v i r o n m e n ti s v e r yc h a l l e n g i n g a ne f f i c i e n t r e s o u r c e d i s c o v e r ya n d m a n a g e m e n ts c h e m ei sc r u c i a li nd e p l o y m e n to fa 班ds y s t e m a l t h o u g hs c h o l a r s d i dag r e a td e a lo fr e s e a r c hw o r k so ni t ，w es t i l ll a c kp r o p e rr e s o u r c ed i s c o v e r ya n d m a n a g e m e n tm o d e lt op r o v i d ei n t e l l i g e n tg l o b a la d j u s t m e n ta b i l i t ya n dr e f l e c t i o n a b i l i t yt or e s o u r c ei n f o r m a t i o nd y n a m i cc h a n g e s b e s i d e s ，m o r ea n dm o r ep e o p l e f o c u s0 1 1t h ec o m b i n a t i o no f p 2 pa n dg r i d r e f e r r i n gt oc u r r e n tr e s e a r c hr e s u l t s ，t h i s p a p e rp r e s e n t sam e s h - b a s e dg r i dr e s o u r c ed i s c o v e r ya n dm a n a g e m e n tm e c h a n i s m , w h i c hc o m b i n e st h ea d v a n t a g eo f c e n t r a l i z e dm o d e la n dp 2 pm o d e l f i f s t l y , am e s h - b a s e dr e s o u r c e sd i s c o v e r ya n dm a n a g e m e n tm o d e li sp r o p o s e d b a s e do nt h i sm o d e l ，aq o s - b a s e dg r i dr e s o u r c ed i s c o v e r ym e c h a n i s mi si n t r o d u c e d i nt h i sm e t h o d , m a n a g e rl o o k u p sa n dm a t c h e sr e s o u r c ea c c o r d i n gt ou s e r sq o s d e m a n d ，a n df o r w a r d sr e q u e s tb a s e do ns e r v i c el e v e la n dc a c h et e c h n i q u e si nv o l e v e l ，a n dm o r e o v e r , r a n kt h er e t u r n e dr e s o u r c eq u e r yr e s u l t s i no r d e rt oe f f i c i e n t l y m a n a g et h eh e t e r o g e n e o u sa n dd y n a m i c 鲥dr e s o u r c e , as t r a t e g yo fr e s o u r c e m o n i t o r i n ga n ds t a t u sr e f r e s h m e n ti s a l s og i v e n f i n a l l y , s e u g r i dp l a t f o r mi s d e s i g n e da n di m p l e m e n t e d , w h i c hs u p p o r t sa m se x p e r i m e n t t h e o r e t i c a la n a l y s i sa n ds y s t e mi m p l e m e n t a t i o np r o v e dt h a tt h em o d e li sr o b u s t a n de f f i c i e n t ，a n ds u p p o r ta m ss c i e n c ec o m p u t i n g k e y w o r d s ：g r i dc o m p u t i n g , r e s o u r c ed i s c o v e r ya n dm a n a g e m e n t ，m e s h ，q o s i i 东南大学硕士学位论文 缩略语和术语 g r i dc o m p u t i n g v i r t u a lo r g a n i z a t i o n ，v o o p e ng r i d s e r v i c e a r c h i t e c t u r e ，o g s a o p e ng r i ds e r v i c e si n f r a s t r u c t u r e ，o g s i g r i d q o s g l o b u s g r m o n i t o r i n ga n d d i s c o v e r ys e r v i c e ，m d s u d d l， e x t e n s i b l em a r k u pl a n g u a g e ，x m l l i g h td i r e c t i o na c c e s sp r o t o c o l ，l d a p d n s p e e r - t o - p e e ep 2 p t i m e - t o - l i v e , 刀z m r m d s s u p e r - n o d e , s n c e n t e r - n o d e , c n a l p h am a g n e t i cs p e c t r o m e t e r , a m s s o c c o m p u t i n gm a n a g e m e n tc e n t e r , c m c s e r v i c el e v e l , 龀 肘c 网格计算 虚拟组织 开放网格服务体系架构 开放网格服务基础设施 网格服务质量 最具影响的网格研究项目 g l o b u s 工具包 g l o b u s 中的监控与发现服务 统一描述、发现与集成协议 可扩展标记语言 轻量目录访问协议 域名服务系统 对等网 生存时间 基于m e s h 的网格资源发现与管理 超级节点 中央节点 a l p h a 磁谱仪，一个大型物理实验 数据分析和处理中心 计算管理中心 服务等级 蒙特卡罗仿真 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽j 钿，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究 也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的f 时本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件j 产文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的p 目一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文自 耶或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。 期： 第一章绪论 1 1 研究背景 第一章绪论 网格，“就是一个由硬件和软件系统组成的架构，它可以提供可靠的，协调 的，无处不在的和低廉的高端计算能力。”【l 】它利用连接到网络上( 通常是 i n t e m e t ) 的许多各自独立的计算机资源，来解决大规模的计算任务。网格技术在 初期主要集中在高性能计算领域，现在网格已不再局限于此，而是出现了适用于 不同领域的网格技术，如数据网格、信息网格和商业应用网格等等。 在众多用于科学研究的大型网格应用项目中，比较典型的有美国n s f 资助 的用于地震研究的n e e s 项目 2 1 美国n a s a 用于航天科技研究的i n f o r m a t i o n p o w e rg r i d 项目p 】、以及欧盟用于高能物理研究的e ud a t ag r i d 项目睇】等等。美 国军方也提出了全球信息网格( g l o b a li n f o r m a t i o n g r i d ，g i g ) 扩l 的概念，以信息战 为背景对网格技术展开研究。在网格标准和系统软件的研究方面，以g l o b u s 联 盟和i b m 为首的研究组织宣布共同推出w e b 服务资源框架( w s r f ) ，将w e b 服务和网格技术进一步融合到了一起，从而使得网格和w e b 服务组织在一个共 同的基础上前进。h p 、i b m 、m i c r o s o f t 、s u n 等大公司也陆续开始在网格及其相 关领域内投资和研发。在我国，由中科院计算所等十几家科研单位共同承担的 “8 6 3 ”重点项目国家高性能计算环境( n h p c e ) 是我国第一个网格雏形， 2 0 0 2 年，国家“8 6 3 ”计划启动了新一轮网格研究项目一中国国家网格( c h i n a n a t i o n a lg r i d ) ，突出了网格在地质、气象、药物、航空等领域的应用净j 。2 0 0 3 年l o 月，由教育部发起，由1 2 所大学联合推出的中国教育科研网格( c h i n a g r i d ) 一期工程 o 也已正式启动。而东南大学自行开发的a m s 海量数据处理和分析的 网格平台s e u g r i d ，则是网格在国际大型物理实验上的一个典型应用。 太空磁谱仪a m s ( a l p h am a g n e t i cs p e c t r o m e t e r ) 实验是由丁肇中教授领导 的大型国际合作项目。它是国际空间站上唯一大型物理实验，是人类第一次在太 空中精密地测量高能量带电原子和粒子的实验。a m s 实验目的是为寻找由反物 质所组成的宇宙和暗物质的来源以及测量宇宙线的来源。东南大学参与的太空探 测器二型a m s - 0 2 用航天飞机送到国际空间站上进行三至五年的实验。在此基础 上，东南大学开发实现了a m s 海量数据处理和分析的网格平台s e u g r i d 。 s e u g r i d 网格平台在应用背景上有自己的鲜明特色，但是作为一个广域环境 下的大规模分布式系统，和其他系统一样，它也面临着以下挑战f l8 1 ，解决这些 挑战是s e u g r i d 网格研究的重要动机和目的： ( 1 ) 资源的地理分布极广。资源之间，资源和客户以及客户之间都通过广 东南大学硕士学位论文 域网连接。各资源域之间可能存在隶属的层次关系，但一般情况下是 一种相互“对等”的关系，不可能存在全局集中控制；从局部来看网 络资源是有序的，但整体却处于无序状态。用户可以是使用这些资源 的任何人或应用程序。a m s 实验是一个大型国际合作项目，其数据 源也分布极为广泛。 ( 2 )资源类型和数量巨大。资源空间中包含能被远程用户访问的所有计算 资源、存储资源、通信资源等多类型资源，如网络存储设备，w e b 服务，文件和数据库等，每类资源都具有自身独特的属性，无法用一 个统一的元数据标准对所有资源进行描述。而且，资源不仅要能被共 享，往往还被要求能够进行一定程度的协同工作，以共同完成一个任 务。在一些服务网格中，这些资源被封装成服务的形式，通过特定的 接口被网格用户使用。在a m s 实验中，产生的数据量非常惊人，其 数据处理中心s o c ( s c i e n c eo p e r a t i o n sc e n t e r ) 中有不少于4 2 0 t b 的海量数据存储量；数据源来源种类很多，有很多是结构化数据，同 时也存在大量的非结构化或者是半结构化数据甚至虚拟数据；待处理 的数据总量大、同时单位时间内产生的数据量巨大，这一特征就要求 尽可能快速有效的发现合适的存储资源进行传输、存储，并寻找高性 能的计算节点对其进行处理、计算和分析。 ( 3 ) 资源通常是异构的。资源是由各资源域提供的，而各资源域中资源的 描述、管理、使用的方式存在不同程度的差异，使资源呈现出不同程 度的异构性。a m s 系统的异构性体现在各个层面上，包括存储资源、 数据格式、数据访问机制和策略。 ( 4 ) 资源是动态变化的。这里的动态变化不仅包括资源属性的变化，还包 括资源的加入、离开网格，以及在网格中的复制和迁移等。 为了应对这些挑战，需要一种机制，使得用户能够从海量的资源中获得所需 的资源信息，需要协同工作的资源能相互发现，对动态变化的资源能进行管理。 它不仅应考虑资源的位置信息，而且应更进一步考虑资源的属性等语义信息。这 种机制被称为资源发现和管理机制。传统的资源发现和管理策略由于其较差的可 扩展性、自适应性以及资源信息更新的速度等不佳的性能，已经无法适应如今大 规模、动态的网格环境，而提高网格效率的首要任务是要尽快的发现可利用的资 源，然后对这些资源动态变化带来的信息进行管理。因此，必须通过开发专门的 网格资源发现和管理中间件来对这些资源和数据进行发现和管理协调，以达到及 时、有效地获取可用资源和服务信息的目标。 从网格的体系结构上看，以服务为中心成为网格的发展方向。g l o b u s 标准 与w e bs e r v i c e s 标准的结合，标志着以服务为中心的网格体系结构的初步建立， 第一章绪论 并指明了网格中以服务为手段的异构资源集成方法的发展方向。在面向服务的网 格体系结构中，提供服务的基础在于发现、分配、监控和管理各种可以通过网络 访问的资源。网格技术的核心是网格资源管理，而网格资源发现则是网格资源管 理中的基本组成部分，它为其他网格资源管理如网格资源调度，提供满足需求的 可用资源集p 】。所以资源的发现与管理是任何网格系统运作中必需的也是关键的 环节，直接为任务的调度提供支持，其机制及实现方式都直接影响到整个网格系 统的实施。图1 1 描述了理想情况下，资源发现和管理在网格调度通用框架中的 位置。从中可以看出，资源调度的一个前提是及时发现、了解网格中资源的状态。 在调度过程中，首先需要查找并选择满足一定需求的资源；在任务执行过程中， 需要实时监控资源的状态，并根据条件修改系统的行为和资源的消耗，以提高性 能；在发生故障时，需要搜集各资源的信息，以做诊断。 圈1 1 一个通用的网格资源调度框架 作为资源发现和管理的基本元素，资源发现的模型架构、资源的描述和匹配 机制、资源请求在网络中的转发方式、对资源动态变化的维护等都是要研究的关 键内容。值得注意的是，由于p 2 p ( p e e r - t o - p e e r ) 网与网格在多方面特点上的相 似性，近年来已有一些科研机构将p 2 p 技术运用于网格之中，并取得了一定的成 绩，引起了越来越多的关注。因此，我们就可以充分利用p 2 p 的一些技术来改进 网格环境下的资源发现和管理方法。因此，本文将已有的p 2 p 结构加以改进，结 合网格自身的特点，提出一种基于m e s h 结构的网格模型。 m e s h 网，即网状网，本意指所有节点都互相连接，每个节点都可以发送和 接收消息，m e s h 网解决了传统网络一直存在的可伸缩性低和健壮性差等问题。 因此，本文参照m e s h 网的特点，并引入超级节点的概念，在基于m e s h 结构的 网格环境中，所有的超级节点之间都可以通信，同时也可以和中央结点交互，以 东南大学硕士学位论文 此结构建立网格资源发现和管理机制。 本文依托国家自然科学基金项目“a m s 数据计算环境的研究和实现” ( 9 0 4 1 2 0 1 4 ) 和中国教育科研网格计划c h i n a g r i d 子课题“基于海量数据处理网格 的a m s 数据处理与分析”，对网格资源发现的模型架构、资源请求在网络中的 处理方式以及资源动态变化的管理作深入的研究。 1 2 研究现状 资源发现和管理是目前分布式系统研究的热点领域和重点问题，并己经开发 出一些相应的工具应用于特定领域的资源发现和管理服务，如d n s 系统。其中， 网格技术和p 2 p 技术是最有价值的资源发现和管理研究方向，网格技术主要集中 研究在基于v o 中实现资源协同共享和问题求解，系统规模相对较小，管理资源 也相对稳定，而p 2 p 技术主要研究在广域环境中对等关系下资源协同共享和问题 求解，系统规模较大，管理资源动态。随着网格向更大规模的发展，以及网格集 成资源曰益丰富，网格中的资源将会具有p 2 p 中资源的特性，所以网格技术借鉴 p 2 p 技术并相互融合将成为网格技术发展的必然州。 1 2 1 现有网格资源发现和管理方法 ( 1 ) g i o b u s t o o l k i t 的m d s 体系结构 g l o b u st o o l k i t 包含一套信息服务组件m d s ( m o n i t o r i n ga n dd i s c o v e r y s e r v i c e ) 【1 2 “3 j ：监控和发现服务。m d s 最初的版本是采用集中化的方式存储资 源通告。m d s 2 以后则都采用了分布式结构。m d s 提供了有关计算网格和各个 组成部分( 如网络、计算节点、存储系统、仪器等) 状态的动态和静态信息。 m d s 由三个主要组件组成：g i i s 、g r i s 及p 。g i i s ( g r i di n d e xi n f o r m a t i o n s e r v i c e ) 网格目录信息服务，提供低级数据的聚集目录。g r i s ( g r i dr e s o u r c ei n d e x s e r v i c e ) 网格资源信息服务，在一个资源之上运行，提供资源的相关信息。p ( i n f o r m a t i o np r o v i d e r ) 信息提供者，通过数据集合服务接口a p i 和g r i s 会话。 资源可以通过g r i s 或直接把信息注册到g i i s 中，或者g i i s 得到一个用户请 求，且自身的缓存信息已经过期，就通过g r i s 获得相关更新信息。分级也使更 新数据的传输最小化，减少网络负载。g r i s 对信息查询请求进行安全鉴别后， 可根据请求信息的类型把查询请求分发到一个或多个口。通过m d s 信息提供者 的中心集提供的数据包含当前装载状态、c p u 配置、操作系统类型和版本、基 本文件系统信息、磁盘空间、r a m 和虚拟内存、n i c 以及网络互联。其体系结 构如图1 2 所示。 第一章绪论 图1 2m d s 体系结构示意图 尽管采用了层次化的资源发现结构，但是m d s 并没有提出适应于整个网格 范围的资源发现机制。m d s 中的聚合目录只适合于提供某个特定v o 内的资源 信息，各个聚合目录之间尽管可以通过标准的协议进行交互、信息复制等操作， 但m d s 并没有对这些信息节点之间的组织和交互定义通用的协议和规范。 ( 2 ) 织女星网格体系架构 中科院织女星网格( v e g a ) 工作组提出了解决资源发现问题的方法： v i r d c m ”l 。在织女星网格中，设计者提出了服务网格的概念和虚拟计算机的体 系结构模型，如图1 3 所示。在虚拟机体系结构荃础上，资源发现机制主要通过 两个技术来解决资源发现的问题：基于资源信息路由转发的资源定位模型和三层 资源表示模型。资源定位模型主要在资源路由器上实现，是资源发现机制的核心， 负责解决包括路由器网络的生成和维护、路由更新策略、资源信息聚类策略和资 源请求处理策略等多个问题；三层资源表示模型试图满足资源发现机制的各个层 次对资源表示的不同需求，它包含了各个层次上资源的表示方法和层次之间的映 射。在体系结构上，采用分层的虚拟机模型，自项向下依次由用户层、资源路由 器层和资源层三个层次组成。 东南大学硕士学位论文 图1 3 织女星网格体系结构 织女星网格的资源发现机制采用分布式定位方式，实现了基于资源属性的查 找，能够对用户屏蔽资源的位置等物理信息，并且具有较好的定位性能和可扩展 性，能够适应网格资源自主控制、动态变化的特点，但作为实际系统其可用性和 性能仍存在一定的问题。 ( 3 ) 基于v o 和小世界模型的服务定位机制 文献1 16 提出了基于虚拟组织和小世界模型的服务定位机制，利用v o 内部提 供的服务类型和属性的相似性，通过扩散v o 内服务类型标识的分布信息来确定 该v o 可接受的请求。普通节点定期将本地服务标识和访问频率发送给v o s e r v e r ，s e r v e r 统计该v o 各种服务访问频率的分布情况和v o 节点数量，确定管理 服务范围并更新v o d l 文件。节点定期扩散本地服务信息到其他节点，包括v o 内部节点和其他v o 节点。在查询时节点向本地( v o 内部) 和远程( 其他v o ) 发送服 务请求，当消息到达其他v o 节点，节点根据本地v o 描述的需求近似度和服务类 型范围判断是否接受请求。 这种机制虽然可行但也存在一些闯题，如消息扩散所利用的v o 问邻居关系 对于网络层之上的可能重叠、覆盖的大量v o 是不可确定的，同时众多类型的网 格服务只使用类型标识是不能明确定义的。此外，动态更新的服务q o s 采用分 布式的消息扩散机制也是不合适的。 1 2 2w e bs e r v i c e 中的资源发现 w e bs e r v i c e 通过一系列围绕x m l 的核心技术构建了一套面向高层应用的 服务描述和发现的解决方案。u d d i i t 7 基于三种角色( 服务提供者、服务注册中心、 第一章绪论 服务请、求者- ) 2 _ n 0 0 交互，包含发布( p u b l i s h ) 、查找( f i n d ) 、绑定( b i n d ) 、服务( s e r v i c e ) 以及服务描述( s e r v i c ed e s c r i p t i o n ) 等行为，与网格领域的行为模式是相通的，因 此网格资源发现可以借鉴u d d i 架构。其服务发现过程如图1 4 。 图1 4u d d i 服务发现过程示意图 1 2 3p 2 p 网络环境中的资源发现和管理方法 网格和p 2 p 都面向解决分布式环境中资源集成和协调工作问题，在很多方面 具有很强的互补性，而且两者的相互融合己逐渐成为学术界的共识。从最初以 n a p s t e r 为代表的有着中央目录服务器的p 2 p 网络结构，发展到后来以g n u t e l l a 为代表的完全分布式的无结构p 2 p 网络和提供节点匿名发布和获取文档的 f r e e n e t ，再到以c a n ，c h o r d ，p a s t r y 和t a p e s t r y 等为代表的基于分布式哈希表 的结构化p 2 p 网络，p 2 p 网络的发展历经了大致三个阶段，分别采用了不同的资 源定位和路由模型。 p 2 p 网络首先引起人们的注意是从n a p s t e r 开始的，它是第一个通过i n t e m e t 获得大规模应用并取得巨大成功的p 2 p 网络系统。n a p s t e r t ”1 采用集中式搜索， 一个中心节点保存着网络中所有其他节点的资源索引信息。当节点需要查找资源 时，会发送请求给中心节点，由中心节点根据自己保存的其他节点信息将请求转 发给合适节点。这种方法容易引起单点失效问题，并且可扩展性较低。 c m u t e l l a 是无结构p 2 p 网络中的典型系统。c r n u t e l l a t 抻j 网络中不存在固定的 拓扑结构，没有集中的目录服务器，在查询过程中各节点间直接交换需求文件信 息，节点间搜索时采用f l o o d i n g 或随机搜索法。这种结构的优点是具有较好的可 扩展性和容错性，但随着网络规模的扩大，这种方法将造成网络流量的急剧增加， 东南大学硕士学位论文 从而导致部分网络堵塞，并影响资源发现速度。c m u t e l a 网络流量中包括了许多 不必要的重复包流量，因此提高资源查找速度的关键一环是降低网络节点间的通 信量，也就是减少节点之间发送的消息量和对每个查询进行处理的节点数量。 结构化p 2 p 网络采用分布式哈希表( d i s t r i u t e dh a s ht a b l e ) 的结构，其最大 优点在于其可以在( 1 0 9n ) ( n 为系统中节点数) 的跳数之内完成文档的路由和定 位。结构化p 2 p 网络的主要特点是自组织、可扩展、负载均衡以及较好的容错性。 代表性的系统如p a s t r y 、c h o r d 、c a n ! 驯等。d h t 类结构能够自适应节点的动态 加入或退出，有着良好的可扩展性、鲁棒性和自组织能力，并可以提供精确的发 现。但是d i - i t 的维护机制较为复杂，尤其是节点的频繁加入或退出所造成的网 络波动会极大增加d h t 的维护代价。d h t 所面临的另外一个问题是d h t 仅支 持精确关键词匹配查询，无法支持内容语义等复杂查询。 1 2 4 资源发现和管理研究现状小结 当前资源发现和管理技术的研究主要集中在系统的模型架构、资源的描述技 术、资源请求的处理以及资源状态的监控等几个方面上。 在模型架构方面，目前网格中的资源发现，包括w e b s e r v i c e 中的服务发现， 都意识到了集中式方案的不足，并加以改进。如，在g l o b u s 中的m d s 和w e b s e r v i c e 中的u d d i 等解决方案中，除了对单个注册节点内的数据模型、存取、 访问接口作了定义外，还定义了标准的协议以支持不同信息节点问资源信息的交 互与流动。与网格类似，p 2 p 网络也从早期的集中式的方案，如n a p s t e r 系统， 发展到后来以g n u t e l l a 为代表的完全分布式的无结构p 2 p 网络，再到以c a n 、 c h o r d 等为代表的基于分布式哈希表的结构化p 2 p 网络。 网格计算环境中的资源类型多种多样，资源本身具有各种属性，资源状态以 及所处的环境都随时可能发生变化。因此，必须用统一的方式对来自动态的自治 资源的信息进行描述、分类，并在此基础上进行组织，以屏蔽资源的异构性和动 态性，同时通过一定技术支持可扩展性。现有较为成熟的资源服务描述语言主 要有r s l ，w s d l 和r d f 等。而目前，g r i d 与w e bs e r v i c e s 的融合己成为事实， 资源描述必将在服务描述层面进行统一。因此，采用基于x m l 的w e b 服务描述 语言w s d l 规范，通过s o a p 封装来传递请求消息，可与u d d i ，w s i n s p e c t i o n 结合构成多样化的资源发现机制。 当描述语言逐渐形成较成熟的标准之后，描述内容开始成为该领域研究的一 个重要方向，其致力于如何在内容层面丰富资源发现和管理系统的功能以及满足 新出现的需求。网格q o s 属性的描述及基于此的发现机制为网格资源请求的处 理开拓了一种思路。在请求转发的机制上，p 2 p 网络中，最常用的服务转发方法 第一章绪论 是泛洪( f l o o d i n g ) 和随机转发( r a n d o mw a l k ) 。显然这两种方式都存在着信息冗 余和效率低下等缺陷。而各种启发式或基于学习的请求转发方法则不再将请求盲 目地传递给所有邻节点，只是在适当范围内才扩散资源信息，从而控制并缩减资 源发现请求和资源信息的传播规模。 为适应网格中节点、资源自主控制和动态变化的特点，网格资源需要进行状 态监控和动态维护。目前主要有两种方式，一种方法是由状态维护方，即资源管 理者对相应的资源定时进行主动探测来查询信息的状态。然而，对于资源信息数 量巨大的系统，该方法会引起极大的开销，从而导致性能降低。另一种方法是将 状态维护的职责从维护信息的资源管理者一方转移到发布信息的服务一方，采取 被动更新查询方式，以减少系统开销。但是，网络延迟等因素也可能造成状态信 息的失真。 从以上这些研究现状可以看出，目前的资源发现和管理方法并不能完全适用 于大规模异构和动态的网格环境，因此有必要对它们进行研究，吸取长处，开发 适用于舢v i s 科学活动的网格平台。 1 3 已有成果 随着网格技术的不断发展，网格体系架构也在不断变迁，面向服务的网格将 是未来的研究重点与发展趋势。实验室正在进行的国家自然科学基金项目 a m s 数据计算环境的研究和实现”( 9 0 4 1 2 0 1 4 ) ，其网格支撑平台s e u g r i d 也逐步向面 向服务的方向发展。 在网格服务q o s 参数特性的研究方面，文献【二。2 1 j 中将网格q o s 的参数划分 成a c c o u n t i n gq o s 、s e r v i c eq o s ，p r o v i s i o n a lq o s 、s e r v i c er e l i a b i l i t y 和s e r v i c e s e c u r i t y 等五种类型，较全面地反映了网格q o s 的特性，但在抽象层次和正交性 上仍存在值得商榷的方面。通过文献譬3 州中的进一步研究，改进了这一分类模 型，从虚拟组织层对网格q o s 参数进行了全面的分类，划分成逻辑资源类、系 统类、安全类、信任类和记帐类等五种类型。基于此，文献o j 提出了通过扩展服 务数据元素( s d e ) 的网格q o s 描述机制，并将服务匹配过程划分为类型匹配和实 例匹配两个阶段珀2 1 ，提出了基于两阶段匹配的网格服务发现模型。 其模型结构如图1 5 所示，以v o 作为网格服务管理单位，在v o 内采用由 一个v o 服务注册点( v o s r ) 和众多本地服务注册点( l s r ) 组成的两层架构，在 v o 间采用基于关联列表的请求转发方式，从而实现了基于两阶段匹配的网格服 务发现模型。 东南大学硕士学位论文 图1 5 基于两阶段匹配的网格服务发现模型架构 实验结果显示该模型能有效地聚集服务信息并避免大量动态更新带来的负 载。但是，该资源发现的两层架构模型仍然没有有效地克服在系统规模与动态性 和资源发现效率之间的矛盾，其机制性能受网格规模、资源的动态性等环境因素 影响较大，缺乏足够的鲁棒性和灵活性。同时，基于关联列表的请求转发方式也 过于简单，理论上还不够完备。而实际应用中，请求转发的方式对于网络的负载 均衡及请求处理的时间效率有着不可忽视的影响，并进而影响系统整体性能。另 外，对于v o 的动态加入和邻接关系的维护这一资源管理中的关键问题，还未作 深入讨论。因此，网格资源发现的模型架构、资源请求在网络中的处理方式以及 资源动态变化的管理都将是本文研究工作的重点。 1 4 研究内容 针对a m s 海量数据计算环境的特点和需求以及国内外同领域已有研究成果 的基础之上，本文旨在对网格系统的关键技术之一网格环境下的资源发现和 管理作深入研究。研究内容主要包括以下几个方面： 网格资源发现和管理的模型架构 在研究分析现有资源发现和管理模型研究成果的基础上，初步提出了一种基 于m e s h 结构的网格资源发现和管理总体模型。该模型结合了集中式和p 2 p 模型 的优点，在中央节点之外，引入超级节点的概念。将整个资源搜索过程分为两个 部分：本地搜索和全局搜索，减少查询时的时间开销。 资源请求的处理 基于o g s a 网格环境的特点，将网格的各类资源属性信息分为相对静态和动 态两类，提出了基于q o s 的网格资源请求处理方法，并对其中v o 层的请求转 第一章绪论 发机制作了详细讨论，提出了基于服务等级和c a c h e 技术的转发策略。同时，还 引入了对网格服务进行选择排序的思想。 资源状态的监控及动态变化的维护 结合网格环境拥有大量异构和动态变化资源的特点，给出了网络拓扑的生成 和维护方法，讨论了节点的注册和更新策略，详细讨论了资源状态的监控与维护， 并对容错和错误恢复机制做了阐述。 资源发现和管理原型系统的设计与实现 基于对a m s 应用背景的需求分析，提出了校园网格平台s e u g r i d 的整体设 计方案，并对其中的资源发现和管理模块作了详细设计和实现。 1 5 文章组织与结构 本文的总体结构大体分为三个部分：第一部分理论研究，主要包括第一至第 五章；第二部分系统实现，主要为第六章；最后一部分为第七章，总结全文。具 体的内容安排如下： 第一章绪论。首先简单介绍了本文的研究背景；然后重点针对网格资源 发现与管理讨论了当前的研究现状和存在的问题，并讨论了已有工作成果；接着 阐述了本文要研究和解决的问题。 第二章主要讨论了资源发现和管理系统的一般设计原则。首先对网格环 境下资源发现和管理系统作了相关定义，接着分析了系统主要设计模块，并在此 基础上对现有资源发现和管理方法作了比较，最后讨论了可能影响发现和管理机 制性能的一些环境因素。 第三章提出了基于m e s h 结构的网格资源发现和管理总体模型。首先介 绍了该模型的架构，主要模块单元，以及资源发现的流程。然后，从理论分析和 仿真实验两个方面对模型性能作了讨论。 第四章首先分析了在面向服务网格中引入q o s 机制的必要性，接着将全 面描述网格服务所需要涉及的各类属性信息分为相对静态和动态两类，并依据其 特性给出了不同的描述机制。然后提出了基于q o s 的网格资源发现机制，并对 其中v o 层的请求转发机制作了详细讨论。最后，提出了对网格服务进行选择排 序的思想。 第五章讨论了网格资源状态的监控和动态维护。首先给出了网络拓扑的 生成和维护方法，接着介绍了节点的注册，然后详细讨论了资源状态的监控与维 护，最后对容错和错误恢复机制做了阐述。 第六章基于对应用背景的需求分析，提出了校园网格平台的整体设计方 案，并对其中的资源发现和管理模块作了详细设计和实现。 东南大学硕士学位论文 第七章对全篇论文进行总结，并对未来工作进行展望。 第二章网格资源发现和管理系统的设计原则 第二章网格资源发现和管理系统的设计原则 本章旨在为全文的研究工作做一个铺垫，通过对网格资源发现和管理系统设 计要素和可能影响其系统性能的一些因素的讨论，为接下来的研究设计提供了 个思路。 2 1 资源发现系统相关定义 为了更好的阐述网格资源发现和管理系统的设计原则，首先给出系统中相关 术语的定义。 定义1 网格资源，是指所有能够通过网格远程使用的实体，包括计算机软 件、计算机硬件、设备和仪器、人类资源等。 网格资源包括了计算资源、存储资源、数据资源、信息资源、知识资源、专 家资源等多个种类。 定义2 资源服务提供者，指能提供共享资源服务的任意网络实体。 定义3 资源用户，指使用共享资源的任意网络实体。 定义4 资源发现服务，指能返回给网格用户满足其查询要求的一系列资源 信息的服务。 另外，假设虚拟组织内的每一个参与者为一个节点( n o d e ) ，每个节点都在一 个或多个本地服务器上发布自己的资源信息。提供的资源信息可以是本地存储的 文件，或该节点的计算能力等。任何节点都可以在任意时间加入或者离开，而不 需要额外的通告。 2 2 资源发现和管理系统设计要素 我们将一个通用的网格资源发现和管理框架分为以下几个要素：成员协议、 覆盖构造、预处理、资源注册、资源描述和请求处理。接下来的部分将分别作详 细介绍。 ( 1 ) 成员协议 网格是动态变化的，资源或节点以何种方式加入网格，如何获取其他节点或 资源的信息并与之通信，这正是成员协议所要解决的问题。一个节点向一个已知 的网格成员节点发送信息，加入到这个网格系统中。两个节点将对方的信息存入 到成员信息中。相邻节点之间定时发送信息，更新成员列表。分布式网络环境常 常在实际的应用层之上建立一个通信覆盖两j ( o v e r l a yn e t w o r k ) 。一般用图( g r a p h ) 来表示成员间的关系，每一个节点( n o d e ) 代表虚拟组织内的一个参与者，每一条 东南大学硕士学位论文 边( e 趣e ) 指示了连接的两个节点之间的关系。 覆盖网的构建和维护大致可分为手工配置网络( m a n u a l l yc o n f i g u r e d n e t w o r k ) 、自组织网络( s e l f - o r g a n i z i n gn e t w o r k ) 或两者的混合几大类。在手工配 置网络中，由系统管理员负责分配网络地址以及维护覆盖网络，但在大规模网络 环境中操作麻烦且开销很大。针对该问题，自组织网络应运而生，其缺点是增加 了网络通信量，并且算法实现较为复杂。混合式则没有人工配置的服务器，资源 提供者和用户自动组织成完整的图。 ( 2 ) 覆盖构造 网格计算环境是由跨多个组织，每个组织采用不同的管理策略的自治域共同 组成的，如何根据这一特性选择合适的系统架构，并使得其对资源的提供方和使 用方透明是很重要的。 一个节点从它本地可见的其它网格节点中，选取一个活动节点的子集，使得 通过与这个子集中节点的交互，就可获得必要的资源信息。这些节点组织成一个 覆盖网( o v e r l a yn e t w o r k ) ，而覆盖网的结构( a r c h i t e c t u r e ) 对于整个系统的性能也有 着重大的影响。在实际应用中，构造覆盖的策略是多种多样的，如根据节点间的 可用带宽、节点负载、安全性或管理策略以及制定的拓扑结构等等。 覆盖网按图的结构主要可分为树形图( t r e eg r a p h ) 、随机图( r a n d o mg r a p h ) 、 完全r e ( c o m p l e t eg r a p h ) 等几大类。 ( 3 ) 预处理 大多数系统都要求每个节点在进入系统之前进行预先配置。预处理就是指系 统为获得更好的搜索性能而预先采取的一些措旌1 2 ”。 在手工配置网络中，每个节点都需要得到与之交互的所有组件的信息。而在 自组织网络中，通常只要至少一个随机的活动节点。资源信息描述的分发 ( d i s s e m i n a t i o n ) 就是一种预处理技术，它将本地资源的描述信息向网络中其他地 区广播，以提高搜索的性能和可靠性。然而，在网格这样一个动态的分布式环境 下，这样一种预处理方法却不能达到很好的效果。预处理还可以是网络覆盖的重 新构造，如根据请求和资源的分布情况，实时地由覆盖构造功能重新生成节点图 的覆盖。 ( 4 ) 资源注册 资源在被使用之前，应先进行注册。目前使用的资源注册方法主要包括以下 几类： 本地注册只有资源的提供者了解资源的信息，因此要使用资源，则必须 直接向资源提供者查询。显然，该方法效率非常低下。一种改进的方法是用多副 第二章网格资源发现和管理系统的设计原则 本的方法来提高命中率。 哈希技术用哈希表来存储节点的资源信息。 本地服务器注册资源提供者将资源信息向本地服务器注册。