（计算机应用技术专业论文）基于p2p机制的网格资源发现的研究.pdf

摘要 网格是继万维网之后出现的一种新型网络计算平台，目的是为用 户提供一种全面共享各种资源的基础设施。网格计算近来引起了人们 广泛的关注，因为网格能把互联网上的各种资源整合成一个具有超级 处理能力的计算机。网格资源发现是网格资源共享的基础，在网格环 境下能否高效的发现资源，己经成为衡量网格系统好环的重要标准之 o 本文首先对网格的特点、体系结构进行了简要介绍，并对网格资 源的特点和网格中资源发现的方法进行了分析。网格资源的分布性、 动态性和异构性是资源发现所面临的挑战。因为网格技术和p 2 p 技术 都是分布式计算模型，它们的总体目标相似，借鉴p 2 p 技术的思想， 可以较好的解决上述难题。 在分析了几种p 2 p 的资源发现后，本文借鉴p 2 p 中“小世界 模 型的思想，提出了g r i d p 2 p 模型，并将“兴趣度 这个概念引入到 s u p e r p e e r 层的构建。同时，在中心节点建立一个资源的索引表， 这样就克服了原来网格系统集中式资源发现过于依赖中心服务器的 缺点。最后，本文使用j x t a 进行了模拟了实验，实验结果说明本文 的方法提高了资源发现的有效性和准确性。 关键词资源发现，p 2 p ，g r i d - p 2 p ，兴趣度 a b s t r a c t g r i di san e wt y p eo fn e t w o r kc o m p u t i n gp l a t f o r me m e r g e da f t e rt h e w o r l dw i d ew e b ，w h o s eo b j e c t i v ei st op r o v i d eak i n do fi n f r a s t r u c t u r e w h i c hs h a r e sa l lk i n d so fi n f o r m a t i o nf o ru s e r s g r i d c o m p u t i n gh a s a t t r a c t e dw i d e s p r e a da t t e n t i o nb e c a u s ev a r i o u so n l i n er e s o u r c e sc a nb e i n t e g r a t e di n t oac o m p u t e rw i t hs u p e rp r o c e s s i n gc a p a b i l i t y d i s c o v e r yo f g r i dr e s o u r c ei st h eb a s i so f s h a r i n gr e s o u r c e s w h e t h e rt h eg r i d r e s o u r c e sc a nb e e f f i c i e n t l yd i s c o v e r e db e c o m i n go n eo f t h em o s t i m p o r t a n tc r i t e r i af o re v a l u a t i n gg r i ds y s t e m a tf i r s t ，t h i sp a p e rb r i e f l yi n t r o d u c e dt h ec h a r a c t e r i s t i c s a r c h i t e c t u r e o fg r i d ，t h e n a n a l y z e dc h a r a c t e r i s t i c sa n dd i s c o v e r ym e t h o do fg r i d r e s o u r c e s t h e c h a l l e n g e s t h a tg r i dr e s o u r c e d i s c o v e r yf a c i n g a r e d i s t r i b u t i o n 、d y n a m i ca n dh e t e r o g e n e o u so fg r i dr e s o u r c e t h ea b o v e s a i d p r o b l e m sc a nb es o l v e dt h o u g hu s i n gp 2 pt e c h n o l o g yb e c a u s eb o t hg r i d t e c h n o l o g ya n dp 2 pt e c h n o l o g yi sd i s t r i b u t e dc o m p u t i n gm o d e la n dt h e i r o v e r a l lg o a l sa r es i m i l a r a f t e ra n a l y z e ds e v e r a lp 2 pr e s o u r c e sd i s c o v e r y , r e f e r r e dt ot h e t h o u g h to f “s m a l lw o r l d ”m o d e li np 2 p , t h eg r i d p 2 pm o d e li s p r o p o s e d ，t h ec o n c e p to f “i n t e r e s t ”i si n t r o d u c e di n t ot h ec o n s t r u c t i o no f s u p e r - p e e rl a y e ri nt h i sp a p e r a tt h es a m et i m e ，ar e s o u r c ei n d e xt a b l ei s e s t a b li s h e da tt h ec e n t r a ln o d et oo v e r c o m et h ed e f e c t o fc e n t r a l i z e d r e s o u r c ed i s c o v e r yo v e r r e l yo nt h ec e n t r a ls e r v e ro ft h eo r i g i n a l g r i d s y s t e m a tl a s t ，as i m u l a t e de x p e r i m e n tu s i n gj x t ai s p r e c e d e d t e s t r e s u l t ss h o w e dt h a tt h i sm e t h o di n c r e a s e d v a l i d i t ya n da c c u r a c yo f r e s o u r c ed i s c o v e r y k e yw o r d sr e s o u r c ed i s c o v e r y ，p 2 p ，g r i d p 2 p ，i n t e r e s t i l 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：崖适盗日期：过年上月幺日 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文并根据国家或湖南省有关部门规定送交学位论文， 允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科 学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 作者签名：斑导师签名蚴期：幽年月堑日 坝 j 学位论义第一章绪论 1 1 研究背景和意义 第一章绪论 网格计算是分布式计算领域中的一个新的研究方向，互联网实现了计算机硬 件资源的连通，w e b 实现了计算机软件资源的连通，网格技术则可以实现互联网 环境下所有资源的连通。目前，许多国家和地区的学术界都投入了大量的资金 和人力到“网格技术 的研究，一些网格项目如g l o b u s 、l e g i o n 和n i m r o d g 也越来越完善。 网格把属于不同管理域的异构资源灵活有效的组织起来形成虚拟组织 ( v i r t u a lo r g a n i z a t i o n ，v o ) 比1 ，共同完成计算任务。网格概念中体现出来的灵 活、按需的异构资源和服务集成的思想非常符合人们对更高层次的资源共享的需 求，因而在更广泛的领域得到接受和发展。网格技术最终目的是把整个i n t e r n e t 整合成一台巨大的超级计算机，实现i n t e r n e t 上计算资源、信息资源、知识资 源等所有资源的连通、共享和互操作口1 。网格技术的核心是网格资源管理，而网 格资源发现则是网格资源管理中的基本组成部分，它为其他网格资源管理，如网 格资源调度，提供满足需求的可用资源集。 所谓的资源发现就是根据用户或应用的资源发现请求，采用定的方法和手 段获取所需资源描述信息的过程。而资源发现机制就是在对多样的、异构的、动 态的资源合理组织的基础上，为用户查找和访问所需资源提供有效的资源发现服 务，最终根据用户的资源发现请求返回一系列符合需求的资源描述信息的信息服 务机制。与传统的分布式系统相比，网格中集成的资源规模更大，种类更多，分 属于不同的组织，而且参与网格的各结点往往拥有不同的利益和资源管理策略。 随着网格的进一步发展，集中式的资源发现机制已经出现性能瓶颈，难以保证获 取足够的资源信息支持不断出现的新应用对资源发现的需求。因此满足网格环境 中资源共享和协作工作的资源发现应该是非集中的分布方式。 目前，大多数网格的项目在资源发现的机制及方法上已做了不少有益的研究 工作，但是仍然存在不少问题和限制。从总体上说，这些资源发现机制都是针对 具体的网格项目而提出的，缺乏一套系统的理论体系，较多地停留在概念层次上。 另外，大多数资源发现方法没有考虑网格用户需求的异构性，可扩展性能较差等。 因此，对网格环境下资源发现机制及方法进行进一步研究是完全必要的。 顾l ：学位沦义第一章绪论 1 2 研究现状 资源发现是网格资源管理的核心部分，在资源管理中占有及其重要的地位， 许多网格项目都对其进行了专门的研究，提出了许多资源发现的方法和策略。下 面针对国内外一些典型的网格项目，综合介绍它们的资源发现机制与研究现状。 ( 1 ) g l o b u s 是以层次结构建立的体系结构，低层次的服务可为高层次的服 务的开发提供基础，它强调网格构件的整合。它通过l d a p 的元计算目录服务m d s 来提供网格信息服务。m d s 的原理如下：每个资源运行一个标准的信息服务 ( g r i s ) ，它使用l d a p 进行通信，并提供关于资源的信息，g r i s 提供了一个通用 的方法来查询一个计算网格的当前配置、能力和状态的资源信息。g ii s 将一些 任意的g r i s 联系起来形成一个连续的系统映像，以供网格应用检索和查询。一 个g i i s 提供一个类似网络搜索引擎的缓存服务，每个资源通过一个g i i s 进行注 册。当某个c ii e n t 请求信息服务时，若缓存已失效，g i i s 将从注册的资源读取 信息；g i i s 提供了一个在协同层的索引、搜索服务机制。例如，g i i s 能够列出 一个实验室内的所有可用的计算资源，或者一个代理所拥有的分布式数据存储系 统等。 ( 2 ) c o n d o r 3 依赖于一个核心资源管理器，该管理器利用空闲资源启动工作 站上的进程。c o n d o r 的c o l l e c t o r 收集器提供了资源信息的存储功能，c o n d o r 的资源代理运行在每台机器上，它周期性地向收集器发送服务公告，用户代理向 收集器发送服务请求，c o n d o r 通过比较机制查询收集器找出相容的服务请求和 服务公告，然后分别通知资源代理和用户代理，以说明它们的服务公告和请求相 容。资源的请求和提供用c l a s s i f i e da d v e r t i s e m e n t ( c l a s s a d ) 语言表示， c l a s s a d 使用半结构化数据模型描述资源，因此它能够自然地在异构环境下工 作。 ( 3 ) b o n d 晦1 为分布式计算创建了一个面向对象和代理的世界，它将系统资源 ( 包括处理器、通信联接、传感器以及如库和服务等软件资源) 包裹进一个称为元 对象的特殊对象类，与这些对象的通信使得软件对象能够找到合适的资源。在 b o n d 中，所有对象都使用k q m l 信息传递通信，因此b o n d 可以将代理作为其对 象层的普通的成员加以支持。影子对象作为远程对象的本地接口，所有通信通过 它们传递。b o n d 设计中唯一依赖系统的元素在于影子对象通信模块。 ( 4 ) 中科院的“织女星网格隋1 的资源发现机制采用分层的虚拟机模型，自 顶向下依次由用户层、资源路由器层和资源层三个层次组成。在虚拟机体系结构 基础上，资源发现机制主要通过两个技术来解决资源发现的问题：基于资源信息 的路由转发的资源定位模型和三层资源表示模型。资源定位模型主要在资源路由 硕i ：学位论文第一章绪论 器上实现，是资源发现机制的核心。三层资源表示模型试图满足资源发现机制的 各个层次对资源表示的不同需求，它包含了各个层次上资源的表示方法和层次之 间的映射。 1 3 主要研究内容 资源发现在资源管理中占有重要地位，利用分布式资源发现的方法可以解决 集中式资源发现存在系统瓶颈和查询效率低的问题。但网格环境下由于资源数量 巨大，如果采用完全分布式架构会因为消息的扩散和转发带来很大的负荷。 网格与p 2 p 技术的发展已经越来越成熟，而且网格与p 2 p 技术互相融合的趋 势也越来越明显。这种混合网格与p 2 p 的新系统比较好的解决了可扩充性、自适 应性和易使用性。 本文借鉴p 2 p 系统的资源搜索思想，在当前提出的一些p 2 p 与网格系统混合 模型中，作者根据他们各自的特性和某些方面的互补性，对原有p 2 p 与g r i d 混 合模型进行了改正，使得资源发现的效率和准确率更高。本文的主要工作如下： ( 1 ) 对当前g r i d - p 2 p 混合模型中引进了“兴趣度”的概念，使用“小世界 模型来构建p 2 p 层，使得相似度高的节点更好的聚集在一起： ( 2 ) 在g r i d p 2 p 模型的三层结构中引入索引邻接表这一数据结构，使得资 源发现的效率更高，网络负载更小。 1 4 论文的结构 本论文分为六章，具体的内容组织结构如下： 第一章绪论主要叙述了课题的研究背景和国内外的研究现状； 第二章介绍了网格和网格资源发现的相关概念； 第三章介绍了p 2 p 环境下的资源发现并比较了网格和p 2 p 的优缺点； 第四章提出了g r i d - p 2 p 层次模型以及其体系结构，给出了初步的功能分析， 讨论了g r i d - p 2 p 层次模型中一些关键技术及将其实现的方法； 第五章给出了模拟实验的结果，对g r i d - p 2 p 模型进行了性能分析； 第六章总结了本文所作的工作并对下一步研究的方向进行了展望。 硕l ：学位论义 第二章m 格概述 第二章网格与网格资源发现 随着i n t e r n e t 的发展，研究人员可以将很大范围上地理分布的异构计算机 系统集合在一起形成一个大规模的计算平台。该领域的研究产生了一种新型的科 学计算模式，我们称之为网格计算盯1 。本章分别介绍了网格技术和网格环境下资 源发现的相关技术。 2 1 网格概述 网格计算的目的是使人们可以无缝的集成广域资源来合作解决问题，也就是 实现网格环境下资源的共享和协同，因此，网格环境里如何有效地发现资源就成 为影响网格计算是否成功地最重要因素之一。由于资源在广域上分布、本质上异 构、由不同地个人或组织拥有、负载和可用性动态变化，使得网格环境下的资源 发现十分复杂和具有挑战性。 2 1 1 基本功能模块 研究如何实现网格，保障网格功能的实现，必须先清楚网格的功能模块结构。 网格功能模块考虑的是如何向用户提供一个接口，通过该接口接收来自用户的请 求，发送来自网格的信息。而用户不必知道其内部如何实现用户请求的服务。网 格系统的基本管理功能模块如图2 1 所示8 j 。 图2 - 1 网格系统基本管理功能 网格用户通过用户界面实现与网格之间的信息交互，通过用户界面可以实现 作业提交、资源查找、结果返回等功能。具体来讲，网格在提供服务之前要知道 哪个资源当前可以向用户提供服务，这就需要网格中信息管理模块提供相应的信 息。选定合适的资源后，网格需要把该资源分配给用户使用，并对使用过程中的 资源进行管理，这些是资源管理的功能嘲。 4 坝i j 学位论义 第- 二章m 惭 c 述 网格在提供服务的过程中需要网格数据管理功能模块将远程数据传输到所 需节点，作业运行过程中由作业管理模块提供作业的运行情况汇报。使用网格的 用户及其使用时间和费用等的管理则由用户和记账管理模块实现，用户使用网格 的整个过程中都需要o o s ( o u a l i t yo fs e r v i c e ，服务质量) 保证、通信和安全 保障，以提供安全可靠、高性能的服务1 引。 2 1 2 开放网格服务体系结构 开放网格服务体系结构o g s a ( o p e ng r i ds e r v i c eg r i d ) 包括两大关键技 术，即网格技术和w e bs e r v i c e u u 技术。o g s a 解决了两个重要问题标准服 务接口的定义和协议的识别引。以服务为中心是o ( ；s a 的基本思想，在o g s a 中 一切都是服务。 ( 1 ) o g s a 的基本思想 o ( ；s a 最基本的思想是以“服务 为中心。在o ( ；s a 框架中，将一切抽象为服 务，包括各种计算资源、存储资源、网络、程序、数据库等等。简而言之，一切 都是服务。 o ( ；s a 定义了网格服务( g r i ds e r v i c e ) 副的概念，网格服务是一种w e b s e r v i c e ，该服务提供了一组接口，这些接口的定义明确并且遵守特定的管理， 解决服务发现、动态服务创建、生命周期管理、通知等问题。在o ( ；s a 中，将一 切都看作网格服务，因此网格就是可扩展的网格服务的集合。网格服务可以以不 同的方式聚集起来满足虚拟组织的需要，虚拟组织自身也可以部分地根据他们操 作和共享的服务来定义。简单地说，网格服务= 接口行为+ 服务数据。图2 - 2 是对网格服务的简单描述。 服务数据的访问 显示撤销 软状态生命周期 绑定特性 一可靠激活 一疚证 ( 必需的) 其他接口 ( 可选的) 图2 - 2 网格服务示意图 5 标准接口 一通知 一授权 一服务创建 一服务注册 一管理 面向特别应用的 接口 硕1 ：学位论义第二章州格概述 ( 2 ) w e bs e r v i c e w e bs e r v i c e 是一种标准的存取网络应用的框架，它定义了一种技术，用于 描述被访问的软件组件、访问组件的方法以及找到相关服务提供者的方法。x m l 协议1 相关的工作是w e bs e r v i c e 的基础。 w e bs e r v i c e 中几个比较重要的协议标准是s o a p ( s i m p l eo b j e c ta c c e s s p r o t o c o l ，简单对象访问协议) 、w s d l ( w e bs e r v i c ed e s c r i p t i o nl a n g u a g e ， w e b 服务描述语言) 、w s i n s p e c t i o n 、u d d i ( u n i v e r s a ld e s c r i p t i o n ，d i s c o v e r y i n t e g r a t i o n ，统一的描述、发现与集成) u 5 1 6 。 x m l ( e x t e n s i b l em a r k u pl a n g u a g e ，x m l ) 是一种用严格的嵌套标记表示数 据信息的标记语言，具有良好的扩展性和平台无关性的特点，是一种自描述的数 据共享机制。 s o a p 是基于) ( m l 的r p c ( r e m o t ep r o c e s sc a l l ，远程进程调用) 协议，用 于描述通用的w s d l 目标。通过将s o a p 进行扩展支持w e bs e r v i c e 框架的安全性。 w s d l 用于描述服务，包括接口和访问的方法，复杂的服务可以由几个服务组成， 它是w e bs e r v i c e 的接口定义语言。w s i n s p e c tio n 给出了一种定义服务描述的 惯例，包括一种简单的x m l 语言和相关的管理，用于定位服务提供者公布的服务。 而u d d i 则定义了w e bs e r v i c e 的目录结构，是为企业发布信息和服务描述，发 现企业所提供的信息和服务以及完成企业问的商务流程等互操作而服务的。 2 1 3g t 4 程序设计 g l o b u s 的网格计算工具包( g l o b u st o o l k i t ) 是g l o b u s 最重要的实践成果。 目前g g f 的工作组仍然在努力为这些服务类型定义标准，但是在这些标准出台之 前，g t 4 已经是现在事实上的网格标准。g t 提供的服务包括资源监控和发现服务， 用于作业提交的执行服务，网格安全服务和数据管理服务。每个服务都包括服务 提供者、服务、资源、服务的端点引用( e p r ) 以及对这个服务提供的操作，其 中资源又包括多个资源属性。要定位服务中的资源，直接通过资源对应的e p r 就可以了。 服务开发的一般步骤包括编写服务接口、实现服务接口、编写部署描述器、 编译和部署服务等，下面分别介绍。 ( 1 ) 编写服务接口编写服务接口有两种方式，一种是直接使用w e b 服务描 述语言书写，这是一种通用的方式，可以灵活控制对接口的描述。但由于w s d l 是一种冗长的语言，书写起来比较麻烦。另一种方式是通过接口语言直接产生， 这是一种比较简单的方法。利用这种方式可以先用j a v a 语言描述接口，然后利 用工具直接转换成w s d l 描述语言。 。 6 硕i j 学位论义 第一：章刚格概述 ( 2 ) 实现服务接口实现网格服务主要是指编写j a v a 类实现在服务接口描 述语言中定义的方法。 ( 3 ) 编写部署描述器至此，已经有了服务接口文件、从接口文件产生的桩 文件和服务实现文件，但如何把这些文件组织在一起进行部署是一个比较关键的 问题，如果用手工的方法进行部署是一件比较麻烦和困难的事情，通过编写部署 描述器文件利用工具可以大大简化部署的难度。 ( 4 ) 编译和部署服务把编写的j a v a 源文件编译成类文件，然后利用构建工 具a n t 进行网格服务的部署。 2 2 网格资源发现 网格资源指所有能够通过网格远程使用的实体。而资源发现是根据资源请求 者的资源请求描述，从网格上为请求者找到满足请求描述要求的合适资源的过 程。 2 2 1 资源与资源发现 网格中所包含的资源是可以在一段时间内使用的可更新或不可更新的东西。 它们的所有者独占或与其他人共享资源，也可能向他们收费。资源可能被清晰地 定义或用参数描述。网格中的资源包括计算资源、存储资源、通信资源、软件资 源、信息资源、知识资源、外部设备等，具体如超级计算机、海量存储器、仪器 设备、应用软件、数据库等等。 网格环境中的资源无论在种类和功能的多样性方面都是以往的系统所不能 相比的，网格中的资源有以下特点：多样性、分布性、异构性、动态性、自治性、 多极管理性。 资源发现是根据资源请求者的资源请求描述，从网格上为请求者找到满足请 求描述要求的合适资源的过程。资源发现可以形式化地描述为一个函 数：s , d = f ( s 。) 。 该函数的输入变量是资源需求，输出变量是一个资源的唯一标识符。函数f 是资源发现功能的表示n 7 1 。 网格系统本质上是一个基础设施，它允许位置无关的资源和服务获取，这些 资源和服务是由地理上分布的机器和网络提供的。支持这种位置无关计算的一个 基本操作就是资源发现。资源发现将网格中不被用户所知道的资源和请求使用资 源的用户联系起来。资源发现功能的强弱直接决定了网格的使用效率和友好程 度。 7 硕i ：学位论文 第- 二章刚格概述 2 2 2 资源发现面临的挑战 资源管理系统作为网格计算环境的基础设施，要把网格中分散的各种资源管 理起来，使得多个资源请求者可以共享使用网格中的同一个资源。鉴于网格资源 的特点，资源管理系统需要实现的功能有：隐藏网格资源的异构性，为用户提供 统一的访问接口；屏蔽网格资源的动态性，保证用户请求的访问质量；尊重资源 的本地管理机制和策略，使资源更好地为网格服务。因此需要解决以下问题。 ( 1 ) 如何描述资源信息 网格计算环境中的资源类型多种多样，本身具有各种属性，资源状态以及所 处的环境都随时可能发生变化。因此，怎样用统一的方式对来自动态的自治资源 的信息进行描述、分类，并在此基础上组织，以屏蔽资源的异质性和动态性，同 时可通过反省技术支持可扩展性，是资源管理必须考虑的问题。 ( 2 ) 资源管理采用何种方式 集中和分布方法各有其优缺点。网格计算环境是由跨多个组织，每个组织采 用不同的管理策略的自治域共同组成的，如何根据这一特性选择合适的系统架 构，并使得其对资源的提供方和使用方透明是很重要的。 ( 3 ) 如何处理动态变化的资源 在整个网格计算环境中资源的发现状态和位置都随时可能变化。一方面，要 定位某个资源，它必须具有一个唯一的全局标识符，然而，提供服务的资源位置 却可能发生变化，资源管理必须解决这一矛盾：另一方面，由于不同客户要求的 服务质量，例如作业的截止期，服务的性价比等各不相同，因此，资源信息的数 据模型和查询机制必须足够灵活，并具有充分的可扩展性，可适应范围广泛的分 布系统部署模型，表达不同客户从简单到复杂的各种服务质量要求。 ( 4 ) 如何支持异质性 目前网格计算正从最早共享超级计算机逐步扩展到商业应用领域，因而不能 忽略商业应用需要考虑的问题，例如兼容遗留系统和保证服务质量等。要使网格 计算技术得到普及，必须有开放、简单且功能强大的标准。 网格资源分布广、数量大、动态性而且存在异构，如何有效的进行资源发现 是实现高性能联合计算，共同完成重大应用问题的关键。因此需要一种不依赖于 集中控制的、分布式、可扩展并且定位性能好的资源发现机制。 8 顾i j 学位沦义 第二章州格概述 2 3 现有资源发现模型 由于资源发现在网格资源管理中占有非常重要的地位，因此资源发现一直是 网格研究中的一个热点。当前的网格资源发现模型主要有元计算目录服务、织女 星网格、c o n d o r 等。下面将详细介绍这几种模型，并分析各自的优缺点。 2 3 1 元计算目录服务( m d s ) m d s n8 饽1 ( m e t a c o m p u t i n gd i r e c t o r ys e r v i c e ) 是g l o b u s 项目组提出的一种 基于网格计算环境的动态可扩展的信息服务框架。它负责完成网格环境中资源信 息的发现、描述、监控和更新。提供对网格计算环境的一个真实、实时的动态反 映。 m d s 提供了一个可配置的信息提供者( i n f o r m a t i o np r o v i d e r ) 组件，称为网 格资源信息服务g r i s ( g r i dr e s o u r c ei n f o r m a t i o ns e r v i c e ) 和一个可配置的集 合目录组件，称为网格目录信息服务g ii s ( g r i di n d e xi n f o r m a t i o ns e r v i c e ) 。 g r i s 服务基于l d a p 啪1 ( 轻权目录访问协议) 协议，提供了一个统一的手段来 查询网格中资源的配置、能力和状态。g r i s 对信息查询请求进行安全鉴别和解 析后，根据请求信息的类型把查询请求分发到一个或多个本地信息提供者；然后 g r i s 把信息提供者返回的信息汇总，并过滤消除与客户不需要的信息，最后返 回给信息查询请求者。g i i s 提供了一种把各种g r i s 服务结合起来构成一个层次 结构的简单聚集目录框架的手段，并提供一个连贯的系统映像方便网格应用程序 进行搜索和查询；g i i s 可提供信息集合查询并支持对多个g r i s 的有效查询。 g r i s 和g i i s 在实现上有很多共同之处，都依赖l d a p 前端进行协议处理、 认证和结果过滤，所以两者也可以在一个服务器上实现。资源可通过g r i s 或直 接把其信息注册到g i i s 中，用户访问g r i s 和g i i s 的简单情况如图2 - 3 所示。 图2 - 3m d s 模型下的资源发现 9 顺l ：学位论文第二章网恪概述 用户a 和b 直接通过g r i s 得到信息，用户c 通过g i i s 得到综合信息，若 g i i s 自身的缓存信息过期，可通过g r i s 获得相关更新信息。 这种发现机制是不理想的，缺点有： ( 1 ) 非分布式管理。 ( 2 ) 被动更新：因为g i i s 不能主动得知机器以及服务的当前状态。 ( 3 ) g l o b u s 作业客户端也不直接支持服务资源的查询。 ( 4 ) m d s 中资源的查找、更新、修改、删除效率比较低。 2 3 2 织女星网格( v i r d ) v i r d ( v e g ai n f r a s t r u c t u r ef o rr e s o u r c ed i s c o v e r y ) 是织女星网格( v e g a 口) 工作组提出的解决资源发现问题的方法。织女星网格是中科院计算所的研究项 目，在织女星网格中，设计者提出了服务网格的概念和虚拟计算机的体系结构模 型。资源发现机制面对的是封装成服务的资源，而不是各种各样原始的物理资源， 因此资源发现机制的实现更加简单瞳别。 在虚拟机体系结构基础上，资源发现机制主要通过两个技术来解决资源发现 的问题：基于资源信息的路由转发的资源定位模型和三层资源表示模型。资源定 位模型主要在资源路由器上实现，是资源发现机制的核心，负责解决包括路由器 网络的生成和维护、路由更新策略、资源信息聚类策略和资源请求处理策略等多 个问题。三层资源表示模型试图满足资源发现机制的各个层次对资源表示的不同 需求，它包含了各个层次上资源的表示方法和层次之问的映射。在体系结构上， 采用分层的虚拟机模型，自顶向下依次由用户层、资源路由器层和资源层3 个层 次，如图2 - 4 所示。 图2 - 4v i r d 模型下的资源发现 1 0 侦i j 学位论义第二章刚恪慨述 织女星网格的资源发现机制采用分布式定位方式，实现了基于资源属性的查 找，能够对用户屏蔽资源的位置等物理信息，并且具有较好的定位性能和可扩展 性，能够适应网格资源自主控制、动态变化的特点，可以较方便地解决请求转发 的负载平衡问题，具有一定的好用性和通用性。但是v i r d 基于s d - r t 算法， 如果这个资源路由机制放在整个全球网格环境中则效率较低，可能会出现要经过 很长的路径才找到资源，还有性能问题，q o s 问题有待进一步验证。另外，织女 星网格中要求同类资源在所有的路由器上的表示是一致的，这限制了其灵活性。 2 3 _ 3 其它相关研究 c o n d o r 的m a t c h m a k e r 实现了不依赖全局资源命名，而依靠属性匹配的集中 式的资源共享系统：w e b 服务中的u d d i 实现了集中式的服务实体的统一描述、注 册和查找。一 m a pc e n t e r 是一个基于w e b 的可视化模型，用于监控网格中的资源，目前 用于监控欧洲的d a t ag r i d ，该模型形象的显示运行在系统之上的资源和服务， 有关m a pc e n t e r 方法地发展还在进一步研究中。 i n f o g r a m 是为g l o b u s 研发的一个新的网格服务，它可以将两个以前执行过 的服务：信息服务和任务执行服务合并成一个服务，有效的简化了原有体系结构。 n i m r o d g 瞳们是一个资源管理服务，使用不同的中间件服务，使用g l o b u s r e s o u r c ea 1 l o c a t i o nm a n a g e r ( g r a m ) 来分配资源，m o n i t o r i n ga n d d i s c o v e r y ( m d s ) 服务来监控和发现资源，g r i dd i r e c t o r yi n f o r m a t i o n ( g d i ) 服务用于资源共享，n i m r o d g 可以进行有效的资源调度。 w s d a ( w e bs e r v i c ed i s c o v e r ya r c h i t e c t u r e ) 是一个统一的标准服务发现体 系结构，用于在运行时间内发现和调整远程服务；还有n i n j a 的s d s ( s e r v i c e d i s c o v e r ys e r v i c e ) 是一个双向的服务，一方面服务提供者提供复杂的可利用 或当前运行的资源的广告，另一方面用户使用s d s 查询定位资源，这个服务可以 提供安全的、间歇可利用的资源，且能为用户提供有效的查询结果。 对等网络环境中常采用的一类分布式资源定位方法，每个结点存储整个资源 i d 空间的一个子空间，并负责落在本子空间内的资源i d 到其物理位置的映射， 结点间通过特定的协议维护状态和转发查询请求，典型的代表有p a s t r y 等；s g n p 和g l o b e 给出了基于位置无关标识符( 1 0 c a t i o ni n d e p e n d e n ti d e n t i f i e r ) 和定 位服务( 1 0 c a t i n gs e r v i c e ) 的资源定位方法。 硕i j 学位论义 第二三帚p 2 p 的资源发现 第三章p 2 p 的资源发现 p 2 p 网络与网格都属于分布式计算，这两种模型的思想均是为了把网络中一 些空闲的很分散的计算机的资源利用起来，实现资源在网络中共享。由于网格与 p 2 p 之间存在许多共同点，因此我们试图将两者结合起来，借助p 2 p 的思想，解 决网格中资源发现存在的难题。本章主要介绍p 2 p 中资源发现的方法。 3 1p 2 p 概述 p 2 p ( p e e r t o p e e r ) 即对等计算或对等网络乜引，通常称为p 2 p ，可以简单的 定义成通过直接交换来共享计算机资源和服务。 3 1 1p 2 p 系统简述 类似于网格计算，p 2 p 技术同样希一望将互联网上的计算资源充分利用起 来，为需要计算能力的节点提供高速而廉价的计算“大脑”。在p 2 p 中，成千上 万台彼此连接的计算机都处于对等的地位，整个网络一般来讲不依赖于专用的集 中服务器。网络中的每一台计算机既能充当网络服务的请求者，又能对其他计算 机的请求做出响应，提供资源与服务。在p 2 p 系统中，对等实体是动态的，可随 时上线或离开，它们的行为也不可预测。 在具体的实现方案中，网格计算和对等网络略有不同。p 2 p 中含有许多能够 互相通讯的p e e r ，每个p e e r 都有专门的用途。通常情况下，网络中p e e r 的数 目是非常大的，但用途却只有几种。这就是p 2 p 应用之所以能大量并行运行的重 要原因。p 2 p 技术中最吸引的地方就在于这些对等p e e r 之间的联系。 p 2 p 打破了传统的c s 模式，是一种完全分散式的体系结构，系统中节点之 间是平等的，每个节点既充当服务器，为其他节点提供服务，同时也充当客户机， 享用其他节点提供的服务，它们可以根据实际需要在“客户机”和“服务器 角 色之间进行转换。我们称这些节点为对等实体。对等实体构成全连通图的各个顶 点，彼此之间的交互自接而对称，结果可以直接返回给请求者。 3 1 2p 2 p 系统的优点 在很大程度上，p 2 p 计算与那些分布计算所面临的问题是重叠的一一调整并 监控网络中独立节点的动作，并确保鲁棒性、以及节点间的可靠通讯。p 2 p 计算 足以把一些令人关注的分布式计算从后台推到前台。近年来网络带宽成倍增长， 但热门站点仍然不堪重负，而空闲的链路却被浪费。利用p 2 p 提供的分布式结构 1 2 顺l j 学位沦义笫三章p 2 p 的资源发现 能有效均衡负载，充分利用带宽。总的来说，p 2 p 系统具有如下优势m 1 ： ( 1 ) 负载均衡 p 2 p 络环境下可以根据策略灵活分布信息。负载均衡模块可以监控各种信息 的流量和请求率，然后重新分布这些信息以减轻单个节点的负载。 ( 2 ) 丰富的信息资源 共享资源无限，参与对等网的每个用户都可以是资源的提供者，任何p 2 p 用户能够扫描活动节点并搜索需要的信息，然后从这个节点上下载信息。用户可 以在他们的机器上把下载的信息共享出来，这样请求率高的文件能够很快地在许 多节点上扩散开来，b i t t o r r e n t 就是基于这样的原理实现的。 ( 3 ) 冗余和容错 p 2 p 的多个节点问的信息复制导致高度冗余，提高了信息的可获得性，使之 为更多的用户提供服务。另外，冗余使得网络不会产生“单点失效问题，所以 分散式的p 2 p 提高了网络的容错和安全。 ( 4 ) 基于内容的寻址 在w e b 上，u r l 地址并不能自接反映出它们的内容。但在p 2 p 中，存储特定 信息的节点地址对于用户是透明的，用户向网络提交查询请求时，请求信息中便 包括需要查询的信息，p 2 p 软件把请求转化成存放这些信息的节点地址。信息标 识符等价于一组存储有该信息的节点地址，所以把信息按照内容分类后再分布在 网络上，这更易于信息资源的查找。 ( 5 ) 有效的搜索 w e b 搜索引擎依赖执行程序在互连网上搜索存储信息量巨大的静态索引信 息的数据库，其搜索到的信息可能是不存在的。但在p 2 p 中，任何节点的信息 只有当节点在线的时候才被索引，因此索引信息与网络状态同步。p 2 p 不依赖搜 索程序重新访问链接来修改数据库索引信息，这种动态信息索引和对信息的有效 搜索使得p 2 p 具有显著优势。 ( 6 ) 提高资源利用率 计算机的计算能力按照摩尔定律在飞速增长，但增加的计算能力并未被充分 挖掘。p 2 p 技术可以被应用于广泛的网络互联技术领域中，并极大地提高对因特 网中信息、带宽和计算资源的利用率。 ( 7 ) 信息位于边缘 在p 2 p 技术的推动下，互联网的存储模式将由现在的“内容位于中心 模式 转变为“内容位于边缘”模式。p 2 p 改变了t n t e r n e t 现在的以大网站为中心的 状态、重返“非中心化”，并把权力交还给用户。 1 3 烦i j 学位论文 第三章p 2 p 的资源发现 3 2p 2 p 模型 在p 2 p 网络中，有两种典型的网络模型：结构化p 2 p 网络模型和非结构化p 2 p 网络模型。所谓结构化与非结构化模型的根本区别在于每个节点所维护的邻居是 否能够按照某种全局方式组织起来以利于快速查找。 3 2 1 结构化p 2 p 网络 与无结构p 2 p 网络相反，结构化p 2 p 网络中各索引结点的连接具有某种规则 的结构，如平面网格和环等，而且各索引结点的连接基本相同，结构化p 2 p 网络 中的资源注册往往以与其网络拓扑相对应的坐标系为参照，网络中的每个索引结 点都负责资源空间中的一部分，存储相应的资源或指针( 索引) ，因此结构化p 2 p 网络中的资源发现问题可转换为搜索所需资源对应索引结点的问题。 c h o r d 口幻，p a s t r y b 3 l ，c a n 口钔等分布式哈希表( d h t ) 系统就属于结构化p 2 p 网 络，其中c h o r d 在结点之间维护一种环状结构，使用相容哈希作为从资源和索引 结点到一维环状空1 1 | j j 的映射方法，使用d h t 作为资源发现手段。这几种结构化 p 2 p 的性能对比如表3 一l 所示。 表3 - 1 结构化p 2 p 网络性能对比 由于结构化p 2 p 模型要求节点之间存在比较有规律的拓扑，并不适合网格中 资源节点动态变化的特点，因此本文不做详细探讨。 3 2 2 集中式p 2 p 资源发现 集中式p 2 p 网络形式上有一个中心服务器来负责记录共享信息以及回答这 些信息的查询。每一个对等实体都对它将要共享的资源及进行的通信负责，根据 需要下载它所需要的其它对等实体上的资源。 这种模型具有中心化的特点，但它又不同于传统意义上的c s 模式。c s 模 式实际上是一种资源垄断，即所有的资源都存储在服务器上，客户机只能从服务 1 4 顺l j 学位论义 第三章p 2 p 的资源发现 器上获取资源，客户机之间不能进行资源的交换。集中式p 2 p 网络中，网络上提 供的资源并不是存放在服务器，而是存放在提供该资源的节点上，服务器只保留 索引信息。并且服务器与节点，以及对等节点之间都具有交互能力。其典型结构 如图3 - 1 所示。 信息查询流 资源下载流 图3 - 1 集中式p 2 p 网格结构( n a p s t e r ) 集中式p 2 p 模型的一个典型应用是n a p s t e r 幢引，在n a p s