（计算机软件与理论专业论文）网格资源发现机制的研究.pdf

南京邮电大学硕士研究生学位论文 摘要 摘要 i n t e r n e t 环境中分布着数量巨大、形式多样、功能各异的可共享资源，如何充分利用 网络中丰富的资源、消除信息孤岛是急需解决的问题。在此背景下，以寻求有效的资源共 享途径为目标的网格计算技术应运而生。随着资源共享和资源协作需求的增长，网格计算 技术的研究和应用日益升温，而网格资源管理则是网格技术研究的核心内容之一。网格资 源管理包括资源发现、资源分配、资源定位、资源监控和资源更新等部分，其中资源发现 是实现资源共享和资源协作的关键。因此，本文主要围绕网格资源发现机制展开研究。 论文首先对网格的概念、发展情况及国内外研究现状进行了综述，然后阐述了网格资 源的概念和特点；讨论了网格资源发现在资源管理中的地位和资源发现的关键技术；重点 介绍了几种典型的资源描述方法和资源发现机制，并对这些方法和机制进行了比较。在此 基础上，针对现有的资源描述方法和资源发现机制存在的局限性，以提高资源共享度为目 标，提出了一种新的基于元数据的网格资源发现模型g r d m b m ，在该模型中引入了元数据机 制和网格域的划分方法，采用了一种基于) ( m l 的资源描述方法。论文还以g r d m b m 为基础， 设计了一种新的具有较高资源发现效率的资源发现方法。最后，论文通过仿真实验验证了 g r d m b m 模型和新的资源发现方法的有效性。 论文对网格资源发现技术作了有益的探索。 关键词：网格；资源发现；元数据；x m l 南京邮电入学硕士研究生学位论文 a b s t r a c t a bs t r a c t t h e r ea r em a n y 坞s o u “：c se x i s t i n gi nv a r i o u sf o r m sa n dw i t hd i f f e r e n tf u n c t i o ni ni n t e m e t i ti si nu r g e n tn e e dt os o l v et h ep r o b l e mo fh o wt om a k eg o o d 墩o fa b u n d a n tr e s o u r c e sa n d a v o i dp r o d u c i n gi n f o r m a t i o ni s o l a t e di s l a n d s ot h e 班dt e c h n i q u ew h i c hm e a n st op r o v i d e e f f e c t i v ea p p r o a c h e sf o rr e s o u r c es h a r i n ge m e r g e s w i t ht h ed e m a n do ft h er e s o u r c es h a r i n ga n d t h er e s o u r c ec o o p e r a t i o ni n c r e a s i n g , t h er e s e a r c ha n da p p l i c a t i o no fe n dt e c h n i q u e sg r o wq u i c k l y , a n dt h ee n dr e s o u r c em a n a g e m e n ti so n eo ft h ec o r ep r o b l e m so fg r i dr e s e a r c h g r i dr e s o u r c e m a n a g e m e n ti n c l u d e s r e s o u r c ed i s c o v e r y , r e s o u r c ea l l o c a t i o n , r e s o u r c el o c a t i o n , r e s o u r c e m o n i t o r i n g , a n dr e s o u r c er e n e wa n ds oo n , a n dt h er e s o u r c ed i s c o v e r yi st h ek e yp r o b l e mi n r e s o l es h a r i n ga n dr e s o u r c 是c o o p e r a t i o n t h e r e f o r e ，t h i st h e s i sf o c u s e so nt h em e c h a n i s mo f r e s o u r c ed i s c o v e r y t h et h e s i ss u m m a r i z e st h ec o n c e p t , p r o g r e s sa n dr e s e a r c hf i e l d sa b o u tg r i d ；d e s c r i b e ss o m e c h a r a c t e r i s t i c so ft h er e s o u r c 启i ng r i d ；d i s c u s e st h es t a n d i n go fg r i dr e s o u r c ed i s c o v e r yi ng r i d r e s o u r c em a n a g e m e n ta n dk e yt e c h n i q u e so fi t ；i n t r o d u c e sa n dc o m p a r e ss e v e r a lt y p i c a lr e s o u r c e d e s c r i p t i o nm e t h o d sa n dr e s o u r c ed i s c o v e r ym e c h a n i s m s ，a n a l y z e st h e i rl i m i t a t i o n st h e n , a c c o r d i n gt ot h e l i m i t a t i o n so ft h ee x i s t i n gr e s o u r c ed e s c r i p t i o na n dr e s o u r c ed i s c o v e r y m e c h a n i s m s ，an e wg r i dr e s o u r c ed i s c o v e r ym o d e lb a s e do i lm e t a d a t a ( g r d m b m ) i sp r o p o s e di n o r d e rt oi m p r o v et h es h a r i n ga b i l i t yo ft h er e s o u r c ei n f o r m a t i o n ，w h i c hi n t r o d u c e sm e t a d a t aa n d t h em e t h o do fg r i dd o m a i nd i v i s i o na n da d o p t sax m l b a s e dr e s o u r c ed e s c r i p t i o nm e t h o d 。 a c c o r d i n gt og r d m b m ，t h i sp a p e rd e s i g n san e w r e s o u r c ed i s c o v e r ym e t h o dw h i c hc a ng e t b e t t e re f f i c i e n c yo fr e s o u r c ed i s c o v e r y f i n a l l y , t h ee f f e c t so ft h em o d e lg r d m b ma n dt h en e w r e s o u r c ed i s c o v e r ym e t h o dh a v eb e e nt e s t i f i e db yt h es i m u l a t i o nr e s u l t so ng r i d s i m t h i sp a p e re x p l o r e st h ep r o f i t a b l er e s e a r c ho ng r i dr e s o u r c ed i s c o v e r y k e y w o r d s ：g i r d ；r e s o u r c ed i s c o v e r y ；m e t a d a t a ；x m l l l 南京邮电人学硕士研究生学位论文 缩略词 缩略词 缩略词英文全称 d cd u b l i nc o r e g i i s g r i di n d e xi n f o r m a t i o ns e r v i c e s g r c d sg r i dr e s o u r c ec e n t e rd o m a i ns e r v e r g r d m b m 是：塞呲汕i 3 咖唧m 0 如1 8 删0 n g r i pg r i dr e s o u r c ei n d e x i n gp r o t o c o l g i u sg r i dr e s o u r c ei n f o r m a t i o ns e r v i c e s g r r pg r i dr e s o u r c er e g i s t e r i n gp r o t o c o l h i c h i 业t h r o u g h p u tc o m p u t i n g i pi n f o r m a t i o np r o v i d e r m d s m o n i t o r i n ga n dd i s c o v e r ys e r v i c e i p p m a s s i v e l yp a r a l l e lp r o c e s s i n g n a tn e t w o r ka d d r e s st r a n s l a t i o n o g s a o p e ng r i ds e r v i c ea r c h i t e c t u r e p i c s p l a t f o r mf o ri n t e r n e tc o n t e n ts e l e c t i o n r d fr e s o u r c ed e s c r i p t i o nf r a m e w o r k r s lr e s o u r c es p e c i f i c a t i o nl a n g u a g e r p r e s o u r c ep r o v i d e r s g s e r v e r g a t e w a y 1 v r l 面m e t ol i v e u d d iy m v e r s 掣 d e s c r i p t i o n d i s c o v e r y 锄d i n t e g r a u o n u s m a r cu sm a c h i n er e a d a b l ec a t a l o g u e v i r d v e g ai n f r a s t r u c t u r ef o rr e s o u r c ed i s c o v e r y v 0v i r t u a lo r g a n i z a t i o n w s d lw e bs e r v i c e sd e s c r i p t i o nl a n g u a g e w w ww o r l dw i d ew e b x m le x t e n s i b l em a r k u pl a n g u a g e 译文 都柏林核心 网格索引信息服务 网格资源中心域服务器 基于元数据的网格资源发现 模型 网格资源索引协议 网格信息资源服务 网格资源注册协议 高吞吐的计算 信息提供者 监控与发现服务 大规模并行处理系统 网络地址转换 网格服务体系结构 因特网内容选择平台 资源描述框架 资源规范语言 资源提供者 中继点服务器 生存时间 统一描述发现和集成 u s 国际机读书目格式 织女网格资源发现 虚拟组织 w e b 服务描述语言 万维网 可扩展标记语言 南京邮电人学硬：t = 研究生学位论文 图表清单 图表清单 图2 1 网格发展的三个阶段5 图3 1 资源管理系统模型1 4 图3 2 资源发现在任务协同中的作用1 5 图3 3 资源描述的作用1 6 图3 4w e bs e r v i c e 体系结构18 图3 5m d s 层次结构1 9 图3 - 6c o n d o r 匹配过程2 0 图3 7 基于路由器的资源发现机制2 3 图4 1 资源发现模型在资源管理系统中的定位2 7 图4 2 网格与p 2 p 合并资源发现模型2 8 图4 3v i r d 三层结构图2 9 图4 4g r d m b m 三层结构图3 0 图4 5 资源描述示例3 3 图4 6 资源注册描述实例3 4 图4 7 资源基本元数据格式。3 5 图4 8 数据资源元数据格式。3 5 图5 1 资源发现过程4 2 图6 1g r i d s i m 详细模块化的体系结构图。4 7 图6 2g r i d s i m 模拟流程4 8 表6 一i 资源发现仿真参数5 0 图6 3g r d m b f l o o d i n g 资源更新开销比率图5 1 图6 - 4 域内资源密度对请求成功率的影响5 1 图6 5 不同”r l 下，g r d m b m 与f l o o d i n g 不同资源发现算法的请求成功率。5 2 5 5 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：日期： 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：导师签名：日期： 南京邮电人学硕士研究生学位论文第一章引言 1 1 课题背景与意义 第一章引言 网格是9 0 年代初提出的概念。它的发展建立在计算机软硬件高速发展的基础上：处 理器速度每1 8 个月翻一番，存储密度每1 2 个月翻一番，网络速度每9 个月翻一番； j a v a 、n e t 、x m l 、d c o m 等软件技术的出现。迅速发展的计算机软硬件技术使得有效 地利用大范围内分布的资源来完成以往无法完成的应用成为可能，为网格的产生和发展创 造了条件。网格计算利用互联网把分散在不同地理位置的电脑组织成一个虚拟的超级计算 机，其中每一台参与计算的计算机就是一个“节点 ，而整个计算是由成千上万个“节点 组成的“一张网格”，所以这种计算方式叫网格计算( g r i dc o m p u t i n g ) 。这样组织起来的 虚拟的超级计算机有两个优势：数据处理能力超强和能充分利用网上的闲置处理能力。 为了实现网格的资源共享与融合，需要许多技术的支撑，资源发现就是其中之一，它 主要解决如何根据网格用户的资源请求来发现相应资源的问题。资源发现机制是关系到广 域分布式环境中资源共享和协同工作效率的关键，在计算网格、w e b j 艮务和p 2 p ( p e e rt o p e e r ) 技术中，都需要对这个问题进行深入研究。传统的集群系统中，资源的分布比较集 中，因而可以迅速、准确地定位到所需的资源，资源的查找操作对计算性能的影响很小。 而在网格环境下，情况则不同。作为种广域的大规模分布式环境，网格资源有以下特点 【l 】：资源的地理分布极广，资源之间、资源和客户以及客户之间往往通过广域网( 如i n t e m e t ) 连接；现有i n t e m e t 存在的带宽和延迟限制以及网络的不可靠性；资源类型和数量巨大，而 且要求一定程度的协同工作；资源是动态变化的，包括资源属性的变化，以及在网格内的 复制和迁移等；资源工作在异构平台上，并且由不同的管理策略控制。上述网格环境的特 点，使得及时、准确地掌握资源信息和迅速地找到所需资源变得相当困难，这就使得资源 发现机制的效率对网格计算的性能有极大影响，网格资源发现机制的研究工作具有相当重 要的意义。因此，资源发现机制的研究对于整个网格计算问题具有重要意义，是网格计算 领域中的一个重要研究课题。 在网格环境中，需要有一种不依赖集中控制的、分布式、可扩展、能适应资源动态变 化并且定位性能好的资源发现机制。这样的资源发现机制，能够很好地适应网格环境的特 征，迅速准确地发现所需资源信息，从而大大提高网格计算的性能。这样的网格资源发现 机制正是国内外网格研究领域的热点，也是本文研究的内容。 l 南京邮电人学项二i ：研究生学位论文 第一章引言 1 2 论文的主要工作 本文首先以提高资源共享度为目标，提出了一种新的资源发现模型g r d m b m ，并在此 基础上设计一种新的能提高了资源发现的效率的资源发现方法在g r d m b m 模型中把 网格按照某种方法划分为不同的网格域，给出网格域的更新描述，及时更新网格中的资源 信息，资源的描述采用了元数据和x m l 机制。在所设计的新的资源发现方法，结合元数 据用x m l 对资源信息和用户查询进行了统一描述，然后把结果存储在一个资源路出中， 每当资源请求时，首先查询资源路由中是否有适合用户需求的资源，如果不需要再转发到 其它网格域中去查询，提高了资源发现的效率。论文还用g r i d s i m 工具对上述研究内容作 了仿真，仿真结果证明了g r d m b m 模型和新的资源发现方法的有效性。 1 3 论文的组织 本文共分七章。后续各章的内容组织如下： 第二章网格与网格资源概述：介绍了网格的定义、特点及发展、网格需要解决的问 题、解决这些问题需要的网格关键技术；对网格和其它网络技术做了简单的比较：展望了 网格发展趋势；介绍了网格资源的定义和分类并阐述了网格资源的特点。 第三章资源发现机制及相关研究：首先介绍了资源发现的定义，讨论了资源发现在 资源管理中的地位；然后介绍了资源发现的关键技术：重点介绍了现有的资源发现机制， 并对它们各自的特点做了总结；最后介绍了几种资源发现的方法。 第四章网格资源发现模型g r d m b m 的设计：首先介绍了一种资源发现模型，简要 介绍了这种模型的优点，融合另一种模型，本章提出了一种新的网格资源发现模型 g r d m b m ，然后详细介绍了该模型的结构和特点，最后介绍了该模型采用的资源描述方 法。 第五章基于g r d m b m 模型的网格资源发现方法：介绍了基于g r d m b m 模型的网 格资源发现方法的设计，包括方法的资源组成、方法相关算法最佳邻居算法、资源注册 以及资源如何更新：然后对资源发现方法过程做了详细的描述并给出了伪代码。 第六章仿真及结果分析首先介绍了并比较了几种网格仿真工具，然后重点对本文采 用的g r i d s i m 进行了说明；最后设计仿真实验并分析了实验结果。 第七章总结与展望：对本文工作进行总结，指出需要进一步研究的内容。 2 南京邮电人学硕：i ：研究生学位论文 第二二市罔格与网格资源概述 第二章网格与网格资源概述 随着i n t e m e t 的发展，研究人员可以将分布于很大地理范围上的异构计算机系统集合 在一起形成一个大规模的计算平台。该领域的研究产生了一种新型的科学计算模式，称之 为网格计算。网格计算的目的是使人们可以无缝地集成广域资源来解决问题，也就是实现 网格环境下资源的共享和协同，因此，网格环境里如何有效地发现资源就成为影响网格计 算是否成功的最重要因素之一。同时，由于资源在广域上分布、本质上异构、由不同的个 人或组织拥有、负载和可用性动态变化，使得网格环境下的资源发现十分复杂和具有挑战 性。本章分别介绍了网格技术和网格环境下资源的相关内容。 2 1 网格技术概述 2 1 1 网格的定义、特点及发展 网格计算系统是一种无缝、集成的计算和协作环境。网格的目的不外乎是利用互联网 把分散在不同地理位置的电脑组织成一台虚拟的超级计算机，实现计算资源、存储资源、 数据资源、信息资源、软件资源等的全面共享与协同管理，其中每一台参与的计算机就是 一个节点。传统互联网实现了计算机硬件间的连通，w e b 实现了网页的连通，而网格试图 实现互联网上所有资源的全面连通。整个网络如同一台巨大无比的计算机，向每个用户提 供一体化的服务。 1 网格的定义 到目前为止，学术界对于网格和网格计算的定义一直存在分歧，没有一个能够被普遍 接受的定义。 i a nf o s t e r 等人在网格和网格计算理论方面做出了巨大贡献，他们认为：网格就是在缺 少中央控制、全局信息以及严格信任关系的情况下能够协同使用地理上分布的各种资源 ( e n a b l i n gt h ec o o r d i n a t e du s eo fg e o g r a p h i c a l l yd i s t r i b u t e dr e s o u r c ei nt h ea b s e n c eo fc e n t r a l c o n t r o l ，o m n i s c i e n c e ，s t r o n gt r u s tr e l a t i o n s h i p s ) f 2 1 。 参考各种网格和网格计算的定义，并将i a nf o r s t e r 等人的观点具体化，可以得到如下的 网格定义1 3 】： 网格是构筑在互联网上的一组新兴技术，它将高速互联网、高性能计算机、大型数据 库等设备融为一体，并进行了信息的融合，使人们能够透明地使用资源的整体能力，并能 3 雨京邮电人学颀上研究生学位论文第二荦同格，0 网格资源概述 按需获取信息网格的任务是使在动态变化的网格环境中共享资源和协同解决问题网格 对现有互联网进行了非常好的管理，它把分散在不同地理位置的资源虚拟成为一台空前强 大的超级计算机，实现资源的全面共享。 简单讲，网格就是将位于全球不同地方的研究机构所拥有的硬件和软件设施联合起来 以解决极端复杂的科学研究和计算问题。在硬件方面，网格需要将地理上分布在不同地方 的硬件资源，如网络、计算机、数据仓库以及可视化虚拟实现显示等有机地联系起来。在 软件方面网格的作用就像一个中间件，它将需要的各个硬件和软件资源有机地集合起来以 便这些不同的部件能够协调运作。 2 网格的特点【i 】 网格作为一种新出现的重要的基础性设施，有一些重要的特点，只有了解这些特点才 能更好的认识和把握好网格的研究、应用和开发。网格的特点包括： ( 1 ) 分布与共享： 分布性是网格的一个最主要的特点，网格的分布性首先是指网格的资源是分布的。组 成网格的计算能力不同的计算机、各类资源( 硬件资源和软件资源) 以及其它各种设备都 是分布在地理位置互不相同的多个地方，而不是集中在一起的。因为网格资源是分布的， 所以基于网格的计算一定是分布式计算而不是集中式计算。在网格这一分布式环境下，需 要解决资源与任务的分配和调度问题，安全传输与通信问题，实时性操作保障问题，入与 系统以及人与人之间的交互性问题等等。 网格资源虽然是分布的，但是它们却可以充分共享。共享是网格的目的，没有共享便 没有网格，解决分布资源的共享问题是网格的核心内容。分布是网格硬件在物理上的特征， 而共享则是网格软件支持下实现的逻辑上的特征。 ( 2 ) 自相似性 网格的局部和整体之间存在着一定的相似性，局部往往具有全局的某些特征，而全局 的特征在局部也有一定的体现。 ( 3 ) 动态性和多样性 对于网格来说，绝不能假设它是一成不变的。网格的动态性包括动态增加和动态减少。 原来拥有的资源在下一时刻可能会因出现故障而无法使用：而原来没有的资源，可能随着 时间的推移会不断地加入网格。对于网格资源动态减少或者资源出现故障的情况，要求网 格能够及时采取措施，实现任务的自动迁移，做到对高层用户透明或者尽可能减少用户损 失；而对于网格资源动态增加的情况则要求提高网格的扩展性，也就是说网格的设计与实 现必须考虑到新资源能否自然地加入到网格中来，并可以和原来的资源融合在一起，共同 4 南京邮电人学硕士研究生学位论文第二翠刚格与网格资源概述 发挥作用网格的扩展要求体现在规模、能力、兼容性等几个方面 网格资源是异构和多样的，因此网格系统必须能解决这些不同结构、不同类别资源之 间的通信和互操作问题，正是因为异构性和多样性的存在，为网格的设计提出了更大的挑 战 ( 4 ) 自治性与管理的多重性 网格的自治性是指网格资源的拥有者对该资源具有最高级别的管理权限，网格应该允 许资源拥有者对它的资源有自主的管理能力。 否则不同的资源就无法建立相互之间的联系， 有多重性。 3 网格的发展 同时网格资源也必须接受网格的统一管理， 无法实现共享和互操作。因此网格的管理具 网格的发展有其必然性。随着互联网的出现，计算机被广泛应用于数据计算、办公自 动化和信息传递，节约了人们的时间，缩短了人们的空间距离，扩大了信息交流。但是当 人们在网络建设上扩大后，互联网的局限性和不足也逐渐显露出来。在资源方面，绝大部 分的计算机在运行的过程中也存在大量硬件资源闲置；在服务方面，用户在万维网上查找 信息存在着大量无用的网站链接。在这种情况下，专家们开始着手研究和开发一种比互联 网和万维网更先进的、能实现资源全面共享的基础设施网格。 从大体上来说，网格的发展可分为三个阶段：如图2 1 所示。 ； 第一阶段：萌芽时 研究的主要内容 第二阶段：早期试验 开创性和奠基性 第三阶段：发展期 标志性：f 作： 是千兆网的实验 f j 【作：支持人规模数据 ；o g s a 标准制定 j 床，以及一些元计与计算应川的中间什w s r f 标准山台 ； 算试验： 开发 w s l + 标准制定 j ；代表性项目： 代表性项目： ： f a f n e r i w a y g l o b u s 6 1 l e g i o n 7 1 幽2 1 网格发展的三个阶段 网格是在2 0 世界9 0 年代中期为构建先进科学和工程分布式计算设施而引进的概念。 连接超级计算中心为一定范围内的高性能应用提供资源，这是网格发展的第一个阶段， 5 南京邮电人学便士研究生学位论文 第二荦网格| 孑h 格资源概述 _ - _ _ _ _ _ - _ l _ _ l - l - _ - _ _ _ - _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ l _ - _ _ - _ - - l - i _ _ jm 一 i _ - _ _ _ _ _ _ _ _ _ - i _ _ - i - _ - - 。一 f a f n e r l 4 l 和i w a y i s ! 是这一时期的两个代表性项目 随着技术的进步和应用的普及，网格被看作全球范围内为各种大规模计算和数据密集 型应用提供分布计算环境的基础设施网格发展进入第二个阶段，这一时期的代表项目有 g l o b u s n l e g i o n 7 1 2 0 0 2 年以开放网格服务体系机构( o p e ng r i ds e r v i c ea r c h i t e c t u r e ，o g s a ) 为标志，网 格发展进入第三阶段，网格演进成为一种受管理的共享虚拟系统。这一时期，网格从计算 网格演变成网格计算，称谓的改变反映了人们对网格技术内涵理解的深化。 2 1 ，2 网格需要解决的问题 为了促进网格计算的广泛应用，让用户随心所欲地共享网格计算中的各种资源，还必 须解决以下问题： ( 1 ) 合作与转换：由于网格由分布在广域网上不同管理域的各种计算机资源组成， 怎样实现异构机器问的合作和转换是首要问题。 ( 2 ) 可扩展性：要在网格资源规模不断扩大、应用不断增长的情况下，不降低性能。 ( 3 ) 动态自适应性：在网格计算中，某一资源出现故障或失败的可能性较高，资源 管理必须能动态监视和管理网格资源，从可利用的资源中选取最佳资源服务。自动故障检 测和恢复对于任何网格软件来说都是必须解决的关键问题。当把3 0 - 4 0 个节点连接在一起， 有可能每2 4 小时就会面临次故障。必须考虑新的方法来处理故障，不能简单地依赖于 提高冗余程度。 ( 4 ) 安全性：由于开放了网格，提供了更多的工具和访问权限，必须确保它的安全 性，安全机制应该嵌入到网络软件中最核心的层次上。包括登陆认证、访问控制、可信赖、 完整性和记账等方面的安全性，安全是网格计算的难点，也是系统成败的关键。目前各企 业为大学或公司内部建设的网络都只提供单纯的技术方案，供学术研究或内部使用，而与 其它网络连接形成计算能力更大的共享网络，则要冒很大的风险。 ( 5 ) 高带宽需求：有限的网络带宽满足不了网格计算技术的数据传输速率要求，这 就限制了适合在网格上运行的应用类型，应提高网络的带宽以更好地发挥网格计算的优 势。 ( 6 ) 协议和服务标准：迄今为止，网格计算还没有正式的标准。在核心技术上，现 在比较普遍采用由美国a r g o n n e 国家实验室与南加州大学信息科学学院合作开发的g l o b u s t o o l k i t 。它是一种开放架构和开放标准基础设施，它提供了构建网格应用所需要的很多基 6 南京邮电人学颀士研究生学位论文第二二章网格与网格资源概述 本服务，如资源发现、资源管理、数据访问、安全等 2 1 3 网格关键技术 网格涉及许多方面的技术，这些技术对网格的发展都具有重要意义。在这些技术中， 有以下几项关键技术： 1 网格节点 网格节点就是网格计算资源的提供者，它包括高端服务器、集群系统、m p p ( m a s s i v e l y p a r a l l e lp r o c e s s i n g ) 系统、大型存储设备、数据库等。这些资源在地理位置上是分布的， 系统具有异构特性。 2 宽带网络系统 宽带网络系统是在网格计算环境中提供高性能通信的必要手段。通信能力的好坏对网 格计算提供的服务性能影响甚大。传统的分布式系统是一种集中的( 分布在相对密集的环 境里) 分布，分布式通信方式和现有的i n t e m e t 技术分别在经济上和安全性能上不可能满 足广域分布的计算节点之间可靠的数据交换。而可靠的高速通信技术是实现网格计算系统 安全可靠地对分布在动态整合的资源集合里的任务进行协同运行的保证，带宽和延迟是网 络最重要的两个属性。要做到“即连即用 ，必须要有高质量的宽带网络系统支持。 3 资源管理和任务调度工具 计算资源管理工具要解决资源的描述、资源的命名、资源的发现和管理等关键问题。 资源管理是网格计算系统最主要的核心问题之一，网格计算环境中，资源是分散在各个不 同地域和管理域中，由不同的组织拥有和操作。同时，很多应用需要同时使用多个站点上 的资源，站点自治性和分配资源时可能出现的故障需要一种特殊机制来同时分配位于多个 站点上的资源。另外，资源有可能随时地加入或离丌网格系统以及有些资源在执行任务时 本身的状态会动态地改变。因此，如何对网格计算环境中进行有效的资源发现是实现高性 能联合计算，共同完成重大应用问题的关键。任务调度工具的作用是根据当前系统的负载 情况，对系统内的任务进行动态调度，提高系统的运行效率。它们属于网格计算的中间件。 4 监测工具 高性能计算系统的峰值速度可达百万亿次秒，但是实际的运算速度往往与峰值速度有 很大的距离，其主要原因在于高性能并行计算机的并行程序与传统的串行程序有很大差 异。而高性能计算应用领域的专家对编程技术并不擅长，很难充分利用各种计算资源。如 何帮助使用人员充分利用网格计算中的资源，要靠性能分析和监测工具。这对监视系统资 7 南京邮电人学硕士研究生学位论文第二荦啊格j j 列格资源概述 源和运行情况十分重要 5 应用层的可视化工具 网格计算的主要领域是科学计算。它往往伴随着海量的数据，难以通过人工分析得出 正确的判断。如果把计算结果转换成直观的图形信息，就能帮助研究人员摆脱理解数据的 困难，这就要研究能在网格计算中传输和读取数据的可视化工具，并提供友好的用户界面。 2 1 4 网格与其它网络技术的比较 网格与当前存在的一些网络技术如万维网、分布式计算技术、p 2 p 技术等在解决问题 的着重点上有所区别。 1 网格与万维网的比较 网格实际上是继传统因特网、万维网之后的第三代因特网应用。传统因特网实现了计 算机硬件的连通及相互之自j 的通信，万维网使用统一的超文本协议实现了网页的连通，仍 然停留在信息交换的阶段。而网格试图实现互联网上所有资源的全面连通，包括计算资源、 存储资源、通信资源、软件资源等等，最终实现网络虚拟环境上的资源共享和协同工作， 消除信息孤岛和资源孤岛。网格的目标就是让人们使用网络资源像用电一样简单，不再需 要用户自行搜集、整理所需要的有用信息。 2 网格与分布式计算的比较 网格计算的核心问题是资源共享，属于分布式计算领域研究的范畴，它们在许多方面 具有共同点，但由于网格强调资源共享和不同资源间的互操作性，而各种分布式计算技术 更强调为使用者提供一个逻辑或虚拟的集中环境。因此，网格与一般的分稚式计算技术不 同，具体区别表现在： 首先，网格中资源共享是大规模的，资源类型具有普遍性。网格下的一个资源节点可 以代表文件服务器、数据库、程序等种种连接于网络的软硬件设施，而目前的分布式计算 技术处理的资源类型十分有限，w e b 发布、v i r t u a le n t e r p r i s e 技术主要解决信息资源的共享， 但是并没有涉及应用程序的绑定调用和远端物理设备的控制使用问题。 其次，网格下的关系更加灵活，充分考虑到了网格节点的自治性。虚拟组织具有开放 的体系结构和灵活的共享机制和访问机制，对于参与成员没有过多的限制。与之相比，现 有的分布式计算技术对于计算单元的种种限制，束缚了它们的灵活性和扩展性。 3 网格与p 2 p 计算的比较 网格与对等计算没有本质区别，都是在广域条件下实现资源共享。但二者也有一定的 8 南京邮电大学硕士研究生学位论文第二牵罔格与网格资源概述 区别： 1 ) 应用面：网格较侧重于重大科学计算和大型专业性的协同其一个或多个主要节 点仍有较重的服务器色彩：对等计算提供普通的信息服务，每个参与者明显地兼有客户 服务器双重身份。 2 ) 控制：网格在资源监视和作业调度上仍有较多的集中控制；对等计算仅有很少的 或者没有集中控制，主要靠自行组织。 3 ) 访问对象：网格访问计算资源、数据资源、软件资源，相对来说，有较固定的目 标；对等计算完全是随机访问，随机使用。 4 ) 服务质量：网格确保可靠的服务质量：对等计算只有部分的保证，某些参与者甚 至是不可信的。 5 ) 安全性：网格中每个节点都有身份鉴定、授权、防火墙保护的能力；对等计算中 每个参与者不保证这些能力，甚至是匿名的。 总之，一切网络技术的成果都可以为网格服务，网格是建立在网络之上的，网格离不 开网络技术，但是网格的问题仅仅靠网络技术是无法解决的，许多问题都有待于我们更进 一步的研究与探索。 2 1 5 网格的发展趋势 目前国内外在网格计算方面的研究十分活跃，研究范围跨度很大，呈现以下趋势： 1 ) 网格应用以行业为先导：目前国际上所有的应用网格，无一例外地为以行业或专 业来建设与服务，这也是网格应用初始阶段的重要特征。由于网格技术还不成熟，没有统 一的标准，而对网格技术的需求又十分强烈，因此目前的网格应用形态和用户使用模式都 是多种多样的，对用户的请求、资源的表示与管理、信息的集成等基本都是行业特点构造 相应的系统，并试图解决。 2 ) 网格计算标准化：随着网格的快速发展，网格计算标准化的呼声越来越高，目标 就是为了规范和统一现在大量的网格计算研究，g l o b u s 在一定程度上成为事实的标准。 3 ) 技术融合：开放的面向w e bs e r v i c e 的框架结构和与工商界应用的结合是网格技术 研究的一个重要趋势，原来的网格计算主要集中在科学计算等学术领域，而目前正走向实 用与市场结合，直接服务于生产和各种商业活动。 4 ) 大型化趋势：一方面，网格应用在资金上的投入越来越大，用于网络建设、购买 设备的资金投入很大，各国政府的投入将逐年递增。另一方面，依据网格的发展，从最初 9 南京邮电人学硕：l 研究生学位论文 第二二章网格i 嘲格资源概述 的企业网格、合作网格到最终的公用基础设施网格最终将作为国家公用设施去建设与运 营，为科学研究、国民经济和国防建设提供服务 2 2 网格资源概述 2 2 1 网格资源的定义和分类 1 网格资源的定义 网格资源指所有能够通过网格远程使用的实体，是网格中所有可以被主体请求使用的 实体的总称。资源是可以在一段时间内使用的可更新或不可更新的实体，资源是共享的或 独占的，它们的所有者可能向其它使用资源的人收费，资源可共享或独占，资源可以被清 晰地定义，或者用参数描述。网格中常用的资源包括：处理能力、存储系统、目录、网络 资源、分布式文件系统、分布式计算机池、计算机集群等。 网格的资源还包括：服务、应用软件、数据、信息、雷达、家用电器等设备和仪器， 等等。在网格环境下，资源具有异构、分布、动态的特点：资源类型异构，资源的地理分 布极广且数量巨大，资源是动态变化的。网格系统的目标就是使得资源具有面向用户和透 明性的特点，用户可以在不考虑资源物理位置的情况下，方便地使用资源。 2 网格资源的分类【1 1 资源种类很多，功能差异也很大。可以从不同的角度将资源分成不同的类别。 1 ) 根据资源能否移动的特性可将资源分为可移动资源和不可移动资源。可移动资源 包括数据、程序、代码等，它们可以从网格中的一个位置移动到另一个位置：不可移动资 源是硬件、设备等需使用机械力量才能移动的资源。可移动资源会导致备份管理、一致性 等许多不可移动资源所没有的问题。在网格中，可移动资源的合理移动是提高网格性能的 一种有效途径，资源的移动管理是网格资源管理的基本功能。 2 ) 根据资源是否可重复使用的特性可将资源分为可重复使用的资源和不可重复使用 的资源。可以被多次使用的资源是可重复使用的资源，如内存、存储介质等是可重复使用 的资源，一个用户使用之后别人还可以继续使用它们：不可重复使用的资源是计算周期、 通信带宽等资源，这种资源一旦被一个用户使用，将会消耗掉它，别人不能再使用。不可 重复使用的资源是网格中最重要的资源，必须合理、有效地利用这种资源，才能发挥网格 的能力。 3 ) 根据资源是否可复制的特性可将网格资源分为可复制资源和不可复制资源，可复 l o 南京邮电人学硕士研究生学位论文第二章圈格与网格资源概述 制资源可以通过指令或服务请求把一份资源变成多份，用同一个名字或相同的属性访问 该类资源，可以找到多个相同的物理实体网格上的数据、应用程序、服务等是可复制资 源；不可复制资源不能通过指令或服务请求产生副本，设备、仪器属于不可复制资源。按 名称访问不可复制资源，找到的物理实体是唯一的 网格允许一个应用程序或用户根据自己的需要使用网格资源，而不需要知道所用资源 的物理位置。网格内的资源由不同的组织、团体、个人所拥有，不同的节点使用不同的资 源管理系统，使用相同管理系统的节点之间也可能因为配置的不同而存在很大差异。网格 上的应用遍及所有的研究和生活领域，不同应用都有自己的特点，网格资源管理策略必须 支持不同网格应用具有不同特点这一特性。有的应用需要联合使用网格内多个节点的资 源，需要网格具有资源聚合能力。大的网格应用需要运行很长时间，在运行过程中，分配 给该应用使用的某个资源可能需要离开网格，这时，网格资源管理机制要从后备设备中选 择合适的设备来取代要离开网格的设备工作，原来的应用要继续执行下去，而不是更换了 设备之后重新从头开始。 2 2 2 网格资源的特点 网格系统中的资源无论在种类的多样性还是功能的多样性方面，都远远超过以往的系 统。网格中资源也就