（计算机软件与理论专业论文）基于p2p机制的网格资源查找模型层次式chord环.pdf

g r i d 工 独创性声明 本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得 的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过 的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢 意。 学位论文作者签名： 杰晦 e l期： 渺扩多乡7 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学 位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的 复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学 位论文的全部或部分内容编入有关数据库进行检索、交流。 作者和导师同意网上交流的时间为作者获得学位后： 半年一年口一年半口两年口 学位论文作者签名： 签字日期： 藿癌 l 跏孑多、乡口 导卉签名：何辱 签字日期：沙砧舌3p ， 盛 4 东北大学硕士学位论文摘要 基于p 2 p 机制的网格资源查找模型一层次式c h o r d 环 摘要 网格的出现，引起了互联网浪潮的一次新的革命。传统的互联网实现了计算机硬件 的连通，w e b 技术实现了网页和网络资源的手工互联，而网格技术试图实现互联网上所 有资源的全面连通，包括计算资源、存储资源、通信资源、软件资源、信息资源、知识 资源等。网格计算具有分布性、异构性、可扩展性和动态自适应性等特点。业界已经制 定了统一的标准，具有广阔的发展前景。同时，p 2 p 作为做为一种新兴的网络技术，也 以实现网络上分散资源的全面共享为目标。 网格资源发现一直是一个研究热点，现有的项目提出了自己的解决办法，但是它们 都存在着需要改善的不足之处。本文对全分布式结构化的p 2 p 网络的典型算法c h o r d 进 行了细致研究，全面归纳总结了c h o r d 模型的构造过程和查找算法，分析它的性能、优 势及不足。然后，在此基础上归纳几种已有的改进方法，分别介绍各个改进算法的基本 思想和结构设计，然后从理论上与原始的c h o r d 算法进行对比分析。 本文提出了层次式c h o r d 模型，把网格资源划分领域和区域，使用相容散列函数把 数据资源映射成不同的带有领域信息和区域信息的标识。在c h o r d 的查找算法基础上加 以改进，加快了查找速度，至少达到c h o r d 的速度，并且尽量的减少实际网络查找的物 理路径长度，这样减少了网络的通信代价，这在现有的网络带宽有限的情况下，显得非 常有实际意义。 最后，在实验部分对比了c h o r d 的改进算法和原始的c h o r d 算法的查询性能，以及 层次式c h o r d 算法在查询平均响应时间和平均物理路径长度方面相对于原始的c h o r d 算 法的改善效果。 关键词：网格；p 2 p ；资源发现；c h o r d ；层次式c h o r d i i i _ _ 东北大学硕士学位论文摘要 一一 - g r i dr e s o u r c es e a r c hm o d e lb a s e do np 2 p m h i e r a r c h i c a lc h o r d a b s t r a c t g r i d sr i s i n gh a sb r o u g h tan e wr e v o l u t i o no ft h ei n t e r a c t a sw h i l ea st r a d i t i o n a li n t e r n e t h a sr e a l i z e dc o n n e c t i o no fc o m p u t e rh a r d w a r ea n dw e bt e c h n i q u eh a sr e a l i z e dc o n n e c t i o n b e t w e e nw e bp a g e sa n dn e t w o r kr e s o u r c e sb yh a n d w o r k ，g r i dt e c h n i q u ei n t e n d st or e a l i z e t o t a l l yc o n n e c t i v i t yo fr e s o u r c e sw h i c hc a nb ef o u n do nt h ei n t e r n e t s u c ha sc o m p u t e r i n g r e s o u r c e s ，s t o r i n gr e s o u r c e s ，c o m m u n i c a t i n gr e s o u r c e s ，s o f t w a r er e s o u r c e s ，i n f o r m a t i o n r e s o u r c e s ，k n o w l e d g e r e s o u r c e sa n ds oo n g r i dc o m p u t i n gh a st h ec h a r a c t e r i s t i co f d i s t r i b u t e d ，d y n a m i c ，h e t e r o g e n e o u s ，e x t e n s i b l e ，s e l f - o r g a n i z i n g u n i f i e ds t a n d a r dh a s b e e n d e s i g n e do nt h eg r i d ，s oi th a se x t e n d e dd e v e l o p i n gf u t u r e a tt h e s a m et i m e ，a san e w n e t w o r kt e c h n i q u e ，p e e rt op e e r ( p 2 p ) s h a r e st h es a m eg o a lt of u l l yu t i l i z ea n dh a l v et h e d i s t r i b u t e dr e s o u r c e si nt h en e t w o r k f i n d i n gr e s o u r c e so fg r i d i sar e s e a r c hh o t s p o ta l lt h et i m e e x i s t i n gp r o j e c t sh a v e p r o v i d e dt h e m s e l v e ss o l v i n gm e t h o d s ，b u tt h e yh a v es h o r t c o m i n g so ft h e i r s e l v e st h a tn e e d t o a m e n d i n g i nt h et h e s i st h ec h o r dm o d e l h a sb e e ns t u d i e d ，i ti sat y p i c a la r i t h m e t i co ft h e f u l l yd i s t r i b u t e ds t r u c t u r e dp 2 pn e t w o r k ，a n dh a sa l s oa l l s i d e ds u m m a r i z e di t sc o n s t r u c t i o n p r o c e s sa n dr e s e a r c ha r i t h m e t i ca n da n a l y z e di t sp e r f o r m a n c e ，a d v a n t a g ea n dd i s a d v a n t a g e o nt h ef o u n d a t i o no fa b o v ew o r k , s o m ei m p r o v e m e n tt h o u g h to ft h ec h o r dm o d e li s s u m m a r i z e d ，a n dt h e nt h ec a p a b i l i t yo fi m p r o v e da r i t h m e t i ci nc o m p a r i s o nw i t ht h eo r i g i n a l c h o r di sa n a l y z e d i nt h et h e s i s ，ah i e r a r c h i c a lc h o r d m o d e lw a sp r o p o s e d ，w h i c hc a r v e su pr e s o u r c e so fg r i d b e t w e e nd o m a i n sa n da r e a s ，a n du s e sc o n s i s t e n th a s h i n gf u n c t i o nh a s hd a t ar e s o u r c e st o d i f f e r e n ti d e n t i f i e r sw h i c hh a si n f o r m a t i o na b o u tw h i c hd o m a i n st h er e s o u r c ed a t ai sb e l o n gt o a n dw h e r ei st h ed a t ar e s o u r c e t h er e s e a r c hw a yo fh i e r a r c h i c a lc h o r d ，i m p r o v i n go nt h e s e a r c hw a yo fc h o r d ，a r r i v e sa tg o a lo fd e c r e a s i n gt h et i m eo fq u e r yr e s p o n s e ，a tl e a s t r e a c h i n gc h o r d ss p e e d ，a n da l s od e c r e a s e sp h y s i c sr o u t i n gl e n g t hi nt h e r e a ln e t w o r ka n d c o m m u n i c a t i n gc o s t ，w h i c hi sm e a n i n g f u li nt h ef a c t u a la p p l i c a t i o ne s p e c i a l l yi nt h ec a s eo f t h a ti ti sv e r yl i m i t e do ft h en e t w o r kb a n d w i d t h f i n a l l y ，s e a r c hc a p a b i l i t yb e t w e e nt h ei m p r o v e dc h o r da r i t h m e t i ca n do r i g i n a l c h o r d a r i t h m e t i ci sc o m p a r e di nt h ee x p e r i m e n t sa n dh i e r a r c h i c a lc h o r d ss e a r c hc a p a b i l i t yo nt h e a s p e c to fa v e r a g eq u e r yt i m ea n da v e r a g ep h y s i c a l r o u t el e n g t hi nc o m p a r i s o nw i t ht h e o r i g i n a lc h o r d i sa l s oa n a l y z e d 一v r il 东北大学硕士学位论文 a b s t r a c t k e y w o r d s ：g r i d ；p e e rt op e e r ；r e s o u r c e sf i n d i n g ；c h o r d ；h i e r a r c h i c a lc h o r d v i 一 ， i 东北大学硕士学位论文 独创性声明 摘要 a b s l l r a c t 第1 章绪论 1 1 课题研究现状。 1 2 本文主要内容。 1 3 本文组织结构 第2 章相关知识和概念 2 1 网格技术。 2 1 1 网格定义 2 1 2 网格资源的特点 2 1 3 网格的发展现状 2 1 4 网格发展趋势 2 2p 2 p 技术 2 2 1p 2 p 概念 2 2 2p 2 p 网络的体系结构 2 3 网格体系结构。 2 3 1 开放网格服务体系o g s a 。1 7 2 3 2w e b 服务资源框架w s r f 1 9 2 4 网格资源发现方法2 3 2 4 1g l o b u s 的资源发现方法2 3 2 4 2 织女星网格的资源发现方法2 6 2 5 本章小结。2 8 第3 章c h o r d 算法及其改进2 9 3 1c h o r d 算法概述2 9 3 1 1c h o r d 概i 苤2 9 3 1 2c h o r d 的构造2 9 3 1 3 查找过程3 2 3 1 4 节点加入和失效处理3 3 3 1 5c h o r d 的性能分析。3 4 3 1 6c h o r d 的不足3 5 一v i l 东北大学硕士学位论文目录 3 2 对c h o r d 算法的改进3 5 3 2 1 改造路由表3 5 3 2 2d u a l c h o r d ：j3 8 3 2 3g c h o r d 4 1 3 3 本章小结4 3 第4 章层次式c h o r d 环的资源管理模型4 5 4 1 层次式c h o r d 环的提出4 5 4 2 层次式c h o r d 环的资源管理结构4 5 4 2 1 层次式c h o r d 环体系结构4 5 4 2 2 功能模块的划分4 7 4 3 网格服务资源表示4 8 4 3 1 网格服务资源表示4 8 4 3 2 标识符的产生。4 8 4 4 路由表结构5 0 4 5 资源发布与查找5 3 4 5 1 资源发布5 3 4 5 2 资源发现5 4 4 6 层次式c h o r d 环的维护5 5 4 6 1 对测量节点的维护5 6 4 6 2 节点加入5 6 4 6 3 节点退出5 7 4 6 4 需要进一步研究的问题5 7 4 7 本章小结5 7 第5 章实验测试和分析5 9 5 1 实验的设置5 9 5 2 实验与结果6 0 5 3 实验分析6 1 5 4 本章小结。 第6 章总结与展望 6 1 本文工作总结 6 2 未来工作展望。 参考文献： 致 射 一v i i i j1 东北大学硕士学位论文第1 章绪论 第1 章绪论 现代信息技术、网络技术飞速发展j 给人们工作学习生活带来了很大的方便。人们 总是希望更大程度地共享网络信息，以更高的效率获取和利用这一资源。要达到这一目 的，需要研究和探讨的因素非常广泛，包括信息储存的介质( 这里主要考虑计算机) 、 信息储存环境( 系统软件环境，如操作系统、数据库等) 、信息储存方式( 信息表达) ， 还包括计算机之间的联系通信方式( 网络结构) 、信息的发现( 搜索) 以及信息交互等 等。 人们对信息的使用早已从单个用户、单个信息来源发展为多用户、多渠道的信息共 享了。随着网络技术的迅猛发展，各行各业的信息系统已经不再是传统的单数据库应用 系统，而希望发展为i n t e m e t 上多数据源集成的信息系统，随着i n t e m e t 的强势发展，网 上庞大的数字化信息和人们获取所需信息能力之问的矛盾日益突出，这样对网络资源的 发布与查找就显的非常重要。 1 1 课题研究现状 近年来，计算机技术飞速发展，互联网规模不断扩大，i n t e r n e t 上的资源呈几何级 数增长，人们利用网络资源的需求也逐渐提高，为了更加、便捷、透明的使用互联网上 各种分散的资源，学术界提出了网格的概念。网格这一概念的出现，引起了互联网浪潮 的一次新的革命。网格【1 j ( g r i d ) 又称网格计算( g r i dc o m p u t i n g ) ，是把整个因特网整 合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资 源、专家资源的全面共享。如果说传统因特网实现了计算机硬件的连通，w e b 实现了网 页的连通，而网格试图实现互联网上所有资源的全面连通。网格的出现为全面共享各种 信息提供了解决方案，消除信息孤岛现象。殊途同归，一个越来越变得流行的概念 p 2 p 正在勃然兴起，越来越多的受到人们的关注。与网格的一样，p 2 p 计算【2 】【3 】环境的最 终目的也是要将各种分散的计算资源充分的利用起来，p 2 p 网络把网络上的所有计算 机看成对等的节点，每个节点既是客户机又是服务器，而且是自治的，可以动态加入和 退出。 目前的网格环境仅仅局限于为少数的用户提供各式各样的服务，仍然处于起步的试 验阶段：p 2 p 环境拥有着巨大的用户群体却只能为用户提供有限的特殊的几种服务。很 自然地网格的发展趋势正朝着扩大用户范围、拥有大规模同时在线的用户群体的方向l ； 进，而p 2 p 正朝要扩大服务的范围，提高服务的复杂度和多样性的方向迈进。我们相信， 一1 一 东北大学硕士学位论文第1 章绪论 网格环境最终将与p 2 p 环境融合为一体，形成一种大规模、资源具有动态、异质、自组 织的网络环境【4 1 。 网格与p 2 p 网络有相同的目标即实现资源的共享，而要实现资源的高度共享，关键 是要实现资源发现。资源发现机制是关系到广域分布式环境中资源共享和协同工作效率 的关键。目前网格资源搜索方法有集中目录式的方法，有利用局部性原理的搜索方法， 有基于小世界聚类的搜索方法，p 2 p 的资源查找方法有随机漫步式的查找方法，有基于 分布式哈希表的分布式查找方法。在网格环境下我们完全可以利用分布式哈希表的分布 式查找方法来发布和查找资源。 基于分布式哈希表的分布式查找算法具有扩展性好、效率高和自适应性强等特点。 c h o r d 作为典型的分布式哈希表查找算法具有结构简单、查找速度快和负载平衡等特点。 人们对c h o r d 算法做了多方面的改进。 1 2 本文主要内容 本文首先概括介绍网格的概念，网格资源的特点，网格的体系结构和资源发现方法。 然后介绍p 2 p 对等网络技术的概念和组织结构。对全分布式结构化的p 2 p 网络的典型算 法c h o r d 进行了细致研究，包括c h o r d 模型的构造方法和查找算法，分析它的性能、优 势及不足，在此基础上，归纳几种已有的的改进思路。 本文提出层次式c h o r d 模型，把网格资源划分领域和区域，使用相容散列函数把数 据资源映射成不同的带有领域信息和区域信息的标识，在c h o r d 的查找算法基础上加以 改进，加快了查找速度，至少达到c h o r d 的速度，并且达到了尽量减少实际网络查找的 物理路径长度，减少了网络的通信代价。这在现有的网络带宽有限的情况下，显得非常 有现实意义。 1 3 本文组织结构 本文一共分5 章： 第1 章是绪论，描绘网格研究的现状，介绍本文的主要内容和文章的结构。 第2 章是相关知识，介绍网格的基本概念，网格技术的特点和发展。然后介绍p 2 p 技术的概念，目标，应用和优势，然后介绍p 2 p 技术的体系结构。在此基础之上，我们 介绍两个网格项n - - g l o b u s 项目和织女星网格的资源发现方法。 第3 章是c h o r d 算法及其改进，详细讲解c h o r d 的构造过程，从简单查找到升级查 找，分析它的性能和优缺点。然后介绍几种已有的改进策略。 第4 章是层次式c h o r d 环模型，详细讲解层次式c h o r d 环的基本思想，构造过程， 查找方法法和结构的维护，并对查询进行性能分析。 一2 一 东北大学硕士学位论文 第5 章是模拟试验，先介绍实验环境和测试定义，然后按照 方案，分析实验的结果。 一3 一 东北大学硕士学位论文第1 章绪论 一4 一 方面，对网格特点展开介绍。 ( 1 ) 分布与共享 分布性是网格最本质的特点。网格的分布性首先是指网格的资源是分布的。组成网 格的计算能力是不同的计算机，各种类型的数据库乃至电子图书馆，以及其他的各种设 备与资源，是分布在地理位置互不相同的多个地方，而不是集中在一起的。分布的网格 一般涉及的资源类型复杂，规模较大，跨越的地理范围较广。 网格资源虽然是分布的，但是他们却是可以充分共享的。即网格上的任何资源都可 以提供给网格上的任何使用者。共享是网格的目的，没有共享便没有网格，解决分布资 源的共享问题，是网格的核心内容。分布是网格硬件在物理上的特征，而共享是在网格 软件支持下实现的逻辑上的特征，这两者对于网格来说都是十分重要的。 ( 2 ) 自相似性 自相似性在许多自然和社会现象中大量存在，一些复杂系统基本上都具有这种特 征，网格就是这样。网格的局部和整体之间存在着一定的相似性，局部往往在许多地方 具有全局的某些特征，而全局的特征在局部也有一定的体现。例如，我们可以在一个实 验楼里建立一个小规模的实验网格，然后可以把整个学校的多个实验网格联系起来形成 一个全学校的教学科研网格，不同学校之间的内部网格可以互相连接起来形成一个高校 之间的网格联盟【9 】，这一网格联盟又可以成为全国网格的一个部分。这种整体和部分之 间的相似性可以在多个阶段看到。网格的自相似性l l o 】在网格的建造和研究过程中有重要 的意义。 一5 一 东北大学硕士学位论文第2 章相关知识和概念 ( 3 ) 动态性与异构性 对于网格来说，绝不能假设它是一成不变的。原来拥有的资源或者功能，在下一时 刻可能就会出现故障或者不可用；而原来没有的资源，可能随着时间的推移会不断地加 入进来。网格的动态性包括动态增加和动态减少两个方面的含义。网格资源的动态变化 特点要求网格管理必须充分考虑并解决好这一问题，对于网格资源的动态减少或者资源 出现故障的情况，要求网格能够及时采取措施，实现任务的自动迁移，做到对高层用户 透明或者尽可能减少用户的损失。网格资源的动态增加需要提高网格的扩展性问题，也 就是说在网格的设计与实现时，必须考虑到新的资源能否很自然地加入到网格中来，并 且可以和原来的资源融合在一起。网格资源是异构和多样的。网格中资源种类繁多，功 能各异，访问接口不同，本地管理系统不同，共享规则也不同。在网格环境中可以有不 同体系结构的计算机系统和类别不同的资源，因此网格系统必须能够解决这些不同结构 的、不同类别资源之间的通信和互操作问题。 ( 4 ) 自治性与管理的多重性 网格上的资源，首先是属于某一组织或者个人的，因此网格资源的拥有者对该资源 具有最高级别的管理权限，网格应该允许资源拥有者对他的资源有自主的管理能力，这 就是网格的自治性。但是网格资源也必须接受网格的统一管理，否则不同的资源就无法 建立相互之间的联系，无法实现共享和互操作。因此，网格的管理具有多重性，一方面 它允许网格资源的拥有者对网格资源具有自主性的管理，另一方面又要求网格资源必须 接受网格的统一管理【剐。 2 1 3 网格的发展现状 2 1 3 1 网格的国内发展情况 在国内，网格计算也正处于快速发展时期，在网格计算关键技术的研究方面与国外 差距不大，基本处于相同的起跑线【1 1 1 1 1 2 】。目前，我国的网格计算研究主要集中在中科院 计算所、国防科大、江南计算所、清华大学等几家在高性能计算方面有较强实力的科研 单位。 ( 1 ) 从1 9 9 9 年底到2 0 0 1 年初，中科院计算所联合国内十几家科研单位，共同承 ， 担“8 6 3 重点项目“国家高性能计算环境( n a t i o n a lh i g hp e r f o r m a n c ec o m p u t i n g e n v i r o n m e n t ，简称n f i p c e ) 项目的研发任务。n h p c e 的长期目标是提高计算网格系 统的性能，可扩展性及可用性，建立一个计算资源广域分布、支持异构特性的计算网格 示范系统。它把我国的8 个高性能计算中心通过i n t e r n e t 连接起来，进行统一的资源管 理、信息管理和用户管理，并在此基础上开发了多个具有高性能计算能力的网格应用系 统，取得了一系列研究成果，目前包括北京，长沙，成都，合肥，上海，西安等几个试 一6 一 东北大学硕士学位论文第2 章相关知识和概念 验节点。中科院计算所在高性能计算领域的主要成果是曙光3 0 0 0 超级服务器，其他单 位的主要成果有银河巨型机、同方探索机群系统等。 ( 2 ) 1 9 9 9 年一2 0 0 1 年，在教育部的支持下，李三立院士带领清华大学网格研究组 进行了“先进计算设施a c i ( a d v a n c e d c o m p u t a t i o n a l i n f r a s t m c t u r e ) ： 京上海试点工程 的研究。其目的是建立一个主要为教育系统的单位提供资源共享的科研、教育、培训等 高性能计算基础设施，实现跨科学，跨地域合作与人才培养。a c i 将分布于北京和上海 两台自主研制的超级计算机连接成为计算能力达到4 5 0 亿次的网络计算平台，并提供网 页访问界面，让分布于各地的用户能够在家中使用超级计算资源。 ( 3 ) 2 0 0 2 年4 月5 日一6 日，科技部召开了“网格战略研讨会”，确认将网格 的研究和应用列为“8 6 3 计划的一个专项，随即成立了专项专家组，钱德沛教授担任 专家组组长。 ( 4 ) 2 0 0 2 年1 2 月2 4 日，上海市宣布将投入两个多亿，建设e 一研究院 ( e i n s t i t u t e ) 。e _ 研究院是一个以信息网络为平台、全新的具有可变性、超大容量的虚 拟研究机构。其中，“上海高校网格建设由首席研究员李三立院士负责，它将把上海 ， 交大、复旦、华东理工、上海大学等多所高校用网格整合起来，共享资源，协同教学科 研。 ( 5 ) 2 0 0 3 年1 0 月，教育部与i b m 合作共建的、投资2 0 0 万元人民币“中国教育 科研网格项目( c h i n a g r i d ) ”正式启动，教育部副部长赵沁平任项目领导小组组长，华中 科技大学金海教授担任项目专家小组组长，全国共有1 2 所高校、1 3 名教授人专家组成 员。c h n a g r i d 的目标是在2 0 0 5 年建立计算能力超过巧万亿次量级的教育科研网格，它 将在教育科研网上把全国1 0 所2 1 建设重点大学的资源广泛共享，并争取在网格计算的 基础研究和应用研究方面走在世界前列。它为该项目提供了网格中间件、服务器、全面 存储解决方案，并将和各大学为开放式网格服务结构和网格等标准建立一个网格应用联 合研发中心。 ( 6 ) 2 0 0 5 年4 月6 日，以网格计算为主题的g r i dw o r l dc h i n a2 0 0 5 会议在北京 举行。研讨会由美国国际数据集团( i d g ) 主办，中国网格信息中转站协办。这是继2 0 0 4 年4 月2 8 日成功举办了第一届网格国际研讨会之后，举办的第二届网格国际研讨会。 2 1 3 2 网格的国外发展情况 2 0 0 2 年7 月2 1 2 4 日在英国爱丁堡召开“第5 届全球网格论坛( g g f 5 一g l o b a l f o r u m5 ) ；7 月2 卜2 6 日，接着在爱丁堡召开“第1 1 届高性能分布式计算国际研讨会。 h p d c l l - t h e1 1 正e ei n t e r n a t i o n a l s y m p o s i u m o n h i 2 9 l l p e r f o r m a n c ed i s t r i b u t e d c c m g u t i n g ，该会议是美国i e e e 高性能分布式计算领域每年一次的权威性国际学术研讨 会，从1 9 9 2 年开始已经召开过1 1 届，这次是首次在美国本土之外召开的有关网格与分 一7 一 东北大学硕士学位论文第2 章相关知识和概念 布式计算的国际研讨会。该次国际研讨会的主要内容包含如下1 0 个技术专题的学术交 流( 1 ) 数据服务器级网格存储；( 2 ) 网格行为的自适应性；( 3 ) 网格资源管理；( 4 ) 网格应用 结构：( 5 ) 并行应用分析与优化；( 6 ) 网格性能的优化；( 7 ) 网格实践与经验；( 8 ) 通信与 r p c 协议；( 9 ) 网格作业提交与调度；( 1 0 ) 自适应性应用与中间件。 i b m 公司在2 0 0 1 年8 月2 日宣布，它将为网格计算投资约4 0 亿美元；m m 公司 正在合作研制能被多家科研单位和众多科学家同时使用的超级计算网格t e r a g r i d ，其设 计运算速度为每秒1 3 。6 亿万次，比1 9 9 7 年战胜特级大师卡帕斯帕罗夫的“深蓝 超 级计算机速度快1 0 0 倍，其存储能力将达6 0 万亿字节。 m i c r o s o f t 的研究部门也参与了各项分布式计算研究项目，包括容错远程文件系统 f a r s i t e ，以及建设分布式系统的m i l l e n n i u m ，h p 也表示将提供c o o l b n s e 软件，将用户 通过i n t e m e t 共享各种计算设备；c o m p a qt i n 6 4u n i xa l p h a 服务器系统和运行l i n u x 的 服务器，为用户提供完整的、集成的开放的网格解决方案。日本的企业在网格计算方面 也跃跃欲试。m 盯宣布于2 0 0 2 年中期开展为期1 6 个月的网格计算试验，参与者包括了 i n t e l 和s g i 等。 在世界范围内，网格计算正处于迅速发展阶段，现在已经涌现出了许多网格论坛， 各种试验环境和研究项目也日趋成熟，下面介绍一下较有代表性的网格计算研究项目。 l e g i o n 是一个旨在提供基于面向对象、高度可用的和有效的可扩展系统的研究项 目。其目标是提供一台具有可扩性、容错性、安全性，容易编程的虚拟机。 n e t s o l v e 是实现网格计算环境的一个典型系统，它是由美国t e n n e s s e e 大学和设计 p v m 的o a k r i d g e 国家实验室开发的网格计算系统。n e t s o l v e 系统是基于松耦合分布式 系统的，它通过l a n 和w a n 网络技术连接分布的资源，形成科学数值计算的环境。 n i n f ( 日本) 实现网格计算环境的另一个典型系统，是基于c s 模式的网格计算系 统。允许用户半透明地访问广域范围内的软、硬件和数据资源，可远程调用其库函数， 还提供各种支持工具。 j a v a l i n 是美国加州大学使用j a v a 技术开发的一个基于i n t e r a c t 的并行计算环境，它 充分利用支持j a v a 的w e b 、h t t p 服务器和浏览器等流行工具构筑了简单易用的网格计算 环境。为使系统编程容易，j a v a l i n 提供了基础类库，自动完成负载平衡。 f c a c t u s 是开放的源问题的解决环境。它的模块化结构方便在不同结构上并行计算和 不同组织之间开发协作代码。 w e b f l o w s 是w e b 模型的计算发展，可作为大范围分布式计算和元计算的框架。它 的目标是在w e b 中为发布和复用计算模块建立无缝框架。w e b f l o w s 具有基于i a v a 的三 层结构，该方法有很多优点，如灵活性、可扩展性等。使用w e b f l o w s ，新应用就能够组 合出可重用组件。w e b f l o w s 使用即将制定的分布式对象标准，并充分应用商业技术，如 一8 一 东北大学硕士学位论文第2 章相关知识和概念 应用c o r b a 作为基础分布式对象模型。 i p g 美国航天部门n a s a 正尝试建立和测试一个网格计算试验床( i n f o r m at i o n a l p o w e rg r i d ) ，这是具有高性能计算机、数据存储器、科学仪器和高级用户接口功能的网 络。它可以将n a s a 分布在各地的资源通过网络( 包括无线通信手段) 连接起来，解决 n a s a 。 目前无法解决的科学与工程计算与数据管理等问题，这显然是一个行业专用网格。 i p g 的目标是为n a s a 科学和工程作提供可增长的解决问题的能力，而这取决于使用大 型的分布式资源。 u n i c o r e 计算机资源通用接口的主要目标是为作业准备和控制提供单一接口提 供对超级计算机无缝、安全的访问；支持用户隐藏系统和特定站点，发展分布式应用。 其他全球网格论坛是目前主要的合作组织：在欧洲欧洲网格论坛也在开展网格计算 方面的研究。目前已经出现了不少在一定程度上支持网格计算a c i 系统，组成部分有以 下几个：高性能计算节点( 机群式计算系统) 、节点内部资源管理系统( l o c a lr e s o u r c e m a n a g e m e n t ，简称l r m ) 、全局资源管理系统( g l o b a lr e s o u r c em a n a g e m e n t 简称g r m ) 、 安全子系统、用户子系统、安全子系统、用户接口和a c i 应用等。 其他网格研究的组织和项目有l e g i o n 、i n f o r m a t i o n a lp o w e rg r i d 、e u r og r i d 、 d i s t r i b u t e dt e r a s c a l ef a c i l i t y 等，目前主要面向科学计算，用于网格计算的研究和试验。 ：j 2 1 4 网格发展趋势 ( 1 ) 标准化趋势 就像i n t e r a c t 需要依赖t c p i p 协议一样，网格也需要依赖标准协议才能共享和互 通。目前，包括全球网格论坛g g f ( g l o b a lg r i df o r u m ) 、对象管理组织 o m g ( o b j e c t m a n a g e m e n tg r o u p ) 、寰球网联盟w 3 c ( w o r l dw i d ew e bc o n s o r t i u m ) 以及 g l o b u s 项目组在内的诸多团体都试图争夺网格标准的制定权。 g l o b u s 由美国a r g o n n e 国家实验室数学与计算机分部、南加州大学信息科学学院 和芝加哥大学分布式系统实验室合作开发，并与美国国家计算科学联盟、n a s ai p g 项 目( i n f o r m a t i o np o w e rg r i d ) 、美国国家先进计算基础设施同盟n p a c i ( n a t i o n a lp a r t n e r s h i p f o r a d v a n c e dc o m p u t a t i o n a li n f r a s t r u c t u r e ) 等建立了伙伴关系。 目前大多数网格项目都是基于g l o b u s t o o k i t 所提供供的协议及服务建设的，例如美 国的物理网格g r i p h y n 、欧洲的数据网格d a t a g r i d 、荷兰的集群计算机网格d a s 2 、美 国能源部的科学网格和d i s c o m 网格、美国学术界的t e r a g r i d 等等。 ( 2 ) 技术融合趋势 在o g s a 出现之前，已经出现很多种用于分布式计算的技术和产品。如c o n d o r 、 一9 一 东北大学硕士学位论文第2 章相关知识和概念 l e g i o n 、n i n f 、g l o b u s 等，但这些网平台都是各行其道、互不兼容的。基于o g s a 之后， 网格的一切对外功能都以网格服务( g r i ds e r v i c e ) 来体现，并借助一些现成的、与平台无 关的技术，如x m l 、s o a p 、w s d l 、u d d i 等，来实现这些服务的描述、查找、访问 和信息传输等功能。这样，一切平台及所使用技术的异构性都被屏蔽。用户访问网格服 务时，根本就无需关心该服务是由谁提供的。融合将成为网格技术发展的必然趋势，以 应用推动网格发展，网格将逐渐向着最佳的技术组合方向演进和融合。 ( 3 ) 大型化趋势 网格技术的发展已在世界范围内形成了一个新的研究热点，很多发达国家都投人了 。 大量研究资金开展网格技术的研究。美国政府单在网格技术的基础研究l ，每年投人的 经费就高达5 亿美元。日本n r r 数据公司联合i n t e l 、s g i 等，在2 0 0 2 年中期开展了 为期6 个月的网格计算试验。英国政府宣布投资1 亿英镑，用以研发“英国国家网格 仙kn a t i o n a lg r i d ) 。除此之外，欧洲还有d a t a c r i d 、u n i c o r e 、m o l 等网格研究项目 正在开展。其中，d a t a g r i d 涉及到欧盟的2 0 几个国家，是一种典型的“大科学 应用 平台。我国“8 6 3 计划专项投资高达3 亿，把研究重点放在网格技术的开发和应用上。 2 2p 2 p 技术 2 2 1p 2 p 概念 、 p 2 p 是“p e e r - t o p e e r 的缩写，中文翻译可称为对等网络。对等网络( p 2 p ) 是没有 中央控制和分级机构的分布式网络系统，由若干个互联协作的节点构成，每个节点都同 时扮演服务器与客户端的角色，它们运行相同的协议，能够意识到彼此间的存在，找到 想要的资源，构成一个虚拟或实际的对等网络群体。 它可以让用户直接连接到其他用户的计算机，进行文件共享与交换，而著名计算机 学者d a v ew i n n e r 却论断“p 2 p ”中的“p ”指的是p e o p l e ( 人) ，这一观点是对“p 2 p 最深刻的解读。尽管互联网本质上是支持对等交流模式的，但网络的发展给对等交流增 加了许多障碍。 其实p 2 p 技术并不是近几年才出现的一项全新网络技术，早在几年前互联网出现的 时候p 2 p 技术就已经应运而生了。i n t e l 将p 2 p 技术定义为“通过系统间的直接交换所 达成的计算机资源与信息的共享”，这些资源与服务包括处理器时钟、缓存和磁盘空间 等。i b m 则给p 2 p 赋予更广阔的定义，把它看成是由若干互联协作