（计算机应用技术专业论文）基于p2p技术的网格资源管理模型的研究.pdf

摘要 作为新近出现的重要网络基础设施，网格是下一代互联网的关键性技术。随 着计算机性能的不断提高和网络通信技术的迅猛发展，应用需求日益朝着高性 能、大规模、多样性、多功能的方向发展，因此迫切需要将地理上分布的、异构 的各种高性能计算资源、存储资源、数据资源和其他特殊资源通过高速网络连 接起来，实现高性能联合计算，共同完成重大应用问题，即广域高性能元计算技 术，也称为网格计算技术。与资源相关的问题是网格计算的核心问题。 在比较几种典型的网格资源管理模型( 分层模型、抽象所有者模型、市场 模型) 的基础上，本文提出了一种基于p 2 p 技术的网格资源管理模型。其主要 思想是：计算网格中的资源采用分布式管理，当资源使用者进行资源请求时，会 以广播的形式将讲求发送到网络中。 在网络搜索技术中，p 2 p 模式有c s 模式无可比拟的优势，网络资源搜索是 p 2 p 基础技术之一。论文定义资源搜索效率是应答数与查询消息总数的比值，是 衡量搜索技术的基本技术指标。提出网络世界里存在局部性现象，m r d ( m u l t i r e s p o n d e r sd o m a i n ，多级回答域) 是利用局部性原理的网格资源高效搜 索方法。理论证明和模拟分析表明，m r d 技术比传统改良f l o o d i n g 方法平均提 高至少2 个数量级。 关键词：网格资源；搜索技术：局部性原理；p 2 p 网络 a b s t r a c t a sal a t e s te m e r g i n gn e t w o r ki n f r a s t r u c t u r e ，g r i di st h ek e yt e c h n o l o g yo ft h e n e w g e n e r a t i o no ft h ei n t e r a c t ，a l o n gw i t ht h eh u g ei m p r o v e m e n ta n dr a p i dp r o g r e s s o fc o m p u t e rp e r f o r m a n c ea n dn e t w o r kc o m m u n i c a t i n gt e c h n o l o g y , t h ed e v e l o p m e n t o f a p p l i c a t i o n d e m a n d st o w a r d l a r g e s c a l eh i g h - p e r f o r m a n c e ，d i v e r s i t ya n d m u l t i - f u n c t i o nn e e d st oc o n n e c tt h ev a r i o u sh i g h p e r f o r m a n c ec o m p u t i n gr e s o u r c e s ， s t o r a g e ，d a t aa n do t h e rs p e c i f i cr e s o u r c e s ，w h i c ha r eg e o g r a p h i c a l l yd i s t r i b u t e da n d h e t e r o g e n e o u s ，v i ah i g hs p e e dn e t w o r kt oe s t a b l i s hc o l l a b o r a t eh i g h - p e r f o r m a n c e c o m p u t i n ga n ds o l v eh u g ea p p l i c a t i o np r o b l e m sc o o p e r a t i v e l y , h e n c et h en a m e w i d e - a r e a h i g h - p e r f o r m a n c e m e t a c o m p u t i n gt e c h n o l o g y , g r i dc o m p u t i n g t e c h n o l o g y a sw e l l o n eo ft h e i m p o r t a n ti s s u e s o fg r i d c o m p u t i n g i sa r e s o l l e e r e l a t e do n e i n c o m p a r i n gs e v e r a lt y p i c a lg r i dr e s o u r c em a n a g e m e n tm o d e l s ( h i e r a r c h i c a l m o d e l ，a b s t r a c to w n e rm o d e l ，c o m p u t a t i o n a lm a r k e t e c o n o m ym o d e l ) ，t h ea u t h o r p r e s e n t e dag r i dr e s o u r c em a n a g e m e n tm o d e lb a s e do np 2 pt e c h n o l o g y i t sm a i ni d e a i s ：t h eg r i dm a n a g e m e n tt h er e s o u r c e si nd i s t r i b u t e dm o d e l w h e nt h er e s o u l 汜eu s e r s t om a k er e q u e s t sf o rr e s o u r c e sw i l lb eb r o a d c a s t i n gt ot h en e t w o r k p e e r - t o - p e e rs y s t e m sh a v eu n e x a m p l e ds u p e r i o r i t yt oc l i e n t s e r v e rn e t w o r k so n s e a r c ht e c h n o l o g y ah i g he f f i c i e n ts e a r c hs c h e m ef o rg r i dr e s o u r c ew i t hl o c a l i t y p r i n c i p l ei sd e s i g n e d ；w h o s en a m ei sm u l t i r e s p o n d e r s - d o m a i n ，m r da ss h o r t e n i n g o w i n gt ot h ei n f o r m a t i o ne x p l o d i n g ，s e a r c h i n gt h ei n t e m e ti n f o r m a t i o nw i t hc u r r e n t l y s e a r c ht e c h n o l o g y , f l o o d i n go rf l o o d n e ta sa 1 1 e x a m p l e w i l lr e c e i v ei n c r e a s i n g l y m a n i f o l dr e s u l t s 。w h i c h 勰m o s ti n v a l i d a t i o n 、 s e a r c he f f i c i e n c yi st h er a t i oo f t h en u m b e r o f r e s p o n d e r sa n do f s e a r c hm e s s a g e s ， a n di ti sb a s i cc r i t e r i o nf o r e v a l u a t i n gs e a r c ht e c h n o l o g y l o c a l i t i e sa r eb a s i c p h e n o m e n ai na l l - h u g es y s t e m s ，a n da l s on e t w o r k t h e o r yp r o v e sa n ds i m u l a t i o n a n a l y s e st h a tm r di m p r o v e ss e a r c he f f i c i e n c yb y1 0 0t i m e s k e y w o r d ：g r i dr e s o u r c e ：s e a r c ht e c h n o l o g y ；l o c a l i t yp r i n c i p l e ；p 2 pn e t w o r k 创新点声明 本人声明：所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。在比较几种典型的网格资源管理模型：分层模型、抽象所有者模型、 市场模型的基础上，本文提出了一种基于p 2 p 技术的网格资源管理模型，并给 出了该模型的工作模式，对其效率做出了分析。 尽我所知，到目前国内外文献未见报道。 作者嗍碰 堡宝王猩垫垄盘生塑主生焦迨圭 1 绪论 网格是一个建立在互联网上，以资源共享为主要目的，由网格结点基于某种 程度的信任( 接受某种网格协议或约定) 自愿组成的逻辑环境和资源环境，是一 个统一的有机整体。网格系统包括网格中的物理资源、对资源的管理以及逻辑上 的抽象。网格能充分吸收各种资源，并将它们转化为一种随处可见的、可靠的、 标准且经济的计算能力。 网格是继i n t e r n e t 和w e b 之后的第三大浪潮，也可以称为第三代因特网。 传统的互联网实现了计算机硬件的连通，w e b 技术实现了网页和网络资源的手 工互联，而网格技术试图实现互联网上所有资源的全面连通，包括计算资源、存 储资源、通信资源、软件资源、信息资源、知识资源等。其目标是实现网络虚拟 环境上：的资源全面共享和协同工作，消除信息孤岛和资源孤岛。人们对网络的要 求已从简单的互联和局部的资源共享发展到资源共享的最大化。 1 1 研究的动机和意义 ) k - i 一年代，信息技术得到快速发展，出现了第一波大潮，主要表现在p c 和 局域网的普及使用。与此对应，出现了区别于原来大型机单层模式的胖客户机 服务器计算模式，将大量业务逻辑迁移到客户端运行，并逐渐成为主流。九十年 代，随着因特网二以万维网技术为基础的商业应用的大规模普及和分布计算技术 的成熟，出现了信息技术的第二波大潮，中间件技术得到广泛应用，胖客户n 务器计算模式逐渐向瘦客户朋日务器或零客户的浏览器服务器计算模式过渡，业 务逻辑则迁移到中间件中运行。 然而，无论客户朋艮务器两层计算模式还是浏览器服务器多层计算模式，其 共同特性都是服务器仍然必须分布在局域网中。现有的分布计算环境往往要求服 务器位置相对固定，网络连接基本稳定，服务资源开放且容易获得，整个环境采 用统一的管理策略，即是一个自治系统。这些要求限制了整个环境的计算能力， 因为每次计算只能使用单一组织的有限资源。由于计算能力不足，现有的分布计 算环境对于许多应用类型，例如巨大挑战问题，往往难以支持。当前解决此问题 的方法有两种，一是在传统的分布计算环境中配备大量固定的计算资源，但其成 本非常高，对大多数应用而言不值得；一是外包给配置有这些昂贵计算资源的高 堡主墨壁垫垄盘鲎塑生焦鱼塞 2 性能计算中心进行，但这毕竟很不方便。 目前，信息产业在全球处于低潮，媒体将世界信息产业界2 0 0 0 年开始的这 一波疲软称之为“因特网泡沫破灭”。然而，在美国和欧洲，越来越多的计算机 研究人员、企业和风险投资者拒绝接受这一观点。相反，他们认为目前的低迷实 际上是计算机工业下一个黄金时代的起点，信息产业的第三次浪潮j 下在孕育中， 以克服目前的分布计算技术的局限性。第三次浪潮试图克服目前的分布计算技术 要求服务资源必须来自于单一组织的约束，以实现因特网上所有资源的全面联 通，包括计算资源、存储资源、通信资源、软件资源、信息资源、知识资源等等， 最终实现网络虚拟环境中的资源共享和协同- 作，消除信息孤岛和资源孤岛。换 句话说，相应的分布计算环境不再要求各种服务资源位于单一组织拥有和管理的 同一个自治系统中，参加协作计算的各方构成一个虚拟组织，可以使用跨越多个 自治系统的资源，协同完成工作。虚拟组织需要的是一个非常富有弹性的共享关 系。共享的时间、共享的权限、资源的数量都会不断地发生变化。而现有的技术， 要么在菇享配置的灵活性上，要么在共享资源种类上不能完全满足虚拟组织的需 要。 区别于现有的分布计算技术，支持上述虚拟组织的分布计算技术称为网格计 算技术，即分布计算涉及的资源可以跨越大至整个因特网的广域网范围，这些资 源可能分别属于不同的自治系统。网格计算技术的产生和发展必须具备以下三个 基本条件：计算资源的广域分布，网络技术( 特别是因特网技术) 的发展以及不 断增长的对资源共享的需求。目前，因特网技术的飞速发展和普及使得这三个条 件已基本具备，从而使得对网格计算技术的研究成为目前信息技术研究领域中最 重要的课题之一。不仅全球的学术界已开始进行大量相关的研究，最近各国政府 和企业界也已开始介入，以推动网格计算技术普及，进而大规模商用。美国福 布斯杂志的科技版( ( f o r b e s a s a p ) ) 曾在9 1j 恐怖袭击事件的前一天发表一组 文章，在分析计算机技术的历史和近几年的发展趋势后指出“信息技术的下一波 大浪潮将在2 0 0 4 2 0 0 5 年度出现。这个大浪潮将极大地改变我们的工作和生活， 到2 0 2 0 年，由此产生的因特网将成长为一个2 0 万亿美元产值的大工业。” 因此，对网格计算技术进行深入而广泛的探索，无论从技术本身或应用价值 方面都有非常重要的意义。首先，在技术方面，服务资源动态分布在多个异质的 自治系统中的网格计算对于现有单一、静态的分布计算环境是一种挑战，其对动 态性、异质性、可伸缩性、多管理域和安全性等的需求将引发若干亟待解决的新 问题。其次，如前所述，研究的相应成果具有最终转化为巨大商业价值的潜力， 堡宝三猩垫盎盘鲎塑鲎焦堡童 3 可以极大地提高资源利用率，解决许多以现有技术无法解决的问题或无法支持的 应用。 1 2 网格产生的原因 1 2 1 新一代网络技术 计算机网络是计算机技术和通信技术相结合的产物，是通过通信线路将地理 位置分散的多个具有自治能力的计算机互联起来，以实现数据通信和资源共享。 从网络技术的发展历程来看大致已经历了两个时代。 第一代网络是基于i p v 4 协议，采用数据包交换技术和t c p i p 协议。在 这个阶段，互联网的典型应用是收发电子邮件、传输文件及发布网络新闻等。 第二代互联网( w o r l dw i d ew e b ，w w w ) 也是基于i p v 4 技术，2 0 世纪 9 0 年代后，欧洲高能物理研究中& ( c e r n ) 发明了h t t p 超文本语言，把在网络 上分散的网页文件链接在一起，用户可以通过本地的浏览器将所关心站点的网页 集中显示在自己的屏幕窗口上，用户不仅可以通过浏览网页查找所需要的信息， 且还可以进行网上聊天、网上订票购物、网络游戏、欣赏影片，w w w 从根 本上改变了人们工作、生活、学列和娱乐方式，被称为第二代互联网，它是用超 文本技术和多媒体技术改造了第一代互联网。 第二代互联网虽然比第一代互联网先进了许多，但它也暴露出严重的弱点。 一方面，这两代互联网使用的都是i p v 4 协议，其3 2 位的地址空间只有大约4 0 亿个地址可用，已经有7 0 被分配完毕了，而且由于i n t e m e t 在早期缺乏规划， 造成了i p 地址分配“贫富不均”的现象。到2 0 0 5 年，i p v 4 地址将全部分配 完毕，将严重制约互联网的发展；另一方面，互联网上的信息未经过有效的规范 和整理，大量垃圾数据和冗余信息在查找、使用时非常不方便。 针对第二代互联网所暴露的问题，第三代互联网从两个视角来解决上述问题 【2 】： 一个视角是发展i p v 6 ，将地址空间由3 2 位扩展到1 2 8 位，这样，原来有 限的i p 地址将变得无限丰富，真正让数字化生活变成现实。 i p v 6 还能够改善端到端的安全性，有利于移动通信的发展，提高服务质量 以及减轻系统管理负担。基于i p v 6 的下一代互联网至少有三种提法： n g i ( n e x tg e n e r a t i o ni n t e m e t ) 、i n t e m e t2 和n g n ( n e x tg e n e r a t i o nn e t w o r k ) 。 望宝王壁楚查基芏塑堂焦逢叁 4 另一个视角就是发展网格技术，更好地管理和利用网上的资源，将之虚拟成 为一个空前强大的一体化信息系统。在动态变化的网络环境中共享资源和协同解 决问题，让用户享受到可灵活控制的、智能的、协作式的信息服务，并获得前所 未有的使用方便性和超强能力。 1 2 2 高性能应用需求的增加 由于技术的进步和人类需求的发展，越来越多的应用领域离不开高性能计 算，例如高性能物理计算，核武器爆炸模拟、化学物质的合成、分子生物学中的 巨型分子复杂结构的研究、新药的合成和筛选，复杂系统的求解、全球天气预报、 宇宙探索等都需要高性能的计算支持。这些大型分布式应用的计算规模远远超过 单个资源或一个组织所能提供的计算能力。这就促进了人们希望在逻辑上整合地 理分布的互联网中的各种计算资源，以形成无限的计算能力，在可行和合理的时 间和成本内解决这类复杂的计算问题。由此而出现的新型计算模式被称作计算网 格( c o m p u t a t i o n a lg r i d ) ，它导致了网格技术研究的流行。 1 2 3 资源闲置和资源稀缺的矛盾 超级计算机的不断发展，使之成为复杂科学计算领域的主导，但以超级计算 机为中心的计算模式存在明显的不足，虽然它处理能力强大，但造价极高，通常 只有国家一级的部门，如航天、气象等部门才有能力配备这样昂贵的设备。随着 人们日常生活和工作中遇到的计算越来越复杂，人们需要数据处理能力强大而价 格相对便宜的计算机，超级计算机的昂贵价格使它成为稀缺资源，显然很难进入 一般工作领域。 在当今世界，大约有4 亿台个人电脑，在任何时刻其大部分处理能力、存 储能力和其它资源都是闲置的，即使美国能源部的超级计算机的利用率也只在 3 0 到7 0 之间。资源的闲置和资源的稀缺形成鲜明对比。这样的闲置资源可以 通过网络共享让其他用户受益，作为回报自己还可以在需要资源帮助时获得其他 用户的资源。 2 0 世纪9 0 年代，出现了分布计算系统，将多个p c 、工作站、服务器连接 起来形成一个强大的计算能力。其中松散耦合的分布系统构成了网格的雏形，它 的许多成熟的理论、模型、技术都可以稍加修改甚至直接应用于网格技术中。 “网格”是借鉴电力网的概念提出来的，意思是高性能计算用户接入网格以 后，就如同电力用户将插头插入电源，可以得到“随心所需”的电力( 计算资源) 望宝三墨垫盔表堂塑生焦逢童 4 另一个视角就是发展网格技术，更好地管理和利用网上的资源，将之虚拟成 为一个空前强大的一体化信息系统。在动态变化的网络环境中共享资源和协同解 决问题，让用户享受到可灵活控制的、智能的、协作式的信息服务，并获得前所 未有的使用方便性和超强能力。 1 2 2 高性能应用需求的增加 由于技术的进步和人类需求的发展，越来越多的应用领域离不开高性能计 算，例如高性能物理计算，核武器爆炸模拟、化学物质的合成、分子生物学中的 巨型分子复杂结构的研究、新药的合成和筛选，复杂系统的求解、全球天气预报、 宇宙探索等都需要高性能的计算支持。这曲大型分布式应用的计算规模远远超过 单个资源或一个组织所能提供的计算能力。这就促进了人们希望在逻辑上整合地 理分布的互联网中的各种计算资源以形成无限的计算能力，在可行和合理的时 间和成本内解决这类复杂的计算问题。由此而出现的新型训算模式被称作计算网 格( c o m p u t a t i o n a la r i d ) ，它导致了网格技术研究的流行。 1 2 3 资源闲置和资源稀缺的矛盾 超级计算机的不断发展，使之成为复杂科学计算领域的主导，但以超级计算 机为中心的计算模式存在明显的不足，虽然它处理能力强大，但造价极高，通常 只有国家一级的部门，如航天、气象等部门才有能力配备这样昂贵的设备。随着 人们日常生活和工作巾遇到的计算越来越复杂，人们需要数据处理能力强大而价 格相对便宜的计算机，超级计算机的昂贵价格使它成为稀缺资源，显然很难进入 一般工作领域。 在当今世界，大约有4 亿台个人电脑，在任何时刻其大部分处理能力、存 储能力和其它资源都是闲置的，即使美国能源部的超级计算机的利用率也只在 3 0 到7 0 之间。资源的闲置和资源的稀缺形成鲜明对比。这样的闲置资源可以 通过恻络共享让其他用户受益，作为【旦| 报自己还可以在需要资源帮助时获得其他 用户的资源。 2 0 世纪9 0 年代，出现了分布计算系统，将多个p c 、工作站、服务器连接 起来形成一个强大的计算能力。其中松散耦合的分布系统构成了网格的雏形，它 的许多成熟的理论、模型、技术都可以稍加修改甚至直接应用于网格技术中。 “网格”是借鉴电力网的概念提出来的，意思是高性能计算用户接入网格以 后，就如同电力用户将插头插入电源，可以得到“随心所需”的电力( 计算资源) 后，就如同电力用户将插头插入电源，可以得到“随心所需”的电力( 计算资源) 望宝王壁楚查基芏塑堂焦逢叁 4 另一个视角就是发展网格技术，更好地管理和利用网上的资源，将之虚拟成 为一个空前强大的一体化信息系统。在动态变化的网络环境中共享资源和协同解 决问题，让用户享受到可灵活控制的、智能的、协作式的信息服务，并获得前所 未有的使用方便性和超强能力。 1 2 2 高性能应用需求的增加 由于技术的进步和人类需求的发展，越来越多的应用领域离不开高性能计 算，例如高性能物理计算，核武器爆炸模拟、化学物质的合成、分子生物学中的 巨型分子复杂结构的研究、新药的合成和筛选，复杂系统的求解、全球天气预报、 宇宙探索等都需要高性能的计算支持。这些大型分布式应用的计算规模远远超过 单个资源或一个组织所能提供的计算能力。这就促进了人们希望在逻辑上整合地 理分布的互联网中的各种计算资源，以形成无限的计算能力，在可行和合理的时 间和成本内解决这类复杂的计算问题。由此而出现的新型计算模式被称作计算网 格( c o m p u t a t i o n a lg r i d ) ，它导致了网格技术研究的流行。 1 2 3 资源闲置和资源稀缺的矛盾 超级计算机的不断发展，使之成为复杂科学计算领域的主导，但以超级计算 机为中心的计算模式存在明显的不足，虽然它处理能力强大，但造价极高，通常 只有国家一级的部门，如航天、气象等部门才有能力配备这样昂贵的设备。随着 人们日常生活和工作中遇到的计算越来越复杂，人们需要数据处理能力强大而价 格相对便宜的计算机，超级计算机的昂贵价格使它成为稀缺资源，显然很难进入 一般工作领域。 在当今世界，大约有4 亿台个人电脑，在任何时刻其大部分处理能力、存 储能力和其它资源都是闲置的，即使美国能源部的超级计算机的利用率也只在 3 0 到7 0 之间。资源的闲置和资源的稀缺形成鲜明对比。这样的闲置资源可以 通过网络共享让其他用户受益，作为回报自己还可以在需要资源帮助时获得其他 用户的资源。 2 0 世纪9 0 年代，出现了分布计算系统，将多个p c 、工作站、服务器连接 起来形成一个强大的计算能力。其中松散耦合的分布系统构成了网格的雏形，它 的许多成熟的理论、模型、技术都可以稍加修改甚至直接应用于网格技术中。 “网格”是借鉴电力网的概念提出来的，意思是高性能计算用户接入网格以 后，就如同电力用户将插头插入电源，可以得到“随心所需”的电力( 计算资源) 望宝王壁垫盔盘生塑鲎焦逢塞 5 供应，而不需要知道电力究竟来自何处( 高性能计算机和其他信息资源) 。显然， 网格将从根本上改变计算机f 尤其是超级计算机) 使用的模式和概念。网格的目 标就是让人们使用网络资源像用电一样简单。 信息的本质特点是可以共享，信息不但可以同时使用，而且也不会因多次使 用同一信息资源而折旧或损耗。网格就是把整个因特网上的闲置资源整合起来， 形成类似一台巨大的超级计算机，为用户提供一个透明的、安全的高性能计算环 境，实现资源共享的最大化。 1 3 计算网格概述 1 3 1 计算网格的概念 计算网格是伴随着互联网技术而迅速发展起来的、专门针对大规模分布式计 算的一种新型计算模式。这种模式利用网格协议把互联网上、地理位置分布的计 算机整合成一个“虚拟的超级计算机”，其中的每一台参与的计算机就是一个“节 点”，而计算工作就是在由无数个节点组成的一张“网”上完成，所以这种计算 方式叫做网格计算，又称为计算网格。这样组织的“虚拟超级计算机”有三个优 点： 数据处理能力超强 充分利用网上的闲置的处理能力 价格相对于超级计算机低廉 根据l a r r ys m a r r 的描述，计算网格是一种无缝、集成的计算环境和协作环 境【6 | ，用来支持在动态的、跨组织域的虚拟组织内实现协同的资源共享和问题求 解。它耦合了各种分布的、异构的资源，并将它们统一集成为单一的资源。 从学术角度讲，网格计算是分布式计算的一种形态 ，但是它又与传统的分 布式和并行系统有所区别：它是一种松散耦合的环境，有异构性和动态性，有跨多 管理域的多样的和动态的资源共享关系。是一个广域网分布的系统，支持分布式 应用，这些应用可共享网格中的所有资源，能提供满足要求的服务质量( q o s ) 。 计算网格是构建互联网上的新兴技术，其基础设施是i p 协议的宽带数字通 信网络，它将改变传统的c l i e n t s e r v e r 和c l i e n t c l u s t e r 结构，形成新的基于 p e r v a s i v e g r i d 结构，这种体系结构将使用户把整个网格视为一个巨大的计算机， 并从中享受一体化、动态变化的、可灵活控制的、智能的、协作式的信息服务。 堡主曼焦选盎盘生塑鲎焦逢塞 6 计算网格系统一般由网格硬件、网格操作系统、网格界面、网格应用层四层基本 结构构成，其最突出的特点是资源共享、协同工作和开放性标准。因此，网格计 算目前研究发展的主要障碍便是标准协议的建立和体系结构的确定。 计算网格概念的提出也从根本上改变人们对“计算”的看法，计算网格提供 了与以往根本不同的计算模式。其概念的核心就是突破了过去强加在计算资源上 的种种限制，使人们能以一种全新的更自由、更方便的方式使用计算资源，解决 更复杂的问题。 集群系统是工作站的集合，网格就是集群系统和工作站的集合，或者说是集 群的集群。互联网改变了人们传统的通信方式和通信手段，网格改变的则是人们 传统的计算方式和计算手段，它为人们提供了更加强大的问题求解能力。 计算网格的功效在于它可以突破计算能力大小的束缚。大量的科学技术问 题，管理决策问题，需要大型计算机来求解，而大多数用户根本不可能具备，也 无法得到足够的计算资源和计算能力。长期以来，许多计算问题的解决只能靠建 立数学模型，简化计算，从而获得近似值。而计算网格是一个协同计算环境，它能 提供超强的计算能力和“无限”的计算资源，足以满足绝大多数用户的需求。 计算网格的功效还在于可以不受地理位置的限制。计算资源是分布在不同区 域的，有时甚至是多处，有些计算资源根本无法与特定的地理位置分开。正是由于 这些束缚、不便和限制，极大地影响了资源利用。网格打破了必须“到资源所在 地”使用资源的限制，在网格技术的支持下，使用者可以在异地直接使用共享资源， 突破了以往使用资源受地理位置的限制。 1 3 2 计算网格的主要特点 计算网格具有分布性、共享性、自相似性、动态多样性( 不可预测性) 和管 理的多重性。 ( 1 ) 分布性 分布性是网格的最主要的特点，是指网格中的各种资源以及对资源的管理和 调度都是分布在不同的地理位置上、不受物理连接的限制。由于网格是分布的， 所以基于网格的计算也一定是分布式计算而不是集中式计算。在网格的分布环境 下，需要解决好资源与任务的管理和调度、安全传输与通信，人机交互等问题。 网格资源虽然是分布的，但他们是可以共享的。网格的主要目的就是追求资源共 享的最大化。 望i 三整垫盔盘主巫堂焦迨盘 7 ( 2 ) 自相似性( 同构性) 网格的局部和整体之间存在一定的相似性，局部往往在许多地方有全局的某 些特征。 ( 3 ) 自治性与管理的多重性 网格资源的拥有者具有对其网格资源的最高级别的管理权限和使用权限。但 为了实现资源共享，网格中的资源也必须接受统一的管理和分配原则，如加入网 格的结点必须按网格协议的要求拿出一部分资源作为网格的共享资源，资源用户 在要求使用网格中的闲置资源时，资源的拥有者不得拒绝服务等。网格的管理又 具有多重性，一方面它允许网格资源的拥有者对网格资源具有自主性的管理，另 一方面又要求网格资源必须接受网格的统一管理原则。 ( 4 ) 动态性和多样性 网格结点及其所拥有的网格资源可以自由地加入或退出某个网格，也可能是 由于出现故障的原因，如结点失效或资源失效等原因。网格的动态变化特点要求 网格资源管理应具有自适应性和实时监控功能，在出现资源的动态减少或资源失 效时，能够及时进行任务迁移或资源的再调度，而这一切应对网格用户透明。网 格资源的动态增加需要提高网格的可扩充性，以方便新的资源顺利加入进来并和 原资源融为一体共同发挥作用。网格资源是异构的和多样的，网格可能包含不同 体系结构的计算机系统和不同类型的资源，因此网格系统还必须妥善处理构成网 格的各种各样的系统和资源在体系结构、系统软件以及应用软件等多个层次上可 能存在的差异。 1 3 3 计算网格的三个要素 计算网格环境要求不影响各结点的本地管理和自主性，不改变原有的操作系 统、网络协议和服务，保证用户和远程结点的安全性，允许远程结点选择加入或 退出系统，尽量使用已存在的标准的技术，以便与已有的应用兼容，并能提供可 靠的容错机制。一个理想的计算网格应类似当前的w e b 服务，可以构建在当前 所有硬件和软件平台上，给用户提供完全透明的计算环境。对用户而言，它把众 多同构或异构的资源变成了同构的虚拟计算环境。 计算网格就是一个广域范围的无缝集成和协同的计算环境。网格计算就是基 于网格的问题求解。在网格计算中，首先要查清网格里所有可用资源，比如哪些 节点可供访问、还闲置多少处理能力、数据库罩可供使用的数据是什么、共享的 堡宝三堡垫查盘生塑空焦造圭 8 应用程序是否已准备好、共享系统采用何种文件系统等。用户提交的任务要由系 统来分配资源并控制其运行，包括要将其分配到哪些节点上运行、调用哪些数据、 启动何种应用程序、何时开始运行等。这样，计算网格至少需要具备三种基本功 能：任务管理、任务调度和资源管理。 任务管理用户通过该功能向网格提交任务、为任务指定所需资源、删除任 务并监测任务的运行状态。 任务调度用户提交的任务由该功能按照任务的类型、所需资源、可用资源 等情况安排运行日程和策略。 资源管理确定并监测网格资源状况，收集任务运行时的资源占用数据。根 据马森大学的研究，计算网格可分为集中式任务管理系统、分布式任务管理系统、 分布式操作系统、参量分析、资源监n 预测以及分布式计算接口等五类，现有 的计算网格技术方案主要集中在第一、二类。属于集中式任务管理系统的有s u n 公司的g r i de n g i n e 、l s f ( l o a ds h a r i n gf a c i l i t y ) 、p b s ( p o r t a b l eb a t c hs y s t e m ) 等；属于分布式任务管理系统的有g l o b u s 、l e g i o n 和n e t s o l v e 等。集中式系 统由一台计算机统一调度任务，分布式系统任务的加载和运行控制由网格中每台 计算机自行完成。 1 - 4 研究现状 网格计算技术涉及的范围极为广泛，需要解决的问题众多。本节首先从研究 工作分类和应用领域等方面介绍相应的研究_ 丁作，随后分析各种典型问题的技术 现状。 1 4 1 研究工作分类 1 元计算 二十世纪九十年代初，根据网上主机大量增加，但其利用率却并不高的情况， 美国国家科学基金会( n f s ) 将其4 个超级计算中心构筑成一个整体，包括高速的 互联通信链路、全局的文件系统、普通用户接厂j 和信息、视频电话系统和支持分 布并行的软件系统等，元计算从而诞生。 元计算 a b h i 0 1 】的含义是通过网络连接强力计算资源，提供统一的管理、单 一的分配机制和协调应用程序，使任务可以透明地按需要分配到系统内的各种结 构的计算机中，包括向量机、标量机、s i m d 和m i m d 型的各类并行计算机。形 垫主三焦垫查盘生亟茔焦迨圭 9 成对用户透明的超级计算环境。元计算的目标是将跨地域的多台高性能计算机、 大型数据库、贵重科研设备、通信设备、可视化设备和各种传感器等等，整合成 一个巨大的超级计算机系统，以支持科学计算和科学研究。 2 网格计算 然而，以超级计算机为中心的元计算模式仍存在着明显的不足。超级计算机 造价极高，通常只有一些国家级的部门，如航天、气象等部门才有能力配置这样 的设备。随着人们日常工作遇到的商业计算越来越复杂，人们越来越需要数据处 理能力更强大的计算机，而超级计算机的价格显然阻止了它进入普通人的工作领 域。于是，人们开始寻找一种造价低廉而数据处理能力超强的计算模式，这方面 的研究使用的名词称为网格或计算网格，它更系统化地发展了最初元计算的概 念。 网格的名字来源于电力供应网。电力供应网使得电力供应商能根据用户的需 要供应电力，消费者只需支付自己使用的那部分电费。有鉴于此，在计算的性能 方面，网格的目标是根据用户的需求通过网络提供必要的计算资源，而用户只需 支付相对应的使用费用。美国阿岗国家实验室的资深科学家、美国计算网格项目 的领导人i a nf o s t e r 这样定义网格 i a n 9 8 b 1 ：“网格是构筑在因特网上的一组新兴 技术，它将高速互联网、高性能计算机、大型数据库、传感器、远程设备等融为 一体，为科技人员和普通老百姓提供更多的资源、功能和交互性。因特网主要为 人们提供电子邮件、网页浏览等通信功能，而网格功能更多更强，能让人们透明 地使用计算、存储等其它资源”。 网格计算的核心是计算机资源的共享。计算机资源包括三个方面：计算资源， 存储资源和网络资源。要实现计算机资源的共享，问题的关键在于远程调用和控 制某台计算机的计算资源与存储资源，以及对网络流量的调节。 3 对等计算 由于大多数因特网应用采用客户n 务器或浏览器i n 务器计算模式，用户需 要的所有服务来源于服务器端，这使服务方系统的能力受到严峻的挑战。与此同 时，大量个人计算机上的资源增多、能力提高和闲置，以及人们对相互之间直接 交流的强烈需求共同推动了对等讦算技术的出现和发展：n a p s t e r 最早提出了对 等计算的概念，每个人都可以在网络上通过共享m p 3 文件为他人提供服务。 对等计算可简单地定义为通过直接交换共享计算机资源和服务。它强调打破 堑主兰焦丝盔盘芏亟芏焦盈查 客户服务器或浏览器服务器的主从模式，用对等模式( 或无服务器模式) 来实 现超级服务器的功能。从技术角度而言，对等计算可提供机会利用大量闲置资源， 消除由于二单点故障而影响全局的危险和仅用单一资源造成的瓶颈问题。对等计算 提供了强有力的新型计算方式，目前其实际应用主要体现在三种类型：以资源共 享为基础的协同计算，在对等网络上开展电子商务和以对等计算为基础的深度搜 索引擎。 对等计算不仅是一种技术，更多的是一种思想，一种社会和经济现象。它的 精髓在于其“群龙无首”，把网络计算模式从集中式引向分布式，这种方式给了 用户更多的自由，然而也导致了“无政府主义”的出现。可以想象，缺乏管理的 对等网络还是一种比较脆弱的网络。在对等网络中，虽然服务器不再是网络的中 心，但是仍然协调着整个网络的工作，服务器的瘫痪将导致整个网络的瘫痪。尽 管对等计算解决了规模问题，然而目前对等计算的优势主要体现在大范围信息共 享和搜索上，其它大多数计算类型则很难分割成对等计算喜欢的模样。 对等计算和现行以中间件为基础的分布计算技术所采用的客户服务器计算 模式有本质区别。它体现了网格计算所追求的一种最基本的资源共享模型和结 构，采用了纵向集成的解决方法，而不象网格追求标准化的协议以提供共享的底 层基础结构和互操作性。 4 万维网服务 企业界在网格计算技术领域进行的相关研究开发工作中，最重要的就是力- 维 网服务( w e bs e r v i c e ) 。它由i b m 、m i c r o s o f t 等公司倡导，是一种较为成熟的 商业计算服务共享解决方案，可以使全球范围内的采购商、供应商和交易市场以 低廉的价格共享商业服务。与d c e w a r d 9 2 l 、c o r b a o b j e 0 1 和j a v a r m i s u n 9 8 等方法不同，万维网服务并不倾向于特定的编程模型、编程语言和 系统软件，而更强调基于单个因特网标准，即x m l 来解决异质分布计算的问 题，实现了在当前环境f 最高的可集成性。目前，万维网服务正在全球范围得到 广泛应用。j 2 e e 阵营的代表s u n 公司和c o m 阵营的代表m i c r o s o f t 公司也分 别宣布将使用万维网服务作为其下一代软件和服务战略s u no n e 和 m i c r o s o f t n e t 的基础。万维嘲服务使用s o a 架构。该架构由三个基本参与者 和三个基本操作构成。三个参与者分别是服务提供者、服务请求者和服务代理。 而三个基本操作则分别为发布、查找和绑定。在万维网服务体系中，使用 w s d l e r i k 0 1 】来描述服务，一个万维网服务就是一个可被u r i t i m 9 8 识别的软 堑宝兰壅垫垄盘鲎塑茔焦逢圭 件应用，使用u d d i t o m 0 2 年 1w s i l k e i t 0 1 】发布和查找服务，而s o a p d o n 0 0 则用来执行服务调用。w 3 c 定义的w s f i 。 f r a n 0 1 】还可将分散的、功能单一的万 维网服务组织成一个复杂的有机应用。 5 广义的网格计算 作为一种新技术，目前网格的精确含义和内容尚未固定，而是在不断变化， 研究人员对网格研究重点和内容的认识也不尽相同。前述的网格计算概念来源于 美国联邦政府过去十年来资助的高性能计算项目，可称为“正统”的网格计算。 然而，在最近几年中，随着网格计算技术的迅猛发展，其外延已大大延伸，从高 性能计算领域逐渐扩展到商业应用领域，目前已呈现出与万维网服务和对等计算 技术相融合的发展趋势。因此，本文以下部分讨论网格计算时，若未特别说明， 均指广义的网格计算，包括元计算、正统的网格计算、对等计算和万维网服务等， 其共性是资源的共享与协同计算，相应的网格通常称为g g g ( g r e a tg l o b a lg r i d ) 。 从应用领域而言，网格可分为计算网格 1 a n 9 8 b 、数据网格 b e n 0 0 、信息网 格 z h i w 0 2 和知识网格 h a i 0 2 等不同类型；也有人把网格看成是未来因特网技 术，称之为“下一代因特网”，“i n t e m e t 2 ”，“下一代w e b ”等；还有一类研究的 侧重点是智能信息处理，它关注的是如何消除信息孤岛和知识孤岛，实现信息资 源和知识资源的智能共享，常见的名词包括语义网( s e m a n t i cw e b ) 、知识管理 ( k n o w l e d g em a n a g e m e n t ) 、知识本体( o n t o l o g y ) 、智能主体( a g e n t s ) 、一体 化智能平台等；企业界的研究则大多集中在尽量利用现有的i n t e m e t w e b 技术， 将因特网上的资源整合成一台超级服务器，以便有效地提供内容服务、计算服务、 存储服务、交易服务等，内容分发( c o n t e n t sd e l i v e r y ) 、服务分发( s e r v i c e d e l i v e r y ) 、电子服务( e s e r v i c e ) 和实时企业计算( r e a l t i m ee n t e r p r i s e c o m p u t i n g ， 简称r t e c ) 等名词都属于这一范围。 1 4 2 应用领域问题 根据研究所针对的应用领域划分，主要的应用类型包括： 1 分布式超级计算 是传统的集中式高性能计算向分布式的发展，利用聚集的多个分散的超级计 算机解决由于c p u 速度，内存大小等限制而无法在单一系统中解决的科学与工 程计算问题。分布式超级计算面临的挑战是如何协同调度往往是稀少和昂贵的计 算资源，相应的协议和算法必须提供从十个到成百上千个节点的可伸缩性并能容 堡主墨壁垫查盘芏墅鲎焦盈叁 1 2 忍动态变化的网络延迟，并在异质系统中达到和保持高性能。其应用领域包括大 规模军事仿真和天文学模拟等。 2 高吞吐计算 和分布式超级计算不同，高吞吐率系统关心的是更长时间内完成的计算量。 它用于调度大量松耦合或相互独立的任务，利用未使用的处理器周期( 通常来自 空闲工作站) 执行这些任务。其应用领域包括芯片设计，参数化研究，加密算法 问题等。 3 按需计算 按需计算可满足不能在本地找到划算或方便的资源，例如计算、软件、数据 仓库和专业传感器时的短期需求。与分布式超级计算相比，资源的选择常常是由 性价比而非绝对性能所决定。面临的挑战是资源需求的动态特性和