（计算机应用技术专业论文）基于globus的数据网格的设计与实现.pdf

摘要 网格，作为一个硬件和软件的基础设施，提供了对分散在互联网上高端计算 资源、存储资源、通讯资源、软件资源以及设备资源的可靠的、一致的、无处不 在以及廉价的访问，正在被科学、教育、商业等越来越多的领域所使用。在众多 的研究项目中，g l o b u s 作为一个网格软件基础设施，以其良好的可扩展性、稳定 性和高效性被各行各业所接受并成为了网格领域的实际标准和规范。作为网格众 多研究方向之一的数据网格，是其它网格服务的核心和基础并一直受到了极大的 重视。 首先，论文通过对国内外网格研究现状的分析和对比，阐述了数据网格研究 的必要性。并在此基础上，通过与分布式计算、元计算、对等计算以及w e b 服务 的比较，对网格主要技术进行了概要性的介绍。接下来，论文对现有成熟网格体 系结构进行了分析、比较，论述了选择以g l o b u s 为基础的依据。然后，通过对 g l o b u s 体系框架中g r i d f t p 、可靠文件传输、副本定位服务、执行管理、以及安 全服务的分析，指出了g l o b u s 的优点和不足。结合本人的研究成果，对g l o b u s 中的副本定位服务以及资源管理服务给出了改进方案，提出了基于分布式生成树 的副本定位服务和基于智能代理的资源管理服务模型。接下来，论文介绍了系统 的概要设计和实现以及数据网格门户的详细设计和实现。最后，论文介绍了系统 的功能测试和性能仿真。 关键词：网格，数据网格，g l o b u s ，分布式生成树，代理 a b s l 砸c r a b s t r a c t g r i d , a sah a r d w a r ea n ds o f t w a r ei n f r a s t r u c t u r et h a tp r o v i d e sd e p e n d a b l e ， c o n s i s t e n t ，p e r v a s i v ea n di n e x p e n s i v ea c e e s st ot h eh i g h - e n dc o m p u t a t i o n a lr e s o n r c c s ， s t o r a g er e s o u r c e s ，c o m m t m i c a t i o n a lr e s o u r c e s , s o f t w a r er e s o u r c e sa n dd e v i c er e s o u r c e s d i s t r i b u t e di ni n t e m e t , i sa p p l i e di nm o r ea n dm o r ea r e a ss u c ha ss c i e n c e , e d u c a t i o n a n dc o m m e r c e i nm a n yp r o j e c t s ，g l o b u sa san e t w o r ks o f t w a r ei n f r a s t r u c t u r ew a s a c c e p t e db ye v e r yw a l ko fl i f ea n db e c a m et h ea c t u a l l ys t a n d a r da n ds p e c i f i c a t i o nf o r i t sw e l ls c a l a b i l i t y , s t a b i l i t y , e f f i c i e n c y d a t ag r i d , a so n eo fr e s e a r c h e so fg r i d ，i st h e f o u n d a t i o na n dc a ) r eo fo t h e rg r i ds e r v i c e sa n di sa l w a y sa t t a c h e da t t e n t i o n f i r s t l y ，t h et h e s i sd i s c u s s e st h en e c e s s i t yo ft h ed a t ag r i dr e s e a r c hb ya n a l y z i n g a n dc o n t r a s t i n gt h ei n t e r n a t i o n a lr e s e a r c hs t a t u s ，a n db a s e do nw h i c ht h em a i n t e c h n o l o g i e so f g r i da r ep r e s e n t e dt h r o u g hc o m p a r i n gt h ed i s t r i b u t i n gc o m p u t i n g , m e t a c o m p u t i n g , p e e r - t o p e e rc o m p u t i n ga n dw e bs e r v i c e s a f t e rt h a t ，t h et h e s i sa n a l y z e s a n dc o m p a r e sc u r r e n t l ym a t u r eg r i da r c h i t e c t u r e ，a n dd i s c u s s e dw h y c h o o s i n gg l o b u s a s t h eb a s i s n e x t , t h r o u g ha n a l y z i n gt h eg r i d mr e l i a b l ef i l et r a n s f e r ( r v a 3 , r e p l i c al o c a t i o ns e r v i c e 限l s ) ，e x e c u t i o nm a n a g e m e n ta n ds e c u r i t yi nt h eg l o b u s a r c h i t e c t u r e ，t h ef e a t u r e sa n ds h o r t c o m i n g so fg l o b u si sp o i n t c do u t c o m b i n i n gt h e r e s e a r c hr e s u l t s ，t h ei m p r o v e m e n t sa b o u tr l sa n dr e s o u r c em a n a g e m e n to fg l o b u sa r c g i v e na n db r o u g h to u td i s t r i b u t e ds p a n n i n gt r e e b a s e dr l sa n da g e n tb a s e d r e s o u r c em a n a g e m e n tm o d e l t h et h e s i sl a t e rg i v e st h ee s s e n t i a ld e s i g no ft h es y s t e m a n dt h ed e t a i l e dd e s i g na n di m p l e m e n to ft h ed a t ag r i dp o r t a l a tl a s tt h ef u n c t i o n t e s t i n ga n dp e r f o r m a n c es i m u l a t i o no ft h es y s t e mi sd i s c u s s e d k e yw o r d s ：g r i d , d a t ag r i d , g l o b u s ，d i s t r i b u t e ds p a n n i n gt r e e ( d s a 3 ，a g e n t 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名： 日期：纱呷年f 月循 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：型缝导师签名： 日期：l o 第一章引言 1 1 动机和意义 第一章引言 在上个世纪八十年代第一次信息技术热潮的带动下，个人电脑、局域网技术 得到了广泛的发展。后台基于大型机或者高端服务器的c s 结构的应用模式成为 了主流。随着互联网应用的普及和发展，到了九十年代后，以中间件技术为代表 的第二次信息技术的发展，将瘦客户端的b s 结构服务模式带到了用户面前。随 着互联网的进一步发展，掌握在某些部门和团体中的昂贵的计算资源和日益扩大 的、得不到满足的计算需求之间发生了矛盾。 于是，人们试图去寻找一种新的替代方案，将分散在互联网上的资源联通并 加以利用。其中，包括计算资源、存储资源、通讯资源、软件资源、设备资源等。 消除信息孤岛和资源孤岛。也就是说，相对于分布式计算环境下需要单一资源的 自治系统，我们需要创建一个可以跨越多个自治系统使异构的资源协同完成工作， 这就是网格技术。1 9 9 8 年，i a nf o s t e r 在【1 】中给出了计算网格的定义：“计算网格 是一个硬件和软件的基础设施，它提供了对高端计算资源的可靠的、一致的、无 处不在以及廉价的访问。”其实，这一思想并不是他们第一个提出的。早在1 9 6 9 年，l e nk l e i n r o c k 曾指出，“我们可能会看到计算机工具的发展，就像电力 和电话的发展一样，它将跨越国家服务于每个家庭和办公室”【2 】。【3 】中定义网格 为在动态、多治( m u l t i - i n s t i t u t i o n a l ) 的虚拟组织( v i r t u a lo r g a n i z a t i o n ) 上的资源 共享和问题解决。这里面提到的共享已经不是简单的文件共享，而是对计算机、 软件、数据以及其它资源的直接访问，以用来解决在商业、科学和工程中遇到的 共性问题的解决。这种共享是建立在服务提供者和消费者共同达成协议的前提下 进行的，协议规定了共享哪些资源，谁可以使用这些共享资源以及费用等问题。 这种共享所涉及到的个人和团体和在一起被定义为虚拟组织。 网格上的资源共享不再局限在一个组织之内，而是基于网格服务、w e b 服务 以及其他协同工具来完成在整个i n t e r n e t 上的资源共享。同时，网格必须提供服 务和资源的动态调整和规划。资源和服务的加入和退出不会影响到网格的正常运 作，从而保证了错误容忍和灾难恢复。由于网格是基于i n t e r a c t 网络的，所以必 须可以部署在分布式的、异构的系统上，以提高经济和商业利益。此外，为了保 电子科技大学硕士学位论文 证i n t e r a c t 上的服务使用和访问，需要建立虚拟组织，用来保证服务提供者和服 务使用者之间的透明性。随着普适计算的发展，未来的网格资源以及资源的使用 将不再局限于计算机提供的资源，应该保证其它一切设备的使用和访闯。 网格计算则是指基于网格问题的求解。正是因为网格有着上述特征，才使得 对网格计算的探索显得更加有意义。网格计算的研究，除了技术本身的意义之外， 其中还蕴含着重大的商业利益。网格计算可以更加充分的利用互联网，通过对互 联网上资源的整合以提供更加丰富多彩并且廉价的服务。 1 2 网格技术现状 1 2 1 国外的研究发展现状 网格在国外的研究开始于上个世纪八十年代，其中主要代表包括美国科学网 格【4 】( d o es c i e n c eg r i d ) 、远程分布式计算与通信【5 】( d i s t a n c ea n dd i s t r i b u t e d c o m p u t i n ga n dc o m m u n i c a t i o n ，d i s c o m 2 ) 和地球系统网格 6 1 ( e a r t hs y s t e mg r i d i i ，e s g ) 、t e r a g r i d 7 、c r o s s g r i d 8 、天体物理虚拟天文觎9 】( a s t r o n o m i c a lv m u a l o b s e r v a t o r y ，a v o ) 、英国国家网格 1 0 1 ( u 瓦n a t i o n a lg r i d ) 、德国的计算资源统 一接口项目【1 1 】( u n i f o r mi n t e r f a c et oc o m p u t i n g r e s o u r c e s ，u n i c o r e ) 、t e r a g r i d 【1 2 等。 美国科学网格项目的目标是建立基于网格中间件( g r i d w a r e ) 和系统工具的 高级分布式计算基础设施( a d c d ，使能源部科学计算体系的可伸缩性满足能源 部内部科学研究任务要求。 远程分布式计算与通信项目的目标是创建一个用于访问美国能源部三个武器 实验室的具有可操作性的网格，以支持国防计划中远程计算和分布式计算这两个 关键战略领域复杂的分析、设计、制造、认证功能。 地球系统网格( e a r t hs y s t e mg r i di i ，e s g ) 项目由阿贡国家实验室( a r g o n n e n a t i o n a l l a b o r a t o r y ) 等五个国家实验室的科学家联合承担。主要目标是解决从全 球地球系统模型分析和发现知识所面临的巨大挑战，为下一代气候研究提供一个 无缝的强大的虚拟协同环境。 国家地震工程仿真网格的目标使地震研究人员能够进行各种地震工程实验数 据分析的大规模计算任务。 此外，目前美国正在进行的网格计算研发项目还包括g l o b u s 1 3 、美国航空 2 第一章引言 航天局( n a s a ) 的信息动力网格【1 4 】( i n f o r m a t i o n p o w e r g r i d ，i p g ) 、美国国家 技术网格 1 5 】( n a t i o n a lt e c h n o l o g yg r i d ) 、虚拟实验室项目【1 6 】( v i r t u a ll a b o r a t o r y p r o j e c t ) 、天体物理仿真合作实验室【1 7 】( a s 仃o p h y s i c ss i m u l a t i o nc o l l a b o r a t o r y ， a s c ) 、国际虚拟数据网格实验室 1 8 】( i n t 锄a t i o n a l v m u a ld a t ag r i dl a b o r a t o r y ， i v d g l ) 等。 其中，g l o b u s 目标是构建一个网格软件基础设施，其研究内容包括资源管理、 数据访问、应用开发、网格安全等。目前全球许多用户利用g l o b u s 工具包创建网 格和开发网格应用。信息动力网格的目标是为国家航空航天局科学研究任务提供 持续、可靠的计算动力源。美国国家技术网格项目的目标是创建一个无缝集成的 协同计算环境原型系统。虚拟实验室项目致力于研究、设计、开发能够帮助解决 数据密集的、涉及大规模计算的分子生物学问题的网格技术。天体物理仿真合作 实验室项目的主要目标利用c a c t u s 和g l o b u s 网格计算的研究成果为高级可视化 交互和元计算提供大规模并行计算能力，实现在相对论天体物理学领域的大规模 仿真。国际虚拟数据网格实验室项目由欧盟的数据网格( d a t a g r i d ) 、美国的网格 物理网络( g r i dp h y s i c sn e t w o r k ) 和粒子物理数据网格( p a r t i c l ep h y s i c sd a t ag r i d ) 协作创建。 可见，多数的网格项目都是以g l o b u s 为基础，在其上进行改进和完善，达到 满足特定工作领域的特殊要求。g l o b u s 项目在经过了近一年的沉寂之后，现在已 经公布了4 0 3 版本，丰富了更多的w e b 服务功能。 1 2 2 国内的研究发展现状 我国对网格计算的研究起步相对晚一些，相关工作开始于1 9 9 8 年。由于网格 计算是一项刚起步的研究，因此我们在网格计算关键技术的研究方面与国外差距 不大，基本处于相同的起跑线上。 在我国，网格研究项目主要有清华大学的先进计算基础设施a c i 1 9 ( a d v a n c e d c o m p u t a t i o n a li n f r a s t r u c t u r e ) 、以中科院计算所为主的国家高性能计算 环境n m c e 2 0 ( n a t i o n a lh i g hp e r f o r m a n c ec o m p u t i n ge n v i r o n m e n t ) 、8 6 3 计划 支持的“中国网格( c h i n ao d d ) ”建设1 2 1 和由中科院计算所领衔开发的“织女 星网格”计划 2 2 1 。 在清华a c i 系统中，清华大学研制的高性能计算机“t h n p s c - 2 ”与上海大 学研制的高性能计算机“自强2 0 0 0 ”通过高速网络连接在一起，此外还连接了4 3 电子科技大学硕士学位论文 个应用结点。这6 个地理位置不同的网格节点可以同时召开网络会议。除此之外， 还开发了相应的中间件，可以构成跨地区、跨学科的“虚拟实验室”研究环境。 清华a c i 系统具有一套健全的资源管理系统、任务管理系统、用户管理系统及安 全服务与监控系统。清华a c i 系统于2 0 0 1 年6 月通过了鉴定。 从1 9 9 9 年底到2 0 0 1 年初，中科院计算所联合十几家科研单位，承担了8 6 3 重点项目“国家高性能计算环境”的研发任务。该项目的目标是建立一个分布式 环境下支持异构平台的计算网格示范系统，它把我国的8 个高性能计算中心通过 i n t e m e t 连接起来，进行统一的资源管理、信息管理和用户管理，并在此基础上开 发了多个计算型的网格应用系统，取得了一系列研究成果。 2 0 0 4 年1 2 月，中国启动了c h i n a g - r i d 项目( 中国教育科研网络- - i n t e m e t 2 ) ， 是“中国下一代互联网示范工程c n g i ”中最大的核心网和唯一学术网。它以 2 5 g b p s 1 0 g b p s 速率连接全国2 0 个主要城市的c e r n e t 2 主干网的核心节点， 为全国几百所高校和科研单位提供l 1 0 g b p s 的高速i p v 6 接入服务，并通过中国 下一代互联网交换中心c n g i - 6 i x ，高速连接国内外下一代互联网，将成为我国 研究下一代互联网技术、开发重大应用、推动下一代互联网产业发展的重要基础 设旖。 中科院计算所为自己的网格研究命名为“织女星网格”( v e g ag r i d ) ，这个网 格项目的目标是具备以下几种能力：大规模的数据处理能力、高性能计算能力， 以及具备资源共享和提高资源利用率的能力。与国内外其它网格研究项目相比， “织女星网格”的最大特点是“服务网格”( s e r v i c eg r i d ) 的概念。 另外，还有像“上海教育科研网格”、由航天二院和清华大学共同开展的“仿 真网格”的研究以及全国几十所大学和研究机构开展的各种网格研究。 1 3 网格技术展望 网格技术凭借其独特的计算力联合和分布式计算模式，在科学研究、企业信 息处理、电子政务、个人娱乐方面拥有广泛的应用前景。 网格计算利用分布式计算机网络处理大计算量的任务，可以最大限度地利用 现有网络的计算能力，而不必为增加信息处理能力而添置新的设备；通过租用网 格网络的计算能力，我们可以实现许多以前因为计算能力不够，或者因为增加计 算能力导致成本过高的商业应用。 对于一项技术来说，其出发点和落脚点都应该指向应用。以应用推动网格发 4 第一章引言 展也是我们国家发展网格技术的一个指导思路。事实上，网格技术的应用离我们 的生活并不遥远，在我们社会生活的各个领域、各个层面都活跃着网格技术的身 影。 应用之一：教育科研 现在科学研究的问题空前复杂化，而科学研究所需要的运算资源常常是捉襟 见肘。复杂科学领域的计算通常以超级计算机作为数据处理中心，超级计算机虽 然处理能力强大，但是其本身的造价极其高昂，并不是所有的研究机构都有能力 配备。网格技术的出现，最大程度地提高了现有网络计算资源的利用率。目前， 利用网格提高现有资源利用率主要有两种办法。一是利用网格技术可以将各个实 验室的超级计算机连接起来，形成一个“强强联合”的超级信息处理中心。另外 一种方式就是通过互联网，利用互联网个人用户的闲置计算机，进行科学研究。 应用之二：企业信息处理 m m 推出一个叫做“随需应变的服务”模式，其中包括为帮助软件厂商开发 新的应用程序，并测试现有的应用程序，m m 为这些软件厂商提供m m 网格运 算服务器的免费存取权。拥有免费存取权的软件开发人员可以利用i b m 网格服务 器的强大运算资源，快速完成新开发的软件所必需的调试及模拟运算，从而缩短 程序从开发到应用的周期，提高软件的开发速度。 当然，这只是网格计算力出租的一个例子。实际上，网格所能做的比我们想 象的还要多。网格专家为我们描绘的是这样的一幅画面：等网格的触角深及到互 联网的每一个角落时，我们从互联网获得网格的运算资源就会像我们从电网上获 取电力那么简单，我们只需要支付少量费用，就可以租用这台“超级信息处理中 心”为我们工作。这对于信息处理需求大的企业来讲，无疑是个福音。现在很多 企业为了保证其业务不问断地运转，大多部署了价格不菲的大型r r 系统，这些 r r 设备除了在少数的业务高峰时间可以得到充分利用外，大部分时间都是闲置 的，这些闲置资源无疑导致了企业运行成本的增加。一个强大的可租用虚拟系统， 可以让用户完成以前难以承担的任务，其生产成本却不会有明显的增长。 应用之三：电子政务 一提到电子政务，很多人马上就会想到我们的政府网站，想起网站上的政府 公告、红头文件。其实，电子政务不仅仅是利用互联网来宣传政府的计划和服务， 也不应该只停留在政府文件的“网页化”奔i 用互联网传达信息只是电子政务 的初级阶段，利用互联网进行日常性的政府办公才是真正意义上的电子政务。网 格技术可以整合和管理分散在各部门的信息化资源，实现各个政府部门之间数据 5 电子科技大学硕士学位论文 的无缝交换，消除“信息孤岛”，打破电子政务资源共享的瓶颈；另一方面，网格 技术的分布式工作模式，可以有效地实现在网络虚拟环境下的协同办公，提高政 府的工作效率、增强为公众服务的能力。 也就是看中了网格技术在电子政务建设方面的优势，2 0 0 3 年7 月上海市政府 与i b m 中国公司签署了网格计算合作谅解备忘录，旨在利用网格技术解决上海信 息港建设中出现的问题，诸如部门之间的信息化资源分散、跨部门协作缺乏标准， 部门间资源共享与协作困难，通过资源的整合，提高信息化建设的整体成效，开 了国内利用网格计算技术推动电子政务发展的先例。相信随着网格技术的进一步 发展，网格在电子政务方面的应用会越来越广泛。 应用之四：个人娱乐 随着互联网的发展，网络视频点播与在线游戏已经成为个人娱乐重要的一环。 使用网格可以为游戏开发商和服务供应商提供可扩展的、高弹性的基础设施以运 行大型多人游戏。美国游戏基础设施提供商b u t t e r f l y n e t 公司目前使用的就是i b m 的网格计算服务器。该服务器利用了网格技术自恢复特性，能够无缝隙地将所玩 的游戏转到最近的可用服务器上，实现了用户资源的统一调动、统一保存，极大 提高了游戏运行和服务的可扩充性。据b u t t e r f l y n e t 与i b m 的评估，在相同的预 定收益中，利用网格技术布置的网格服务器产生的利润是传统集中式服务器的8 倍。而对于个人用户来说，网格服务器则意味着更安全、更快捷的游戏体验。 网格技术有望使虚拟现实技术走向平民化。虚拟现实( v l r t u a lr e a l i t y ) 技术 是一种利用计算机图形技术人工合成的可以按照用户的输入而变化的模拟仿真环 境，一个多维信息空间，一个用户可与计算机系统自然交互的三维人机界面。虚 拟现实技术最大的优点就是可以通过各种传感器获得虚拟环境给予的各种体验。 由于运行虚拟现实技术所需要的计算资源太过于庞大，目前虚拟现实技术只用于 飞行员、宇航员等的训练工作，普通个人根本无法享受这一技术带来的娱乐体验。 利用网格这种造价低廉而数据处理能力超强的计算模式，可以将虚拟现实技术运 用于网络游戏中，让参与游戏的人可以真切地感受虚拟环境所带来的游戏快感。 毫无疑问，如果这一技术移植成功，将对目前的网络游戏起革命性的变化。 当然，在网格技术走向大规模应用时，也存在着不少问题，如各个公司之间 的技术标准不统一、并非所有的软件都支持分布式计算、分享服务器会带来数据 安全问题；当然，还有些非技术性问题，如人们对新技术成熟与否、共享资源会 不会丧失对资源控制权的担忧，也成为网格技术进一步普及的障碍。不过这些问 题并不可怕，所有的新技术都会面临这样或者那样的难题，网格当然也不例外。 6 第一章引言 相信随着技术的迸一步发展，网格应用会更加丰富多彩。 1 4 本文工作和组织 本课题为面向教育系统的数据网格应用提供了一种解决方案，特别是在针对 分散性教育资源的整合、解决目前教育网格系统支持的网格节点数过少等方面提 出了较为可行的解决方案。同时，提出基于d s t ( d i s t r i b u t e ds p a n n i n gt r e e ，分 布式生成树) 的副本定位服务，解决索引服务器的动态加载问题，从而提高了系 统的可扩展性。 第二章中将通过与分布式计算、元计算、对等计算以及w e b 服务相关技术的 比较，对网格主要技术进行介绍。通过对现有成熟网格体系结构的分析和比较， 论述选择以g l o b u s 为基础的依据。 第三章中主要对g l o b u s 体系框架中与数据网格相关服务进行分析，并指出 g l o b u s 的优点和不足。结合本人的研究成果，提出对g l o b u s 中副本定位服务和 资源管理服务的改进方案。并给出基于g l o b u s 的数据网格的系统设计和实现。 第四章中将着重描述系统的功能测试和性能仿真，以验证系统的实现和理论 的正确性。 7 电子科技大学硕士学位论文 第二章网格技术概述 第一章中，我们对网格的现状和未来做了简单阐述。下面，将通过对网格相 关技术分析，以及对成熟网格体系机构的比较，给出选择以g l o b u s 为基础的依据。 2 1 网格相关技术 追述i n t e r a c t 的发展，与网格技术相关和相近的技术包括元计算、分布式计 算、对等计算以及w e b 服务。下面，将就其进行介绍，并说明其与网格计算的联 系和区别。 2 1 1 元计算 元计算产生于上个世纪九十年代初，由于当时网上主机大量增加，但其利用 率却并不高。据此情况，美国国家科学基金会( n f s ) 决定将其下属的4 个超级 计算中心构筑成一个整体，从而提供统一的服务。 元计算【2 3 】的含义是通过网络连接强力计算资源，提供统一的管理、单一的 分配机制和协调应用程序，使任务可以透明地按需要分配到系统内的异构的计算 机中，包括向量机、标量机、s i m d 和m i m d 型的各类并行计算机。形成对用户 透明的超级计算环境。元计算的目标是将跨地域的多台高性能计算机、大型数据 库、贵重科研设备、通信设备、可视化设备和各种传感器等等，整合成一个巨大 的超级计算机系统，以支持科学计算和科学研究。 我们可以这样认为，元计算是广义上的网格计算的初级阶段。 2 1 2 分布式计算 网格计算是一种新的高性能的分布式计算方法。网格计算作为新一代的分布 式计算方法，与传统分布式计算的主要区别在于在没有集中控制机制的情况下， 通过对计算资源进行大规模共享，满足应用对高性能计算要求，并且这种对计算 资源进行大规模共享是动态的、柔性的、安全的和协作式的。更通俗的说，网格 是一种松耦合的分布式计算。通常，一个网格被部署在地理位置上分布广泛的计 8 第二章网格技术 算机上，并且它们之间彼此并不了解。不知道什么样的计算机、什么样的操作系 统，它们只是通过i 册( s ) 或者x m l 通讯进行连接。因此，网格比传统的分布 式计算更加灵活。 2 1 3 对等计算 由于大多数因特网应用采用客户，服务器或浏览器，服务器计算模式，用户需 要的所有服务来源于服务器端，这使服务方系统的能力受到严峻的挑战。与此同 时，大量个人计算机上的资源增多、能力提高和闲置，以及人们对相互之间直接 交流的强烈需求共同推动了对等计算技术的出现和发展。n a p s t c r 【2 4 1 最早提出了 对等计算的概念，每个人都可以在网络上通过共享文件为他人提供服务。 对等计算( p 2 p ) 是在i n t e r n e t 上实施分布式计算的新模式。在这种模式下， 服务器与客户端的界限消失了，网络上的所有节点都可以“平等”共享其他节点 的计算资源。m m 为对等下了如下定义：对等系统由若干互联协作的计算机构成， 且至少具有如下特征之一：系统依存于边缘化( 非中央式服务器) 设备的主动协 作，每个成员直接从其他成员而不是从服务器的参与中受益；系统中成员同时扮 演服务器与客户机的角色；系统应用的用户能够意识到彼此的存在，构成一个虚 拟或实际的群体。 对等计算可简单地定义为通过直接交换共享计算机资源和服务。它强调打破 客户服务器或浏览器，服务器的主从模式，用对等模式( 或无服务器模式) 来实 现超级服务器的功能。从技术角度而言，对等计算可提供机会利用大量闲置资源， 消除由于单点故障而影响全局的危险和仅用单一资源造成的瓶颈问题。对等计算 提供了强有力的薪型计算方式，目前其实际应用主要体现在三种类型：以资源共 享为基础的协同计算，在对等网络上开展电子商务和以对等计算为基础的深度搜 索引擎。 对等计算不仅是一种技术，更多的是种思想，一种社会和经济现象。它的 精髓在于其“群龙无首”，把网络计算模式从集中式引向分布式，这种方式给了用 户更多的自由，然而也导致了“无政府主义”的出现。可以想象，缺乏管理的对 等网络还是一种比较脆弱的网络。在对等网络中，虽然服务器不再是网络的中心， 但是仍然协调着整个网络的工作，服务器的瘫痪将导致整个网络的瘫痪。尽管对 等计算解决了规模问题，然而目前对等计算的优势主要体现在大范围信息共享和 搜索上，其它大多数计算类型则很难分割成对等计算喜欢的模样。 9 电子科技大学硕士学位论文 对等计算和现行以中间件为基础的分布计算技术所采用的客户朋艮务器计算 模式有本质区别。它体现了网格计算所追求的一种最基本的资源共享模型和结构， 采用了纵向集成的解决方法，而不像网格追求标准化的协议以提供共享的底层基 础结构和互操作性。 目前，研究者将p 2 p 和网格相结合，提出了p 2 p g r i d 2 5 。有望建立吸收p 2 p 网格双方之所长的分布式计算系统。 2 1 4w e b 服务 企业界在网格计算技术领域进行的相关研究开发工作中，最重要的就是w e b 服务( w e bs e r v i c e ) 。它由m m 、m i c r o s o f t 等公司倡导，是一种较为成熟的商业 计算服务共享解决方案，可以使全球范围内的采购商、供应商和交易市场以低廉 的价格共享商业服务。与c o r b a 2 6 1 和j a v ar m i 2 7 等方法不同，w e b 服务并不 倾向于特定的编程模型、编程语言和系统软件，而更强调基于单个因特网标准， 即x m l 来解决异质分布计算的问题，实现了在当前环境下最高的可集成性。目 前，w e b 服务正在全球范围得到广泛应用。j 2 e e 阵营的代表s u n 公司和c o m 阵 营的代表m i c r o s o f t 公司也分别宣布将使用w e b 服务作为其下一代软件和服务战 略s u no n e 和m i c r o s o f t 玎的基础。 o g s a 作为开放网格体系结构的制定者，吸纳了许多w e b 服务标准，如w e b 服务描述语言( w s d l ) 、简单对象访问协议( s o a p ) 、轻目录访问协议( u ) a p ) 、 w e b 服务探测( w s 1 n s p e e t i o n ) 等。这些标准用于定位、调度计算资源并保证它 们的安全。o g s a 采用w e b 服务框架的优点是：一方面，通过注册和发现接口定 义和终端( e n d p o i n t ) 实现描述以及动态产生特定接口绑定的代理，在异构环境 中能够支持服务的动态发现和合成。另一方面，由于w e b 服务机制在商业应用领 域广泛采用，o g s a 采用w e b 服务框架使人们能够利用许多现有的开发工具和扩 展服务，如产生语言绑定的w s d l 处理器。 所以，现状的主流网格框架g l o b u s 也大量使用w e b 服务元素，同w s r f 结 合，用来开发新版本的g l o b u st o o l k i t 。 2 2 网格计算技术研究 上面，我们分析了网格相关技术的情况，并进行了简单的对比。从中，我们 可以看出网格技术的优势和不足。为了建立一个完整的网格系统，首先需要解决 1 0 第二章网格技术 如下关键的技术问题。 2 2 1 资源管理 网格计算的核心是资源管理系统，它负责组织和管理各种类型的资源，以满 足不同应用的需求。不同的资源管理系统有不同的组织方式，描述资源如何做调 度决定、资源之间的通信结构和各资源在调度决定中扮演的不同角色。资源组织 分三种类型：平板( f l a t ) 、单元( c e l l ) 和层次( h i e r a r c h i c a l ) 。平板型组织中任 两个资源之间可以直接通信而不需要经过中介。在层次型组织中某一级之间的资 源可以和同级、上级或下级的资源直接通信，但不能和其它级中的资源通信。在 单元组织中，位于同一单元内的资源之间通信使用平板组织方式。每个单元指定 一些资源充当边界元素，负责和所有本单元外的资源通信。除边界资源外，每个 单元的内部结构对其它单元是不可见的。单元则可进一步组成平板或层次结构。 资源管理系统的模式则决定如何描述资源以及资源的操作，可分为基于模式 和对象模型两种。前者通过某种描述语言，例如c o n d o rc l a s s a d 2 8 描述资源， 其缺点在于缺乏灵活性和可扩展性。后者则将资源的操作定义为资源模式的一部 分，典型代表是l e g i o n 2 9 ，其缺点在于往往很难实现一个高性能的可扩展对象 模式。 资源管理在一组全局命名的资源池中操作。名字空间可由位于资源管理系统 外部的实体创建和维护，其组织对于资源管理协议的设计和发现方法有很大的影 响，可分为关系、层次和图三种基本类型。现有的资源管理实现，例如g l o b u s m d s 3 0 1 等，往往采取混合结构。 由于网格计算所使用的资源往往是动态的，因而资源发现是资源管理需要解 决的另一个重要问题。资源发现需要使用服务提供方提供的资源共享信息和服务 使用方提供的资源需求信息。动态地收集处理各种资源的状态信息是资源管理的 基础。资源信息的存储方法可分为网络目录和分布对象两种类型，相应地，资源 发现也分为基于查询和基于智能主体的两种方法。前者如g l o b u sm d s ，使用经 由网络向最邻近目录发送的参数化查询，后者如b o n d 3 1 ，使用以k q m l 作为 通信语言的智能主体，可在资源之间发送主动代码片段并在本地执行。两种方法 之间的主要差别在于后一种方法中智能主体可控制查询过程，并基于其内部逻辑 而非依赖于固定的查询函数引擎做出资源发现决定。 资源管理还必须考虑的问题是服务质量的支持。在网格计算环境中，服务质 1 1 电子科技大学硕士学位论文 量不仅仅限于网络带宽，还包括处理能力和存储能力等。服务的使用方和提供方 需要协商一个服务级协定s l a 来保证使用的服务满足s l a 。 2 2 2 执行调度 网格计算环境的强大能力最终需要由网格应用的运行性能来体现。为获得较 高的运行性能，需要有较为优化的资源调度策略，以便在应用和资源之间作出合 理匹配，并可在运行过程中动态调节。由于网格计算涉及各种不同类型的资源和 众多的参与者与协调者，因此资源调度是一个极其繁琐复杂的问题。除防止死锁 的最起码要求外，还需要考虑资源在时间和空间上的合理搭配，以达到更好的运 行效果。更为复杂的调度算法还要考虑不同应用的优先级和资源预留等问题。 根据侧重点的不同，网格计算环境中的调度可分为高性能计算调度和高吞吐 计算调度两种类型。高性能计算对响应时间特别敏感，而高吞吐计算更侧重于整 个系统的资源利用率。 高性能调度侧重于使应用在运行时获得最高的性能，通常可分为两个步骤： 第一步在空间上对计算和数据进行分配，包括为用户作业选择匹配的资源集和将 用户作业中的各个任务分派到这些资源中运行；第二步在时间上为计算和通信进 行排序，包括在不同的计算资源上为不同的任务进行排序，分配各自所占用的时 槽，同时为不同任务之间的通信进行排序。网格计算环境中的高性能调度算法可 参照传统高性能计算中的调度策略和技术，但更为复杂。一方面，任何一个调度 器都无法同时管理网格计算环境中的所有可用资源，而只能针对一定范围内的资 源。另一方面，由于同一时刻可能有多个应用竞争资源，这对性能影响很大。此 外，资源分为各种不同的类型，从而会展示出不同的性能特征，而且相同类型的 资源由于共享等原因所展示的性能也会随时间而变化。 高吞吐率系统支持容错性、可扩展性以及可移植性。提供容错性是为了使系 统的服务失效时间最小化，当发生故障时尽快恢复系统的正常运转。可扩展性则 使得系统可以增加更多的资源。为提高资源的利用率，在作业运行过程中可能需 要在不同计算资源之间动态地迁移相应的任务并通过保存的快照恢复其运行状 态，这就需要支持可移植性。高吞吐率计算领域的典型研究是c o n d o r 3 2 。它解 决了服务提供者和使用者对各自需求的表示和匹配问题。c o n d o r 提供公告 ( a d v e f l i s i n g ) 机制，使得提供者和使用者可明确表达自身的属性和对对方的要求； 提供匹配( m a t c h m a k i n g ) 机制以寻找彼自需求最接近的提供者和使用者；提供声 第二章网格技术 明( c l a i m i n g ) 机制完成资源的实际分配。 2 2 3 信息服务 在网格环境下，网格的使用者和网格以及网格内部服务的调用者和服务的提 供者之间，构成了信息的消费者和提供者对。它们之间通过交换信息的方式达到 交流和沟通。其中，网格的信息包括网格的基本信息、各种事件的触发信息、各 种服务的描述信息以及调用服务的返回信息。这些信息如何及时、准确的传递和 表示，是网格信息服务需要解决的问题。 此外，为了提高不同应用程序或者系统的性能，常常需要获取其运行状态下 的相关性能数据，这样通过对这些性能数据的分析，就可以设法提高下次程序运 行时的效率，或者为系统调度提供指导，或者使应用系统的运行过程通过动态调 整来提高性能。这就是性能数据的收集和分析的意义所在。 最常见的获取性能数据的源泉包括运行的程序、操作系统、处理器以及网络 等。好的性能收集工具应该能够从各个地方和各个环节获取相关的性能数据。有 时候性能数据的获取并不是十分容易，在有些情况下性能数据的获取是在特定的 硬件支持下才可以实现的。在进行性能数据采集时，时钟的分辨率、访问延迟以 及多节点同步对数据采集的结果影响较大。 除了收集，性能数据的表示对于采集数据的时间有效性、需要的存储空间以 及可能采取的分析类型有重要的影响。在一定的误差范围内，工具的使用者对性 能数据是如何获取的并不关心，即数据获取的细节对于他们来说并没有多少意义。 因此，对软件和硬件以及网络等进行抽象就具有现实的意义，以便于工具使用者 在更高的抽象级剐对性能数据的理解。 对于得到的性能数据，需要进行各种分析，包括定量分析、自动性能诊断、 扰动分析等。但是性能数据收集和分析的主要挑战就在于数据可视以及建立与源 代码的关联。由于现在的硬件集成和编译转换技术，常常是性能数据很难和最开 始的源码建立关联，这是性能数据分析遇到的一个重要障碍。关于在网格环境收 集性能数据一个需要注意的问题是，在提供性能数据的同时，必须为应用程序和 主机提供保障。网格性能数据一般数据量庞大且关系复杂，在分析的基础上，借 助可视化技术，可以清楚的展示这些数据所代表的意义。因此，性能数据的可视 化也是网格中的一项重要技术。 以上信息的发布、收集和表示共同构成了网格信息服务，它也是网格给我们 电子科技大学硕士学位论文 最直观的感觉，是人机的交互界面。 2 2 4 网格安全 在网格环境中，不同网格结点间的通信是通过i n t e m e t 来完成的。因此，网 格环境是建立在i n t e r n e t 安全的基础上