（计算机应用技术专业论文）网格环境中资源发现机制的研究.pdf

山东大学硕士学位论文 摘要 随着高性能需求的不断发展，单台高性能计算机已经不能胜任一些超大规模 应用问题的解决。这就需要将地理上分布的、异构的多种资源通过高速网络连接 起束，实现计算资源、存储资源、信息资源、知识资源的全面共享，消除信息“孤 岛”，共同解决大型应用问题。 。在传统的单计算机和机群系统中，资源的分布比较集中，在应用使用资源之 前，可以快速、可靠的进行资源搜索定位，资源发现对应用性能的影响很小。而 网格计算中，出于资源的广域分布以及现有的i n t e m e t 存在的带宽和延迟限制以 及网络的不可靠性，广域范围内的资源发现将在很大程度上影响计算的性能，因 此网格中资源发现功能的强弱，直接决定了网格的利用率和友好程度。 论文首先对现有的网格资源发现模型进行了分析。然后将网格技术与正在兴 起的p 2 p 技术相结合，设计了一个不依赖集中控制、分布式、可扩展、自组织、 能适应资源动念变化、高效的资源发现模型，使c s 模式与p 2 p 模式并存，既考虑 了网格资源的各种特点，又利用了p 2 p 网络的特点及其高效的资源搜索技术从而 殳好的实现资源的共享。 网格资源发现中涉及的几个方丽有资源描述、资源信息的存储和维护、资源 查询、查询消息的传播等等。本文对它们进行了有益的研究探讨。在资源描述中， 为了进行有效的远程资源发现，我们采用抽象的对等点i d 的方法柬标识对等点， 这样在进行发现的时候，对等点i d 就可以与对等点的物理位置分离；同时定义了 a d v e r t i s e m e n t 使得对等点可以彼此响应。模型中每个集合点只需存储和维护在其 上发布的资源信息以及它所知道的其它节点信息，体现了维护的分散性和自治 性。资源查询中考虑到现实中存在幂律现象即局部性原理，采用 f l o o d i n g 的改 进算法一多级缓存( m u l t i c a c h e ) 方法，提高了资源的搜索效率。为了确保查询 消息在进行完整处理之前是存活的、未处理过的而且是非循环的，使用了r r l 存 活时间参数、复制测试参数、循环参数来进行传播控制。 但是模型的设计是一个比较复杂和庞大的问题，由于时间和客观实践环境等 原因，论文只对虚拟网络的建立和对等点发现进行了初步设计实现，许多功能还 未能实现，有的技术还停留在理论研究阶段，有待迸一步研究完善。 山东大学硕士学位论文 关键词：网格；对等网络：元计算目录服务；织女星网格；幂律 i l 山东大学硕士学位论文 a b s t r a c t w i t ht h ei n c r e a s eo ft h e r e q u i r e m e n to ft h e1 1 i g h - p e f f o r m a n c e as i n g l e h i g h p e r f o r m a n c ec o m p u t e ri s n tc o m p e t e n tt os e t t l ep r o b l e m sa b o u tt h es u p e r l a r g e s c a l e s og e o g r a p h i c a l l yd i s t r i b u t e da n dh e t e r o g e n e o u sr e s o u r c e sl i n k e dt h r o u g h ah i g hs p e e dn e t w o r ka r cn e e d e dt or e a l i z et h eo v e r a l ls h a r i n go ft h er e s o u r c e s ， i n c l u d i n gc a l c u l a t i n gr e s o u r c e ，s t o r i n gr e s o u r c e ，i n f o r m a t i o nr e s o u r c e s ，k n o w l e d g e r e s o u r c ea n ds oo n ，d i s p e l ”d e t a c h e di s l a n d ”o fi n f o r m a t i o n ，a n ds o l v et h el a r g e s c a l e p r o b l e mt o g e t h e r i nt h et r a d i t i o n a l s i n g l ec o m p u t e ra n da i r m a d as y s t e m ，t h ed i s t r i b u t i o no f r e s o u r c e si sc e n t r a l i z e d b e f o r et h e ya 糟u s e d t h e s er e s o u r c e sa r el o c a t e df a s ta n d r e l i a b l ya n dt h ei n f l u e n c eo fr e s o u r c ed i s c o v e r yt ot h ep e r f o r m a n c eo fa p p l i c a t i o ni s s m a l l b u ti ng r i dc o m p u t i n g , b e c a u s eo f w i d ed i s t r i b u t eo f r e s o u r c e sa n dt h ee x i s t i n g t h el i m i to f b a n d w i d t ha n dd e l a ya n du n r e l i a b i l i t yo f n e t w o r ki nc u r r e n ti n t e r a c t ，t h e d i s c o v e r yo fr e s o u r c e si nt h ew i d ea r e ar a n g ew i l li n f l u e n c et h ec o m p u t i n g p e r f o r m a n c et oag r e a te x t e n t , t h e r e f o r et h ep o w e ro fr e s o u r c e sd i s c o v e r yh a s d e t e r m i n e du s ef a c t o ra n df r i e n d l yd e g r e ed i r e c t l yi ng r i d f i r s t l yt h et h e s i sh a sd i s c u s s e dt h ec h a r a c t e r i s t i ca n dt h ed e v e l o p m e n tt r e n do f t h eg r i da n da n a l y z e ds o m ee x i s t i n g 鲥dr e s o u r c e sd i s c o v e r ym o d e l s t h e nt h e 舒d t e c h n o l o g ya n dt h e p 2 pt e c h n o l o g ya r ec o m b i n e dt o p r o p o s e o n er e l yo n u n - c e n t r a l i z e dc o n t r o l ，d i s t r i b u t e d ，e x p a n d ，s e l f - o r g a n i z e d ，a n dm e e tt h ed y n a m i c c h a n g eo fr e s o u r c e ，a n dh i g h - e f f i c i e n tr e s o u r c e sd i s c o v e r ym o d e l a n dt h i sm o d e l c o m b i n e sc sp a u e mw i mp 2 pp a r e r n , n o to n l yv a r i o u sk i n d so fc h a r a c t e r i s t i c so f g r i dr e s o u r c e sa r ec o n s i d e r e d ，b u ta l s ot h ep 2 pc h a r a c t e r i s t i ca n dh i g h e f f i c i e n t r e s o u r c es e a r c ht e c h n o l o g ya r eu t i l i z e d ，t h u sf i n er e a l i z et h es h a r i n go f r e s o u r c e r e s o u r c ed i s c o v e r yi n c l u d e st h ek e yt e c h n o l o g i e sa b o u tr e s o u r c ed e s c r i b e ， s t o r a g ea n dm a i n t e n a n c eo fl - e s 0 1 u c ei n f o r m a t i o n , r e s o u r c eq u e r y , a n dt h es p r e a do f q u e r ym e s s a g e ，e t c t h i st h e s i sh a sd i s c u s s e dt h e s et e c h n o l o g i e sa n dr e s e a r c h e dt h e m f a r t h e r i nr e s o u r c e sd e s c r i b e ，i no r d e rt ol o c a t e dr e m o t er e s o u r c e se f f e c t i v e l y , w eu s e 1 1 1 山东大学硕士学位论文 p e e ri d e n t i f i c a t i o nw i t ho n l yi d i nt h i sw a y , p e e ri dc a l ls e p a r a t ef r o mi t sp h y s i c a l l o c a t i o na sd i s c o v e r i n g ；p e e r sc a r lr e s p o n de a c ho t h e rb yd e f i n ea d v e r t i s e m e n t a n di n t h em o d e le v e r yr e n d e z v o u sp e e rm a i n t a i n st h o s er e s o u r c e st h a tp u b l i s h e di ni ta n d o t h e rp e e r st h a ti tk n o w s t h i se m b o d i e st h ed e c e n t r a l i z a t i o na n da u t o n o m yo f m a i n t e n a n c e r e s o u r c eq u e r yc o n s i d e re x p o n e n t i a ll a wp h e n o m e n o n ( i e 1 0 c a l i t y p r i n c i p l e ) i nr e a l i t y , s ow ea d o p tt h ei m p r o v e m e n ta l g o r i t h mo ff l o o d i n g ，t h em e t h o d o fm u l t i c a c h e ( m c ) ，w h i c hi m p r o v e dt h es e a r c he f f i c i e n c yo fr e s o u r c e s t o g u a r a n t e et h el i v e u n s e t t l e da n dn o n - c i r c u l a t eb e f o r ed e a l i n gw i t hi n t a c t l yu s i n gr r l l i f et i m ep a r a m e t e r , d u p l i c a t et e s tp a r a m e t e r , c i r c u l a t i o np a r a m e t e rt oc o n t r o lt h e s p r e a do f m e s s a g e t h ed e s i g no ft h em o d e li sac o m p l i c a t e da n db i gp r o b l e m b e c a u s eo ft h e r e a s o n s ，f o re x a m p l et i m ea n do b j e c t i v ep r a c t i c ee n v i r o n m e n t ，e r e i nt h et h e s i st h e r e a l i z a t i o ni n v o l v e dt h ec o n n e c t i o n sa n dd i s c o v e r yo fp e e r s al o to ff u n c t i o n so ft h e m o d e ls t i l lf a i lt or e a l i z e ，s o m et e c h n o l o g ys t i l lr e m a i n sa tt h e o r e t i c a lr e s e a r c hs t a g e ， r e m a i nt os t u d ya n dp e r f e c tf u r t h e r k e yw o r d s ：g r i d ，p 2 p , m d s ，v i r d ，e x p o n e n t i a ll a w 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：堑竖渣 日期：丛! 生 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者名：触导师签名： 圣茎丑 山东大学硕士学位论文 1 1 课题背景与意义 第一章前言 随着互联网技术的迅速发展和应用以及高性能计算技术的不断发展，单台 高性能计算机系统已难以胜任某些超大规模计算问题的求解。这就需要将地理 上广域分布、系统异构的多种计算资源通过高性能网络互连起来，共同求解大 型应用问题，即广域高性能元计算技术( m e t a e o m p u t i n g ) ，亦即网格计算 t l 技术。 如果说i n t e r n e t 提供的是四通八达的信息高速公路，而网络提供的则是 i n t e r n e t 上琳琅满目的资源与服务超市。随着广域分布的资源之间的共享和协 同需求的逐步增加，网格作为一种建立在互联网之上的新一代基础设施，已成 为近年束分布式系统领域中一个研究热点，在国内外学术界和工业界引起了广 泛关注。国外的网格计算研究最早从2 0 世纪9 0 年代初开始，而国内大概在2 0 0 0 年左右丌始这方面的研究。目前国家已将网格研究列入“8 6 3 计划”，可见国 家对网格研究的重视。 与此同时，p 2 p ( p e e r - 2 p e e r ) 技术币在复兴【2 i 。早在上世纪九十年代初期， c s 模式就成为网络计算中最流行的模式，信息和数掘都保存在服务器端，为 下载特定的文档，客户机需要先定位一个j 下确的服务器，然后向该服务器发送 对文档的请求并取得返回结果。在这种模式下，服务器及网络的带宽决定网络 的性能。每台服务器所能提供的信息数量受到自身存储空间的限制，而任意时 刻它所支持的客户端访问数量既受到自身处理能力的限制，也受到服务器所在 网络吞吐能力的限制。9 0 年代后期，虽然网络带宽成倍增长，但是一些热门站 点仍然不堪重负，与此同时p c 机的性能在速度和处理能力上按照摩尔定律在 飞速增长，但增加的计算能力并未被充分挖掘，空闲的链路带宽也被白白浪费 掉。于是人们丌始意识到可以将服务器软件放在单独的p c 机上，而且可以在 p c 机之间初始化全双工的信息流，从而导致了p 2 p 技术的兴起。 网格与p 2 p 网络有相同的目标即实现资源的共享，而要实现资源的高度共 享，关键是要实现资源发现。资源发现机制是关系到广域分布式环境中资源共 享和协同工作效率的关键，在网格技术、w e b 服务和p 2 p 技术中，都在对这个 山东大学硕士学位论文 问题进行深入研究。 网格的最终目的就是使人们可以无缝的集成广域资源来合作解决问题，实 现资源的高度共享，消除信息“孤岛”。而要实现资源的共享前提条件就是要找 到资源，办即资源发现。在网格计算中，由于资源分布广、数量大、动态变化、 异构等特点，资源提供者使用的操作系统不同、资源所属的管理域不同、平台 独立的应用程序之间可移植性差等问题，以及现有的i n t e r n e t 存在的带宽和延 迟限制以及网络的不可靠性，使得广域范围内的资源发现在很大程度上影响网 络的性能。 当前已有的资源发现模型如g l o b u s 的m d s 3 1 【4 l ( m e t a c o m p u t i n gd i r e c t o r y s e r v i c e ) 、v e g a 的v i r d l 5 l ( v e g a i n f r a s t r u c t u r cf o rr e s o u r c ed i s c o v e r y ) 等，在 一定程度上实现了网格环境中资源的发现，但存在一个普遍的问题即资源发现 效率低，从而降低了网格的性能。因此需要研究一种新的资源发现性能好，效 率高的资源发现模型，以提高整个网格资源的共享度。 1 2 本文的工作 本课题研究的网格与p 2 p 技术结合的资源发现机制，既考虑了网格资源的 各种特点，又利用了p 2 p 网络的结构特点和高效的资源搜索技术，它不依赖集 中控制、分布式、可扩展、自组织、能适应资源动态变化，提高了资源发现的 效率，从而更好的实现了网格资源的共享。 为了真币实现课题的研究意义，实现网络资源的高度共享，课题的开发设 计需要给出模型的网络结构，并完成以下关键技术：资源描述、资源信息的存 储和维护、资源查询、查询消息的传播等等。资源描述对网格中资源的类型、 属性、位置信息、所属组织等进行描述，资源描述的好坏会影响资源查询的效 率；网格中的资源分布广、数量大且动态可变可以自由的加入或离开网格，因 而需要对网格中的资源进行有效的组织维护；资源查询影响资源发现的性能， 找到一种适合的查询方法，在最短的时间内找到最合适的资源提供者是资源发 现机制的关键；查询消息传播参数的研究也至关重要，网络在对消息进行完整 处理之前必须确认消息是存活的、未处理过的而且是非循环的。本文围绕模型 2 山东大学硕士学位论文 及实现中涉及的关键技术进行探讨，文章的具体组织如下； 第一章前言讨论了课题的背景、研究意义和任务； 第二章分析了网格技术兴起的原因、网格技术的特点及发展现状和趋势； 讨论了网格中资源的特点、资源发现的研究意义，对现有的几个资 源发现模型进行了介绍和分析，找出了不足。 第三章与p 2 p 技术相结合，提出了一种新的网格资源发现模型。对这个模 型进行分析，并对发现过程中涉及到的关键技术进行了研究探讨； 该模型的优点是不依赖集中控制、分布式、可扩展、自组织、能适 应资源动态变化，且利用了p 2 p 网络在资源搜索方面的优势，提高 了资源发现的效率。并对发现所涉及的关键方面如资源描述、资源 查询等进行了探讨。 第四章对上章提出的模型机制中的网格本地资源发现及远程资源发现进 行了初步分析和实现。 第血章对全文进行了总结并发展前景进行了讨论。 山东大学硕士学位论文 第二章网格及其资源发现技术综述 2 1 网格技术综述 2 1 1 网格的需求、概念及特点 1 网格需求即为什么需要网格，其原因主要有： ( 1 ) 随着人们求解问题领域的不断拓展，所遇到的问题也越来越复杂，而且规模 也越束越大，解决问题所需要的计算能力也在大幅度提高。因而通过计算柬 解决问题已经成为一种重要的甚至是不可替代的解决问题的方法和工具，计 算在问题求解中的重要地位，为网格这种主要以提供计算能力为特征的基础 设施的出现奠定了基础。 ( 2 ) 网络和计算机等相关技术的发展为网格的出现奠定了基础，可以满足网格的 要求。每一个发展过程都大大提高了计算机的普及程度和计算机的性能，扩 大了网络的覆盏范围，提高了网络速度和带宽等等。 ( 3 ) 网格可以有非常广泛的应用领域，一旦建立起了网格，就可以展丌许多以| j 无法进行的工作和研究。比如：分和式超级计算、数掘密集型技术等。网格 是一种面向问题和应用的技术，随着网格技术的不断完善和应用领域的不断 扩展，网格可以在更多的领域得到应用，发挥更大的作用。 ( 4 ) 网格有十分广大的潜在用户群。这些用户群几乎涉及所有的领域，从尖端的 科研到r 常的生活，几乎各种人群都可以利用网格来解决他们所面临的各种 问题。进一步可以说，不同的国家乃至世界都需要网格。正如互联网的发 展一样，网格的发展不会局限在一个国家的范围内。 网格是永久性的基础设施，且网格具有很大的发展潜力，开发网格技术，建 设网格，发展网格，已经成为学术界、工业界以及政府部门的共识。 2 网格的概念 网格【】是通过网络将广域范围内的各类计算资源( 包括p c 机、集群等) 、 通信资源、数据资源、存储设备、仪器设备及其他各类设备统一组织管理，形 成一个可相互利用、相互合作、对用户相对透明的高性能计算与资源环境。这 4 山东大学硕士学位论文 r o l li1 罩给出的网格的概念是相对抽象的，而且是广义的定义；狭义的网格一般被称 为计算网格( c o m p u t i n g 画d ) ，即主要用于解决科学与工程计算问题的网格。 网格是借鉴电力网( e l e c 仃i cp o m 舒d ) 的概念提出来的。它与电力网的运 行有相似之处。我们在使用电力的时候，并不需要知道电源是从何而束，不知 道它是哪个变电所。也不知道它是哪个电厂。更不必知道是火屯、水电还是核 电只要与电力网连接就可以使用它。网格也希望能向电力网那样为用户提供 问题求解( 狭义为计算) 的能力，用户只要把他的个人电脑插入网格，就可以 使用网格中的计算资源、存储资源、信息资源等等，应用中与这些资源的地理 位胃、产品型号及平台无关，网格会自动根据用户的要求选择合适的资源进行 处理。网格与电力网相比，结孛句更复杂，需要解决的问题也更多。网格与电力 网的简单对比如图2 i 所示： 随山色 ) ， 山( 地 c ， 基山地 b 妆力地 d ) 嗒( 固) 也山 刮辟司阿 ( a ) 也力阿构成示意| 玺i( b ) 礴格组成示惫瞄 图2 1 网格与电力阿的简单对比 网格是一个新出现的概念，代表了种先进的技术和基础设施，是继 i n t e r n e t 之后又一次重大的科技进步。网格应该是面向问题的，根掘求解问题的 特点，人们提出了多种名称的网格，比如以数据密集型问题的处理为核心的数 据网格，以解决科学问题为核心的科学网格等等。此外还有军事网格、地震网 格等行业网格。随着人们解决问题的重点的变化，网格的概念也必然会产生转 变，问题求解片是网格的晟终目标。 3 网格的特点 网格作为一种新出现的重要的基础性设施，有一些重要特点，只有了解了 山东大学硕士学位论文 这些特点，才能更好的认识和把我好网格的研究、应用和丌发。 ( 1 ) 分布与共享 分靠性是网格的一个最主要的特点，网格的分布性首先是指网格的资源是 分佰的。组成网格的计算能力不同的计算机，各种类型的数掘库乃至电子图书 馆，以及其他的各种设备与资源，是分布在地理位置互不相同的多个地方，而 不是集中在一起的。在网格这一分布式环境下，需要解决资源与任务的分配和 调度问题、安全传输和通信问题、实时性保障问题、人与系统之间的交互问题 等等。如图2 2 所示，一个问题的求解需要从a 和b 两个不同的地方获得数据， 然后将这些数掘送到专门的机构c 进行数据的分析和处理，对于处理后的结果 需要进一步在d 处通过实验进行验证，并利用e 处的高级可视化设备进行结果 显示，而问题最终得到的结果可能是在f 处进行公布，这六个地方有可能相距 千晕之遥，有时候还需要一些移动设备的介入，这些都说明了网格的分枢性特 征。广1 厂1 l 垒墼塑坚篓卜、广- 州里壅丝竺兰卜n _ 网灿塑鲥岖丽两卫塑划 图2 2 网格的分稚性 网格的资源虽然是分布的，但是它们确可以充分共享。共享是网格的目的， 没有共享便没有网格，解决分布资源的共享问题是网格的核心内容。分布是网 格硬件在物理上的特征，而共享则是网格软件支持下实现的逻辑上的特征。 ( 2 ) 自相似性 网格的局部和整体之间存在着一定的相似性，局部往往在许多地方具有全 局的某些特征，而全局的特征在局部也有一定的体现。如图2 3 所示： | 国家实验室i- 1 省级实验室 i 一国家计算中心i一省级计算中心i 国 家 _ 一省级子网格 p一市、县级子网格l 网 格叫国家主干网i一省级主干网 一奠他 i一萁他f 图2 3 网格的自相似性 6 山东大学硕士学位论文 国家级的网格是在省一级的网格基础上建立起来的，国家级主干网需要有 更大的带宽。只有这样才可以将不同省份的子网格连接起来提供满意的通信服 务；国家级和省级网格都会有各自的计算中心，只不过在计算能力上有差异而 已：它们也都需要管理结点，只不过国家级的管理结点管理功能需要更多、更 强大而己。 ( 3 ) 动态性和多样性 网格的动态性包括动态增加和动态减少。原来拥有的资源在下一时刻可能 会出现故障无法使用：而原来没有的资源，可能随着时间的推移会不断的加入 网格。对于网格资源动态减少或者资源出现故障的情况，要求网格能够及时采 取措施，实现任务的自动迁移，做到对高层用户透明或者尽可能减少用户损失； 而对于网格资源动态增加的情况则需要提高网格的扩展性，也就是说在网格的 设计与实现时，必须考虑到新的资源能否很自然的加入到网格中来，并且可以 和原来的资源融和在一起，共同发挥作用。网格的扩展性体现在规模、能力、 兼容性等方面。 网格资源是异构和多样的。在网格环境中可以有不同体系结构的计算机系 统和类别不同的资源，因此网格系统必须能够解决这些不同结构、不同类别资 源之自j 的通信和互操作问题。正是因为资源异构性或多样性的存在，为网格的 设计提出了更大的挑战。 ( 4 ) 自治性与管理的多重性 网格的自治性是指网格资源的拥有者对该资源具有最高级别的管理权限， 网格应该允许资源拥有者对他的资源有自主的管理能力。同时网格资源也必须 接收网格的统一管理，否则不同的资源就无法建立相互之间的联系，无法实现 共享和互操作，无法为作为一个整体为更多的用户提供方便的服务。因此网格 的管理具有多重性。 网格提供了以日茸无法得到的，而且也是不能够通过其他方式得到的计算能 力，突破了以往强加在计算资源之上的种种限制，比如计算能力大小的限制、 地理位置的限制、传统的共享和协作方面的限制等等，使人们可以以一种全新 的、更自由、更方便的方式使用计算资源，解决更复杂的问题。 山东大学硕士学位论文 2 1 2l i z j 格需要解决的问题 为了促进网格计算的广泛应用，实现让用户随心所欲地共享网格计算中的 各种资源，还必须解决以下问题： 1 ) 异构性：由于网格由分布在广域网上不同管理域的各种计算资源组成，怎 样实现异构机器间的合作和转换是首要问题。 2 ) 可扩展性：要在网格资源规模不断扩大、应用不断增长的情况下，不降低 性能。 3 ) 动念自适应性：在网格计算中，某一资源出现故障或失败的可能性较高， 资源管理必须能动态监视和管理网格资源，从可利用的资源中选取最佳资源服 务。自动故障检测和恢复对于任何网格软件来说都是必须解决的关键问题。当 把3 0 4 0 个节点连接在一起，有可能每2 4 小时就会面临一次故障。必须考虑新 的办法来处理故障，不能简单地依赖于提高冗余程度。 4 ) 安全性：由于_ 玎= 放了网络，提供了更多的工具和访问权限，必须确保它的 安全性，安全机制应该嵌入到网格软件中最核心的层次上。包括登录认证、访问 控制、可信赖、完整性和记账等方面的安全性，安全是网格计算的难点。也是系 统成败的关键。目i ； 各企业为大学或公司内部建设的网格都只提供单纯的技术 方案，供学术研究或内部使用，而与其他网格连接以形成计算能力更强大的共享 网格，则要冒很大的风险。 5 ) 高带宽需求：有限的网络带宽满足不了网格计算技术的数据传输速率要 求，这就限制了适合在网格上运行的应用类型，应提高现有网络的带宽以更好的 发挥网格计算的优势 6 ) 人机通信的问题：必须提供丰富的用户接口和编程环境，提供最常用的语 言，如c 、c + 十、f o r t r a n 、m p i 、p v m 以及分布式共享存储器和一些函数库等；提 供直观的用户访闯接口，包括w e b 方式，使用户可以在任何位置，任何平台上使 用系统资源。 7 ) 知识产权问题：在网格中很多被共享的数据都存在知识产权问题，如何保 护知识产权也是一个需要解决的问题。 8 ) 协议和服务标准：迄今为止，网格计算还没有正式的标准。在核心技术上， 8 山东大学硕士学位论文 现在比较普遍的是采用由美国a r g o n n e 国家实验室与南加州大学信息科学学院 合作丌发的g l o b u st o o l k i t 6 。g l o b u st o o l k i t 是一种开放架构和开放标准基 础设施，它提供了构建网格应用所需的很多基本服务，如资源发现、资源管理、 数据访问、安全等。i b m 、微软，s u n 等厂商已宣布将支持g l o b u st o o l k i t 。 2 1 3 网格的关键技术 网格问题是以分布为基础的，广泛、方便、灵活，可以支持大规模、大粒 度、大范围的资源共享问题，为解决这些问题而出现的技术就是网格技术。网 格技术是推动网格前进的主要力量，大致分为网格应用技术、网格核心服务技 术以及构建网格基础的网格底层支撑技术。网格的应用分为四个主要的部分， 分别是：分布式超级计算应用、实时广域分布式仪器系统、数据密集型计算以 及远程沉浸等。今后随着网格技术的发展，网格应用领域将会更广。我们主要 介绍网格的核心技术。 网格核心服务技术是连接网格底层与高层功能的纽带，是协调整个网格系 统有效运转的中枢，对这部分网格技术的研究具有重要的意义。核心服务技术 主要包括： 。1 资源管理技术 面对网格资源分布广、异构等特点，如何对网格计算环境中的资源进行管 理是实现高性能联合计算，共同完成重大应用问题的关键。目前，国际上许多 著名的网格系统采用的资源管理体系结构模型明大致归纳为：较好的解决了网 格计算环境给资源管理所带来的一些挑战性问题如：站点的自治性、底层的异 构性、以及联合分配等问题的分层模型；在资源共享过程中遵循类似于快餐店 的订购与交货模式，有资源经纪人( 抽象所有者) 代表资源所有者与用户进行 交互和协商的抽象所有者模型；以及应用市场经济中的供求原则对资源的所有 者和使用者进行调节以保证双方均获取最大利益的计算经济模型。 虽然有的网格系统使用相同的体系结构模型，但是在具体的资源管理实现 和任务调度方面却各不相同。已经出现这些各种网格系统都只提供了其中的一 部分，或对某些功能只是在一定程度上给予支持，资源管理中有些问题仍有待 解决，比如：( 1 ) 各个节点的资源管理软件未必是相同的。这就要求我们能实现 9 山东大学硕士学位论文 各个本地资源管理系统之间的互操作性。( 2 ) 针对资源的不同使用。应该有不同 的管理策略。例如作业运行优先缴应该考虑到它的付费信息。( 3 ) 连接有可能很 慢，有时某些节点甚至不能到达。应该避免由于单个节点的失效使整个系统收 到阻碍。( 4 ) 为了实现负载平衡，要将运行着的作业进行迁移等。 资源管理中涉及的关键技术主要包括资源信息收集、资源信息更新、资源 发现、资源调度、资源分配资源定位、资源迁移、资源预约等。 2 高性能调度技术 如何使运行于网格之上的应用既能共享网格中的资源又能获得最大的性 能，是调度需要解决的问题。任何一个网格调度器都无法对所有的网格资源进 行管理，而只能是针对一定范围内的网格资源。网格资源是动态变化的，因此 网格的调度，需要建立随时间变化的性能预测模型，充分利用网格的动态信息 来表示网格性能的波动，而且网格的异构性和多样性决定了网格的调度必须考 虑到多种多样的环境和条件。另外，在网格调度中还存在着移植性、扩展性、 效率、可重复性以及网格调度和本地调度的结合等需要解决的问题。 3 资源监控技术 通过监控可以及时发现产生故障的主机，分析系统性能瓶颈，帮助用户在 最短时问内t 狄复或调整系统，监控数掘还用来预测系统运行的轨迹，为网格动 态负载均衡策略提供可靠的依据。相比目前的i n t e m e t 网，网格覆盖了更多的资 源，各个节点联系更加紧密，整体拓扑更为有序。这些特征对资源监控提出了 新的要求，需要有新的监控工具与之适应。当前的网格监控体系结构( g r i d m o n i t o r i n 2a w h i t e c t u r cg m a l 8 1 ) 。它的主要贡献是p r o d u c e c o n s u m e r 模型和 e v e n v s u b s c r i b e 的数据传送方式。但是它还不成熟，没有考虑未来的需求，有关 的实现仍不完整。 4 性能数据收集、分析与可视化技术 在网格环境下，为了提高不同应用或者系统的性能，常常需要获取其运行 状念下的相关性能数据，这样通过对这些性能数据的分析，就可以设法提高下 次程序运行的效率，或者为系统调度提供指导，或者使应用系统的运行过程通 过动态调整来提高性能。性能数据的收集、分析、可视化，是三个密切相关的 环节，而且这三个环节应该和网格的动态运行过程建立良好的联系，准确反映 1 0 山东大学硕士学位论文 网格的运行状况。 5 网格安全技术 网格安全包括的内容非常广泛，比如认证、授权、保证、记账、审计、完 整性、机密性等，在网格的各个部分都涉及到安全技术。 2 1 4 网格技术的研究现状及发展趋势 网格一词最早出现在2 0 世纪9 0 年代中期，而网格计算的概念则是在1 9 9 5 年的i - w a y 项目中被提出。网格概念是在问题和应用的推动下不断发展、丰富 和完善的。 在国外的网格计算项目很多。总结国外的网格计算研究项目，可以发现， 一些通用的网格技术研究和项目有：a c c e s sg r i d 、c o n d o r 、e c o o r i d 、g l o b u s l 6 1 、 l e g i o n l 9 1 ，n m i ( n s fm i d d l e w a r ei n i t i a t i v e ) 、s i n r g 、p o l d e r 、m o l ；一些网 格应用和有a p p l e s 、c a c t u s 计算工具包、c a v e r n s o f t 、g r a d s 网格应用丌发 软件、n e o s 、n e t s o l v e 们、n i m r o d g l ”】、p u n c h ；还有一些商业界在网格 计算方面的努力，包括a v a k i 、e n t r o p i a 、g r i d w a r e 、i n s o r s ；以及同本的n i n f i 佗1 项目。 在国内，网格计算j 下处于快速发展时期，主要有中科院牵头的“国家高性 能计算环境( n a t i o n a lh i 【g hp e r f o r m a n c ec o m p u t i n ge n v i r o n m e n t , n h p c e ) ”项目， n h p c e 的长期目标是提高计算网格系统的性能、可扩展性及可用性；另一个重 要的项目是由清华大学牵头，由教育部支持的重点项目“先进计算基础设施北 京上海试点工程”，其目的是建立一个主要为教育系统各单位提高资源共享的科 研、培训等高性能计算基础设施，实现跨学科、跨地域合作与人才培养；目前 网格研究已经列入“8 6 3 计划”。这些都说明了我国对网格计算研究的重视。 不难看出，目前国内外在网格计算方面的研究十分活跃，研究范围跨度很 大，呈现以下趋势： 网格计算标准化的呼声越来越高，目的就是为了规范和统一现在大量 的网格计算研究，g l o b u s 在一定程度上成为事实的标准： 专业网格的研究与开发成为一个重要的方向，因为网格是面向具体问 题的应用，而专用网格在这一方面具有独特的优势，可以为通用网格 山东大学硕士学位论文 技术提出最直接最具体的需求： 丌发的面向w e bs e r v i c e 的框架结构和与工商业界应用的结合是网格 技术研究的一个重要趋势，原来的网格计算主要集中在科学计算等学 术领域，而目前正在走向实用并与市场结合，直接服务于生产和各种 商业活动。 2 2 网格资源发现技术综述 2 2 1 网格资源及资源发现的概念 网格资源指所有能够通过网格远程使用的实体。这些资源是可以在一段时 日j 内使用的可更新或不可更新的东西。它们的所有者独占或与其他人共享资源， 也呵能向他们收费。资源可能被清晰地定义或用参数描述。网格中的资源包括 计算资源、存储资源、通信资源、软件资源、信息资源、知识资源、外部设备 等，具体如超级计算机、海量存储器、仪器设备、应用软件、数掘库等等。 网格的资源有以下特点： 1 分斫j 性：资源的地理分邪极广，分散在各个不同的地域和管理域中，资源 之f b j 以及资源与客户以及客户之间往往通过广域网( 如i n t e r a c t ) 连接； 2 异构性：资源类型和数量巨大，功能备异，访问接口不尽相同，而且要求 一定程度的协同工作，因为很多应用需要同时使用多个站点上的资源； 3 动态性：资源是动念变化的( 包括资源属性的变化) ，资源可以动态的加入 和离丌网格，网格资源的可获得性是随时间的变化而动态变化的，而且网 格资源的负载也是动态交化的。 4 自治性：资源工作在异构平台上，由不同的组织拥有和操作，并且在使用 策略、共享规则和安全机制上各不相同； 5 二分性：网格资源最终都是由具体的资源拥有者提供的，除了一部分专用 的网格资源是专门提供给网格用户使用的之外，大部分的资源都同时作为 网格用户可以使用的资源和资源拥有者自己使用的本地资源。 资源发现足根抛资源请求者的资源请求描述，从网格上为请求者找到满足 请求描述要求的合适资源的过程。资源发现可以形式化地描述为一个函数： 山东大学硕士学位论文 s d 可( s 。) ：该函数的输入变量足资源需求，输出变量足一个资源的唯一 标识符。函数，是资源发现功能的表示【1 3 】 网格系统本质上是一个基础设施，它允许位置无关的资源和服务获取，这 些资源和服务是由地理上分都的机器和网络提供的。支持这种位置无关计算的 一个摹奉操作就是资源发现。资源发现将网格中不被用户所知道的资源和请求 使用资源的用户联系起来。资源发现功能的强弱直接决定了网格的使用效率和 友蚵程度。 2 2 2 网格资源发现面临的挑战 i 存在的大量资源和用户( 可能几百万个) ： 2 异构的资源类型和用厂1 请求： 3 最大的问题足虚拟组织( v o ) 随时h j 的发展变化。比如组织成员的加入和 离丌( 伴随着资源和用户的增删) 、成员可共享资源的改变等等； 集成广域资源来合作解决问题，实现资源的高度共享是网格的最终目标。 面刘网格资源分和广、数量大、动态性、异构等特点，如何有效的进行资源发 现足实现高性能联合计算，共同完成重大应用问题的关键。在这样的环境中， 需要一种不依赖于集中控制的、分御式、可扩展、能适应资源动态变化并且定 位性能好的资源发现机制 2 2 3 现有的网格资源发现模型分析 i 元计算目录服务( m d s ) m d s 【1 4 l 【1 5 l ( m e t a c o m p u t i n gd i r e c t o r ys e r v i c e ) 是g l o b u s 项目组提出的一种 基于网格计算环境的动态可扩展的信息服务框架。它负责完成网格环境中资源 信息的发现、描述、监控和更新。提供对网格计算环境的一个真实、实时的动 态反映。 m d s 提供了一个可配置的信息提供者( i n f o r m a t i o n p r o v i d e r ) 组件，称为网格 资源信息服务g r i s ( g r i dr e s o u r c ei n f o r m a t i o ns e r v i c e