（通信与信息系统专业论文）基于lds的计算网格资源管理调度模型研究.pdf

武汉理工火学硕士学位论文 摘要 网格技术是近年来迅速兴起的一门新技术，它的出现掀起了互联网技术的 新浪潮。计算网格作为网格技术最早也是最主要的应用，目前已成为国内外研 究的热点。它最初的目标是通过互联网将超级计算机联合起来，解决复杂大型 科学计算问题，丽现在，这一目标已演变为通过互联网将分布在各地的各种不 同类型的计算机以合理的方式“粘台”起来，形成高度集成的有机整体，向普 通用户提供强大的计算能力，将i n t e r n e t 变为一个功能强大、无处不在的计算 设施，使人们在使用网格计算能力时就像现在使用电力一样方便。 资源管理调度是计算网格的关键技术之一。在网格环境中，资源管理调度 系统的基本职能是接受来自网格范围内机器的资源请求，并且把特定的资源分 配给请求者，同时合理地调度相应的资源，使请求资源的作业得以运行。网格 资源管理系统的有效性和适用性主要取决于其采用的资源调度策略，而计算网 格资源的分布性、异构性、自治性及动态性特点，决定了网格资源调度的复杂 性。现有的计算网格资源管理调度模型大都采用完全主机驱动，忽略资源节点 动态性的调度策略，往往造成实际结果与设计目标差距过大，调度速度过慢， 负载平衡性较差的后果。 本文通过对计算网格及其资源管理调度理论的研究，在现有的研究成果上， 提出了一个基于l d s 算法的计算网格资源管理调度模型。本模型采用g l o b u s 项 目的元计算项目服务m d s 作为调度前的信息收集器，并在调度策略中引入了现 今最新的l d s 算法；采用资源节点主动驱动、调度过程中主机和资源节点相互 通信协调的调度方法，着重解决了计算网格资源管理调度的调度速度和负载平 衡问题。 本文采用网格仿真工具s i m g r i d 来对模型进行评估。实验结果表明，本文构 建的模型能够较好地适应l d s 算法，有着较高的调度性能，能较好地解决负载 平衡和调度速度问题，特别适用于多对象多任务的情况。 关键词：网格，资源管理，调度，l d s 算法，s i m g r i d 武汉理工大学硕士学位论文 a b s t r a c t g r i di san e wt e c h n o l o g yt h a th a sb e e nf l o u r i s h i n gq u i c k l yi nr e c e n ty e a r si t s o c c u r r e n c eh a sw h i p p e du pt h en e x tw a v eo fi n t e r a c tt e c h n o l o g y c o m p u t a t i o ng r i d o r i g i n a l l ya i m e d t oc o m b i n es u p e r c o m p u t e r s t h r o u g hi n t e r n e ts oa st os o l v ec o m p l e x a n dl a r g e - s c a l ec o m p u t i n g p r o b l e m s a tp r e s e n t , t h ea i m h a se v o l v e di n t oc o m b i n i n g v a r i o u st y p e so fc o m p u t e r si nd i f f e r e n ta r e a si nar e a s o n a b l ew a ya n dt h eh i 曲l y i n t e g r a t e do r g a n i cu n i t yc a ns u p p l yp o w e r f u lc o m p u t i n g a b i l i t i e st oc o m m o nu s e r s r e s o u r c em a n a g e m e n ts c h e d u l i n gi sak e yt e c h n o l o g yo fc o m p u t i n gg r i d ，t h e b a s i cf u n c t i o no fr e s o u r c e m a n a g e m e n t s c h e d u l e ri s r e c e i v i n g t h e r e q u e s t o f m a c h i n e s r e q u i r e m e n to fr e s o u r c e s ，a s s i g n i n gg i v e nr e s o u r c e st ot h er e q u e s t e r , a n d s c h e d u l i n gr e l e v a n tr e s o u r c e si nr e a s o ni no r d e rt o s t a r tt h ea p p l i c a t i o np r e s e n t e db y t h er e q u e s t e r t h ev a l i d i t ya n d a p p l i c a b i l i t y o ft h es c h e d u l e r d e p e n do n i t ss c h e d u l i n g s t r a t e g ym o s t l y a n dt h eg i r dc h a r a c t e r i s t i c ss u c ha sh i g hh e t e r o g e n e i t y , a d a p t a b i l i t y , d i s t r i b u t i o na n dd y n a m i cd e c i d et h ec o m p l e x i t yo fg r i dr e s o u r c es c h e d u l i n g ，m o s t e x i s t i n gc o m p u t i n gg r i dr e s o u r c em a n a g e m e n ts c h e d u l i n gm o d e l sa d o p t t h es t r a t e g i e s w h o s es c h e d u l e rd r i v es c h e d u l i n gm e t h o d sa n di g n o r i n gr e s o u r c ea g e n t sc h a r a c t e ro f d y n a m i c ，t h er e s u l t so f t h e s es t r a t e g i e sa r eo f t e n w o r s et h a na s s u m i n g a i m i n g a tt h ep r o b l e md i s c u s s e da b o v e ，ac o m p u t i n g 鲥dr e s o u r c em a n a g e m e n t s c h e d u l e rb a s e do nl d sa l g o r i t h mi s p r e s e n t e d i nt h i s p a p e rb a s e do nc u r r e n t m e t h o d sa n dw i d e l ys t u d yo ft h et h e o r y o f c o m p u t i n gg r i d a n di t sr e s o u r c e m a n a g e m e n ts c h e d u l i n g t h es c h e d u l e ra d o p t st h em d s ( m e t a c o m p u t i n gd i r e c t o r y s e r v i c e ) o f t h eg l o b u s p r o j e c t a si t s i n f o r m a t i o nc o l l e c t o rb e f o r e s c h e d u l i n g ， i n t r o d u c e st h el d s a l g o r i t h mi ni t ss c h e d u l i n gs t r a t e g y , u s e st h es c h e d u l i n gm e t h o d t h a td r o v e b y r e s o u r c ea g e n ta n dt h em a s t e ra n da g e n t sc o r r e s p o n dd u r i n g i t s s c h e d u l i n gp r o c e s s t h ep a p e ru s e ss i m g r i dt oe v a l u a t et h em o d e l e x p e r i m e n t sp r o v et h a tm o d e l a d a p t st h el d s w e l la n dh a sh i g hp e r f o r m a n c eo fe n h a n c i n gs c h e d u l i n gs p e e da n d b a i a n c i n ew o r k l o a d ，a n di t i st h es a m a ew i t ht h es i t u a t i o no fm u l t i t a s ka n d m u l t i a g e n t 。 k e 3 a v o r d s ：g r i d ，r e s o u r c e sm a n a g e m e n t ，s c h e d u l i n g ，l d s ，s i m g r i d i i 武汉理工大学硕士学位论文 第1 章绪论 1 1 研究的背景和意义 网格是近年国际上兴起的一种重要的信息技术，网格( g r i d ) 的概念出现于 2 0 世纪9 0 年代中期。在过去的几年里，网格作为一种新技术已经成为下一代 i n t e m e t 模型在科学和商业领域迅速发展起来。电子商务( e l e c t r o n i cc o m m e r c e ) 和对异构资源采用一致性方法管理的需求，大大推动了网格技术的发展。而网 格也日益成为大规模资源共享，任务协同，以及集成分布式系统的主流技术。 网格是借鉴电力网( e l e c t r o n i cp o w e rg r i d ) 的概念提出来的，网格的最终 目的是希望用户在使用网格计算能力时，就如同现在使用电力一样方便l ”。它一 出现掀起了一波互联网技术的浪潮。计算网格作为网格技术最早也是最主要的 应用，目前已成为国内外研究的热点。它最初的目标是把互连网整合为一台巨 大的超级计算机，实现计算资源，存储资源，信息资源，知识资源等的全面共 享，消除信息孤岛。通过互联网将超级计算机联合起来，解决复杂大型科学计 算问题【2 1 ；现在，这一目标己演变为通过互联网将分布在各地的各种不同类型 的计算机以合理的方式“粘合”起来，形成高度集成的有机整体，向普通用户 提供强大的计算能力，将i n t e r n e t 变为一个功能强大、无处不在的计算设旌， 使人们在使用网格计算能力时就像现在使用电力一样方便。 网格能提供比目前机器更加强大的计算能力，因此能满足科学和商业领域 的许多需求。大量应用和集群的配置在网格环境中起了重要作用。因此，对网 格技术进行深入而广泛的探索，无论从技术本身或应用价值方面都有非常重要 的意义：1 ，在技术方面，服务资源动态分布在多个异构的自治系统中的网格对 于单一、静态的分布式环境是一种挑战，其对动态性、异构性、可伸缩性、多 管理域和安全性等的需求将引发若干亟待解决的新问题；2 ，在应用方面，研究 的相应成果具有最终转化为巨大商业价值的潜力，可以极大地提高资源利用率， 解决许多现有技术无法解决的问题或无法支持的应用。 网格技术的产生和发展必须具备三个基本条件：计算资源的广域分和， i n t e r n e t 技术的发展阱及不断增长的对资源共享的需求。目前，i n t e m e t 技术的飞 武汉理工大学硕士学位沦文 速发展和普及使得这三个条件已基本具备，从而使得对网格技术的研究成为目 前信息技术研究领域中最重要的课题之一。不仅全球学术界已经开始进行大量 的相关研究，最近各国政府和企业界也已经开始介入，以推动网格技术的普及， 进而大规模商用。 网格技术的目标是结合地理上分布的异构资源来提供一致、价廉的资源共 享和协同计算访问服务。网格环境的规模越来越大，网格技术涉及的范围也越 来越广泛，需要解决的问题众多。资源管理是计算网格的关键技术之一，网格 环境中的资源包括处理器、存储系统、目录、分布式文件系统、分布式计算机 池、计算机集群、应用软件、数据、信息、知识以及天文望远镜、雷达和家用 电器等设备和仪器，并具有面向用户和透明性的特点。用户可以在不考虑资源 位置的情况下，方便地使用资源。此外，资源也具有动态演化的特性。服务则 是通过网络使能的实体，用于提供访问某种资源的能力，例如读取文件和创建 进程等。服务通常以接口的形式提供，在网格环境中通过协议进行请求，而资 源共享则通过服务实现。在网格环境中，资源管理系统的基本职能是接受来自 网格范围内机器的资源请求，并且把特定的资源分配给请求者，同时合理地调 度相应的资源，使请求资源的作业得以运行【8 。9 j 。有效的网格服务需要借助资源 管理模块，保证任务均匀地分配给每个服务提供者，如果缺少一种发布和管理 这一过程的标准方法，就可能造成这样一种局面：一些可用资源处于闲置状态， 而另一些资源却十分繁忙，大量任务请求排队等待处理。整个网络资源处于极 度不合理的使用状态。 网格资源管理系统的有效性和适用性主要取决于其采用的资源调度策略。 网格环境中的资源是地理上分布的并且属于不同的组织和拥有者，而大多数的 本地机器都有不同的调度策略，并且在大的网格计算机系统中常遭受任意时间 内资源的加入和退出的频繁变化。计算网格资源的分布性、异构性、自治性及 动态性特点，决定了网格资源调度的复杂性，因而网格资源管理调度方法及技 术的研究已成为一个颇具挑战性的研究课题。 1 2 国内外研究现状 网格现在已经成为全球研究的热点。美国政府在网格技术的基础研究上， 每年投入的经费高达5 亿美元。美国能源部d o e 支持的科学网格( s c i e n c eg r i d ) 2 武汉理上大学硕士学位论文 用6 2 2 m b p s 的e s n e 网格连接了能源部的两台超级计算机，计算能力达到每秒5 万亿次，仔储能力达到1 3 于万亿字节。美国国家科学基金n s f 支持的r e r a g r i d 能连接5 个不同地方的超级计算机，能达到每秒2 0 万亿次的计算能力，并能储 存和处理近l 干万亿字节的数据。t e r a g r i d 的最大特色是连接网格的专用网络带 宽达到惊人的4 0 0 b p s 。t e r a g r i d 项目始于2 0 0 1 年8 月，由n s f 投资5 3 0 0 万美 元，次年1 0 月又追加3 5 0 0 万美元。美国物理网格o r i p h y n ( g r i dp h v s i c sn e t w o r k ) 计划建立每秒千万亿次级别的计算平台，用于数据密集型计算。美国军方正在 实施全球的信息网格g i g ( g l o b a li n f o r m a t i o ng r i d ) 预计在2 0 2 0 年完成。除此 之外，英国政府宣布投资1 亿英镑用以研发英国国家网格( u k n a t i o n a lg r i d ) ： 欧洲的d a t a g r i d 、u n i c o r e 、m o l 等项目也正在研发当中，其中，d a l a g r i d 是 一种涉及到欧盟2 0 多个国家的典型科学应用大平台。日本n t t 数据公司联合 i n t e ls g i 等在2 0 0 2 年中期开展了为期6 个月的网格计算试验，试验将连接日本 家庭、企业和学术机构的1 0 0 万台p c 集合，处理能力达到每秒6 5 万亿次浮点 运算。2 0 0 2 年1 1 月日本产业技术综合研究所网格计算研究中心宣布，在由多台 个人电脑通过网络连接组成的计算网格环境下实现了日美之间创纪录的 7 0 7 m b p s 的数据传输。 在国内，网格研究正在迅速展开而且取得了一些较好的研究成果。已经完 成的网格项目主要有清华大学的先进计算基础设施a c i ( a d v a n c e d c o m p u t a t i o n a li n f r a s t r u c t u r e ) 和以中科院计算为主的国家高性能计算环境 n h p c e ( n a t i o n a l h i g h p e r f o r m a n c ec o m p u t i n ge n v i r o n m e n t ) 。 在清华a c i 系统中，清华大学研制的高性能计算机“t h n p s c 一2 ”与上海大 学研制的高性能计算机“自强2 0 0 0 ”通过高速网络连接在一起，此外还连接了 4 个应用节点。这6 个地理位置不同的网格节点可以同时召开网络会议。除此之 外，还开发了相应的中间件，可阱构成跨地区、跨学科的“虚拟实验室”研究 环境。清华a c i 系统具有一套健全的资源管理系统、任务管理系统、用户管理 系统和安全服务与监测系统。清华a c i 系统于2 0 0 1 年6 月通过了有关鉴定。 从1 9 9 9 年底到2 0 0 1 年初，中科院计算机所联合十几家科研单位承担了8 6 3 重点项目“国家高性能计算环境”的研发任务。该项目的目标是建立一个分布 式环境下支持异构平台的计算网格示范系统。它把我国的8 个高性能计算中心 通过l m e m e t 连接起来，进行统一的资源管理、信息管理和用户管理，并在此基 础上开发了多个计算型的网格应用系统，取得了一系列研究成果。 武汉理 大学硕十学位论文 其它正在进行的项目主要有中科院牵头的“国家高性能计算环境n h p c e ” 项目、由教育部支持的重点项目“先进计算基础设施北京上海试点工程”、8 6 3 计 划支持的“中国网格( c h i n a g r i d ) ”、多所上海大学参加的“上海教育科研网格”、 由航天二院和清华大学共同开展“仿真网格”的研究、由中科院计算所领衔开 发“织女星网格”等。 目前，在网格资源管理调度研究方面，主要集中在国外，比如g l o b u s 项 目、c e r n 、n e t s o l v e 、c o d o r g ，a p p l e s 、n i m r o d g 等都在网格调度 方面做了许多探索，并且提出了许多策略与模型。然而他们提出的不管是面向 系统的调度( 如c o n d o r - g z ) ，还是面向服务的调度( 如a p l l e s 、n e t s o l v e 等) ，它们的主要调度对象是面向科学计算任务的处理器、存储器和网络等“裸” 的硬件资源，它们面向用户提供的接口也是针对批处理作业提交设计的接口， 它们的调度目标单一，主要是实现计算节点的负载平衡。国内调度方面，较典 型的是中科院计算所在实际网格项目提出的系列调度方法。 然而，由于网格技术本身不成熟，这些研究还处于发展阶段，比较随意， 缺乏系统的理论研究和客观实用的评价标准，因此还需要更多的机构和个人加 入研究来推动网格调度应用的发展。 1 3 本文的主要研究工作 由于网格技术在国内外还处于起步阶段，因此我们的研究大部分是在国内 外学者和专家的研究工作的基础上迸行的。我们的工作只是其中的一小部分， 不能涵盖网格资源管理调度的各个方面。在计算网格资源管理调度的研究中， 大部分以调度速度和负载平衡为研究重点，因此本文也着重讨论这两方面的性 能指标。 本文首先系统地介绍了网格的概念、特点、分类、基本要求、发展趋势及 关键技术，其中重点分析了现今广泛应用的两种网格体系结构的特点。在此基 础上引出了网格技术中热点研究方向之一网格资源管理调度研究，分析了 网格资源管理系统的功能需求，着重比较和分析了三种主要的网格资源管理模 型，介绍了此领域相关研究工作的进展，并由此总结出计算网格调度的特点和 调度涉及的主要问题。最后，本文在现有的研究成果上，提出了个基于l d s 算法的计算网格资源管理调度模型。本模型采用g l o b u s 项目的元计算项目服务 武汉理【人学硕士学位论文 m d s 作为调度前的信息收集器，并在调度策略中引入了现今最新的l d s 算法； 调度过程中采用资源节点主动驱动、调度过程中主机和资源节点相互通信协调 的调度方法，着重解决了计算网格资源管理调度的调度速度和负载平衡问题， 有着较好的性能表现。 武汉理1 大学硕一l 学位论文 第2 章网格理论研究 网格足一个新出现的概念，代表了一种先进的技术和基础设施，是继i n t e r n e t 之后又一次重大的科技进步。网格建立在i n t e r n e t 的可访问性基础之上，允许用 户有效地使用地理上分布的资源i 。因此，网格也被看作下一代i n t e r n e tf j 】) 。网 格资源调度作为网格技术的一个重要内容，随着网格技术的深入研究，已显得 愈发重要。本章首先介绍了网格技术的发展及其基本概念，然后重点分析了现 今主要的两种网格体系结构，最后讨论了网格发展的趋势及其关键技术。 2 1 网格技术 2 1 1 网格的定义 1 9 9 8 年，i a nf o s t e r 和c a r lk e s s e l m a n 首次对网格( t h eg r i d ) 进行定义【1 2 】： 计算网格是一种由硬件和软件构成的信息技术基础设施，它能提供可靠的、可 协调的、可扩展的和廉价的高端计算能力的访问。 2 0 0 1 年，i a nf o s t e r 等人进一步深化定义了g r i d 计算和它的基础构件是作为 支持动态的、分布式的不同资源的共享和协作的系统。定义了g r i d 的基本属性， 介绍了g r i d 协议和服务的关键要求l l 。 2 0 0 2 年7 月2 2 日，i a nf o s t e r 在g r i dt o d a y g l o b a lg r i d 周报上，从三个方 面更清晰地定义网格：他认为网格是一个满足如下三个条件的系统【】4 】： ( 1 ) 能协调不服从集中式控制的资源。一个网格能集成和协调资源与用户 在不闹的控制域之内的活动( 这里的不同的控制域指的是使用集中计算的用户 桌面，同一公司的不同的管理部门，或者不同的公司等) ；同时，网格能解决包 括安全、策略、付款、成员资格以及出现的各种问题。否则，它作为一个本地 的管理系统来处理。 ( 2 ) 使用标准的、开放的、通用的协议和接口。一个网格是由多用途协议 和接口组成的；该协议将能解决诸如鉴别、授权、资源发现和资源访问等的这 样一些基本问题。这里强调上述这些协议和接口的标准化和开放性是很重要的。 武汉理【大学硕士学位论文 否则，它作为一项具体应用系统来处理。 ( 3 ) 提供非常的服务质量。个网格允许按协作的方式来使用其成分资源， 以提供各种各样的服务质量；如反应时间、容许能力、可利用性和安全性，还 有协作配置多重资源类型以满足复杂的用户要求等服务质量，这种组合系统的 效用大大于该系统的部分的总和。 2 1 2 网格系统的特点 网格作为一种新出现的重要基础性设施，和其他的系统相比有着许多不同 之处，主要体现在以下几个重要特点： ( 1 ) 异构性( h e t e r o g e n e o u s ) ：网格系统由分布在i n t e r n e t 上的各类资源组成， 包括各类主机、工作站甚至p c 机，它们是异构的；可运行在u n i x 、n t 等各种 操作系统下，也可以是上述机型的机群系统、大型存储设备、数据库或其他设 备。由于网格分布在广域网上不同管理域的各种计算资源，怎样实现异构机器 之间的协作和转换是网格计算的首要问题。 ( 2 ) 可扩展性( s c a l a b i l i t y ) ：元计算系统初期的计算规模较小，随着超级计 算机系统的不断加入，该系统的计算规模也随之扩大。要在网格资源规模不断 扩大、应用不断增长的情况下，不会导致降低网格计算的性能。 ( 3 ) 动态自适应性( a d a p t a b i l i t y ) ：在网格计算中，某一资源出现故障或失 败的可能性较高，资源管理必须能动态监视和管理网格资源，从可利用的资源 中选取最佳资源服务。 2 1 3 网格的基本要求 从i a nf o s t e r 等对网格的定义来看，网格作为一个大型的系统，其基本要求 主要有以下几点： ( 1 ) 可靠性：网格的可靠性是指网格提供的计算能力必须保证是持续、稳 定和安全的，不应该因为网格内部个别资源的变化而对网格应用造成影响，即 网格内部局部资源的变动对网格应用应该是透明的。 ( 2 ) 标准化：标准化的一方面是指网格资源之间应该有一个统一的可以相 互访f z j 标准化的接口或者协议标准。标准化是共享的前提。另一方面是网格对 用户提供的计算能力应满足一定的标准，有一种比较统一的形式，从而便于以 武汉理一r 人学硕士学位论文 一种统一的方式进行访问。 ( 3 ) 易访问：网格的易访问性是指用户可以在任何时间、任何地点、以自 己习惯的统一的方式访问和使用各种资源。 ( 4 ) 低廉性：网格费用的低廉性是网格能够被普遍接受的前提。网格技术 通过将资源共享，最大限度的发挥资源的使用价值，不仅可以将原来闲置和浪 费的资源收集起来供用户使用，而且可以避免以前由于地理位置限制所带来的 各种额外开销。 2 2 网格体系结构研究 网格体系结构就是关于如何建造网格的技术。它给出了网格的基本组成与 功能，描述了网格各组成部分的关系以及它们集成的方式或方法，刻画了支持 网格有效运转的机制【1 1 。i a nf o y e r 将网格体系结构定义为“划分系统基本组件， 指定系统组件的目的与功能，既明组件之间如何相互作用调度技术”【1 ”。 到目前为止，比较重要的网格体系结构有两个：一个是f o s t e r 等在早些时 候提出来五层沙漏结构；另一个是在i b m 为代表的工业界的影响下，在考虑到 w e b 技术的发展与影响后，f o s t e r 等结合w e bs e r v i c e s 提出的开放网格服务结 构o g s a ( o p e n g r i ds e r v i c ea r c h i t e c t u r e ) 。 2 2 1 五层沙漏结构 五层沙漏结构【1 1 是一种影响十分广泛的结构，它的主要特点就是简单，主要 侧重于定性的描述而不是具体的协议定义，因此很容易从整体上进行理解。 2 2 1 1 基本思想 在五层沙漏结构中，一个最重要的思想是以“协议”为中心，也十分强调 服务与a p i ( a p p l i c a t i o np r o g r a m m i n g i n t e r f a c e s ) 和s d k ( s o f l w a r ed e v e l o p m e n t k i t s ) 的重要性。其基本思想如下： ( 1 ) 共享：虚拟组织基于一些共享原则要有随时间变化的资源共享功能。 是一种深层次、广泛、动态、具有多种形式的有条件的、受控制的共享。 ( 2 ) 互操作：对各种资源要能直接访问。 ( 3 ) 协议：为了实现互操作就要有相互遵守的协议。这里的协议是指为了 武汉理r 大学硕 学位论文 实现特定的操作而定义的分布式系统元素之问交互的方式以及交互过程中交换 的信息的结构。以“协议”为中心是五层结构最重要的思想。 ( 4 ) 服务：服务是由它使用的协议和实现的行为定义的。标准服务的定义 抽象掉了与资源相关的细节，非常有利于虚拟组织应用的开发。 ( 5 ) a p u s d k ：血层沙漏结构提供a p l 和s d k ，使得在建立网格应用时 可以在抽象的基础上提高编程的级别，加速代码开发，实现代码共享，以及增 强应用的移植性。a p i s d k 是附属于协议的，而不是协议的替代。 ( 6 ) 五层划分五层沙漏结构根据该结构中各组成部分与共享资源的距离， 将对共享资源进行操作、管理和使用的功能分散在不同的层次，越向下层就越 接近于物理的共享资源，因此该层与特定资源相关的成分就越多；越向上层越 感觉不到共享资源的细节特征，也就是说上层是更加抽象的共享资源的表示， 因此就不需要关心与底层资源相关的具体实现问题。 ( 7 ) 沙漏形状：沙漏形状的含义是因为各部分协议的数量是不同的，对于 其最核心的部分，要能够实现上层各种协议向核心协议的映射，同时实现核心 协议向下层其它各种协议的映射，核心协议在所有支持网格计算的地点都应该 得到支持，因此核心协议的数量不应该太多，这样核心协议就形成了协议层次 结构中的一个瓶颈，资源层和连接层共同组成这一核心的瓶颈部分。 2 2 1 2 结构描述 五层沙漏结构的五层从下到上分别是构造层、连接层、资源层、汇聚层以 及应用层。构造层( f a b r i c ) 面对的是一个个具体的物n ( t 嘲n 辑) 资源，它通 过对这些局部资源的管理，向上层提供对这些资源的管理和控制界面。构造层 的上层是连接层( c o n n e c t i v i t y ) ，主要是为下层的物理资源提供安全的数据通信能 力，这是资源之间进行互操作的前提，使得孤立的单个单元之间建立了联系。 连接层的上面是资源层( r e s o u r c e ) ，它反映的是抽象的局部资源之间的特征，而 资源层上面的汇聚层( c o l l e c t i v e ) 完成的功能是如何将下面以单个资源形式表现 出来的资源集中起来，协调解决多个资源之间的问题。最上面的应用层 ( a p p l i c a t i o n ) 和资源的距离最远，它关心的是有什么样的资源可以由下面提供 给虚拟组织，解决不同虚拟组织之间的具体问题。 五层沙漏结构与t c p i p 网络协议的对比如图l 所示。 l应： j 层 j 汇聚层 资源层 i连接层 图1 五层结构及其与t c p i p 网络协议的对比 2 2 2 开放网格服务体系结构 开放网格服务结构o g s a ( o p e n g r i ds e r v i c e a r c h i t e c t u r e ) 【l “”j 是g l o b a l g r i df o r u m4 的重要标准建议【1 8 】，是继五层沙漏结构之后最重要、也是最新的 一种网格体系结构，被称为是下一代的网格结构。目前的大所数项目的研究和 开发都从五层结构转到基于o g s a 架构。 2 2 2 1 基本思想 0 g s a 作为新一代的网格结构，有着以下几点基本思想： ( 1 ) 以服务为中心的模型 如果说五层沙漏结构是以协议为中心的“协议结构”，那么o g s a 则是以服 务为中心的“服务架构”。这里的服务是指具有特定功能的网络化实体，包括各 种计算资源、存储资源、网络、程序、数据库等，一切都是服务。五层模型实 现的是对资源的共享，而在o g s a 中，实现的将是对服务的共享。从资源到服 务，这种抽象将资源、信息、数据库等统一起来，十分有利于灵活、一致、动 态的共享机制的实现，使得分布式系统管理有了标准的接口和行为。 为了使服务的思想更加明确和具体，o g s a 定义了“网格服务”( g r i d s e r v i c e ) 虽 苎堡兰：! 查堂堡：生堂堡垒苎 的概念。网格服务是种w e b s e r v i c e ，该服务提供了一组接口，这些接口的定 义明确并且遵守特定的惯例，解决服务发现、动态服务创建、生命周期管理、 通知等问题。在o g s a 中，将一切都看作是网格服务，因此网格就是可扩展的 网格服务的集合，即网格= ( 网格服务) 。网格服务可以以不同的方式聚集起来 满足虚拟组织的需要，虚拟组织自身也可以部分地根据它们操作和共享的服务 来定义。简单的说，网格服务= 接口行为+ 服务数据。图2 是对网格服务的一个 简单描讳。 服务数据的访问 g r i ds e r v c e + 显式撤销 绑定特性 可靠激活 认证 其它接口 ( 可选的) + 一标准接口 通知 授权 一服务创建 图2 网格服务示意图 服务注册 管理 与五层模型相比，o g s a 中也非常重视互操作性，但是从服务的观点，o g s a 将互操作性问题转化为两个子问题，即定义服务的接口和识别激活特定接口的 协议。以网格服务为中心的模型主要有两个好处：是由于网格环境中所有组 件都是虚拟的( 指相对接口不同实现的封装) ，因此通过提供一缀相对统一的核 心接口，所有的网格服务都基于这些接口实现，就可以很容易的构造出具有层 次结构、高级别的服务( 如图3 所示) ，这些服务可跨越不同的层次，以一种 统一的方式看待；二是虚拟化也使得多个逻辑资源实例映射到相同的物理资源 上成为可能，在对服务进行组合时不必考虑具体的实现，可以以底层资源组成 为基础，在虚拟组织中进行资源管理。通过网格服务的虚拟化，可以将通用的 武汉埋j 一人学硕士学位论文 服务话义和行为，无缝地映射到本地平台的基础设施之上。 ( 2 ) 统一的w e bs e r v i c e 框架 o g s a 是符合标准的w e bs e r v i c e 框架的。w e bs e r v i c e 解决了发现和激发永 久服务的问题，但是在网格中，大量的临时服务，因此o g s a 对w e bs e r v i c e 进 行了扩展，提出了网格服务的概念，使得它可以支持临时服务实例，并且能够 动态创建和删除。表1 列出了网格服务的接口，其中只有g r i ds e r v i c e 接口是 必须的，而其它接口都是可选的。网格服务是由它们提供的能力来刻画的。一 个网格服务实现一个到多个接口，每一个接口定义了一些操作，这些操作通过 交换定义好的一系列消息来激活。网格服务接口和w s d l 的p o r t t y p e s 的集合， 包括一些与版本无关的附加信息，在网格服务中用s e r v i c et y p e 来描述，s e r v i c e t y p e 是o g s a 定义的w s d l 的扩展元素。 ( 3 ) 突破科技应用领域 正如w e b 技术一开始是为科学协作中的资源共享，后来在商业领域却大量 使用一样，o g s a 将原来主要在科技领域应用的网格技术转移到工商业领域。 o g s a 的重点是商业领域而不是像以前那样更侧重于科学应用，但是其原则和机 制适用于这两种环境。在商业的应用中需要无缝地和已有的服务与资源，以及 负载、安全、网络q o s 、可用管理工具等的集成。o g s a 支持服务发现的特性 方便了将高级网格服务功能向原始平台设施的映射和应用。o g s a 面向服务的特 点允许我们在不同的层次上虚拟化资源，因此相同的机制与抽象可以应用于多 个组织之间的分布式网格支持的协作，或者是跨越多个接点的主机环境。 武汉理上大学硕士学位论文 表1 网格服务的接口 p o r t t y p e 操作 描述 查询网格服务实例的各种信 息，包括一些基本的内部信 f i n d s e r v i c e d a t a 息，火量的关于每个接口的 信息以及与特定服务有关的 g r i d s e r v i c e 信息。 设置并得到网格服务实例终 s e t t e r m i n a t i o n t i m e 止时间 d e s t r o v 终止网格服务实例 根据感兴趣的消息类型和内 s u b s c r i b e t o n o t i f i c a t i o n t o p i c容说明，向相关事件的通知 n o t i f i c a t i o n s o u r c e 发送者登记 u n s u b s c r i b e t o n o t i f i c a t i o n t o p i c 取消登记 n o t i f i c a t i o n s i n kd e l i v e r n o f i f i c a t i o n 异步发送消息 r e g i s t e r s e r v i c e网格服务句柄的软状态注册 r e g i s t r y u n r e g i s t e r s e r v i c e取消注册的网格服务实例 f a c t o r y c r e a t e s e r v i c e 创建新的网格服务实例 f i n d b y p r i m a r y k e y 返回特定键值创建的网格服 务句柄 p r i m a r y k e y 撇消特定键值创建的网格服 d e s t r o y b y p r i m a r y k e y 务实例 返回与网格服务句柄相联系 h a n d l e m a pf i n d b y h a n d l e 的网格服务实例 2 2 2 20 g s a 架构描述 如图4 所示，o g s a 架构主要由四层构成：从下到上依次为：资源( 物理资 源和逻辑资源) 、w e b 服务以及定义网格服务的o g s i 扩展、基于o g s a 架构的 一 垦望堡! 查堂堕主堂垡堡壅 服务、网格应用程序。 o g s a e n a b l e 1 o g s a e n a b l elo g s a e n a b l eio g s a e n a b l eio g s a e n a b l el o g s a e n a b l e s e c u r i t y l w o r k f l o w l d a t a b a s e l f i l e s y s t e m 1m e s s a g i n gld i r e c t o r y 圈4 0 g s a 架构示意图 物理和逻辑资源层：资源的概念是o g s a 以及通常意义上的网格计算的中 心部分。构成网格能力的资源并不仅限于处理器。物理资源包括服务器、存储 器和网络。物理资源之上是逻辑资源。它们通过虚拟化和聚合物理层的资源来 提供额外的功能。通用的中间件，比如文件系统、数据库管理员、目录和工作 流管理人员，在物理网格之上提供这些抽象服务。 w e b 服务层：o g s a 架构中的第二层是w e b 服务。这里有一条重要的o g s a 原则：所有网格资源( 逻辑的与物理的) 都被建模为服务。o g s 规范定义了网 格服务并建立在标准w e b 服务技术之上。o g s i 利用诸如x m l 与w e b 服务描述 语言( w e bs e r v i c e sd e s c r i p t i o nl a n g u a g e ，w s d l ) 这样的w e b 服务机制，为所 有网格资源指定标准的接口、行为与交互。o g s i 进一步扩展了w e b 服务的定义， 提供了动态的、有状态的和可管理的w e b 服务的能力，这在对网格资源进行建 模时都是必需的。 基于o g s a 架构的网格服务层：w e b 服务层及其o g s i 扩展为上一层提供 武汉理丁大学硕十学位论文 了基础设施：基于架构的网格服务。g g f 目前正在致力于在诸如程序执行、数 据服务和核心服务等领域中定义基于网格架构的服务。随着这些新架构的服务 丌始出现，o g s a 将变成更加有用的面向服务的架构( s o a ) 。 网格应用程序层：随着时间的推移，一组丰富的基于网格架构的服务不断 被开发出来，使用一个或多个基于网格架构的服务的新网格应用程序亦将出现。 这些应用程序构成了o g s a 架构的第四个主要的层。 2 2 2 3o g s a 的两大支撑技术 建造网格的两大支撑技术是网格技术( 比如g l o b u s 软件包) 和w e b s e r v i c e 。g l o b u s 是己经被科学与工程计算领域广泛接受的网格技术求解方案， w e bs e r v i c e 是一种标准的存取网络应用的框架。 g l o b u s 是一种基于社团的、开放结构、开发源码的服务的集合，也是支持 网格与网格应用的软件库，是已经被科学与过程计算领域广泛接受的网格技术 求解方案，该工具包解决了安全、信息发现、数据管理、通信、错误、检测以 及可移植等问题。 w e bs e r v i c e 是一种标准的存取网络应用的框架。w e bs e r v i c e 的定义是这样 的：一个w e bs e r v i c e 就是个可以被u r i 识别的软件应用，它的接口和绑定可 以被x m i 。( e x t e n s i b l em a r k u pl a n g u a g e ) 描述与发现，并且可以通过基于i n t e r n e t 的协议直接进行支持与其它基于x m l 消息的软件应用的交互。w e bs e r v i c e 标 准j 下在w 3 c 内部以及其它的标准体内部被定义，三个与网格服务有关的标准分 别是s o a p ( s i m p l eo b j e c ta c c e s sp r o t o c 0 1 ) 、w s d l ( w e bs e r v i c ed e s c r i p t i o n l a n g u a g e ) 、u d d i ( u n i v e r s a ld e s c r i p t i o nd i s c o v e r ya n di n t e g