（计算机系统结构专业论文）基于p2p环境下信任度的网格资源调度策略的研究.pdf

摘要 随着高性能应用需求的迅猛发展，单台高性能计算机己经不能胜任解决一 些大规模应用问题，这就需要将地理上分布的多种资源通过网络连接起来，共 同解决大型应用问题，这就是网格技术。 网格和p 2 p 都是分布式计算模型，它们的总体目标相似。针对网格技术和 p 2 p 技术的特点，以及网络环境下资源的分布性特征，利用p 2 p 与网格技术之 问的协同和互补，构造了一个二层的网格和p 2 p 计算混合模型，上层是网格层， 下层是p 2 p 层。p 2 p 层负责消息路由和资源发现，网格层负责为用户提供网格 服务。该模型加快资源搜索等问题，同时增强网格的可扩展性。 同时，本文通过引入d s 证据理论，提出了基于信任度的调度策略，因此在 资源分配过程中加入安全控制，使整个网格计算系统具有比较高的运行效率和 安全性。 关键词：网格计算，p 2 p ，d - s 证据理论，信任度 w i t ht h e r a p i dd e v e l o p m e n to ft h er e q u i r e m e n t o ft h e h i g l l p e r f o r m a n c e a p p l i c a t i o n ，t h es i n g l eh i g h p e r f o r m a n c ec o m p u t e ri sn o tq u a l i f i e df o rs o l v i n gs o m e p r o b l e mo fw h o l e s a l ea p p l i c a t i o n t h i sr e q u i r ea i lk i n d so ft h er e s o u r c e sw h i c hi s d i s t r i b u t e dg e o g r a p h i c a l l ys h o u l db ec o n n e c t e dt os o l v et h i sp r o b l e m g r i da n dp 2 pa r ed i s t r i b u t e dc o m p u t i n gm o d e l s ，t h e yh a v et h es i m i l a rp u r p o s e s a i m e da tt h ec h a r a c t e r i s t i c so fg r i da n dp 2 pa n dc h a r a c t e r i s t i c so fd i s t r i b u t e d r e s o u r c e si nn e t w o r ke n v i r o n m e n t ，w es t u d yt h ei s s u e so fc o m b i n i n gt h et w o t e c h n o l o g i e si no r d e rt o t a k et h e i r a d v a n t a g e sw h i l eo v e r c o m i n gt h ep r o b l e m s e n c o u n t e r e di ne a c hf i e l d w eb u i l dt w o _ l a y e rm o d e lf o rt h ei n t e g r a t i o no ft h eg r i d a n dp 2 pn e t w o r k s ，w h i c hc o n s i s t so fag r i dl a y e ra n da nu n d e r l y i n gp 2 pl a y e r p 2 p l a y e rf o ru n d e r l y i n gm e s s a g er o u t i n go rr e s o u r c ed i s c o v e r i n ga n du s eg r i da su p p e r l a y e r m i d d l e w a r ep r o v i d i n gs e r v i c e s t h i sm o d e lc a ni n c r e a s et h er e s o u r c e d i s c o v e r ye f f i c i e n c ya n de x t e n s i b i l i t yi se n h a n c e di nt h eg r i ds y s t e m 。 m e a n w h i l e ，w ep r o p o s eas c h e d u l i n gs t r a t e g yb a s e do nc r e d i tb yi n t r o d u c i n g d se v i d e n c et h e o r yi nt h i sa r t i c l e ，s os e c u r i t yc o n t r o l l i n gh a sb e e na d d e dd u r i n g a l l o c a t i n gr e s o u r c e ，w h i c hp r o m o t e st h er u n n i n ge f f i c i e n c ya n ds e c u r i t yo ft h eg r i d c o m p u t i n gs y s t e m k e yw o r d s ：g r i d c o m p u t i n g ，p 2 p ，d se v i d e n c et h e o r y , c r e d i t 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了论文中特别加以标注和致谢的地方外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得中南大学或其他单 位的学位或证书而使用过的材料。与我共同工作的同志对本研究所作的贡献均 已在在论文中作了明确的说明。 作者签名：日期：幽年月_ = 竺日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校有权保留学 位论文，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用复印、缩印或其它手段保存学位论文；学校可根据国家或湖南省 有关部门规定送交学位论文。 名：斗聊签名篮概i 期：粤年_ 日 中南大学硕士学位论文第一章绪论 1 1 研究背景 第一章绪论 网格技术是分布式计算领域中的一个新的研究方向，如果说互联网实现了计算机硬件 的连通，w e b 实现了计算机软件的连通，而网格技术则可以实现互联网环境下所有资源的 连通。目前，许多国家和地区的学术界都兴起了“网格技术”研究的热潮，一些网格项目 如g l o b u s 、l e g i o n 和n i m r o d g 等也越来越完善。 1 1 1 网格技术出现的背景 在信息化的浪潮下，人类的应用需求正朝着高性能、多样化、多功能方向发展，相应 地更需要计算能力更强大的计算机。而网络上的一些计算机的利用率也非常低，网格计算 最初的由来是设备利用率问题，参看下面的统计数字：大型机有4 0 的时间处于空闲状 态；u n i x 服务器有9 0 的时问处于空闲状态；多数的p c 有9 5 的时间处于空闲状态。这 一切都造成了资源的极大浪费，投入大量的资金购置的i t 设备，却又有一半以上的时间没 有利用，而有人却急需这些资源，却没有购买这些昂贵的i t 设备的资金，那么多余的计算 能力该如何处理呢? 如何解决这一矛盾呢? 为了解决资源利用率不高的问题，有人提出，计算能力最终也会像水力、电力那样成 为整个商业社会发展的基础设施。 在科学研究领域，许多大规模科学计算需要由多种机器组成、多个系统合作、多个科 学仪器设备相连的网络虚拟超级计算机，这些需求鼓励人们在互联网技术的基础上把现有 的利用率不高的分散在不同地理位置的、异构的、动态的各种资源通过高速网络连接在一 起，整合成一台虚拟的超级计算机，其中每一台参与计算的计算机就是一个“节点”，而整 个计算是由成千上万个“节点”组成的“一张网格”，这种计算方式叫网格计算。这样组织 起来的“虚拟的超级计算机”有两个优势，一个是数据处理能力超强；另一个是能充分利 用网上的闲置处理能力。 1 1 2 国内外研发动态 网格是当今的研究热点，国际上已经涌现出大批网格研究项目，其中有很多知名的 比较有影响的大型网格项目。例如，美国有g l o b u s 、l e g i o n 和c o n d o r 嘲等，欧洲有c e r n d a t a g r i d 、u n i c o r e 、m o l 和e s c i e n c e 等，澳大利亚有n i m r o d g 、e c o g r i d ”3 等，日本有 n i n f 、b r i c k s 4 1 等。 美国a r g o n n e 国家实验室和加州理工学院联合丌发的一个网格计算环境g t o b u s ，该项 目的主要研究目标有两个：其一是网格技术的研究，其二是相应软件的丌发和标准的制定。 中南大学硕+ 学位论文第一章绪论 同时，g l o b u s 项目还涉及到网格应用的开发及试验床的建立。g l o b u s 资源分配管理器( g r a m ) 支持在一组局部资源上创建和管理进程，资源请求由一种可扩展的资源描述语言( r s l ) 来表 示在组件之间传递。g l o b u s 的资源联合分配是通过一个称为资源联合分配器的实体来实现 的，它将复合请求分割成有机的部分，把每部分提交给相应的g r a m 处理。l e g i o n 由美国 v i r g i n i a 大学开发的一个面向对象的网格计算环境。该系统能够管理数以百万计的对象， 其资源管理模型包括基本资源、信息数据库、调度实现工具以及执行监视器。g o n d o r 的匹 配器使用集中式组织资源，该匹配器是个中央服务器，负责资源提供者和资源请求着之间 需求的匹配。 c e r nd a t a g r i d 由欧盟创建，旨在建立一个计算和数据密集的网格资源用于分析来自 科技爆炸的大量数据。u n i c o r e 项目主要目标是建立欧洲网格计算基础框架，开发相应工具 以实现用户对高性能计算资源简易、无缝的访问，促进欧洲的科学计算发展。e s c i e n c e ， 为大规模科学研究提供基于i n t e r n e t 的分布式全球合作计算环境，其应用领域包括粒子物 理、生物信息学、气候环境变化、工程系统设计等多学科领域。 n i n f 是只本正在实施的全球计算基础设施项目，它允许用户访问硬件、软件、数据等 分布在广域网上的资源；b r i c k s 则是一个性能评价系统，允许在典型的高性能全球计算环 境上分析和评价不同的调度策略，所以它能模拟全球不同计算系统的不同行为，尤其是网 络的行为和资源调度算法的行为。 从1 9 9 9 年底到2 0 0 1 年初，中科院计算所联合国内十几家科研单位，共同承担了“8 6 3 ” 重点项目“国家高性能计算环境( n a t i o n a lh i g hp e r f o r m a n c ec o m p u t i n ge n v i r o n m e n t ， 简称n h p c e ) ”的研发任务。该项目的目标是建立一个计算资源广域分布、支持异构特性的 计算网格示范系统，它把我国的8 个高性能计算中心通过i n t e r n e t 连接起来，进行统一的 资源管理、信息管理和用户管理，并在此基础上开发了多个需要高性能计算能力的网格应 用系统，取得了一系列研究成果。中科院计算所的“织女星网格”( v e g a g r i d ) 的研究也取 得了一定的成果。 与网格技术一样，p 2 p 同样可以利用网络上的资源，实现文件共享、计算能力共享。p 2 p ( 对等计算) 技术目前已经可以被许多计算机用户用来实现文件共享，也有很多比较受欢 迎的应用产品：p r e e n e t ，g n u t e l l a ，t a p e s t r y ，p a s t r y ，c h o r d ，c a n 等。 网格和p 2 p 各自不同的特点，使得它们可以在某些方面形成互补。目前，许多研究人 员把p 2 p 方面的思想用到网格技术中或者把两者结合起来研究：设计了u p d f ( u n i f i e d p e e r t o - p e e rd a t a b a s ef r a m e w o r k ) 查询g r i d 环境下的资源，用p 2 p 方法定位g r i d 环境 下的资源，n a r a d a b r o k e r i n g 正是为研究p e e r t o p e e rg r i d s 结构而设计的，该 p e e r t o p e e rg r i d s 集成了计算网格、分布式对象、w e bs e r v i c e s 和p 2 p 网络等一些思想。 中南大学硕十学伊论文第一章绪论 1 2 网格计算技术概述 1 2 1 网格计算的概念与意义 网格是根据电力网的概念提出来的，网格的总体目标是在当前日益发达的网络传输基 础设旌的基础上建立信息处理基础设旌，将分散在网络上的各种设备和各种信息以合理的 方式“粘合”起来，形成高度集成的有机整体，向普通用户提供强大的计算能力、存贮能 力、设备访问能力及前所未有的信息融合和共享能力，其目标是希望接入网格系统的p c 能 够共享网格系统的资源，使用户在使用网格时，如同使用电力一样方便。 网格系统是一个计算机网络，它们彼此共事运算能力和存储资源，这一概念的意义是， 用户只要需要运算能力就能够获得，就象合上电闸就能够获得电流那样。 简单地讲，网格可以看成一台巨大的具有无限处理能力的超级计算机，一种能够实现 区域或全球合作或协作的虚拟科研和实验环境，支持以大规模计算和数据处理为特征的科 学活动，可以为最终实现网络虚拟环境上的资源共享和协同工作，实现面向产品全生命周 期集成提供了有效的解决思路。 网格计算，基于网格的闺题求解，是一种建立在网格基础设旌之上，使用与以往不同 的计算方式，它使人们可以以一种全新的更自由、更方便的方式使用计算资源，解决更复 杂的问题。 网格计算机扩展了以前十分有限的计算能力，在网格计算的支持下可以方便地完成许 多以前无法想象和无法完成的工作。网格突破了地理位置的限制，资源提供者和使用者完 全位置无关。网格打破了传统的共享和协作的限制。过去对资源的共享往往停留在数据文 件传输的层次，而网格资源的共享允许对资源进行直接的控制。 网格计算技术是高科技产业最热门的技术之一，它旨在充分利用现有资源的网肘为企 业节约计算成本。同时，作为一种新兴的造价低廉而数据处理能力超强的计算模型，必将 对计算机的应用及各行各业的信息化产生重大影响。 网格的建立，有利于各计算中心的资源共享，充分利用硬件和软件资源，在节约成本 的同时，还将使其在汽车、大型水电工程、石油勘探、气象气候、航空、交通、金融、医 疗等领域发挥空前的作用。随着连接到网格系统上的计算资源的增加，家庭p c 用户将能够 使用公、私机构提供的更快、更廉价的服务。 1 2 2 罔格的特点 网格作为一种新出现的重要基础性设施，和其他的系统相比，具有以下几个重要特点： ( 1 ) 资源种类多。网椿系统不仅资源种类繁多，而且每类资源有不同的属性。从资源的 本身的特性看，可以分为：计算资源、存储资源、网络资源、数据资源、知识资源。 中南大学硕+ 学位论文第一章绪论 ( 2 ) 动态性。网格环境下的一些资源本身具有动态性，例如，c p u 在处理任务的时候， 负载时刻在变化：网络链路带宽的流量也每时每刻都在变化中；内存的占有量随着进程状 态的变化而变化。在整个网格环境下，随着计算资源、数据资源等的不断的加入和撤消、 故障等原因，网格系统下的局部环境也在动态的改变着。 ( 3 ) 资源广泛分布与共享。网格系统的目标把位于不同地理位置的异构计算机、异构数 据库，贵重仪器、海量存储器等用高速网络连接起来，并用网格中间件( 网格资源管理系 统等) 把它们整合成一个虚拟系统。目标就是实现计算资源、数据资源、存储资源、信息 资源、知识资源和网络资源等的全面共享。 ( 4 ) 自相似性。网格的局部和整体之闯存在着一定的相似性，局部往往在许多地方具有 全局的某些特征，而全局的特征在局部中也有一定的体现。例如，我们可以建立一个校园 网格，所有的校园网格可以组成一个大的教育网格。 ( 5 ) 多级管理性。网格环境下的局部资源既属于个人或机构，由个人对其资源作相应的 管理和维护，又要在网格系统作整体部署的时候，由网格管理员根据系统里任务的情况统 一调度网格环境下的资源。 ( 6 ) 异构性。高速网络连接起来的各种资源是异构的，网格环境中具有各种不同类型的 计算资源、存储资源和网络资源。此外，各台计算机上的系统软件和应用软件可能不同。 1 2 3 网格的要求 对于网格提供的计算能力，有四个基本的要求，它们分别是可靠性要求，标准化要求 易访问性要求和价格低廉的要求”1 。 网格的可靠性是指网格提供的计算能力必须保证是持续、稳定和安全的，不应该因为 网格内部个别资源的变化而对网格应用造成影响，即网格内部局部资源的变动对网格应用 应该是透明的，就如同我们日常使用电灯时不应该因为个别发电厂临时出现什么故障而造 成整个电网电力供应的中断一样，电力网应该能够保证实时地从别的发电厂或者其它地区 的电网引入电力来弥补本地电力的不足，网格也应该能够保证提供持续、稳定的计算能力。 网格还应该满足各种形式的安全要求，比如数据传输的加密，权限的认证“1 ，避免非法入侵 和非法使用等，如果没有安全性保障，这种先进的计算服务就不能得到广泛的推广。 网格的标准化要求一方面是指网格资源之问应该有一个统一的可以相互访问的接口或 者协议标准，因为只有这样才能够实现网格资源的互操作从而实现充分的资源共享，标准 化是共享的前提：标准化”的另外一个含义是指网格对用户提供的计算能力应该满足一定的 标准，有一种比较统一的形式，从而便于以一种统一的方式进行访问，对于访问者来说， 不能因为时间、地点、具体的访问系统等的不同而要求不断改变访问形式，访问形式应该 有一致性，当然一致性的的提是网格必须提供给用户一个相对稳定的标准化接口。 网格的易访问性要求是指用户可以在任何时间，任何地点以自己习惯的统一的形式访 中南大学硕士学位论文 第一章绪论 问和使用各种网格资源。网格计算能力可以通过网格系统输送到任何角落，随处可得。换 句话说，在网格卜是没有资源处在什么位置的概念的，只有“在网格上”或者“不在网格 上”的区别，无论你在什么地方，网格资源都在你的旁边。人们以前在解决特定问题时或 许不得不到特定的地点来进行，比如到某一个单位去登记和使用特殊的仪器设备等，但是 在网格上解决问题时，不应该因为访问者或者资源所在地位置不同而受到限制。 网格费用的低廉性要求是网格能够被普遍接受和推广的前提，不管网格有多少优点， 如果大多数的使用者无法承受其费用，网格就不可能被普及，它的各种优势也就根本无法 得到体现。网格技术通过将资源充分共享，最大限度发挥资源的使用价值，可以将原来闲 置和浪费的资源收集起来供网格用户使用，而且可以避免以前由于地理位置限制所带来的 各种额外开销，显然网格对使用者存在着很大的降低于开销的潜力。 这些要求，都是网格需要解决的问题，也是网格技术发挥作用的地方。网格作为一种 新型而重要的基础设施，不是一夜之间就能够奇迹般地突然出现的，需要各个方而联合起 来共同努力才可以实现。 1 2 4 网格的关键技术 从以上所介绍的网格知识，我们可以总结网格系统有如下的关键技术： ( 1 ) 用户界面。网格应用技术为处理网格下层系统和用户之间的交互，一个友好的用户 界面对网格系统的用户来说至关重要的。 ( 2 ) 高速通信技术。网格系统要做到“即连即用”、用户要获得延迟小和可靠的通信服 务必须要有高质量的宽带网络系统支持。 ( 3 ) 网格安全技术。网格安全技术确保节点之间可靠的数据传输，可避免由身份验证、 访问控制和保密等网格安全问题引起的额外损失。g l o b u s 的安全基础构件工具包g s i ”1 实现 了通用安全服务编程接口g s s a p i ( g e n e r i cs e c u r i t ys e r v i c ea p i ) 、安全认证管理和用 户代理三部分。 ( 4 ) 资源管理技术。资源管理是网格系统的最主要的关键技术之，对于开发计算网格 系统具有重大的理论意义和实用价值。很多应用需要同时使用多个站点上的资源，站点自 治性和分配资源时可能出现的故障需要一种特殊机制来同时分配位于多个站点上的资源。 资源管理包括资源的组织、定位、发现、调度、分配、确认、进程创建以及准备所需资源 的其它活动。资源管理提供了管理的功能和概念，使网格系统能够被当作单一资源，系统 管理员根据预先定义好的标准通过资源管理软件确保资源的合理分配和使用，以最终达到 资源共享的目的。 中南大学硕士学何论文第一章绪论 1 3 研究工作概述 1 3 1 本文主要工作 网格和p 2 p 技术的发展会越来越成熟，而且出现了网格和p 2 p 技术相互融合的趋势， 同时对可扩充性、自适应性、易于使用性的要求也越来越高。在当前网格系统和p 2 p 系统 的基础上，作者根据它们某些方面的互补特性，尝试着将p 2 p 系统和网格系统相结合，提 出了一个p 2 p 和g r i d 混合的模型，并把信任度加入其中，使得g r i d 对p 2 p 结点的管理有了 服务质量的保证，从而使得对网格的管理更加方便和简单。本文的主要创新点如下： ( 1 ) 对p 2 p 环境和网格环境进行整合，提出p 2 p 和g r i d 的混合结构模型。 ( 2 ) 在所提出的p 2 p 和g r i d 结构模型中，提出了资源管理的关键技术，并运用d s 证 据理论，提出基于信任度的调度方法。 1 3 2 本文的组织 本文共分为六章，第一章绪论主要介绍了网格技术出现的背景、国内外研发动态以及 网格计算的概念与意义。第二章介绍了最为流行的网格体系结构：五层沙漏结构和开放网 格服务体系结构( o g s a ) 。第三章介绍了网格调度的体系结构以及网格调度的过程。第四章 提出了g r i d 和p 2 p 的结构模型，以及其体系结构的功能分析。第五章是g r i d 和p 2 p 的结构 模型资源管理关键技术的实现，重点突出了此模型中的资源调度的算法实现。第六章利用 实验分析了在此模型中的调度算法的性能。第七章是全文的总结与展望部分。 中南大学硕士学位论文第二章网格体系结构 2 1 网格体系结构概述 第二章网格体系结构 要建立一个优秀的网格计算系统，就必须对网络体系结构进行深入的分析和研究，网 格体系结构是构造网格的一个大的框架，构建网格系统的基础，它是关于如何构建网格的 技术，包括对网格各部分的功能定义和描述，相互联系和集成方法的规定，它是网格的骨 格和灵魂，是网格最核心的技术。网格体系结构一般可以分为m ：积木块结构( 哪些基本组 成模块) 、层次结构( 哪些层次) 、概念空间结构( 哪些不同的概念) 、混合结构、0 g s a ( 哪 些服务与接口) 。 到目前为止，比较重要的两种体系结构有：一个是f o s t e r 等在早些时候提出的五层沙 漏结构。”，另一个就是在以i b m 为代表的工业界的影响下，在考虑到w e b 技术的发展与影 响后，f o s t e r 等结合w e bs e r v i c e 提出的开放网格服务体系结构( o g s a ) “。 2 2 五层沙漏结构 网格计算目自i 广泛采用的系统框架是五层沙漏结构“”，它重要的思想就是以“协议” 为中心，也十分强调服务与应用编程接口( a p i ，a p p l i c a t i o np r o g r a m m i n gi n t e r f a c e ) 和 软件开发工具包( s d k ，s o f t w a r ed e v e l o p m e n tk i t ) 的重要性。 在五层沙漏结构中，共享的概念不仅仅是交换文件，而是更强调对计算机、软件、数 据以及其他资源的直接访问。该结构中的共享关系存在三种基本的形式，即客户端与服务 器( c s ) 的共享、端到端( p 2 p ) 的共享以及代理( p r o x y ) 共享。该结构中的共享还是一种随时 间变化的动态的共享，而不是静态的共享。 五层沙漏结构中另一个重要概念是“互操作“”，要实现互操作就必须有一个统一的协 议。五层沙漏结构首先是一个“协议结构”，通过协议可以实现一种机制，使得虚拟组织的 用户与资源之间可以进行资源使用的协商，并建立共享关系，还可以迸一步管理和开发新 的共享关系。这一标准化的开放式结构对网格的扩展、互操作、一致性以及代码共享都很 有利。 五层沙漏结构从上到下可以划分为五层，分别是应用层、汇聚层、资源层、连接层和 构造层。由于各层协议数量的不同，特别是其核心的部分，既要实现上层各种协议向自身 协议的映射，同时又要实现自身协议向下层协议的映射，并且核心协议在所有支持网格计 算的地方都应该得到支持，因此核心协议的数量不能太多，由于这个原因，造成了这种沙 漏式的结构，其中的细腰部分就是核心协议所在，在五层的沙漏结构中，资源层和连接层 中南人学硕士学位论文 第一二章网格体系结构 共同组成了瓶颈部分。五层沙漏结构的具体划分如图2 - 1 所示。 应用层 1 、i 具与豇氰? l ， 一 ! 。 、 目录代理 i 坚皂j ：诊断与监控等i _ 一一= 一 1 资源层 ；资源与服务! = = = = 型 ，的安全访问! _ 一 连接层 ， 、 构造层 存嚣瓣登商络文 图2 - 1 五层沙漏结构分层图 ( 1 ) 构造层( f a b r i c ) 。构造层面对的是一个个具体的物理或逻辑资源，它通过对这些局 部资源的管理，向上层提供对这些资源的管理和控制界面。 ( 2 ) 连接层( c o n n e c t i v i t y ) 。连接层主要是为下层的物理资源提供安全的数据通信能 力，这是资源之问进行互操作的前提，连接层使孤立的单个资源建立了联系。 ( 3 ) 资源层( r e s o u r c e ) 。资源层反映的是抽象的局部资源的特征，而资源集中起来，协 调解决多个资源之间的问题。 ( 4 ) 汇聚层。汇聚层主要协调各种资源的共享。 ( 5 ) 应用层( h p p l i c a t i o n ) 。应用层关心的是有什么样的资源可以由下面提供给虚拟组 织，以解决不同虚拟组织的具体问题。 五层沙漏结构并不提供严格的规范，它不是对全部所需协议的完整罗列、而是对该结 构中各部分组件的通用要求进行定义，并且将这些组件形成一定的层次关系，每一层的组 件具有相同的特征，上层组件可以构建在任何一个低层组件的基础之上。 2 3 开放网格服务体系结构( o g s a ) 五层沙漏结构虽然简单，但人们在研究中发现，在许多情况下复杂的服务或应用很难 分解为标准而低级的基本协议，而且人们在解决问题时也不习惯于按照协议的方式束进行。 鉴于五层沙漏结构的不足，f o s t e r 等人结合w e b 服务技术提出了一种新的网格体系结构： 开放网格服务体系结构( o g s a ) 。 开放网格服务体系结构( o g s a ) 将一切都抽象为服务，包括计算机、程序、数据和仪 器设备等。这种观念有利于通过统一的标准接口来管理和使用网络。w e b 服务提供了一种 基于服务的框架结构。但是，w e b 服务面对的一般都是永久性服务。而在网格应用环境中， 大量的是临时性的短暂服务。考虑到网格环境的具体特点，o g s a 在原来w e b 服务概念的基 础上，提出了“网格服务”( g r i ds e r v i c e ) 的概念”。用于解决与临时服务有关的服务发 中南大学硕+ 学位论文第二章网格体系结构 现、动态服务创建以及服务生命周期管理等闯题。 因此，o g s a 是一种以服务为中心的结构，一切都是服务，一个服务就是一个网络可达 的，并提供某些能力的实体：计算资源、存储资源、网络、程序、数据库及其他类似的资 源。服务遵循一套规范，使用w s d l 表示的。 o g s a 被称为是下一代的网格体系结构，其是在g l o b u s 基础上，结合最新的w e bs e r v i c e 技术提出来的，现以成为事实上的标准。o g s a 包括两大关键技术即网格技术和w e bs e r v i c e 技术。基于网格环境，o g s a 在原来w e bs e r v i c e 服务概念的基础上，提出了“网格服务( g r i d s e r v i c e ) ”的概念，用于解决服务发现、服务创建和服务生命周期管理等临时服务一些闯 题。 2 3 10 g 汰模型的优点 o g s a 模型具有以下优点：o g s a 中所有组件都是虚拟化的。通过提供一个所有g r i d 服 务实现基础的一致接口的核心集，使得分级的，更高级别的服务的构建能够跨多个抽象层 以统一的方式进行处理。虚拟化还促使从多个逻辑资源实例到同一物理资源的映射，不考虑 实现的服务组合。网格服务的虚拟化加强了通用服务语义行为无缝地映射到本地平台设施 的能力。 2 3 2 网格服务 网格服务是一种特殊的w e b 服务，它提供了定义良好的接口集合，遵循特殊的、为支 持网格而制订的规范。网格服务通过定义接口来完成不同的功能，服务数据是关于网格服 务实例的信息，因此网格服务可以简单地表示为“网格服务= 接口，行为十服务数据”。所以 网格服务，就是遵循特定协议的w e b 服务，提供完善接口定义。 o g s a 目前定义了几种接口 1 5 1 利用这些接口及其操作，就能实现网格服务的发现、动 态创建、使用期限管理、通知等最基本的功能。 ( 1 ) 动态创建服务。使用f a c t o r y 接口提供的c r e a t e s e r v i c e 操作可以创建网格服务， 每个服务实例都会被分配一个全局唯的名字，称为g s h ( g r i ds e r v i c eh a n d l e ) 。 ( 2 ) 服务使用期限管理。当客户端通过f a c t o r y 接口仓建服务实例时，可以指定期望使 用该服务的时间长度，f a c t o r y 负责选定一个初始使用期限返回给客户。之后客户也可以直 接通过g r i d s e r v i c e 接口提供的s e t t e r m i n a t i o n t i m e 操作来实现同样的功能。服务建立后， 客户通过定期发送k e e pa l i v e 消息来表明自己处于活动状态，超过使用期限或长时间未收 到k e e pa l i v e 消息后，服务器可通过d e s t r o y 操作终止服务实例。 ( 3 ) g s h 和g s r 的管理。g s h 和g s r 的管理首先要解决如何通过给定的g s h 来与对应的 网格服务建立通信。 ( 4 ) 服务数据和服务发现。支持服务发现的网格服务被称之为注册服务，注册服务定义 中南大学硕+ 学位论文 第二二章网格体系结构 了r e g i s t r y 接口，为g s h 的注册提供相应操作( r e g i s t e r s e r v i c e 、u n r e g i s t e r s e r v i c e ) 。 同时，通过g r i d s e r v i c e 接口定义的f i n d s e r v i c e d a t a 操作，可以获取注册过的g s h 的信 息。 ( 5 ) 通知( n o t i f i c a t i o n ) 。通知机制允许客户订阅自己感兴趣的通知消息，同时提供 异步单向的通知发送功能。 ( 6 ) 主键服务( p r i m a r yk e y ) 。如果f a c t o r y 支持网格服务实例发现，则客户端可以指 定一个主键给f a c t o r y 作为创建请求的一部分，这时客户端可以用这个键查询特定网格服 务实例的f a c t o r y 。 2 3 30 g s l 所谓o g s i 就是一套对网格服务所要遵守的规范和所要实现的接口的详细说明文档。 o g s i 使用w s d l 语占来定义这些规范和接口。o g s i 主要内容包括三部分： ( 1 ) 如何命名和引用网格服务的实例。 ( 2 ) 定义所有网格服务所共有的接口和行为。 ( 3 ) 如何制定一个附加的接口，行为，以及它们的扩展。 o g s i 规定所有网格服务都要实现包括服务发现，动态服务的建立，生存期的管理，通 告，可操控性等方面的预定义接口。o g s i 是开放网格服务该体系结构的基本组件，用于为 o g s a 软件组件提供最大的互操作性。0 6 s i 引入了一种网格服务的交互模型。通过提供发 现、生命周期、状态管理、创建与销毁、事件通知以及引用管理的接口，图2 2 中描述了 这些接口。o g s i 为软件开发人员提供了一种统一的建模和与网格服务进行交互的方式“”。 不论开发人员正在丌发的是网格服务还是应用程序，o g s i 编程模型都会为网格软件提供一 种一致的交互方式。 o g s i 、o g s a 和w e bs e r v i c e s 之间的关系：o g s a 把主要的网格技术和w e bs e r v i c e s m e c h a n i s m s 集成起来，在0 g s i 的基础上建立一个分布式系统构架”。如图2 3 的o g s a 描 述了它们间的结构关系。 图2 - 2o g s i 组件 中南大学硕士学位论文第二章网格体系结构 o g s aa r c h i t e c t u r e ds e r v i c e o g s i w e bs e r v i c e s 图2 - 3o g s a 结构 ，1 1 中南人学硕十学位论文 第二章网格调度 第三章网格调度 随着目前网络带宽和信息技术的快速发展，利用网络上多样的资源来协同解决复杂的 应用问题成为网格计算的研究热点问题。网络上那些异质异构的计算系统又称之为元计算 系统( m e t a c o m p u t i n gs y s t e m ) ，当前很多人做了许多相关的研究工作，如m s h n ，g l o b u s ，l e g i n 等都试图提供一套完整的服务和协议，使得用户可以透明的使用这些网格资源，来解决一 些复杂的计算问题。通常，这些资源是多样化的，如显示设备，数据存储系统等。如何有 效的利用这些网络上的的资源并满足用户需求是网格调度的根本任务。 3 1 网格调度概述 一个网格系统将提供大量多样化的网格服务，这些多样化服务之间如何进行交互呢， 如同电力网中需要有大量的变电站等设施对电网进行调控一样，网格系统中也需要需要有 一个可扩展的集成资源管理系统，我们称之为网格调度系统，虽然目前这样的调度系统还 不存在，但是可以预想，网格调度对网格计算来说是必不可少的。f o s t e r 在“t h ea n a t o m y o ft h eg r i d ”“”中提到几乎所有的网格应用都需要某种策略实现多资源之问的协调。网格 应用的另一个要求是，他们需要有别于当l i 分布式系统中使用的调度模型，这是在考虑到 网格应用面向的是异质异构的i n t e r n e t 环境，网格资源在一般情况下属于不同的领域，有 他们自己的访问方式。如在网格计算平台上的数据挖掘任务，处理数据分析的程序在一个 科研机构的服务器上，而所需要处理的数据却分布在另外的许多不同组织内。所以，在网 格资源管理中，不同的资源提供者的需求也是需要被考虑的，这为网格调度系统的设计提 出了新的挑战。 网格调度和传统的分布式操作系统调度系统不同就在于： 1 有效范围不同 网格调度器有效范围是i n t e r n e t ，网格环境下资源全局状态对调度系统而言是不确定 的。对一般分布式系统而言资源对调度器是可见的。 2 操作对象不同 传统调度系统面对的是组织内部的，执行实际任务的计算单元、存储单元。而网格调 度面对的是不同系统之间的调度实例，本身不涉及具体的资源。因此网格调度器又被称为 是元调度器，它是建立在现有调度系统之上的一层中间层，任务是为不同系统之间的调度 实例的协同工作提供标准的系统服务和协议。 3 标准开放性不同 由于不同的系统需要通过网格调度系统通讯，所以势必要求通讯协议的标准性和歼放 中南大学硕士学位论文 第三章网格调度 性，如o g s a ，w e bs e r v i c ex m l 等。而对于系统内部的调度器，可以根据自身的需要，综 合考虑性能等方面因素，定制自己的通信协议。 对网格资源的访问通常需要遵循资源管理者定义的访问权限、记帐、优先级和安全机 制，这些机制是由资源所在的不同系统来自主管理的。因此，支持自主系统之间交互的高 层调度服务( s c h e d u l i n gs e r v i c e ) 是进行网格调度的技术关键。同时，调度系统也需要根 据作业的实际情况( 批处理作业或者实时作业) 定义不同的调度策略以满足q o s 。这些将是网 格调度系统设计的基本原则。 有效使用网格资源需要强大和灵活的网格调度机制。网格技术的能够成功在很大程度 上决定与网格平台是否能够根据网格作业的内在联系以及用户需求自动进行扶网格资源发 现到任务分解以及作业运行时监控等一系列过程。 目前，通用网格调度体系结构没有一个事实上的标准。由于不同系统对网格调度的透 明性( 即不能干预到本地调度的具体调度细节) ，调度的基本思想就是通过调度器对外发布 标准的系统级网格服务如传输服务，作业运行时服务等，上层的网格调度系统通过调用这 些基本的网格调度服务，实现全局的资源协作管理。 当前g g f 标准在网格调度体系结构的研究做了许多贡献，如开放式网格体系结构o g s a 和o g s i 标准建议了两格服务的技术指针。另外，不少工作组致力于网格调度和资源管理的 研究，如g s a r gg r a a p 。g e s a ，g p a ，d r m a a h 和j s d l 。他们致力于网格调度中的协调，资 源预约，资源描述和服务分配等领域的研究。具体而言，g r a a p 工作组定义了调度协调和预 约工作方式，g e s a 发展了基于经济学的网格服务模型，g s a r g 则负责建立在这些服务之的， 通用多层次网格调度体系结构。 3 2 网格调度的体系结构 网格被认为是能够对远程资源的透明和高效的访问的，网格调度服务则是多样化网格 资源访问进行协调不可缺少的，这些资源包括可执行单元( 集群、工作站) ，网络带宽，数 据，存储资源和软件。网格资源从属于不同的组织，而且通常他们都有自己的调度羡略和 管理方式。网格调度体系结构必须对调度提供不同层次支持。 即使是对于网格上单一的资源，对资源的使用进行协调也是非常有必要的。例如一个 计算单元和一个可视化设备互联，这需要在任务进行中对这两者进行协调，使计算单元和 可视化设备能够协同工作。 对网格资源的组合需要相应的数据管理机制。实际上数据才是在使用网格资源时的连 接件( c o n n e c t i n ge l e m e n t ) ，数掘的存在形式可以是作为输沁输出元素或者贯穿于资源使 用的整个过程。因此，同步性和数掘备份对网撂调度系统而言是非常重要的。 将网格作业分派到网格资源需要在网格调度阶段完成一系列的处理步骤。如资源选择、 中南人学硕十学位论文 第二章网格调度 制订调度计划( 即调度过程) 、数据复制管理和i o 传输、作业运行时监控。这些任务必须 由一个建立在当前网格标准和规范之上的通用的网格调度系统支持。同时，网格调度系统 也为上层应用提供其他基本的服务。 对资源的使用情况可以被分为几个情形： 1 并行资源使用 当一个作业运行在不同系统中并且需要同步的使用网格资源。 2 串行资源使用 典型的，一个作业可以分为若干相互关联的步骤，这些步骤可以分散在网格上不同的 资源上执行。例如数据分析和分析结果显示就可以分布在两个计算网络上并行执行。 3 相互独立的作业对同一数据的访问 指一个组织的多个研究者共享一个网格数据库资源。例如，在高能物理研究领域，一 个非常庞大的数据集往往为一个极大的研究群体的所共享。显然，为了启动远程的一个工 作实例，将这样一个庞大的数据集传送过去不仅是耗时和低效的，同时也要求远程结点有 庞大的存储设备。一种替代的做法是可以适当的将数据复制到特定的位置上，从而使得多 个网格应用能够就近取得必要的数据而受益。这和我们比较熟悉的w e b 缓存策略是相类似 的。 在此基础上，6 g f 提出了网格调度平台的核心网格服务：作业监控服务，记帐服务，网 络管理服务，信息服务和数据管理服务等。他们之间相辅相承，构成了调度系统这一有机 整体。如图3 - 1 所示。 图3 - 1 网格调度平台结构 中南大学硬士学位论文第二章网格调度 3 3 网格调度过程 典型的网格调度包括以下的过程“： 3 3 1 作业提交 用户作业的执行通常会涉及到分布式数据，软件，网络资源，存储资源和软件资源， 另外用户可能对服务的质量有一定要求，如任务必需在什么时间之前完成。这些资源需求 可以通过脚本语言描述( 如r s l ) 提交给网格调度系统。 u s e rr e q u e s t ( r e s o u r c e d e s c r i p t i o n ，q o s ) 用户或应用定义需求后被提交给网格调度服务，网格调度服务负责根据这一需求找到 合适的资源。作业需求描述脚本包含了必要的信息足以判断资源是否能够满足这一需求。 作业描述脚本应该包含三方面的信息，一是作业本身的属性，如可以分为几个部分，相互 之间的先序关系，一般被并行化理论1 抽象为d a g 图的形式：第二是作业的约束条件，如 作业完成的时间限，服