（计算机软件与理论专业论文）基于qos的网格资源管理及容错策略的研究.pdf

基于q o s 的网格资源管理及容错策略的研究 中文摘要 基于q o s 的网格资源管理及容错策略的研究 中文摘要 网格资源管理系统是网格的核心组成部分。由于网格是一个开放、动态的互联网 并行环境，用户可以从网格的任何地方向网格平台提交应用，而且网格所固有的动态 性特征，使得网格资源、网络环境、管理策略都可能随时发生改变。因此，网格资源 管理系统的设计面临着许多的挑战。 本文首先对网格q o s 属性的总体框架进行研究，根据在网格应用过程中抽象出 来的相关q o s 参数，对网格q o s 的属性进行分类。再根据分类结果，对网格q o s 的 每个属性进行了量化。 网格q o s 属性种类繁多，如果全部满足则需要涉及到网格系统的各个方面。本 文选择了用户最关心的两个q o s - 调度q o s 和可靠性q o s ，设计并实现了满足调度 q o s 和可靠性q o s 的网格资源管理系统。本文使用线性回归的方法对任务的执行时 间进行预测，根据系统空闲和繁忙的情况，分别使用了贪心算法和遗传算法来满足调 度q o s ，通过多机备份的方法实现可靠性q o s 。 网格的动态性给任务的成功执行带来很大挑战，这主要体现在任务运行过程中资 源的退出或出错。因此容错策略的考虑是必不可少的。本文使用s i m g f i d 模拟器，通 过多次模拟资源出错的实验，分析出不同容错策略的优缺点。最后提出一个节点备份 的容错方法，实验证明，对于传输时间较长的任务，该方法优于传统的容错方法。 关键词：调度q o s ，可靠性q o s ，容错策略，节点备份 作者：马锋明 指导老师：朱巧明 a b s t r a c tr e s e a r c ho fg r i dr e s o u r c es c h e d u l i n ga n df a u l t - t o l e r a n c ep o l i c yb a s e do nq o s r e s e a r c ho fg r i dr e s o u r c es c h e d u l i n ga n d f a u l t - - t o l e r a n c ep o l i c yb a s e do nq o s a b s t r a c t g r i dr e s o u r c em a n a g e m e n ts y s t e mi st h ec o r eo ft h eg r i dc o m p o n e n to ft h eg r i d b e c a u s eo no n eh a n d ，g r i di sa no p e n ，d y n a m i ca n dp a r a l l e lc o m p u t i n ge n v i r o n m e n to nt h e i n t e m e t ，u s e r sc a ns u b m i tt h e i ra p p l i c a t i o n st ot h es y s t e ma n y w h e r e ，a n do nt h eo t h e rh a n d ， c h a n g e so fg r i dr e s o u r c e s ，n e t w o r ka n dm a n a g e m e n tp o l i c yp r o b a b l yt a k ep l a c ea t d i f f e r e n tt i m e t h e r e f o r e ，t h ed e s i g no fg r i dr e s o u r c em a n a g e m e n ts y s t e mi sf a c e d 谢t l la g r e a td e a lo fc h a l l e n g e s t h et h e s i sf i r s t l ym a k e sr e s e a r c ho nt h ef r a m e w o r ko fq o sp r o p e r t i e s ，a n dt h e n a c h i e v e st h ec l a s s i f i c a t i o no fq o sp r o p e r t i e so nt h eb a s i so fq o sp a r a m e t e r se x t r a c t e d f r o mt h ea p p l i c a t i o no f g r i d ，w h i c hs e r v e st ot h eq u a n t i z a t i o no fe a c hq o sp r o p e r t y c o n s i d e r i n gt h en u m e r o u st y p e so fq o sp r o p e r t i e s ，t h et h e s i sw o u l di n v o l v ea l l a s p e c t so fg r i ds y s t e mi fe v e r yt y p ew e r ec o v e r e d i nt h i sw a y , t h et h e s i sf o c u s e so nt h e s c h e d u l i n gq o sa n dt h er e l i a b i l i t yq o s ，w h i c ha r em o s tc o n c e r n e dt og r i du s e r s ，a n d d e s i g n st h eg r i dr e s o u r c em a n a g e m e n ts y s t e mw h i c h s a t i s f i e st h ep r e v i o u st w oq o s t h i s t h e s i sp r e d i c t st h et i m el e n g t ho ft a s kp o s s e s s i n gb yt h em e t h o do fl i n e a rr e g r e s s i o n ；i t t a k e st h eg r e e d ya l g o r i t h mo rt h eg aa l g o r i t h mr e s p e c t i v e l ya s t h es c h e d u l i n gm e t h o d w h i l et h es y s t e mi sf r e eo rb u s y ；a n dr e l i a b i l i t yq o si nt h i st h e s i si ss a t i s f i e db yt h eb a c k u p m e t h o do nm u l t i p l ec o m p u t e r s t h ed y n a m i s mo fg r i dt a k e sag r e a tc h a l l e n g et ot h es u c c e s s f u le x e c u t i o no ft h eg i r d t a s k s a n dt h ed y n a m i s mi so f t e nm a n i f e s t e db yt h eu n u s u a le x i to ro t h e re r r o r so ft h e r e s o u r c e sd u r i n gt a s kp r o c e s s i n g ，w h i c hs h o w st h a tt h ef a u l t - t o l e r a n c ep o l i c ys h o u l db e n e c e s s a r i l yt a k e ni n t oc o n s i d e r a t i o n w i t ht h eh e l po fs i m g r i d ，t h i st h e s i sa n a l y s e st h e m e r i t sa n df a u l t so fd i f f e r e n tf a u l t t o l e r a n c ep o l i c i e st h r o u g he x p e r i m e n t so nr e s o u r c e s 晰t hm i s t a k e so c c u r r i n g i nt h ee n do ft h et h e s i s ，i tp r o v i d e saf a u l t t o l e r a n c em e t h o d b a s e do nn o d e - b a c k u p ，w h i c hh a sb c c np r o v e db ye x p e r i m e n t st ob eb e t t e rt h a nt r a d i t i o n a l r e s e a r c ho fg r i dr e s o u r c es c h e d u l i n ga n df a u l t - t o l e r a n c ep o l i c yb a s e do nq o sa b s t r a c t o n e sw h e nl o n g e rt r a n s m i s s i o nt i m ei sr e q u i r e d k e yw o r d s ：s c h e d u l i n gq o s ，r e l i a b i l i t yq o s ，f a u l t t o l e r a n c ep o l i c y ，n o d e - b a c k u p i i i w r i t t e nb ym af e n g m i n g s u p e r v i s e db yz h uq i a o m i n g 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工 作掰取得的成果。除文中已经注明弓| 用的蠹容辨，本论文不含其他个人或集 体已经发表或撰写过的研究成果，也不含为获得苏州大学或其它教育机构的 学位证书两使用过的材料。对本文的研究作出重要贡献的个人和集体，均巴 在文中以明确方式标明。本人承担本声明的法律责任。 研究生签名：二黧耋蛆目期：丝蝉埤 学位论文使用授权声明 苏州大学、中国科学技术信患研究所、髫家图书馆、清华大学论文合俸部、 中国社科院文献信息情报中心有权保留本人所送交学位论文的复印件和电 予文档，可以采用影印、缩印或其德复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期恣的保密论文辨，允许论文被查阅 和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括 研究生签名；粗翻期：兰宝! 主f 芏 导师签名：秘期：占塑删 确 il 夕 l| 摹乎q o s 的阏格资源管理及容错策略的研究 第1 章绪论 1 。 课题背景 第 章绪论 网格q o s ( q u a l i t yo f s e r v i c e ) ，定义为一组服务集合的性能，该性能决定用户对 服务的满意程度。 先进的商业和科学应用经常需要使用那些昂贵的嵩性能和高端资源，这些资源 通常都是稀有的。如何有效地利用这些资源就需要一种能够对这个不断变化着的网格 环境进行管理的机制，因此面向q o s 的网格资源管理机制应运而生。网格计算q o s 的设计目标是提供给网格用户一个良好的服务质量，使网格上的所有资源易于协同工 作，服务于不同的网格应用，实现资源在跨组织( 自治域) 之间应用的共享与集成。 一方面不同的网格用户有着不同的q o s 要求，有的用户对网格服务的执行速度 有较高的要求；有的用户希望网格服务有较好的可靠性；有的用户则对安全性更为重 视。另一方面，网格系统本身的机构也很复杂，资源计算能力的大小，不同带宽，乃 至资源上算法的不同都会导致不同质量的网格服务。因此需要对网格q o s 属性的进 行分类，同时为了便于资源管理器的使用，还需要对各个不同的q o s 属性进行量化。 对于普通用户而言，最关心的往往是调用服务能否能及时地完成和完成的可靠性。 随着网格计算规模的逐渐扩大与复杂度的不断提高。系统中某些构件的失效概 率也不断提高。网格计算中的应用任务具有计算量大、周期长的特点，所以在无容错 措施的情况下，生命期较长的进程就可能由予出错而不得不重新启动，与该进程相关 的其它进程也可能需要重新启动才能使整个系统重新进入一致状态，这样间接降低 了网格资源的利用率，影响了整个系统的性能。因此，容错系统的设计在网格中是不 可或缺的课题。 1 2 研究现状 在网格q o s 参数特性的研究方面，r a s h i dj m - a l i 等学者在文献【1 l 中将网格q o s 的参数划分成a c c o u n t i n gq o s 、s e r v i c eq o s 、p r o v i s i o n a lq o s 、s e r v i c er e l i a b i l i t y 和 s e r v i c es e c u r i t y 等五种类型，其中a c c o u n t i n gq o s 是指服务代价q o s ，s e r v i c e r e l i a b i l i t y 是指服务可靠性q o s ，s e r v i c es e c u r i t y 是指服务访问控制等安全q o s ， 第l 章绪论基于q o s 的网格资源管理及容错策略的研究 s e r v i c eq o s 是指那些对q o s 起主要决定作用的q o s 属性，这些属性的q o s 值在整 个服务过程中是必须要保证的，p r o v i s i o n a lq o s 是指那些q o s 参数值可以在一定范围 内变化，但对最终服务结果不会产生影响的q o s 属性。 针对网格任务调度，出现了一些在经典算法基础上的改进算法，文献【2 j 先使用贪 心算法在执行速度最快的资源上分配任务，然后通过调整负载最高的资源和最低的资 源上任务的分配，达到快速的负载均衡。文献【3 】通过资源要求高的任务和资源要求低 的任务分别应用传统的m i n - m i n ，算法，缩短作业总的执行时间( m a k e s p a n ) 。文献1 4 使用了遗传算法与模拟退火算法相结合的方法解决网格工作流的调度问题，其结合方 法是先通过遗传算法的进化操作找出较优良的一个群体，再利用模拟退火算法的退火 操作来进行进一步基因个体的优化调整。 同时也出现了一些基于q o s 的调度算法，主要是将一些改进算法在性能评价指标 上增加了对q o s 的性能评价，文献【5 】提出了q o s 为导向的m i n m i n 算法，该文的q o s 是指在需要调度的一批任务里，选择可以最先完成的那个任务进行调度，该文同 时也提出利用任务的历史执行记录估计执行时间的方法。文献【6 】定义了t i m e l i n e s s ( 截止时间) ，r e l i a b i l i t y ( 可靠度) ，s e c u r i t y ( 安全性) ，p r i o r i t y ( 优先级) 的q o s 要求，t i m e l i n e s s 取值为0 或1 ，其余值为 0 ，1 】间的浮点数，通过计算这四个值的 积做为q o s 的衡量值，使用该q o s 值比较了m i n m i n ，遗传算法和最小空闲时间优 先调度算法的调度效果。文献 7 1 考虑了响应时间，花费，可靠性，可提供性和声誉五 个q o s 属性值，将五个q o s 属性值归一化后的和作为综合q o s 衡量值，任务的调度 方法是遗传算法。文献【8 】构建信任q o s 的模型，该文定义信任q o s 为安全性q o s 和 可靠性q o s 的积，并在三种信任关系需求( 强信任关系，弱信任关系和无信任关系) 下定义了安全性和可靠性q o s 的计算公式，其调度算法为顺序为三种信任关系需求 的服务集合作调度。文献【9 】提出了一种确定理论描述信任q o s 评价模型，其信任q o s 值通过网格节点之间的交互的历史情况来评价，该文将相互之间评价结果也作为一 种交互历史。文献【l o 】研究了了网格q o s 在网格服务工作流中应用，其考虑的q o s 属 性有e x e c u t i o np r i c e ，e x e c u t i o nd u r a t i o n ，r e p u t a t i o n ，s u c c e s s f u le x e c u t i o nr a t e ，a v a i l a b i l i t y ，对单独执行的任务使用五个q o s 加权平均的方法计算综合 q o s 衡量值，对并行执行的任务分别选择一定的o o s 属性进行满足。 目前的网格容错研究大致有以下三类工作： 2 基于q o s 的网格资源管理及容错策略的研究 第l 章绪论 第一是容错框架的研究。研究如何将容错加入网格系统，根据网格系统的要求灵 活的使用现有的网格策略，体现了网格系统中容错机制从无到有带来的益处。如文献 【1 1 】提出了基于a g e n t 技术的容错框架，分析了网格中各种错误情况的处理，每个a g e n t 负责一类错误；文献分析了随机p e t r i 网与网格的共同点：并行性，随机性，异步 性等提出了基于p e t r i 网的网格计算容错模型；文献将容错模型加入了o g s a 框架， 对服务调度，信息服务，应用服务等提供了容错支持。以上文献都属于容错方法在网 格系统中的应用。 第二是具体容错方法的研究。文献【1 4 】使用改进的蚂蚁算法为出错的任务重新选择 资源，是种改良的重试容错方法；文献【1 5 】根据系统的安全等级变化使用最高百分之k 备份算法对传统的固定资源数目的备份算法进行了改良；文献【1 6 】比较了不同的检查点 编码算法对容错效果的影响。以上三种方法分别是重试，多机备份和检查点方法三者 的改良。 第三是从网格拓扑结构去研究容错算法，这类方法称作容错路由算法，针对的是 具有特殊拓扑结构的网格环境，文献【1 7 】提出二维网格中基于最小通路区的自适应和最 小容错路由算法；文献【1 8 】提出反图对角网格中可容错的自适应路由算法。它们主要的 研究的是在特定的网络拓扑结构下，如何解决网络传输的容错，不适用于一般拓扑结 构下的网格环境。 1 3 课题意义及内容 用户同网格之间的交互方式通常是询问服务的方式，而网格中服务的好坏是根 据它所提供的服务质量即q o s 所评判。由于网格服务最终需要在资源上执行，因此 q o s 是设计网格资源管理系统时不可缺少的考虑因素。 网格的动态性和自治性等特征给网格系统的成功有效运行带来很大的挑战，为了 使网格能提供有效、可靠的服务，容错策略是必须的，然而不同容错策略有着不同的 容错效果，根据网格环境里资源出错情况的不同和用户的不同q o s 需求选择合适的 容错策略也是值得研究的课题。 本课题主要包括以下几方面的内容： 1 网格q o s 的属性研究。 本文首先对网格q o s 属性的总体框架进行研究，根据在网格q o s 应用过程中抽 第1 章绪论 基于q o s 的网格资源管理及容错策略的研究 象出来的相关q o s 参数，对q o s 的属性进行分类。然后根据分类结果，对网格q o s 的层次结构进行分析与设计。最后给出用户的q o s 需求描述以及网格q o s 的映射机 制的设计。 2 提出基于调度q o s 和可靠性q o s 的资源管理方法。 这两类q o s 直接对应用户提交任务的截止时间，完成的可靠性，是本课题的研 究重点。对于调度q o s 分别在系统空闲和繁忙的时候采用贪心算法和遗传算法，而 对于可靠性q o s 的保证，本文采用了多机备份的方式。 3 常用容错调度方法的比较。 资源的不稳定性是网格环境的一个本质特征。为了保证网格中的任务能顺利完 成，网格研究者已经提出了不少容错调度方法。本文分别从批量任务的平均完成时间 和最终完成时间两方面来对目前最常用的四种容错方法进行了比较。对于传输量较大 的任务，如果备份功能全由调度节点承担，调度节点将会造成性能瓶颈，因此在本文 最后提出了基于节点备份的网格容错方法。 1 4 本人工作 1 研究了网格q o s 的特点，分类，以及各个网格q o s 属性的量化表示方法。 2 针对调度q o s 要求，研究了网格中任务执行时间的预测方法，提出了基于资 源预留的任务安排方法，设计了任务计划表，并采用了贪心算法和遗传算法 相结合的方式生成任务计划表，指导任务的调度。 3 针对可靠性q o s 要求，采用了多机备份的容错方案对任务执行的可靠性给予 保证，并设计了加入可靠性考虑后任务计划表的生成方案。 4 研究了四种常用的四种容错调度算法，并在s i m g f i d 模拟器环境下实现这四 种容错策略，分析它们对批量任务的平均执行时间和最终完成时间的影响。 5 对于传输时间较长的任务，设计节点备份的容错调度策略，并在s i m g r i d 模 拟环境下加以实现，将它和重试容错方法，双机备份做了比较。 1 5 论文结构 第一章，绪论。介绍本课题的背景、研究现状、课题意义，内容以及本人所作的 工作。 4 基于q o s 的网格资源管理及容错策略的研究 第1 章绪论 第二章，介绍了网格q o s 的特点，层次分析，分类以及属性的量化公式，最后 提出了本课题重点考虑的q o s 属性。 第三章，基于调度q o s 、可靠性q o s 的资源管理策略。调度q o s 保证任务能够 在所指定的时间内完成，调度q o s 这一节先介绍如何使用线性回归的方法估计任务 的执行时间；然后设计了用于资源预留的任务计划表，描述了如何使用贪心算法和遗 传算法生成任务计划表以满足调度q o s 。可靠性q o s 保证任务在一定的可靠概率完 成，本文使用多机备份的方法保证可靠性q o s 。在本章最后的实验部分给出了任务执 行时间的预测实验。 第四章，介绍了网格里常用容错策略并对其进行比较。实验通过s i m g r i d 模拟器 模拟多种资源出错情况下各种容错方法的表现，并对实验结果进行分析，从而给出了 各种容错方法的适用场合。 第五章，针对传输量较大的任务，本章提出了基于节点备份的容错方法，并与传 统的容错方法进行了比较，由于节点备份的方法依赖于任务的传输时间和执行时间的 比率，本章也给出了节点备份方法的适用环境。 第六章，总结和展望。总结本课题的研究成果，并指出了本课题提出的资源管理 模型和容错策略分析存在的不足和有待改进的方向。 第2 章网格q o s 的属性分类以及量化基于o o s 的网格资源管理及容错策略的研究 第2 章网格o o s 的分析 服务质量是个综合指标，用于衡量用户提交一个任务后，对该任务完成情况的满 意程度，它描述了关于一个服务或一个资源拥有的某些性能，这些性能可以转化成用 户可理解并接受的一组参数。也可以认为，q o s 是指服务的使用者同服务的提供者之 间的关于服务所能提供的质量的一种约定。该约定可以被理解为服务提供者与用户之 间的一份服务契约，即服务提供者承担给定的服务质量。对于不同的对象，q o s 的意 义也各不相同，并且可有不同的描述。对于网格用户来说，可以从网格服务整体性能 的角度出发，提供一种较粗粒度的q o s 描述，将q o s 需求简略地描述为较低、中等、 较高等，而对于提供具体服务的底层物理资源来说，q o s 性能往往通过一组很具体的 同资源本身属性相关的性能参数来描述。为了保证用户q o s 需求额以及对网格内部 所有异构共享资源合理有效的管理，在进行资源分配时需要根据用户的q o s 需求同 资源提供者或资源管理中心进行q o s 协商。 2 1 网格q o s 的特点 在面向服务的网格环境下，由于资源的动态变化和虚拟化技术的使用，使得网格 有着不同于多媒体信息网络的q o s 特征，本节从资源虚拟化、逻辑资源与物理资源 的关系两个方面对网格q o s 的特点进行系统化的分析。 2 1 1 资源虚拟化 分散在网络中的共享资源是异构多样的，这种异构性不仅表现在各共享资源的本 地管理策略、资源所在平台等可以不同，还表现在资源种类多种多样，如有以硬件形 式存在的计算资源、存储资源和各种设备等，有以软件形式存在的软件、数据库和其 他各种信息等。为了达到充分的资源共享和协作使用的目的，在面向服务的网格环境 中，采用了资源虚拟化技术，即将不同的资源实现封装成一个通用的服务接口，并且 这些服务接口有着统一的服务语义。通过资源的虚拟化可以实现多个异种平台对资源 的一致性访问，并提供本地或远程定位透明性，还可以将多个逻辑资源实例映射到同 一物理资源。同时，服务的虚拟化也支持将通用服务语义行为无缝地映射到本地平台 6 基于q o s 的网格资源管理及容错策略的研究 第2 章网格q o s 的属性分类以及量化 设施。 由于q o s 最终是以用户可理解的语言表述为一组参数，因此不同种类的资源服务 应该有不同的q o s 参数列表，如对于计算资源而言，用户更关心资源的运算速度、 可负载能力等计算能力方面的q o s 参数，对于存储资源而言，用户更关心资源的存 储容量、存储速度等存储性能方面的q o s 参数。而在网格环境下通过资源虚拟化技 术使得所有的资源都统一虚拟抽象成服务，并且这些服务都基于相对统一的核心接口 实现，因此如何合理的对网格中的异构资源进行分类，并针对不同种类的资源制定一 个较通用的q o s 参数列表是网格q o s 领域一个重要而迫切的工作。只有在资源种类 划分和相关种类资源的q o s 参数集上形成一个相对统一的标准以后，才可能在这些 核心接口的定义上支持网格q o s 方面的需求。 2 1 2 逻辑资源与物理资源 在网格环境下，由于物理资源相对用户而言是透明的，因此，网格用户只关心 v o 中逻辑资源的q o s 。但逻辑资源q o s 又不完全决定于物理资源的q o s 。 因此，物理资源的q o s 特性并不能直接代表v o 中逻辑资源的q o s 特性，本地 任务的负载情况、资源共享策略等都直接影响着逻辑资源的服务性能。为了准确刻画 网格资源的q o s ，需要对物理资源q o s 和逻辑资源q o s 加以区分。 2 2 网格q o s 的层次结构模型 在网格环境下，由于物理资源层对用户是透明的，而网格服务的q o s 又必须要通 过物理资源层q o s 参数的调整来保证，因此，虚拟组织层的各类q o s 参数必须要映 射转换为物理资源层相应的q o s 参数。同时，由于网格服务可跨层抽象的特点，使 得一个抽象级别较高的网格服务由多个抽象级别低的子网格服务组织，因此，如果终 端用户只从网格服务的整体q o s 需求出发，提出简略的q o s 需求，则系统必须能够 将这种简略的q o s 请求分解成各子服务的具体的q o s 参数。综合考虑网格用户不同 形式的q o s 需求和网格服务提供者的义务，在对虚拟组织层q o s 参数分类的基础上， 绘制出网格q o s 的层次结构模型图( 图2 1 ) 。 7 第2 章网格o o s 的属性分类以及量化基于o o s 的网格资源管理及容错策略的研究 图2 1 网格q o s 的层次结构模型 最上层是应用层网格服务层，在该层q o s 参数的定义上，网格服务提供者一方 面需要提供有关服务安全、信任和记帐等三个方面的描述性q o s 参数，另一方面需 要给网格服务确定凡个不同的q o s 等级，如较差、一般、较好、最好等，以满足终 端用户在功能性q o s 方面可能的简略请求，同时，为了满足终端用户在功能性q o s 方面可能会提出具体q o s 参数的请求，服务提供者还要给出不同q o s 等级所对应的 网格服务在系统q o s 和逻辑资源q o s 方面的具体参数。由于网格服务可以跨层抽象， 因此，网格服务可能是一个单一的服务，也可能是由一系列的子服务所抽象成的网格 服务工作流。对于网格服务是由子服务组成的情况，服务提供者在确定网格服务的 q o s 参数时，需要从各子服务相关参数定义的语义出发进行统一抽象，确保高层服务 能够获得一致的服务质量。 第二层为虚拟组织层，该层q o s 参数是上层网格服务的q o s 参数在虚拟组织中 的映射。对于描述性q o s 参数，网格服务可以基于服务的语义描述映射成各自的安 全q o s 、信任q o s 和记帐q o s 等三种类型的属性q o s 参数。对于功能性q o s 参数， 在虚拟组织层，服务提供者需要分别给出每个服务不同q o s 等级所对应的系统q o s 和逻辑资源q o s 的参数值。 最底层为资源设备层，该层q o s 参数是虚拟组织层中各q o s 参数在物理平台上 的映射。 8 基于o o s 的网格资源管理及容错策略的研究第2 章网格q o s 的属性分类以及量化 2 3 网格q o s 的分类 由于具体网格环境中的q o s 参数是丰富多样的，为了更好地归纳网格q o s 参数 的特点，需要对网格q o s 的众多参数进行分类。文献【2 l 】提出了基于五层沙漏协议模 型的网格体系结构，从上到下分别应用层、汇聚层、资源层、连接层，构造层。在不 同的层次中，q o s 参数的属性有着不同的描述标准，从而有着不同的q o s 参数分类 方案。最上层的是应用层q o s ，这一层o o s 往往粒度较粗，用户从该层提出对整个应 用的q o s 的一个抽象描述，这样的分类很难对q o s 参数进行具体描述，失去了o o s 服务保障的意义；而在底层的资源层到连接层之间，q o s 的粒度变得很细，往往可以 很具体地表示物理资源的q o s 属性，但这样分类会导致底层的物理资源结构对用户 不透明，这违背了网格的基本思想( 资源虚拟化) ，而且也增加了q o s 参数的统一难 度，而将q o s 在汇聚层分类能够较好地反映q o s 参数的特性。因为网格的任务调度 在资源汇聚层实现，所以在资源汇聚层进行q o s 参数的分类也便于调度中心在调度 过程中实现应用层q o s 同物理资源层q o s 之间的相互匹配。 根据以上的讨论，同时参考了文献【2 2 1 ，在资源汇聚层对q o s 的参数进行如下分 类：调度q o s 、资源q o s 和辅助q o s 。其中资源q o s 又可细分为计算资源q o s 、数 据资源q o s 和网络资源o o s 辅助q o s 可细分为安全q o s 、费用q o s 和信度q o s 。 整个q o s 分层如下图( 图2 2 ) 所示。 图2 2 网格0 0 $ 框架图 9 第2 章网格q o s 的属性分类以及量化基于q o s 的网格资源管理及容错策略的研究 2 3 1 调度q o s 调度q o s 是由服务消费者对应用或者服务所提出的具体影响应用调度与执行的 q o s 参数，这些参数不能简单映射成资源或者辅助q o s 参数，这类参数在任务的调 度中起决定性评价作用，如d e a d l i n e 以及平均响应时间等的约束。用户在任务提交时 提交一个任务的完成时限，表示任务必须在此时间之前完成。这个q o s 参数值不能 直接转化成某类具体的q o s ，它只是在任务进行q o s 协商、调度及建立提前资源预 留时进行评估。调度q o s 是任务进行q o s 协商以及调度时的重要决定因素。 2 3 2 安全q o s 网格是由属于不同虚拟组织的各种非专注资源组成的。一个被部署到远程节点运 行的任务可能因为该节点遭到其他的一些远程节点的恶意攻击而导致失败。安全q o s 是由服务或资源提供者提供的，用来表示该资源节点或服务本身能够提供给远程任务 的安全级别和网格服务访问控制策略等方面的q o s 参数。网格服务访问控制策略q o s 是指能够提供安全的用户访问管理，包括合法的用户登录以及相应的操作的权限值。 2 3 3 可靠性q o s 网格资源是动态加入与离开网格组织。若调度器将一个任务安排到某个即将离开 组织的资源时，则该任务的完成将会受到影响。虽然每个资源的加入与离开是不可测 的，但是可以统计出每个资源在历史一段时间内的活动规律，从而得出该任务在该资 源上能正确完成的概率。可靠性q o s 是保证任务在网格系统中正确完成的概率能够 达到用户或者系统预定的期望值。 2 3 4 费用q o s 在当前这个以经济为主导社会当中，网格的资源共享特征使得资源提供者对其 所共享的资源要进行合理的收费，当调度中心将资源消费者所提交的任务分派到某个 资源节点上执行时，它要向相应的资源服务提供者支付相应的费用。每个资源提供者 可以针对自己的情况以及资源市场的供需情况对所共享资源设计不同的计费策略；也 可以根据不同类型的用户，不同的任务甚至是不同的时间段制定不同的计费策略。费 用q o s 即为对该任务在某个资源上执行所花费代价的一个评估。在资源管理中考虑 1 0 基于o o s 的网格资源管理及容错策略的研究 第2 章网格q o s 的属性分类以及量化 费用q o s ，使得任务的执行费用满足资源消费者在提交任务时所要求的服务代价。 2 3 5 计算资源q o s 计算资源q o s 是由网格计算资源或服务提供者所提供的，用来描述计算资源节 点属性的一组q o s 参数。计算资源q o s 是从资源汇聚层抽象出来的，一组基于相应 的物理计算资源属性、本地负载情况以及资源共享策略的能够反映计算资源整体服务 性能的q o s 参数。其中包括c p u 速度、内存容量、操作系统版本等。 2 3 6 数据资源q o s 数据资源q o s 是由资源或服务提供者所提供的，用来描述数据资源节点属性的 一组q o s 参数。在广泛的网格应用当中，存在着某类对数据量要求很大的数据密集 型应用。其需要从分布式的数据库或文件存储系统中访问大量的数据用于计算。数据 资源q o s 参数用来描述该数据节点能否提供满足要求的数据，使得服务消费者能够 获得满意的数据资源q o s 质量。其中包括数据完整性、数据存储质量以及数据可用 性等。 2 3 7 网络资源o o s 网络资源q o s 是由资源所在虚拟组织提供的，用来描述两个资源之间网络性能 参数的q o s 参数集合，比如网络延时、吞吐量、网络带宽、抖动以及网络丢包率等。 这些因素在任务的分配以及任务数据的输入输出方面都起着非常重要的作用。任务可 能因为较差的网络q o s 而导致获得较差的总体服务质量。 在以上讨论的七种类型的q o s 参数中，计算资源q o s 、数据资源q o s 以及网络 资源q o s 对于资源所提供的服务性能起着决定性的影响，把它们三个统称为资源q o s 参数。而安全q o s 、可靠性q o s 和费用q o s 等三种类型的q o s 参数都属于网格资源 辅助方面的q o s ，用户大多数情况下没有办法决定资源q o s 和辅助q o s 参数的具体 值，往往只是提交一个较粗粒度的q o s 级别需求，能够明确给出具体描述的只有调 度q o s 。 第2 章网格q o s 的属性分类以及量化基于q o s 的网格资源管理及容错策略的研究 2 4 网格q o s 属性的量化 为了能够在资源管理的过程中充分考虑上一节中介绍的各个q o s 参数，不仅要 能对其进行定性的分析，还要能够定量地度量各个q o s 参数以供任务调度算法进行 参考。其中，资源q o s 中的大多数参数可以直接由用户或者资源提供者表示成定量 的q o s 参数值，如计算资源的c p u 速度为1 0 gf l o p s ，数据资源的数据完整性为9 0 ， 网络资源的带宽为l o o m s 等。但是对于辅助q o s 、资源q o s 和调度q o s 中的一部 分参数不能由用户或者资源提供者直接定量给出其具体值，因此网格q o s 资源管理 机制需要对这些定性的q o s 参数进行相应的量化。 在上述这些不能直接提供定量值的q o s 参数中，本文考虑可进行量化的q o s 参 数有任务的响应时间、资源信任度、任务执行成功率、结点可靠率、使用价格、安全、 数据质量等。参照文献口3 】具体的q o s 参数量化方法如下： 2 4 1 响应时间( q i j k - r e s p o n s et i m e ) 响应时间是指任务i 被分配到主机j 上执行且其该任务的输入数据由数据仓库k 提供时的需要的完成时间。 q i j k r e s p o n s et i m e = 计算时间+ 中间态消耗+ 网络传输时间+ 资源可用时间 计算时间= 任务计算量c p u 速度 中间态消耗= 调度时间+ 分配时间 网络传输时间= ( 输入数据+ 输出数据) 网络带宽+ 延迟 资源可用时间= 该资源的最早可开始时间s t a r t 0 1 0 2 4 2 资源信任度( q r e p u t a t i o n ) 资源信任度是指任务提交者对资源集中的某资源j 能完成其任务的信任程度。j 资源的信任度可分为直接信任度与间接信任度。资源信任度的相关参数较多，资源信 任度c 可以表示成资源性能p 、资源忙碌程度i 、资源执行作业的历史h 、资源在线率 v 和时间t 函数，用公式表示为e = o ( p ，i ，h ，v t ) 。 q j r e p u t a t i o n = gh ( p ，i ，h ，v ，t ) 幸+ g 闻接，i ，h ，v ，t ) 其中，钆与纰是系统中直接信任度与间接信任度之间的加权系数。 1 2 基于q o s 的网格资源管理及容错策略的研究第2 章网格q o s 的属性分类以及量化 2 4 3 任务执行成功率( q j s u c c e s s r a t e ) 任务执行成功率是反映这个节点成功执行任务的比例。 q s u c c e s s r a t e = 该资源上成功执行的任务所有提交到该资源上的任务 2 4 4 可靠率( q j a v a i l a b i l i t y ) 可靠率用来表示节点可以正常工作的概率。 q i a v a i l a b i l i t y = 平均无故障时间( 平均无故障时间+ 平均修复时间) 2 4 5 使用价格( q j p r i c e ) 使用价格是表示某任务在该资源上执行所需要花费的代价。不同的设备在单位时 间上所需要的代价各不相同。 q j p r i c e = q i t i m e 拳单价 2 4 6 安全( q j s e c u r i t y ) 安全体现了节点所提供的访问以及执行的安全级别。 每一个用户对于其中请的任务和数据都会有不同的安全级别的要求，如真实性、 机密性和传输完整性等。数据的机密性和传输完整性是数据安全的两个非常重要的部 分，数据机密性处理确保数据不会被他人所获得，数据的传输完整性主要考虑的是确 保所传输的数据的正确性和精确性，即不会在传输过程中被篡改。 q j s e c u r i t y = 真实性幸眈+ 机密性木+ 传输完整性纹 其中，纹是真实性，机密性和传输完整性之间的加权系数。 2 4 7 数据质i ( q j d a t a q u a l i t y ) 数据质量表示的是数据节点所提供的对该节点上存放的数据的质量进行评价。 q j d a t a q u a l i t y = 数据质量级别吃+ 数据完整性魄 其中与魄是数据质量级别和数据完整性之间的加权系数。 以上所考虑的这些q o s 参数都是存放在网格资源管理中心的，以防止某单个资源 节点的欺诈行为，并且随着任务的执行和时间的推移不断地进行动态的更新。 第2 章网格q o s 的属性分类以及量化基于o o s 的网格资源管理及容错策略的研究 2 5 小结 全面考虑本章2 3 节提到的网格q o s 属性是个庞大的课题，将会涉及到网格的各 个方面。其中计算资源q o s ，数据资源q o s ，网络资源q o s 是来自网格环境本身的 q o s 要求，调度q o s ，安全q o s ，可靠性q o s 和费用q o s 是用户使用网格时提出的 q o s 要求，费用q o s 的设置将与具体的任务类型和长度有关，而安全q o s 只有在用 户登陆或者执行特殊任务的时候才需要考虑。一般用户最关心的往往是完成任务所需 要的时间和任务执行的成功率，因此，本文设计的网格资源管理系统重点考虑的q o s 属性为调度q o s 和可靠性q o s 。 1 4 基于q o s 的网格资源管理及容错策略的研究 第3 章网格资源管理和调度策略 第3 章网格资源管理和调度策略 资源是网格中的主要对象，网格的目的就是要管理好网格中的各种资源，为需要 资源的用户提供透明一致的访问接口。资源管理需要解决的问题有资源的描述、命名、 发现和管理等。 管理系统由受管对象和管理者构成，受管对象是网格上的各种资源，管理者是网 格资源管理中心。资源管理中心对资源的管理仅仅是管理资源拥有者授权的管理，而 资源的控制权仍然在资源所有者手中。 3 1 网格资源管理系统介绍 3 1 1 网格资源管理系统的类型 在资源管理系统中，有资源请求者、资源中介者和资源提供者三个实体，分别扮 演三种角色。资源中介者也就是资源管理器。根据资源管理过程中信息流动路径的不 同，资源管理系统有三种形式： 1 直线型。资源请求者向资源中介者提出资源请求，资源中介者为用户寻找合适 的资源并驱动资源工作，为用户提供服务。结果仍然是通过资源中介者返回给资源请 求者。 2 折线型。用户向资源中介者提出请求，资源中介者为用户找到合适的资源并把 资源标识和使用资源的接口信息返回给用户。用户根据返回