（计算机应用技术专业论文）集群环境下网格性能监控与qos度量探索.pdf

摘要 随着网格应用逐步开展，用户对于网格服务质量的要求越来越高，网格q o s 成为网格技术研究中的热点之一。由于网格构成的复杂性，网格q o s 也非常复杂， 网格q o s 可以按照虚拟组织层分类。其中系统资源q o s 是反映系统性能及运行状 况的重要指标，也是网格作业调度的一个重要参数。系统资源q o s 可以通过网格 监控获得的系统信息进行度量。 为了获得系统资源q o s 的度量，本文从信息监控入手，建立了一个在集群环 境下的网格信息监控系统框架。并且在此框架基础上提出了一个系统资源q o s 度量的方法。本文通过网格监控进行系统信息采集和管理，然后根据q o s 度量计 算方法计算q o s 值，以此得到量化的系统资源q o s 。并且在校园网格应用中做了 一些适应性尝试。这项工作不仅完成了实时的网格环境下的监控，而且在网格系 统资源q o s 的评价体系建立方面做了尝试，为网格管理及调度优化提供了一个依 据。 本文主要做了以下几方面工作。首先，在文中对网格q o s 在虚拟组织层重新 分类，使得分类后的系统资源q o s 可以量化度量。其次，设计了有网格监控及 q o s 度量系统的软件框架。最后，在河海校园网格环境下实现了部分功能，为提 高河海校园网格的服务质量做了一些工作。 关键词网格q o s 度量g m a a b s t r a c t w i t ht h ep r o g r e s s i v ed e v e l o p m e n to fg r i dc o m p u t i n g ，t h eg r dq o sh a l sb e e nr e q u i r e d i n c r e a s i n 9 1 yh i 曲t h e r e f o r e ，t h er e s e a r c ho ng r i dq o s h a sb e e nh o t b e c a u s eo ft h e c o m p l e x 时o f 酣d ，t h e 舒dq o sc a nb ed i v i d e di n t of i v ec a t e g o r i e si nt h ev i 咖a l o 唱a n i z a t i o nl e v e l t h eq o so fs y s t e mr e s o u r c e si sa ni m p o r t a n ti n d i c a t o ro fs y s t e m p e r l o 砷a i l c ea n do p e r a t i o ns t a t u s ，a 1 1 di ti sa l s oa ni m p o r t a l l tc o m p o n e mo fq o s ，a s w e l la sa i li m p o i r t a n tp a r 锄e t e ro f 酣do p e r a t i o ns c h e d u l i n g t i l es y s t e mr e s o u r c e s q o sc 锄b em e a s u r e db ys y s t e mr e s o u r c e si n f o 册a t i o ng a t h e r e df 而mg r i dm o n i t o r i n g b e c a u s eo fi t sf e a n h e i nt h i s p 印e r af r a l m eo f 鲥di n f o 册a t i o nm o n i t o r i n gb a s e o nt h ec l u s t e ri s p r o p o s e df i r s t t h e nam e t r i cm e t h o do fs y s t e mr e s o u r c e sq o si sp r o p o s e do nt h i s 觑u 1 1 e t h es y s t e mr e s o u r c e si n f o m a t i o nc a nb eg a t h e r e da i l dm a n a g e db y 鲥d i n f o 册a t i o nm o l l i t o r i n g t h ev a l u eo fq o sc 锄b ec a l c u l a t e da c c o r d i n gt oq o sm e t r i c m e t h o d s o ，t h eq u 咖i t a t i v ei n d i c a t o r so fq o sm e t r i cc a l lb ea c c e s s e d w ea l s oh a v e m a d es o m ea ( 岫油i l i t ye x p e m e n to nh o h a ic 锄p u sg r i d n o to n l yt h em o n i t o r i n g i nr e a l - t i m eg r i de n v i r o n n l e mr e a l i z e di nt l l i s 咖d y ，b u ta l s oa i le v a l u a t i o ns y s t e mo f t h es y s t e mr e s o u r c e sq o si se s 协b l i s h e d t l l i sw o r kp r o v i d e sab a s i sf o r 鲥d m 锄a g e m e n ta i l ds c h e m l l i n go p t i m i z a t i o n t h ef o l l o w i n gw o r ki sc o m p l e t e di nt h ep a p e r f i r s t ，n e wc a t e g o r i e sa r em a d ea r e r s t u d y i n gt h e 鲥dq o s b yt h en e wc a t e g o r i e s ，t h es y s t e m r e s o u r c eq o sc a l lb e m e a s u r e dq u a n t i f y s e c o n d ，ag r i dm o n i t o r i n gs y s t e mw i t hs y s t e mr e s o u r c e sq o s m e t r i ci sp r o p o s e da n dp a r t l yr e a l i z e d f i n a l l y ，i nt h ec 锄p u sg r i d ，p a r tf 讥c t i o n so f g m q m s a r er e a l i z e d t h i sw o r ki m p r o v e st h ep e 而硼a n c eo fc 锄p u sg r i d k e y w o r d s 鲥dq o sm e t r i cg m a 学位论文独创性声明 本人所呈交的学位论文是我个人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工 作的同事对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。如不实，本人负全部责任。 论文作者( 签名) ：鏖丝奎彦年。月“日 学位论文使用授权说明 河海大学、中国科学技术信息研究所、国家图书馆、中国学术期 刊( 光盘版) 电子杂志社有权保留本人所送交学位论文的复印件或电 子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文 档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允 许论文被查阅和借阅。论文全部或部分内容的公布( 包括刊登) 授权河 海大学研究生院办理。 论文作者( 签名) ： 囊兰五奎，哆年沙月 日 河海大学硕士学位论文第一章绪论 l1 研究背景 第一章绪论 随着科学技术的进步，人们对于计算机的性能以及服务质量的要求也越来越 高。由于用户对高性能以及高性价比两方面的需求，使得满足需求的计算能力不 可能在单一计算机上获得满足。为了兼顾两方面的需求，网格计算( g r i d c o m p u t i n g ) 。“”作为一个解决方案被提出来。g r id 1 】嘲的概念最初来自于“元计 算”。网格计算系统化地发展了最初元计算的概念，它通过基于高速的网络连接 把在地理上分布的各类资源计算机、数据库、各类设备和存储设备等，形成 对用户相对透明的虚拟的高性能计算环境，应用包括了高性能计算服务、高性能 存储服务、高性能文件服务等诸多功能。网格计算被定义为一个广域范围的“无 缝的集成和协同计算环境”4 3 。 网格试图将分散在网络上的各种共享资源，包括计算资源、存储资源、通信 资源、软件资源、信息资源、知识资源等，通过虚拟化的方式组织起来，形成动 态可扩展的虚拟有机整体，向用户提供强大的计算能力、存贮能力、设备使用能 力及更有效的信息融合和共享能力，从而实现资源的全面共享和协同工作。 随着网格技术的不断发展和普遍应用，越来越多的异构资源参与到网格应用 中来。要实现这些资源的共享和协同工作，必须有一个一致接受的标准来进行运 转和交互。在这种需求的推动下，网格也由早期的面向计算的基于五层沙漏结构 ”的计算网格( c o m p u t a t i o n a lg r i d ) 发展到面向服务的基于开放网格服务体系架 构( o p e ng r i ds e r v i c ea r c h i t e c t u r eo g s ”1 的服务网格( s e r v i c eg r i d ) 。 图卜1 五层沙漏示意图 河海大学硕士学位论文第一章绪论 图卜20 g s a 服务架构 在o g s a 中，网格对于资源的虚拟化是以服务的形式体现出来的，并且所有的服 务都基于相对统一的核心接口来实现。因此，服务的开发者可以利用已有的服务 很方便地构造出所需要的服务。新构造的服务又可以被抽象成具有层次结构的、 抽象级别更高的服务。因此，这种可生长的服务体系是服务网格的又一个重要特 征。 由于服务可以跨越不同的抽象层次，因此用户的一个服务请求就可能包含了 不同抽象层次的多个资源请求。这些资源相对于网格用户而言是透明的，表现为 虚拟组织( v i r t u a l0 r g a n i z a t i o n sv 0 ) 中逻辑意义上的资源，但在物理上它们 是分布存放的，并且有各自不同的管理策略。因此，如何在v o 中如何及时有效 的发现和获取资源的有效信息，提高资源的利用率以及提高系统的服务性能成为 网格环境下资源管理亟需解决的重要问题。总而言之，如何提高服务的服务质量 ( q u a l i t yo fs e r v i c eq o s ) 成为一个需要解决的问题。 1 2 选题依据 1 2 1 q o s 选题依据 在基于o g s a 的服务网格中，所有资源都虚拟化成服务的形式，服务是网格 系统的核心，q o s 便成为网格中最重要的性能评价标准，在本文中简称为网格 q o s 。网格q o s 是一个综合指标，用于衡量用户对使用的一个服务的满意程度， 它描述了关于一个服务的某些性能特点。这些性能特点是用户可见的，它以用户 可理解的语言表述为一组参数。对于不同的对象，q o s 可以有不同的描述。例如， 河海大学硕士学位论文第一章绪论 对于终端用户，可以从网格服务整体性能的角度出发，将q o s 要求简略的描述 为较差、一般、较好、最好等，也可以从虚拟组织层逻辑资源q o s 的角度出发， 将q o s 要求描述为一组具体的q o s 指标，而对于提供服务的物理资源，q o s 必须 要通过一组具体的性能指标来描述嘲。 在网格应用服务中，作为管理员，希望能够得到网格运行的实时情况，准确 的掌握网格系统的运行。另外一方面，对于网格调度系统来说，希望能够得到更 好的调度。所谓更好的调度就是希望能够从满足作业需求的资源中找出最符合用 户要求的资源向用户提供服务。此外，作为用户来说也希望得到系统资源相关的 服务信息以便其更好的编程。获得网格q o s 的准确度量，对于实现上述的目标有 重要意义。 1 2 2集群环境选题依据 从网格资源组成方面来说，研究集群具有重要的意义。因为承担高性能计算 的主要资源已经由过去的大型计算机逐渐转变成高性能集群( c 1 u s t e r ) ，主要由 以下几方面原因： 1 ) 高速网络的普及使得网络传输不再成为高性能计算的瓶颈。 2 ) 由于计算机的运算能力的迅速提高、集群的计算能力已经不弱于大型机 甚至巨型机。在2 0 0 7 年t o p5 0 0 的前1 0 0 名中，集群计算机占据5 1 的份额( 与2 0 0 5 年1 1 月榜单的4 l 份额有所上升) 。可以说，集群计算 机继续强势增长，成为高性能计算机系统最为青睐的解决方案。 3 ) 集群的性价比大大优于大型计算机。 4 ) 由于大型计算机有很多是针对特定应用设计的，每个机器都可能有自己 的操作系统和编译环境。而集群的适用面更为广泛。 从实验环境来看，河海校园网格是河海大学“十五 期间“2 1 l 工程 建设 子项目“高性能工程计算平台”的一项基础设施。校园网格资源节点由多个异构 的集群组成。在目前校园网格中，由于网格监控以及系统调度的依据仍然缺乏， 网格系统的性能未能得到充分的发挥。 1 3 相关研究 在与本文相关的研究中，对于网格监控的研究方面已经比较成熟，很多研究 工作见于文献。其中文献 9 1 0 1 1 为资源的性能获取提供了一些方法和依据。 在文献 9 中提出一种采用j a v a 的j n i 方法实现与平台无关的资源q o s 指标的测 量与监控系统。文献 1 0 通过分析当前流行的网格监控工具，以可扩展性、浸入 性、信息有效性、数据格式、可添加性、通信、安全以及监测度量等性能指标为 河海大学硕士学位论文第一章绪论 参考，对网格资源监控工具迸行了比较并讨论了目前系统中的某些局限性。文献 1 1 给出了一种比较c p u 计算能力的方法。而文献 1 2 1 3 阐述了网格0 0 s 的基 本原理，指出网格q o s 与网络o o s 之间缛差别，以及网格q o s 的一些实现方法。 对于网格q o s 的性质描述部分，在文献 1 3 中，ar o y 等研究人员提出了一 种新的消息传递架构m p i c h g q ，它综合了q o s 描述、预留和实现技术，从基于 消息传递编程的角度给出了网格q o s 的一些实现机制，并涉及到了网格q o s 分 层的问题。在m p i c h g q 的系统架构中，通过m p iq o sa g e n t 实现应用层q o s 参数到低层次q o s 参数的映射转换。而对于低层次的q o s 性能指标的如何获得没 有加以说明。 关于网格q o s 的分类，学者在文献 15 中将网格q o s 的参数详细得划分成五 种类型分别是a c c o u n t i n gq o s 、s e r v i c eq o s 、p r o v i s i o n a lq o s 、s e r v i c e r e l i a b i l i t y 和s e r v i c es e c u r i t y 等。其中a c c o u n t i n gq o s 是指与服务代价相 关q o s ，s e r v i c er e l i a b i l i t y 是指与服务可靠性相关的q o s ，s e r v i c es e c u r i t y 是指与服务的访问控制等安全相关的q o s ，s e r v i c eq o s 是指那些对q o s 起主要 决定作用的q o s 属性，这些属性的q o s 值是必须要保证的，p r o v i s i o n a lq o s 是 指那些q o s 参数值可以在一定范围内变化，但对最终服务结果不会产生影响的 q o s 属性。这种划分方案反映了网格q o s 的一些特性，较全面地考虑了网格q o s 参数在服务代价、安全和可靠程度等方面的需求。 1 4 现存问题 从上面的相关研究的叙述中，可以看出，当前的网格监控的研究已经比较成 熟，而q o s 研究主要集中在对q o s 的定义、分类以及如何定性的度量。但是仍然 存在着一些问题没有得到很好的解决： 1 ) 现有的按虚拟组织分类比较笼统，不能准确的比较不同资源对于某一种 服务的q o s 。而对于系统调度以及使用者来说，明确知道资源对哪种服 务能提供什么样的服务质量更有意义。 2 ) 现有的q o s 度量主要是从事后的用户满意度分析，而用户满意度是一个 感性指标，很难作为一个量化的参数来实现。 3 ) 现有的q o s 研究中缺少对当前实时环境下网格系统中不同资源点的q o s 度量探索，而对于调度系统来说，实时的q o s 度量对于调度的优化更有 参考价值。 1 - 5 论文研究方法和技术路线 为了解决上节所提到的问题，在对于网格q o s 的研究中，本文首先研究了网 河海大学硕士学位论文第一章绪论 络q o s 以及其他研究者在网格q o s 领域的研究成果，并对其进行分析归纳。针对 面向服务的网格的特点，对网格q o s 的特性进行系统化的分析，并将网格q o s 的属性参数重新进行分类，通过重新分类，使得q o s 可以分为事先度量和事后评 测两类。再结合网格服务跨层次抽象的特点，结合应用实际，找到本文的研究重 点系统资源q o s 。系统资源q o s 的特性决定了其可以根据网格系统信息的数 据事先度量。 作为实现网格系统资源q o s 的度量的前提，资源信息的监控无疑是非常重要 的环节。因此，在资源的发现和监控得研究中，本文首先对当前对网格资源监控 领域的研究成果进行研究，深入比较了几种不同类型的监控工具的特性的差异， 并选取其中的一种开源监控软件加以修改以适应作为网格资源性能监控的平台。 在实现了对网格监控的基础上，根据服务类型的不同，对应不同的q o s 计算参数， 结合度量公式，从监控系统提取计算参数，可以获得每个系统资源q 0 s 的分量值。 计算后系统资源q o s 将作为系统为某种服务提供服务质量的性能指标，该指标将 会为作业调度的优化，网格系统功能的优化提供重要的参考。 1 6 论文的组织结构 本论文分为七章，具体的内容组织结构如下 第章绪论 本章主要叙述了课题的研究背景及其研究现状，介绍了论文的主要研究工作 和工作方法，并在最后讲述了文章的组织结构。 第二章网格及网格q o s 在这章中主要介绍了网格及网格q o s 。从相关的研究工作中了解了网格q o s 的不同分类以及相对应的度量方法。 第三章网格监控研究 在本章中首先从网格监控体系研究入手，对网格监控做了详细的阐述，通过 网格监控获得实时的系统信息。 第四章系统资源0 0 s 度量探索 在本章中主要探讨了网格q o s 的分类，并在分类的基础上，对系统资源q o s 的特性做了详细阐述，着重阐述了系统资源q o s 的度量实现。 第五章网格监控与q o s 度量系统目标与功能研究 在本章中着重描述了网格监控与q o s 度量系统( g r i dm o n i t o r i n ga n dq o s m e t r i cs y s t e mg m q m s ) 整个系统目标以及详细设计。通过本章的描述，确立了 g m o m s 的各个功能模块以及内在联系，这为具体实现做了准备。 第六章g m q m s 在河海校园网格中适应性实现 河海大学硕士学位论文第一章绪论 在本章中主要阐述了g m q m s 在与河海校园网格相适应的实现过程。在河海校 园网格这样一个平台下，g m q m s 为其完善了监控与q o s 度量的功能，为优化调度 做了准备。 第七章总结与展望 本章对本论文的研究工作进行总结，指出进一步研究工作的重点和方向，并 对研究的网格做了进一步展望。 河海大学硕士学位论文第二章网格及网格q o s 第二章网格及网格q o s 随着计算机应用的普及以及计算机性能的提高，人们对于计算机服务质量的 需求也不断提高，为了同时满足高性能与高性价比，网格作为一种解决方案被提 了出来。 2 1 网格 网格( g r i d ) 作为一种新兴的技术，正处在不断发展和成熟当中。1 9 9 8 年网 格之父i a nf o s t e r 和c a r lk e s s e l m a n 在他们所编著的书t h eg r i d ：b 1 u e p r i n t f o ran e wc o m p u t i n gi n f r a s t r u c t u r e 瞄中给出了一个最初的网格定义：“计算 网格是一个提供可靠的，一致的，无所不在的，便宜的硬件和软件的基础结构， 用来高端计算。”在这之后，又有很多人试图给出网格的定义，例如“地理分布 的资源( 人、计算机、设备、数据库等) 通过高速网络互连的集合体；一种被称 为中间件的软件层把各种独立的资源转换成一台单一、状态一致的虚拟机器”， 而到了2 0 0 1 年工a nf o s t e r 和k e s s e l m a n 、t u e c k e 又重新把网定义为：“协作资 源共享，在动态的多机构的虚拟结构中解决问题川”。中国科学院计算所所长李 国杰院士认为，网格实际上是继传统互联网、w e b 之后的第三次浪潮，可以称之 为第三代互联网应用。 关于什么是网格，i a nf o s t e r 给出了一个判断标准。如果个系统满足以 下三个条件，那么就称之为一个网格。 1 ) 资源协调不受集中控制。 2 ) 使用标准、开放、通用的协议和接口。 3 ) 非平凡的服务质量。 2 1 1网格发展 根据网格对所支持应用的历程来看，网格系统平台的发展也经历了三个阶 段：计算网格平台、数据网格平台以及服务网格平台。计算网格平台以g l o b u s 作为代表，发展得比较成熟。数据网格平台目前也有了很多解决方案，且各有特 点。服务网格平台目前正处于研究的高峰期，发展变化非常快，目前服务网格平 台的开发主要以o g s a 框架作为基础“”。从面向计算到面向服务，网格应用对服 务质量的需求不断的提高。 计算网格平台 河海大学硕士学位论文第二章网格及网格q o s 比较流行的计算网格平台有很多种，其中包括g l o b u s 、l e g i o n 、l s f 、u n i c o r e 以及l c g 。l e g i o n 是通过面向对象的方法来实现，和l s f 一样主要面向企业级计 算。u n i c o r e 在工作流、网格管理以及作业提交接口方面做得比较完善，但底层 支撑功能相对较弱。l c g 的底层采用g 1 0 b u s 作为核心中间件。g 1 0 b u s 是由美国 a r g o n n e 国家实验室数学与计算机分部、南加州大学信息科学学院和芝加哥大学 分布式系统实验室合作开发，该项目组最初的目标是为了满足分布式超级计算的 需要。迄今为止，g l o b u st 0 0 l k i t ( g t ) 已经成为计算网格事实上的标准。 数据网格平台 数据管理“6 1 的研究主要集中在元数据的管理和副本的管理两个方面。在已经 实现或者部分实现的数据网格平台中，欧洲数据网格数据管理工作组是通过 s p i t f i r e 来解决元数据管理和交互的问题。s p i t f i r e 是种为用户和关系数据 库之间提供了一条数据和控制的通路的中间件。通过引入统一的服务接口、数据 模型、网络协议和安全模型，s p “f i r e 可以实现在网格范围内访问分布的关系 数据库资源。而g 1 0 b u s 是通过存储管理服务“7 3 负责管理数据集的完整和部分拷 贝，用户根据需要创建一个完整和部分数据集的副本，在r 印1 i c a c a t a l o g 中登 记这些新的副本，用户和应用可以查询目录以获得一个特殊文件或者一个文件集 的所有现存副本，同时可以根据网格信息服务( g r i di n f o r m a t i o ns e r v i c eg i s ) 提供的存储和网络性能预测选择最佳的备份访问。g d l p 作为d a t a g r i d 项目自主 开发的一个数据管理的系统，实现了在广域网中不同节点之间进行面向对象的、 大批量的异步、自动、高效、容错的数据备份。圣地亚哥超级计算中心( s d s c ) 的s r b ”存储资源代理系统是用途较广的数据网格软件之一。s r b 为用户提供了 一个访问文件系统、档案系统、数据库系统等多种异构存储系统的统一接口，屏 蔽了存储系统的异构特性。它支持广域的网络环境下多种数据源的访问，提供了 复制、复制数据的访问、文件的汇集、分布文件的逻辑集合等功能。 服务网格平台 2 0 0 2 年2 月，在加拿大多伦多市召开的全球网格论坛g g f 会议上，g l o b u s 项目组和i b m 共同倡议了一个全新的网格标准一开放网格服务体系结构o g s a 。 它把g l o b u s 与w e bs e r v i c e s 技术结合起来，统一以网格服务的方式对外界提供。 o g s a 从一诞生，就得到业界的广泛支持，到目前为止，0 g s a 已经广为接受，几 乎所有的业界同仁都认为它就是网格的未来。目前服务网格”“平台都是基于 o g s a 体系架构的。国外主要有g 1 0 b u st 0 0 1 k i t4 ，p y g l o b u s ，o g s i n e t 和 u n i c o r e ，国内主要有中科院计算所的v e g a 以及华中科技大学的h o w u 平台。目 前由于o g s a 的核心规范开始由o g s i ( o p e ng r i ds e r v i c e si n f r a s t r u c t u r e ) 转 向w s r f ( w s r e s o u r c ef r a m e w o “) ，这些原来基于0 g s i 的平台也开始转向w s r f 框架。 河海大学硕士学位论文第二章网格及网格q o s 2 1 2 网格应用现状 现今国内国外网格的运用都非常多，如本文前面所列举的一些网格中心数据 中心的实际应用等。简单来说应用得最多的是在一些大型院校和科研单位的计算 网格。通过高速网络将一些集群点作为计算资源接入网格。这样就好像把数十甚 至数百台电脑连成了一台超级计算机，计算能力得到大大的提高。这种局域计算 网格主要运用于一些科研的计算和研究。 网格另外一个显著的运用就是虚拟组织。这种虚拟组织往往是针对与某一个 特定的项目，或者是某一类特定研究人员。在这里面可以实现计算资源、存储资 源、数据资源、信息资源、知识资源、专家资源的全面共享。举个实例，由英国 利兹大学，牛津大学，约克大学和谢菲尔德大学合作的d a m e 项目就是致力于研 究和运用虚拟组织。d a m e 架构在这四个大学合建的白玫瑰网格( w h i t er o s e c o m p u t a t i o n a lg r i dw r c g ) 上，运用于对飞机故障的快速检测和维修。 可见当前的应用越来越普遍，研究的重点也逐步转移到如何保证高服务质量 上来。举例来说，河海校园网格的现在的研究课题就是如何提高现有网格性能以 及服务质量的保证。 2 2网格q o s 2 2 1网络q o s 网格q o s 是从网络q o s 发展而来，q o s 最早是在网络管理中提出，是网络于 用户之间以及网络上互相通信的用户之间关于信息传输与共享的质的约定，例 如，传输延迟允许时间、最小传输画面失真度以及声像同步等。在i n t e r n e t 等 计算机网络上为用户提供高质量的q o s 必须解决以下问题： 1 ) q o s 的分类与定义。对q o s 进行分类和定义的目的是使网络可以根据不 同类型的q o s 进行管理和分配资源。例如：给实时服务分配较大的带宽 和较多的c p u 处理时间等，另一方面，对q o s 进行分类定义也方便用户 根据不同的应用提出q o s 需求。 2 ) 准入控制和协商。即根据网络中资源的使用情况，允许用户进入网络进 行多媒体信息传输并协商其q o s 。 3 ) 资源预约。为了给用户提供满意的q o s ，必须对端系统、路由器以及传 输带宽等相应的资源进行预约，以确保这些资源不被其他应用所强用。 4 ) 资源调度与管理。对资源进行预约之后，是否能得到这些资源，还依赖 于相应的资源调度与管理系统。 河海大学硕士学位论文第二章网格及网格q o s q o s 协议描述q o s 的方法不只一种。通常情况下，q o s 是一个网络部件( 如一 个应用、一台主机或一个路由器) 提供的一些保证稳定传输网络数据的质量级别。 某些应用对q o s 的要求比其它应用更高，因此有下面两种基本的q o s ： 1 ) 资源预留( 适于综合服务) ：根据某个应用对q o s 的要求来分配网络资源， 并且服从带宽治理策略 2 ) 按优先级排列( 适于差分服务) ：对网络的业务进行分类，并根据带宽治 理策略的规范来分配网络资源。当所标识的业务类别有更强烈服务要求 的需求时，网络部件会给予优先处理。 为满足对q o s 不同的需要，有以下几种q o s 协议和算法： 1 ) 资源预留协议( r s v p ) ：提供网络资源预留的信令。尽管r s v p 经常用于 单个流，但也用于聚合流的资源预留 2 ) 差分服务( d if f s e r v ) ：提供一个简单的分类和网络聚合流的优先级 3 ) 多协议标记交换( m p l s ) ：根据分组头的标记，通过网络路径控制来提供 聚合流的带宽治理 4 ) 子网带宽治理( s b m ) ：负责o s i 第二层( 数据链路层) 的分类和优先级排 列，同i e e e 8 0 2 网络进行共享和交换。 2 2 2网格q o s 定义 随着研究的深入，网格的应用领域开始不断扩展。网格技术不但带来了强大 的计算能力，而且它使世界各地的资源有机的结合在一起。从前面几章的叙述中 可知网格计算的主要应用包括了分布式计算、高吞吐量计算、协同工程和数据查 询等诸多领域。应用网格技术，可以消除信息孤岛和资源孤岛，使人们能够更加 智能的分享各种资源。根据网格应用的需求，必须具有非凡的服务质量。即网格 应用系统希望、也迫切需要有q o s 的协商和保证。而非凡的服务质量已经成为检 验网格性能好坏的标准之一。由于网格自身所具有的异构性、分布性、动态性和 自治性，以及网格组成的复杂性。在网格应用中的服务质量q o s 的协商和保证的 实现是一项非常复杂和具有挑战性的工作。在网格应用中，q o s 的好坏、效率的 高低直接关系到网格系统的性能。不同的组织，不同的用户，甚至于同一用户在 不同应用中对服务的功能、性能、成本等都有不同考虑，所以q o s 保证至关重要。 基于前面网络q o s 的定义，网格中的q o s 可定义为一组服务集合的性能，该 性能决定用户对服务的满意程度，是网格区别与“基础设施”或“中间件”的一 个关键要素。在通常情况下，q o s 是一个网络部件( 如一个应用、一台主机或一 个网络设备) 提供的一些保证稳定传输网络数据的质量级别。网格q o s 的目标就 是要为网格最终用户在使用网格系统这种共享平台时提供一些可预测性的质量 河海大学硕士学位论文第二章网格及网格q o s 级别，以及控制超过目前本网格系统最大服务能力的服务。 2 2 3网格q o s 要求 总结来说，网格q o s 应满足以下需求啪3 ： 1 ) 以服务为中心： 2 ) 支持不同特征混合流，提供可靠传输保证； 3 ) 统一的资源预留和分配，实现联合分配； 4 ) 预留策略，提高预留的灵活性； 5 ) 协定协议。保证用户的提前预留状态及期望的资源质量，形成协定并得 到监控； 6 ) 安全性。遵从网格系统的安全机制； 7 ) 精简性。不影响网格系统的整体性能； 8 ) 可扩展性。网格q o s 机制应能适应动态变化。 2 2 4 网格q o s 参数的分类相关研究 网格是一个跨越多层次由多资源组成的综合体，所以具体网格服务的q o s 参数是丰富多样的。为了更好的归纳网格q o s 的特点，需要对网格q o s 的参数进 行分类。同时，由于q o s 对不同的对象可以有不同的描述，因此，从不同层次对 象的角度可以得到不同的q o s 参数分类方案。按照虚拟组织层对网格q o s 参数进 行分类，一方面可以很详细的表达网格q o s 参数的需求，另一方面可以很方便的 将虚拟组织层的q o s 参数分别映射转换成网格服务层和物理资源的q o s 参数心羽。 根据q o s 参数所表达的q o s 特性不同，文献 2 2 在虚拟组织层将网格q o s 参数分成了逻辑资源类、系统类、安全类、信任类和记账类等五种类型。如图 2 一l 所示： 图2 一l 网格q o s 按虚拟组织分类 河海大学硕士学位论文第二章网格及网格q o s 1 ) 逻辑资源q o s 逻辑资源q o s 是由服务提供者提供。它是用来描述虚拟组织中直接的提供网 格服务的逻辑资源的q o s 参数。它综合考虑了物理资源本身的整体服务性能、资 源的本地任务的负载情况以及资源的共享策略等因素，是物理资源在网格环境中 服务性能的抽象。逻辑资源q o s 是网格服务q o s 的主要决定因素，也是网格q o s 不同参数种类中最活跃的参数类型。 2 ) 系统q o s 系统q o s 是用来描述对网格服务的服务能力有一定影响的系统环境方面的 q o s 参数。主要包括网络性能和资源节点环境两个方面的q o s ，具体参数由服务 提供者提供。 3 ) 安全q o s 安全q o s 是由服务提供者提供的用来表明网格服务自身安全级别和网格服 务访问控制策略等方面的q o s 参数，其中网格服务安全级别q o s 用来满足网格用 户对服务安全方面的q o s 需要，网格服务访问控制策略q o s 用来满足服务提供者 安全管理方面的需要。通过服务访问控制策略q o s ，服务提供者一方面可以确定 合法的用户以及不同角色用户的不同使用权限，从而实现区分访问的控制，另一 方面可以实现与本地安全管理策略的无缝映射。 4 ) 信任q o s 信任q o s 就是用来评价服务信息可信度的q o s 参数，它是由服务提供者和虚 拟组织共同提供和维护的。服务提供者可以根据那些不确定的动态因素对信息的 可能偏差做出估计，并依此向虚拟组织主动提供信任q o s 。为了防止用户故意虚 报信任q o s 的情况发生，虚拟组织需要对用户提供的信任q o s 进行评价并拥有最 终的决定权和奖惩措施，从而确保信任q o s 能准确反映服务信息的真正可信程 度。当然，虚拟组织也可以根据不同管理策略的需要，主动设置服务提供者的信 任q o s ，并根据信任信息的统计情况对信任q o s 进行修改。 5 ) 记账q o s 由于在面向服务的网格环境中，共享资源的使用是有代价的，而且不同的服 务提供者对服务代价的管理策略也可能不同，如对于不同类型的用户收取不同的 费用，对不同的q o s 需求收取不同的费用，对不同时间段提供的服务收取不同的 费用等。网格用户在选择服务时，也会考虑到服务代价的问题。记账q o s 就是用 来描述服务代价及其管理策略方面的q o s 参数，它由服务提供者提供心铂。 2 2 5网格q o s 度量相关研究 网格q o s 是一组服务集合的性能，该性能决定用户对服务的满意程度。所以 河海大学硕士学位论文第二章网格及网格q o s 要实现对网格q o s 的度量就必须对不同类型的q o s 分别度量。参照上面所描述的 网格q o s 的分类，实现q o s 度量可以分别对逻辑资源q o s 、系统q o s 等进行度量。 这些度量都是以服务之后的用户满意度为基础的，属于事后的评估。 2 2 5 1逻辑资源q o s 度量方法 逻辑资源q o s 是直接反映服务性能的一个综合因素。它可以表述成一组参数 的集合，用s 表示。可以将集合s 用数学表示成 厶，三：，厶 。三是一个，z 维 的布尔向量，z 为所有q o s 参数的种类。则网格服务用到了第七个分量所对应的q o s 参数，则在向量中三的第七个分量为l ；反之若第七个分量为o ，则第七个分量所 对应的q o s 参数没有被用到。因此，厶就表示出网格应用中的第f 个网格服务 的逻辑资源q o s 所用到的q o s 参数口2 1 。 度量算法如下： 1 ) 如果网格服务不能满足用户的最低要求，用户满意度就为o 。 2 ) 只有当用户所递交的任务的逻辑资源q o s 所包含的所有具体q o s 参数 的最低要求都被满足时，才能认为该网格系统有能力接受该任务。 3 ) 用特征值z ，来表征厶包含的所有值为l 的分量所对应的q o s 参数最低 要求是否都被满足：若都被满足，则，。= 1 ；否则，= o 。 4 ) 假设乃为厶的第个分量，则有：乃 o ，1 ) ( 1 歹门) 。扰 ，为第f 个网格服务的分量所对应q o s 厂参数的用户满意函数。逻辑资源q o s 的 用户满意度，：乃“f 咒。 ，= l 5 ) 逻辑资源q o s 的测量公式为，：当用户提出的q o s 需求有一个不能被 满足时，特征值，= 0 ，则，z ，也为0 ，至少有一个用户的q o s 需求的最低 要求不能够被满足，用户满意度为o 。 2 2 5 2 安全与记账q o s 的度量方法 与逻辑资源的q o s 度量方法类似，可以类比逻辑资源q o s 的度量方法来度量 安全q o s 。与逻辑q o s 度量相类似，安全q o s 也可以表述为一组参数的集合，用 河海大学硕士学位论文第二章网格及网格q o s 墨表示网格应用中的第f 个网格服务的安全q o s 所用到的q o s 参数；以s ：为特征 值，为s ，安全q o s 的用户满意度。类似地，安全q o s 的测量公式就为s 。 度量算法如下： 1 ) 如果安全不能满足用户的最低要求，用户满意度就为0 。 2 ) 只有当用户所递交的任务的安全q o s 所包含的所有具体q o s 参数的最 低要求都被满足时，才能认为该网格系统有能力保证安全。 3 ) 用特征值s ：来表征墨包含的所有值为1 的分量所对应的安全q o s 参数 最低要求是否都被满足：若都被满足，则s ：= 1 ：否则s ：o 。 4 ) 假设乃为s ，的第个分量，则有：乃 o ，1 ( 1 刀) 。“f 为第f 个网格服务的分量所对应安全q o s ，参数的用户满意函数，安全q o s 的用 户满意度s 。：乃“ 即。 _ ，= l 5 ) 安全q o s 的测量公式为s ：当用户提出的q o s 需求有一个不能被满足 时，特征值s ：= o ，则s ：s 。也为o ，至少有一个用户的q o s 需求的最低要求 不能够被满足，用户满意度为0 。 对于网格记账来说，由于网格资源的提供者和消费者之间协商价格是一个非 常复杂的问题，r b u y y a 等学者对网格中的价格协商机制参照经济学的原理进 行了研究b 朝。可以假设消费者已经选定了某个网格资源的作为服务的提供者，并 且已经认可了服务所话费的价格。与逻辑资源q o s 等不同的是记账q o s 是个一 维向量。根据其用户满意度函数就可以直接得到记账q o s 的用户满意度。简单描 述如下。假设c ：为特征值，q 为记账q o s 的用户满意度，那么记账q o s 的度量为 2 2 5 3 当前q o s 度量存在的问题 q o s 的度量主要用来实现不同的资源的服务质量的比较，而从上述q o s 度量 方法中可以看出，对于q o s 度量，仍然有很多问题没有得到很好的解决： 1 ) 每个q o s 度量的有效参数未能准确给出。 2 ) 用户满意度的获取是一个不确定的因素。首先对于用户来说未必会反应 河海大学硕士学位论文第二章网格及网格q o s 准确的满意度，其次满意度是一个比较主观的标准，无法定量评测。 3 ) 所有q o s 的测量都是对服务事后的一个评估，对于调度来说有一定的参 考意义，但对于复杂的网格应用来说，由于资源状态是动态的，事后评 估不足以反应实时的服务质量。 总而言之，前文中所说的q o s 度量具有主观性，事后性。主要是对资源服务 的一个事后评价。这对于系统调度有一定的参考价值，但是对于系统调度来说， 当前时间点的系统资源q o s 的情况可能对于提高网格的性能更加具有指导意义， 而这一问题并未有很好的解决方案。 2 3 本章小结 在本章中主要介绍了网格以及网格q o s 的有关概念。通过本章的描述，对网 格、网格q o s 以及目前网格q o s 分类和度量的研究有了一个基本的了解。这些研 究工作是本文的基础，给本文的研究带来很多借鉴。通过本章的研究，可以了解 到在过去的研究工作中，q o s 的度量是一个比较主观的、事后的。主要是根据用 户的满意度对服务的一个评估。因此，为了解决其中的部分问题，本文提出了一 个新的分类，在新的分类的基础上提出实时的系统资源q o s 的度量方法。 河海大学硕士学位论文第三章网格监控研究 第三章网格监控研究 实现网格系统资源q o s 的度量的首要条件是实现对网格系统的监控。只有通 过监控才能准确的获得系统信息，为度量系统资源q o s 提供有效数据。在获得系 统信息的基础上，对信息加以分析利用，用合适的算法获得个可靠的可比较的 数据。 3 1 网格系统的监控 网格监控是用来检测和度量并显示网格组件在某一时刻的状态。为了保证监 控的及时性和有效性，监控必须是端到端的( e n dt oe n d )