（计算机应用技术专业论文）网格监控研究与监控服务系统的设计.pdf

摘要 网格监控为网格系统中其他网格中间件提供与资源有关的重要性 能数据，是网格系统进行性能调整和错误发现的依据，是保证任务顺 利完成的重要支撑。在网格从基础理论研究阶段逐步走向应用阶段的 今天，网格用户对网格监控提出了新的要求，如用户需要了解其任务 的执行情况以及对资源的使用情况等。因此，本文着重研究网格任务 监控，提出了实现任务监控的可行策略；开发了面向网格用户的监控 服务系统，方便用户以w e b 方式获取所需的监控信息。 本文通过分析用户对任务监控的需求，将任务监控内容划分为任务 状态监控和任务执行期监控。针对网格中间件对任务监控缺乏足够支 持的现状，本文分析了实现任务监控要解决的关键问题，提出了相应 的解决策略。 本文将网格监控在网格应用中的作用归纳为两点：是监控，即获 取资源信息、任务状态信息、出错信息：二是信息服务，即为用户和 其他的网格中间件分别提供不同形式的信息服务。本文提出网格监控 服务系统这一概念，剖析了系统的组成结构，提出了系统的开发方案。 最后，针对一个具体的网格应用问题基于网格的现代协同设 计，开发了监控与信息服务系统。进行了整体设计与详细设计，实现 了部分功能模块。 关键词网格，网格监控，协同设计 i i a b s t r a c t g r i d m o n i t o r i n g i s i m p o r t a n t t o g r i d i t p r o v i d e s e s s e n t i a la n d s o u r c e - r e l a t e dp e r f b m l a l l c ed a t af o rm i d d l e w a r e 8o fg r i d ，a n di t l a y st h e b a s ef o r g r i ds y s t e m t o r e g u l a t ep e - o 珊a n c e a i l df i n de r s a sm e r e s e a r c ho fg r i d d e v e l o p sf r o mb a s i c 也e o r ys t a g et o 印p l i c a t i o ns t a g e ， m a n yg r i du s e r sp u tf o n a r dn e w r e q u i r e m e n t st og r i dm o n i t o r i n g ，t o d a y ， s u c ha sj o bs 切t e sa n dr e s o u r c eu t i l i z a t i o ni n f o n i l a t i o nw h i c ha r er e q u i r e d b y u s e r s s ot 1 1 em e s i sr e s e a r c h e so n g r i dj o bm o n i t o r i n g ，p u t sf o n v a r dt 1 1 e s t m t e g y ，a 1 1 dd e s i g n st l l em o n i t o r i n ga i l ds e i c es y s t e m ( m s s ) ，w h i c h o f f e r st h e 印p r o a c hf o ru s e r st o g e tm o n i t o r i n g d a t a b y w 曲 t h ec o n t e n t s o f j o bm o n i t o r i n g a r ed e f i n e di n l et 量l e s i s ：廿l ef i r s ti s 协e j o b s t a t e m 蚰的r i n g ；t 1 1 e s e c o n di s 协ej o b m n n i n gm o n i t o r i n g t h e s u p p o r t o f g r i dm i d d l e w a r e sf o rj o bm o n i t o r i n gi sv e 搿p o o r a tp r e s e m ，s o t l et h e s i sp r e s e m st h em a i n p r o b l e m st h a ts h o u l db es o l v e dt or e a l i z ej o b m o n i t o r i n g a n d p r o v i d e s t l l em e t l l o d st od e a lw i t hm e m i nm e m e s i s ，t h ef h n c t i o n so f 鲥dm o n i t o r i n gi n 鲥da p p l i c a t i o n sc a n b ec o n e l u d e di i l t o 却o p o 洫t s ：t 圭1 e f i r s ti s m o n i t o r i n 舀i e ，t o o b t a i n i n f o m a t i o na b o mr e s o u r c e s ，t a s ks 屯a t e sa n d a b n o r m i t ) r ；t l l e s e c o n di s i n f o m a t i o n s e r v i c e ，i e ，t op r o v i d em a l l y k i n d so fi n f o 硼a t i o ns e r v i c e sf o r u s e r sa n do t l l e rm i d d l e w a r e s t h et l e s i s p u t s f o r w a r d 廿l e m s s ，i t s a n a t o r r l y ，a n di t sd e v e l o p i n gs c h e m e a tl a s t ，t os o l v e as p e c i f i c g r i da p p l i c a t i o nc a s e g m c d ( g r i d e n a b l i n g m o d e mc o l l a b o r a t i v e d e s i g n ) ，d e v e l o p s i t s m o n i t o r i n g a 1 1 d i n f o n n a t i o ns e n r i c e s y s t e m i t i m r o d u c e sm eg e n e r a la r c h i t e c t u r ea n d d i s c u s s e sd e s i g ns c h e m ei 1 1d e t a j l s ，s o m ek e ym o d u l e sh a v eb e e nr e a 】i z e d k e yw o r d s g r i d ，g r i dm o n i t o r i n g ，c o l l a b o r a t i v ed e s i g n i l i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得中南大学或其他单位的学位或证书而使用过的材料。与我共 同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：耋尘二焦日期：丕蛆年阜月登曰 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校有 权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位论 文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论文； 学校可根据国家或湖南省有关部门规定送交学位论文。 作者签名：煮! ：! 蜜导师签名趟幺幽日期：丝年j 二_ 月上日 硕十学位论文 第1 章绪论 1 1 研究背景 第1 章绪论 随着高性能应用需求的迅猛发展，单台高性能计算机已经不能胜任一些超大 规模应用问题的解决。这就需要将地理上分布、系统异构的多种计算资源通过高 速网络连接起来，共同解决大型应用问题，即广域高性能的元计算技术 ( m e t a c o m p u t i n g ) ，也称为网格( g r i d ) 技术。目前国内外研究机构对网格技 术的研究己取得了重大进展。已提出了体系结构、协议标准，开发了网格中间件， 并以此搭建了许多实验平台。许多部门正研究开发适合本行业的应用网格，如信 息网格、制造网格、医疗网格等。总的来说，网格正从基础理论研究阶段逐步走 向应用开发阶段。 网格监控在网格中起着重要作用，它为其他的网格中间件提供必要的与资源 有关的性能数据，是资源发现和任务分配的基础，是网格系统进行性能调整和错 误发现的依据。但是，在网格步入应用阶段的今天，网格监控暴露出诸多不足， 如：( 1 ) 监控的内容有限，主要是反映主机和网络性能状态的信息如负载等，缺乏 对用户任务的监控；( 2 ) 主要的服务对象是网格系统本身，缺乏对用户的服务。据 此，本文进行了一系列的研究，弥补了网格监控的以上不足之处，适应了网格应 用开发阶段的新要求。 1 2 研究的问题 ( 1 ) 进行了网格监控方法与策略的研究，在原有基础上增加了任务监控 ( 2 ) 开发面向网格用户的监控服务系统，以合适的方式提供监控服务。 1 t 3 研究现状 1 3 1 资源监控方面 资源监控是网格监控的基本功能。用于搭建网格平台的g l o b u s 工具包已实现 了对资源的监控。其监控工具m d s 可获得主机信息和网络信息，基本能满足网 硕士学位论文 第1 章绪论 格系统的要求。针对不同的类型的网格应用，所需的新的监控数据类型也有所不 同。网格应用开发者可使用m d s 提供的接口开发新的信息提供者，以扩充新的 监控数据类型。 1 3 2 任务监控方面 目前，对任务监控研究还处于起步阶段，还没有形成一个公认的行之有效的 解决方法。一些网格系统对任务监控进行了尝试，在一定程度上能实现部分功能： g l o b u s ：系统对任务监控的支持不够，缺乏对任务状态及运行情况的报告， 缺乏友好的客户端。 l e g i o n ：提交任务的l e g i o n 工具可监测任务对象，但是它们返回给用户的信 息很有限。只有当用户指定特定的任务运行在特定的主机上，并且用户正好拥有 那台机器的帐户，则用户可以登录到那台机器，使用传统系统可提供的工具来监 控任务的执行过程。如果用户提交任务，但不指定该任务该在哪台机器上执行， 则用户不能获得任何与该任务有关的信息。这显然不符合网格思想。 n i n l r o d ：该系统提供了图形工具能帮助用户查看任务的执行过程，如有必要 还可以停止任务。但该系统没有提供方法以访问中间文件或者提供传统意义上的 输入文件，这些功能必须用户直接登录到系统并使用传统工具。 欧洲d a 协g r i d ：在网格监控研究方面，d a 诅g 订d 可以说走在前列，主要体现 在：它将网格监控理论网格监控结构得以实现，形成r - g m a ，它完全可替 代m d s 的g i i s ，并且使用起来更灵活。d a t ag r i d 研究开发的l & b ( l o g g i n ga n d b o o k k p i n g ) 为用户提供了对任务的有效管理服务。l & b 提供的服务包括三方面： ( 1 ) l o g 西n g ，是为任务调度系统存储长期( 永久) 信息的网格服务；( 2 ) b o o k k e e p i n g 是为当前的活动任务存储短期信息的网格服务；( 3 ) a c c o 叫t i i l g ，即记帐，提供对 资源消耗统计的网格服务。 以上系统除da _ t a 嘶d 的l & b 外都没有提供一种机制获取任务的资源消耗信 息。除了n i m r o d 外，都没有综合的任务监控工具。l & b 为任务提交与监控服务 之间提供了桥梁，但它还不是针对用户的监控系统而是资源管理系统的子系统， 用户可直接获得的信息还不能完全满足用户的要求。并且l & b 对监控信息的查 询是通过访问日志来实现的，不能满足特殊用户的要求，如对任务进行实时的监 控。总之，目前的网格系统对任务监控的支持非常薄弱，在这方面的研究有着广 阔的空间。 1 3 3 对用户的服务方面 g l o b u s ：用户可通过命令方式或使用l d a p 浏览器获取并查看监控信息，但 是这些查看方式死板且不直观，还不能满足用户的需要。并且只有在安装了 g l o b u s 的计算机上才能查看。总之，g l o b u s 缺乏对用户友好的信息服务方式。 2 坝十学位论文第1 章绪论 欧洲d a t ag r i d ：也是通过命令的方式查看监控信息。对资源的监控也是使用 g l o b u s 的m d s 实现的，所以也只能使用l d a p 命令或l d a p 浏览器查看资源信 息。对任务状态查询方式是使用d g - j o b 。s t a t u s 命令。 织女星网格：为用户丌发了图形界面的客户端程序，可实现对多种节点类型 ( 网格系统网格服务器网格节) 的多种信息( 动态，静态历史信息) 进行选择性 查看。该客户端程序可运行于w i n d 0 w s ，l i n u x 等多种操作系统之上。 以上系统中只有少数为用户提供对监控信息的友好访问形式。 1 4 论文章节设置 本论文围绕网格系统中用户的监控要求开展了理论研究和实际系统的开发。 详细介绍了网格、网格监控理论，并将网格监控理论运用到了实际的系统。全文 正文分为六章。 第一章主要介绍了本论文的研究背景和国内外在网格监控方面的研究现状， 以及本论文要研究的问题。 第二章分为两大部分：第一部分介绍网格的基本理论，同时针对一些关键性 问题，如网格的特征、网格与其它技术的区别等做了清晰的解释。第二部分介绍 了与网格监控有关的理论知识，剖析了网格监控结构，例举了网格监控结构的实 现实例。 第三章是本论文的理论研究部分。提出在当前网格环境下实现任务监控的策 略。 第四章提出了监控服务系统的概念，提出了其设计目标和实现方案。 第五章针对个具体的网格应用问题基于网格的现代协同设计，开发监 控与信息服务系统。进行了整体设计与详细设计，实现了部分功能模块。 第六章对所作的工作做了总结并提出了未来的工作方向。 硕十学位论文 第2 章网格计算与网格监控 2 1 网格计算概论 第2 章网格计算与网格监控 随着人们曰常工作中遇到的计算越来越复杂，如计算机仿真、建模、分析等， 人们越来越需要数据处理能力更强大的计算机，而超级计算机的价格显然阻止了 它进入普通人的工作领域。于是，人们开始寻找一种造价低廉而数据处理能力超 强的计算模式。在计算机网络飞速发展的今天，人们自然会想到通过网络来着手 解决问题。目前因特网上存在着严重的资源浪费现象，据估计，有7 5 的c p u 时 间和8 0 的服务器资源处于闲置状态。所以说，有难以数计的闲置资源等待着我 们去开发利用。但是，网络上纷乱复杂的各种资源和系统缺乏高效率的组织，处 于一种混乱无序的状态，没有结合成一个整体，资源的潜在能力未能得到充分的 发挥与利用，未能提供各种高效的计算服务和信息服务。如何将网络上分散的局 部自治的众多资源有效聚合起来，形成巨大的合力，并充分释放出来，使人们在 任何地方、任何地点、任何时间都可以获得高效的计算和信息服务，这正是从上 个世纪9 0 年代中期开始，计算机晃着手研究和开发的基础结构，称之为计算网格 ( c o m p u t a t i o n a l g r i d ) ，这种新型的计算模式称为g r i d c o m p u t i n g ( 网格计算) 。 2 ，1 1 网格计算概念界定 1 什么是网格 计算网格或简称为“网格”是指一个基础结构，它能使得综合、协调地使用 被不同组织所占有或管理的计算机、网络、数据库和科学手段成为可能l j j 。它将 i m e m e t 上闲置的资源以灵活的方式组织起来，形成虚拟的超级计算机。术语“网 格”( g r i d ) 来源于对供电系统的称呼。称供电系统为“电力网格”，意指它分布 广泛普遍和持续稳定的能量供应。计算网格也具有以上类似的特点，它“供应”的 是计算能力和其他的服务。 网格计算是从元计算( m e t a c o m p u t i n g ) 的概念发展来的。元计算被定义为通 过网络连接强力计算资源，形成对用户透明的超级计算环境【2 】。网格计算更系统 化地发展了最初元计算的概念，它通过网络连接地理上分布的各类计算机，包括 机群、数据库、各类设备和存储设备等，形成对用户相对透明的虚拟的高性能计 算环境。其应用包括分布式计算、高吞吐量计算、协同工程和数据查询等诸多功 硕士学位论文 第2 章网格计算与网格监控 能。网格计算被定义为一个广域范围的无缝的集成和协同计算环境。网格计算模 式已经发展为连接和统一各类不同远程资源的一种基础结构。 2 0 0 2 年7 月2 2 日，i a nf o s t e r 发表文章，就如何看一个系统是不是网格提出 了三点判断标准1 3 】；第一，不带集中控制的资源共享和协同工作；第二，使用标 准、通用、开放的协议和接口：第三，高服务质量，包括响应时间、流量、可用 性和安全性。 2 网格计算特点 基于因特网的计算网格支持属于不同管理域的计算机节点参与计算和资源共 事。因此，一个性能优良的网格计算系统必须具备以下特点f 4 1 ： ( 1 ) 具有单一映像空闯：单一映像空闻可以屏蔽硬件边界，实现异构数据的格 式转换，提供虚拟文件服务，把分散在各地的主机节点映射成一个统一入口的虚 拟机器。 ( 2 ) 支持节点自治：参与计算的节点可能属于不同的管理域，计算网格必须保 证各个节点的自主权。 ( 3 ) 支持高效安全与容错：网络安全包括信息安全与系统安全两个方面；网络 容错支持例外处理、软件调试与排错。 ( 4 ) 包含统一的资源管理：计算网格通过中间件来保证异构硬件和软件的互操 作性，进行资源的统一管理和调度。 ( 5 ) 协同工作：很多网格结点可以共同处理一个项目，能够自动进行计算、优 化、组织、协调。而这对于用户是透明的，用户的感觉像是在使用一台机器处理 事务。 3 网格计算与分布式计算 网格研究的核心问题是资源共享，属于分布式计算领域研究的范畴，但是又 区别于一般的分布式计算技术1 5 】【6 1 。 首先，网格中资源共享是大规模的，资源类型具有普遍性。网格下的一个资 源结点可以代表文件服务器、数据库、程序、传感器等种种连接于网络的软硬件 设施。而目前的分布式计算技术处理的资源类型十分有限。w 曲发布，b 2 b e x c h a i l g e 以及v i 咖a le n t e r p r i s e 技术主要解决信息资源的共享，但是并没有涉及应 用程序的绑定调用和远端物理设备( 如显示设备和传感器) 的控制使用等问题。 其次网格下的关系更加灵活，充分考虑到了网格结点的自治性。虚拟组织 7 1 ( v o ) 具有开放的体系结构和灵活的共享机制和访问机制，对于参与成员没有 过多的限制。与之相比，现有的分布式计算技术对于计算单元的种种限制，束缚 了它们的灵活性和扩展性。企业分布式计算技术，如c o r b a 和企业级j a v a 仅允 许同一组织内部的资源共享。s s p ( s t o r a g es e r v i c ep r o v i d e r ) 允许不同组织间的 硕十学位论文 第2 章网格计算与网格监控 存储资源和计算资源的共享，但是必须加以一定的条件约束，比如s s p 要求用户 必须通过v p n ( v i r t u a lp r i v 砒en e t 、v o r k ) 与服务提供者进行连接。 分布式计算本质上是一种网络环境下的资源协同共享，因此这些技术都可以 运用网格概念加以解释，使用网格技术实现。 4 两格计算与对等计算 网格计算与对等计算没有本质区别，都是在广域条件下实现资源共享。正因 如此，全球网格论坛( g g f ) 与对等网络研究小组( p 2 p w g ) 已宣布合并。但二者也 有一定的区别强】：( 1 ) 应用面网格计算较侧重于重大科学计算和大型专业性的协 同，其一个或多个主要结点仍有较重的服务器色彩；对等计算提供普通的信息 计算服务，每个参与者明显地兼有客户，服务器双重身份。( 2 ) 访闯对象网格计算 访问计算资源、数据资源、软件资源，相对来说，有较固定的目标；对等计算完 全是随机访问，随机使用。( 3 ) 安全性网格计算中每个结点都有身份鉴定、授权、 防火墙保护的能力；对等计算中每个参与者不保证这些能力，甚至是匿名的。( 4 ) 控制网格计算在资源监视分配和作业调度上仍有较多的集中控制：对等计算仅 有很少的或没有集中控制，主要靠自行组织。( 5 ) 服务质量网格计算确保可靠 的服务质量；对等计算只有部分的保证，某些参与者甚至是不可信的。以上这些 区别应该是相对而言，随着不断发展和改进，这些区别应该逐步缩小。值得一提 的是，i a i lf o s t e r 的判断网格的三点判断标准1 3 引起了热烈的争论。争论较多的是 集中控制和服务质量。人们希望网格最终没有任何集中控制，但从实现上和需求 上还不能完全排除集中控制的需要。若干企业网格正是通过集中控制来保证服务 质量的。在生产性网格中，管理者需要对产品质量和周期全权负责，集中控制也 是需要的。关于服务质量，如响应时间、流量、可用性和安全性等，都是停留在 我们目前的认识水平上。随着网格的发展，会有更多新的特征被发现，被认识。 2 1 2 网格系统的组成与基本功能 l 、组成 网格计算环境的构建层次从下至上依次为： f 1 ) 网格结点：由分布在i n t e m c t 上的各类资源组成，包括各类主机、工作站甚 至p c 机，它们是异构的，可运行在u n i x 、n t 等各种操作系统下，也可以是上述 机型的机群系统、大型存储设备、数据库或其他设备。 ( 2 ) 中间件：是网格计算的核心，负责提供远程进程管理、资源分配、存储访 问、登录和认证、安全性和服务质量( q o s ) 等。 f 3 ) 开发环境和工具层：提供用户二次开发环境和工具，以便更好地利用网格 资源。 ( 4 1 应用层：提供系统能接受的语言，如h p c + + 和m p i 等。可配置其他一些支 6 硕十学位论文 第2 章网格计算与网格监控 持工程应用、数据库访问的软件，还可提供w 曲服务接口，使用户可以使用w 曲方 式提交其作业并取得计算结果。 2 、功能 最起码的要求，网格计算至少需要具备三种基本功能：任务管理、任务调度 和资源管理 ( 1 ) 任务管理用户通过该功能向网格提交任务、为任务指定所需资源、删除任 务并监测任务的运行状态。 ( 2 ) 任务调度用户提交的任务由该功能按照任务的类型、所需资源、可用资源 等情况安排运行同程和策略。 ( 3 ) 资源管理确定并监测网格资源状况，收集任务运行时的资源占用数据。 而且，网格计算环境要求不影响各结点本地的管理和自主性，不改变原有的 操作系统、网络协议和服务，保证用户和远程结点的安全性，允许远程结点选择 加入或退出系统，尽量使用已存在的标准的技术，以便与已有的应用兼容，并能 提供可靠的容错机制。即：一个理想的网格计算应构建在当前所有硬件和软件平 台上，给用户提供完全透明的计算环境。对用户而言，它把众多同、异构的资源 变成了同构的虚拟计算环境。为此，网格计算环境设计需要考虑以下功能： ( 1 ) 管理层次确定管理层次体系，管理域按区域层次划分，决定管理信息流的 流向。 ( 2 ) 通信服务随应用目的的不同提供不同的服务，包括可靠的点对点和不可靠 的组播通信，支持各种通信协议，提供通信链路延迟、带宽和可靠性等指标。 ( 3 ) 信息服务提供方便可靠的机制，获得不断变化的各结点信息和状态。 ( 4 ) 名字服务提供全局统一的名字服务，典型的有国际通用的x 5 0 标准或 i m e m e t 上d n s 标准。 ( 5 ) 文件系统提供一个分布式文件系统机制、全局存储和缓存空间。 ( 6 ) 安全认证应包括登录认证、可信赖、完整性和记账等方面的安全性，这是 网格计算的难点，也是系统成败的关键。 ( 7 ) 监视系统提供监视系统资源和运行情况的工具。 ( 8 ) 资源交易机制为鼓励不同组织或资源拥有者加入系统，应提供种计算资 源的交易机制，允许提供资源者获得利益，使系统能动态地取得最好的性价比资 源。 2 1 3 网格体系结构 设计统一的体系结构是研究网格的需要。目前最有影响的体系结构形式有两 种：一种是f o s t e r 在2 0 0 1 年提出的“五层沙漏结构”【7 】，g t 2 ( g o l u b st 0 0 1 k 砬) 是该体系结构的实现；另一种是他在2 0 0 2 年提出的o g s a i l o l ，g t 3 ( g o l u b s 硕十学位论文 第2 章网格计算与网格监控 t o o l k i l 3 ) 是该体系结构的实现。 1 五层沙漏结构 五层沙漏结构是以协议为中心的网格体系结构，网格协议建立在互联网协议 之上，以互联网协议中的通信、路由、名字解析等功能为基础。该结构分为五层： 构造层、连接层、资源层、汇集层和应用层。 图2 1 网格协议结构及与互联网协议的关系【7 l ( 1 ) 构造层( f a b r i c ) ：它的功能是向上提供网格中可供共享的资源，它们是物 理或逻辑实体。常用的资源包括处理能力、存储系统、目录、网格资源、分布式 文件系统、分布式计算机池、计算机集群等。g t 2 中相应组件负责侦测可用的软 硬件资源的特性、当前负荷、状态等信息，并将其打包供上层协议调用。 ( 2 ) 连接层( c o n n e c t i v i t y )它是网格中网络事务处理通信与授权控制的核心 协议。构造层提交的各种资源间的数据交换都在这一层的控制下实现。各资源间 的授权验证、安全控制也在这里实现。在g t 2 中，相应组件采用基于公钥的网格 安全基础协议( g s i ) 。在此协议中提供一次登录、委托授权、局域安全方案整合、 基于用户的信任关系等功能。资源间的数据交换通过传输、路由及名字解析实现。 ( 3 ) 资源层( r e s o u r c e ) 这一层的作用是对单个资源实施控制，与可用资源进行 安全握手、对资源做初始化、监测资源运行状况、统计与付费有关的资源使用数 据。在t 0 0 l k i t 中有一系列组件用来实现资源注册、资源分配和资源监视。g t 2 还在这一层定义了客户端的c 、j a v a 的a p i 和s d k 。 ( 4 ) 汇集层( c o l i e c t i v e ) 这层的作用是将资源层提交的受控资源汇集在一起，供 虚拟组织的应用程序共享、调用。为了对来自应用的共享进行管理和控制，汇集 层提供蜀录服务、资源分配、日程安排、资源代理、资源监测诊断j 网格启动、 嚣 硕十学位论文 第2 章网格计算与网格监控 负荷控制、账户管理等多种功能。 ( 5 ) 应用层( a p p l i c 砒i o n s ) 这层是网格上用户的应用程序。应用程序通过各 层的a p i 调用相应的服务，再通过服务调用网格上的资源来完成任务。应用程序 的丌发涉及大量库函数。为便于网格应用程序的开发，需要构建支持网格计算的 库函数。 2 o g s a 与o g s i o g s a ( o p e n g r i ds e n r i c e sa r c h i t e 曲l r e ) 被称为是下一代的网格体系结构， 它是在原来“五层沙漏结构”的基础上，结合最新的w e bs e r v i c e 技术提出来的。 w e b s e r v i c e 提供了一种基于服务的框架结构，但是，w e bs e r v i c e 面对的一般 都是永久服务，而在网格应用环境中，大量的是临时性的短暂服务，比如一个计 算任务的执行等。考虑到网格环境的具体特点，o g s a 在原来w e bs e r v i c e 概念的 基础上，提出了“网格服务”( g d ds e i c e ) 的概念，用于解决服务发现、动态 服务创建、服务生命周期管理等与临时服务有关的问题。在o g s a 框架中，将一 切都抽象为服务，包括计算机、程序、数据、仪器设备等。这种观念，有利于通 过统一的标准接口来管理和使用网格。整个网格被看作是“网格服务”的集合， 这个集合不是一成不变的，是可以扩展的，这反映了网格的动态特性。o g s a 有 形式统一、与平台无关、集成灵活等优点，但目前还处于不成熟、低性能、不完 善阶段j 。 开放网格服务基础设施0 g s i ( 0 v d e ng r i ds e r v i c e si n 丘_ a s 加l c t i l r e ) 是0 g s a 关 于网格概念的正式规范，是一种将在使用0 g s a 设计的网格之问提供互操作性的 标准。o g s i 规定了一组服务要素，用于定义对所有网格服务都通用的核心行为。 2 2 网格监控基本理论 2 2 1 网格监控的目的与任务 在网格的支持下，用户综合使用互联网上的资源就如同使用本地资源一样。 用户通过p o r t a l 提交任务，资源代理接受任务并为任务寻找与之相匹配的资源， 最后任务被分配到相应的资源上完成。在这一过程中，网格监控起着重要的作用， 是整个任务顺利完成的基础：一方面，要为计算任务找到合适的资源，这必须要 能提供描述资源特征的性能数据；另一方面，网络及网络上的资源动态性大，这 必须有一种实时反映网络及资源当前状态的机制：另外，错误的检测和发现机制 也需要可靠的数据依据。这些正是网格监控所能提供的。所以说网格监控是网格 系统进行性能调整和错误发现的依据，是保证任务顺利完成的重要支撑。 此外，随着网格向着商业化方向的推进，网格用户了解与其任务有关的信息 显得越来越重要。用户期望能了解任务的当前状态、预测任务的完成时间、必要 9 硕十学能论文 第2 章网格计算与网格监控 时中止任务的执行、了解任务的资源消耗情况等。所以网格监控中的任务监控成 为网格应用系统中的重要环节。 22 2 网格监控结构 网格监控系统不同于普通的监控系统，它从规模上讲涵盖整个全域网、涉及 到无数的异构资源；它还应和其它网格中间件紧密相连；另外，网格监控要获得 的监控数据类型多样；不同监控数据有不同的信息来源、被不同信息需求者使用， 且获取信息的方法各异。所以说，网格监控从总体上说是复杂的。针对网格监控 的复杂性，为了研究的方便，全球网格论坛( g g f ：g 1 0 b a lg r i df o n 埘) 提出了 网格监控结构( g m a ：g r i dm o n i t o r i f 嘻a r c 晡t e c t u r e ) 。网格监控结构用“生产者 消费者”模型2 】来描述监控数据的获取、使用的逻辑过程。 1 生产者，消费者模型 该模型由三种类型的成分组成( 见图 2 1 ) ：( 1 ) 生产者( p r o d u c e r ) 获取性能数据 并使性能数据可用。( 2 ) 消费者( c o n s l 瑚e r ) 是监控数据的使用者：它可以运行在生产 者所在的同一主机上也可以在不同主机 上；它可以是存档信息的收集者，也可以 是数据分析工具或可视化工具等。( 3 ) 目录 服务( d i r e c t o r ys e n ，i c e ) ，支持信息发布和 图2 2 用生产者消费者模型描述g m a 发现。这里的生产者消费者关系表示监控数据问的逻辑依赖关系，而不是系统模 块之间的固有关系，即没有固定的生产者模块或消费者模块。 消费者和生产者通过目录服务彼此发现感兴趣的对方。然后，控制信息的传 达和性能数据的传递是在每一个消费者生产者对之间直接发生，不再需要目录服 务的干预。 在g m a 中，性能数据被设计成带时间戳的性能事件来处理。一个事件”那是 由被称为“事件概要”的特定结构所进行类型定义的数据集合，包含一个或多个 数据项目。目录服务并不储存事件的具体数据，它只提供数据的名称、特性和位置 信息。若想获得事件的数据，首先要通过目录服务找到该事件生产者的静态信息， 比如事件类型、主机地址等，然后再向该生产者发出请求获得相应数据。 生产者的监控数据来自许多被称为“传感器”( 监测器) 的小部件【l “。传感 器是指任意能产生性能监测事件( 如c p u 、内存、网络的使用情况) 的程序，传 感器还能用于监测出错情况( 如服务器进程冲突、路由器的c r c 错误) 。 2 生产者，消费者的交互方式 g m a 结构支持三种在生产者和消费者之间传递数据的交互方式：订购，发布 1 0 硕十学位论文 第2 章网格计算与网格监控 方式、询问回答方式、通知方式【l ”。 订购发布交互方式有三个阶段。在第一阶段，交互的发起者( 在这罩可以是 生产者或消费者) 与服务者( 如果发起者是消费者，则服务者是一生产者，反 之易然) 接触，表明对某一批事件感兴趣。另外，控制数据传输的参数也在这一 阶段得到传递。这些参数包括将性能事件送到哪里、怎样将其加密或译码、发送 性能数据的频率、缓冲器的大小和超时设定等。这阶段最初的连接和其他的通讯 通过在发起者和服务者之间交换控制信息来完成。这一阶段被称为“订购”。在 交互的下一阶段，生产者发送一个或更多的性能事件给消费者。在最后阶段生产 者或消费者终止该“订购”。 询问回答交互的发起者必定是消费者。它包含两个阶段。第一阶段如同发布 ，订购方式的第一阶段一样建立传递。然后生产者在一个单个的响应中将所有的性 能事件传给消费者。 通知交互只有一个阶段，发起者必须是生产者，生产者在一个“通知”中将 所有性能数据传给消费者。 3 组件和接口【1 2 l ( 1 ) 目录殷务 为了描述和发现网格中的性能数据，具有发布和查询功能的分布式的目录服 务是必不可少的。g m a 的目录服务包含有关接受请求的生产者和消费者的信息。 生产者和消费者在目录服务中发布它们的存在时便指定了它们各自所“生产”或 “消费”的事件类型。另外，它们还发布事件数据元素的静态值，进而限定它们 各“生产”或“消费”的事件数据的范围。这种发布使得其他生产者和消费者发 现当前所能获得的事件数据类型、数据的特征、每种数据即将产生或接收的来源 或接收方。目录服务并不负责存储事件数据而只负责信息的预发布。“事件概要” 根据需要也可存在目录服务中。 目录服务支持的功能有：修改授权、查询授权、增加记录、更新记 录、删除记录、查询记录、版本查询。 ( 2 ) 生产者 生产者是所有将性能事件送往消费者的部件。生产者支持的功能有：定位 事件、定位消费者、注册、接受查询、接受预定、接受取消预定、 启动查询、启动预定、启动取消预定。 其中第一个功能是支持动态地处理新的事件类型：第功能是启动事件 流：第功能是允许消费者启动事件流。 ( 3 ) 消费者 消费者是所有从生产者接受事件数据的部件。消费者支持的功能有：定位 里! ! 兰笪堡茎 篁! 童堕塑生竺兰塑塑堕篓 事件、定位生产者、启动查询、启动预定、启动取消预定、注册接受取 消预定、接受查询、接受预定、接受取消预定。 其中第个功能是支持动态地处理新的事件类型；第功能是启动事件 流：第功能是允许生产者启动事件流。 ( 4 ) 复合生产者艄费者 有些组件既是生产者又是消费者。比如，一个消费者可能从几个生产者收集 事件数据，然后将这些数据产生出派生的性能事件，如图2 2 所示。 图2 3 复合的生产者，消费者” 2 2 ，3 实例分析 1 、情景概况 如图所示，服务器s r w 负责收集它所管理的域内w s l w s l 0 的c p u 负载信 息；在该域外主机a d m i n s y s 负责监控w s l w s l 0 ，它需要获得w s l w s l 0 的c p u 负载信息；另外，域外主机a r c l l j v s y s 负责对这些信息存档。在这里有一生产者s r v r 和两个消费者a d m i n s y s 和a r c h i v s y s 。当然少不了目录服务，它运行在网格系统某 个服务器上。生产者与消费者之间建立“订购发布”交互的发起者可以是生产者 也可以是消费者。下面详细讨论这两个交互的建立以及在该情况下目录服务各目 录中所存放的各条目。 1 2 硕十学位论文 第2 章网格计算与网格监控 图2 4 订购发布交互实例【1 5 】 2 、目录服务 所含的目录有：事件类型目录、事件生产者目录、事侔消费者目录。 事件类型目录存放事件的概要信息，以c p u l o a d 事件为例，其事件概要应 为表2 1 所示。 表2 1c p u l o a d 事件概要【1 5 】 e v e n tt y p o e v e n td e r i 口村o n c p ul o a dc p ul o a dm e a b u r e m e n t1 b ras n gj eh d s l e i e m e n tn a m e日e m e n td a t at y p e e i e m e n td c p 廿o n m e a s u r e m e n id o u b i em e 髂u 怕dc p ui o a d h o s t n a m e s l n n g h o s tw h e r em e a s u r e r n e n tw a st a k e n t l f n e s t a m di e t ft i m 髓t a m p 圜t i m em e a s u r e m e n tw a 8t a k e n 事件生产者目录中的条目表明有哪些生产者能提供哪些事件数据，它是通过 生产者的注册加入事件生产者目录的。例如图2 3 中步骤，s n 玎向事件生产者 目录注册表2 2 所示条目。 硕十学位论文第2 章网格计算与网格监控 表2 2 生产者目录条目示例【1 5 l f i e i dn a m e v a l u e p r o d u c e r u r l s r ：r 1 ) ( x e v e n t t y p e c p ul o a d h o s t w s l s e n ，i c eb a s i c p a r a m e t e r s n o n e 开l t e r s n o n e a c c e s s c o r i t r o l o p e n c o n t r o l p r o t o c o is o a p h 丌p s o a p t c p 。j a v a r m i d a t a p r o t o c o l s o a p h t t p 。s o a p u d p 事件消费者目录中的条目表明有哪些消费者需要哪些事件数据，它是通过消 费者的注册加入事件消费者目录的。例如图2 - 3 中步骤，a d m i n s y s 向事件消费 者目录注册如表2 3 所示条目。 袁2 3 消费者目录条目示例【1 5 】 f 酗d n a m e v 硅h e c o n s u m e r - - u r l a r c h s y 6 ：p o r t y y y e v e n l t y p e s e r v i c e a r c h i v e p a r a r n e t e r 鲁 n o n e a c c e s 每一c o n t r o i p r o d u c e r = m y d o m a i ne d u c o n t r o l p r o t o c o ls o a p t c p d a t a p r o t o c o l s o a p u d p 3 、生产者为主动方的生产者，消费者对连接的建立过程 作为生产者方的s r v r 通过查询需要c p u l o a d 类型数据的事件消费者目录， 找到消费者鲫c h i v s y s ( 见图2 3 中步骤) ，并向其发出“存档服务”的“订购” ( 图2 3 中步骤) 。 4 、消费者为主动方的生产者，消费者对连接的建立过程 作为消费者方的a d m i n s y s 通过查询提供c p u - l o a d 类型数据的事件生产者 目录，找到生产者w s + ( 见图2 3 中步骤) ，并向其申请“订购”c p u - l o a d 数据( 见图2 3 中步骤) 。 5 、事件数据的传递 无论哪方为建立连接的主动方，事件数据总是从生产者直接传向消费者( 如： 从s n ，r 分别发向a d m i n s y s 和a r c h i v s y s ) ，不再需要目录服务的干预。 硕士学位论文 第2 章网格计算与网格监控 事件数据的描述形式是x m l 以该例的c p u l o a d 数据为例： 3 0 0 9 ( m e a s u r c m e n t w s1 2 0 0 3 0 1 3 0 t 2 0 ：3 3 ：0 5 0 0 3 z p r o d u c e r h 郇：s r v l m y d o m a i n e d u p r o d u c e f x x 咖d u c e r 吲c p u l o a d 2 2 4 网格监控结构的实现典范 g m a 是一个抽象的概念模型，既没有相应的协议也没有指明数据模式，所 以需要进一步的实现。下面介绍两种典型的实现。 l 、g l o b u s 的m d s m d s ( m o n i t o r