（计算机科学与技术专业论文）分布式网格监测系统中监测与基础分析组件的研究与实现.pdf

分布式网格监测系统中j | 矗测与基础分析组件的研究与实现 分布式网格监测系统中监测与基础 分析组件的研究与实现 摘要 网格是继万维网之后出现的一种新型的网络计算平台，是把地理 位置上分散的资源集成起来的一种基础设施，网格将通过通信手段连 接起来的资源无缝集成为一个有机整体。对于网格及应用来说，网格 监测必不可少，网格监测系统是支撑网格计算环境的重要基础设施。 及时、准确地收集网格各组成单元的信息，监测其运行状态，是对网 格进行有效管理的基础。本文分析了网格监测的需求、相关标准和各 种实例，阐述了网格监测的各种需求及其相互关系，总结了目前网格 监测系统中存在的问题与不足，完成了监测与基础分析组件的总体设 计，实现了诸如初始化策略、白适应传感器控制、传感器标准接口等 模块，研究了内部监测信息格式、存档信息的数据和事件分析等技术， 在提高扩展性和互操作性的同时降低了开销。 关键词：网格网格监测g m ar n m s 北京邮电大学硕士学位论文分布式网格监测系统中监测与基础分析组件的研究与实现 r e s e a r c ha n di m p l e m e n t a t i o no f m o n i t o l u n ga n da n a l y z i n gc o m p o n e n ti n d i s t i u b u t e dg i u dm o n i t o i u n gs y s t e m a b s t r a c t g r i di san e wk i n do fn e t w o r kc o m p u t i n gp l a t f o r ma f t e rt h ew w w j w h i c hi sa ni n f t a s t r u c t u r ei n t e g r a t i n gv a r i o u sr e s o u r c e sw o r l d w i d e g r i d m o n i t o r i n gi sa b s o l u t en e c e s s a r yf 6 rg r i da n dg “d b a s e da p p l i c a t i o n s g r i dm o n i t o r i n gs y s t e mi sa ni m p o r t a n ti n f r a s t m c t u r ea n dc o m p o n e n to f g r i dc o m p u t i n ge n v i r o n m e n t i ti st h eb a s e o fe f i c i e n tg r i dr e s o u r c e m a n a g e m e n tt h a tc o l l e c t i n gt h es t a t u si n f o r m a t i o no fg r i dc o m p o n e n t s a n dm o n i t o r i n gs t a t u sb e t i m e sa n da c c u r a t e l y t h i sp a p e ri n t r o d u c e st h e c o n c e p t ，r e q u i r e m e n t s ， r e l a t e ds t a n d a r d sa n dw o r k s ， a n a l y z e ss o m e t y p i c a lm o n i t o r i n gs y s t e m s ；p r o p o s e st h em o n i t o r i n gr e q u i r e m e n t s ， p r o b l e m sa n dd e f i c i e n c i e s b a s e dt h er n m sg r i dm o n i t o r i n gs y s t e m ， d e s i g n s t h ea r c h i t e c t u r eo fm o n i t o ra n db a s i c a n a l y z ec o m p o n e n t s ， i m p l e m e n t ss o m em o d u l e ss u c ha sa d a p t i v es e n s o rc o n t r o l ，s t r a t e g yo f i n i t i a l i z e ，s t a n d a r ds e n s o ri n t e r f a c e ，i n t e r i o ri n f o r m a t i o nf o f m a t ，e v e n ta n d d a t aa n a l y z eo f a r c h i v e di n f b r m a t i o n ，w h i c hi m p r o v e st h ei n t e r o p e r a b i l i t y a n ds c a l a b i l i t y ，a n dr e d u c e st h eo v e r h e a d k e yw o r d s ：g r i dg r i dm o n i t o r i n gg m ar n m s v ，鼍 i 北京邮电大学硕= l = 学位论文分布式网格监测系统中监测与基础分析组件的研究与实现 声明 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 ，何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：么盈日期：丝! ：三：竺 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名：彳蜀疑礼日期：现形六；易r 导师签名：奁i 竺丝日期：盈匹：! ：丝： 北京邮电大学硕士学位论文分布式网格监测系统中监测与基础分析组件的研究与实现 1 1 引言 第1 章绪论 随着计算机网络技术的快速发展，网络已经深入到人类社会的政治、经济、 文化各个领域，成为人类活动不可缺少的生产和生活工具，计算机网络技术与网 络应用正在并将继续改变人类活动的模式。1 9 8 9 年出现的3 w 服务和1 9 9 3 年出 现的图形界面浏览器m o s a i c ，使浏览器朋艮务器( b s ) 模式成为目前计算机网 络应用的主体模式。由于浏览器界面直观、使用方便，计算机网络逐渐从政府、 学界和工业界少数人使用的工具变为全人类公用的工具和服务手段，网络应用也 由此获得一次飞跃。 i n t e m e t 技术的推广与普及进一步促进了计算机网络应用技术的发展，电子科 学( e s c i e n c e ) 、电子商务( e b u s i n e s s ) 、电子政务( e g o v e m a i l c e ) 等应用近 年来获得社会越来越多的重视。当单机系统难以满足复杂的大型的科学计算( 高 能物理学、地球观测、天文物理、生物信息学等) 求解的需要时，人们开始转向。 研究如何在网络环境中利用多台地理位置上分散的大、中型计算机协同工作，共 同完成复杂的计算，这就是最早促进网格技术研究的动力。后来，电子商务也提 出类似的需求。于是，人们开始设想网络应用资源服务能否像电力网格 ( e l e c t r i c i t yg r i d ) 为用户提供的即插即用的输电服务一样方便。这就是计算机 网络计算环境中“计算网格”( 简称网格：g r i d ) 概念出现的背景【。应当指出： 网格计算仅在使用方便这一点上借用了电力网格的概念，由于信息资源的存储与 服务系统、资源的描述与表达、提供服务的方式上的千差万别，信息服务和计算 网格与电力网格技术在复杂度上有很大的差别。 国际知名网格专家i a nf o r s t e r2 0 0 2 年在w w w2 0 0 0 会议上的特邀发言中把 网格计算描述为在多个虚拟社团机构间实现动态资源共享和协同解决问题的过 程。也有人形象地把网格描述为“把整个因特网整合成一台巨大的超级计算机， 实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共 享的应用系统”。无论用什么方式去描述网格系统，我们都必须清醒地意识到： 网格是计算机网络环境中实现用户访问地理位置分布、异构的计算机系统资源的 一种通用应用服务平台。因此，它本身研究的重点是如何在计算机网络提供的已 有服务平台之上，增强实现方便的协同工作与资源共享，而不是研究计算机网络 技术本身【到。 北京邮电大学硕士学位论文 分布式网格监测系统中监测与基础分析组件的研究与实现 1 2 网格计算 1 2 1 网格计算的来源及概况 网格概念最早于9 0 年代中期提出，用于表述在高端科学和工程上分布式计 算的一种基础构造形式i 引。网格计算( g r i dc o m p u t i n g ) 起源于元计算( m e t a c o m p u t i n g ) 【4 】的概念。早期的网格研究实际上就是早期异构环境分布式计算的研 究扩展，目的就是能够在异构环境下利用一些高性能计算集群的计算能力解决高 端科学与工程问题。随着网络技术的发展，目前的网络计算环境已经有了很大的 改进，从应用的角度来看，网格有了更大的适用范围。 网格是继万维网之后出现的一种新型的网络计算平台，是把地理位置上分散 的资源集成起来的一种基础设施，网格将通过通信手段连接起来的资源无缝集成 为一个有机整体。1 1 j 而网格( g r i d ) 这种叫法是借鉴电力网( e 1 e c t r i cp o w e rg r i d ) 的概念提出来的，网格的最终目的是希望向用户提供与地理位置无关，与具体计 算设施无关的通用的计算能力，就如同现在使用电力一样方便。【5 j 投入网格计算研究的机构和组织很多，对网格的定义也各有千秋。网格定义 大多是从功能角度出发的，其中由衄0 1 1 i l e 国家实验室的f o s t e rl 和l 沁s s e l m a l l c 率先提出并正式定义。计算网格是由硬件和软件共同构成的基础计算环境，满 足用户对可靠、一致、普遍、廉价高端计算能力的需求1 6 j 。随着网格技术的进一 步成熟，对网格的定义将会得到统一。2 0 0 2 年7 月，i a nf o s t e r 在w h a ti st h e 鲥d ： at l l r e ep o i n tc h e c k l i s t 1 7 l 文中，进一步限定网格必须同时满足三个条件：( 1 ) 在 非集中控制的环境中协同使用资源；( 2 ) 使用标准的、开放的和通用的协议和接 口；( 3 ) 提供非平凡的服务。 从不同的角度出发，可以对网格进行分类，由于分类的着眼点不同，因此有 多种不同的分类方法。使用较多的是广义分类和狭义分类。广义分类1 8 j 包括计算 网格( c o m p u t i n gg r i d ) 、数据网格( d a t ag r i d ) 等。狭义地讲网格主要是指计算 网格。 1 2 2 网格计算的特点 网格计算属于分布计算研究领域，但与传统分布式计算相比，它有资源分布 共享、自治统一管理、异构性和动态性等主要特点： 资源分布共享：网格的资源是分布的，资源跨越的地理范围较广，涉及的资 源规模较大。资源共享是网格建设的目的，即网格上的任何资源都可以提供给网 格上的任何使用者，所以解决分布资源的共享问题是网格的核心内容。这里共享 的含义是非常广泛的，不仅指一个地方的计算机可以用来完成其它地方的任务， 北京邮电大学硕= j 学位论文分布式网格监测系统中监测与基础分析组件的研究与实现 还可以指中间结果、数据库等各方面资源。 自治统一管理：网格资源是由分布在广域网环境中的属于不同组织或者个人 的资源构成的，资源的拥有者对该资源具有最高级别的管理权限，拥有者对他的 资源有自主的管理能力，这就是网格资源的自治性。同时网格资源也必须接受网 格的统一管理，以作为一个整体的一部分为更多的用户提供方便的服务。 异构性：网格资源是异构的，并且类型复杂，包括大型机、服务器、小型机、 工作站、p c 机等不同计算能力的计算机，各种类型的数据库以及其它的各种设备 与资源。要将这些不同体系结构的计算机系统和类别不同的资源进行统一管理， 解决这些不同结构、不同类别资源之间的通信和互操作问题，共同完成用户的任 务要求是网格计算研究的主要问题之一。 动态性：网格的动态性包括数量的增减和结构的变化两个方面的含义。由于 网格资源分布自治，决不能假设网格环境是一成不变的。网格资源的动态变化特 点要求网格管理必须充分考虑并解决好这一问题，使网格环境具有一定的容错和 动态协调能力，对于网格资源的动态减少或者资源出现故障的情况，要求网格能 够及时采取措施。网格资源的动态增加要求网格具有可扩展性，也就是说在网格 的设计与实现时，必须考虑到新的资源能否很自然地加入到网格中来，并且可以 和原来的资源融合在一起，共同发挥作用。网格规模扩展后网格的相应管理软件 也应该能够满足扩展性的要求。 j 以上这些特点，使得网格计算与传统的分布式计算相比还有很多需要解决的 问题。典型的问题有资源的发现与协同管理、安全传输与通信、强动态变化对高 可扩展性和容错要求、服务计费、网格应用的服务质量保障等等。 1 2 3 网格计算的发展 近年来，网格计算的研究发展十分迅速。国外著名的项目包括g o n n e 国家 实验室的g l o b u s 、美国w i s c o n s i n 大学的c o n d o r - g ，澳大利亚m o n a s h 大学的 n i m r o d g 、欧洲数据网格d a t ag r i d 试验床以及英国的e s c i e n c e 项目等等。与此 同时，i b m 、m i c r o s o f t 、s u n 和h p 等众多跨国公司也积极参与推动网格计算的 发展。随着像g 1 0 b u s1 9 】这样较为成熟的网格基础设施和具有世界规模的网格论 坛g g f 组织【1 0 j 的出现，网格计算在标准化方面取得了长足的进步，为网格的商 用奠定了基础。其中g l o b u s 项目得到了i b m 公司的支持，已经成为现阶段网格 计算事实上的标准。 g l o b u s 项目开始于1 9 9 6 年，项目由美国d a r p af t h ed e f e n s ea d v a n c e d r e s e a r c hp r o j e c t sa g e n c y ) ，u s d e p a r t m e n to fe n e r g y ，n s f ( t h en a t i o n a ls c i e n c e f o u n d a t i o n ) ，n a s a ( t h en a t i o n a la e r o n a u t i c sa n ds p a c ea d m i n i s t r a t i o n ) 等机构 共同资助，项目的承担单位是g o n n e 国家实验室m a t h e m a t i c sa n dc o m p u t e r 北京邮电大学硕士学位论文分布式网格监测系统中监测与基础分析组件的研究与实现 s c i e n c ed i v i s i o n 以及南加州大学i n f o r i i l a t i o ns c i e n c e si n s t i t u t e 。g l o b u s 项目最初 目的是希望把美国境内的各个高性能计算中心通过高性能网络连接起来，方便美 国的大学和研究机构使用，提高高性能计算机的使用效率。随着研究的深入，它 的目标也进一步扩展，希望能够方便的对地理上分布的组织和研究人员建立虚拟 组织，进行跨学科的虚拟合作。 g l o b u s 项目组对安全、资源管理、信息服务、数据管理及应用开发环境等网 格计算的关键理论和技术进行了广泛的研究，该项目的一个成果是原代码开放的 g l o b u st o o l k i t ，包括支持网格计算和网格应用的一套服务和软件库。作为 g l o b u s 项目的一个成果，它是基于组织、开放结构、开放原代码的一套服务和 软件库，并能在多种平台上支持网格计算和网格应用，能够用来帮助规划和组建 大型的网格试验和应用平台，开发适合大型网格系统运行的大型应用程序。该工 具包重点在于解决安全性、信息基础设施、资源管理、通信、故障检查和转移等 问题。g l o b u s 工具包已经被应用于全球数百个站点和几十个主要的网格计算项 目，如美国n a s a 网格( n a s ai p g ) 【1 1 j 、欧洲数据网格( d a t ag r i d ) 等等。 由于i b m 公司的大力推动，g l o b u s 项目逐渐融合了商业领域中的w 曲s e i c e 技术，向网格服务发展。开放网格服务体系结构o g s a 【1 2 j ( o p e ng r i ds e r v i c e a r c h i t e c t u r e ) 是网格服务体系结构的代表，于2 0 0 2 年2 月在全球网格论坛g g f 会议上由g 1 0 b u s 项目组和i b m 公司共同推出。o g s a 融合了商业领域的w | e b 服务技术和标准，相比之前以“协议”为中心的五层沙漏结构【1 3 j ，0 g s a 更强调 以服务为中心，它的服务概念很广，包括各种计算资源、存储资源、网络、程序、 数据库等。2 0 0 4 年1 月2 0 日，g l o b u s 联盟ji b m 公司和h p 公司等又联合发布 了新的网格标准草案w s r f 【1 4 】【1 5 】( w 曲s e r v i c e sr e s o u r c ef r a m e w o r k ) ，形成了6 个用于扩展w 曲s e r v i c e s 的规范，使得网格服务与w 曲服务彻底融为一体。w s r f 的提出，标志着网格由科学研究向商用化的过渡，使网格计算不仅仅局限于科学 计算领域，还能够对商业应用进行广泛的、基础性的网格环境支持，实现更方便 的信息共享和互操作，从而对商业模式、人员的工作方式和生活方式产生深远的 影响。 可以将网格计算的发展总结为三个阶段： 萌芽阶段：9 0 年代早期，主要是建设千兆测试床，以及进行一些元计算实 验。 早期实验阶段：在9 0 年代中期到晚期，主要为学术研究实验。 迅速发展阶段：2 0 0 2 年以来，出现了大量的应用社团和项目。 北京邮电大学硕士学位论文分布式网格监测系统中监测与基础分析组件的研究与实现 1 2 4 网格监测 网格资源需要对外提供自身的状态信息，以便相关资源或网格系统管理机构 及网格用户根据状态信息有效的使用网格资源，同时，也需要对在网格计算环境 下运行的各种网格应用程序进行检查，提取必要的状态信息，以便于管理。在网 格计算中，是由网格监测系统实现各种状态信息的采集和提交发布，完成网格计 算环境，网格应用和网格管理机构之间的信息交互。因此，对于网格计算环境及 应用来说，网格监测必不可少。 网格监测是对网格资源的特征和运行状态进行信息收集的行为，即在特定的 时间点，对网格各组成单元的状态进行测量并对测量结果进行发布的过程【1 6 】。 网格监测系统是网格计算环境的重要基础设施与组成部分，是网格管理者和用户 了解网格的主要途径。网格监测数据有很多用途，主要包括：任务进度监测、性 能分析与调优、预测与调度、故障检测、诊断、查找、分析和排除以及审核和入 侵检测。通过对网格系统的资源状况、应用程序运行状态的监测与分析，可以提 供系统运行状态和资源状态的信息，这些信息对于提高网格计算环境的可用性、 健壮性、可管理性和性能至关重要，是网格计算环境以及其它高级网格应用正常 运行的基础。 网格监测系统是网格计算环境的基础设施。及时、准确地收集网格各组成单 元的信息，监测其运行状态，是对网格进行有效管理的前提条件。网格计算环境 是一个极其复杂的分布式系统，具有动态性，资源与服务的异构性，虚拟性，地 理上资源的分散性并跨越多个管理域，以及其带来的计算上的分布性等特点。正 因为这些特点，对网格计算环境的有效管理成为难点，也是具有挑战性的关键问 题。 随着网格逐步向商用化过渡，对网格计算的可管理性，健壮性和可用性提出 了更严格的要求，随之而来的是对网格监测的要求变得更多和更高，要求网格监 测能够提供足够丰富和精确的信息以支持商用网格计算环境在安全、管理、性能 以及计费等多方面的需求。网格的逐步商用化使得网格监测成为目前网格计算中 一个非常活跃的研究领域。 1 3 论文结构安排 在后续章节，本文将详细描述符合g m a 规范的分布式网格监测系统中监测 与基础分析组件的研究设计与实现的过程。章节结构安排如下： 第一章，绪论。 介绍网格计算的背景知识，包括网格计算的概况，来源和 发展情况。 北京邮电大学硕士学位论文 分布式网格监测系统中监测与基础分析组件的研究与实现 第二章，网格监测。详细描述了网格监测在网格计算环境中的重要意义和 作用，网格监测的需求，介绍现有的网格监测标准。 第三章，现有监测系统分析。选取多个具有代表性的监测系统进行分析和 比较，剖析其优缺点以及与网格监测需求之间的差距，并结合本论文所要研究实 现的监测与基础分析组件做出分析与比较。 第四章，进行网格监测组件的研究设计和实现。首先介绍r n m s 网格监测 系统的整体框架，在此基础上完成监测与基础分析组件的总体设计，针对各模块 设计程序的实现方法。 第五章，结束语。指出本文中完成的工作，并指出目前系统中存在的一些不 足之处和需要改进的部分，并提出了些改进的方向。 参考文献 【1 】徐志伟，冯百鸣，李伟网格计算技术北京：电子工业出版社，2 0 0 4 5 【2 】h t t p ：1 i ) l r w wc j 1 i n a g r i d n e t 【3 】i f o s t e r ，c k e s s e l m a j l ，s t u e c k e ，t l l ea n a t o m yo ft h eg f i d ：e n a b l i n gs c a l a b l e v i n p a lo r g a n i z a t i o n s i i l t e m a t i o n a l j s u p e r c o m p u t e ra p p l i 9 a t i o n s ，1 5 ( 3 ) ，2 0 0 1 【4 】l s m a r ra n dc e c a t l e t t ，m e t a c o m p u t i n g ，c o m m u n i c a t i o n so ft h ea c m ， j u n e 1 9 9 2 、，0 1 3 5n o 6 【5 】郁志辉陈渝刘鹏，网格计算，北京：清华大学出版社，2 0 0 2 1 0 【6 】i f o s t e r ，c k e s s e l m a j l ，t l l l eg r i d ：b l u e p r i n tf o ran e wc o m p u t i n gi n f r a s t m c t u r e ， m o r g a nk a u f 】【i l a n n ，s a nf r a i l s i s c o ，( a1 9 9 9 【7 】i a nf o s t e lw h a ti st h eg r i d ：at h r e ep o i n tc h e c k l i s t 【8 】 d b s l 【i l l i c o m ， m o t i v a t i n gc o m p u t a t i o n a lg r i d s ，p r o c e e d i n g s o ft h e2 n d i e e e a c mi i l t e m a t i o n a l s y m p o s i u m o nc l u s t e r c o m p u t i n g a i l dt h eg r i d ( c c g r i d 0 2 ) 【9 】g l o b u s 项目主页，h t t p ：，、 ，、 ，哲o b u s o 玛 【1 0 】g g f 主页，h t t p ：，m v w 铲i d f o m m o r 【1 1 】美国n a s a 网格( n a s ai p g ) h t t p ：啊w i p g n a s a g o v 【1 2 】o g s a 结构描述h t t p ： 硼州酣d f o n l m o r g o g s i w d r a f t s o g s a - d r a f t 2 一一 2 0 0 2 0 6 2 2 p d f ，h t t p ：、 ，、v w g l o b u s o g o g s a 【1 3 】1 f o s t e r ，c k s s e l m a n ，s t u e c k e t h ea m a t o m yo ft h eg r i d ：e n a b l i n gs c a l a b l e v i r t u a lo r g a n i z a t i o n s i n t e m a t i o n a l j s u p e r c o m p u t e ra p p l i c a t i o n s ，1 5 ( 3 ) ，2 0 0 1 【1 4 】 k a r l c z a j k o w s k i ，d o n a l dff e r g u s o n， i a nf o s t e r t h ew s - r e s o u r c e f r a m e w o r kv 色r s i o n1 o0 3 0 5 2 0 0 4 r 一 北京邮电大学硕二k 学位论文 分布式网格监测系统中监测与基础分析组件的研究与实现 【1 5 】r o nf a v a l i ， s h e 玎is t u a r t ，g r i da n dw e bs e r v i c e ss t a n d a r d st oc 咖v e r g e h t t p ：r w w m a r k e t w i r e c o m m w r e l e a s e h t m l b 17 r e l e a s e _ i d = 6 1 9 7 7 2 0 0 4 【1 6 】r u t ha y d t ，w a h e ns m i t h ，m a r t i ns w a n y ag r i dm o n i t o r i n ga r c h i t e c t u r e 一9 北京邮电大学硕士学位论文分布式网格监测系统中监测与基础分析组件的研究与实现 第2 章网格监测 2 1 网格监测简介 网格监测是对网格资源的特征和运行状态进行信息收集的行为，即在特定的 时间点，对网格各组成单元的状态进行测量并对测量结果进行发布的过程1 1 j 。网 格监测系统是网格计算环境的重要基础设施与组成部分。 网格监测的覆盖范围广泛，内容众多，依据不同的角度有不同的分类方法。 按监测内容来分可分为对资源的监测和应用程序的监测。前者主要是针对主 机的硬件和系统的运行状况以及网络状态进行监测，如c p u 时钟频率，当前磁 盘剩余空间等都是具有代表性的监测类型。后者针对网格应用程序的运行状态和 它所占用的资源情况。即网格计算环境中的各种资源和在网格计算环境上运行的 各种网格应用程序都需要被监测，其中对网格资源的监测是基础。 依据监测的目标不同可分为对主机的监测和对网络的监测。对主机的监测包 括对主机硬件、操作系统以及主机上运行的各种网格应用程序的监测。对网络的 监测主要针对端到端的带宽和延迟等网络情况以及网络器件的监测。 按测量方法来分，可分为主动监测和被动监测。主要区别在于前者通过对被 测者施加一定的负载，然后观察并纪录结果。而被动监测并不主动增加系统负载， 但是被动监测所能检测的类型较少，被动监测多是针对某个具体监测类型采用特 殊的监测方法，对大多数需要监测的类型并不具备一种通用的被动监测方法，可 扩展性和可管理性相对前者较差，因此实际的通用监测系统中被动监测使用得很 少。 网格是一个动态性很强的分布式计算环境，随着网格计算环境的变化，所需 要的监测类型也在不断变化之中，尤其是针对网格应用程序的监测需求总是随着 网格应用程序的增加而增加新的类型，不可能实现一个满足所有已知和未知监测 类型需求的监测系统，因此网格监测系统必需提供一种通用的扩展机制来满足对 新增类型的监测需求，使得用户可以根据新增的检测类型扩展现有的监测系统以 增加对其的监测，使得网格监测具备全面性，监测传感器能够植入网格的各个组 成部分一主机、网络以及应用程序之中。 网格监测应该是可管理的。一方面，由于网格监测的扩展性使得监测类型处 在一个动态变化的过程当中，需要由监测系统根据监测的需要进行管理和控制， 这些管理包括监测传感器的启动、停止、增加和删除等。另一方面，由于网格计 算环境是一个复杂且规模庞大的分布式系统，必然导致网格监测系统也是一个大 北京邮电大学硕士学位论文 分布式网格监测系统中监测与基础分析组件的研究与实现 规模的分布式系统，并且会随着网格计算环境规模的变化而变化。因此网格监测 系统应该能够对自身的结构进行管理，以适应网格计算环境的动态变化。 目前，网格计算最重要的国际性组织是全球网格论坛g g f ( g l o b a lg r i d f o r u m ) 1 2 j ，全球网格论坛及所属的工作组是网格相关标准的制定者和推动者。 与网格监测关系最为密切的工作组有性能工作组( p e r f o m a n c ew b r k i n gg r o u p ) ， 网络测量工作组( n m w g ) 、发现与监测事件描述工作组( d a m e dw g ) 和基 于c i m 的网格模式工作组( c g sw g ) 等等。其中g m “3 】【1 2 j ( g r i dm o n i t o “n g 心c h i t e c t u r e ) 是网格监测相关的最重要的标准，也是本论文的理论基础，将在后 续论文中详细介绍该规范。c g s w g 正在开发基于c o m m o ni n f o 姗a t i o nm o d e l ( c i m ) 4 j 的、面向对象、平台无关的标准信息模型。另外，g u j e ( g r i dl a b o r a t o r y u n i f o 册e n v i r o n m e n t ) 1 5 j 模型已经得到了广泛的支持。 2 2 网格监测的重要性 网格资源和应用通过监测系统对外提供自身的状态信息，以便相关资源或网 格系统管理机构以及用户根据状态信息合理有效的使用资源，管理网格应用程 序。网格系统管理机构通过监测数据来合理分配和管理资源。在实际运行过程中， 网格监测系统为网格提供所有被监测资源和应用程序的信息，有效地管理整个网 格计算环境，对异常情况及时做出反应，合理安排下一步的活动。在网格计算环 境下，监测系统不仅是保证系统健壮性、可用性的手段，而且支持网格环境下的 资源管理，是网格运行不可缺少的组成部分。网格监测系统与网格计算环境中其 他功能模块一起构成一个有机的整体，共同支持网格的运行。 由于网格自身具有的分布性，动态性，异构性等特点，使得实现一个可用性 好的、健壮的、高性能与可管理的网格环境，正确和有效地对网格实施监测至关 重要。典型的网格环境是高度分布的，它包括了许多组成部分，这些组成部分都 处在动态变化之中，退出、加入、故障等情况随时都可能发生，而这些变化有可 能影响到网格计算环境的正常运行，网格监测能够提供一种方法来精确地显示各 个部分的情况和变化。 由于网格计算环境自身的特点和网格监测信息的全面性，使得网格监测数据 具有广泛的用途1 6 j 。以下是监测数据的一些主要用途： 记账：随着网格商业化的逐步推进，如何记账和收费是它面临的一个重 要问题，将在很大程度上影响网格商业化的发展。不同的网格计费策略都 需要以监测信息为基础。在记账服务中，需要监测系统对某个用户在一定 时间段内所使用的资源种类，资源数量以及不同种类资源的使用时间和程 度做出精确的量化处理，记账服务才能准确无误的执行。 北京邮电大学硕士学位论文分布式网格监测系统中监测与基础分析组件的研究与实现 一 任务进度监测：监测数据可用来显示在网格中运行任务的状态，确定 任务是正在运行、挂起还是已经结束。任务进度的监测，是任务调度的基 础。只有准确和及时的任务进度监测才能保证网格资源的合理分配和使用。 - 调试。网格计算环境中存在大量的并行计算，而网格环境下的并行调 试需要监测数据，对运行中的程序进行监测是并行调试技术中获取数据的 最基本的手段，而这些数据是调试所需信息的基本来源。对于网格上的并 行应用来说，高性能的实现高度依赖于各个组成部分的有效协调。而全面 的监测数据能够反映出并行调试中组成部分各自的状况和相互间的联系。 - 性能分析与调优：网格计算环境的复杂性和分布性使得出现性能瓶颈 的可能性增加，分析起来更加复杂。确定性能问题的来源要求详细的所有 组件端到端的测量，包括应用、操作系统、主机和网络。通过对监测数据 的分析可能会找出一个复杂的分布式系统的性能瓶颈。详细和全面的监测 数据是性能分析与调优的基础。 _ 预测与调度：网格调度系统需要大量的监测数据，这样才能进行准确 的预测进而将最优的资源分配给指定的任务。资源分配和任务调度是以对 每个资源的可用量为基础的，其目标是根据网络性能、c p u 负载率与可用 内存和磁盘空间等指标来选择最合适的资源。这种选择应该在应用运行之 前就做出来，而且应该基于决定做出时资源的实际性能。这就要求对所有 可用资源进行正确的监测以至预测，并且保证监测数据的及时性。 _ 故障检测、诊断、查找、分析和排除：当一个网格任务失败时，需要 确定失败的原因的。监测信息对于实时的故障检测和事后分析是必要的。 监测数据可用来明确产生故障的原因及位置，使网格系统管理机构能够做 出正确的处理，使其从故障状态中解脱出来，达到容错的目的。 一 入侵检测。安全是监测数据的一个重要的消费者。网格计算不能以用 户系统的安全为代价来实现资源的共享和互操作。因此网格系统管理机构 必须通过监测数据来保证用户系统的安全。 通过以上介绍可以看出，网格监测对于网格计算具有极其重要的意义，监测 系统是一个健壮、容错、高效和可商用的网格计算环境的重要基础设施。 2 3 网格监测的难点 网格环境下监测主要难点在于下述几个方面：被监测资源的复杂特点：被监 测的系统的要求；监测需求的复杂性；网络环境的复杂性。 网格环境下，被监测资源的特征与网格资源的特征密切相关【引，重要的有： ( 1 ) 被监测资源的多样性：网格的发展将包含计算机硬件、软件和外部设备等 北京邮电大学硕二七学位论文分布式网格监测系统中监测与基础分析组件的研究与实现 多类型的资源，它们不仅种类繁多，而且不同资源间有复杂的逻辑关系； ( 2 ) 被监测资源数量巨大：网格系统将走向联合，形成全球规模的庞大系统，对如此 多的资源进行监测和管理，必须使用结构化的方法； ( 3 ) 被监测资源之间具有 内在的逻辑结构联系；( 4 ) 被监测资源具有动态性。 监测系统需要对被监测系统进行主动测量，难免会影响被监测系统的运行， 但它也希望能获得被监测系统较少受到外界干扰情况下的性能数据；另一方面， 被监测系统自身也不希望受到外界的影响，这不仅仅因为会影响其性能，而且因 为这样的影响有可能最终对系统造成巨大影响，以至于完全改变系统原有的运 行。在这种情况下，监控系统和被监控系统都需要关心这样一个问题：如何减小 主动测量队系统带来的侵扰( i n t r u s i v e n e s s ) 。如何在最小的侵扰情况下进行高精 度的测量，一直是主动测量追求的目标。 监测系统服务于多种目标和对象，比如历史归档和性能预测，以及多个用户、 管理者以及其他应用程序。这些目标和对象处于监测系统顶层，它们对监测系统 所提供的监测数据有各自不同的要求，如何既尽量减少监测组件的工作，又满足 监测数据消费者多种的需求，这也是一个复杂的问题，同时它与实际部署使用关 系密切。 跨网络的监测系统需要使用网络来传送数据，这样主要带来两个问题：网络 传输不可靠，和网络传输延迟。在其他很多系统中也有类似的问题，这样的问题 尽管与监测系统关系密切，但监测系统自身难以从根本上解决这样的问题。 2 4 网格监测的需求 网格监测系统在网格环境里起到非常关键的作用，所以根据网格计算环境的 特点，对网格监测系统不可避免会有一些特殊的需求，在不同系统和不同的情况 下，这些需求可能会得到不同程度的支持。这些需求包括7 】【8 】【9 】： _ 可管理性。是指网格监测系统的管理员可以容易的部署、配置、检查和 管理监测系统，由于网格系统的庞大规模，高度的可管理性对系统的可用性 至关重要。一方面需要好的用户接口，另一方面系统内部应该采用智能化的 设计方式，自主完成一些功能，减少用户的人为干预。 低延迟。网格监测数据生命周期短，更新频繁，这是由网格计算环境中 资源的负载和使用状况动态变化所决定的。因此，检测数据的采集和传输都 应该在可以接受的时间范围内完成，保证监测信息的时效性，保证数据能尽 可能的反应系统的当前状态，并在尽可能短的时间内发现故障，保证基于监 测数据的决策有效性。 _ 可扩展性。包括可伸缩性( s c a l a b i l i t y ) 与可扩充性( e x t e n s i b i l i t v ) 。因 北京邮电大学硕士学位论文分布式网格监测系统中监测与基础分析组件的研究与实现 为网格在很多方面是动态改变的，如用户数量、资源数量以及系统的规模， 所以监测系统必须能够有效地处理资源和用户数量增长带来的伸缩性问题， 支持并易于添加新的传感器，相应地，应该支持更多的因监测这些资源而产 生的监测信息与事件类型，具体体现在增加新的数据类型，能够适合新的事 件类型的生产者消费者协议。允许传感器的自由加入或者退出而不影响监 测系统的正常运行，监测对象的数目和种类也能随着需要动态的改变。网格 监测系统应该可以随着网格计算环境规模的扩展而扩展，能够适应网格计算 环境规模的变化。 _ 低侵扰。侵扰性对于测量来说一直是一个关键问题。当监测任何资源时， 必须注意到监测动作不能影响被监测的内容。监测信息的采集和传送必然会 占用系统和网络资源，因此不应该因为监测而引入大量的系统负担。如果监 测引起的侵扰过大，不仅影响网格计算环境的正常运行，而且使获得的监测 数据失真，失去意义。由于网格系统包括许多的共享资源，应该确保监测系 统的多个使用者不要扰乱被测量的系统，而且传感器应该能够控制自己对系 统和网络的侵扰程度。 - 发布静态数据和动态数据。根据更新频率，监测数据可以分为两类：静态 数据和动态数据。静态数据指那些数值不经常改变或在一次查询期间数值不 发生改变的数据，如关于一个计算单元的操作系统类型、版本号等的信息。 动态数据指那些可以被认为数值不断发生改变的数据，如一个计算单元的内 存使用量。动态数据应该可以根据用户的需求而以不同的频率采集。 监测系统和数据的安全性。不能给被监测的对象带来安全隐患，不能因 为监测而影响网格计算环境和网格应用程序的正常运行。监测系统应该提供 安全机制和控制访问策略，针对不同的用户提供不同级别的数据访问，保证数 据的安全和保密。数据源必须能够控制哪些用户可以访问它产生的数据，监 测系统应支持数据源所做出的选择。用户要能够标志自己的身份以便他们能 使用已被授权访问的数据源，同时数据源要能阻止未被授权的用户对其进行 的非法访问。 互操作性( i n t e r o p e r a b i l i t y ) 。监测事件消费者必须能够获得监测数据、 对监测数据进行解析，获得信息内容、理解信息含义，而监测数据消费者众 多，在某些时候还要与其它监测系统、信息服务系统进行信息共享与交流， 因此需要从监测信息格式、通信协议等方面协同一致。理想的网格监测系统 在互操作性上应该具备跨操作系统、跨网格环境、跨语言平台进行工作的能 力。数据编码协议x m l ，传输协议t c p 舢d p s s l 以及用于订阅请求的协议 s o a p 都是实现互操作性的有力工具。 北京邮电大学硕士学位论文分布式网格监测系统中监测与基础分析组件的研究与实现 一监测信息的递送方式的多样性。支持根据不同的时态特征进行查询。在 实际应用中，用户可能会对某个数据流的当前状态进行一次性查询，也可能 会对某个数据源发起从当前时刻起的连续查询，或者对某类信息的历史数据 进行查询。 除了以上几种需求，网格监测还应关注： 一监测信息的全面性和有效性 - 监测系统的可移植性 一监测系统的可用性( 可靠、容错、稳定) 2 5 网格监测系统结构 2 5 1 网格监测系统组件 在文献【1 】中，给出了一个完整的端到端网格监测系统的组成，如图2 1 所示