（管理科学与工程专业论文）基于事件通知服务的网格监测系统研究.pdf

国防科学技术大学研究生院学位论文 摘要 网格自9 0 年代中期被提出以来，得到迅猛发展，是目前国际计算机界的热门 研究领域之一。网格监测为网格用户和其他组件提供与网格资源有关的重要性能 数据，是网格系统进行性能调整和错误发现的依据。因而网格监测系统的建设是 网格建设中非常关键的一环，成为重要的研究方向。 本文的主要贡献在于借鉴基于内容的事件通知服务思想，提出并设计一种基 于事件通知服务( e v e n tn o t i f i c a t i o ns e r v i c e ，e n s ) 的网格监测系统。将“基于内 容的发布订阅”通信机制引入到网格监测系统中。 考虑到网格环境是一种跨地域跨组织的广域异构环境，由地理上分布、分属 不同管理组织的各类网络构成，本文设计一种“混合结构”的服务器网络拓扑， 即采用层次化结构与一般对等结构相混合的方式来建立监测系统的服务器网络。 根据网格资源监测对象的特征，在可扩展的互联网事件通知体系结构 ( s c a l a b l e i n t e r n e t e v e n t n o t i f i c a t i o n a r c h i t e c t u r e ，s i e n a ) 基础上，本文设计了 适用于网格监测系统的数据存储结构和消息格式；在s i e n a 原始路由转发算法 基础上设计了一种基于分类的路由转发( c l a s s i f i c a t i o n b a s e dr o u t i n ga n d f o r w a r d i n g ，c b r f ) 算法。 最后，基于上述框架结构本文设计了一个基于e n s 的网格监测原型系统， 实现了主要的功能模块，并在局域网内进行了仿真验证。另外，将本文设计的 c b r f 算法与s i e n a 原始转发算法做了实验对比，结果表明c b r f 算法提高了 消息的转发速度。 关键词：网格网格监测事件通知服务基于内容的发布订阅可扩展的互 联网事件通知体系结构路由转发算法 第1 贞 国防科学技术大学研究生院学位论文 a b s t r a c t t h e 鲥dt e c h n o l o g yh a sb e e nd e v e l o p e df e a n y s i n c ei tw a sp f o p o s 酣i n1 9 9 0 s ， a n dh a sb e c o m eo n eo ft h eh o tr e s e a r c h i n gf i e l d s g r i dm o n i t o r i n gs y s t e mp r o v i d e s e s s e n t i a la n ds o u r c e r e l a t e dp e r f o r m a n c ed a t af o rt h eu s e r sa n dd e v e l o p e r so fg r i d ， a n di tl a y st h eb a s ef o r 鲥ds y s t e mt or e g u l a t ep e r f o r m a n c ea n df i n de r r o r s s oh o wt o c o n s t r u c tg r i dm o n i t o r i n gs y s t e mi so n eo f t h ec r i t i c a lp r o b l e m so f t h eg r i dr c s e 础， a n dh a sb e c o m ea ni m p o r t a n tr e s e a r c hd i r e c t i o n t h i sp a p e rd e s i g n sa ne n s - b a s e d ( e v e n tn o t i f i c a t i o ns e r v i c e ，e n sf o rs h o r t ) g r i dm o n i t o r i n gs y s t e m w h i c hu s e s c o n t e n t - b a s e dp u b l i s h s u b s c r i b e a st h e c o m m u n i c a t i o nm e c h a n i s ma n di sh i g hs c a l a b i l i t y 1 1 1 ed e s i g ni d e ai sd e r i v e df r o m c o n t c n t - b a s e de v e n tn o t i f i c a t i o ns e r v i c e 强eg r i de n v i r o n m e n ti sw i d e - a r e ah e t e r o g e n e o u se n v i r o n m e n t , w h i c hi sa c r o s s w i d ea r e a s a n di tw i l lb ec o n s i s to fm a n yl a n s ，t h e s el a n sa r ed i s t r i b u t e da n d b e l o n g t od i f f e r e n t o r g a n i z a t i o n s t b i sp a p e rp r o p o s e s ah y b r i dt o p o l o g yi n c o n s t r u c t i n gt h es e r v e rn e t w o r ko fg r i dm o n i t o r i n gs y s t e m ，w h i c hi sh y b r i df r o m h i e r a r c h i c a lt o p o l o g ya n dg e n e r i cp e e r - t o - i 地e rt o p o l o g y a c c o r d i n gt ot h ec h a r a c t e r so f t h eo b j e c to f g r i dm o m w r i n g ，b a s e d o nt h es i e n a ( s c a l a b l ei n t e r a c te v e n tn o t i f i c a t i o na r c h i t e c t u r e ) ，t h i sp a p e rd e s i g n sd a t as t r u c t u r e a n dm e s s a g ef o r m a tw h i e ha r cs u i t a b l ef o rg r i dm o n i t o t i n gs y s t e m b a s e do n 也e o r i g i n a lr o u t i n ga n df o r w a r d i n ga l g o r i t h mo ft h es i e n a ，t h i sp a p e rd e s i g n s a c l a s s i f i c a t i o n - b a s e dr o u t i n ga n df o r w a r d i n ga l g o r i t h m a tl a s t ，t h i sp a p e rd e s i g n sa 鲥dm o n i t o r i n gp r o t o t y p es y s t e ma c c o r d i n gt h e a r c h i t e c t u r em e n t i o n e da b o v e ，a n di m p l e m e n t sm a i nf u n c t i o nm o d u l e s i na d d i t i o n , t h i sp a p e rc o m p a r e st h ec l a s s i f i c a t i o n - b a s e da l g o r i t h mw i t ht h eo r i g i n a la l g o r i t h mo f t h es i e n ab ye x p e r i m e n t s a n dt h er e s u l t ss h o wt h a tt h ec l a s s i f i c a t i o n - b a s e d a l g o r i t h mi n c r e a s e st h es p e e do f f o r w a r d i n gm e s s a g e k e yw o r d s ：f i r i d g r i dl l o n i t o r i n g ，e v e n tn o t i f i c a t i o ns e r v i o e ( e n s ) c o n t e n t - b a s e dp u b ii $ k e u b e o r i b e 。s c a i a b l ei n t e r n e te v e n tn o t i f i c a t i o n a r c h i t e c t u r e ( s l e n ) ，r o u t i n ga n df o r w a r d i n ga l g o r i t h m 第页 国防科学技术大学研究生院学位论文 图表目录 图2 1g m a 体系结构组件7 图2 2m d s 体系结构8 图2 3r - g m a 的体系结构1 0 图2 4 三个r e g i s 砸吣之间的p e e r - t o - p e e r 拓扑结构1 1 图2 5 基于内容的事件通知服务示例1 3 图3 1e n s 在网格监测系统中的应用机制，1 6 图3 2 混合结构服务器网络1 7 图3 3 层次化结构服务器网络1 7 图3 4 一般对等结构服务器网络1 8 图3 5 下游复制- 2 1 图3 6 上游评估2 l 图3 7s i e n a 原始过滤偏序集示例2 2 图3 8s i e n a 原始过滤偏序集2 3 图3 9 基于分类的过滤偏序集2 3 图4 1 系统总体功能结构3 0 图4 2 消息格式示例3 1 表4 1 通知消息内容模式示例3 3 表4 2 订阅消息内容模式示例3 3 表4 3 取消订阅消息内容模式示例3 3 图4 3 实验环境物理网络拓扑结构3 4 图4 4 实验环境目录服务器网络拓扑结构3 5 图4 5 服务器执行界面3 5 图4 6 消费者提出订阅的界面3 6 图4 7 生产者发布事件通知的界面3 6 图4 8 消费者收到通知界面3 6 图4 93 0 0 0 个属性约束3 8 图4 1 06 0 0 0 个属性约束3 8 图4 1 19 0 0 0 个属性约束3 8 图4 1 2 不同数量属性约束之间的比较3 9 第l 页 里堕型兰垫查奎堂竺茎生堕兰垡笙苎 1 1 1 网格 第一章绪论 1 1 研究背景 随着高性能计算应用需求的发展，单台高性能计算机已经不能胜任一些超大 规模应用问题的求解，这就需要将地理上分布、异构的多种计算资源通过高速网 络连接起来，共同解决大型应用问题，网格就是在这样的背景下产生的。 网格是近年来在学术界和产业界逐渐兴起的一个研究领域，当前的互联网技 术实现了计算机硬件的连通，w e b 技术实现了网页的连通，而网格技术是把整 个互联网整合成一台巨大的超级计算机，实现资源的全面连通。简单的说，网格 技术就是要实现计算资源、信息资源、知识资源等互联网上所有资源的连通、共 享和互操作【3 ”。网格是一个广域异构资源的有机体集合，提供透明的远程访问、 资源共享、分布计算等功能。相比目前的互联网，它覆盖更多的资源，各个节点 联系更加紧密。网格具有可扩展性、异构性、多级管理域、动态性等特征。网 格能够充分吸纳各种计算资源，并将它们转化成一种随处可得的、可靠的、标准 的、经济的计算能力。除了各种类型的计算机，这里的计算资源还包括网络通信 能力、数据资料、仪器设备、甚至人等各种相关资源。 网格的产生和发展必须具备以下三个基本条件：计算资源的广域分布、网络 技术( 特别是互联网技术) 的发展、不断增长的对资源共享的需求。目前，互联 网技术的飞速发展和普及使得这三个条件已基本具备，从而使得对网格计算技术 的研究成为目前信息技术研究领域中最重要的课题之一。不仅全球的学术界已开 始进行大量相关的研究，各国政府和企业界也已开始介入，以推动网格计算技术 的普及，进而大规模商用 4 0 l 。 过去人们往往很自然地把计算资源和特定的有形的计算机等联系起来，而网 格就是在剥去了各种具体的计算资源外在的“形”的基础上，将其内在的“神” 即计算能力抽取出来，形成一种分布在网上的抽象的计算能力，在实现了“形” 和“神”分离的同时，将原来有形的、专用的计算能力转化为一种无形的、更通 用的计算能力，正如电力网将具体的各种类型的发电机的电力转化为一种我们认 为根本没有什么区别的统一的电力一样。 这种观念和使用方式上的改变，是由网格技术支持的，不是凭空产生的。网 格的意义，就如同互联网改变了人们传统的通信方式和通信手段一样，它将改变 人们传统的计算方式和计算手段，网格技术将为人们提供更强大、更方便、更高 级的问题求解手段【4 2 】。 第1 页 国防科学技术大学研究生院学位论文 因此，对网格进行深入而广泛的研究，无论从技术本身或应用价值方面而言 都具有非常重要的意义。 1 1 2 网格监测 典型的网格环境是由很多资源构成的高度复杂的分布式环境。网格中间件和 网格的一些工具力图向用户隐藏其中大量的复杂性。在系统运行正常的情况下， 隐藏复杂性是一种很好的特性。但是，在系统出现问题时，就会带来困难。这个 时候，用户需要一种办法准确地看到系统中发生了什么。另外，在可用的资源中， 网格进程需要一种方法来看到不同资源的状态，以便帮助对资源分配进行决策 【4 3 j 。 网格用户和开发人员需要实时监测系统的运行状态以发现未知的性能问题， 从而在较短的时间内采取应急措施，对系统做出必要的调整。现有集群系统的监 测系统并不能适应网格的需要，因为集群系统通常是属于某一个特定的管理域， 在地理上比较集中；而现有的一些中大规模网络监测系统也不能适应网格的需 要，因为网络监测只是监测网格的一部分，不能监测网格中其他复杂的组件。网 格的新特征及现有各类监测系统的局限决定了需要新的资源监测技术网格 监测技术来实时监测网格中各类资源的状态。 所谓网格监测是指：收集网格资源的状态信息并供网格中的组件查询、分析 之用u j 。通过监测可以及时发现产生故障的监测对象，分析系统性能瓶颈，帮助 用户在最短的时间内调整或恢复系统；另外监测数据还可用来预测系统运行的轨 迹，为网格动态负载均衡策略提供可靠的依据。 从功能上划分，网格监测可分为两部分：一部分负责监测数据的采集，这部 分由各类传感器及其管理器组成：另一部分负责监测数据的处理、存储和分发， 由各级服务器组成，这部分是本文的研究重点所在。 网格监测用来度量和显示网格组件在某一时刻的状态。为了保证有效监测， 监测必须是“端到端”的，也就是说，在应用端所有组件都必须监测，包括软件 ( 应用程序、服务、中间件和操作系统) 、终端主机的硬件( 如c p u 、磁盘、 内存和网络接口) 和网络( 如路由器、交换机或端到端的路径) 。 网格监测的用途很广泛，包括状态检查、故障检测、性能协调和调试等。比 如，假设提交一个作业给资源代理，它可使用可靠文件传输服务将作业传送到远 程节点，然后运行作业。这个过程通常1 5 分钟就可以完成，但是两个小时过去 了，作业还没有完成。确定到底什么地方出了问题是很困难的，需要用到很多监 测数据。作业是否还在运行? 是否有软件组件失效了? 是否网络出现了拥塞? c p u 是否出现了异常? 是否有磁盘出现问题? 是否某处的软件库出现了问题? 监测信息可以帮助追踪到当前作业的状态，并且找出问题所在。 第2 页 国防科学技术大学研究生院学位论文 1 2 网格监测系统研究现状综述 目前有很多网格项目在实验和部署之中，其中有很多都开发了网格监测系统 或者网格监测工具。比较著名的有以下一些。 国际上最有影响的网格研究组织之一g l o b u sa i l i a n c e ( 其前身为g l o b u s p m j c c t ) 口l 在他开发的g l o b u st o o l k i t 中实现了提供资源监测和发现的m d s 3 1 1 4 ( m o n i t o r i n ga n dd i s c o v e r ys e r v i c e ) 组件。m d s 是基于l d a p t 饽1 ( t i 曲t w e i g h t d i r e c t o r ya c c e s sp r o t o c 0 1 ) 构建的资源监测和发现系统。主要用于监测、发现和 刻画网格中的资源、服务和计算等，提供有关网格资源的状态信息。m d s 提供 了发布和发现资源状态的机制，能处理静态或动态的信息。 网格监测体系结构( g r i dm o n i t o r i n ga r c h i t e c t u r e ，g m a ) 是由t i e r n e y 等在 文献【1 0 】中提出的。现在已被全球网格论坛( g l o b a lg r i d f o r u m ，g g f ) 【9 】采纳 为网格监测系统的标准体系结构。这一结构的主要贡献是生产者消费者模型和 发布订阅的数据传送方式，相比目前广泛使用的查询，响应方式，效率更高；同 时，通过把信息的发布、查询和发现相分离，g m a 具有较好的可扩展性。但是 它并没有定义数据模型、查询语言以及用于数据传输的协议，同时也没指明目录 服务中应存储什么样的信息，以及如何匹配生产者和消费者。 在上述g m a 模型基础上，e u r o p e a nd a t a g r i dp m j t 实现了r g m a ( r e l a t i o n a lg r i dm o n i t o r i n ga r c h i t e c t u r e ) 【l l 】【12 【”j 。r - g m a 是基于关系数据模 型和j a v as e r v l e t 技术构建的。生产者通过生产者s e r v l e t 把他将要提供信息的描 述( 即元数据信息) 注册到目录服务。消费者通过消费者s e r v l e t 在目录服务中 发现他所需要的生产者，然后由消费者s c r v l e t 代理与在目录服务中发现的生产 者( 通过相应的生产者s e r v l e t ) 交互，并把所需数据返回。以上的交互都是以 s q l 查询语言的方式进行的，从用户的角度来看就好像每个组织都有一个 r d b m s 一样。r - g m a 允许发布动态数据和静态数据。通过提供对目录服务组 件的复制功能，它还具有可扩展性。最重要的是由于建立在关系模型基础之上， r - g m a 支持功能强大且灵活的关系查询。在本文的第二章还将对r - g m a 做详 细的介绍。 美国l a w r e n c eb e r k e l e y 国家实验室( l b n l ) 在其开发的网格监测系统中提 出了d m f ( d i s t r i b u t e dm o n i t o r i n gf r a m e w o r k ) 体系结构。这一结构的突出特点 是把网格监测系统由低到高分成几个层次：传感器层、传感器管理层、事件管理 系统层。通过分层管理使得系统的逻辑更加清晰，可移植性强，同时有利于把现 有使用不同协议和结构的监测系统集成到一起。另外，他们在网络监测方面的工 作非常突出，开发了n e t l o g g e r ，e n a b l e ，n c s 等实用而高效的监测工具【1 4 】【”1 6 1 。 p e t e r a d i n d a 和b e t h p l a l e 提出了一种基于关系模型的g i s ( g r i d i n f o r m a t i o n s e r v i c e s ) 实现方式。采用m y s q l 和o r a c l e 数据库服务器存储静态网格监测数 据，采用支持s q l 操作的d q u o b ( d y n a m i cq u e r y o b j e c t ) 系统存储动态数据。 这样就使得静态数据和动态数据都被集成到同一个信息框架内。他们还提出一个 在网格环境中具有较高实用价值的概念一一具有时效性的非确定性查询 ( t i m e - b o u n d e dn o n d e t e r m i n i s t i cq u e r i e s ) ：他们认为典型的g i s 用户更愿意在 第3 页 国防科学技术大学研究生院学位论文 较短的时间内获得某个查询请求的局部最优解，而不愿花费较长的时间来获得这 个查询请求的全局最优解，即用户比较注重查询结果的时效性，具体工作参见文 献 1 7 1 。 国内的织女星网格项目开发了g r i d m o n 网格监测系统，该系统借助于l d a p 的目录层次，建立了网格系统的树状基本结构，灵活地将静态和动态信息结合在 目录层次中，从而减少了客户端与服务器的交互次数，并采用中间件技术有效地 解决了直接访问被监测主机带来的安全和接口问题，是国内网格监测研究领域的 代表之一【4 1 1 【4 铂。 1 3 论文研究的主要内容 本文研究网格监测系统相关技术，借鉴基于内容的事件通知服务思想，该思 想源于可扩展的互联网事件通知体系结构( s c , a l 曲l ei n t e m e te v e n tn o t i f i c a t i o n a r c h i t e c t u r e ，s n a ) ，设计一种基于事件通知服务的网格监测系统。具体来讲， 主要包括以下内容： 1 研究网格监测系统的发展现状，详细分析现有的几个网格监测系统；研 究基于内容的事件通知服务，着重分析其适用于网格异构、动态环境的特点。 2 在分析现有研究成果的基础上，根据网格环境多级管理域的特点设计一 种对等结构与层次化结构相结合的“混合结构”的网格监测系统服务器网络拓扑 结构。根据网格分布、动态等特征，提出一种采用基于内容的事件通知服务( e v e n t n o t i f i c a t i o ns e r v i c e , e n s ) 作为网格监测系统各服务器之间信息交互的通信设施 的新方法。 3 根据网格资源监测对象的特征，在s i e n a 的基础上，设计适用于网格监 测系统的数据存储结构；在s i e n a 原始路由转发算法基础上设计一种基于分类 的路由转发( c l a s s i f i c a t i o n - b a s e dr o u t i n ga n df o r w a r d i n g ，c b r f ) 算法。 4 设计并实现一个基于上述框架结构的网格监测原型系统，并在局域网内 进行仿真验证。借助比较权威的负载生成器，将本文设计的c b r f 算法与s i e n a 原始转发算法进行实验对比。 1 4 论文安排 本文共分为五章，各章内容的具体安排如下： 第一章介绍网格监测系统的研究背景、研究意义和国内外研究现状。 第二章比较详细的分析现有几个著名的网格监测系统，并介绍本文设计的网 格监测系统的理论基础基于内容的事件通知服务，着重分析其适用于网格异 构、动态环境的特点。 第三章分析本文提出的基于e n s 的网格监测系统所涉及的关键技术，首先 分析本文提出的“混合结构”的网格监测系统服务器网络拓扑结构；其次分析本 文设计的c b r f 算法，该算法建立在s n a 原始路由转发算法的基础上，对算 第4 页 国防科学技术大学研究生院学位论文 法所需的数据存储结构和处在“混合结构”不同层次的服务器所使用的路由转发 算法做了比较详尽的分析。 第四章的内容主要是基于e n s 的网格监测原型系统的设计与实现，介绍该 原型系统在实验环境中的配置和一个简单的应用实例，并对本文设计的c b r f 算法和s i e n a 原始路由转发算法进行实验对比。 第五章总结全文，并对今后的研究工作进行展望。 第5 页 国防科学技术大学研究生院学位论文 第二章网格监测系统及相关技术研究 2 1 性能要求 网格监测系统的作用是使得有关网格状态的信息对用户和其他的网格组件 可用。为实现这一目标，网格监测系统需满足如下性能要求： 1 能同时发布静态数据和动态数据 根据更新频率，监测数据可以分为两类：静态数据和动态数据。静态数据指 那些数值不经常改变或在一次查询期间数值不发生改变的数据。如关于一台计算 机的操作系统类型、版本号的信息。动态数据指那些可以被认为数值经常发生改 变的数据，如一台计算机的内存使用量。 2 支持根据不同的时态特征进行查询 在实际应用中，用户可能会对某个数据流的当前状态进行一次性查询，也可 能会对某个数据源发起从当前时刻起的连续查询，或者对某类信息的历史数据进 行查询。 3 具有较好的可扩展性 网格监测系统应能够处理数量巨大的数据，并且以适当的方式将正确的信息 返回给用户。监测系统不应成为整个网格的瓶颈，它应能处理同时接收到的大量 查询请求。当某个组件发生故障时，监测系统的其他部分应能继续正常工作。 4 提供数据定位功能 网格的监测数据是由网格的分布式组件发布的。监测系统必须为网格用户提 供数据定位的能力。同时，为了理解数据之间的关系并对它们进行查询分析，用 户还需要这些数据源的全局视图。 5 具有较好的安全性 数据源必须能够控制哪些用户可以访问它产生的数据，监测系统应支持数据 源所做出的选择。用户要能够标识自己的身份以便他们能使用已被授权访问的数 据源。同时数据源要能阻止未被授权的用户对其进行的非法访问。 6 不影响被监测系统的正常运行 网格监测系统需要对被监测系统中的资源进行测量，这难免会影响被监测系 统的运行，但它希望能获得被监测系统受到较少外界干扰情况下的性能数据；另 一方面，被监测系统自身也不希望受到外界的影响，因为外界的影响可能会改变 系统原有的运行轨迹。在这种情况下，监测系统和被监测系统都需要关心这样一 个问题：两者之间的不可避免的交互是否会对其各自的任务和目标造成较大的冲 击，以至于形成状态迁移或数据扭曲，结果导致监测失去意义。在复杂大系统情 况下，这样的问题发生的可能性会更大，但目前还没有进行这方面研究的案例分 析和建模。 第6 页 国防科学技术大学研究生院学位论文 2 2 现有网格监测系统结构分析 2 2 1 网格监测系统标准体系结构 网格监测体系结构( g r i dm o n i t o r i n ga r c h i t e c t u r e ，g m a ) 是由t i e r n e y 等在 文献 1 0 1 中提出的。现在已被全球网格论坛( g i o b a lg r i d f o r u m ，g g f ) 采纳为 网格监测系统的标准体系结构。g m a 文档包括了网格资源监测的主要目标、关 键特征和描述。其中网格资源监测的目标包括错误检测、性能分析、性能优化、 性能预测和资源调度。g m a 区分了网格监测与一般监测的区别，认为网格监测 系统必须能够跨越广域网、在具有大量异构资源的系统上实现高度可扩展性。 g m a 在目前的文档中着重描述了网格监测系统核心部件和高层通信模型，对于 与实用关系密切的部件创建和管理仍没有涉及。g m a 希望能通过目前的工作能 为网格监测研究引导方向，推动各方面的参与以建立网格监测环境。 g m a 总结了网格环境下监测数据的独特特点：短生命周期、变化频繁、随 机性强。对于网格监测系统，g m a 定义了以下要求：低延迟、高传输率、小额 外开销、安全、可伸缩性。基于这些要求，g m a 提出应对收集和传送监测数据 的延迟和额外开销进行精确的本地控制，为此，数据发现与数据传输应该分开进 行。为了实现数据发现和数据传输的分离，元数据需要被抽离出来，存放于公共 位置，它具有足够的信息来启动数据源与目的之间的数据传输，存放管理元数据 的部件即为目录服务( d i r e c t o r ys e r v i c e ) 。绝大多数情况下，元数据的传输量小 于被监测数据的传输量，在g m a 中，监测数据的传输在数据源与目的地之间直 接进行，不经过目录服务。 在g m a 中，监测数据的基本单位是事件。事件是一个经过命名的、有时间 戳的结构。此结构可以包含一个或多个数据条目。这些数据关联到一种或多种资 源，如内存或网络的使用率，或应用特定的数据，如两个矩阵相乘用掉的时间。 产生可用事件数据的组件叫生产者，请求或接受事件数据的组件叫消费者。目录 服务用于发布什么事件数据是可得的以及是从哪个生产者获得的。这些组件显示 在图2 1 中。 图2 1 g m a 体系结构组件 第7 页 国防科学技术大学研究生院学位论文 生产者通知目录服务它所能提供的事件数据的描述信息。消费者与目录服务 联系以发现哪个生产者能产生它所需要的事件数据。然后就与满足条件的生产者 直接交互，以获得所需的事件数据。消费者也可以在目录服务中注船。这样做就 使新的生产者可以通知任何具有相关查询请求的消费者，它能提供这些消费者所 需的事件数据。 这一结构的主要贡献是生产者消费者模型和发布订阅的数据传送方式，相 比查询响应方式，效率更高；同时，通过把信息的发布、查询和发现相分离， g m a 具有较好的可扩展性。但是它并没有定义数据模型、查询语言以及数据传 输协议，同时它也没指明目录服务器中应存储什么样的信息，以及如何匹配生产 者和消费者。 g m a 只是一个框架性的提议，它只是着重描述了网格监测系统核心部件和 高层通信模型，对于具体的实现没做深入的分析。在实际的网格项目中可以有各 种实现方式，就目录服务器的网络拓扑结构而言主要有两类：层次化结构、对等 式结构。前者的典型代表有g l o b u s 项目中的m d s 和中科院计算所等单位联合开 发的g r i d m o n 网格监测系统；后者的典型代表有e l id a t a g r i d 的r g m a ，下面 两节将对它们做比较详尽的分析。 2 2 2 层次化结构 在层次化结构的目录服务器网络中服务器分为多个级别，底层服务器直接从 数据采集组件获取数据，经其汇总、提炼后提交给更高层的目录服务器；高层服 务器则既可以从底层服务器获取数据也可以从与其相邻的数据采集组件直接获 取数据。 层次化结构网格监测系统的一个典型代表是g l o b u s 的m d s ，其体系结构如 图2 2 所示： 客户1 直接 查询g r i s g r i s 通过g i i s 注册 g i i s 通过g r i s 、服务请求信息， g i i s 缓存来自a 和b 的信息 图2 2 m d s 体系结构 客户2 使用g i i s 查 询聚合的信息 第8 页 辩孓 国防科学技术大学研究生院学位论文 m d s 是基于l d a p ( l i g h t w e i g h t d i r e c t o r y a c c e s s p r o t o c 0 1 ) 构建的，这里主 要指下面将要介绍的g i i s 和g i l l s 是在l d a p 基础上实现的。如图2 2 ，m d s 具有层次化结构，由三类主要的部件构成：g i i s ( g r i di n d e xi n f o r m a t i o ns e r v i c e ) ， g r i s ( g r i d r e s o u r c e i n f o r m a t i o n s e r v i c e ) ，i p s ( i n f o r m a t i o n p r o v i d e r s ) 。其中， g i i s 提供底层数据的聚集目录服务，即把多个g r i s 的信息聚集到一起；g r i s 运行在一个或多个资源之上，起网关的作用，可对i p s 提供的信息进行过滤和缓 存；i p s 与底层的数据传感器进行交互，然后将所得数据上传给g r i s 。这三类部 件之间交互时所使用的数据模型、查询语言及通信协议遵循l d a p 标准。m d s 提供了发布和发现资源状态的机制，能处理静态或动态的数据。 m d s 所使用的l d a p 在查询语言的性能方面有局限性。首先，如果事先知 道所有的或绝大多数的查询要求，并根据这些要求来建数据库，那么查询效率会 很高；但如果事先无法预测查询要求，则会因为它的层次化结构而导致很低的查 询效率。其次，不支持在层次化结构的多个相关部分基础之上，抽取出用户所希 望的数据，用户必须自己处理这样的查询，换句话说，不支持类似于关系查询语 言中那样的连接操作。另外，实践表明当数据更新频繁时，l d a p 服务器的性能 比较差。 2 2 3 对等式结构 对等式结构中目录服务器之间是相互平等的，不存在从属关系，系统具有较 高的可靠性。其缺点是：在整个服务器网络中，可能会导致过大的通信量。对等 式结构网格监测系统的一个典型代表是r - g m a 。 鉴于关系数据模型的良好性能，e ud a t a g r i d 采用关系数据模型存储监测数 据，实现了基于关系模型的网格监测系统r g v i a ( r e l a t i o n a lg r i dm o n i t o r i n g a r c h i t e c t u r e ) 。r - g m a 的根本思想是使网格监测系统所存储的数据就好像是存 在一个巨大的关系型数据库里。r - g m a 并不试图建立一个分布式的关系数据库 系统，而是在分布环境里使用关系模型存储数据。但对用户而言，就如同每个组 织都有一个关系型数据库系统。用户可以使用类似s q l 语句的形式向监测系统 查询、插入、更新数据。r - g m a 的体系结构如图2 3 所示。 第9 页 国防科学技术大学研究生院学位论文 i 客户端 ：隐藏的组件 ：服务端 l 洲a 消费者 一消费者l 目 目录服务 录 厨 1 s e r v l e ti 、 、1 服 ll 务| 目录服务 t 接 l s e r v l e t 口 ij l 模式接口l 生产者i !i 生产者上 传感器 s e r v l e t 模式 s e r v l e t g m a 生产者 ll 图2 3 r - g m a 的体系结构 从图中可以看出r - g m a 整体结构符合g m a 体系结构，具体实现时是基于 关系模型和j a v as e r v l e t 技术构建的。如图所示在客户端和服务端之间有一层隐 藏的组件：消费者s e r v l e t 和生产者s e r v l e t 。生产者通过生产者s e r v l e t 把他所 要提供信息的描述( 即元数据信息) 注册到目录服务。消费者通过消费者s e r v l e t 在目录服务中发现他所需要的生产者，然后由消费者s e r v l e t 与在目录服务中发 现的生产者( 通过相应的生产者s e r v l e t ) 交互，并把得到的数据返回给消费者。 以上的交互都是以类似s q l 查询语言的方式进行的，因而从用户的角度来看就 好像每个组织都有一个关系型数据库一样。 借鉴u d d i 把对服务的描述和服务提供者信息列表相分离的思想，r - g i v i a 将对关系表的描述( 模式) 和关系表的提供者列表( 目录服务) 相分离。出于提 高系统性能及增强系统弹性( r e s i l i e n c e ) 的考虑，r - g m a 在每个管理域都有一 对目录服务和模式。每个目录服务实例都是其自身数据的控制者，负责通知远程 目录服务实例对其所拥有的数据进行同步。每个目录服务都保存一份x m l 文档， 这个文档记录着网络中每个目录服务的地理位置，且文档可被动态更新。这种 p e e r - t o - p e e r 的复制模式避免了单点失效问题，同时由于每个目录服务都保存有 全部其他目录服务的副本，消费者或生产者可很快的从与其相邻的目录服务获取 所需信息，这样就提高了系统的查询性能，其结构如图2 4 所示。目录服务的复 制操作是按周期进行的，在复制的时候采用标识符来控制目录服务中相应数据的 复制和删除。同时，r - g m a 采用a d l e r - 3 2 校验和来检验各个目录服务之间是否 保持着一致。如果校验失败了，那么一份完整的副本就会被重新发送一次。 第1 0 页 国防科学技术大学研究生院学位论文 图2 4 三个r e g i s t r i e s 之间的p e e r - t o - p e e r 拓扑结构 模式的复制要求与目录服务的复制要求有所不同：任何时候，任意模式实例 之间的内容都不能有差异。而且通常来说，模式的更新频率远低于目录服务的更 新频率，这意味性能已不再是关键。基于以上的考虑，模式采用主从( m 船t 阶s l a v e ) 方式的复制策略。简单来说，每个新表定义在加入模式之前都要通过一个认证代 理( 即主模式) 的审核。这种主从方式的复制策略使得组织内部的每个模式的内 容都与主模式的内容保持同步。主模式保存着一份记录其他各个模式位置信息的 x m l 文档，用于各个模式内容的同步。 从整体结构上来看，上述两种网格监测系统都符合g m a 标准体系结构，但 就数据传输方式而言，他们采用的都是查询响应的方式，均没实现发布，订阅的 数据传输方式。本文提出的基于e n s 的网格监测系统则实现了发布订阅这种比 较高效的数据传输方式。 2 3 基于内容的事件通知服务 2 3 1 事件通知服务简介 在介绍事件通知服务之前，我们需要对事件通知服务中的重要概念一事件 进行定义。简单的说，事件是一种实体，这种实体是在一个系统或对象内发生的、 同系统或该对象状态变化相关的。 从其表现形式上来说，事件同消息一样也是一个二进制流，一般而言事件的 表现形式遵循严格的规定。事件应该包含标识该事件属性的信息，也应该包含需 要传递给用户或整个事件通知服务系统的其他参数信息【* 】。在后面将要介绍的 s i e n a 中事件的“物理”表现是通知消息。 事件通知服务是( e v e n t n o t i f i c a t i o ns e r v i c e ，e n s ) 实现发布何阅交互模式 的通信基础设施。事件发布者发布事件，事件订阅者订阅他们感兴趣的事件：而 事件通知服务负责接收发布的事件，并将接收到的事件转发给对它们感兴趣的订 第1 1 页 国防科学技术大学研究生院学位论文 阅者。订阅者通过订阅信息描述自己所感兴趣的事件。按照订阅信息描述方式的 不同，事件通知服务主要有基于主题和基于内容两种类型。 1 基于主题的事件遥知服务 基于主题的事件通知服务中，主题是一个字符串类型的关键字，作为区分事 件类型的标识，每个发布的事件都携带有主题信息。订阅者的订阅信息包含某个 主题，说明订阅者所感兴趣的主题。事件通知服务依据主题信息在事件和订阅信 息中进行匹配，从而将事件转发到对它感兴趣的订阅者。 2 基于内容的事件通知服务 基于内容的事件通知服务作为更高级的事件通知服务，为用户带来了更大的 灵活性。事件不再依赖于外部的某个标准( 如通道、主题等) 分类，而是按照事 件本身的内容分类。订阅者可以根据事件的内容来订阅事件，不必受系统预定义 标准的限制；某个用户对于事件过滤条件的更改不会影响其他用户的订阅。此外， 基于内容的事件通知服务更通用，它能轻易实现基于主题的事件通知服务，而后 者则不可能实现前者。 基于内容的事件通知服务源自于美国科罗拉多大学软件工程研究室提出的 可扩展的互联网事件通知体系结构( s e a l a b l ei n t e m e te v e n tn o t i f i c a t i o n a r c h i t e c t u r e ，s i e n a ) 。s i e n a 为广域网上需要组件之间互动的分布式应用提 供事件通知服务。它提供了一种多对多的通信机制，可以作为其他通用中间件服 务( 如点对点通信、组通信等) 的补充。 在s i e n a 中订阅者使用事件自身属性的名一值对( n a m e - v a l u e p a i r ) 约束订