（计算机科学与技术专业论文）rnet网格监测系统（rnms）中目录服务系统的研究与设计.pdf

北京邮电大学坝1 ：学位论文r n m s 中h 录服务的研究与设计 r n e t 网格监测系统( r n m s ) 中 目录服务的研究与设计 摘要 网格计算是伴随着互联网技术而迅速发展起来的，专门针对复 杂科学计算的新型计算模式。网格把整个网络整合成一台巨大的超级 计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、 的全面共享。 为了实现可用性好的、健壮的、高性能且可管理的网格环境， 正确和有效地对网格实施监测至关重要。网格监测系统中的目录服务 用于组织和管理监测过程中产生的关于资源的静态信息以及实时的、 有关任务运行的动态信息，并向用户提供一个对整个网格资源的动、 静态信息的统一的、一致的映像。 本论文的主要内容是网格监测系统中目录服务的研究、设计与 实现。首先，介绍了网格监测的概念、意义及设计需求，从而引出研 究的内容与目标。接着，比较分析了几个在网格环境中提供信息服务 的目录服务系统及其使用的标准。并由此总结了一般目录服务应满足 的要求和具备的功能，以及当前目录服务系统普遍存在的局限性。然 后，设计并实现了一个基于g m a 规范的网格监测体系中的目录服务 系统。完成了包括目录服务的整体和局部框架结构及各组成模块设 计，以及系统的数据模型、数据结构、查询流程、系统内部的信息存 储格式和数据传输格式与协议、本系统与其它系统交互时使用的数据 传输格式与通信协议等内容的设计、实现。 关键词：网格，g m a ，网格监测，目录服务 北京邮电人学坝1 j 学位论文r n m s 中目录服务的研究l j 设计 t h ed e s i g no fd i r e c t o r ys e r c ei n r n e tm o n i t o r i n gs y s t e m ( r n m s ) 例dc o m p u t i n gi san e wm o d ea g a i n s tc o m p l e xs c i e n t i f i cc o m p u t i n 吕 w h i c hi sd e v e l o p i n gr a p i d l yw i t hi n t e m e tt e c i l l i o l o g y g r i di m e 铲a t e st i l e w h o l en e t w o r kt ob eav i r t u a ls u p e rc o m p u t e r nr e a l i z e st h ec o m p i e t e i y s h a r eo fc o m p u t i n gr e s o u r c e ，s t o r a g er e s o u r c e ，i n f o m a t i o nm s o u r c e ， k n o w l e 起er e s o u r c e 锄de x p e r tr e s o m c e i no r d e rt 0i m p l e m e n th i g hu s a b i l i 劬r o b u s n l e s sa n dh i g hp e r f o r m 锄c e o fg i r d ，i ti se 豁e n t i a lt 0m o n i t o rg 瑚p f o p e r l ya n de 腑c t i v e l y d i r e 曲a i y s e r 、，i c es y s t e mi sr e s p o n s i b l ef o ro r g a n i z i n g 卸dm a i l a g i n gs t a t i cd a t a ，船 w e na sr e a l - t i m ea 1 1 dd y n 锄i ci n f o m a t i o np 硎u c e db yt h em o n i t o r i n g p r o c e s s i na d d i t i o n ，g r i dm o n i t o r i n gs y s t e mp r o v i d e sa u n i f i e da n d c o n s i s t e n tv i e wo fs t a _ t i ca n dd y n a m i ci n f o n i l a t i o no fg r i dr c s o u r c e sf o r g r i du s e r s t h i st h e s i sd i s c u s s e st l l ed e s i g na i l di m p l e m t a t i o no fad n c t o r y s e i c ei ng r i dm o n i t o r i n gs y s t e m f i r s t l yi ti n 臼o d u c e st 1 1 e c o n c e p 乜 s i g n i f i c a l l c ea n dr e q u i r e m e n to fg r i dm o l l i t o r i f 培s y s t e m ，e l i c i t e sm e c o n t e n ta 1 1 dg o a lo fm er c s e a r c h t h e nt l l i sm e s i sc o m p a r e ss e v e r a i d i r e c t o r ys e r v i c es y s t e m s ，a n a l y z e st l l e i rp m t o c o l si l l 鲥de n v i r o n m e n t f r o mt h o s es y s t e m sa i l dp r o t o c o l s ，d e s i 印d e m a n d s 锄d 如n c t i o n sc a nb e a c h i e v e d a r e rt 量l 她t l l i st i l e s i sd e s c r i b e sad i r e c t o 巧s e i c es y s t e mi na g m a - b a s e dm 伽i 衄i n g s y s t e m na c c o m p l i s h 骼m ed e s i 四雏d i m p l e m e n t a t i o no fg l o b a l l o c a l a r c h i t e c t u r eo fd i s t r i b u t e d d i r e c 细哼 s e r v i c e ，胁r n o d e l ，d a t as t m c t u r e ，q u e i yp r o c e s s ，i i l f o 咖a t i o ns t o r a g e f o 肋a t ，仃a n s m i s s i o nf - o h l l a t 觚dt r a n s m i s s i o np m t o c o l s k e y w o r d s ：g r i d ，g r i dm o n i t o r i n g ，g m a ，d i r e c t o 叮s e r v i c i i 北京邮电人学坝i 学位论文 r n m s 中目录服务的研究与设计 声明 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 靠苍茬， 日期： 兰生2 ：塑：塾 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位 本人签名： 导师签名： 适用本授权书。 日期： 日期： 一 北京邮也大学硕学位论文r n m s 中目录服务的研究与设计 1 1 背景 第1 章绪论 网格概念最早于9 0 年代中期提出，用于表述在高端科学和工程上分布式计 算的一种基础构造形式。f i 网格计算( g f i dc o m p t n i n g ) 起源于元计算 ( m e t a c o m p u t i n g ) 吲的概念。网格( g r i d ) 这种叫法是借鉴电力网( e l e c t r i cp o w e r g r i d ) 的概念提出来的，网格的最终目的是希望向用户提供与地理位置无关，与 具体计算设施无关的通用的计算能力，就如同现在使用电力一样方便。m2 0 0 2 年7 月，i 锄f o s t e r 在 什么是网格? 判断是否网格的三个标准川一文中，进 一步限定网格必须同时满足三个条件：( 1 ) 在非集中控制的环境中协同使用资 源；( 2 ) 使用标准的、开放的和通用的协议和接口；( 3 ) 提供非平凡的服务。 网格能够充分吸收各种计算资源，并将它们转化成一种随处可得的、可靠的、 标准的、同时也是经济的计算能力。除了各种类型的计算机，这里的计算资源还 包括网络通信能力、数据资料、仪器设备甚至是人等各种相关的资源 随着研究的进一步深入，“g r i d ”的外延不断扩大。网格几乎包含了从高端计 算环境到智能网络的方方面面。i f o 咖r 、c k s e i m 锄和s t u e c k e 在2 0 0 0 年从 社会性与策略性方面细化了网格的定义，强调网格应关注跨管理域动态虚拟组织 中的资源共享和协作问题。这种共享不应限于文件交换，而是对计算机、软件、 数据和其它资源的直接利用。同时，当资源提供者与消费者清晰定义了共享资源 的属性后，这种共享应该是高度可控的。 网格的特点包括： 分布性：网格上的各类资源( 硬资源和软资源) 通常类型复杂、规模较大、跨 越地理范围较广； 共享性：尽管网格资源是分布的，但是它们却是可以充分共享的； 自相似性：网格的局部和整体之间存在着一定的相似性，局部往往在许多地 方具有全局的某些特征，而全局的特征在局部也有一定的体现； 动态性：随着时间的推移，网格拥有的资源或功能可以增加或减少； 异构性：网格可以包含多种异构资源，包括跨越地理分布的多个管理域； 多级管理域：网格系统的资源通常属于不同的机构或组织，并且使用不同的 安全机制，因此既需要各个机构或组织对其拥有的资源有自主的管理能力， 又需要他们共同参与解决多级管理域的问题，以实现资源共享和互操作。 北京邮电= 学硕士学位论文r n m s 中目录服务的研究与设计 网格技术论坛( g i o b a lg r i df o m i l l ，g g f ) 是当前网格技术中最主要的国际组 织，主要由美国a r g o 衄e n a t i o n a ll a b o m t o 啾a n l ) 主导。g g f 主要从事网格技术 标准的制订工作，并且组织了网格技术方面的交流与传播。g g f 目前有7 个工 作组：网格信息服务、网格安全体系、网格资源调度与管理、网格体系结构、对 等网络( p e e r - t o p e e r ) 、数据管理、网格应用。f 5 j 1 2 - 网格监测 1 2 1 网格监测的概念和需求 网格监测是对网格资源的特征和运行状态进行信息收集的行为，即在特定的 时间点，对网格中各组成单元的状态进行测量并对测量结果进行发布的过程。 伴随计算机系统和网络的发展和应用的深化，对分布于远程网络的多种异构 资源进行监测和管理只益重要。新近兴起的网格计算对资源监测提出了新的具体 需求。网格本质上是一个广域异构资源的有机集合体，提供透明的远程访问，资 源共享，分布计算等功能。相比目前的因特网，它覆盖更多的资源，各个结点联 系更加紧密，整体拓扑结构更为有序，这些新的特征都需要新的资源监测工具与 之适应。一般说来，资源监控系统可以为网格提供下面几方面的支持： 资源信息：资源监控系统可以探测并报告网格中可用的资源，由于网格 的动态性，这些可用资源的信息不可能全部预先知道，需要监测系统实 时发现。 资源状态：这是资源监测系统最重要的工作内容，它服务于下面几个方 面： 为用户提供当前资源状态； 提供历史数据归档和历史数据分析； 为资源状态预测提供支持； 为资源调度提供支持。 资源监测：它不是探测资源的存在，而是监测资源的好坏，它不仅仅获 得数据，而且要通过某些段处理资源状态的异常情况，提高系统资源的 可用程度和系统的健壮性。 资源控制监控：系统不仅仅读取资源的状态信息还提供途径对资源的状 态进行干预，比如，进行错误恢复。资源控制相当于获得写的能力，与 读结合在一起，形成闭环系统，这会增加资源监控系统的复杂程度。 支持上层应用；某些其他应用程序需要获得资源状态信息，如果这些程 序都自己实现资源状态信息的直接获取，不仅仅增加程序的复杂程度， 4 北京邮电大学顾l 学位论文r n m s 中目录服务的研究与设计 而且对系统的运行会造成难以预测的冲击，因此，实现一套全面的资源 监测系统，满足上层对资源状态信息的需求，是非常有意义的。 在实践中，资源监控系统的工作主要通过这些途径体现出来： 提供被监控系统状态的显示，以便管理员掌握整个系统的状态，对于异 常情况及时做出反映，而且可以通过监控系统对系统进行控制，改变其 状态和行为。这项工作通过用户接口服务于系统管理员等用户。 在其他应用程序中，通过库或访问接口使用监控系统提供的信息，必要 时也可以自动进行系统控制。这些工作可以采取提供函数库供其他应用 程序调用或开放访问端口供其他应用程序读写数据实现，这一点对于实 现监控系统与其他系统的互通和实现自动监控十分重要。 由此可见资源监测系统在网格中起到重要作用，它不仅是保证系统健壮性、 可用性的手段，而且支持着网格环境下的资源管理，是网格运行不可缺少的一个 组成部分。网格环境下，资源监测系统不是狭义的孤立系统，它与其他系统，如 资源管理系统等有机融合，共同支持网格的运行。有必要值得一提的是，就目前 运行中的系统而言，专门的资源监测系统并非在所有系统中都存在，但上述监测 系统的功能在这些系统都有体现，只是这些功能没有实现在专门的监控系统中 这会造成重复开发，质量也难以得到保证。因此，实现专门的资源监控系统来完 成监控功能，支持需要监控服务的应用是有必要的。 计算机资源监测经历了从单一资源到多种资源，从单机到网络的发展过程。 当前已有的管理协议f 如s n m p ) ，和管理工具满足了目前一些环境下特定资源监 测的要求，但对网格的需求没有充分考虑，缺少全面支持。因此有必要针对网格 的特点和需求，设计出能够监控大数量，多种类的资源，具有良好可缩放性的监 控平台。 1 2 2 网格监测的意义 网格是一个极其复杂的分布式系统，具有如下特点：动态性、资源与服务的 异构性、虚拟性、地理上资源的分散性并跨越多个管理域，以及由此带来的计算 上的分布性。正因为如此，对网格资源的有效管理成为难点，也是具有挑战性的 关键问题嘲。由监测得到的数据可以用来进行错误检测、性能分析、调试、预测 和调度等1 7 j 。错误检测需要监测数据来决定是重启服务器还是将服务请求转到别 处；性能分析和调试器需要监测数据找出系统的运行瓶颈所在；性能预测服务需 要监测数据作为预测模型的输入，产生的结果供调度器参考以决定使用哪些资 源。由此可见，网格监测系统是网格资源管理的基础。 北京邮电人学酌j ：学位论文r n m s 中日录服务的研究与设计 1 2 - 3 网格监测的主要设计目标 1 1 节中提到的网格系统的特征既构成了网格监测系统的难点，也提供了可 供利用之处。这些特征对网格监控系统的目标和特点有深刻的影响。下面是通用 网格监控系统主要设计目标： 可缩放性：监测系统既可以构建在局域的小系统上，也可以建立在大型 甚至全球系统上，而且提供方法使得通过小系统的联合过渡到大系统。 灵活性：由于环境的多样与需求的变化，从一开始就确定逻辑结构，并 将所有最终实现包含进去是不现实的。所以需要实现一个灵活的系统， 在系统的模型、协议和实现内，用户有充分的自由依据实际情况部署这 个系统，并可以进行扩展。 可管理性：它意指管理员可以容易的部署、配置、检查和管理监测系统， 由于网格系统的巨大规模，高的可管理性对系统的可用性至关重要。一 方面需要好的用户接口，另一方面系统内部应引出智能化的设计，自动 完成一些事情，减少用户的直接干预。 高性能：它强调监测系统对被监测系统的资源占用小，这些资源包括系 统资源和网络资源，这样才能获得比较准确的结果，同时，只有这样的 监测系统才是实用的。 可用性：它包含两个方面，即提供的功能数目与数据准确性。但它与资 源占用低的要求有矛盾，因此需要根据实际情况进行权衡。这两个方面 都需要占用系统资源，因此在两者之问，也存在此长彼消的问题，这一 点与用户需求关系密切。 健壮性：监测系统自身不能给被检测的系统带来新的安全隐患。另外， 系统要具有一定的自动适应复杂环境和处理意外事件的能力，尽量减少 入的干预。这里不仅包括监控系统自身的健壮性，而且包括被监控系统 的健壮性。 安全性：由于网格是跨越多个组织的，网格的监控系统也会跨越多个组 织，每个组织都有自己的安全管理策略与方法，监控系统如何与这么多 的安全接口交互是一个问题。另外，每个组织对自己提供的数据都有安 全要求。在全连通的而且内部有复杂处理的监控系统内如何一直保证这 些有安全要求的数据不会被有损其安全性的部件所获取，是一个比较复 杂的问题。数据传输安全和用户认证也是安全性的重要方面，但目前研 究较多，也有比较好的方法。 这些方面覆盖了监控系统设计的多个方面，由于技术的限制和缺少实际数 据，目前还不能全部都加以解决，需要逐步进行，首先需要解决用的问题，然后 6 北京邮电人学硕i ：学位论文刚m s 中h 录服务的研究与设计 通过积累数据，确定问题，找到方法来逐渐完善。 1 2 4 网格监测系统的国内外相关研究 目前有很多网格项目在实验和部署之中，其中有很多都开发了网格监控系 统或者网格监控工具。比较有代表性的有以下一些： 美国l a 、讯n c e 国家实验室l b n l 开发的网格监控系统，在事件的产生、 收集、传送、存储和分析结果方面都做得很好。这个系统基于( m a 和 n e t l 0 9 9 e r 工具集，包括四个组件：个应用监视组件，产生监控事件数 据；一个监控激活服务组件，用来触发监控服务、收集和传送事件数据； 一个监控事件接收组件，接收网上传来的事件数据；一个数据库伺服器， 将事件数据转换成s q l 记录并存入数据档案库，这是一个关系型的数据 库。 美国a r g o 肌e 国家实验室的岛d m a p p 【e f 工具，这个网格监控工具在大 规模分布式系统的工作状态和资源状态的可视化方面做得非常好，不但 可以直观地显示和应用关联的网络交通情况。还可以显示和应用关联的 计算活动状态及资源状态，它的最独到之处是可以按实际的地理位置显 示系统活动和状态图。 美国加州大学s a nd i e g o 分校和田纳西大学等单位联合开发的网络天气 服务n w s ( n 毗w o r k 、甜l e rs e r v i c e ) 。在监控数据产生、收集方面有自己 的一套，最具特色的贡献就是使用监控数据进行了性能预测，为调度等 工作提供了有力的支持。 欧洲最大的网格项目d a t a g 瑚项目中进行的使用g l 洲和 p r o v e ( p 约t o t y p ev a l i d 舐o ne x e f i s e ) 工具组成的监控基础设施的研究。 g r m 和p r o v e 原来是p g r a d e 图形并行程序开发环境的组成部分。 p g r a d e 在并行程序的监控和调试方面作了很多工作。现在改进g r m 和p r o v e 后进行网格监控也取得了一定的成绩。g r m 是监控信息采集 和传送工具，而p r o v e 是分析和可视化工具使用g r n 和p r o v e 在数 据缓存、数据传输效率、扩展性以及错误定位精度方面都比n e t l o g g 盯 工具集有定优势。 美国田纳西大学和韩国k w a n 西u 科技研究所共同开发的v i s p e r f 监控工 具，在传感器程序、监控数据采集和传输以及可视化方面都做了自己独 到的工作，还在监控数据跨越防火墙方面做了一定的研究。 英国p d r t s m o u m 大学的g r i d r m 项目，在原型阶段采用了m d s 模式， 后期扩展为g m a 模式。 7 北京邮电人学缺i ? 学位论文r n m s 中目录服务的研究与设计 由加州大学伯克利分校计算机系开发的g a l l g l i a 是一个针对高性能计算 的可扩展、分布式监测工具。它不但能监测大规模集群系统，而且还能 应用于网格计算环境中，为网格系统提供完整的单一的视图。g a f i g l i a 监 测系统基于层次设计，它的核心包含一个运行在每个节点上的守护进程 g m o n d ，负责控制传感器采集数据：一个运行在服务结点上的元守护进 程g m e t a d ，由它负责储存状态信息；一个客户端命令行命令g s 吼，它和 每个结点上的监测进程通信，并显示集群每个结点上的负载信息；还有 一个命令行工具g m e m c ，由它定义每个监测守护进程所需捕捉的信息类 型，此外还通过w 如浏览器界面提供了一个实时动态的数据收集和显示 视图。 1 3 网格监测中的目录服务 1 3 1 目录服务的概念和功能 网格监测系统必须满足低延时、高数据传输率、最小化测量开销、安全性以 及可扩展性等需求，同时，还须具备对信息采集和分发产生延时和开销的本地控 制。要实现这样的控制有必要将信息的发现从信息的传输中分离出来，因此被抽 象出来的元数据必须存放在一个通用的可存取的位置，这就是“目录服务” ( d i r e c t o r ys e r v i c e ) 。【8 l 为了实现命名的透明性，网格需要有效管理数量繁多的名字和属性，以及它 们之间的关系；为了实现定位的透明性，网格需要有效管理数据集的定位信息； 为了实现协议的透明性，网格需要有效管理数据资源的有关信息。这就是数据网 格中目录服务需要完成的功能。目录服务可以存储的信息种类包括： 用户帐户信息( 登入名口令权限) 用户个人信息( 电话号码地址雇员i d 号) 外围设备配置信息( 打印机调制借调器传真) 应用程序配置信息 安全信息 网络基础设施配置信息( 路由器代理服务器i n t e r n e t 访问设置) 人们可以想得到的网络目录中都可以存储 这些信息集中在一个标准数据库中就可以有多种不同的使用方法。其中最普 通的是供系统管理员用于网络访问控制和网络资源访问控制，目录将成为对许多 网络活动进行集中控制的地方。 目录服务往往借鉴了数据库技术，d n s 技术，分布式文件系统技术。但目录 8 北京邮电人学颐 ：学位论文 r n m s 中h 录服务的研究与设计 服务与这些技术有明显区别。目录服务和数掘库的区别在于：a 读多于写；b 一 般不支持事务处理：c 信息访问方式不同( 一个是s q l ，个是l d a p 的a p d ： d 目录中的信息一般不要求严格的一致性；e 传统的数据库是平面的无法表示资 源之间及资源使用控制的复杂逻辑关系而远远不能满足当前资源信息管理的各 种要求。 目录服务与d n s 系统的异同；相同之处是分布存储树型层次结构容错。不 同之处在于：a d n s 的功能和目录服务不同d n s 功能单一本质上是将主机名 解析成i p 地址目录服务是可以为多个应用提供网络资源的信息存储和管理具有 广泛的应用特性：b d n s 是以一系列文本文件为基础是一种纯文本式趵数据库 无法进行扩展适应其它功能的要求。 目录服务系统与分布式文件系统的异同：相同在于采用了树型层次结构具有 一定的授权功能。区别在于：乱目录服务表示资源的各种属性信息为各种应用提 供服务文件不能表示：b 目录服务有很强逻辑表示和分类文件组织逻辑性单一主 要按存储位置：c 文件系统的认证功能较差；d 目录服务系统独立性强 1 3 2 目录服务的意义 网格中的所有元数据构成元数据目录，它是一个存储着用于访问、管理或配 置网格资源信息的特殊数据库。随着应用的不断发展，网格也在不断发展，元数 据在不断增多，其结构也日趋复杂，为了保证在网格规模不断扩大的情况下对其 中的资源进行有效描述，元数据目录应该采用具有良好可扩展性的层次式结构， 把网格环境中的各种资源都作为目录信息，在元数据目录中分层存储，为数据网 格的各种服务提供统一的资源逻辑视图。 目录服务负责对元数据目录进行管理和维护，它是系统的信息中心，在元数 据目录的基础上对网格中所有资源信息进行收集、组织和更新，并提供信息的发 布和查看。数据网格软件的其他服务通过调用目录服务获得相关资源的描述信息 即元数据。一个由目录服务支持的网格系统是一个集成的、网络化的、统一的系 统，而不是各个独立功能部分的简单聚合。 综上所述，在对网格进行监测的过程中，产生大量的、关于资源的静态信息 以及实时的、有关任务运行的动态信息。网格监测平台中的目录服务就是用来对 这些盆测数据进行组织和管理的，它将向用户提供一个对整个网格资源的动，静 态信息的统一的、一致的映像。目录服务通过元数据目录对网格中的资源进行有 效的组织和管理，为数据访问、用户身份认证、数据定位、访问控制、复制管理 等其他服务提供支持。 9 北京邮电人学坝j ：学位论文r n m s 中目录服务的研究与设计 i 3 3 目录服务设计要求 网格监测目录服务的设计应该满足以下要求： 高性能性：大多数网格应用都要求一定的性能指标，因此目录服务必须 快速响应请求。 可扩展性：目录服务必须能够适应数据网格中数据载体大量增加的情况， 不允许出现随着数据载体的大量增加而导致性能上的急剧下降的情况发 生。 安全性：目录服务必须提供一定的安全机制来保证数据载体属性信息的 正确发现。 1 4 本文主要工作 本文结合网格技术，特别是网格监测及目录服务的理论知识及其在项目中的 应用，对网格环境中的目录服务进行了深入研究。通过剖析网格及网格监测的特 征，明确了目录服务的意义及设计要求。通过分析比较当前较为流行的目录服务 系统和协议，确定了目录服务系统的基本功能及设计方案。最终设计并实现了一 个网格监测系统中的目录服务。 本文设计的目录服务系统是基于网格监测体系结构( g m a g r j dm o i l i t o r i n g a r c h i t c c t u r e ) 的。文中给出了系统的整体结构图、模块图，说明了模块功能和各 模块之间交互的流程，定义了目录服务系统与其它相关系统之间交互采用的数据 传输格式和通信协议。 1 5 本文章节安排 第一章，绪论。介绍了网格及网格监测的概念、特征，继而提出目录服务的 概念、意义及设计要求，引出研究的主要内容。 第二章，现有目录服务系统介绍与分类对现有目录服务系统进行分类，并 根据分类讨论了典型的层次模型类目录服务系统及典型的关系模型类目录服务 系统，总结了现有目录服务的特点，以及目录服务未来展望。 第三章，目录服务系统设计。介绍了本目录服务系统依托的网格及监测环境， 从信息模型，功能模型，结构模型三方面介绍了所设计的目录服务系统。 第四章，目录服务系统实现。实现了一个目录服务系统，给出了该系统的模 块图，介绍了重要模块的实现细节。 第五章，结束语。指出本文中完成的工作，并指出目前系统中存在的一些不 1 0 北京邮电人学硕j ：学位论文 r n m s 中h 录服务的研究与设计 足之处和需要改进的部分，并提出了一些改进的方向。 北京邮也人学烦i 省位论文r n m s 中目录服务的研究与设计 第2 章现有目录服务系统介绍与分析 2 1 目录服务体系结构分类 当前的目录服务系统根据其的体系结构可分为三类：。 集中式结构( c 鸺) 。小规模的网格环境一般采用这种结构。集中式的优 点是系统控制简单，实现容易；缺点是系统的性能和规模受到目录服务 器限制，同时目录服务器容易成为系统性能的瓶颈。 分稚式结构( 全对等) ，系统中不存在服务器和客户端的区别，所有节点 对等。分布式的结构优点是系统规模不受限制，具有可扩展性；缺点是 当系统规模达到一定程度，系统管理复杂，系统可靠性和可用性不能满 足用户需求。 层次式结构，是集中式结构和分布式结构的有机结合，主要分为以下两 种： 集中集中式( 局域集中，广域集中) ，就是在局域范围内，由局部服 务器集中提供服务，在广域范围内，由中央服务器集中提供服务。 分布集中式( 局域集中，广域对等) ，在局域范围内，由局部服务器 集中提供服务，在广域范围内，局域服务器之闯对等，协同工作。 2 2 目录服务系统设计思想分类 网格监测系统中的目录服务，无论是何种体系结构，均负责存储和维护网 格中软件、硬件和服务等信息，同时响应用户对这些信息的查询。 目录服务的设计思想有两种类型：层次模型和关系模型。层次模型将对象的 名字空间作为一棵或多棵树，其它的实体与根相关联一般的，层次模型只支持 单一的关系，即父节点子节点，因此对于关系就无需命名。轻量级目录访问 协议( l d a p l i 曲t w e i 对l td i r e c t o f ya c c e 站p r o t o c 0 1 ) 和可扩展标记语言 ( x m l e x t e n s i b l em a r k u pl 觚g i l a g e ) 都采用层次模型，使用别名和指针对层次 进行扩展。模型中涉及的关系丰富了模型的表达能力，不过，在执行各类查询的 时候可能会遇到一些问题。1 9 】关系模型用平面的表格或关系来表示信息。一种关 系就是一个对象类型，对象本身被定义为属性，值对。关系数据模型能够表示实 体之间的任何一种关系( 不仅仅是父节点与子节点的关系) ，这一点在表示复杂 关系的时候要优于层次结构。目前，关系数据模型只提供最原始的数据类型；整 1 2 北京邮也人学硕i ：学位论文r n m s 中目录服务的研究与设计 型和字符型。更复杂的类型可以通过在基本类型之间创建不同的关系产生。i i o l 2 3 层次模型分析 2 3 1层次模型协议轻量级目录访问协议l d a p 轻量级目录访问协议l d a p ( l i g h t w e i g h t d i r e c t o r y a c c e s s p r a t o c 0 1 ) 是一个 独立于厂家和平台的开发标准协议l l ”，是用来访问存储在信息目录中的信息的协 议。它基于x 5 0 0 标准的，但是更加简单并且可以根据需要定制。与x 5 0 0 不同， l d a p 支持t c m p ，这对访问i m e m e t 是必须的。 l d a p 是以树状的层次结构来存储数据的，每一个目录项( e n 缸y ) 是树上的一 个节点或叶子。树的顶端为根项，是一个虚项，不存储任何信息。代表国家的项 直接出现在根项下面，在国家项的下面是表示省或组织的项，再下面就是表示人， 机构，打印机，文档等的项，项是整个文件目录的基本构成块。每一个目录项由 属性( a n m l u t e ) 类型和与该类型相关的若干个值构成。在l d a p 目录中可以存放 各种类型的数据：如电子邮件地址，邮件路由信息，人力资源数据，联系人列表 等。l d a p 目录服务器支持分布式的目录服务。在目录结构比较大时，可以用多 个服务器存放目录的不同部分，目录服务器间通过指针相连，这些指针被称为 l d a pu r l ，服务器会将此u r l 返回给客户端，客户端会自动按照u r l 所指的 地址继续查询。 l d a p 定义了一套标准的目录协议，包括以下四个基本模型1 1 2 】： 信息模型：描述u ) a p 的信息表示方式 命名模型：描述l d a p 中的数据如何组织 功能模型：描述l d a p 中数据的操作 访问安全模型：定义了如何防止未授权用户对目录信息进行访问和更新。 l d a p 最大的优势是可以在任何计算机平台上用很容易获得的而且数目不 断增加的l d a p 的客户端程序访问l d a p 目录而且也很容易定制应用程序为它 加上l d a p 的支持。总的来说基于l d a p 的目录服务有以下特点： 目的是存储网络资源的信息 结构化信息框架( 面向对象的信息存储方法) 采用树型层次式结构表示 在系统中的单点集中( 不指物理位置) 管理资源可实现单一登入点 读多于写 基于t c p 协议 c l i e n t ，s e r v e r 逻辑结构 标准的访问协议l d a p 北京邮电人学坝i ：学位论义r n m s 中目录服务的研究与设计 强大的搜索功能允许用户组织复杂的查询要求 维护的分散性( 信息可分布存储，具有集中式数据库无可比拟的优越性) 可全球唯一的命名 动态添加和修改信息 容错功能 自动更新和维护存储的信息 方便的备份和恢复功能 安全访问和信息传输的安全 易对资源进行授权管理 l d a p 的主要缺点：不适合写入操作比较频繁的场合。 g l o b u s 中，许多组件都是用了l d a p ，这些组件有：m d s ，i n f 0 锄a t i o n b r 0 恻， c o n f i g u r i n gg l o b 啊，g r a m ，g r u b ，g r s ，n e x 璐，h b m 等。 2 3 2使用层次模型的目录服务系统g l o b u sm d s m d s ( m e t a _ c o m p u t i n gd i f e c t o i ys e r v i c e 【1 4 j ) 是g l o b 吣t 的l k i t 的一个重要组 成部分。g 1 0 b u s 是基于广域网的并行与分布式计算环境中比较有代表性的计划， 其最终目的是为了将各种高性能的应用移植到广域、异构的环境中。开发符合各 种协议标准和服务的工具集。m d s 是资源信息的存储和管理者，它的管理范围 包括了链接在网格系统上的各种计算性物理设备、网络、应用软件、文档以及系 统用户和管理员等资源。对于每一个资源实体，它都在资源信息数据库中分别存 储了自己的特定信息值为了将这些完全不同的资源信息有效的存储和管理， m d s 将信息按照树型结构进行组织和存储，并且提供对于这些资源信息的各种 基本访问服务，如查询、修改、添加、删除、授权等。 作为信息基础设施的一部分，m d s 采用动态可扩展的框架来管理网格计算 环境中的各种资源( 计算机、网络、存储、仪器等) 的静态和动态信息。m d s 2 可提供如下服务信息： 网格环境中存在的资源 网格计算环境的状态信息 基于当前的网格计算环境的网格应用的优化信息 在实现上，m d s 2 主要使用轻量目录访问协议l d a p 作为网格信息访问与存 储的统一界面。m d s 2 的基本特征包括数据生成、数据分布、数据存储、数据搜 索、数据查询和数据显示等。完整的m d s 2 也可以搜集和发布基于其它协议的 信息，如s n m p 、n i s 、n w s 等，其简要逻辑结构如图2 - 1 【l5 j 所示。 1 4 北京邮电人学颤l ：学位论文r n m s 中廿录服务的研究j 垃计 1 1 鲋h “b 鬣舟协城 图2 一l 的s 简要逻辑结构图 m d s 2 提供一个可配置的信息提供者( i n f o 咖a t i o np m v i d 盯) 组件，称为网格 资源信息服务( g r i s g 硼r c s o u r c ei n f o i t n a t i o ns e r v i c e ) 和一个可配置的集合 目录组件，称为网格目录信息服务( g i i s g r i di n d e xi n f o r n l a t i o ns e r v i c e ) 。g s 提供了一个统一方法来查询单个计算资源的当前配置、性能及状态。g i i s 将分 散在不同资源上的、分布式的g s 服务组织起来从丽提供一个一致的、连贯的 网格系统视图。用户可以使用g i i s 来检索自己感兴趣的资源。g 刚s 通过网格资 源注册协议( g 棚r e s o u f c er e g i s t 眦i o np m t o c o l ，g r j 冲) 向g i i s 注册资源、网格 应用程序通过网格资源查询协议( g f i dr e s o u r c ei n q u i r yp f o t o c o l ，g r j p ) 向g i i s 查 询虚拟组织中的网格资源或直接向某个资源节点上的g 刚s 查询该节点的资源及 其属性。1 1 5 j m d s 体系结构如图2 2 所示。 用户a ，b 直接通过 圈2 2 啪s 体系结构 2 3 3对m d s 层次模型的总结 m d s 采用了层次数据模型来表示实体与实体之间的关系。由于层次模型中 存在了表达关系单一的特点，所以在m d s 中采用指针来指向其他关系的实体， 1 5 北京邮电人学颂f 学位论文r n m s 中目录服务的研究与设计 从而实现了对多种实体关系的表达。 m d s 特点： 层次数据模型具有易分布的特点。 m d s 的层次数据模型的设计很好的反映了层次关系，而且利用指针，从 而表现了除层次模型的“p a r e n t c h i i d ”关系之外的其他的关系。 m d s 将信息的获得与发现和监控分离开来，这可以通过g r r p 和g r j p 的定义体现出来。这两方面的分离意味着一系列广泛的发现和监控策略 能够得到支持，可以根据不同的需要对查询语言的表达能力，信息的及 时性和花费进行综合的权衡，同时不用对网格中的各种资源和服务进行 修改。 集合目录提供了一个连贯的网格资源系统映像，缩小了资源查找的范围。 影响系统性能的问题： 层次数据模型不能很好的解决快速增长的对象种类带来的问题，同时对 于对象间急剧增加的复杂关系难以很好地描述。 层次查询模式在处理数据的频繁的更新、容错性、自组织性和可扩展性 上都存在不足。 2 4 关系模型分析 关系型数据库管理系统( 砌) b m s ) 由于其能够表达复杂对象之间的关系和支 持复杂信息查询操作而被一些网格研究团体采用为网格信息服务的基础结构，他 们坚信基于i u ) b m s 的网格信息服务系统会更适合于未来网格技术的发展，尽管 目前还没有重要的基于r d b m s 的网格信息服务软件包出现。i l l d i 棚大学的 b e m p l a l e 和西北大学的p e t e r d i n d a l 是持这一信念的代表。他们认为随着网格资 源和应用的发展，当前基于l d a p 的层次模型网格信息服务系统不能解决如下 日益增长的需求： 数据对象的迅速增长： 数据对象之间的关系日益复杂； 对数据对象和它们之间关系的更新日益频繁，即有更多的动态对象； 对复杂查询尤其是对象关联的查询迅速增加； 对查询数据流的需求增加。 因此他们提出了一个统一的基于关系型数据管理系统的网格信息服务系统， 该系统由下列组件构成： 合适的网格信息的可扩展模式和索引，包括可扩展的数据对象的类型层 1 6 北京邮也大学坝j + 学位论文 r n m s 中甘录服务的研究与设计 次和一系列核心类型的定义： 支持较高的更新率和系统所要求的刷新约束，包括大量的流数据更新； 支持复杂的组合查询，包括那些不确定的、有时间限制的查询； 支持数据流查询。包括使s q l 支持数据流查询功能； 支持分布式的、跨多个管理域的管理； 为非s q l 用户提供查询接口。 基于l u ) b m s 的网格信息服务系统在实现时要求尽可能地不改变传统的关系 数据库管理系统，保持其原子性、一致性、独立性和持久性的优点。另外还基于 r d b m s 定义了网格信息的模式，扩展了r d b m s 的分布式查询功能，定义了网 格环境下的大规模事务处理功能、类型层次和动态对象等，提出了启发式的非确 定时限查询方法和基于完全s q l 的统一查询模型。 然而，关系数据模型应用于网格环境的缺点是分布式管理能力较弱，因为它 不像层次数据模型那样很自然地按照管理域对网格信息进行组织，例如在l d a p 的层次模型中，可以利用其委托机制对某一子“树”进行管理和访问。传统的 r d b m s 并没有专门针对分布式管理域来设计，甚至没有多个管理域的概念。这 个问题正在研究和讨论之中。 2 4 1网格监测体系结构g m a 网格监测体系结构( g m a ) 是全球网格论坛( g g f g l o b a lg r i df 0 m m ) 的 性能工作组定义、开发并推荐使用的网格监控体系结构规范【l6 1 。g m a 定义了核 心组成部件，其目标是构建一个网格监测的标准，以便于定义的基本部件相互作 用，定义共同的a p l 和协议，允许目前和未来的网格监测工具与传感器进行互 操作。g m a 的主要贡献是提出了事件订阅的数据传送方式和生产者，消费者模 型。 蘑 图2 2g 姒结构图 使用g m a 中包括三种组件：事件生产者、事件消费者和且录服务生产者 和消费者是网格监测结构中的基本实体。生产者是产生事件的实体，消费者是使 1 7