（计算机软件与理论专业论文）数据网格的性能监控技术研究.pdf

南京邮电大学硕士研究生学位论文中文摘要 中文摘要 在数据网格环境下，网格资源、网格系统软件和网格用户行为都具有高度、频繁的动 态变化的特性，迫切地需要合适的网格监控系统来实时、准确地获得网格信息，为网格资 源调度及性能优化等提供数据依据，最终及时发现故障、维护负载平衡、提高网格应用性 能。已有的监控系统模型一般是针对专有的网格系统，因此，需要建立符合实际要求的数 据网格监控系统。 本文源自国家高技术研究发展计划( 8 6 3 计划) 项目“基于网格的数据可靠存储与容 侵关键技术 ( 编号2 0 0 7 a a 0 1 2 4 0 4 ) 。 在对数据网格关键技术以及该项目所采用的体系结构进行深入研究的基础上，提出了 适合本项目的监控系统。该监控系统基于g t 4 t 1 1 的m d s 4 t 2 1 扩展，为了弥补m d s 4 的不足， 着重对数据资源的监控和计算资源的监控进行了扩展。 对于数据资源的监控，提出了适合于本数据网格拓扑结构的基于快速定位模型的监控 方法t c - r l s 该方法根据网格拓扑结构将三阶c h o r d l 3 】和r l s | 4 】相结合，经分析能够 达到本地性、负载均衡，快速的定位到文件和副本，从而提高数据资源的监控效率。 对于计算资源的监控，提出基于预测的数据网格性能监控方法a r s v r 。该方法 实现了对未来时刻节点的负载信息预测，为网格资源调度及性能优化等提供了数据依据， 弥补了m d s 4 只能监测到节点的实时负载信息的不足。经仿真实验，证明a r s v r 能对节 点的负载进行有效的预测。 最后在数据网格环境下，构造了一个符合项目要求的数据网格监控系统。 关键词：数据网格，监控，r l s ，预测，m d s 南京邮电大学硕士研究生学位论文 a b s t r a c t a bs t r a c t g r i dr e s o u r c e s ，s y s t e ms o r w 粥a n d 酣du s e r sh a v et h ec h a r a c t e r i s t i co ff r e q u e n ta n d d y n a m i cc h a n g e si ng r i de n v i r o n m e n t ，s ot h e r ei sa nu r g e n tn e e df o ra l la p p r o p r i a t em o n i t o r i n g s y s t e mt og e ti n f o r m a t i o ni nt i m e ，t h e ni t c a np r o v i d ed a t af o rr e s o u r c 圮s c h e d u l i n ga n d p e r f o r m a n c eo p t i m i z a t i o n ，a n dc a l lb eu s e df o rd e t e c t i o no ff a i l u r e ，m a i n t e n a n c eo fl o a d b a l a n c i n ga n di m p r o v e m e n to fg r i dp e r f o r m a n c e g e n e r a l l y , e x i s t i n gm o n i t o r i n gs y s t e m sa r e u s e di np r o p r i e t a r y 酣ds y s t e m s ，t h e r e f o r e ，w en e e dt os e tu po u rm o n i t o r i n gs y s t e ma c c o r d i n g t oa c t u a lr e q u i r e m e n t so ft h ep r o j e c t t h i sa r t i c l ei sf r o mt h en a t i o n a lh i g h - t e c hr e s e a r c ha n dd e v e l o p m e n tp r o g r a m ( 8 6 3 ) p r o j e c t - ”d a t ar e l i a b l es t o r a g ea n di n t r u s i o nt o l e r a n c ek e yt e c h n o l o g i e sb a s e do n 鲥d t f r o 2 0 0 7 a a 01z 4 0 4 ) w e p r o p o s e da na p p r o p r i a t em o n i t o r i n gs y s t e ma f t e rd e e p l ys t u d y i n ga b o u t t h ed a t ag r i d k e yt e c h n o l o g i e sa n da r c h i t e c t u r eu s e di nt h ep r o j e c t t h em o n i t o r i n gs y s t e mi s b a s e do b m d s 4 t 2 】o fg t 4 1 1 i no r d e rt oc o m p e n s a t et h el a c ko fm d s 4 ，w ef o c u so nt h ef o l l o w i n gt w o a s p e c t s ：m o n i t o r i n ga b o u td a t ar e s o u r c e sa n dc o m p u t i n gr e s o u r c e s i no r d e rt om o n i t o rd a t ar e s o u r c e s , w ep u tf o r w a r dt oar a p i dp o s i t i o n i n gm e t h o d - t c - r l s b a s e d0 1 1t h ed a t a 鲥dt o p o l o g ym o d e l t h i sm e t h o di sb a s e do nt h r e e o r d e rc h o r d i 引a l g o r i t h m ， i ti sac o m b i n a t i o no ft h r e e o r d e rc h o r da l g o r i t h ma n dr l s 4 ，a n di sl o c a la n dc a na c h i e v el o a d b a l a n c i n g ，r a p i dp o s i t i o n i n go f d a t ar e s o u r c e s ，a l s oc a r li m p r o v et h em o n i t o r i n ge f f i c i e n c y i no r d e rt om o n i t o rc o m p u t i n gr e s o r r c e s ，w ep u tf o r w a r dt oa r s v ra l g o r i t h m t h i s m e t h o dc a nb eu s e df o rt h en o d el o a dp r e d i c t i o n , i tc a r lg e tf u t u r ei n f o r m a t i o nf o r 面dr e s o u r c e s c h e d u l i n ga n dp e r f o r m a n c eo p t i m i z a t i o n , w h i l ew ec a l lo n l yg e tr e a l - t i m el o a di n f o r m a t i o n u s i n gm d s 4 s i m u l a t i o ne x p e r i m e n t sp r o v et h a ti ti sg o o df o re f f e c t i v el o a dp r e d i c t i o nw i t h a r s v i l f i n a l l y , w ec o n s t r u c tas u i t a b l em o n i t o r i n gs y s t e mi nt h ed a t ag r i de n v i r o n m e n t ， k e y w o r d s ：d a t ag r i d ，m o n i t o r i n g ，i l l s ，p r e d i c t i o n ，m d s i t 南京邮电大学硕士研究生学位论文缩略词 缩略词 缩略词英文全称译文 a i c a v e r a g ei n f o r m a t i o nc r i t e r i a平均信息准则 a r a u t or e g r e s s i o n 自回归 g g fg l o b a l 嘶df o r u m全球网格论坛 g l u eg r i dl a b o r a t o r yu n i f o r me n v i r o n m e n t网格实验室统一环境 g m ag r i dm o n i t o r i n ga r c h i t e c t u r e 网格监控架构 g r l ig l o b a lr e p l i c al o c a t i o ni n d e x 全局副本目录节点 l d a p l i g h td i r e c t o r ya c c e s ss e r v i c e 轻量级目录访问协议 l f nl o c a lf i l en a m e逻辑文件名 l r cl o c a lr e p l i c a c a t a l o g本地副本目录 m d s m o n i t o r i n ga n dd i s c o v e r ys e r v i c e监控和发现服务 o g s a o p e ng r i ds e r v i c e sa r c h i t e c t u r e 开放式网格服务体系结构 o g s i o p e ng r i ds e r v i c e si n f r a s t r u c t u r e开放网格服务基础设施 p f n p h y s i c sf i l en a m e 物理文件名 r l s r e p l i c al o c a t i o ns e r v i c e 副本定位服务 s n s t o r a g en o d e 数据存储节点 s v m s u p p o r tv e c t o rm a c h i n e 支持向量机 s v r s u p p o r tv e c t o rr e g r e s s i o n支持向量回归机 w s d dw e bs e r v i c ed e p l o y m e n td e s c r i p t i o n网格服务配置描述 w s d lw e bs e r v i c ed e f i n i t i o nl a n g u a g ew e b 服务定义语言 w s r fw 色bs e r v i c e sr e s o u r c ef r a m e w o r k网络服务资源框架 v ov m u a lo r g a n i z a t i o n虚拟组织 第8 4 页 南京邮电大学硕士研究生学位论文图表清单 图表清单 图2 1 五层沙漏体系结构6 图2 2w s r f 结构图9 图2 - 3g t 4 体系结构图1 l 图2 - 4 基于可靠存储与容侵的数据网格体系结构图1 5 图2 5 基于容侵的数据网格的拓扑结构图。1 6 图3 1m d s 4 基本架构1 8 图3 2 数据网格监控模型图：2 3 图3 3 节点状态监控的层次结构图2 5 图3 4 逻辑文件名和物理文件名的映射关系一2 8 图4 1 基于t c r l s 算法的拓扑结构图2 7 图4 2t c r l s 中定位算法流程图3 0 图4 3l r c 与r l i 层次式结构3 l 图4 - 4 关键字查询算法示例图3 5 图4 5 三阶c h o r d 的路由表指针模型3 9 图5 1 动态调整参数的s v r 方法流程图5 6 图5 2c p u 利用率变化曲线图5 8 图5 3a r s v r 方法预测图5 9 图5 - 4a r s v r 方法预测对比效果图6 0 图6 1 监控系统结构图6 2 图6 2 数据网格监控系统工作流程图一“ 图6 3 网格服务开发流程图6 5 图6 - 4m d s 应用示例图7 2 图6 5 单个副本查询界面。7 5 图6 6 单个文件成功查询界面。7 5 图6 7 单个文件不成功查询界面7 5 第8 5 页 随京邮电大学硕士研究生学位论文 图表清单 图6 8 查询所有副本界面图7 5 图6 - 9 查询所有副本结果图7 6 图6 1 0 资源监控中节点信息图7 6 图6 。1 l 节点资源监控总界面7 7 图6 1 2 单个节点监控信息界面7 7 图6 1 3 服务信息监控图7 8 图6 一1 4 节点负载预测查询界面图7 8 图6 1 5 节点负载预测结果7 9 表3 1m d s 4 中的主要信息提供者2 0 表4 1c h o r d 中节点路由表_ 3 4 表4 2 三阶c h o r d 路由表结构3 8 表5 1a r 各阶模型。5 7 表5 2 误差统计表一5 8 表6 1 本地副本目录属性表7 l 表6 2 副本定位索引属性表7 2 第8 6 页 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名：盗擎毕日期：丝算l 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本人所送 交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论 文。本文电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。 论文的公布( 包括刊登) 授权南京邮电大学研究生部办理。 研究生签名：刍阻导师签名： 南京邮电大学硕士研究生学位论文第一章引言 1 1 课题背景 第一章引言 网格是一个集成的资源环境，它建立在当前的互联网之上，被称为下一代的i n t e r n e t 。 传统的i n t e m e t 实现了计算机硬件的连通，w e b 实现了网页的连通，而网格将实现互联网 上所有资源的连通，网格的目的就是要消除信息孤岛和资源孤岛。网格技术正飞速发展， 它正从不断的变化阶段走向成熟阶段。 网格的主要特点之一就是包含了大量广域分布、动态、多样、自治、异构的资源，如 计算机、设备、人员等，这些资源具有高度动态和自治的特性。为了实现这些资源的全面 连通和有效组织，支持便利的用户访问和最大限度地提高资源利用率，对系统自身和所属 资源进行有效的维护管理成为实现网格系统的重要方面，这就需要相应的监控系统与之相 适应，网格监控系统不仅保障网格系统的正常运行，而且为网格的其他服务提供资源状态 信息，在网格系统中起着举足轻重的作用。 数据网格是一个以数据为主要资源的理想的虚拟存储系统，可为各种网格应用提供良 好的支持。数据网格中包含了大量的资源，例如计算资源、海量的数据资源等，这些资源 的特性有很大的区别，它们分布在网格的不同位置，并且具有高度的动态性和自治性。因 此，数据网格中对资源的监控非常困难，不仅要能够针对不同资源的特点管理各种资源， 还需要具有很好的可扩展性，能够管理广域范围内的海量资源，同时还需要适应资源的动 态性，并且提供较好的资源检索和定位效率。 目前有很多组织正致力于网格资源监控系统的研究，但是这些监控系统其侧重点不 同，所解决的问题也存在较大差异： ( 1 ) 传统的网格资源监控系统大多是针对已有的网格系统开发的专用监控系统，难移 植到其它网格系统中，缺乏通用性和灵活性。 ( 2 ) 加入网格的资源具有自治性和动态性，资源所有者可以随时加入、退出。传统的 网格资源监控系统只能对节点的负载进行实时监控，而不能进行有效的预测，这种监控模 式无法很好的满足网格资源调度及网格性能优化的需要。 第l 页 南京邮电人学硕士研究生学位论文 一一箍二童曼! 皇 ( 3 ) 数据网格中存在大量的副本，为了进行更高级的应用需要快速准确的监控到副本 的信息，而传统的监控模型例如m d s 4 ，副本定位速度慢，达不到对实时性的要求。 1 2 课题来源及本人工作 本文所涉及的课题源于王汝传教授所负责的国家高技术研究发展计划( 8 6 3 计划) 项目 “基于网格的数据可靠存储与容侵关键技术 ，该项目旨在开发一个支持可靠存储与容侵 的数据网格中间件，将i n t e m e t 上存在的大量、分散、独立、异构的储存系统组织成一个 可靠、安全的逻辑意义上的整体，从而为用户提供高效的、高可靠的、可扩展的、大规模 的存储资源。 本人对数据网格的基本技术、体系结构、发展现状等进行了深入的研究，本文所做的 工作如下：( 1 ) 在对该8 6 3 计划项目深入分析的基础上，提出了适合于该项目的数据网格 监控体系结构。该监控系统基于g t 4 的m d s 4 扩展，为了弥补m d s 4 的不足，着重对数 据资源的监控和计算资源的监控进行了研究；( 2 ) 关于数据资源的监控，为了加快数据文 件定位速度、提高监控系统的性能，提出了一种基于快速定位模型的数据资源监控方法 _ t c r l s 方法，并对该方法进行了分析；( 3 ) 关于计算资源的监控，为了满足网格资 源调度及网格性能优化的需要，达到负载均衡，本文提出了基于预测的数据网格计算资源 监控方法a r s v r 方法，仿真证明该方法能对节点的负载进行实时的预测，为资源调 度等其它网格服务提供依据。最后，基于g t 4 ，用j a v a 语言初步实现了该监控系统。 1 3 本文组织 全文共分七个章节，内容组织如下： 第一章首先介绍本文的课题背景、本文课题来源及本人工作与本文组织结构： 第二章首先介绍了数据网格的相关技术，在此基础上介绍了本文所依托8 6 3 项目采用 的数据网格体系结构，并对监控系统提出需求： 第三章对g t 4 中监控系统m d s 4 进行分析的基础上，针对第二章所建立数据网格体 系结构，提出了适合该数据网格的监控系统框架。该监控系统在m d s 4 基础上进行扩展， 为了弥补m d s 4 的不足，提出对需要对数据资源和计算资源进行有效的监控。 第四章详细介绍了数据资源的监控，提出了符合该数据网格拓扑结构的基于t c r l s 第2 页 南京邮电入学硕j 研究生学位论文 第一章引言 快速定位模型的监控方法，该方法能兼顾网格负载平衡和本地性，并对该方法进行了分析。 第五章介绍了对计算资源的监控，提出了基于预测的数据网格计算资源监控方法一 a r s v r 方法，对网格节点负载进行预测，为网格的负载平衡和网格中其它应用提供数据 支持。仿真实验证明具有较好的预测效果，能提高监控性能。 第六章是原型系统的设计与实现，对该数据网格监控系统进行了初步的实现。 第七章总结了本文所作的工作，并对该课题进步研究的重点方向进行展望。 第3 页 南京邮电大学硕士研究生学位论文 第二章基于可靠存储与容侵的数据网格体系结构分析 第二章基于可靠存储与容侵的数据网格体系结构分析 2 1 数据网格技术概述 2 1 1 数据网格的起源与现状 随着i n t e m e t 的广泛普及，很多应用领域特别是计算和数据密集型应用，对广域网环 境下协同问题求解能力和海量信息分析处理能力的要求越来越高。这些应用要求整合分布 在广域网环境中的高性能处理能力、海量数据集合以及多种可用资源，为地理上分布的用 户提供服务。传统的高性能计算、分布式系统以及相关技术已经无法适应这种高性能分布 处理和大容量分布存储能力的需求。目前很多学者提出了解决这些问题的方法，但是尚未 出现集成的架构，能以一种协调的方式将不同的技术运用于一系列数据密集型的p b 级的 应用领域。基于这些考虑，网格界发起了一些合作去设计和构建了一个这样的集成架构， 这个架构便是“数据网格”。 在数据网格研究领域，已经出现了一些实验和实用系统，其中最著名的是欧洲数据网 格项目【5 1 、美国的国际虚拟数据网格实验室i v d g l 6 和p p d g l 7 1 项目，最著名的数据网格 系统工具是g l o b u s 8 1 中的数据网格支撑模块和美国圣地亚哥超级计算中心( s d s c ) 的存储 资源代理( s i 也) 系统。 g l o b u s 系统最初是面向计算网格的，后来由于数据网格应用的需求迫切，g l o b u s 系 统在原有的基础上增加了数据网格的功能，对数据的高速传输、数据复制、元数据管理等 进行了研究和实现。目前，美国宇航局( n a s a ) 支持的i p g 网格、欧洲数据网格( d a t ag r i d ) 、 美国国家技术网格( n t g ) 、p p d g 、a s c ig r i d 、日本的d a t af a r m 等项目都采用了g l o b u s 系统。 美国圣地亚哥超级计算中心s d s c 的s r b 存储资源代理系统是用途较广的数据网格 软件之一。s r b 为用户提供了一个访问文件系统、档案系统、数据库系统等多种异构存 储系统的统一接口，屏蔽了存储系统异构的特性。它支持广域网环境下多种数据源的访问， 提供了复制数据的访问、文件的汇集、分布文件的逻辑集合等功能。目前，s r b 系统已 第4 页 南京邮电大学硕士研究生学位论文第二章基于可靠存储与容侵的数据网格体系结构分析 经被几十多个单位使用，包括英国的国家网格、美国的联邦数据库等。它们正在和g l o b u s 系统相结合，以满足网格技术和用户的需求。 当然，除了上述项目和系统以外，还有许多项目已经或正在开发之中，包括i b m 、 s u n 、c o m p a q 、l s f 等十多家著名计算机公司都已经投资研究数据网格技术 9 1 。 2 1 2 网格体系结构 网格体系结构是关于如何构建网格的技术，它包括两个层次的内涵。一是要标识出网 格系统由哪些部分组成，清晰地描述出各个部分的功能、目的和特点。二是要描述网格各 个组成部分之间的关系，如何将各个部分有机地结合在一起，形成完整的网格系统，从而 保证网格有效地运转，也就是将各个部分进行集成的方式或方法。 随着网格的发展，现在主要有两个网格体系结构标准：一个是面向协议的五层沙漏结 构( f i v e l e v e ls a n d g l a s sa r c h i t e c t u r e ) 1 1 0 1 ，另一个是面向服务的开放式网格服务体系结构 ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ，o g s a ) 1 1 1 。在网格的初期发展中，主要面向于科学研究、 高性能计算，五层沙漏结构满足了这种发展的要求。随着网格在科学研究的成功应用，工 业界对网格的兴趣也日益增加，希望其可以应用在电子商务领域，网格的体系结构也发生 了相应的变化，采用了服务这种可以组合的概念来构建出网格体系结构( o g s a ) ，丽o g s a 的基础层也随着经历了从最初的开放网格服务基础设施( o p e nc r r i ds e r v i c e si n f r a s t r u c t u r e ， o o s i ) 【1 2 垤u 网络服务资源框架( w e bs e r v i c e sr e s o u r c ef r a m e w o r k ，w s r f ) 1 3 雕j 演变。 本节将对这三种体系结构分别进行介绍。 ( 一) 五层沙漏体系结构 五层沙漏结构是一种影响十分广泛的结构，它主要侧重于学术研究，在这一点上有点 类似于开放系统互联模型和t c p i p 模型，因此很容易从整体上对其进行理解。 五层沙漏结构并不提供严格的规范，不是对所需协议的完整罗列，而是对各部分组件 的通用要求进行定性描述，并且将这些组件形成一定的层次关系，每一层的组件具有相同 的特征，它们屏蔽底层实现并为上层提供服务，上层组件则在底层组件的基础之上构建。 沙漏结构中的五层由下至上分别是构造层、连接层、资源层、汇聚层、应用层，其结构如 图2 1 所示。 第5 页 南京邮电大学硕上研究生学位论文 第二章基于町靠存储与容侵的数据网格体系结构分析 工贼用 应用层 | 诊断与监控 汇聚层 资源层与 的安全访问连接层 各种资源 如计算资源、存 构造层 夕蝴用皴源弋 图2 1 五层沙漏体系结构1 1 4 1 在五层结构中，资源层和连接层共同组成了瓶颈部分，使得该结构呈沙漏形状。其内 在的含义就是各部分协议的数量是不同的，对于其最核心的部分，要能够实现上层各种协 议向核心协议的映射，同时实现核心协议向下层各种协议的映射，核心协议在所有支持网 格计算的地点都应该得到支持，因此核心协议的数量不应该太多，这样核心协议就形成了 协议层次结构中的一个瓶颈。 下面对五层的功能特点分别进行描述【1 5 】： ( 1 ) 构造层 构造层的基本功能就是控制局部的资源，包括查询机制、控制服务质量的资源管理能 力等，并向上提供访问这些资源的接口。构造层资源是非常广泛的，可以是计算资源、存 储系统、目录、网络资源以及传感器等。 ( 2 ) 连接层 连接层的基本功能就是实现相互的通信。它定义了核心的通信和认证协议，用于网格 的网络事务处理。提供的功能包括：单一登录、代理、与局部安全方法的集成、基于用户 的信任机制。 ( 3 ) 资源层 资源层的主要功能就是实现对单个资源的共享。资源层定义的协议包括安全初始化、 监视、控制单个资源的共享操作、审计以及付费等。它忽略了全局状态和跨越分布资源集 合的原子操作。 ( 4 ) 汇聚层 汇聚层的主要功能是协调多种资源的共享。汇聚层协议与服务描述的是资源的共性， 第6 页 南京邮电大学硕j j 研究生学位论文第二章基于可靠存储与容侵的数据网格体系结构分析 包括目录服务、协同分配和调度以及代理服务、监控和诊断服务、数据复制服务、网格支 持下的编程系统、负载管理系统与协同分配工作框架、软件发现服务、协作服务等。它们 说明了不同资源集合之间是如何相互作用的，但不涉及到资源的具体特征。 ( 5 ) 应用层 应用层是在虚拟组织环境中存在的。应用可以根据任一层次上定义的服务来构造。每 一层都定义了协议，以提供对相关服务的访问，这些服务包括资源管理、数据存取、资源 发现等。 ( - - ) 开放网格服务体系结构 o g s a 是一个具有多种实现的真正社区标准。它是由全球网格论坛( g l o b a lg r i d f o r u m ，g g f ) o s g i 工作小组于2 0 0 2 年6 月制定的。这个结构的出现也标志着网格从以 科学计算研究为主的范围扩展到了主流商业计算环境的方方面面。 1 o g s a 的基本思想 o g s a 最基本的思想就是以“服务”为中心。在o g s a 框架中，将一切抽象为服务， 包括各种计算资源、存储资源、网络、程序、数据库等等，简而言之，一切都是服务。这 种观念，有利于通过统一的标准接口来管理和使用网格。 o g s a 定义了网格服务( 佩ds e r v i c e ) 1 6 】的概念，网格服务是一种w e bs e r v i c e ，该服 务提供了一组接口，这些接口的定义明确并且遵守特定的管理，解决服务发现、动态服务 创建、生命周期管理、通知等问题。在o g s a 中，将一切都看作网格服务，因此网格就 是可扩展的网格服务的集合。网格服务可以以不同的方式聚集起来满足虚拟组织o r m u a l o r g a n i z a t i o n ，v o ) 的需要，虚拟组织自身也可以部分地根据他们操作和共享的服务来定义。 简单地说，网格服务= 接口绗为+ 服务数据。 o g s a 以服务为中心，具有如下好处：网格中一切都是服务，通过提供一组相对统一 的核心接口，所有的网格服务都基于这些接口实现，可以很容易地构造出具有层次结构、 更高级别的服务，这些服务可以跨越不同的抽象层次，以一种统一的方式来看待。 2 o g s a 两大关键技术 o g s a 包括两大关键技术，即网格技术和w e bs e r v i c e 技术，它是在五层沙漏结构的 基础上结合w e bs e r v i c e 技术提出来的，解决了两个重要问题标准服务接口的定义和 协议的识别。 o g s a 描述并定义了基于w e b 服务的g l o b u s 网格服务体系结构。规定了如何创建、 第7 页 南京邮电大学硕士研究生学位论文第二章基于可靠存储与容侵的数据网格体系结构分析 命名和发现瞬时网格服务实例；提供了捆绑在网格服务上的协议：并且支持与本地平台设 施的集成。根据网络服务描述语言w s d e 1 7 ( w e bs e r v i c ed e f i n i t i o nl a n g u a g e ) 接t z l 以及相 关协议，o g s a 定义了建立和组成复杂分布式系统的机制，包括生命周期管理、状态管理 以及通知等。服务绑定可以支持可靠的请求、身份验证、授权以及委托等。o g s a 符合标 准的w e bs e r v i c e 框架，它的不同功能是由不同的服务接口来实现的。w e bs e r v i c e 解决了 发现和激活永久服务的问题，但是在网格中有大量的临时服务，因此o g s a 对w e bs e r v i c e 进行了扩展，提出了网格服务( g r i ds e r v i c e ) 的概念，使得它可以支持临时服务实例，并且 能够动态创建和删除。 ( - - - ) w e b 服务资源框架 在o g s a 刚提出不久，g g f 及时推出了o g s i 草案，并成立了o g s ii 作组，负责 该草案的进一步完善和规范化。o g s i 规范通过扩展w e b 服务定义语言w s d l 和x m l s c h e m a 的使用，来解决具有状态属性的w e b 服务问题。 由于o g s i 在实际应用中过于繁琐，又加上o g s i 在构建w e b 服务时引起了“w e b 服务没有状态和实例 的争议，并且o g s i 单个规范中的内容太多，所有接口和操作都与 服务数据有关，缺乏通用性，o g s i 规范没有对资源和服务进行区分，o g s i 使用目前的 w e b 服务和x m l 工具不能良好工作。这些原因促使了w s r f 的出现。 w s r f 是o g s i 的重构和发展，它取代了o g s i 并融合在w e b 服务中，给予w e b 服 务以新的描述和定义，它是表示有状态资源和w e b 服务之间关系的一种新方法，是网格 技术与w e b 服务相结合的具体体现，也是网格技术发展史上的一座里程碑。w s r f 结构 强调网格技术主要是由w e b 服务和有状态资源的组成( 如图2 2 ) 。有状态资源可以是一个 具体的保持状态数据的实体，也可以是用x m l 语言定义的状态数据，它可以被一个或者 多个w e b 服务访问，它是定义完整的实体，这个实体是以创建资源、撤销生命周期来表 示的，并具有多种实现方式。 第8 页 南京邮电大学硕上研究生学位论文 第二章基于可靠存储与容侵的数据网格体系结构分析 ，。一。、 f r e s o u r c ei r v i ： w e da ec c + r e s o u r c e = w s - r e s c o u r c e 图2 - 2w s r f 结构图【1 3 】 w s r f 是一个服务资源的框架，是五个技术规范的集合1 1 9 1 ，即w s r e s o u r c e l i f e t i m e ， w s r e s o u r c e p r o p e r t i e s ，w s r e n e w a b l e r e f e r e n c e s ，w s s e r v i c e g r o u p ，w s b a s e f a u l t s 。这 些规范定义了以下方法： ( 1 ) w r e b 服务资源可以与销毁请求同步地或者通过提供基于时间的析构( d e s t r u c t ) 机制 来销毁，而且指定的资源特性可以被用来检查和检测w e b 服务资源的生存期； ( 2 ) w e b 服务资源的类型定义可以由w e b 服务的接口描述和x m l 资源特性文档来组 成，并且可以通过w e b 服务消息交换来查询和更改w e b 服务资源的状态； ( 3 ) 如果w e b 服务内部所包含的寻址或者策略信息变得无效或者过时，w e b 服务端 点引用( w e b 服务寻址) 可以被更新； ( 4 ) 可以定义异构的通过引用方式结合在一起的w e b 服务集合，不管这些服务是否属 于w e b 服务资源； ( 5 ) 通过使用用于基本错误的x m ls c h e m a 类型以及扩展这个基本错误类型的规则 应用到w e b 服务中，使得w e b 服务中的错误报告可以更加标准化。 作为o g s a 最新核心规范的w s r f ，它的提出加速了网格和w e b 服务的融合，以及 科研界和工业界的接轨。o g s a 和w s r f 目前都处于不断的发展变化之中。2 0 0 4 年6 月， o g s a1 0 版本发布，阐述了o g s a 与w e b 服务标准的关系，同时给出了不同的o g s a 应用实例。o g s a2 0 版本子2 0 0 5 年6 月发布，w s r f1 2 也于2 0 0 6 年4 月3 日被批准。 对于w s r f 本身而言，由于其提出不久，其规范还有待在实践中得到进一步应用证明， 并逐步得到完善。 基于o g s a 和w s r f 的服务网格平台和规范协议，将最终成为下一代互联网的基础 第9 页 南京邮电大学硕士研究生学位论文第二章基于可靠存储与容侵的数据网格体系结构分析 设施，所有的应用都将在网格的基础平台上得以实_ 施。 2 1 3g l o b u st o o l k i t 4 ( - - ) g l o b u s g l o b u s 系统主要由美国a r g o n n e 国家实验室和南加州大学联合研制。它借鉴了因特 网u n i x 的开发路线，不构造一个完整的系统，而只构造一套底层的开发工具，采用模块 化设计方式，可升级或替换，是一个中间件系统。g l o b u s 对资源的管理、安全、信息服 务、数据管理等网格计算的关键技术和方法进行研究，提供了一整套s d k 和a p i ，用户 可以任意选择其中的工具模块进行高层次的应用开发。目前，美国n a s a i p g 、欧洲数据 网格、美国国家技术网格n t g 、g r i d p h y n 、p p d g 、a s c ig r i d 、日本的d a t a f a r m 等项目 都采用了g l o b u s 系统。 g l o b u s 是一个多研究机构联合开发的项目，它力图实现计算网格结构，来提供对高 性能远程计算资源普遍的、可靠的、一致性的访问。目前的g l o b u s 可以认为是计算网格 技术的典型代表和事实上的规范，在2 0 0 5 年4 月3 0 日。g l o b u s a l l i a n e e 正式向开发社区 发布了g l o b u s t o o l k i t 4 0 版本，它是程序员相信的代码质量已经足以满足企业需求的第一 个版本，与g t 以前的版本相比，g t 4 包括很多w e b 服务和标准。网格先驱i a n f o s t e r 在 一次访谈中谈到：“g t 4 是g l o b u s 进化的一个延续，其重要之处在于，这是我们第一次觉 得可以告诉其他组织代码质量足以满足企业需求了”。g l o b u st o o l k i t 4 0 有着以下的新 特性： 1 g t 4 遵守最新的w 曲s e r v i c e s i n t e r o p e r a b i l i t yo r g a n i z a t i o n ( w s i ) w e b 服务标准，在 不同环境之间提供了最大的互操作性。 2 g t 4 包含对一些重要授权标准的初步支持，其中包括s a m l 和x a c m l 。 3 g t 4 实现了w s r f 和w s n o t i f i c a t i o n 规范。 4 g t 4 具有复杂的授权和安全功能。g l o b u s 一直非常注重网格的安全性，从安全性 的角度来看，g t 4 是“满足企业需求的 。 5 g t 4 提供了高级的执行和数据管理功能。 g l o b u s t o o l k i t 4 0 对一组w e b 服务进行打包，这些服务提供了一个面向服务的基础设 施。g t 4 最重大的改进在于w s r f 和w e bs e r v i c e sn o t i f i c a t i o n ( w s n ) 这两个新标准的实现， 从而在建立对有状态资源进行访问的w r e b 服务时，不再需要像o g s i 那样对w e b 服务进 第1 0 页 南京邮电大学硕士研究生学位论文第二章基于可靠存储与容侵的数据网格体系结构分析 行扩展，而是以通用的标准来实现，更有利于网格应用的发布与使用。 所有知名的g t 3 协议( 资源管理使用的w s g r a m ，数据管理使用的r f t 以及信息 服务使用的m d s ) 都被重新设计为可以使用w s r f 的，安全协议g s i 现在也被称为w s a u t h e n t i c a t i o na u t h o r i z a t i o n 。所有的g t 4w s 组件都使用与w s i n t e r o p e r a b i l i t y 协议兼容 的传输和安全机制，不仅相互间可以进行协作，还可以与其他的w e b 服务交互。此外， 所有的g t 4 组件都支持x 5 0 9 端点实体证书和代理证书，因此，客户端可以使用相同的 信任状与g t 4w s 组件或者非w s 组件进行身份验证。 g l o b u s 系统最初面向计算网格的，后来由于数据网格应用的需求迫切，g l o b u s 系统 在原有的基础上增加了数据网格的功能，对数据的高速传输、数据复制、数据复制的选择、 元数据管理等进行了研究和实现，成为数据网格应用的开发平台。 ( 二) g l o b u st o o l k i t 4 结构 g l o b u st o o l k i t 4 是一个开放架构、开放源码的工具集合，简称g t 4 。它是基于w