（计算机软件与理论专业论文）网格监测系统基础架构的研究与实现.pdf

论文题目： 专业： 硕士生： 指导教师： 网格监测系统基础架构的研究与实现。 计算机软件与理论 林毋梦 李廉教授 摘要 监测功能是网格系统的基本组成部分，本论文认为通过s o a 可以构建与具 体网格系统无关的监测系统，同时现有的网格监测系统存在不支持测试内容的动 态增加和更新、缺乏统一的监测结果处理和聚合机制、缺乏对故障预警和自动处 理的支持，使得现有网格监测系统在可扩展性、功能和性能等方面受到很大限制， 成为提高网格监测系统可用性和效率，网格系统健壮性的瓶颈。 论文以中国教育科研网格c h i n a g r i d 项目为背景，通过深入研究提出了一种 构建网格环境监测系统的基础架构c 蛐1 a g ms u p e rv i s i o n ( c g s v ) 。根据用 户的实际需求，论文对全球网格论坛( g g f ) 提出的网格监测体系结构( g m a ) 进行了补充与完善，在g m a 的基础上增加了两类基础服务一一p r o x y 和 a r c h i v o r ，形成c g s v 。c g s v 支持监测服务的动态部署、更新，提供了对监测 结果数据进行统一发布和存储的机制，提供访问和聚合结果的标准接口。此外， c o s v 的数据发布服务还支持推和拉两种数据传输模式，用以满足不同用户的需 求。 论文首先对网格的概念与相关技术、网格的现行标准及现行标准的制定组织 进行了介绍。通过比较，本论文指出传统高性能计算及p 2 p 等分布式计算不是网 格。其次，论文介绍了c h i n a c n i d 项目，并详细说明了c h i n a c n i d 支撑平台( c r i s p ) 的模块。最后，论文提出了一种新的网格监测体系结构c g s v ，给如了相关概念 的定义，并详细说明了c g s v 的内部结构与实现。 【关键词】网格监测系统c h i n a f i r i dc g s pc g s v 【论文类型】应用基础 1 本论文得到国家自然科学基金资助项目( 批准号：9 0 6 1 2 0 1 6 ，6 0 4 7 3 0 9 5 ) 和中周教育科研同格c h i n a g r i d 项( c ( 二2 0 0 3 c c , 0 0 s ) 的支持 a b s t r a c t t i t l e ： m a j o r ： n a m e ： s u p e r v i s o r ： r e s e a r c ha n di m p l e m e n t a t i o no fam o n i t o r i n gi n f r a s t r u c t u r ei n g r i de n v i r o n m e n t c o m p u t e rs o f t w a r ea n dt h e o r y l i nw u m e n g l i l i a n a b s t r a c t g r i dm o n i t o r i n gs y s t e m ( g m s ) i saf u n d a m e n t a lc o m p o n e n to f 鲥ds y s t e m i ti s p o s s i b l et ob u i l dag e n e r i cg m su s i n gs o ar a t h e rt h a nas y s t e m - s p e c i f i cm o n i t o r i n g s y s t e m h o w e v t h ee m s t m gg m s e sh a v et h ep r o b l e m s ，f o re x a m p l ed o n ts u p p o r t a d d i n go ru p d a t i n gm o n i t o r i n gc o n t e n td y n a m i c a l l y ；l a c ko fu n i f o r mm e c h a n i s mf o r h a n d l i n ga n da g g r e g a t i o no f m o n i t o r i n gr e s u l t s ；l a c ko f m e c h a n i s mt os u p p o r ts y s t e m f a u l ta l a r ma n da u t o m a t i cf a u l t h a n d l i n g ，l e a d i n gt o c o n s t r a i n si ns e a l a b i l i t y , f u n c t i o n a l i t y , a n dp c r f o r n m c eo ft h e m f u r t h e r m o r e t h e ya 地t h eb o t t l e n e c kt o i m p r o v et h ea v a i l a b i l i t y , a n de f f i e i e n c yo fg m s ，a sw e l l 邵t h er o b u s m e s so f 鲥d s y s t e m c h m a g r i ds u p e rv i s i o n ( c a s d a l li n f m s u u c 栅eu s e dt oc o n s t r u c tt h eg m si s p r o p o s e di nt h i sa r t i c l e a c c o r d i n gt ot h e a c t u a lr e q u i r e m e n to fu s e r s ，t h ea r t i c l e p r e s 眦st h en o v e la f c k t e c 船eb a s e do ng r i dm o n i t o r i n ga r c b i t e c t u r e ( o m a ) p r o p o s e db yg l o b a lg r i df o r u m ( g g f ) ，a d d i n gt w os o r t so fs e r v i c e s ，p r o x ys e r v i c e a n da r e h i v e rs e r v i c e 。c g s vs u p p o r t sd y n a m i c a l l yd e p l o y i n g , u p d a t i n gm o n i t o r i n g s e r v i c e sa n dp r o v i d e su n i f o r mm e c h a n i s m st oh a n d l et h em o n i t o r i n gr e s u l t s ，a n d s t a n d a r di n t e r f a c e st oa c c e s sa n da g g r e g a t et h er e s u l t s a d d i t i o n a l l y , d a t ap u b l i s h e r s e r v i c e si n s i d ec g s vs u p p o r tt w od a t at r a n s f e rm o d e sp u s ha n dp u l l ，t os e r v e d i f f e r e n tu s e r s t h i sa r t i c l ei s o r g a n i z e da sf o l l o w s f i r s t l y , i ti n t r o d u c e sc o n c e p t s a n d t e c h n o l o g i e sa b o u tg r i d a sw e l la st h ei n f o r m a t i o no fg r i d s p e c i f i c a t i o n sa n d o r g a n i z a t i o n s i td i s c r i m i n a t e st h e 鲥dc o m p u t i n gf r o mt h et r a d i t i o n a lh i g h p c 响黜c o m p u t i n ga n dd i s t r i b u t e dc o m p u t i n gs u c ha sp 2 ps y s t e m s s e c o n d l y , t h ea r t i c l ei n t r o d u c e sc h i n a c n , i ds u p p o r tp l a t f o r m , c g s 只a n di l l u s t r a t e st h em o d u l e s o fc g s pi ns o m ed e t a i l l a s t l y , t h ea r t i c l ep r o p o s e san o v e li n f r a s t r u c t u r ef o r m o n i t o r i n gs y s t e m , c g s kd e f i n e sr e l e v a n tc o n c e p t s ，a n dd e p i c t sh o wt h e y a r c i m p l e m e n t e ds p e c i f i c a l l y k e yw o r d s ig r i d ，g r i dm o n i t o r i n g , c h i n a c r r i d ，c g s p ，c g s v t y p eo f t h e s i s a p p l i c a t i o nf u n d a m e n t a l 兰州大学硕士学位论文 原创性声明 本人郑重声明：本人所呈交的学位论文，是在导师的指导下 独立进行研究所取得的成果。学位论文中凡引用他人已经发表或 未发表的成果、数据、观点等，均己明确注明出处。除文中已经 注明引用的内容外，不包含任何其他个人或集体已经发表或撰写 过的科研成果。对本文的研究成果做出重要贡献的个人和集体， 均已在文中以明确方式标明。 本声明的法律责任由本人承担。 论文作者签名：盐鱼皇 日 兰州大学硕士学位论文 关于学位论文使用授权的声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归 属兰州大学。本人完全了解兰州大学有关保存、使用学位论文的规定， 同意学校保存或向国家有关部门或机构送交论文的纸质版和电子版， 允许论文被查阅和借阅；本人授权兰州大学可以将本学位论文的全部 或部分内容编入有关数据库进行检索，可以采用任何复制手段保存和 汇编本学位论文。本人离校后发表、使用学位论文或与该论文直接相 关的学术论文或成果时，第一署名单位仍然为兰州大学。 保密论文在解密后应遵守此规定。 论文作者签名：蛊毋势师签名： 日期：皿曲 第一章引言 1 1 研究背景 第一章引言 由于网格【1 1 1 2 1 计算是一种新兴的技术，对于不同的人来说可能会关注其不同 的方面，进而给出不同的定义，但是网格计算有一个非常简单却又广泛适用的概 念：有了网格计算技术，您可以将服务器、存储系统和网络联合在一起，组成一 个大的系统。从而为用户提供功能强大的多系统资源来处理特定任务。对于最终 用户或应用程序来说，数据文件、应用程序和系统看起来就像是一个巨大的虚拟 计算系统。 对网格计算最常见的描述则是将其比喻成电力网格。当您给电器或其它用电 设备接入电源时，您希望可以使用正确电压的电力，但并不知道该电力的实际来 源。当地的电力公司提供了接入由发电机和电源组成的复杂网络的接口，并且在 大多数情况下为满足您的能源需求提供满意的服务质量。不需要每家每户或邻近 地区使用和维护他们自己的发电机，电力网格基础设施提供了虚拟的发电机。该 发电机高度可靠，并根据客户的要求来适应客户的电力需求。 网格计算的前景与此类似。旦合适类型的基础设施就位，用户就可以访问 可靠并且适应用户需求的虚拟计算机。这个虚拟计算机将由各种计算资源组成。 但是这些单个的资源对于用户将是不可见的，就像用电户不知道他们的电是怎样 产生的一样。要实现这种前景，就必须有网格计算标准，它支持构建安全而又健 壮的基础设施。该设施包括六个核心组件【3 j ，如图1 1 1 ： 安全性组件 用户接口 任务负载管理 调度 数据管理 资源管理 图1 1 1 网格核心组件 可见网格计算是一种架构1 4 1 ，它通过一组标准服务接1 ：3 和开放协议，为协同、 第一章引言 灵活而安全的大规模资源共享提供支持。这些资源由其所属的组织或个人单独管 理，为了共同的问题解决方案而进行共享。网格就是要在现有互联网的基础上通 过网格中间件把分散在不同地理位置和自治域的可用资源整合起来，实现计算资 源、存储资源和信息资源的共享与协同工作，使用户可以方便、高效和安全地访 问网格系统以获取计算和信息服务。 在网格环境中，监测服务是给用户提供虚拟资源视图的基础服务，虚拟资源 可以包括c p u 、数据、存储、操作系统、软件、算法和各种网络服务。以此为 观测基础而构建的监测系统则是网格系统的基本组成部分i j l ，负责对网格系统的 运行状态和性能等进行监测，监测结果数据为网格系统调度、了解网格系统运行 状态和性能提供依据。同时监测结果还可以反映系统故障或者故障出现的趋势， 系统管理员可以根据该信息及时处理故障或者采取措施以防止故障出现，实现故 障对网格用户的透明，保证网格系统的健壮性、可用性和安全性，因此监测系统 也是网格系统提供高质量服务的必要条件。 网格系统具有动态性，表现在网格资源动态地加入或离开网格系统、网格资 源的运行状态和性能也处于动态变化中，所以网格监测系统必须在广域网上具有 扩展性，能监测大量动态的资源。 对用户而言，监测系统中只有两个可视的组件 5 1 ：生产者( p r o d u c e r ) 和消 费者( c o n s u m e r ) 。监测系统则负贵以高效的方式从生产者采集数据，并转发给 消费者。生产者的数据通常也是获取自更底层的数据采集组件，这些组件包括各 种软硬件传感器、监测系统( 如n a g i o s 6 1 ) 或应用级监nt 具( 如n e t l o g g e r i ” 和g r m p r o v e n ) 。网格中的监测数据实际上是两种类型数据的混合体，一种 是变化速率缓慢的数据，称为静态数据，如操作系统的版本号，一种是变化速率 很快的数据，称为动态数据，如正在运行的作业数量。 我们认为这些监测数据是网格的宝贵资源，它们能真实的反映网格系统的运 行状态及性能。我们相信通过对这些监测数据的挖掘，我们可以找到影响网格系 统性能的关键因素，分析这些数据可以找出影响系统的瓶颈，为我们下一步重构 网格系统提供依据，它们也是反映服务质量的直接证据，对改进网格系统的服务 质量有指导意义，至少对改进作业调度有意义。所以，我们认为作为系统快照的 数据应当存档保存，成为开发和维护系统的资源。由于监测系统对网格系统的监 测是一个持续的过程【9 l ，所以有大量数据需要存档保存。于是可用的监测数据量 巨大，而真正用到的数据量又很小，所以监测系统应该对监测数据有很强的统计 查询能力，可以返回统计结果，而不是大量原始监测数据。 全球网格论坛( g g f 1 0 1 ) 是网格标准的制定者之一，在网格监测方面，它 已经接受由g g f 信息系统与性能领域的性能工作组所提交的网格监测体系结构 ( g m a e i t l ) 为报告文档。本文所讨论的工作就是参照g m a 来实现的。 网格监测体系结构( g m a ) ，如图1 1 2 ，f l j - - 个2 组件构成：消费者、生产 者和目录服务。生产者描述其产生数据的类型与结构。消费者通过查询找出可用 信息并定位信息的生产者。一旦消费者完成查询，并且获取到信息源后，它就可 以从生产者那里获取相关数据。 通过对o g s a l l 2 】用例文档的研究，发现网格系统中必须要有信息监测服务， 这样用户才能产生和使用信息。这里信息是指网格中的静态数据，信息服务是指 采集静态数据的服务，监测服务是指采集动态数据的服务，以后本文不再区分采 集静态数据的信息服务与采集动态数据的监测服务，统称为监测服务。o g s a 的 2 实际上g m a 只描述r 消赞者和生产者，目录服务是一个隐古结构 4 第一章引言 监测服务派生自g m a 。由于g m a 只描述了消费者与生产者，消费者、生产者 的发现和事件信息的发布由o g s a 的其它相关服务3 提供。所以对一个监测服务 只有两类接口需要考虑，一个是客户端消费者接口，一个是客户端，生产者接口。 田1 1 - 2 网格监测体系结构组件，引自“ag 喇m o n i t o n n ga r c h i t e c t u r e ”，g g f 性能工作维 ( g w d - p e r f - 1 6 - 3 1 1 3 ) 的一个g w d - i ( 报告) 文档 客户端艄赞者接口 客户端生产者接口 圈1 1 - 3 监测服务组件图 通过标准化监测服务接口，并使用其它实现w e bs e r v i c e ：的标准，如a x i s 的 服务规范和w s r f 服务规范，就可以构建一个可互操作的o g s a 监测系统。这正 是本文要讨论的重点。 经过对监测系统的深入研究与分析，我们认为个理想的监测系统应当具有 以下特征： 1 应当以统一的方式处理即时数据和历史数据 2 系统可以关联度量发生的时间，度量的对象及度量的信息 3 系统不应当限制被监测节点的数量 4 系统中不应当有单点失效 5 最小化局部网络失效，在网络故障排除后系统能自动恢复 3 从生产者向消费者传递信息是未来o g s a 通知服务的一部分，该服务会提供推拉两种通知模型 訇匐 第一章引言 最后两点实际上与服务的发现机制有关。只有系统中存在多个节点可以进行 服务注册，同时系统中存在这样的节点它们具有动态发现服务的能力，这时 才能避免系统中的单点失效。此时，用户不必向系统中唯一的注册中心查询，而 是可以向系统中任意一个注册中心查询，只要系统中还存在一个注册中心，那么 系统就可以继续为用户提供服务，从而至少部分地解决单点失效的问题。另一方 面，在局部网络故障后，部分服务失效，注册中心不再持有对其的有效引用，用 户再不能查询到与之相关的信息，但在网络故障排除后，注册中心应当能动态发 现这些服务，使之恢复活动状态，继续为用户服务，此即为系统的自动恢复能力。 服务的发现机制超出了本文的讨论范围，对此本文不做讨论。 此外，我们还针对系统中的生产者与消费者提出了一些具体的要求。 第一、生产者要满足以下要求： 1 用户能够通过生产者发布数据。既使该数据的格式是未知的 2 生产者在注册时可以指定数据发布的格式 3 不能发布其类型与虚拟组织中预定义数据类型不符的数据 4 不能发布与其注册数据格式不符的数据 5 提供多种质量的服务 简单地说，生产者，也就是数据的发布者，只能对其发布数据的类型做出限 制只可以发布虚拟组织中预定义类型的数据，比如整数、单精度数、双精度 数、布尔型数据、字符( 串) ，还有大对象二进制块( b l o b ) 等。但是对数据 的发布格式没有限制。数据按照注册服务时注册的数据格式发布；否则无法从发 布的数据中提取有用的数据。同样的理由可以解释虚拟组织要预定义数据类型的 原因需要把数据转换成正确的数据类型。 第二、消费者要满足以下要求： 1 消费者必须能够定位生产者( 发布者) ，能够确定其数据发布的格式 2 消费者可以一次性的获取发布数据 3 生产者发布新数据时，消费者可以获取新数据流 4 回应查询的信息可能广泛分布于网格系统之中，即不能假设存在集中式 数据储存组件 也就是说，消费者能够定位生产者可以获知数据发布服务的地址，即它 的端点引用1 1 4 i ( e p r ，e n d p o i n tr e f e r e n c e ) ，并且能够确定数据发布服务所采用的 数据发布格式，依照数据发布格式解析发布数据。目前流行的做法是用x m l s c h e m a 【”l 来描述数据发布格式，发布的数据是该x m ls c h e m a 的实例文档。这 样一来，消费者必须包含一个内建的x m l 解析引擎，该引擎能验证发布数据的 合法性，并解析发布数据为消费者可以理解的形式。可见，发布数据并不是纯粹 的有用数据，而是有用数据的封装，它包含了大量标记，因此发布数据通常是一 个长文档，消费者应该以流的方式接收数据，当数据发布服务发布新的数据时， 消费者可以获取新的数据流。此外，消费者可以一次性的获取它所需要的数据， 而不必一次只能接收一个数据，即在一个发布文档中封装大量数据，而不必一个 文档只能封装一个数据。另一方面，消费者用于回答客户端查询的信息广泛地分 布在系统之中，它有能力在分布式系统中获取它所需要的信息。 基于以上讨论，本文提出了一个实用的监测系统框架。该框架由数据采集层、 数据发布服务、注册服务、存档服务、代理服务和一个数据可视化组件组成。其 中数据发布服务和数据可视化组件可以对应于g m a 中的生产者与消费者，代理 服务是生产者与消费者的混合体，它一方面从数据发布服务处聚合数据，另一方 6 第一章引言 面向数据可视化组件发布数据。本文讨论的监测系统有很好的扩展性，能够监测 网格系统中各种数据，并对数据存档保存，同时数据可视化组件可以用多种视图 显示系统中的实时数据及历史数据。通过图表可以观察系统的运行状态，及时排 除系统故障，更好地为用户提供高质量的服务。本文研究的内容是c h i n a g r i d 支 撑平台( c h i n a g r i ds u p p o r tp l a t f o r m ，c g s p ) 项目的一部分，以集群c g s p 的计算资源和c g s p 网格系统为监测对象，构建网格监测系统c h i n a g - r i ds u p p e r v i s i o n ( c g s v ) 。 1 2 论文工作 本课题来源于教育部“十五”2 11 工程公共服务体系建设的重大专项中 国教育科研网格c h i n a g r i d 项目。c h i n a g r i d 项目的目标是充分利用中国国家教 育科研网c e r n e t 和各高校的大量计算资源和信息资源，开放相应的软件资源， 将分布在教育科研网上自治、分布、异构的海量资源集成起来，实现c e r n e t 环境下资源的有效共享，提供高质量服务，形成国家科研教学服务的大平台p u j 。 本课题是c h i n a g r i d 支撑平台项目中的一个研究子项目，本课题的目标是针对现 有网格系统缺少实用监测系统，提出一个高效、灵活具有良好可扩展性的框架， 并在此基础上构建c h i n a c n i d 网格系统的监测系统。 本论文的工作主要包括以下几个方面： 1 介绍网格技术的起源、现状及现行规范。详细比较了网格与传统的高性 能计算的异同，通过比较说明现有的分布式技术c o r b a 、d c e 和p 2 p 不是网格。本文还介绍了网格规范的制定组织及所制定的规范。 2 介绍c h i n a g r i d 项目及其支撑项目( c g s p ) 。详细介绍了c g s p 的各个模 块及模块的实现。 3 在g m a 的基础上，提出c g s v 监测体系结构。说明c g s v 的系统目标， 针对用户的需求对g m a 进行补充完善，并说明c o s v 在c g s p 中的两 种具体应用。 4 详细介绍c g s v 的各功能模块及实现。文章给出了c g s v 各模块的设计 与实现，说明了各模块在实现中所采用的技术。 1 3 本文的组织结构 本文的组织结构如下： 第一章为本文的引言，主要介绍了本课题的研究背景、来源和目标，以及本 课题的工作。 第二章为本课题相关的技术，介绍了网格技术、规范及其制定组织。 第三章为本课题背景，介绍c h i n a g r i d 支撑平台。 第四章对监测系统进行了论述，提出了监测系统的功能需求、体系结构和工 作机理，并介绍了监测系统在c g s p 中的具体应用。 第五章详细论述了监测系统的六大模块：数据采集模块、数据发布模块、数 据存档模块、索引服务、代理服务和数据可视化工具。 第六章对论文进行了总结。分析了当前系统实现的特点，指出了系统中的不 足，提出了下一步工作的重点，对未来工作进行了展望。 7 第二章网格及其标准 第二章网格及其标准 本章将对网格系统监测系统相关的技术进行简单介绍，包括网格的起源及与 其它分布式系统的比较、网格标准和标准的制订组织。 2 - l 网格技术 网格计算最近作为一种分布式计算体系结构日益流行。它与其他所有的分布 式计算模型都有所区别：网格计算的本质在于以有效且优化的方式来利用组织中 各种异构松耦合资源，以实现复杂的工作负载管理和信息虚拟化功能。 2 1 。1 网格的起源 人们通过对已有计算资源的重新审视【1 6 l ，得到一个结论：最重要的事情是 更充分地利用已有的计算资源。另外人们要求能够将有限的资源智能地分配给适 当的应用程序。网格计算背后的思想正是解决平衡和重新分配现有资源所要面对 的问题。 在过去几年中，网格处理能力( 网格每秒可以处理的位数) 和微处理器的速 度( 它依赖于每个集成电路中晶体管的数量) 之间出现了一个巨大的差距，如图 2 1 - l 所示。 o234 t 蠕a t a a o 馍岬黜浇潍黜黼 豳2 1 1 摩尔定律与存储发展、光纤发展的比较 正如图2 1 1 中所显示的，网络处理能力现在每9 个月就会翻一倍，而在历 史上这种增长曾经一度非常缓慢。摩尔定律指出每个集成电路中晶体管中的数量 每1 8 个月就会翻一倍。这样就出现了一个问题。与网络能力的发展相比，处理 器的发展速度( 摩尔定律) 要慢很多。如果您接受这样一个前提：关键的网络技 术现在正以比微处理器发展速度更快的速度发展，为了利用网络的优点，我们需 9 鼍鬟薯警謦嚣蠢磊譬鋈t-叠甘艮 第二章网格及其标准 要另外一种更有效利用微处理器的方法。这个新观点改变了历史上网络与处理器 成本之间的平衡。类似的讨论同样适用于存储设备。网格计算就是解决这种差距 的手段，它通过将分布式资源绑定在一起构成一个单一的虚拟计算机从而改变资 源之间的平衡。 网格计算将会把许多计算机联合到一起【1 7 1 。几乎所有机构都存在大量的闲 置计算资源，广泛分布在各个地方。大型主机有4 0 的时间处于闲置状态，u n i x 服务器只有少于1 0 的时间在真正“执行”任务，几乎所有的p c 每天有9 5 的 时间什么都不做。想象一下，如果一家航空公司9 5 的飞机在地面上，一家汽车 制造商4 0 的组装工厂被闲置，或者一家连锁旅店9 5 的房间是空置的，那该 是多么糟糕的情况。 网格计算所解决的一个最重要问题是提高对现有资源的利用率。人们对计算 能力进行了非常大的投资，但是大部分站点在9 0 的时间里面都是空闲的。网格 计算可以帮助业务连接到那些没有充分使用的机器上，利用它们的计算能力，将 其作为一个大型计算机进行管理。 与i n t e m e t 类似。学术机构在开发构成网格计算基础的第一代技术和架构时， 也走在了最的面。很多机构，例如g l o b u sa l l i a n c e 、e - s c i e n c eg r i d 核心程序和 c h i n ag r i d ，都是第一批开始孵化并培育网格解决方案使其不断成熟并适用于商 业解决方案的地方。网格诞生于那些非常需要进行协作的研究和学术社区。研究 中非常重要的一个部分是分发知识的能力共享大量信息和帮助创建这些数 据的计算资源的效率越高，可以实现的协作的质量就越好，协作级别也越广泛。 2 1 2 网格的界定 由于网格本身是一项新兴的技术，而它又涉及到大量技术的革新管理，所以 目前的研究者们很难达成一个共识，给出一个公认的网格定义。正因如此，无论 是在学术界，还是在工业界，研究者们在热衷于网格研究的同时给出了多如牛毛、 不计其数的描述性定义，使得网格这个概念成为当今科学中最模糊的概念，我们 无法采用哪一种作为网格的最终定义，原因在于网格本身正在发展，其最终形式 还不为人们所知晓。人们都只是朝着理想的方向在探索。因此，在我们无法正面 给出网格定义，明确指出什么是网格的时候，我们有必要把已有的技术与网格进 行对比，以便界定什么不是网格。 2 。1 2 1高性能计算不是网格 以集群为代表的传统高性能计算嗍不是网格计算。集群等高性能计算实际 是仍然是本地的计算模型，而不是网格代表的分布式计算模型。 2 1 2 1 1高性能计算 术语高性能计算( h i g hp e r f o r m a n c ec o m p u t i g ，h p c ) 指通常使用很多处理器 ( 作为单个机器的一部分) 或者某一集群组织中的几台计算机( 作为单个计算资 源) 的计算系统和环境。有许多类型的h p c 系统，其范围从标准计算机的大型 集群，到高度专用的硬件。 l o 第二二章网格及其标准 大多数基于集群的h p c 系统使用高性能网络互连，比如使用i n f i n i b a n d 或 m y r i n e t 的网络互连。基本的网络拓扑和组织可以使用一个简单的总线拓扑，在 性能很高的环境中，网状网络系统在主机之间提供较短的通信距离，所以可改善 总体网络性能和传输速率，如图2 1 2 和图2 1 - 3 。 尽管网络拓扑、硬件在h p c 系统中很重要，然而是操作系统和应用软件提 供的核心功能使得系统如此有效。h p c 系统使用的是专门的操作系统，这些操 作系统被设计为看起来像是单个计算资源。正如您从图2 1 2 和图2 1 - 3 中可以 看到的，其中有一个控制节点，该节点形成了h p c 系统和客户机之间的接1 2 1 。 该控制节点还管理着计算节点的工作分配。 囝2 1 - 2h p c 总线弼络拓 卜 固2 1 3h p c 网状网络拓扑 对于典型h p c 环境中的任务执行，有两种模型：单指令，多数据( s i m d ) 和多 指令，多数据舳) 。s i m d 在跨多个处理器的同时执行相同的计算指令和操作， 但对应不同的数据范围，它允许系统同时使用许多变量计算相同的表达式。 m i m d 允许h p c 系统在同一时间使用不同的变量执行不同的计算，使整个系统 第二章网格及其标准 看起来并不只是一个没有任何特点的计算资源，可以同时执行许多计算。 不管使用s i m d 还是m i m d ，典型h p c 的基本原理仍然是相同的：整个h p c 单元的操作和行为像是单个计算资源，它将实际请求的负载分配到各个节点。 h p c 解决方案也是专用的单元，被专门设计和部署为能够充当( 并且只充当) 大型计算资源。 2 1 2 i 2网格计算 网格计算对于高性能计算而言是相对较新的新增内容，它有自己的历史，并 在不同的环境中有它自己的应用。网格计算系统的关键元素是网格中的各个节 点，它们不是专用组件。在网格中，各种系统常常基于通用机器或操作系统，而 不是基于大多数并行计算解决方案中使用的严格受控制的环境。位于这种通用环 境顶部的是应用软件，它们支持网格功能。 网格可能由一系列同样的专用硬件、多种具有相同基础架构的机器或者由多 个平台和环境组成的完全异构的环境组成。专用计算资源在网格中并不是必需 的。许多网格是通过重用现有基础设施组件产生新的统一计算资源来创建的。 不需要任何特别的要求就可以扩展网格，使得进一步使用节点变得比在典型 h p c 环境中还要轻松。有了h p c 解决方案，就可以设计和部署基于固定节点数 的系统。扩展该结构需要小心规划。而扩展网格则不用考虑那么多，节点数会根 据您的需要或根据可用资源动态地增加和减少 1 2 图2 1 - 4 网格网络结构 圜 洲o i； 一。一 i：“ 一 。一一。一 第二章网格及其标准 尽管有了拓扑和硬件，网格就能以图2 1 - 2 和图2 1 3 中所示结构的相同结 构为基础来构建，但使用标准网络连接组件支持网格也是有可能的。甚至可以交 叉常规网络边界，在w a n 或互联网上合并计算资源，如图2 1 - 4 所示。 2 1 2 1 3 高性能计算与网格计算的会合 h p c 和网格环境之阋存在一些类似之处，在许多方西，这二者都出现了一 些会合和分歧，不同的团体利用了这两个系统的各自优点。许多网格环境已从 h p c 解决方案的扩展中产生，基于h p c 环境中的工作，网格中使用的许多技术 得到了优化。 一些显而易见的类似之处是工作被分配到更小的单元和组件中的方式，以及 各个工作节点之间的工作分配方式。在h p c 环境中，这种工作分配通常受到严 格控制，并且是根据可用资源进行的。网格使用了一种更灵活的模型，该模型允 许将工作分配给大小不标准的单元，因此可以在截然不同的网格节点之间分配工 作。 尽管工作的分配方式上存在不同，但分配的基本原贝目仍然是相同的：先确定 工作及其分配方式，然后相应地创建工作单元。例如，如果遇到计算问题，可以 通过创建不同的参数集，再利用这些将应用于每个节点的集合中的变量来分配工 作。 珏，c 系统中使用的消息传递结构和系统也适用于网格系统。但许多h p c 消 息传递库使用共享内存结构来支持节点之间的工作单元分配。在网格中，共享的 内存环境是不存在的。此外，工作是利用标准网络连接( 通常使用t c p i p ) 上 发送的不同消息来分配的。系统的核心没有什么不同：我们将交换包含工作参数 的消息。只是交换信息的物理方法是不同的。 2 1 2 2c o r b a 不是网格 对于所有的分布式计算环境来说，c o r b a 1 9 】与网格计算表面的相似性可能 比其他技术都要多。这是由于开放网格服务架构( o g s a ) 中网格计算和w e b 服务之间的策略关系所决定的。它们都是基于面向服务架构( s o a z o ) 这个概 念。c o r b a 是很多关键任务的应用程序的骨干，从1 9 9 1 年创建以来不断发展 成熟。在很多方面，c o r b a 都是今天w 曲( 网格) 服务的先驱。它提供了一个 重要的基础，就像是几年之后j a v ar e m o t em e t h o di n v o c a t i o n ( 蹦i 阱j ) 的地位 一样，r m i 是j a v a 的远程通信基础，是j 2 e e 的核心技术之一。 c o r b a 与网格计算之间的主要区别是c o r b a 假定是面向对象的( 毕竟， 这是名字中的一部分) ，但是网格计算没有采用这种假定，网格计算是面向服务 的( s o a ) 。在c o r b a 中。每个实体都是一个对象，可以支持诸如继承和多态 之类的机制。在o g s a 中，存在一些与对象非常类似的概念，但是这并没有假 定架构中有面向对象的实现。架构是面向消息的，面向对象是一个实现概念。然 而，在w s r f l 2 2 ( w e bs e r v i c e sr e s o u r c ef r a m e w o r k ) 中使用形式定义语言( 例 如w s d l | 2 3 1 ，w e bs e r v i c e sd e f m i t i o nl a n g u a g e ) ，这意味着接口和交互操作都与 c o r b a 中的定义一样，同时可以采用面向对象的设计实现它们共享一个主 要的软件工程优点：接口与实现分离。 第二章网格及其标准 另外一点区别是网格计算( o g s a ) 是在w e b 服务的基础上进行构建的。 c o r b a 与w e b 服务进行了集成，并与w e b 服务进行交互操作。c o r b a 的一个 问题是它假设了太多的“端点”，这通常是参与c 0 r b a 环境的所有机器( 客户 机和服务器) 。供应商的c o r b a 实现中也存在交互操作的问题，c o r b a 节点 之间在i m e r n e t 上如何操作的问题，以及端点如何命名的问题。这意味着所有的 机器都必须遵守特定的规则和特定的方法，只有这样c o r b a 才能正常工作( 所 有这些都假设采用与i d l t 2 4 】、i o r 和i i o p 类似的协议) 。在构建高可用、紧耦合、 预编译的系统时，这是一种比较合适的方法。 然而，在c o r b a 执行作业的方式和i n t e m e t 方法之间缺少协作能力。c o r b a 的确为w e b 服务标准的创建提供了灵感人们非常喜欢c o r b a 基础设旋所 提供的功能，并开始建立诸如x m l 、w s d l 、s o a p 【2 5 l 之类的标准。他们通过在 开放的m t e m e t 基础上构建w 曲服务对c o r b a 的交互操作能力和灵活性问题进 行了改进，这种方法在服务请求者和服务之间采用的是松耦合和延后绑定技术。 为了实现这种改进，o g s a 增加了一种“软状态”方法来进行容错。这些正是它 们的设计目标。 w 曲服务架构是一个面向服务的架构，c o r b a 也是。不过c o r b a 的目标 不同它被设计用来构建相当封闭的集成系统。 2 1 2 3 d o e 不是网格 顾名思义，分布式计算环境( d c e t 2 6 j ) 与其说是一个架构，还不如说是一 个环境，二者之间有一个重要的区别。d c e 可以定义为一个设计用来促进分布 式计算的紧密集成的技术集：网格计算( o g s a 的规范) 不仅仅是一个设计用来 封装分布式计算众多复杂机制的架构。 正如在对c o r b a 的介绍中看到的一样，在d c e 中我们也可以看到紧耦合 与松耦合方法之间的区别。d c e 技术包括安全性技术( d c ea c l 或a c c e s s c o n t r o ll i s t s ) 、对象和组件技术( d c e 分布式对象) 、文件系统( d f s 或d i s t r i b u t e d f i l es y s t e m ) 以及一个目录定义( d c e 注册项) 实际上，o g s a 可以在很多 d c e 技术基础上工作。 例如，网格安全协议可以采用g s i ( g r i ds e c u r i t yi n f f 鹊t r u c t u r e ) 规范，也可 以采用适当的w e b 服务规范，来与d c e a c l 进行交互。很多网格应用程序都利 用底层的d f s ( 或其前辈a f s ，a n d r e w f i l es y s t e m ) 。核心网格注册服务可以利 用d c e 注册项。 尽管这些技术大部分都被认为是服务，但是d c e 与其说是一个面向服务的 架构，还不如一组技术的集合。它对于s o a 环境中构建应用程序的支持是有限 的，因为d c e 主要是通过采用一些块来构建分布式应用程序，但是并不需要去 构建分布式的面向服务的应用程序。 网格计算与d c e 之间另外一点重要的区别也与c o r b a 有关：o g s a 网格 计算定义了以下3 类服务： 网格核心服务 网格数据服务 网格程序执行服务 c o r b a 、d c e 和j a v ar m i 并不会特别关注数据( d f s 之外的数据) 或程 序执行服务，因为这些技术都是远程过程调用( r p c ) 系统所必需的。r p c 是一 1 4 第二章网格及其标准 种协议，应用程序可以使用这种协议向网络中另外一台机器上的一个程序请求提 供服务，而无需理解网络的详细信息。这是一个同步操作，需要请求程序一直挂 起等待远程过程返回结果，除非您使用了共享相同地址空间的轻量级进程 ( 1 i g h t w e i g h tp r o c e s s c ) 。在网格核心服务( 以及w s r f ) 中定义和实现的很多服 务都与d c e 和c o r b a 中的基本服务类似，但是数据和程序执行服务是网格计 算所特有的。 2 1 2 4p 2 p 不是网格 诸如l 澎a a 【2 7 l 由于一些版权问题，它总是以大字标题的形式出现一 之类的应用程序是最近吸引人们注意点对点( p 2 p 2 s 1 ) 计算的主要原因。不过这 种技术本身展示了一些有趣的分布式特性，如果在网格环境中使用这些特性，很 多都会非常有用。 首先，p 2 p 系统的特点是缺少集中管理端点；这使它非常适合于提供匿名服 务，或者提供一些反跟踪保护机制。另一方面，网格环境通常都有某种形式的集 中管理和安全性( 例如，资源管理和工作负载调度) 。 p 2 p 环境中这种没有集中点的特性引发了两个重要结果： p 2 p 系统的可扩展性通常都比网格计算系统好。由于p 2 p 系统中不存在 集中管理节点，加入系统的结点不必进行注册，所以即使我们要在响应 能力的控制和分布性之间达成某种平衡时，网格计算系统也天生不如 p 2 p 系统的可扩展性好。 p 2 p 系统容忍单点失效的能力通常比网格计算系统更好。由于网格系统 中天然包含了集中的管理结点，其职责比单纯的服务结点更为集中，所 以尽管网格比紧耦合的分布式系统的弹性更好，但是网格不可避免地要 包含一些可能成为单点故障的关键元素。 这意味着构建网格计算系统的关键是在分散与管理能力之间达成某种平衡 这可不是件简单的事情。 另外，网格计算的一个重要特性是资源的动态性；在p 2 p 系统中，资源的 动态性天生就比网格计算系统更好，资源出现和消失的变化比网格中更快。对