（计算机应用技术专业论文）校园计算网格分布式中间件的研究与实现.pdf

摘要 校园计算网格分布式中间件的研究与实现 作者简介：彭晓川，男，19 7 5 年9 月出生，2 0 0 5 年9 月师从于成都理工大 学罗省贤教授，于2 0 0 8 年7 月获硕士学位。 摘要 随着网格技术的发展，以整合计算资源为目标的计算网格在国内外迅速发 展。本文以建设成都理工大学校园计算网格为目标，结合现有技术和成都理工 大学校园计算网格u c g r i d2 o 的技术框架，提出了基于分布式中间件的校园 计算网格框架，制定了计算网格分布式中间件协议，研究和开发了校园计算网 格分布式中间件c g d m ( c o m p u t i n gg r i dd i s t r i b u t em i d d l e w a r e ) ，并且在校园计 算网格分布式中间件上开发了跨越多个异构资源网格的成都理工大学校园计算 网格应用平台。 本文的重点研究对象是校园计算网格分布式中间件，中间件以成都理工大 学校园计算网格u c g r i d2 0 中间件为核心，实现了计算网格中间件的分布式 特性和统一门户接口。在c g d m 的设计过程中，首先研究提出了以计算网格分 布式中间件为核心的计算网格框架体系，然后根据目标需求提出了计算网格分 布式中间件协议和统一门户接口规范，实现了计算网格分布式中间件通信组件 和计算网格统一门户接口。通信组件由消息预处理器、对象封装器、协议处理 引擎和消息封装器组成。消息预处理器实现对协议消息的分析；对象封装器根 据消息与处理器的分析结果按计算网格中间件对象池规范封装、管理对象；协 议处理引擎按计算网格中间件插件规范实现，负责处理协议请求业务逻辑；消 息封装器负责将计算网格对象映射为协议参数对象。在通信组件的实现中充分 利用了j a 、，a 反射机制，实现了动态解析协议处理对象的内部结构，使协议通 信组件的消息处理具有较高的灵活性和延展性。计算网格门户统一接口按计算 网格业务逻辑单元封装为业务逻辑组件，并按统一接口标准封装，既能为上层 提供跨平台、跨编程语言。的统一接口，又能为上层重组、开发新的业务逻辑， 实现服务聚合和其它应用程序的整合，为计算网格应用提供快速二次开发接口。 关键词：计算网格，计算网格分布式中间件，计算网格分布式中间件协议， 统一网格门户，g t 成都理f ：大学硕十学位论文 t h er e s e a r c ha n di m p l e m e n t a t i o no ft h ec o m p u t i n gg r i d d i s t r i b u t em i d d l e w a r e i n t r o d u c t i o no ft h ea u t h o r ：p e n gx i a o c h u a n ，m a l e ，w a sb o r ni ns e p t e m b e r ，19 7 5 ， w h o s et u t o rw a sp r o f e s s o rl u os h e n x i a n h eg r a d u a t e df r o mc h e n g d uu n i v e r s i t y o ft e c h n o l o g yi nc o m p u t e ra p p l i c a t i o na n dt e c h n o l o g ym a j o ra n dw a sg r a n t e dt h e m a s t e rd e g r e ei nj u n e ，2 0 0 8 a b s t r a c t a c c o m p a n y i n gd e v e l o p m e n to fg r i dc o m p u t i n gt e c h n 0 1 0 9 y ，t h ec o m p u t i n gg i r d i sr a p i d l yd e v e l o p i n gi nd o m e s t i ca n df o r e i g n t h i sp a p e rt a k e sb u i l d i n gc h e n g d u u n i v e r s i t yo ft e c h n o l o g y ( c d u t ) u n i v e r s i t yc o m p u t i n gg r i d ( u c g r i d ) a sag o a l ， c o m b i n i n gn e wt e c h n 0 1 0 9 yw i t ht h ef r a m e w o r ko fu c g r i d2 o ，d e s i g n an e w c o m p u t i n gg r i df r a m e w o r kb a s e do nt h ec o m p u t i n gg r i d d i s t r i b u t em i d d l e w a r e ， f b r m u l a t i o no fc o m p u t i n gg r i dd i s t r i b u t em i d d l e w a r ep r o t o c o l ， d e v e l o p t h e c o m p u t i n gg r i d d i s t r i b u t e d m i d d l e w a r e f i n a l l yr e a l i z e d t h ec d u tu c g r i d a p p l i c a t i o np l a t f b r mb a s e do nt h ec o m p u t i n gg r i dd i s t r i b u t e dm i d d l e w a r e i nt h i s p a p e r ， t h ek e yr e s e a r c ho b je c ti st h ec o m p u t i n gg r i dd i s t r i b u t e d m i d d l e w a r e ( c g d m ) t h ec g d m t a k e su c g r i d2 0 sm i d d l e w a r ea sc o r e ，r e a l i z e t h ed i s t r j b u t i o nf e a t u r eo ft h ec o m p u t i n gg r i dm i d d l e w a r ea n du n if o r mi n t e r f a c eo f g r i dp o r t a l i nt h ed e v e l o p i n go fc o m p u t i n gg r i dd i s t r i b u t e dm i d d l e w a r e ，a s6 r s t ， d e s i g nt h ef r a m e w o r ko fc o m p u t i n gg r i d b a s e do nt h ec g d m ，t h e nd e s i g n c o m p u t i n gg r i d d i s t r i b u t e dm i d d l e w a r ep r o t o c o la n dt h es t a n d a r do fu n i f b r m i n t e r f a c eo fg r i dp o r t a l f i n a l l y ，r e a l i z et h ec o m p u t i n gg r i dd i s t r i b u t em i d d l e w a r e c o m m u n i c a t i o nc o m p o n e n ta n du n i f o r mi n t e r f a c eo fc g d m t h ec o m m u n i c a t i o n c o m p o n e n th a s f o u rm o d u i e s ： t h e m e s s a g ep r e - p r o c e s sm o d u l e ， t h e o b j e c t e n c a p s u l a t i o nm o d u l e ， t h e p r o t o c o lp r o c e s se n g i n e m o d u l ea n dt h em e s s a g e e n c a p s u l a t i o nm o d u l e 。 t h em e s s a g ep r e p r o c e s sm o d u l ea n a l y z e st h ep r o t o c o l m e s s a g e ；t h eo b j e c te n c a p s u l a t i o nm o d u l ee n c a p s u l a t e st h eo p e r a t i o nd a t a i n t o o b j e c t t h ep r o t o c 0 1p r o c e s se n g i n em o d u l eh a n d l e sb u s i n e s sl o g i c ；t h em e s s a g e e n c a p s u l a t i o nt r a n s f o r m st h ec o m p u t i n gg r i do b j e c tt op r o t o c o lm e s s a g eo b j e c t k e y w o r d s ：c o m p u t i n gg r i d ，c o m p u t i n gg r i dd i s t r i b u t em i d d l e w a r e ， c o m p u t i n gg r i dd i s t r i b u t em i d d l e w a r ep r o t o c o l ，u n i f yg r i dp o r t a l ，g t 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研 究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得盛都堡王太堂 或其他教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡 献均已在论文中作了明确的说明并表示谢意。 剃姗虢酬 拗罗年石月j 日 学位论文版权使用授权书 本学位论文作者完全了解盛壑理工态堂有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权盛都理王太堂可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：勃眈l 学位论文作者导师签名： 了省赁 洲石年f月j 同 第l 章前言 第1 章前言 网格计算是伴随着互联网技术而迅速发展起来的，专门针对复杂科学计算 的新型计算模式。这种计算模式是利用互联网把分散在不同地理位置的计算机 组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就是一个“节 点”，而整个计算网格是由成千上万个“节点”组成的“一张网格”，所以这种计算 方式叫网格计算。这样组织起来的“虚拟的超级计算机”有两个优势：数据处 理能力超强；能充分利用计算机的闲置处理能力。简单地讲，网格是把整个 网络整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、信 息资源、知识资源和专家资源的全面共享。 1 1 选题依据 在网格计算中，首先需要发现网格里所有可用资源，如哪些计算机可供访 问、还空置多少处理能力、数据库里可供使用的数据是什么、共享的应用程序 是否己准备好、共享主机采用何种文件系统等。用户提交的任务要由系统来分 配资源并控制其运行，包括要将其分配到哪些主机上运行、调用哪些数据、启 动何种应用程序、何时开始运行等。因此，网格计算至少需要具备三种基本功 能：任务管理、任务调度和资源管理。 校园计算网格以g t 4 作为网格基础平台，通过g t 4 和集群管理软件将分散 的计算资源连接起来构成逻辑上的网格。校园计算网格分和式中间件以g t 4 作 为网格基础设施层，实现资源管理、网格用户管理、作业管理等功能。 我校的“分布式网络异构机群并行计算四川省重点实验室( 筹建) ”( 简称 d n c p c 实验室) 提出并建设了成都理工大学校园计算网格( u c g r i d ：u n i v e r s i t v c o m p u t eg r i d ) 的解决方案，以便为科研和教学提供充分的资源共享和高性能 计算服务。经过几年的努力，校园计算网格模型及解决方案已经得到了初步的 验证，并在应用g l o b u st o o l k i t2 ( 简称g t 2 ) 到g l o b u st o o l k i t4 ( 简称g t 4 ) 的研究过程中不断完善这一方案，具有了计算网格的基本功能，达到了整合计 算资源的基本目的。 以g t 4 搭建的网格是集中式的拓扑结构，必需有一台服务器作为网格的中 心节点，管理网格的安全证书和资源。校园计算网格中间件必需部署在这台中 心服务器上。集中式的拓扑结构限制了网格的规模，中心服务器也成为了网格 的性能瓶颈，因此提出了校园计算网格分布式中间件，实现校园计算网格中间 成都理i ：人学硕十学位论文 件的分布式部署，使计算网格具有良好的扩充性和稳定性；通过计算网格分布 式中间件还可以实现网格间资源的共享和协作，将异构的独立网格( 如3 2 位平 台的网格和6 4 位平台的网格) 整合为一张逻辑上的巨大网格，并实现计算网格 统一门户，为用户提供各种网格资源服务。 校园计算网格分布式中间件是整个校园计算网格建设中的关键技术，经过 _ 系列的技术分析、研究和验证并在前期的研究和经验积累的基础上，抽象出 校园计算网格分布式中间件协议并实现校园计算网格分布式中f 白j 件，在中间件 基础上对校园计算网格应提供的服务并做出相应的实现，形成以校园计算网格 分布式中间件为校园计算网格的基础设施的校园计算网格，形成校园计算网格 的后续开发平台。 1 2 论文研究内容及创新点 计算网格分布式中间件对计算资源的共享、提高计算资源的利用率，提供 统一访问接口、服务聚合、工作流支持、个性化服务、灵活可扩展体系结构的 网格有重要的意义，研究与实现计算网格分布式中间件，搭建跨异构资源的计 算网格是本文研究的重点和突破点。 1 2 1 论文研究内容 本文研究的主要内容是建立符合标准规范、具有统一访问接口、灵活可扩 展体系结构、可跨越异构资源网格的网格中间件。具体研究内容如下： ( 1 ) 研究计算网格分布式中间件框架体系结构。以u c g r i d2 0 的中间件为 基础，设计和开发计算网格分布式中间件，实现计算网格中问件的分布 式特性，满足整合基于g t 4 的网格资源和应用需求，实现网格间资源 共享；研究计算网格分布式中间件开放性框架体系结构和标准，以满足 快速二次开发的需求，以及使中间件具备快速接入新网格设备和提供网 格新服务的能力； ( 2 ) 计算网格分布式中i 自j 件协议。研究制定计算网格分布式中间件协议，并 基于协议实现计算网格分布式中间件； ( 3 ) 计算网格分布式中间件管理。以计算网格分布式中间件协议为基础，研 究实现对计算网格分布式中间件的统一监控、自动配置和管理； ( 4 ) 计算网格统一门户。研究实现计算网格分布式中间件的w e bs e r v i c e 接 口，并基于该接口整合f l e x 和j 2 e e ，实现计算网格统一门户。 1 2 2 论文创新点 校园计算网格分布式中间件支持快速地进行各种基于g t 4 的计算网格应 第1 章前言 用的二次丌发，同时还使得整个网格平台的结构更加清晰，各个层次结构之间 的耦合度更小，提高校园计算网格的可扩展性、可维护性和部署的灵活性。 本文对计算网格分布式中间件、计算网格统一门户进行了深入的研究。具 体技术如下： ( 1 ) 设计并实现了计算网格分布式中i 白j 件协议。此协议实现了多个独立网格 资源的整合，完成网格间资源的共享和协作。 ( 2 ) 设计了计算网格分布式中间件w e bs e r v i c e 标准接口，基于该接口实现 了计算网格统一门户。该接口不仅支持个性化网格门户开发，而且也给 第三方整合计算网格提供了二次开发接口。 ( 3 ) 在计算网格统一门户丌发中整合了f l e x 和j 2 e e ，将r i a 应用于网格计 算门户。 成都理一i ：人学硕士学位论文 第2 章计算网格技术 2 1 计算网格 网络是把地理上分散的计算机系统通过网络设备连接在一起，相互独立的 计算机系统之间在遵循一定的通信协议的基础上实现资源共享。现代网络大致 经历了三次发展过程，从基于简单设备的相连，到基于w e b 的资源共享，再 到更大范围内实现资源的共享( 即网格技术) 。通过网格这种基础设施，用户不 需要了解网格环境的具体资源细节，就可以在网格环境中使用各种资源提供的 计算能力，完成相关的计算任务。 网格的目标是资源的共享与协作，要让加入到网格中的用户能够容易地访 问网格资源。在这种网格平台上，用户不需要使用远程登录( t e l n e t ) 、文件传 输协议( f t p ) 等工具就可以使用远程节点计算资源。现在这些计算资源主要 是指一些p c 的资源节点、计算机集群环境、高性能计算机节点和各种高性能 的服务器。 用户在向网格提交作业或请求的时候，由网格来分配资源并控制其作业运 行和资源使用，包括把这些作业分配到哪些计算机上运行，作业提交之后，状 态如何收集，结果返回到哪台计算机，用户如何获得返回结果等等。这些工作 对用户来说是透明的，用户使用网格中的各种资源时，不需要关心是分布在哪 个地域的哪台计算机为自己提供了服务。总之，网格的目的就是不分地理位置 的远近、不管用户提交作业的类型和复杂程度，为用户提供一个统一且简单的 共享网格资源的接口。随着网格技术和w e b 服务的结合，网格技术具有以下的 特点： ( 1 ) 以成熟的网络技术、计算机技术、通信技术、电器技术为基础； ( 2 ) 资源接入简单，不管是超级计算机、集群系统还是单个的p c 计算池都 可以很容易地被接入到网格中，使得网格的扩展性很强； ( 3 ) 网格为用户提供一个比它现有资源更强的计算力，但资源层的细节对用 户透明； ( 4 ) 结合了最新的w e bs e r v i c e 技术，提出并实现w s r f 体系结构。 根据网格客体对象的不同，可以把网格分为数据网格、计算网格和服务网 格。数据网格中共享的基本单位是数据，主要解决数据的共享问题；计算网格 中共享的基本单位是计算资源，计算网格为用户提供共享资源的良好接口和机 制；服务网格中共享的对象是服务，以服务的形式提供共享的手段。校园计算 4 第2 章计算网格技术 网格以给用户提供计算资源的计算力为目的，网格用户可利用这些计算资源为 自己解决大型计算任务问题。 2 2 网格技术发展 网格的发展大致可以划分为三个阶段： ( 1 ) 第一代系统，即我们今天认为的网格计算先驱。第一代网格系统只要是 共享高性能计算资源。早期的网格是从连接超级计算点的项目开始的， 当时这种方式被成为元计算。2 0 世纪9 0 年代早期到中期，出现了早期 的元计算或者网格环境。 ( 2 ) 第二代系统，是指重点在于支持大规模数据与计算的中问件，并引入了 中间件来解决规模和异构性的问题。比较成功的项目有i w a y ，还包括 一些学术性的软件项目，如g l o b u s ，l e g i o n 等。 ( 3 ) 第三代系统，重点转移到了分布式全球协作，即面向服务的方法和信息 层的问题。2 0 0 2 年以后，工业界( 如i b m ，s u n 等) 对网格计算的兴趣日 益增长，出现了大量的网格开发社团和网格项目，主要基础设施得到开 发和使用，形成了具有相当规模和世界影响的g g f 组织。 2 2 1 国外研究现状 网格项目起源于国外，目前国外已有很多较为成熟的网格项目。 2 0 0 1 年8 月，美国n s f 宣布了2 0 0 3 年将建成基于g r i d 技术的“分布式万 亿级设施”( d i s t r i b u t e dt e r a s c a l ef a c i l i t y ，简称d t f ，又称t e r a g r i d ) 重大科研 项目。 欧洲国家在2 0 0 1 年正式启动了网格研究的一系列项目。其中英国的 e s c i e n c e 计划较为著名。投资2 亿英镑左右支持网格研究项目，并确定了用网 格计算技术构建e s c i e n c e ，为大规模科学研究提供基于i n t e r n e t 的分布式全球 合作计算环境，其应用领域包括粒子物理、生物信息学、气候环境变化、工程 系统设计等多学科领域。欧洲数据网格e u r o p e a nd a t a g r i d ( e d g ) 是一个国 际性大型研究和技术发展项目，于2 0 0 0 年1 2 月由欧盟提供一千万欧元资金启 动，项目完成期限为3 年。d a t a g r i d 主要针对c e r n 的高能物理应用，解决海 量数据的分解存贮和处理问题，提供一种突破地理局限，允许分布在世界各地 的工作者交互、共享数据和设备，共同开展科学研究的合作环境。 日本的d a t af a r m 网格项目，主要用于p e t a b y t e 数据量的高能物理实验数 据的分析和处理，与欧洲数据网格相连。 韩国的网格计划之一是n 木g r i d ，2 0 0 2 2 0 0 6 的五年计划投资3 5 0 0 万美元， 但不包括网络和高性能计算机的投入，后者每年投入为15 0 0 万美元。 s 成都理j ：人学硕十学位论文 中国台湾也启动了“知识创新网格”的三年科研计划( 2 0 0 3 2 0 0 5 ) ，总投资 为3 0 0 0 万美元。 i b m 、微软、s u n 、h p 都推出了自己的网格产品。 2 2 2 国内研究现状 在国内，网格计算发展迅速。中国科学院计算技术研究所在2 0 0 0 年建立 了“国家高性能计算环境”( n h p c e ) ，通过c a s n e t 将分别位于北京、上海、西 安、长沙、成都、合肥六个计算结点连接到一起，使得用户能够方便地使用这 几个计算结点的计算能力，可以被视为一个初步的网格系统。 清华大学计算机系承担建设的先进计算基础设施将位于北京清华大学的机 群系统t h n p s c 2 和位于上海大学的超级计算机自强2 0 0 0 作为服务结点，建 立了包括资源管理、用户管理、任务管理、数据库访问接口等部分的a c i 管理 系统，实现了网格计算环境。 “空间信息网格( s i g ) 框架体系和关键支撑技术”是国家“8 6 3 ”计划信息技 术领域支持的网格技术研究项目，其目标是“研究s i g 的体系结构及其应用环 境基础框架，研究s i g 关键技术，整合海量分布的空间数据资源、远程的计算 资源、宽带广域网络等各种资源，建立协同的空问信息应用环境基础框架，实 现海量空间信息在线分析处理和服务。”“高性能计算机及其核心软件”是研究 网格技术的一个专项项目，在建立大型计算环境的基础上，重点研究网格计算 的相关技术问题，开发基础网格软件，实现多个大型超级计算机中心的计算资 源共享，基于g l o b u s 丌发了织女星网格( v e g ag o s4 0 ) 平台。该项目同时 配套了1 1 个应用网格研究项目，其应用内容涉及到资源环境、气象、航空、基 因、药物、林业、地震、石油等方面，旨在从应用的角度推动网格技术的基础 研究。该项目已于2 0 0 6 年年初通过验收，达到了预期目标。 2 0 0 2 年12 月，上海信息网格f 式立项，目的是研究符合国际标准的信息 网格体系结构和关键技术，开发具有自主知识产权和推广价值的信息网格系统 软件、应用开发环境和虚拟研究平台，通过对虚拟组织中的计算、数据、软件 等各种信息的共享和协同，建立具有上海特色的信息网格，并初步实现交通信 息网格典型应用。 2 0 0 3 年10 月，教育部与i b m 合作的中国教育科研网格项目正式启动，该 项目计划通过教育科研网，将全国10 0 所2 1 l 建设重点大学联网，实现资源的 广泛共享。 在校园计算网格方面，华南理工大学建立了高性能网格计算平台 s c u t g r i d ，集成了6 4 位s m p 计算平台和多个3 2 6 4 位l i n u x 集群计算平台， 聚合计算能力接近】万亿次，存储能力达到2 0 t b 。 6 第2 章计算网格技术 2 3g i o b u st o o i k t 简介 g l o b u st o o k i t 工具包来源于g l o b u s 项目，g l o b u s 项目是国际上最有影响力 的与网格计算相关的项目之一，是由来自世界各地关注网格技术的研究人员和 丌发人员共同努力的成果。g l o b u st o o k i t 是一个丌放源码的网格的基础平台， 基于丌放结构、开放服务资源和软件库，并支持网格和网格应用，目的是为构 建网格应用提供中间件服务和程序库。 g 1 0 b u s 的网格计算协议建立在互联网协议之上，g l o b u s 的协议分为五层： 构造层、连接层、资源层、汇集层和应用层。每层都有白已的服务、a p i 和s d k ， 上层协议调用下层协议的服务。网格内的全局应用都通过协议提供的服务调用 操作系统。 构造层( f a b r i c ) 的功能是向上提供网格中可供共享的资源，它们是物理 或逻辑实体。常用的资源包括处理能力、存储系统、目录、分布式文件系统、 分御式计算机池、计算机集群等。t o o l k i t 中相应组件负责侦测可用的软硬件资 源的特性、当前负荷、状态等信息，并将其打包供上层协议调用。 连接层( c o n n e c t i v i t y ) 是网格中网络事务处理通信与授权控制的核心协议。 构造层提交的各种资源间的数据交换都在这一层的控制下实现。各资源问的授 权验证、安全控制也在这里实现。在t o o l k i t 中，相应组件采用基于公钥的网格 安全基础协议( g s i ) 。在此协议中提供一次登录、委托授权、局域安全方案整 合、基于用户的信任关系等功能。资源间的数据交换通过传输、路由及名字解 析实现。 资源层( r e s o u r c e ) 的作用是对单个资源实施控制，与可用资源进行安全握 手、对资源做初始化、监测资源运行状况、统计与付费有关的资源使用数据。 在t o o l k i t 中有一系列组件用来实现资源注册、资源分配和资源监视。t 0 0 1 k i t 还在这一层定义了客户端的c 、j a v a 的a p i 和s d k 。 汇集层( c 0 1 l e c t i v e ) 的作用是将资源层提交的受控资源汇集在一起，供虚拟 组织的应用程序共享、调用。为了对来自应用的共享进行管理和控制，汇集层 提供目录服务、资源分配、同程安排、资源代理、资源监测诊断、网格启动、 负荷控制、账户管理等多种功能。 应用层( a p p l i c a t i o n s )是网格上用户的应用程序。应用程序通过各层的 a p i 调用相应的服务，再通过服务调用网格上的资源来完成任务。应用程序的 丌发涉及大量库函数。为便于网格应用程序的开发，需要构建支持网格计算的 库函数。 目前，g l o b u s 体系结构已为一些大型网格应用所采用。研究人员已经在天 气预报、高能物理实验、航空器研究等领域已开发了一些基于g l o b u s 网格计算 成都理l ：人学硕+ 学位论文 的应用程序，较果较好。虽然这些应用仍属试验性质，但它至少表明，网格计 算可以胜任不少用超级计算机难以胜任的大型应用任务。 目前g l o u b s 的最新版本是g t 4 ，与g t 以前的版本相比，g t 4 包括很多 w e b 服务和标准。g t 4 基于w e b 服务实现了对各种资源类的标准接口，这一 事实可以显著简化设计，从而增加这些标准被接受的可能。g t 4 还具有以下新 特性： ( 1 ) g t 4 遵守最新的w e bs e r v i c e si n t e r o p e r a b i l i t y0 r g a n i z a t i o n ( w s i ) w e b 服务标准，在不同环境之间提供了最大的互操作性； ( 2 ) g t 4 包含对一些重要授权标准的初步支持，其中包括s e c u r i t ym a r k u p l a n g u a g e( s a m l ) 矛口 e x t e n s i b l ea c c e s sc o n t r o l m a r k u pl a n g u a g e ( x a c m l ) ： ( 3 ) g t 4 实现了w s r f 和w s n o t i n c a t i o n 规范； ( 4 ) g t 4 具有复杂的授权和安全功能。g l o b u s 在网格安全性方面一直非常 努力，从安全性的观点来看，g t 4 已经满足企业需求； ( 5 ) g t 4 提供了高级的执行和数据管理功能。 第3 章校同计算网格分布式中间 ，i ：框架体系设计 第3 章校园计算网格分布式中间件框架体系设计 3 1 校园计算网格分布式中间件总体设计 建立校园计算网格旨在整合计算资源，达到计算资源的有序充分的共享和 各种计算资源之间的协同工作的目标。另一方面，当多个资源被整合起来后， 网格用户还要能方便简单地使用这些资源。 研究与实现校园计算网格分布式中间件c g d m 目的在于屏蔽网格基础设 施层的异构，整合各种类型的网格资源，并为上层提供透明的统一调用接口， 提供网格的易用性和资源的利用率，同时，搭建计算网格应用的二次开发平台， 实现计算网格应用的快速开发。 3 1 1 基于计算网格分布式中间件的校园计算网格拓扑结构 本文在充分研究校园计算网格u c g r i d2 0 的基础上，为实现计算网格中 间件的分布式特性，使校园计算网格具有良好的可扩充性和稳定性，提出了校 园计算网格分布式中间件协议，并设计了新的校园计算网格拓扑结构，如图3 1 。 ，一i ， 国毋豳毋国毋 图3 1 校园计算网格拓扑图 如图3 1 所示，网格用户通过校园计算网格统一门户访问网格资源。图中 子网格a 和子网格b 是两个独立的网格，并通过c g d m 互连，构成一个逻辑 上的“大”网格，网格用户通过同一门户就可以透明的访问网格a 和b 的资源 9 弋 嘣em |一6一 成都理j r ：人学硕+ 学位论文 和服务，对用户来说就是一个逻辑网格。a m s 组件实现对c g d m 的统一管理 和监控。 校园计算网格拓扑图中主要有三个组件：计算网格分布式中间间( c g d m c o m p u t i n gg r i dd i s t r i b u t em i d d l e w a r e ) 、中间件自动管理服务组件( a m sa u t o m a n a g e m e n ts e r v e r ) 和校园计算网格同一门户。 f 1 ) c g d m 部署在以g t 4 搭建的网格之上，管理网格资源和网格作业，并 负责a m s 、c g d m 通信； ( 2 ) a m s 可以单独部署( 如图3 1 所示) ，也可以和c g d m 集中部署；a m s 负责管理、监控、自动恢复c g d m ； ( 3 ) 网格统一门户是网格用户使用网格资源的接口，用户通过门户可以透明 的访问各个子网格的资源。 3 1 2 基于c g d m 的校园计算网格层次结构 校园计算网格分为五个层次：网格基础设施层、网格支持层、计算网格分 布式中间件层、网格统一门户层，如图3 2 。 ( 1 ) 计算网格基础设施层 通过g t 4 以及集群管理软件( s g e 、p b s 等) 将分散的计算机连接起构 成逻辑上的计算网格。 ( 2 ) 网格支持层 统一封装对计算网格基础设施层的g t 4 和数据库的操作，为中间层提 供对基础设施层的g t 4 和数据库的透明操作。 ( 3 ) 计算网格分布式中间件层 中间件层是计算网格的核心，负责管理网格计算资源。该层纵向为上层 网格门户提供各种网格操作服务，向下通过网格支持层操纵计算网格基础 设施层完成上层所请求的网格操作；横向通过c g d m 通信组件与其他 c g d m 协作，实现网格资源共享。中间件层所完成工作主要有如下几个方 面：中间件自身系统管理；包括中间件容器、中间件对象池、中间件插 件和中间件持久层管理；c g d m 协同；计算网格节点( 计算资源) 管 理；作业管理；网格用户管理。 ( 4 ) 计算网格统一门户层 网格用户与网格交互的接口，为网格用户提供对网格资源的透明访问。 1 0 第3 章校同计算网格分布式中间 ，| ：框架体系设计 图3 2校园计算网格层次结构图 3 2 校园计算网格分布式中间件工作原理 在以g t 4 搭建的网格中心服务器上部署计算网格分布式中间件，通过分布 式中间件协议将独立的网格系统连接起来，构成逻辑上的具有无限计算能力的 巨大网格。以下将从理论上阐述计算网格分布式中间件的工作原理。 3 2 1 计算网格分布式中间件的构成 计算网格分布式中间件主要由计算网格对象、分布式中间件对象池、上下 文环境、中间件插件、通信组件、统一门户接口等组成。其中，计算网格对象 是计算网格操作与计算网格相关数据的封装体，作为逻辑数据的映射；中间件 对象池是计算网格对象生成和容器的逻辑空问，自动完成计算网格对象在数据 库方式下持久化；上下文环境作为插件的“数据总线”，插件通过该总线可以操 作计算网格对象，因此上下文环境是计算网格插件操作计算网格对象的桥梁： 中间件插件是将网格操作设计为计算网格引擎，并按一定的规范封装为计算网 格插件引擎，使之具有可“插拔”性和相对的“独立”性；通信组件是计算网 格间通过中间件实现资源共享的桥梁，通信组件通过调用中间件插件完成计算 网格操作，通过上下文环境访问计算网格对象池，获取计算网格资源信息并发 布给友元网格；统一门户接口是统一门户实现的基础，通过操作计算网格插件 成都理i ：人学硕十学何论文 完成门户层的请求。 每个基于g t 4 的独立网格都有自己的中心服务器，在中心服务器上部署计 算网格分布式中间件。网格用户通过网格门户提交作业请求，中间件接收到作 业请求后，根据作业类型判断中间件管理的本地网格是否能处理该类型的作业， 如果能，中间件就为改作业分配网格资源，调度网格基础设施层完成该作业。 如果本地网格不能处理用户的作业类型，中间件通过计算网格分布式中间件通 信组件向其友元网格发出服务类型查询，查找发现提供处理改类型作业的网格。 接受到该请求的计算网格分布式中i 自j 件如果能处理改作业类型，就返回作业调 度需要的参数和调用方法及可用的资源。发送请求的网格中间件收到消息后， 根据其它网格的资源状态，将网格用户的作业请求发送到提供该服务的网格， 并负责收集作业结果。 计算网格分布式中间件自动管理组件部署到一台独立的服务器上，负责管 理分布式中间件。 3 2 2 计算网格分布式中间件注册顺序 c g d m 必须通过a m s 注册后，才能加入计算网格，访问其它网格的资源。 如图3 3 。 回回回固 h l l i l r n 一 i t “n m 坩r c s 0 r c c ) i n i h r n l | t c n - n ，时 一 x c u a m m c t c r s c p a t m c t c r s c l p a r n m c i c r r c s m n 辩 一 t p a m m e t c r r c s p o n 拼 图3 3 计算网格分布式中间件操作执行顺序图 网格a 要加入校园计算网格，必须部署计算网格分布式中间件c g d m ，在 初次启动c g d m 时，中间件通过配置的默认a m s 地址，发送i n f o r m 消息进行 认证注册。a m s 验证网格a 的i n f o r m 消息后，根据a 的权限返回网格b 、c 第3 章校| 元l 计算网格分布式中间1 ；，l ：框架体系设计 的地址。网格a 收到a m s 返回消息后，通过中问件通信组件分别想网格b 和 网格c 发送i n f o r m 消息，在通过b 和c 的认证后，b 、c 分别发送i n f o r m 消 息给a ，通过a 的认证后，a 和b 、c 就建立了互信关系，可以通过c g d m 共 享网格资源，b 、c 就称为网格a 的友元网格。在互信网格资源共享、作业调 度中就不再需要a m s 的支持。 a m s 可对c g d m 的监控和管理。当网格c 的c g d m 异常时，c 通过通信 组件发送s e t p a r a m e t e r 消息到a m s 和友元网格a ，将c 的异常参数和参数值 通知a m s 和a ，a m s 根据参数值判断是否协助c 处理异常；a 根据参数值更 新a 的c g d m 计算网格对象池中的c 网格对象的状态，这样在a 的下一次访 问a 的资源时就可以获得c 当前的状态，从而决定是否调度c 的资源。 3 2 3 计算网格分布式中间件操作的执行顺序 计算网格间的互操作是通过c g d m 来实现的，如图3 4 。 囤回囤国 打印作业 一 渭息l - 结碾 结果 计算作业a 计算作业d 计l 作业u 站泉a r 蚺小n 占哦b 图3 4 计算网格分布式中间件操作执行顺序图 网格用户通过统一网格门户提交计算作业到网格a ，计算网格a 通过 c g d m 检查网格资源是否满足作业需求，如果满足则通过c g d m 计算网格插 件创建作业，并调度网格基础设施层完成作业。如果计算网格a 不能满足作业 需求，如图3 3 ，网格用户提交打印作业到计算网格a ，a 并没有提供打印服 务，但a 可以通过c g d m 通信组件查找友元网格( 即建立了互信的网格) 中 是否提供该类服务或资源，发现计算网格b 提供打印服务，于是a 通过通信组 件发送计算作业a 到b 。当计算网格a 的排队作业比较多时，a 可通过通信组 件将队列中的作业发送到空闲资源的网格，并收集作业结果到a 。 成都理j l ：人学硕+ 学位论文 3 3 框架优势 经过对g t 4 和u c g r i d2 0 框架的深入研究和反复的检验，成都理工大学 校园计算网格除了完成计算网格所需的功能外有如下几点优势： ( 1 ) 基于校园计算网格分布式中间件c g d m 的分布式结构部署灵活，有良 好的扩展性和稳定性，无系统瓶颈； ( 2 ) c g d m 采用分层结构设计，层次清晰、层与层与之间的藕合度比较低、 独立性好，具有良好的可扩展性； ( 3 ) 可以快速地接入新的网格，新网格只需与配置安装计算网格分布式中间 件，简单方便； ( 4 ) 基于计算网格中间件，完成绝大部分计算网格相关操作，在中间件的基 础上可以快速地开发网格应用； ( 5 ) 基于统一网格门户接口，支持个性化网格门户开发或与第三方系统整 合： ( 6 ) 中间件支持二次开发，容易扩展整个平台的功能。 1 4 第4 章校i 元| 计算网格分布式中间仲设计与实现 第4 章校园计算网格分布式中间件设计与实现 4 1 计算网格分布式中间件功能需求 计算网格分向式中间件是校园计算网格的核心，主要功能是负责校园计算 网格节点管理、用户安全认证管理、计算网格作业管理以及与网格门户的接口； 支持分布式部署，提高系统的稳定性和可扩展性。从系统方面看，中间件应该 可以独立运行、自主管理、可二次丌发、可动态扩展的。 4 1 1 计算网格中间件的分布式特性 计算网格u c g r i d 2 0 中问件必需部署在网格的中心服务器上，这种集中 式的结构不利于系统的扩展，且中心服务器会成为网格的性能瓶颈。因此，计 算网格中间件必需具有分布式特性。主要包括以下几个方面： ( 1 ) 支持单独部署、运行、自主管理 计算网格分布式中间件可以单独部署在网格中心服务器上，负责网格节点 管理、用户安全认证管理、作业管理，即可以管理一个独立的计算网格。 ( 2 ) 支持分布式部署 计算网格分布式中间件可以分别单独部署在多个网格中心服务器上，中间 件间通过分布式中间件通信组件进行通信，这样中间件间就能共享各自管理的 网格资源；通过这种方式也可将一个规模比较大的网格分割成几个独立的网格 组成，降低中心服务器的压力，提高系统的稳定性。 4 1 2 异构网格资源的共享和协作 每个独立的网格管理的资源不同，提供的服务不同，网格的拓扑结构也不 相同，由于j a v a 语言是跨平台的，w e bs e r v i c e 也是跨平台的，因此，通过j a v a 和w e bs e r v i c e 技术实现计算网格分布式中间件通信组件，为异构网格平台的 资源共享和整合提供解决方案。 4 1 3 计算网格统一门户 建立校园计算网格的目的是为了让网格用户能方便、透明的使用网格资源， 一个友好的用户界面是必需的。每个独立的计算网格都有自己的网格门户和作 业处理流程和安全机制，用户要使用不同网格的资源必需在每个网格上建立帐 号，需在多个网格的门户上分别登录，提交、管理作业，相当麻烦。 计算网格分布式中间件提供计算网格统一门户的w 曲s e r v i c e 接口，由于 成都理i ：人学硕+ 学位论文 w e bs e r v i c e 是跨平台，不受编程语言限制的，因此，每个独立的计