（计算机科学与技术专业论文）基于组件的网格执行管理的研究.pdf

基于组件的网格执行管理的研究 摘要 网格是随着计算机技术与互联网技术的进一步发展，所提出的一 种新型的网络计算平台，整合了广域网中分布的、动态的、异构的资 源，实现充分的资源共享和计算协同。网格计算技术正在成为影响信 息技术下一个高潮的最重要的核心技术，从而推动新一代的计算机应 用。执行管理作为网格技术的基本功能之一，其意义和重要性显得越 来越不容忽视。 本文结合p r o a c t i v e 网格中间件，对g c m 组件模型中的执行管理 功能进行了设计和实现，很好地解决了网格作业的执行管理问题。为 了实现网格作业的执行管理，本文定义了基于g c m 组件模型的网格 执行管理框架结构，把作业分为遗留程序作业和复合作业；讨论了遗 留程序的组件包装技术，使得遗留程序能够在网格环境下执行；同时， 讨论了复合作业的执行管理和作业调度服务等。这些研究对网格中间 件( 特别是执行管理系统) 的设计和实现具有十分重大的意义。 本文的主要工作和贡献如下： 1 ) 重点研究了网格系统中遗留作业的执行管理，提出了遗留程序 的组件化包装技术，设计了一个完整的遗留程序执行管理系 统，从而实现了遗留程序的组件化封装。它所提供的主要功能 包括：遗留程序的标准描述；统一的组件部署描述文件；异构 系统下基于目标系统适配器的执行管理；支持多种网络协议的 数据传输模块等。通过对遗留程序在g c m 模型和g r s 中执 行性能的比较，验证了g c m 遗留程序组件的性能优越性。 2 ) 提出了利用a d l ( 组件结构描述文件) 构建复合组件模型的 技术，实现了复合作业的执行管理过程，完成了多个网格作业 的协同计算。通过使用作业调度器和资源管理器，构建g c m 组件模型的作业调度服务，实现更高逻辑层次的作业执行管理 功能。 关键字：网格执行管理遗留程序g c m 组件模型 c o m p o n e n tb a s e dr e s e a r c ho ne x e c u t l 0 n m a n a g e m e n to v e rg r i d a b s t r a c t g r i di san e w t y p ec o m p u t i n gp l a t f o r ma n dt e c h n o l o g yd e v e l o p e d w i t ht h ec o m p u t e ra n dn e t w o r k i th a sb e c o m ea ni n f r a s t r u c t u r ef o r r e s o u r c es h a r i n ga n dc o o p e r a t i v ec o m p u t i n gi nh e t e r o g e n e o u s ，d y n a m i c a l a n dd i s t r i b u t e de n v i r o n m e n t t h cg r i dc o m p u t i n g i sb e c o m i n go n eo ft h e m o s ti m p o r t a n tt e c h n o l o g i e so ft h en e x ti tw a v e ，a n dp r o m o t e sn e w a p p l i c a t i o n s e x e c u t i o nm a n a g e m e n t ，a so n e o ft h em o s ti m p o r t a n t f u n c t i o n so fg r i d ，h a sb e e np a i dm o r ea n dm o r ea t t e n t i o n i nt h i sp a p e r , b a s e do nt h ep r o a c t i v eg r i dm i d d l e w a r e ，w eh a v e d e s i g n e da n di m p l e m e n t e dt h ee x e c u t i o nm a n a g e m e n ts y s t e mb a s e do n t h eg c mm o d e l i th a ss o l v e dt h ep r o b l e mo ft h ej o be x e c u t i o n m a n a g e m e n to v e rg r i d w r ea l s od e f i n e t h ef r a m e w o r ko ft h eg r i d c o m p o n e n tm o d e l se x e c u t i o nm a n a g e m e n t t h eg r i dj o bh a st w ot y p e s ： t h el e g a c yc o d ej o ba n dt h ec o m p o s i t ej o b w 色c o u l dw r a pt h el e g a c y c o d et oc o m p o n e n tb a s e do nt h eg c ma n de x e c u t ei t o v e r g r i d ， i m p l e m e n tt h er u n n i n gp r o c e s so ft h ec o m p o s i t ej o ba n dp r o v i d et h ej o b s c h e d u l e rs e r v i c e t h i sr e s e a r c hi sv e r yi m p o r t a n ta n du s e f u lf o rt h e r e s e a r c ho ng r i dm i d d l e w a r ea n dg r i de x e c u t i o nm a n a g e m e n ts y s t e m f o l l o w i n gi st h em a i nw o r ka n dc o n t r i b u t i o no ft h i sd i s s e r t a t i o n 1 ) w ed e s i g n a n d i m p l e m e n t t h e l e g a c y c o d e se x e c u t i o n m a n a g e m e n to v e rg r i da n dw a r pt h el e g a c yp r o g r a m t oc o m p o n e n t t h i sa p p r o a c hi sb a s e do nt h eg r i dc o m p o n e n tm o d e l ( g c m ) w ed e s c r i b et h em o d e lo ft h el e g a c yp r o g r a mc o m p o n e n t i n c l u d i n gt h el e g a c yp r o g r a m sd e s c r i p t i o n ，t h ef i l et r a n s f e r m e c h a n i s m ，t h ea d o p t e r , a n dt h ee x e c u t i o nm a n a g e m e n ta n ds o o n i ta l s oi n t r o d u c e st h ei m p l e m e n to ft h i sm o d e la n dp r e s e n t st h e p e r f o r m a n c ee v a l u a t i o nt h r o u g ht h ee x a m p l eo fb i o i n f o r m a t i c s t h ee x p e r i m e n t sd e m o n s t r a t et h a ti th a st h eb e t t e rp e r f o r m a n c e t h a ng r s 2 ) i tp r o v i d e st h e a d ll a n g u a g ef o r b u i l d i n g t h e c o m p o s i t e c o m p o n e n ta n di m p l e m e n t s t h e c o m p o s i t ej o b s e x e c u t i o n m a n a g e m e n t t h e nw e c a ni m p l e m e n tt h ec o o p e r a t i v ec o m p u t i n g o v e rg r i d w ea l s od e s i g naj o bs c h e d u l e rs e r v i c eo v e rg r i ds y s t e m t h r o u g ht h ej o bs c h e d u l e ra n dr e s o u r c em a n a g e gw e c a ng e tt h e h i g hl o g i cl e v e l so nt h ej o be x e c u t i o nm a n a g e m e n t o v e rg r i d k e yw o r d s ：g r i d ，e x e c u t i o nm a n a g e m e n t ，l e g a c yp r o g r a m ，g c m 北京邮电大学硕士学位论文 插图索引 图2 - 1g t 4 中g r a m 的体系结构 图2 - 2c o n d o r - g 的体系结构1 6 图2 - 3g e m l c a 体系结构 图2 4g r s 体系结构和执行流程 。1 7 图2 - 5p r o a c t i v e 框架结构2 0 图3 1 基于g c m 的复合组件模型2 3 图3 2g c m 组件执行管理框架模型2 5 图4 - 1 遗留程序组件模型 图4 - 2 抽象x m l 部署描述符模型3 0 图4 3 程序执行的状态转移图3 3 图4 4 执行管理的适配器框架结构3 4 图4 - 5 自主管理器模型3 5 图4 - 6 基于组件的遗留程序的执行过程3 6 图4 - 7 不同任务数的作业执行时间3 7 图4 8 不同进程数的作业执行时间3 8 图5 1 复合组件结构模型4 2 图5 2 复合组件执行管理框架结构 图5 3 作业调度服务框架结构4 6 图5 4 调度器框架模块结构。 4 7 图5 5 建立用户连接过程4 7 图5 6 作业提交过程4 8 图5 7 资源管理器框架结构4 9 图5 8 生物信息学作业执行流程5 1 图5 9 生物信息学复合组件框架结构5 1 图5 1 0i c 2 d 功能示例5 2 图5 1 1 生物信息学作业在i c 2 d 中的监控界面5 3 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所 知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢 意。 申请学位论文与资料若有不实之处， 本人签名：蕉乐 本人承担一切相关责任。 日期：垄竺窆垒! 旦三迢 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校攻读 学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部门或机构送交 论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容， 可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守 此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围， 本人签名： 韭11 盘 导师签名j l 姓 适用本授权书。 日期： 日期： 北京邮电大学硕士学位论文 1 1网格计算概述 第一章绪论 计算机网络的发展十分迅速，其速度之快、影响之大，如今已经渗透到社会 的各个领域。但随着i n t e r n e t 的快速增长，在核心路由器上路由表变得越来越庞 大，带来的问题是越来越难以管理，这种趋势还在继续。目前i n t e m e t 的主要应 用为单向的内容浏览、收发电子邮件和下载文件等，已不能满足日益增长的互动 服务、协同工作等方面要求。在这样的背景下，许多学术团队都在致力于分布式 计算机系统的研究，设计实现了各种中间件、程序库和工具，将物理上分布的各 种资源计算整合起来，使之成为一个具有更加强大能力的综合计算平台，并在这 个平台上运行各种并行和分布式应用程序。这种计算模式最初被称为元计算 ( m e t ac o m p u t i n g ) 、网络计算( i n t e r n e tc o m p u t i n g ) ，而近年来人们把它叫做网格 计算( g r i dc o m p u t i n g ) 。 网格计算1 1 5 】，被定义为在一个分布式、异构的环境下，对跨系统的管理域和 组织域的资源进行虚拟化和集成，对服务进行管理的一类分布式系统。这一术语 最早出现于上个世纪9 0 年代，被作为分布式计算的一种更新和替代，其最初的 目的是将分布在不同地理区域的独立的超级计算机连接起来，充分利用和整合闲 散的计算资源，为大规模的科学计算提供服务。随着高性能计算技术与互联网技 术的进一步融合，网格已经从单纯的高性能计算系统发展成为在分布式、异构、 动态的环境下，在应用层之上连接各类资源，并提供无缝、可靠、统一的服务访 问接口，实现对计算机硬件、软件、数据、存储以及各类资源的透明的访问控制 的一种基础设施。 1 1 1 什么是网格 网格概念的创始人：网格之父i a nf o s t e r 曾经提出判断网格的三个标准 【1 6 】：( 1 ) 协同资源共享；( 2 ) 使用标准、开放、通用的协议和接口；( 3 ) 提供非 平凡的服务。 网格计算技术是构筑在i n t e m e t 上的一项新的分布式计算技术1 1 4 1 ，是一个硬 件和软件基础设施。通过高速的共享网络连接地理上广泛分布的异构资源( 包括 各种高性能计算机、数据库、科学仪器、文件和超级计算系统等) ，为上层应用 提供对高端计算能力的、可依赖的、一致的、广泛的和低价的接入，以此来协同 解决那些通常需要很多c p u 处理或存储器访问的单个问题。 北京邮电大学硕士学位论文 网格就是把地理上分布的各种计算资源连接成一个单一的统一资源，即虚拟 高级计算机的环境，实现全球范围的计算资源、存储资源、数据资源、信息资源、 知识资源、专家资源、设备资源等的全面共享。其根本特征是资源共享和协同计 算。它是继h l t e m c t 、w e b 后的第三次互联网浪潮。网格概念的核心是动态的、 多机构的虚拟组织中的资源共享和协同计算。这里的资源共享并不仅仅指的是数 据文件的交换，而是直接的对计算机、软件、数据和其它资源的直接接入。这种 共享对工业、科学和工程领域中的一些协同问题求解至关重要。 一般来说网格所解决的问题主要有三个特础1 7 l ： 1 ) 资源的异构性 网格中可以用来共享的资源有着极其广泛的类型，包括网络资源、计算 资源、存储资源、数据资源等。同一种资源也往往有着不同的表现形式和实 现方式。如作业系统的p b s 和l s f ，传输协议f t p 和h t r p 等。类别不同 的资源通过网格进行互联，网格解决了他们之间的通信和互操作问题。 2 ) 管理的自治性 网格的资源往往来自不同的物理单位和组织，各个单位和组织的对于自 己的资源大都存在着特定的策略，这就要求网格在进行资源整合的同时尽量 保留这种管理上的自治性。 3 ) 行为的动态性 虽然相比于现在比较流行的p 2 p 系统，网格系统一般来说稳定的多，但 是网格毕竟是在一个广域网环境下的大规模、分布式系统，所以动态性是不 可避免的。网格一经提出，就以构建如同公共基础设施一样的共享、可靠的 计算系统为最终目的，希望实现如同用电一样的使用各种计算资源。 1 1 2 网格发展历史和现状 一般认为网格最初起源于美国政府资助的分布式超级计算项目i - w a y 。其最 初的目的是将分布在不同地理区域的、独立的计算机资源连接起来，充分整合和 利用闲散的计算资源，为大规模的科学计算提供服务。网格的发展经历了三个阶 段。 第一阶段，是网格的萌芽阶段，开始于九十年代早期，研究内容是关于千兆 网试验床以及一些元计算方面的工作。 第二阶段，是一些早期的试验，时间从1 9 9 0 年代中期到晚期，网格的理论 研究开始形成，出现了一些比较重要的开创性的研究项目，比如g l o b u s 、l e g i o n 、 u n i c o r e 等。1 9 9 8 年1 1 月i a nf o s t e r 出版的网格：新的计算基础设施的蓝图 ( t h eg r i d ：b l u e p r i n tf o ran e w c o m p u t i n gi n f r a s t r u c t u r e ) 中第一次将这种新的计 2 北京邮电大学硕士学位论文 算技术称之为“网格”。2 0 0 1 年，i a nf o s t e r 、k e s s e l m a n 和t u e c k e 将网格重新定 义为：协作资源共享，在动态的多机构的虚拟结构中解决问题。这就是我们今天 最普遍用到的网格的抽象定义【l 剐。 二十世纪九十年代晚期之后是网格计算的迅速发展阶段，网格的标准和标准 组织出现对网格的发展产生了很大影响，使得网格的设计和实现架构相对成熟。 全球网格论坛g g f ( g i o b a lg r i df o r u m ) 的出现( 现在为开放网格论坛，o g f ) ， 标志着网格技术的研究开始从各自为战进入标准化阶段。g g f 从一成立就致力 于网格的标准化工作，推出了诸如o g s a ，w s r f ，j s d l 等一系列里程碑式的 标准和规范，为网格的研究和发展做出了巨大的贡献。 2 0 0 2 年g l o b u s 项目组和i b m 共同倡导的开放网格服务架构( o p e ng r i d s e r v i c ea r c h i t e c t u r e ，简称o g s a ) 是网格设计和实现架构方面的一个里程碑。 网格计算从此不再仅仅局限于科学研究，工业界与学术界联盟正致力于使网格计 算在更广泛的领域得到推广和应用。o g s a 的目的是用来促进分布式异构资源的 无缝使用和管理。o g s a 采用面向服务的架构( s o a ) ，是w e b 服务和网格技术 融合的结果。o g s a 以一种服务的观点对网格的设计和实现进行了定义，允许跨 异构动态虚拟组织的服务集成。o g s a 主要定义了网格计算平台中的两个主要组 件：基础设施组件和核心服务。其中基础设施组件描述了所有核心服务和上层应 用都可能使用到的一些底层组件；核心服务描述了网格平台应该提供的一些核心 功能( 能力) ，这些功能可以被单独的使用或组合成新的功能来供上层网格应用 使用。使用面向服务的网格计算基础设施定义、部署和执行的服务被称作网格服 务。在面向服务的网格基础设施中，网格将大部分的核心能力实现为网格服务。 2 0 0 4 年初，由g l o b u s 、i b m 、以及l i p 等科研团体和公司联合提出的w e b 服务资源框架( w r e bs e r v i c er e s o u r c ef r a m e w o r k ，简称w s r f ) ，希望将原来的 网格服务中的服务状态，生命周期等特征注入w e b 服务，并定义了使用w e b 服 务来访问由状态的资源的一系列规范。这是网格发展的又一个里程碑。 由欧洲的o b j e c t w e b 和i n r i a 等组织协同开发的p r o a c t i v e 网格中间件，提 供开源的中间件j a v a 类库和工具集，提高网格应用程序的灵活性，使企业在原 有的技术和工具上建立网格应用程序。p r o a c t i v e 提供全面的a p i ，以简化对网 格应用程序的编写。这些应用程序可以分布在局域网、工作站集群或者是互联网 网格上。p r o a c t i v e 只由标准的j a v a 类组成，并且不需要修改j a v a 虚拟机，不需 要预处理和对编译器的修改，编程者只需要书写便准的j a v a 代码。 g r i d c o m p 是由e r c i m 、i n r i a 、清华大学等1 1 个组织成员协同进行开发 的基于组件的网格项目。为了实现不同平台间的协同和交互，信息技术需要建立 统一的标准。它是在p r o a c t i v e 的基础上，对网格组件模型的实现。它采用组件 3 北京邮电大学硕士学位论文 的方法构建网格应用程序。在网格计算领域具有十分重要的前瞻性地位。 1 1 3 网格的意义和特点 网格计算具有非常重要的意义【2 4 1 。它提供的计算能力远远超过以前我们所想 象的程度，对大多数用户来说，网格提供的计算能力足以满足其计算要求，人们 可以做许多以前无法想象和无法完成的工作。网格打破了“到资源所在位置使用 资源”的限制，用户可以不必到资源所在位置而对资源进行直接操控。网格打破 了传统的共享协作方面的限制，用户对资源的共享不仅仅停留在文件传输的层 次，网格资源共享允许对资源进行直接的控制。 网格的资源是分布的，在这种分布式环境下，需要解决资源与任务的分配和 调度问题、安全传输和通信问题、实时保障问题、人与系统以及人与人之间的交 互问题。网格资源虽然是分布的，但却可以充分共享，共享和协同是网格的目的。 网格系统具有以下特点【3 5 】： 1 ) 异构性( h e t e r o g e n e i t y ) 网格可以包含多种异构资源，包括跨越地理分布的多个管理域。构成网格系 统的计算机有多种类型，不同类型的计算机在体系结构、操作系统及应用软件等 多个层次上可能具有不同的结构。 2 ) 可扩展性( s c a l a b i l i t y ) 网格计算系统初期的规模较小，随着更多计算机系统的不断加入，系统的规 模随之扩大。网格可以从最初包含少数的资源发展到具有成千上万资源的大网 格。由此可能带来的一个问题是：随着网格资源的增加而引起的性能下降以及网 格延迟，网格必须能适应规模的变化。 3 ) 可适应。l 生( a d a p t a b i l i t y ) 在网格中，具有很多资源，资源发生故障的概率很高。网格的资源管理或应 用必须能动态适应这些情况，调用网格中可用的资源和服务来取得最大的性能。 与一般的局域网系统和单机的结构不同，网格计算系统由于地域分布和系统的复 杂使其整体结构经常发生变化；网格计算系统的应用必须能适应这种难以预测的 结构变化。 钔结构的不可预测性 动态和不可预测的系统行为。在传统的高性能计算系统中，计算资源是独占 的，因此系统的行为是可以预测的。而在网格计算系统中，由于资源的共享造成 系统行为和系统性能经常变化。 5 ) 多级管理域 由于构成网格计算系统的计算机资源，通常属于不同的机构或组织并且使用 4 北京邮电大学硕士学位论文 不同的安全机制，因此需要各个机构或组织共同参与解决多级管理域的问题。 1 1 4 网格中的关键问题 网格的提出是为了解决现有的互联网状态下资源整合的问题。网格计算的迅 猛发展，无论是在技术上，还是在理论上都取得巨大的突破，但网格本身是一个 比普通的分布式计算更复杂的问题。在这个复杂的研究领域，依然存在着诸多的 问题等待大家去研究和解决。 1 ) 资源的发现和定位 网格系统是在大规模广域网的环境下，对广泛的资源进行整合。当规模大到 一定的程度，资源本身的信息管理和维护就成为一个很严峻的问题：如何保证网 格中信息管理系统能实时的反应资源的状态；如何让用户能够快速而高效的发现 自己需要的资源和服务；如何对其进行快速而有效的定位。资源的定位和发现不 仅和资源本身的表示模型有关，也同网格本身的拓扑结构、组织方式和安全策略 有关。同时，资源的定位和发现又是其他网格技术如作业的管理、数据服务等首 先解决的问题。 2 ) 作业管理 网格最早提出是为了解决计算能力的整合问题，计算( 尤其是大规模的科学 计算) 的核心是作业。如何对作业进行调度、管理、监控是网格中的重点研究对 象。作业的管理是执行管理的核心问题。 3 ) 数据服务 数据服务研究的是在网格环境下，对数据进行分布式存储，统一透明的编址 和表示，高效副本迁移和重定位，高效的数据传输，以及如何在分布式环境下， 提高数据的可靠性、可用性，并利用网格系统提供的存储资源为网格或者网格之 外的系统提供安全、可靠而又方便的海量数据存储服务。数据服务是网格的一个 基础服务，与网格中的执行管理有着密不可分的联系。 4 ) 网格监控 网格的监控是网格的另一个基本的服务，主要涉及到对资源的状态，资源使 用情况以及静态的资源信息进行监控。监控系统是网格系统进行错误发现、错误 诊断、性能优化的基础。监控系统也为调度系统提供必要的信息。网格监控系统 的难点不仅仅在于在尽可能小的影响系统的工作的前提下对监控所需要的信息 进行尽可能实时收集和整理，对海量的频繁更新数据进行存储和管理，对信息的 归类和过滤以及形象化的展示；更重要的是信息的实时性以及根据当前实时的信 息对系统的行为进行预测，进行无需人工干预的错误发现、报告甚至智能的错误 恢复。 5 北京邮电大学硕士学位论文 5 ) 安全 安全是网格的基础设施，是网格的收费和记账的前提，也是网格进行资源共 享和整合基本保证。网格中解决安全问题的难点在于：在解决安全问题的同时， 既不能破坏网格内各个资源提供组织对资源管理自治性，又要保证这些不同的资 源管理组织之间实现无缝的互操作。 6 ) 网格的交互性 随着网格的技术的不断发展，各种各样的网格研究项目和网格系统不断的出 现。各种网格系统不同的实现技术和实现细节导致网格的交互成为一个日益严 峻的问题。网格的交互的核心是安全基础设施的互交互和作业执行的交互。 1 2网格执行管理概述 执行管理是网格计算中的一个关键问题。一般来说，执行管理对网格系统中 作业在其整个生命周期内进行管理的功能集合，包括作业定义、资源匹配和选择、 资源调度、作业的执行和监控等。广义上来说，执行管理还包括作业之间的协同 和互操作、资源的预留、作业错误处理、容错以及与容器、监控服务，以及资源 提供者的交互等。 作业和任务是执行管理里面的两个核心的概念： 任务( t a s k ) 是可定义的工作单元，是网格系统中的最小的执行单位( 原子 执行单位) ，一般用于指在一个计算节点上的一个程序的执行，例如：命令行的 可执行程序；一个具有独立功能的程序对象( o b j e c t ) 的一次执行或者对于简单 服务和网格组件的一次调用。 作业( j o b ) 为了完成特定功能，由一个或者多个任务按照一定逻辑组成的任 务集。作业可能是结构化的( 如工作流作业) ，也可能是非结构化的( 遗留作业) 。 同时，作业也可以被看作是一个可管理的资源，包括管理和执行两个层面：作业 的管理层面体现在有一个唯一的资源句柄，能够被作业管理系统所管理；作业的 执行层面包括于作业相关的进程、应用程序和服务。 作业和任务这两个概念具有一定的共性，但是也有明显的区别。我们可以理 解为：任务是一个可以执行的网格的最小执行单元，而作业则是对任务的组合使 用，使得不同的任务集成到一起协同的完成一个工作。然而，在实际的网格执行 管理中，对于终端用户很少提及任务的概念，一般都是以作业为执行单元。为了 防止概念混淆的情况，本文中将统一使用作业这个名词( 除特别指出的地方) 。 作业类型划分是执行管理中一个颇具争议性的话题，本文不打算评论那种划 分更合理。在基于g c m 组件模型的执行管理中，本文将作业类型划分为两类： 原子作业和复合作业。 6 北京邮电大学硕士学位论文 原子作业( p r i m i t i v ej o b ) 是由一个单一的任务组成的作业，具有不可再分的 意义，也可以认为这种原子作业本身就是一个t a s k 。一般来说，原子作业主要指 的是遗留作业，即对于遗留程序的在一个计算资源上的一次带有基于网格的数据 输入和输出操作的一次执行。原子作业也包括服务作业，即对简单网格服务的一 次具体的简单调用。本文中所讨论的原子作业，主要是对遗留程序的组件包装和 执行管理过程。 复合作业( c o m p o s i t ej o b ) 主要是指多个任务( t a s k ) 的组合使用，完成一 个较为复杂的工作。通过对原子组件进行复合的绑定和连接，构建一个更复杂的 复合组件，使得原子作业按照特定的功能需求进行组合，而得到的具有一定流程 的任务集，协同完成一个复杂的任务。 1 2 1 执行管理技术的必要性 执行管理在网格系统中，具有十分重要的作用和意义。主要体现在以下几个 方面： 1 ) 计算资源的共享：网格提出的最初的目的和最原始的动机是实现计算资源的 共享。这种共享是以作业的执行为核心的。由于网格本身涉及的资源广泛而 复杂，这种以作业为核心的资源相对于传统的分布式系统来说广泛而深入的 多。执行管理是对作业生命周期的管理，其重要性是不言而喻的。 2 ) 软件的重用：遗留作业的执行是网格执行管理的核心研究问题。通过对研究 遗留程序的包装、遗留程序的管理、遗留作业的执行，不仅在对网格的功能 进行扩充，使网格能够执行更多的程序，提高资源利用率，而且可以实现对 已有的软件成果的继承和重用，减少软件开发的成本。 3 ) 计算资源的协同计算：从执行管理的角度的看，网格不仅仅要实现对于计算 资源的共享和整合，也要实现协同计算。执行管理的服务组合技术主要解决 的是作业层面的协同计算问题。 4 ) 负载均衡和提高资源利用率：网格中的执行管理系统在某种意义上来说是一 种执行资源的调度，通过在计算资源的本地调度器之上架设一个更高层次的 调度器，网格系统能够在更广泛的范围内实现负载的均衡，更有效的提高资 源利用率。 1 2 2 执行管理中的概念区分 在执行管理的研究中，需要对一下几个概念进行区分： 1 ) 作业和服务的混淆：从作业定义可以看出：服务不是作业，对于服务的一次 7 北京邮电大学硕士学位论文 调用也不是一个作业，服务只是作业访问的一种接口，是一种与通信平台无 关、与语言无关的实现方式。作业是要实现的功能的一次实例化的执行运行， 体现为对计算资源的消耗。服务仅仅是作业的一种方式，但绝对不是唯一的 方式。一个作业可以采用基于组件的方式来执行和管理，完成网格环境下的 作业执行。 2 ) 服务和组件的区别：目前的网格执行管理中，多是采用基于服务的o g s a 网 格模型框架结构。一个作业的执行，就是对网格服务的访问。然而，在本文 中，我们采用了基于组件的网格框架结构。作业的执行单元不再是o g s a 网 格服务，而是g c m 组件。该组件能够完成和网格服务相同的功能，只是使 用了不同的框架结构和访问接口方式。 1 2 3 执行管理中的关键问题 网格中的执行管理是的关键主要有以下几个方面： 1 ) 资源整合和自治性：网格整合的是多个物理组织的各种异构资源，这些组织 对于资源往往都有相互独立的管理策略，实现资源的整合，同时又要保证尽 可能不破坏自治性，这是执行管理的最大挑战。 2 ) 提供统一的访问接口：执行管理整合的是各种异构的作业执行系统，这些系 统往往提供了不同的接口和管理方式。通过屏蔽这种异构性，提供统一的作 业管理方式是网格系统必须解决的问题。 3 ) 提供统一的作业提交方式：通过对不同作业的包装，使得作业能够以一个统 一的描述方式进行描述，对系统提供一个统一的表现形式，有利于在复杂的 网格环境下，对作业进行执行管理。 4 ) 网格环境下遗留程序的执行管理：遗留程序与网格组件模型是不兼容，因此 无法为其他网格组件所直接使用。遗留程序的组件包装技术就是要解决这一 关键问题。 5 ) 作业的调度：在大规模分布式系统中，作业的调度是一个非常重要的部分， 特别是在网格这样一个集中策略与分布式自治同在的环境下，有效地调度算 法和调度系统能够保证网格系统具有很好的效率，提高资源的利用率。 1 3本文的主要研究内容和贡献 1 3 1 研究内容 本文的目的是解决网格环境下作业执行管理的问题，主要解决执行管理系统 8 北京邮电大学硕士学位论文 的架构、计算资源定义和统一接口、遗留程序的包装、复合作业的定义和描述， 以及复合作业的调度服务等关键问题。 本文的执行管理主要是讨论对原子作业和复合作业的执行管理。原子作业主 要是讨论在网格计算中最常用的遗留程序的执行管理，重点讨论了如何把遗留程 序包装成g c m 网格组件，并进行远程部署的技术。对于复合作业的执行管理， 主要讨论了使用a d l 结构文件，进行复合组件的定义和构建，以此来完成复合 作业的执行管理功能，并简略的讨论了作业调度器和资源管理器在组件执行管理 框架结构中的作用。 数据服务是网格系统中一个很广泛的研究领域，主要研究高效可靠的数据传 输、副本定位、单一名字空间的管理、对等传输等。数据服务和执行管理是密不 可分的，数据服务为执行管理提供所有的数据相关的服务，但数据服务与本文的 研究的内容是相交，除了在遗留作业的执行中的数据迁入和迁出会涉及到数据服 务的接口，在其他的地方，本文不会对数据服务的具体细节展开讨论。 网格监控本身是一个很大的问题，主要涉及到对资源的状态、资源使用情况 以及静态的资源信息进行监控。监控系统是网格系统进行错误发现、错误诊断、 性能调优的基础。监控系统也为调度系统提供必要的信息。在本文中，较少涉及 对这一部分内容的研究和讨论。 此外身份标识、权限的管理、安全机制和用户界面等都不在本文的研究之内。 1 3 2 主要贡献 本文主要研究基于组件的网格执行管理问题，主要讨论了基于g c m 组件模 型的执行管理框架结构、遗留程序的组件包装、复合组件的定义和构建，以及复 合作业的协同计算等问题，主要创新和贡献在于： 1 ) 为了实现遗留程序等网格作业的执行过程，提出了基于g c m 组件模型的执 行管理系统的框架结构，并结合p r o a c t i v e g c m 进行了设计和实现。 萄研究了网格系统中遗留作业的执行管理，提出了遗留程序的组件化包装技 术。通过g c m 组件模型对遗留程序的包装，设计了一个完整的遗留作业执 行管理系统。它所提供的功能包括：遗留程序的标准描述、统一的组件部署 描述文件、异构系统中基于目标系统适配器的执行管理功能、支持多种网络 协议的数据传输功能，从而实现了遗留程序的组件化封装。 3 ) 通过对遗留程序在g c m 组件和g r s 中的性能比较，分析并验证了g c m 的 性能优越性。 铆提出了使用a d l 结构描述文件的方法，构建复合组件的技术，从而实现了 复合作业的执行管理过程，完成了多个网格作业的协同计算。 9 北京邮电大学硕士学位论文 5 ) 构建了g c m 组件模型中的作业调度服务，通过作业调度器和资源管理器的 使用，实现了更高逻辑层次的复合作业执行管理功能。 1 3 3各章内容简介 本文的主要内容是网格系统的执行管理技术，共分六章： 第一章，对网格的概念、发展历程和现状、网格特点和关键问题等进行简单 的介绍，并阐述了执行管理所涉及的内容、研究意义和面临的挑战，最后介绍了 本文的主要研究内容和贡献。 第二章，首先综述了网格执行管理的研究现状，举例说明了几个世界知名的 网格项目( g l o b u s 中的g r a m 、u n i e o r e 、c o n d e r 以及c g s p 中的g r s ) 的执行 管理和作业调度系统；其次介绍了与本文密切相关的p r o a c t i v e 中间件的情况和 g r i d c o m p 项目的研究情况。 第三章，主要讨论了基于组件的网格执行管理的框架结构。首先介绍了g c m 网格组件模型，阐述了该网格组件模型和其他分布式组件的不同之处；提出了分 层组件模型的概念，这是g c m 组件最大的特点。通过一个示例展示了一个g c m 组件所具有的重要组成部分：内容、控制器、服务端接口、客户端接口等各种类 型的接口，并阐述了各个组成部分的作用；集中介绍了g c m 组件的重要特征。 最后，根据g c m 组件模型分层次的介绍了g c m 组件的执行管理框架结构。该 框架结构分为四个逻辑层次：计算资源层、简单组件执行层、复合组件管理层、 用户接口层，并详细的阐述了各个层次在执行管理中的作用。 第四章，详细介绍遗留程序在g c m 组件模型中的执行管理，解决了遗留程 序的包装和部署问题，创造性的提出了将遗留程序包装为g c m 组件的方法，从 而实现遗留程序的执行管理。这使得其对外看来就是标准的g c m 组件，可以方 便的进行远程部署，并有效的完成同其他组件的交互。把遗留程序包装为组件的 方法，不仅解决了遗留程序的执行管理和无法被执行系统识别的问题，而且使得 基于组件的遗留程序应用可以有效地部署和复合使用，实现更加复杂的复合作业 的执行管理。通过采用标准的遗留程序描述符，作为描述和提交遗留程序作业的 规范，统一了遗留程序的描述方法，实现了遗留程序组件的自动构建。通过x m l 部署描述符的使用，对下屏蔽了不同的网络结构，对上提供了统一的资源访问接 口，实现了计算资源的共享。通过对任务的抽象和目标系统适配器技术，屏蔽了 底层执行系统的异构性，实现了计算资源的虚拟化。通过根据不同的协议的数据 服务，遗留程序组件能够方便的实现数据的迁入和迁出。此外，还详细讨论了遗 留程序组件模型的实现，给出典型的遗留应用的和遗留作业的执行管理流程。最 ；j ，通过实验对遗留程序组件的执行性能进行了评估。 1 0 北京邮电大学硕士学位论文 第五章，重点阐述了复合作业的执行管理过程。基于g c m 组件模型，我们 通过采用复合组件的方法，实现了复合作业的执行管理。通过定义标准的a d l 结构描述文件，统一的描述一个网格组件的各个组成部分：包括组件类型、内容、 接口参数和控制器类型等。同时，描述了复合组件中各个子组件的接口绑定方法， 实现了组件的复合使用。根据复合组件模型，阐述了一个复合组件的执行管理的 模块结构和执行过程。本文还提出了作业调度服务的概念，通过使用作业调度器 和资源管理器，实现更高逻辑层次的网格作业的执行管理。最后，基于g c m 组 件模型，构建了一个生物信息学的示例，并使用i c 2 d 监控工具，监控了这个复 合作业的执行过程。 第六章，对论文的内容进行总结，并提出了进一步的工作。 北京邮电大学硕士学位论文 第二章网格执行管理研究现状和相关工作 网格是i n t e r n e t 发展的高级形式，它可以连接广域网范围内的不同标准的异 构“孤岛”，从而形成庞大的全球计算体系，因此受到世界各国和组织的高度重视。 目前，已经发展出许多论坛、实验环境和研究项目，其中较有代表性的研究项目 及组织包括：美国的g l o b u s 项目、o b j e c t w e b 组织的p r o a c t i v e 项目、欧洲的 g r i d c o m p 项目以及中国的c h i n a g r i d 项目等。 第2 1 节阐述了目前网格执行管理的现状，介绍了g r a m 、c o n d o r 和 g e m l c a 等网格执行管理技术；并对中国教育科研网格公共支撑平台( c h i n a g r i d s u p p o r tp l a t f o r m ，c g s p ) 和g r s 进行概述。第2 2 节重点介绍了g c m p r o a c t i v e 网格组件模型结构，它们是本文的研究基础。本课题就是g c m 组件模型研究的 一部分。 2 1 网格执行管理技术研究现状 执行管理作为网格的一个核心问题，是一个相对活跃的研究领域。它可以分 为遗留作业的执行管理和基于服务的网格作业的执行管理等技术。本章介绍了几 种典型的网格执行管理技术，对网格执行管理相关的工作、技术与系统进行综述。 2 1 1g r a m 由美国a r g o n n e 国家实验室与南加州大学信息科学学院i s i 合作开发的 g l o b u s h 项目从1 9 9 6 年研究至今，已有十多年的历史。它是一种研究网格环境 中互操作的中间件技术，为科学和工程上的网格计算应用程序提供基本的支撑环 境。它主要面向大型科学和工程计算。该开发项目组于2 0 0 2 年2 月提出了一种 框架模型o