（计算机软件与理论专业论文）cgsp中网格执行管理系统的设计与实现.pdf

山东大学硕士学位论文 摘要 中国教育科研网格公共支撑平台( c g s p ) 是为了构建c h i l l a g f i d 而研发的 核心网格中间件。c g s p 由一组互相配合的软件组件组成，支持c h i n a g r i d 网格 应用的开发、调试、部署、运行管理以及系统监控等各个环节。c g s p 基于w 曲 服务资源框架( w s r f ) ，依照0 g s a 进行设计和实现。c g s p 有多个功能模块 组成，例如执行管理，信息服务，数据管理和安全基础设施等。在所有的这些功 能模块中，执行管理是其中一个非常重要的模块。本文主要论述了c g s p 中执行 管理系统的设计与实现。 在网格计算技术中，执行管理服务主要协调多个应用对底层的资源( 如处理 器，磁盘，数据，存储和服务) 的访问，而这种访问无需考虑资源的物理位置和 访问机制。执行管理服务按照应用对资源的需求自动的匹配网格中的可用资源， 这就大大降低了用户访问底层资源的复杂性。网格执行管理系统关心的是工作单 元( 作业) 的初始化、管理直到执行完成的各种问题。c g s p 的执行管理系统提 供了以下功能模块： 1 提供对遗留应用程序的执行管理 在网格计算或面向服务架构出现以前，已经存在的被实现为在单一计算机或 者计算机集群上运行的工程和科学应用程序，被称作遗留应用或者遗留程序 ( l e g a 留a p p l i c 靠o n s o r l e g a c y p r o 黟锄s ) 。遗留应用在网格环境中的部署和执行 对于网格执行管理系统的实现是一个非常重要的部分。在c g s p 中，通用运行服 务( g e l l e r a lr 埘n j n gs e i c e ，g r s ) 用来封装计算资源，支持遗留应用在网格环 境中的执行。a 玛应用封装( a p p l i c a t i o np a c k a 垂n g ) 被设计用来管理各种遗留 应用资源，并提供了一种独立于应用实现平台的遗留应用调用方式。使用了j s d l ( j o bs u b i l l i s s i 0 i ld e r i 面o nl 锄g i i a g e ，作业提交描述语言) 这种事实上的标准 作业描述语言来提交作业。 2 。 提供对服务调用的调度执行管理 网格系统中，许多应用被实现或者包装成普通的w 曲服务或者是遵守w 曲 服务资源框架( w s r f ) 的服务。本文提出了一种基于超级服务的服务调用机制。 山东大学硕士学位论文 这种机制解耦了服务接口与服务实现，实现了超级服务到具体服务的动态绑定。 3 提供对工作流作业的执行管理 上面是c g s p 中的两类原子作业。复合作业被支持以便于编组( o r c h e s 仃a l e ) 原子作业集合。复合作业在c g s p 中被实现为基于b p e l 的工作流作业。c g s p 的网格工作流系统是基于开源b p e l 引擎a c t i v e b p e l 进行设计和实现的。通过 对a c d v e b p e l 引擎进行扩展，使之可以支持复合w s r f 服务。通过采用类似于 集群架构的方式聚合多个b p e l 引擎，比较简单的提供了可扩展性和工作流执行 的负载均衡。面向应用组件的工作流定义不仅仅简化了用户定义网格工作流，而 且还为服务的动态绑定奠定了基础。 关键词：网格执行管理系统，遗留应用，服务调用，网格工作流，b p e l i i 山东大学硕士学位论文 a b s t r a c t c h i i i a q i ds l 啪o n i l l gp l a 渤r m ( c g s p ) i sac o r eg 耐i i l i d d l e 啪r ed e v e l o p e df o r t l l ec 伽s 咖c t i o no fc h i l l a g i i d c g s pi sc o r r l p o s e do fas e t0 f o p e r a t e d f t w a r e n 驴o n 锄协，p r o v i d i i l gt 量l es u p r tf b ra l l 私p e c 忸o f 渐d 印p i i c a l i s u 6 h 雒 d e v e l o p m e n t ，d e b u 吕d 印l o y m e n km a n a g e m 雠t 锄dm 砌毒o r i n gc g s pi sd e v e l o p e d 锄di n l p l 啪t e db 嬲e d 1 l l ew 曲s e r v i c e 黜c ef 舢e w o r k ( w s r f ) ， c o n l p l y 吨谢m 也eo p g 硼s e i c ea r c l l i t e c t 哦c g s pc o n s i s t so fm a n yf i m c t i m o d i | 1 龉，鲫c h 鹊e ) 【e c 嘶o nm 锄a g e m t ，i l i f o m l a l i o ns e i c e ，d a t am 锄a g e m t 瓶d g f i di 1 1 f h s 仇l c t u r e a m o n ga l lt l l em o d l l l e s ，e x e c u d o nn 瑚a g 伽e n ti s eo f t h er 1 1 0 s t i m p o r t 锄t t h i st l l e s i s 百v 嚣t l l ed 髂i g na n di m p l e m 锄t a t i o no fe x e c i n i o nm a n a g e m e n t i n d e t a i l e x e 硎o nm 缸a g e m t a b i 舒a p p i i c a l i o 璐协h a v ec o o r d i i l a t e da c c 龆s 蕾o u n d e r l y i l 玛嘲o u r c 嚣，聘g 砌e 豁o ft l l e i i p h y 萄c a ll o c g 丘o no ra c c e s sm e c h 锄i s m e x e c u d o nm 锄a g e m 锄ti s 血ek e y 幻m a l ( i n gr e u r c 鼯e 嬲i l y c 韶s i b l et o d - l l s e r s ， 印卸t o l n 蒯c a l l y 蛳t c h i l 】gt 1 1 ef e q l l i r e m 朗臼o fa 渐da p p l j c 鲥o n 谢出t 1 1 ea v a i 】a b l e r e s o u r c e s e x e c 砸o nm 趴a g e m 即ti sc o n c 锄e d 谢t l l 血ep r o b l 锄so fi l l s t a l l 6 础ga n d m a n a g m g ，t oc o t t 】p l 甜o n ，i | i l i t so fw o r k ( j o b s ) t h ei m p o n a l l tf 砸c d o nm o d i l l e s p r 0 、，i d e db ye x e c l n i o nm a n a g e m e n ta r ed e s c 曲e d 勰f o l l o w s 1 e x e c u t i 蚰m 柚a g e m e n to fi e g a c yp m g 姗 m 锄yl a r g ei l l d u s 仃i a l 锄ds c i e n 嘶c 印p l i c 撕o n sa v a i l a b l e 幻d a yt i i a tw e 佗 w r i 纰1w e l lb e f o r eg f i d m p u 五n go rs e i c e o r i t e d 础i t e c t u 螂a p p e a 璋da r e i m p l e m 锄把dt ob er 岫0 ns i n l p l ec o r n p u t e r so ro nc o 唧u t e rc l u s t e 璐，t h e s ep r o 掣锄s 盯ec a l l e d 确聊瑚喀m 舢1 h ed e p l o y m 肌t 趾d 眈e c 埘0 no f l e g a 昭p r o g 啪瑚i nt l l e g f i d 酬r o r l m e n ti sac m c i a lp o i n ti i lm ei i n p l e m 锄t a l i o fe 捌吼撕o nm 缸a g 咖跚i t h lc g s eg e 咖r i 眦l i i i gs e r v i c ei sl l s e dt 0 c a p s u l a t e m p 埘n gr 鄂o u r ， p r o v i 血培t l l es l | p p 叫f o re x e c 嘶n g 血el e g a c yp r o j 笋锄s t h e n c 印to fl e g a c y n i 山东大学硕士学位论文 印p l i c a t i p a c k a g i i l gi sb r o u g h tu pt om e e ts p e c i a lr e q i l i r e m t so fc o m p l e xb i n a 巧 p r o 掣a m se x e c 面o n 锄dp r o v i d e 伍e i l d l yu ri n t e l f a c e j s i ) li ss e l e c t e d 笛t l i e s t a n 捌l 锄g i i a g e 协s u b r n i t j o b s 2 e 耻c u 6 仰m 肌a g e m 蚰to f s e n r i i n v o “n gs c h e d u n g m 锄ya p p l i c a l i 咄a mi m p l e m 锄t e do re n c 印s l l l a t e d 嚣p i a i l lw 曲s e i c 器o r w s r f c o n l p l i 缸ts e i c h y p e r i c eb 鹪e ds 嘶c ei n v o k i n gs c h e d t | l 崦 d e c o i l p l e s i c ef h n c t i o ni n t e r f k 器舶ms e i c ei m p l e m 舶枷s 坶p e rs 训c ei s d y n a i i l i c a l l yb o l | i i dt oac o n c r e t e 印p l i c a t i o ns e n r i 3 e 趾c u t i o nm 粕a g e 地n to f w o r 如哪 n ea b o v ea 伽oa l o r n i c j o b s c o m p o s i t e j o bi ss u p p o r c e dt oo r c h e s 仃a t eas e to f a t o i l l i cj o b s t h ec o 呻o s i t ej o bi si m p l e m 即t e d 嚣w o r k n o wj o bb 嬲e d b p e li n c g s pn e 蕊d w o r i 【f l o w 锣s 钯mi sd 韶i 弘e d 锄di m p l e m t e do nt l l eb a s i so fo p 哦eb p e l 锄百n ea c t j v e b p e la c 曲e b p e li s 嘲d e d 切p r 0 啊d e 也es u p p o f tf o r o r c h e s 删n gw s r f i u g ha d o p t 啦t h eb p e ld l i s t e r 删t e c t u r e ，血e l l i 曲t l l r o u 曲p m 锄da v a i l a b i l 时a r e 踮i l i e v e da p p l i 硎o nc 0 i r l p e mo r i e n t e d w o f k n o wd e f l n i l l g 埘l in o t 跚d yf 如i l i t a t eu 培协d e f i n e 例dw o 衄o w s ，b l l ta 1 p r o “d et l l ef o 咖d a d o nf o rd y i l 锄i cb i l l d i n go f g r i ds e f v i c e s i 晒rw o r d s ：g r i de x e c 嘶o nm a l l a g 伽e n ts y s t e l i l ，l e g a c yp r o g r 锄，s e r v i c e i n v o k i n 吕g f i d 、w r k f l o w ，b p e l 原创性声明和关于论文使用授权的说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本 论文不包含任何其他个人或集体已经发表或撰写过的科研成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方 式标明。本声明的法律责任由本人承担。 论文作者签名：与进业 日 l哆 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同 意学校保留或向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅；本人授权山东大学可以将本学位论 文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定 论文作者签名：妻鱼亟导师签名： 山东大学硕士学位论文 1 1 研究背景介绍 第l 章绪论 2 0 世纪9 0 年代初，随着高性能计算技术和互联网技术的进一步融合，起源 于美国政府资助的分布式超级计算( d i s 砸b u t e ds 叩e 删妇g ) 项目i w 趣y i l l 的 网格计算技术，成为了继i n t 咖e t 、w 曲之后的第三大技术浪潮。1 9 9 8 年1 1 月i 锄 f o s t e r 出版的网格：新的计算基础设施的蓝图( t h eg f i d ：b l u 印r i mf o ran e w c o m p 嘶g i n 觚t r u c t u r e ) 圜中第一次将这种新的计算技术称之为“网格”。“网格” 这一术语的思想源于日常生活中公共设施的应用【3 】，人们已经非常习惯于打开电 源开关就获得照明，打开水龙头就有水自动流出，而完全不必考虑电力和自来水 来自什么地方，它们只是在需要的时候自然地出现在人们身边。是不是能够用同 样的方式来获得和使用复杂的计算能力呢? 网格技术的出现为这一设想提供了 可能。网格思想经提出，就以构建如同公共基础设施一样的共享、可靠的计算 系统为最终目的。网格的设计者们希望电脑能够完全摆脱高科技产物高深莫测的 角色，用户并不需要考虑如何保证系统正常运行，只需要使用即可。 网格计算技术是构筑在h n e m e t 上的一项新的分布式计算技术，是一个硬件 和软件基础设施，通过高速的共享网络连接地理上广泛分布的异构资源( 包括各 种高性能计算机、数据库、科学仪器、文件和超级计算系统等) ，为上层应用提 供对高端计算能力的可依赖的，一致的，广泛的和低价的接入，以此来协同解决 那些通常需要很多c p u 处理或存储器访问的单个问题【2 j 。网格概念的核心是动态 的，多机构的虚拟组织中的资源共享和协同问题求解【4 】。这里的资源共享并不仅 仅指的是数据文件的交换，而是直接的对计算机，软件，数据和其它资源的直接 接入。这种共享对工业，科学和工程领域中的一些协同问题求解至关重要。鉴于 互联网是一种通信网络，网格计算可视为一种计算网络。 网格的发展经历了三个阶段：第一阶段是网格的萌芽阶段，开始于1 9 9 0 年 代早期，研究内容是关于千兆网试验床以及一些元计算【5 】方面的工作；第二阶段 是一些早期的试验，时间从1 9 9 0 年代中期到晚期，出现了一些比较重要的开创 山东大学硕士学位论文 性的研究项目，比如a o b l l s 【6 】，l e g i o n 问等；目前是网格计算的迅速发展阶段， 出现了影响很大的组织全球网格论坛g g f ( a o b a lg r i df o 姗) 嘲，并且在 网格的设计和实现架构方面，最主要的里程碑是提出了虚拟组织和开放网格服务 架构( 0 g s a ，o p 锄g r i ds e n ，i c ea r c h i 僦：t l l r e ) 吲。通过集成分布式的资源来动 态构建虚拟组织，网格计算已不再仅仅局限于科学研究，工业界与学术界联盟正 致力于使网格计算在更广泛的领域得到推广和应用。 图1 1 ：网格的演化过程所涉及的各种技术 o g s a 的目的是用来促进分布式异构资源的无缝使用和管理【1 们。o g s a 采用 面向服务的架构( s o a ) ，是、b 服务和网格技术融合的结果。0 g s a 以一种服务 的观点对网格的设计和实现进行了定义，允许跨异构动态虚拟组织的服务集成 “”。o g s a 主要定义了网格计算平台中的两个主要组件：基础设施组件和核心服 务。其中基础设施组件描述了所有核心服务和上层应用都可能使用到的一些底层 组件；核心服务描述了网格平台应该提供的一些核心功能( 能力) ，这些能力可 以被单独的使用或组合成新的能力来供上层网格应用或用户域进程使用。使用面 向服务的网格计算基础设施定义、部署和执行的服务被称作网格服务【”。在面向 服务的网格基础设施中，网格将大部分的核心能力实现为网格服务。 中国教育科研网格公共支撑平台( c g s p ，c h i n a g f ! i ds u p p o n i l l gp l a 怕嘶) 是为建设中国教育科研网格而开发的核心网格中间件。c g s p 是国际上第一个公 开发布的基于w 曲服务资源框架( w s r f ) 的网格中间件，它依照o g s a 的设计 规范，对教育和科研系统中的多种资源进行整合，屏蔽网格资源的异构性和动态 2 山东大学硕士学位论文 性，为多种科学计算与工程研究提供高性能、安全、方便的网格服务，形成了一 套完整的网格服务支撑平台。c g s p 壬黾供类似于操作系统的功能。操作系统通常 负责计算机上工作负载全生命周期的管理，按照一定的映射策略将工作负载映射 ( 或者重映射) 到各种资源上1 1 3 1 。在c g s p 中( 可以被看作一个网格上的元操作 系统) ，工作负载主要是网络上的分布式应用( 传统应用或者是基于w 曲服务的 应用) ：资源主要包括服务器，存储阵列，网络设备和软件资源等。c g s p 为高层 应用访问底层网格资源提供了友好的接入界面。 c g s p 有多个功能模块组成，例如执行管理，信息服务，数据管理和安全基 础设施等等。在所有的这些功能模块中，执行管理是其中一个非常重要的模块。 执行管理必须为网格上运行的作业( 用户定义的工作单元) 提供全生命周期的管 理。执行管理能够使得上层应用协调一致的访问底层网格资源，而不需要关心网 格资源的物理位置和访问机制【”j 。通过从众多的网格资源中自动地匹配网格应用 的需求，执行管理在方便终端用户访问各种资源方面发挥着至关重要的作用。针 对c h i r i a g r i d 的硬件环境，部署环境和支撑的上层应用的特点，c g s p 中的执行管 理系统必须满足下面的这些基本需求： 支持各种类型的作业：各种类型的作业的执行必须被支持，包括一些简 单的作业( 原子作业，比如一个科学程序的运行和应用服务的调用) ， 以及复杂的作业，比如工作流( 复合服务) 的调用执行。 作业管理：在作业的整个执行生命周期里，能够对作业的执行进行管理 和监控非常重要。作业必须具有管理接口和监控接口，以允许用户对作 业施加控制和查看作业运行状态。 调度：执行管理系统必须具有能够基于给定优先级和当前的资源分配状 况对作业进行调度和执行的能力。同时，通过使用多个调度器，执行管 理也必须提供跨网格管理域的作业调度机制。 资源供应：执行管理必须对资源分配、部署和配置整个复杂流程提供自 动化支持。执行管理必须支持可以将作业执行需要的应用和数据部署到 相应的资源上，并且对其进行自动配置，以便为作业的执行准备好需要 的执行环境。 为了满足上面的需求，依据开放网格服务架构，本文给出了c g s p 中执行管 山东大学硕士学位论文 理系统的设计与实现。 1 2 本文研究内容 网格执行管理系统关心的是工作单元( 作业) 的初始化、管理直到执行完成 的各种问题。在支持各种作业类型方面，c g s p 执行管理中作业的定义包括并扩 充了传统作业的概念。执行管理支持三类作业。在执行管理服务中，有两种类型 的原子作业。一种原子作业是那些被设计和开发直接在网格中间件上运行的 0 g s a 应用( 现在仅仅支持基于超级服务( h y p e r s e i c e - b 嬲e d ) 的服务调度) 。 另一类原子作业是那些被设计和开发运行在传统平台执行环境上的非o g s a 应 用( 主要指遗留应用程序) 。复合作业被支持以便于编组( 0 r c h 劬越e ) 原子作业 集合。复合作业被c g s p 工作流引擎调度和执行。c g s p 工作流引擎基于 w s b p e l 规范设计。所以，一个复合作业被用b p e l 编组语言描述。 1 -提供对遗留应用程序的执行管理 在网格计算或面向服务架构出现以前，已经存在着大量的工程和科学应用程 序，它们一般被实现为在单一计算机或者计算机集群上运行。这些应用程序被称 作遗留应用或者遗留程序( l e g a c ) ，a p p l i c 撕s o r l e g a c y p r o i 舯m s ) 。遗留应用在 网格环境中的部署和执行对于网格执行管理系统的实现是一个非常重要的部分 【1 4 1 。 遗留应用的执行管理主要研究如何在计算结点上管理和调度本地任务的能 力，如何实现计算资源的虚拟化，如何为遗留程序提供统一的基于服务的任务提 交接口，和如何尽可能在不改动已有程序的情况下，实现在网格环境中执行遗留 程序的功能。在c g s p 中，通用运行服务( g 吼e r a lr m n i n gs e i c e ，g r s ) 和应 用封装( a p p l i c 靠o np a c k a g i n g ) 被设计并实现来支持遗留应用在网格环境中的 执行。并且使用了j s d l ( j o bs u b r n i s s i o nd 器c r i 埘o nl 粕g g e ，作业提交描述语 言) 这种事实上的标准作业描述语言来提交作业。 2 提供对服务调用的调度执行管理 网格系统中，许多应用被实现或者包装成普通的w 曲服务或者是遵守w 曲 服务资源框架( w s r f ) 的服务。通过使用标准的w 曲服务调用技术，s o a p 消 息协议，应用服务可以被简单的被其它应用或者用户使用。应用的w 曲服务化 山东大学硕士学位论文 使得应用大大的增强了其互操作性。一旦应用资源以w 曲服务的方式暴露后， 那么对于应用的使用就变成了对服务的调用。 对于基于服务的应用调用，本文主要研究的是如何将一组有不同计算节点提 供的、具有共同语法和语义接口的网格服务聚合成一类服务，并为这一类网格服 务统一制定元数据模板和计算任务的分配策略等领域专家知识；如何为这一类网 格服务提供一个统一的访问接口，供作业开发人员描述计算任务的功能需求；如 何由系统自动根据作业的资源要求，选择当前可用的、满足要求的网格服务执行 计算任务。总体研究的目标是：支持动态的资源接入和退出，尽可能使得作业的 执行不受具体资源状态( 接入、退出、故障) 的影响。为此，论文中提出了一种 超级服务的概念来解决上面的各种需求。 3 提供对工作流作业的执行管理 在面向服务的网格基础设施中，网格将大部分的功能组件实现为网格服务， 这些网格组件服务需要互相协同才能完整地支持一个网格应用服务。利用工作流 技术，可以将两个或多个网格服务组合成一个复杂的可执行的流程，这样便可以 简化用户使用网格基础设施，提高网格应用开发的效率。网格工作流可以用来支 持大规模的复杂的e s c i 髓c e 和e b l l s i n 嚣s 流程的建模，管理和执行【1 q 。执行管理 需要提供一系列工作流相关的工具简化通过组合底层网格服务来构建高层网格 应用服务的过程。网格基础设施和w 曲服务基础设施的不断融合强烈建议开发和 使用相同的工作流标准。b p e l 正在成为w 曲服务社区采用的技术，在网格中也 被建议采用此技术。 论文中阐述了，当把b p e l 作为网格工作流的基本实现技术时，b p e l 以及 基于b p i m 的工作流系统必须提供的一些特性，并且论文提出了满足这些特性的 解决方法，并给出了一个基本的参考实现系统。当然，为了完美地融合基于b p e l 的工作流系统与网格技术，网格环境本身也要提供一些相应的支持。 论文的主要创新点有； 1 在遗留程序管理方面：第一次提出了对应用资源进行封装的概念，这样 大大地简化了复杂遗留应用在网格平台上的自动部署和执行；使用并扩 展了j s d l 作业提交语言，提供一致的作业提交接口。 2 ，在服务调用方面：提出了基于超级服务的服务调度机制。这种机制解耦 山东大学硕士学位论文 了服务接口与服务实现，实现了超级服务到具体服务的动态绑定。超级 服务为一类网格服务提供了一个统一的访问接口，支持动态的服务资源 接入和退出。 3 在支持工作流作业方面：将b p e l 作为整个工作流系统的实现技术。实 现了b p e l 与w s r f 的整合，使得b p e l 引擎可以复合w s r f 服务；提 出了b p e l 引擎的集群架构来解决引擎的负载均衡，并满足网格对高吞 吐率，可扩展性和高可用性的要求；提出了面向应用组件的工作流定义 方式，不但简化了用户定义网格工作流，而且还为工作流运行时的服务 动态绑定奠定了基础。 4 支持跨域作业的执行：c i l i n a g r i d 各个节点主要通过c g s p 进行连通。 c g s p 的执行管理模块通过内部对跨域作业的支持，允许一个域中的作 业调度到另一个域中执行。这样就可以无缝地支持作业在整个c h i l l a g 耐 平台上的执行，允许各个域之间进行资源共享和作业协同。 1 3 相关技术研究 在网格中，为了使得上层应用可以协调一致的访问底层网格资源，网格界在 网格执行管理系统的设计和实现方面做了大量的研究和开发工作。下面简要地介 绍了与本文论文内容相关的一些工作。 开放网格服务架构执行管理服务架构梗概( 0 g s ae m sa r c l i i t e c t 哦 s c e n a r i o s ) i l ”是由g 舒发布的一个用来指导设计遵守开放网格服务架构的网格执 行管理服务的提议框架。0 g s a e m s 服务可以划分为以下三个子类别的服务，即： s c ( s e i c ec 伽t a i n 服务容器) 服务；j m ( j o bm 舭a g e r 任务管理) 服务；r s ( r e = s o u r c es e l e c t i o n ，资源选择) 服务。s c 服务提供了任务和服务( i o b s 锄d s e i c e s ) 的基本运行环境，在概念上与g l o b 惦w s g 王0 w 相似。j 明艮务是管理 任务从启动到终止的全生命周期。j m 服务管理的任务描述采用j s d l ( j 曲 s u b i i l i s s i o n d 髓c i i p d o n l a i l g i l a g e ，任务提交描述语言) ，j m 服务负责发现和操纵任 务描述中的信息。r s 服务( 改名为g 耐一r s s ) 可进一步包括三类服务：1 e p s ) 【e c 而o np l a i i t l i i l gs e r v i c e ，执行计划服务) ；2 c g s( c 孤d i d a t es e tg e f 砒o l 候选集合产生器) ；3 r s ( r e 辩r v 撕o ns e i ，资源预留服务) 。n j u 也g i 【1 8 1 是为 山东大学硕士学位论文 期五年( 2 0 0 3 2 0 0 7 ) 的日本国家网格项目。它的主要目标是开发一套作为未来 e i 肌c e 基础的网格中间件软件。n a r e g is 坤e r s c h e d l l l e r 是基于o g s a 一脚s 框 架文档v 1 o 中规定的组件关系的第一个工作实现。基于对s 印e r s c h e d l l i e r 设计和 实现的工作和经验，很大程度上确认了0 g s a e m s 框架的可行性，但该框架的详 细规范需要一些优化和速度层面的改进。 g l o b 璐1 b o l k i t 4 ( g t 4 ) 是由g l o b l l s 开发小组开发的网格中间件，是当今构 建网格最流行，最实用的工具集。在g t 4 中，执行管理被实现为一系列的相关工 具。这些工具涉及到远端计算任务的初始化，监控，管理，调度和协同。网格资 源分配和管理( g i i dr 箦o l | r c e 舢l o c 撕0 n 觚dm 觚a g e m e n t ，a l a m ) 是g t 4 执行 管理模块中最重要的组件。在a 认m 中，作业指的是那些可能具有输入和输出操 作的计算任务的执行。a u m 并不是一个资源调度器，而是一个与大量本地资源 调度器( 比如p b s ，f o r k ，l s f ，l o a 皿e v e l ) 使用标准消息格式进行通信的协议 引擎嗍。a 认m 仅仅支持对面向命令行的遗留应用程序的执行管理。c g s p 不仅 支持多种作业类型，并且在遗留程序执行方面提出了独特的应用封装的概念。 为了方便终端用户提交和管理遗留程序作业，【1 4 】f 2 0 】【2 1 】描述了各自的方 法来将遗留代码转换为网格服务。c g s p 中的执行管理提供了自己的方法来将遗 留代码转换为g 王峪应用。 在服务调用管理方面，【2 2 】建议了一种w 曲服务发现架构。这个架构主要 是用来在运行时发现和适配远端服务。本文给出的服务调用管理是基于超级服务 进行调度的，更多的是关注具体服务的选择。 在网格执行管理中提供对工作流执行的支持非常重要。【2 3 】 2 4 】【2 5 】描述了 各自的方法来使得b p e l 适应网格系统。c g s p 中的网格工作流同样是基于b p e l 来实现的。其中主要是通过修改了开源b p l m 引擎a 枷v e b 吼来满足网格系统 的特殊需求。 1 4 本文组织结构 在后续的章节中，将讨论c g s p 中网格执行管理系统的设计和实现，其中详 细讨论了遗留应用程序作业执行，服务调用作业执行和工作流作业执行。论文结 构安排如下： 山东大学硕士学位论文 第二章介绍了开放网格服务架构，然后主要论述了c g s p 网格执行管理系统 架构，并且给出了架构中作业管理器的设计与实现。 第三章论述遗留应用程序的作业执行。 第四章论述服务调用作业执行。 第五章论述工作流作业的执行。 第六章对全文进行总结。 山东大学硕士学位论文 第2 章c g s p 中网格执行管理系统架构 本章首先介绍了开放网格服务架构，然后主要论述了c g s p 网格执行管理系 统架构，并且给出了架构中作业管理器的设计与实现。 2 1 开放网格服务架构 2 1 1 开放网格服务架构 开放网格服务架构( o p g r i ds e r v i c e 删t e c t u r e ，简称o g s a ) 是由全球 网格论坛( g g f ) 公布的一个指导面向服务网格设计和实现的一系列规范( 当前 大部分文档都处于草案状态) 。o i g s a 的概念最初来源于i 趾f o s t e r 等人的论文网 格的哲学。为了以一种开放的和标准化的方式来解决网格计算里面的各种需求， 网格领域急需一种框架来指导提供集成支持，虚拟化和管理功能的分布式系统的 设计和实现。这种框架需要有一个核心的接口集合，一些必要的行为，资源模型 和绑定技术。o g s a 定义了对这些核心能力的需求，为网格计算环境提供了一个 通用参考框架。它同时也标示出了尽管可能不是网格必需的，但是非常有用的一 些组件和功能。尽管0 g s a 没有精确到( 也不应该精确到) 定义编程接口或者 其它可以保证不同实现之间互操作的方面，但是当面向一个特定的目的环境时， 基于目的环境的需求，它可以被用来识别出网格实现需要包含的功能。0 g s a 主 要由两类文档组成：o g s a 架构文档通过定义各种需要的能力顿l 如，作业执 行，资源管理，数据管理和安全，在一个比较高的层次上描述了一个面向服务的 网格应该到底提供哪些功能；其它的文档( 一些马上就要发布，一些仍在计划或 开发阶段) 定义了核心服务集的接口和行为。 0 g s a 的目的是用来促进分布式异构资源的无缝使用和管理。为了方便分布 式资源的使用和管理必然需要提供一系列的公用设施。o g s a 定义的网格基础设 施为整个网格系统提供这些公用设施。在0 g s a 中，这些公用设施被实现为能 力( c a p a b i l 时) 的集合。图2 1 给出了其中一些能力的逻辑的，抽象的，分层的 山东大学硕士学位论文 表示。在表示中，可以看到有三个主要的逻辑抽象层。 图2 1 ：网格基础设施的示意图 第一层( 最下面一层) 代表了基本资源。基本资源指的是那些底层的物理的 或逻辑的实体。物理实体包括内存和磁盘等等，逻辑实体包括许可证，内容和操 作系统进程等等。这些资源通常是被本地拥有和管理，而可能被远程共享。资源 的配置和定制也都是本地的。资源实体经常通过虚拟化技术进行虚拟。 第二层( 中间层) 代表了一个更高层的虚拟化和逻辑抽象。这一层的虚拟化 和抽象主要是为了定义与o g s a 网格相关的各种能力。这些能力可以被单独的 使用或组合成新的能力，主要用来提供一个基础设施来支撑上层应用或用户域进 程。这些能力集合( 正是0 g s a 所关心和定义的) 是相对不变的和标准化的。 对第一层和第二层关系的正确理解，可以帮助理解o g s a 所定义的内容。 o g s a 的面向服务的特性意味着被表示为服务的虚拟化后的资源与架构中其它 的服务是对等的( 例如中间层和上层的服务) 。对等的关系意味着架构中的任何 一个服务都可以被单独地初始化一次服务交互。进一步来讲，第二层的服务需要 使用和管理最下面一层被虚拟化的资源，以便于以单一服务( 或者通过聚合组 合) 的形式来提供一些高层的能力。可见这两层的关系非常紧密，所以图中使用 了细线来区分它们。在细线下面层次中的实体在某种程度上可以被认为是与 山东大学硕士学位论文 o g s a 有关或者是0 g s a 的一部分。 第三层( 最高层) 是使用o g s a 的能力来实现面向用户的或者是面向具体 领域功能和流程( 例如业务流程) 的应用和其它实体。它们的大部分不属于o g s a 要考虑的范围，但是从网格基础设施应该支持的用例这方面，正推动着o g s a 架构的定义。 总之，第一层和第二层构成了整个网格基础设施，基础设施有基础设施组组 件和核心服务组成。o g s a 的讨论涉及到第一层和第二层，但是0 g s a 更关心 的是第二层的能力的定义。0 g s a 建立在w 曲s e n ，i c 郫架构之上，被看作w 曲 s e i c 酷技术的一个特别应用。它主要定义了两个方面的组件：基础设施组件和 核心服务。 o g s a 的基础设施服务主要包含下面组件( 但不限于这些组件) ：w 曲 s e i c 嚣基础，命名，安全服务，状态表示，通知，事务，编制，互操 作性的确保。 0 g s a 的核心服务包括：执行管理服务，数据服务，资源管理服务，安 全服务，自我管理服务，信息服务。 2 1 2 网格服务 在网格中，一个网格资源经常被用来表示一些状态或数据，并且经一个接口 对外提供一些有用的能力。与资源相关的接口定义了可被资源使用者调用的一个 逻辑的操作集合。面向服务的架构允许网格资源通过一个标准的服务接口来发布 它们的能力。关联于一个网格资源的服务接口被叫做一个网格服务。在遵守 o g s a 的网格系统里面所有的资源都建模成网格服务。这些网格服务利用w 曲 服务的技术，基于s o a 的原则建立。这样一个网格资源和它的状态通过网格服 务来进行控制和管理。一个网格服务可能需要访问不止一个资源，同样一个资源 允许受多个网格服务的管理。有的时候，网格服务可能在每一次被调用的时候就 新创建一个资源实例。 尽管网格服务是在w 曲服务技术的基础上实现的，但是它们二者还是存在 一些根本的差别。其中最本质的区别便是有状态和无状态的区别。 山东大学硕士学位论文 图2 2 ：有状态和无状态w e b 服务的调用比较 普通的w 曲服务通常是无状态的( 尽管在理论上没有任何技术规范规定w 曲 服务必须是无状态的) 。这也就意味着w 曲服务在一次调用和另一次调用之间不 能“记忆”信息，或者不能保持状态。例如，假设想要编写一个简单的w 曲服 务，这个服务的作用就是作为一个整数累加器。这个累加器初始为o ，我们想要 不断的给它增加数值。假设这个服务通过一个a d d 操作来完成累加动作。操作 a d d 接受一个整数，然后将这个数与当前累加器的值相加，最后返回给调用者累 加后的累加器的值。如图2 2 中左图所示，第一次调用看起来工作正常。然而， 既然一个服务是无状态的，那么接下去的调用对先前的调用一无所知，所以在第 二次调用时，返回的不是l l ，而是6 。而网格服务不同于w 曲服务的地方就在 于网格服务有自己的一套机制来记录下前一次调用的状态，然后当第二次调用的 时候，它知道累加器已经被累加到6 ，所以正确的返回了1 1 ( 见图2 - 2 右图) 。 这正是有状态和无状态最简单的一个例子。实际上，w 曲服务不保持状态信息并 不一定是个坏事。有大量的环境下需要w 曲服务保持这样一种无状态的特征。 然而，网格环境下有大量的需求要求服务保持状态信息，所以网格服务通常呈现 出一种有状态的w 曲服务。 一个w 曲服务解决的是持久化服务发现和调用的相关问题，其中w s d l 文 档指向的通常是一个宿主w 曲服务的位景。一个网格服务解决的是一个虚拟资 源和它的状态管理相关的问题。网格是一个动态的环境。因此，一个网格服务经 常是短暂的，而不是持久性的。一个网格服务，不像w 曲服务，通常可以被动 山东大学硕士学位论文 态的创建和删除。而对于w 曲服务来说，w 曲服务的生命周期通常超过它的所 有的客户端。如果它对应的w s d l 文件对于客户端来说是可以访问的，那么这 个服务就认为是可用的。网格服务不对此作出任何保证。这也就意味着应该使用 一种比较特殊的方式来管理，命名，发现和使用网格服务。o g s a 模型采取了一 种工厂模式来创建短暂的网格服务。 o g s a 曾使用过两个标准来实现网格服务，一个是开放网格服务接口 ( o g s i ) ，另一个是w 曲服务资源框架( w s r f ) 。由于o g s i 的一些众所周知 的缺点，现在几乎没有任何网格服务是基于0 g s i 标准来实现的。 2 1 r 3 网格执行管理服务 网格执行管理服务属于0 g s a 所定义的核心服务中的一类。执行管理服务 ( 0 g s a e m s ) 主要负责初始化和管理工作单元，直到执行完毕。工作单元可以 包括0 g s a 应用程序或者遗留( 非0 g s a 应用程序) 应用程序( 例如一个数据 库服务器程序，个运行在j a v a 应用服务容器中的s e l e t 程序) 。 下面的例子指出了网格执行管理需要解决的部分问题。一个应用 ( a p p l i c 撕) 可能需要一个缓存服务( c a c h es e i c e ) 。它应该使用一个已经存 在的服务，还是创建一个新的服务? 如果它创建一个新的服务，这个新的服务应 该放在什么地方? 这个服务该如何配置? 各种必需的资源该如何提供给这个缓 存服务? 缓存服务可以做出什么服务协定，需要什么其它服务? 类似地，假想一 个用户想要运行一个遗留程序。在生物信息学，电子设计自动化( e l t r o i l i cd 船i 印 a u t o m a t i 0 1 1 ) ，天气预报，航空，金融服务等领域，存在一些大量的这类应用程序， 这些程序接受一些输入数据( 通常在文件中) ，参数，并且产生输出。当在网格 中执行这些应用程序时，需要解决的问题是：程序将在什么地方运行；数据文件 和执行文件该如何移动到执行位置：如果程序执行失败了怎么办；该如何重新启 动一个已经停止了的应用；等等。综合来说，网格系统中的执行管理主要解决与 执行工作单元相关的一些问题，包括作业的执行位置定位，供应，和生命周期管 理。 执行管理服务非常重要是因为网格环境不是一个静态的环境，不能依赖类似 于u d d i 这种存储静态信息的注册库。网格被期望运行在资源负载高度可变的环 山东大学硕士学位论文 境中。例如，在一个动态提供计算能力的环境中，一个应用使用的资源集合会随 着时间在不断变化。为了满足应用的需求和服务水平协