（计算机软件与理论专业论文）基于gos的科学工作流管理系统的研究与实现.pdf

l 。 原创性声明和关于论文使用授权的说明 原创性声明 l i i i i i ! i i i i i ii i i1 1111i y 1 7 9 3 7 11 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名： 垒垄垄 日 期：z 旦坦：堡 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名： 查盏导师签名：终式日期：幽：丝 翻 _ 一 山东大学硕士学位论文 目录 摘要j i a b s t r a c t i i i 第一章绪论1 1 1 研究背景1 1 2 国内外研究现状3 1 3 论文主要工作5 1 4 论文组织结构? 6 第二章相关技术概述8 2 1 网格计算8 2 2 中国国家网格中间件g o s 1 l 2 3 科学工作流1 5 2 4 小结1 7 第三章工作流系统的体系结构1 9 3 1 系统设计目标1 9 3 2 工作流系统的体系结构2 0 3 2 1 用户p o r t a l 层2 1 3 2 2 逻辑层2 1 3 2 3 物理资源层2 1 3 3 科学工作流功能模块设计2 2 3 4 小结2 3 第四章科学工作流系统关键技术2 4 4 1 系统工作流程2 4 4 2 结构化工作流语言2 5 4 3 工作流引擎2 9 4 3 1 解析引擎3 0 0 山东大学硕士学位论文 4 3 2 资源管理3 0 4 3 3 执行引擎3 1 4 3 4 消息服务3 2 4 4 容错技术3 5 4 5 小结3 6 第五章科学工作流系统的应用3 7 5 1g o s 网格环境的应用3 7 5 1 1 管理网关3 7 5 1 2 应用网关3 8 5 2 工作流图形编辑器3 9 5 3 工作流的监控4 0 5 4 小结4 2 第六章结论和展望4 3 6 1 本文工作总结4 3 6 2 下一步工作研究4 4 参考文献4 6 致谢5 0 攻读学位期间发表的学术论文目录5 1 攻读学位期间参与的项目5 2 虬一 山东大学硕士学位论文 t a b l eo fc o n t e n t a b s t r a c ti nc h i n e s e i a b s t r a c ti ne n g l i s h ，1 1 i c h a p t e r 1i n t r o d u c t i o n 1 1 1r e s e a r c hb a c k g r o u n d 1 1 2r e s e a r c ha c t u a l i t yi nh o m ea n da b r o a d 3 1 3m a i nw o r k 5 1 4s t r u c t u r eo f t h e s i s 6 c h a p t e r2 r e l a t i v er e s e a r c h 8 2 1g r i dc o m p u t i n g 8 2 2c h i n an a t i o n a lg r i dm i d d l e w a r eg o s 1 1 2 3s c i e n t i f i cw o r k f l o w 1 5 2 4s u m m a r i z a t i o n 1 7 c h a p t e r3a r c h i t e c t u r eo f t h ew o r k f l o ws y s t e m 1 9 3 1s y s t e mg o a l 二1 9 3 2a r c h i t e c t u r e 2 0 3 2 1u s e rp o r t a ll a y e r 2 l 3 2 2l o g i c a ll a y e r 2 1 3 2 3p h y s i c a lr e s o u r c el a y e r ：2 1 3 3w o r k f l o ws y s t e mm o d u l e 2 2 3 4s u m m a r i z a t i o n 2 3 c h p t e r4k e yt e c h n o l o g yo fs c i e n t i f i cw o r k f l o ws y s t e m 2 4 4 1p r o c e s so f s y s t e m 2 4 4 2s t r u c t u r e dw o r k f l o wl a n g u a g e 2 5 4 3w o r k f l o we n g i n e 2 9 4 3 1p a r s ee n g i n e 3 0 山东大学硕士学位论文 4 3 2r e s o u r c em a n a g e m e n t 3 0 4 3 3e x e c u t e e n g i n e 3 1 4 3 4e v e n ts e r v i c e 3 2 4 4f a u l tt o l e r a n c e 3 5 c h a p t e r5a p p l i c a t i o n si ns c i e n t i f i cw o r k f l o ws y s t e m 3 7 5 1g o s g r i de n v i r o n m e n t 3 7 5 1 1m a n a g e m e m g a t e w a y 3 7 5 1 2a p p l i c a t i o ng a t e w a y 3 8 5 2g r a p h i c a le d i t o ro f w o r k f l o ws y s t e m 3 9 5 3m o n i t o ro f w o r k f l o w 4 0 5 4s u m m a r i z a t i o n 4 2 ， c h a p t e r6c o n c l u s i o na n df u t u r e 4 3 d b 6 1c o n c l u s i o no f t h e s i s 4 3 6 2f u t u r ew o r k 4 4 r e f e r e n c e s 4 6 a c k n o w l e d g e m e n t 5 0 p u b l i s h e da c a d e m i cp a p e r s 5 1 山东大学硕士学位论文 皇! 曼曼曼皇曼曼皇曼皇曼曼曼苎曼曼曼曼曼曼曼曼曼曼曼! 曼曼曼曼曼曼鼍曼皇曼! 曼曼曼皇曼曼皇曼曼皇曼, _ m m a a 鼍皇曼皇 摘要 近些年来，网格计算已经成为是网络计算、分布式计算以及高性能计算领域 中研究的重点和热点，随着网格技术的发展和网格基础设施的不断改善，网格社 区中对网格应用的需求也不断增长，从而在网格中开发了越来越多的功能强大， 需要大量资源的科学计算和协同应用程序。另外，这些应用的逻辑流程也越来越 复杂，涉及多个具有时间和空间约束的步骤、资源和过程。近几年，科学工作流 作为一个新兴的名词出现，提供了能够在网格中执行由多个相互关联的子任务组 成的复杂任务的机制，使得网格应用能够自动执行，提高了网格环境的效率。 科学工作流是随着网格技术的发展而出现的，它被定义为一些网格应用的组 合，它们能够在异构和分布的网格资源中按照良好的顺序自动的执行，从而达到 特定的科学目标。科学工作流技术既能够通过灵活的方式定义、修改应用的执行 流程，又能够使用网格资源管理系统和调度系统，动态将任务分配到多个网格节 点中进行计算以达到最优执行效率，因此它已受到网格工作者的重视，在网格环 境中逐步使用。本文的主要内容有： 本文在g o s 中国国家网格平台的基础上，提出了基于g o s 的科学工作流的 体系结构，它分为用户层、逻辑层和物理资源层。三层结构清晰，耦合性低，能 够针对g o s 的特点进行扩展。该系统的特点是使用订阅一通知的消息驱动机制 及多线程的任务执行机制，使得工作流任务能够自动触发执行，并能同时处理大 量并发任务。另外，系统也引入了用户支持，实现了图形化的用户操作界面，能 够方便用户对工作流建模、执行及实时流程监控，实现对工作流整个生命周期的 观测。 实现了科学工作流的原型系统。在g o s 的基础上，设计开发了科学工作流 系统的解析引擎、资源管理、执行引擎、消息服务及容错机制等组件，分别实现 对工作流的任务解析、网格资源的选择及工作流执行过程中任务之间的通信和自 动化。还针对g o s 的作业特点，设计了结构化的工作流语言，能够支持顺序、 循环、条件跳转结构。 山东大学硕士学位论文 工作流系统在g o s 网关中的应用。使用网页技术，将工作流系统结合在g o s 的应用网关p o r t a l 中，用户可以使用原有的g o s 系统来管理工作流。使用m m 5 中尺度气象模拟应用，对本文实现的科学工作流系统进行了测试，实验证明，该 系统能够完成工作流的建立、自动执行及对整个过程中的实时监控。 关键词：网格计算；网格操作系统；科学工作流；工作流引擎：可视化监控 山东大学硕士学位论文 a b s t r a c t i nt h er e c e n ty e a r s ，g r i dc o m p u t i n gh a sb e c o m i n gah o tm s e a r c ho fn e t w o r k c o m p u t i n g ，d i s t r i b u t e dc o m p u t i n ga n dh i l g hp e r f o r m a n c ec o m p u t i n g w i t ht h e d e v e l o p m e n to fg r i dt e c h n o l o g y a n dt h e i m p r o v e m e n to fi n f r a s t r u c t u r e ，t h e r e q u i r e m e n t so fg r i da p p l i c a t i o ni ng r i da g o r aa r ei n c r e a s i n g al o to fp o w e r f u la n d c o l l a b o r a t i v e a p p l i c a t i o n s t h a tn e e d l a r g e r e s o u r c e sa r e d e v e l o p e d i n g r i d e n v i r o n m e n t s o nt h eo t h e rw a y , t h ep r o c e s so ft h e s ea p p l i c a t i o n sg r o w i n gm o r e c o m p l e x , t h e yc o n s t r a i n e dw i t ht i m e ，s p a c ea n do t h e rr e s o u r c e , s t e p s ，p r o c e d u r e s i n t h ep r e s e n ty e a r s ，s c i e n t i f i cw o r k f l o ww a si n v e n t e da san e w t e c h n o l o g y i tp r o v i d e sa n e wm e c h a n i s mt oe x e c u t ec o m p l e xp r o c e s sf l o wt h a tc o m p o s e do fr e l a t e ds u bt a s k s i ng r i d s t h e s es u bt a s k sc a ne x e c u t ea u t o m a t i c a l l y , t h u si m p r o v et h ee f f i c i e n c yo f g r i de n v i r o n m e n t s s c i e n t i f i cw o r k f l o wa p p e a r sw i t ht h ed e v e l o p m e n to fg r i dc o m p u t i n g i tc a nb e d e f i n e da st h ec o m p o s i t i o no fg n da p p l i c a t i o nw h i c he x e c u t ea u t o m a t i c a l l yo n h e t e r o g e n e o u sa n dd i s t r i b u t e dr e s o u r c e si n aw e l l - d e f i n e do r d e rt oa c c o m p l i s ha s p e c i f i cg o a l s c i e n t i f i cw o r k f l o ws y s t e mc a nn o to n l yd e f m i t e ，m o d i f yt h ee x e c u t e p r o c e s so fa p p l i c a t i o n si naf l e x i b l ew a y , b u ta l s ou s e rt h e 鲥dr e s o u r c em a n a g e m e n t s y s t e ma n d s c h e d u l es y s t e m t a s k sc a nb ea l l o c a t e di nd i f f e r e n tg r i dn o d e st oo p t i m i z e t h eg r i du s a g e s c i e n t i s t sn o we m p h a s i z eo ns c i e n t i f i cw o r k f l o wa n du s ei ti nl a r g e g r i dp r o j e c t t h em a i nc o n t e n t so f t h i sp a p e ra r e t h i sp a p e rp r o v i d e sas c i e n t i f i cw o r k f l o ws y s t e mb a s e do ng o so nc h i n a n a t i o n a lg r i dp l a t f o r mt h ea r c h i t e c t u r ec a nb ed i v i d e di n t ou s e rp o r t a ll a y e r , l o g i c a l l a y e r , a n dp h y s i c a lr e s o u r c el a y e r t h es t r u c t u r eo ft h es y s t e me s t a b l i s h e dw i t hl o w c o u p l i n ga n dh i g hs c a l a b l e t h ec h a r a c t e r i s t i c o ft h es y s t e mi se v e n td r i v e n m e c h a n i s ma n dl i g h tw e i g h t e dt h r e a d i n gt e c h n i q u e s l a r g et a s k sc a nb ee x e c u t e d a u t o m a t i c a l l ya n dh a n d l e dc o n c u r r e n t l y u s e rs u p p o r ti sa l s oi n t r o d u c e d , s c i e n t i s tc a n i i i r 山东大学硕士学位论文 c r e a t ew o r k f l o w s ，m a n a g et a s k sa n dm o n i t o rp r o c e s st i m e l ya c c o r d i n gt h eg r a p h i c a l i n t e r f a c e a l lt h el i f e c y c l eo f t h ew o r k f l o ww i l lb ei n s p e c t e di nh a n d s c i e n t i f i cw o r k f l o ws y s t e mi si m p l e m e n t e d w ed e v e l o pt h ec o m p o n e n t sl i k e p a r s ee n g i n e ，r e s o u r c em a n a g e m e n t ，e v e n ts e r v i c ea n df a u l tt o l e r a n c e ，t h e yc a nw o r k m u t u a l l yf o rp a r s et a s k s ，e x e c u t ew o r k f l o w sa n dc o m m u n i c a t ew i t he a c ho t h e rt h e s t r u c t u r e dw o r k f l o wl a n g u a g ei sa l s od e s i g n e d ，s e q u e n c e ，l o o p s ，c o n d i t i o n a lc h o i c e s t r u c t u r ec a r l b ed e s c r i b e dw i t hi t a p p l i c a t i o n s e x e c u t e dw i t hs c i e n t i f i cw o r k f l o ws y s t e mi nc o sg a t e w a y w o r k f l o ws y s t e mi m p o r t e di n t og o s p o r t a lg a t e w a y , u s e r sc a l lm a n a g et h ew o r k f l o w s y s t e ml i k et h e yu s ei nc o s a tl a s t ，w ee x e c u t em m 5m e s o s c a l em o d e lw i t ht h i s s y s t e mt ot e s tt h ef u n c t i o n a l i t y t h ee x p e r i m e n t ss h o w st h a tt h es y s t e mc a nc r e a t e ， e x e c u t e ，m o n i t o rt h ew o r k f l o we f f i c i e n t l ya n ds u c c e s s f u l l y k e yw o r d s ：g ridc o m p u tin g ；g o s ：s c ie n tif i0w o r k f io w ：w o r k f io we n g in o ： u s e rln t e r f a o e 网格 1 】计算是随着高性能计算技术的发展而产生一种新兴的技术，正处在 不断发展和变化当中。网格( g r i d ) 这个词来自于电力网格，其用意是将计算资源 与电力资源进行类比。网格计算是一种思想，一种技术，也是一类中间件，是利 用互联网把地理上广泛分布的各种资源( 包括计算资源、存储资源、带宽资源、 软件资源、数据资源、信息资源、知识资源等) 连成个逻辑整体，为外界提供 大规模的、无限扩展的计算能力。网格正逐步成为一种新的技术和基础设施，可 以充分利用集成的资源，形成一个大规模的计算池。虚拟组织最终实现在这个虚 拟环境下进行资源共享和协同工作，彻底消除资源“孤岛”，最充分的实现信息 共享 2 】。 网格计算已经在国内外形成了新的研究热点，欧美等国已经开展了大量研 究，如t e r a g r i d 3 、欧制数据网格( d m a g f i d ) 【4 】等。中国的网格研究起步也比 较早，可以追溯到上世纪9 0 年代末。1 9 9 9 年2 0 0 0 年，国家8 6 3 计划实施了国 家高性能计算环境重点项目，建立了由5 个高性能计算中心构成的国家高性能计 算环境，开发了环境软件和一批示范应用，形成了网格的雏形。在“十五”、“十 一五”8 6 3 计划国家网格软件成果基础上，在网格环境、网格软件和网格应用等 几个方面，完成了一批重要的研究课题。目前，中国国家网格( c n g 打d ) 已经 作为国家8 6 3 计划重大专项项目，在高性能计算机、网格软件、网格环境和应用 等方面开展创新性研究。中国国家网格以分布在全国的1 0 个网格结点为主体构 成，集成了分布在全国8 个省市1 0 个网格结点上的计算、存储、软件和应用服 务等多种资源，建设了支持网格研究和网格应用的网格试验床中国国家网格 c n g r i d ，并研制了一套支持c n 酬d 的运行和网格应用开发的网格软件c n g 删 g o s 5 】。 随着网格技术的发展，网格上的资源越来越丰富，网格计算技术已经进入到 山东大学硕士学位论文 应用层阶段，网格的应用变的越来越复杂，如何将现有网格资源进行有效快速地 整合和集成，组成新的应用，是当今网格技术发展的强烈需求。为了整合网格资 源，实现资源的共享和协作，人们越来越多的将工作流技术应用在网格上。 工作流管理是一个被业界广泛应用并迅速发展的技术，它的主要功能是使业 务处理过程自动化，协调人和各种应用程序工作【6 】。工作流技术由于能够使过 程自动化和协同工作，提高工作效率，因此在企业的业务流程重组、电子政务、 协同科学研究等领域受了广泛的重视。然而，在科学家大量使用工作流进行科学 实验的过程中，发现普通的业务工作流越来越不满足科学家的需要，例如，在一 些科学应用中，程序运行时间长，往往需要有大量的计算、存储等资源，不仅处 理的逻辑流程和流程关系更加复杂，而且涉及多个步骤、资源和过程，由此，随 着科学家在科学研究对工作流的需求以及网格环境的要求，产生了科学工作流这 一概念。 科学工作流是利用网格环境中丰富的、异构的和分布的资源，创建一种管理 网格中的高性能计算能力的协同管理机制，实现在动态变化的多个虚拟机构间的 资源共享和协同工作。参照w f m c 的定义，科学工作流是根据事先定义的一系 列的过程规则，把网格环境下各种相互作用的资源整合在一起，其间的文档、信 息或数据在不同的网格资源之间传递和执行，从而实现任务的全部或部分自动化 处理。由于网格技术自身的发展以及对与网格应用的需求，可以预见，科学工作 流技术将会成为一种新的研究热点。 科学工作流管理系统能够为用户提供一套基于服务的、可视化的科学工作流 建模定义工具和执行环境。c n g r i dg o s 作为中国国家网格的门户，集合了国内 大量的计算、存储、应用资源，如何有效的利用、管理其上的复杂应用，帮助用 户以流程的方式组装来自c n g r i d 各节点的服务资源，是g o s 后续工作中的一 个重点。过去的几年中，科学工作流技术的研究已经在国外逐步开展，一些国际 组织和研究机构提出了科学工作流语言及其规范，同时一些网格项目，如 p h y g r i d n 7 、g r i d f l o w 8 、m y g r i d 9 】等也利用工作流技术，在网格环境下构建 网格应用的工作流模型，对科学应用流程进行自动化管理，提高应用性能以及网 格节点的效率。因此，伴随着网格技术与工作流技术的融合，对科学工作流的研 2 l 似 山东大学硕士学位论文 究是有必要的，两者结合的应用会越来越多，对网格技术的企业化运营有重要影 响。本文主要结合中国国家网格环境，给出了基于g o s 的科学工作流系统的研 究与实现。 1 2 国内外研究现状 科学工作流已经在国内外开展起来，目前，科学工作流的研究主要包括两个 方面。一是一些研究机构和组织提出的关于科学工作流的建议与规范，如g l o b u s 组织提出的工作流语言推荐规范g r i ds e r v i c ef l o w l a n g u a g e 1 0 】( g s f l ) ，g l o b a l g r i df o r u m ( g g f ) 组织的g r i dw o r k f l o w 1 l 】，科学工作流体系结构的推荐规范 g w a 1 2 】( g r i dw o r k f l o wa r c h i t e c t u r e ) 。另一方面是，一些实际采用科学工作流 来构建和管理复杂网格应用的项目和系统。本节主要介绍一些工作流的规范及国 内外实际应用中比较有特点的几个项目。 g s f l 是基于x m l 的语言，支持在o g s a 架构下的网格服务的工作流描述 规范。g s f l 分析了w s f l ( w e bs e r v i c ef l o wl a n g u a g e ) 技术，利用己有的网格服 务集成新的网格服务，描述了网格服务之间的交互和执行顺序，它力图利用工作 流技术结合w e bs e r v i c e 来解决网格服务流程，利用组合的新的网格服务描述网 格服务的执行顺序和网格服务之间的交互。为满足网格的这种特殊需求，g s f l 利用o g s a 扩展的n o t i f i c a t i o n s o u r c e s 和n o t i f i c a t i o n s i n k s 引入点对点通信，使单 个网格服务能够在网格服务引擎协同下直接通信，减少网格服务与引擎之间的通 信量。 g r i dw o r k f l o w 针对网格环境特征，采用x m l 定义工作流的属性和内容， 例如控制流、网格输出变量、计算、数据传输、分之任务、参数、资源请求、计 算属性、监控等，利用x m l 的规范性、环境无关性、易读性等特点，在动态异 构、分布自主的环境中用x m l 定义科学工作流进行管理和调度。 g w a 定义了一个科学工作流的公开架构，指出了科学工作流的生命周期包 括工作流过程描述和验证，工作流实例的执行。g w a 的目标是采用已经存在的 标准定义一个科学工作流公开架构，确定在g c f 和其他组织的工作流管理系统 3 山东大学硕士学位论文 的公共特征和区别。g w a 严格限制讨论架构和机制而不是实现，明确一套研究 科学工作流管理的公共问题。 g r i p h y n 1 3 1 4 】是美国国家科学研究基金会支持的网格项目，主要包括 c h i m e r a 、p e g a s u s 和c o n d o r 三个部分。c h i m e r a 是虚拟数据系统，能够实现高效 而又及时的数据导出，利用虚拟数据工具包提供的虚拟数据服务产生抽象的工作 流，并提交给p e g a s u s 实现映射。为了方便用户描述数据的转换和导出，c h i m e r a 提供了虚拟数据语言v d l ( v i r t u a ld a t al a n g u a g e ) 。当用户和应用要求一个数据 结果或者数据文件时，c h i m e r a 便产生一个抽象的工作流，它只描述逻辑文件名 称以及转换所需数据，而没有指定具体的资源来执行工作流。p e g a s u s 是一个配 置系统，在网格中映射和执行工作流，它能够接收来自c h i m e r a 的抽象工作流描 述，产生一个具体工作流( c o n c r e t ew o r k f l o w ) ，工作流采用有向无环图d a g ( d i r e c t a c y c l i cg r a p h s ) 来表示。p e g a s u s 使用复本定位服务r l s ( r e p l i c a l o c a t i o n s e r v i c e ) 来定位所需数据的副本，使用变化目录服务来发现逻辑应用部件。 p e g a s u s 产生的具体工作流将提交给c o n d o r 去执行。c o n d o r 1 5 是一个计算密集 作业的资源管理系统，系统负责管理和执行相关的工作流。c o n d o r 试图利用网 ， 络上空闲计算资源执行批处理任务，它提供了作业管理、资源匹配、运行环境模 拟等功能，同时具有很高的容错性。d a g m a n 是c o n d o r 作业的元调度器，处理 任务之间的依赖关系，但它不支持数据的移动。当作业失败时，d a g m a n 可以 分析并创建一个新的d a g 作业图并重新提交作业。 m y g r i d 1 6 是英国e - s c i e n c e 支持的网格项目，t a v e m a 1 7 是其网格计划中 的工作流管理系统，主要用于生物学应用。t a v e m a 提供数据模型和图形化的用 户接1 2 1 ，使用f r e e f l u o 1 8 作为工作流引擎。t a v e r n a 结合w s f l 产生了一种新 的基于x m l 的工作流描述语言s c u f l ( s i m p l ec o n c e p t u a lu n i f i e df l o w l a n g u a g e ) ，和其他工作流语言相比，s c u f l 允许在规定的策略下对数据进行隐 式的迭代。t a v e m a 还提供了一个界面友好的多窗口的图形用户工作台，工作台 可以编辑由s c u f l 定义的工作流，用户可以验证选择合适的资源，并且可视化 的执行和监控工作流的执行。t a v e m a 还提供了良好的容错机制，用户可以事先 对错误类型进行配置。当错误发生时，可以根据用户的规则进行错误处理，提高 4 1 、 一- 矗 i i 山东大学硕士学位论文 系统的稳定性。 g r i d b u s 1 9 项目是一个开放源码、多机构合作的项目，它主要面向服务集群 和支持电子科学与电子商务应用的网格中间件技术的设计与开发。g r i d b u s 是由 经济网格的需求而产生的，和其他工作流系统不同，它专注于基于市场驱动的策 略和算法来进行资源分配和任务调度。g r i d b u s 2 0 i 作流引擎平台使用基于 x m l 的工作流语言来定义任务以及任务之间的依赖关系。g r i d b u s 的工作流描述 语言能够支持参数化表达的大量任务和用户的q o s 需求。g r i d b u s 的工作流引擎 使用层次调度的体系结构，能够支持实时调度，在任务执行时允许资源分配与选 择，从而适应动态异构的网格环境。g r i d b u s 平台与i b mt u p l es p a c e 的通信中间 件相结合，实现了基于消息驱动的订阅一通知机制，能够使工作流的执行更加灵 活，组织结构低耦合。 近十几年来，国内也进行了科学工作流的探索与研究，中国教育科研网格公 共支撑平m 厶( c g s p ，c h i n ag r i ds u p p o r tp l a t f o r m ) 是为建设中国教育科研网格而开 发的核心网格中间件，旨在对教育和科研系统中的各种资源进行整合。c g s p 是 国际上第一个公开发布的基于w e b 服务资源框架( w s r f ) 的网格中间件，它依照 o g s a 的设计规范，工作流引擎基于w s b p e l 规范设计。在c g s p 中的主要功 能模块有执行管理，信息服务，数据管理和安全基础设施等。其中作业管理器是 c g s p 的核心模块之一，它对网格中的作业进行管理，为作业的运行提供全声明 周期的管理，能够支持多种类型的作业，对作业进行调度和监控等。c g s p 的网 格执行管理涉及到工作单元( 作业) 的初始化，调度，管理直到执行完毕，提供 了集群式工作流引擎管理和工作流引擎负载均衡。c g s p 提供界面友好的工作流 定义环境，将用户图形化描述的工作流转换成使用j s d l 语言表示的工作流，然 后由工作流引擎调度和执行【2 1 】。 1 3 论文主要工作 c n g r i dg o s 已经发布了3 2 版本，软件已经部署山东省高性能计算中心的 浪潮t s l 0 0 0 0 机群上，山东大学高性能计算中心自2 0 0 5 年以来一直从事于g o s 5 山东大学硕士学位论文 的环境部署与测试，网格社区中科学应用的添加与实施。科学工作流是一个网格 服务自动化处理的过程，根据定义好的规则把运行在网格环境下的各种网格服务 有机地结合在一起，用以构建和管理复杂的网格应用，使网格应用简单并且性能 得到优化。本文在研究了g o s 体系结构的基础上，通过安装、部署、应用g o s 网格平台，进而对科学工作流的理论基础和研究现状进行分析，设计并实现了一 个基于g o s 的科学工作流管理系统。系统能够支持g o s 中应用的编排组合，通 过g o s 的p o r t a l 提供给用户可视化的图形操作界面，实现任务的分配与调度， 方便用户监控作业执行过程和查看最终结果。论文的主要内容有： ( 1 ) 通过对国内外科学工作流的研究，在山东大学g o s 节点的基础上，设 计基于g o s 的工作流管理系统的体系结构，将系统分为用户层、逻辑层、物理 资源层，层次清晰，可扩展性强； ( 2 ) 结构化的工作流描述语言以及基于消息驱动的工作流引擎是本文的工 作重点，设计了面向g o s 的工作流描述语言，基于消息驱动的工作流引擎采用 i b m t s p a c e 及s o c k e t 通信技术，使得各部分耦合性低，系统灵活，结合多线程 技术，使得系统可以处理大规模的应用： ( 3 ) 人机交互对吸引用户、提高系统的简单易用性有重要作用。本文利用 a p p l e t 技术，实现了可视化的工作流界面，并将界面结合在g o s 应用网关中， 提高了与g o s 系统的紧密性，基于b s 的模式，更加方便了用户的使用。 ( 4 ) 完成了工作流系统在g o s 中的实现，并通过m m 5 中尺度气象模拟的 实际应用，实验测试了工作流系统的可行性，能够完成工作流的建立、执行与监 控全过程。 1 4 论文组织结构 本文其他部分的组织结构如下： 。 第二章介绍了系统开发所用到的各个领域的相关技术，介绍了网格计算的发 展，中国国家网格g o s 在中国的发展与应用，以及科学工作流的概念与结构。 第三章开始重点描述了基于g o s 的科学工作流的体系结构，根据设计目标 6 山东大学硕士学位论文 将工作流分为三层，分别是用户应用层、逻辑层和物理资源层，各层分工清晰， 并按照工作流的功能，分析了科学工作流系统所具有的各个模块。 第四章讲解基于g o s 的科学工作流系统实现过程中的关键技术，包括工作 流的结构化描述语言( u w l ) ，工作流引擎，容错技术。特别研究了工作流引擎 中的解析引擎、资源管理、执行引擎、消息服务。 第五章介绍了g o s 及科学工作流系统的应用，给出了g o s 的管理网关、应 用网关、科学工作流系统的使用，并结合实际科学应用m m 5 ，给出了m m 5 在 本工作流系统中建立、运行、监控的过程。 第六章对本文的工作进行了总结，说明了本系统的特点与不足之处，并对未 来工作进行了展望。 7 山东大学硕士学位论文 皇! 皇暑! 皇曼曼曼曼曼曼曼曼曼曼曼! ! 曼曼ii i 皇曼曼曼曼曼曼曼曼曼曼曼蔓曼曼曼曼曼曼曼曼鼍曼曼曼苎曼皇曼皇曼曼鼍 第二章相关技术概述 网格技术的发展与科学应用复杂性的不断增加，为网格环境下工作流的发 展提供了良好的契机，工作流技术在网格上的应用，对于网格的发展来说，既是 机遇也是挑战。科学工作流技术由于能够灵活的描述、修改和处理复杂的业务逻 辑，并能对网格资源实时进行调度，分配任务的执行，提高网格的使用效率。因 此，科学工作流技术已经引起了网格研究领域的广泛重视，被认为是网格计算领 域一项重要的基础支撑技术。科学工作流不仅仅是传统工作流技术和网格技术的 简单结合，而是存在有许多方面的基本问题，必须针对网格和网格应用自身的特 点去重新研究和考虑，从而为网格环境下