（计算机科学与技术专业论文）数值天气预报网格工作流系统研究与实现.pdf

国防科技大学研究生院学位论文 摘要 网格环境下数值天气预报系统的运行是一个非常复杂的计算过程。预报流程 控制的传统方法是采用脚本进行手动控制，缺乏灵活性，也不直观，对用户知识 背景的要求较高。 本文研究网格环境下数值天气预报的工作流系统。针对数值天气预报业务系 统的需求，从网格环境下的数值天气预报系统的业务流程特点、流程调度执行机 制、容错机制等方面，对网格计算环境下的数值天气预报工作流系统关键技术进 行了深入研究。 本文首先对数值天气预报业务系统在网格环境下的流程特点进行了研究，设 计了一种适合数值天气预报的w e b 服务构件组合模式。阐述了用网格工作流技术 构建网格环境下数值天气预报工作流系统的总体架构。 在对网格工作流引擎相关技术研究的基础上，提出了面向数值天气预报领域 的网格工作流引擎的设计方法。在业务工作流程调度执行阶段，为了让执行工作 流的用户屏蔽网格环境下底层执行资源的动态性以及异构性等特点，设计了在流 程运行过程中动态绑定服务的方法，给流程带来了更大的灵活性，更适应数值天 气预报网格环境动态变化的特性；其次设计了一种两级调度策略，将预报服务内 部的服务调度任务从工作流引擎的调度任务中分离出来，简化了工作流引擎的工 作。 针对数值天气预报数据量大、运行时间长以及考虑到网络的分布性和动态性， 流程执行错误的可能性大大增强，在工作流系统中提出了两层容错策略来对执行 过程中的异常进行处理，通过分析和实践证明，该策略提高了系统的可靠性。 在实现层面，本文实现了网格环境下的工作流原型系统e p g f l o w ，并在开源 工作流引擎a c t i v e b p e l 的基础上设计了原型系统的工作流引擎，研究了将该系统 集成到丌源门户框架g r i d s p h e r e 中的方法。 主题词：数值天气预报，网格工作流，构件，服务动态绑定，容错 第i 页 国防科技大学研究生院学位论文 a b s t r a c t t h eo p e r a t i o no fn u m e r i c a lw e a t h e rp r e d i c t i o ni ng r i de n v i r o n m e n ti sa ne x t r e m e l y c o m p l e xp r o c e s so fc o m p u t a t i o n t h et r a d i t i o n a lm e t h o do fm a n u a l l yc o n t r o l l i n g p r e d i c t i o np r o c e s sb ys c r i p ti sn o tf l e x i b l eo re x p l i c i t ，a n dh a sh i g hr e q u i r e m e n to f u s e r s k n o w l e d g e i nt h i sp a p e r , w er e s e a r c ht h ew o r k f l o ws y s t e mo fn n m e r i c a lw e a t h e rp r e d i c t i o ni n g r i de n v i r o n m e n t a i m e da tt h er e q u i r e m e n to fn u m e r i c a lw e a t h e rp r e d i c t i o ns y s t e m ， w es t u d yt h ek e yt e c h n i q u e sf r o mt h en u m e r i c a lw e a t h e rp r e d i c t i o n sa s p e c t so f p r o c e s sc h a r a c t e r i s t i c s ，p r o c e s ss c h e d u l i n g a n d i m p l e m e n t a t i o np o l i c y ，a n d f a u l t t o l e r a n c em e c h a n i s m h e r ew ea n a l y z et h ec h a r a c t e r i s t i c so ft h ep r o c e s s a n dw ed e s i g nap a t t e mo fw e b s e r v i c e c o m p o n e n t sc o m b i n a t i o n ，w h i c h i s a p p r o p r i a t e f o rn u m e r i c a lw e a t h e r p r e d i c t i o n m o r e o v e r ，t h i sp a p e rs p e c i f i e sh o wt ou s et h et e c h n i q u eo fg r i dw o r k f l o wt o c r e a t et h ea r c h i t e c t u r eo fn u m e r i c a lw e a t h e rp r e d i c t i o ni ng r i de n v i r o n m e n t b a s e do nt h er e s e a r c ho fr e l a t e dt e c h n i q u e so fg d dw o r k f l o we n g i n e ，w ep r e s e n ta m e t h o do fd e s i g n i n gag r i dw o r k f l o we n g i n ei nt h ea r e ao fn u m e r i c a lw e a t h e r p r e d i c t i o n m i l es c h e d u l i n ga n di m p l e m e n t i n gt h ew o r k f l o w t h i sp a p e rp u tf o r w a r da n a p p r o a c ht ob i n ds p e c i f i cs e r v i c e sd y n a m i c a l l yd u r i n gt h ep r o c e s st oe n a b l eu s e r s s o l v i n gt h ep r o b l e m so fh e t e r o g e n e i t ya n dv a r i a b i l i t yw h i l ei m p l e m e n t i n gr e s o u r c e si n 酣de n v i r o n m e n t ，w h i c hb r i n g sg r e a tf l e x i b i l i t yi n t o t h ep r o c e s sa n da d a p t st h e c h a r a c t e r i s t i co fd y n a m i cv a r i e t yi ng r i de n v i r o n m e n t f u r t h e r m o r e ，t h i sp a p e rp r e s e n t s t w ol e v e l so fs c h e d u l i n gm e c h a n i s m ，w h i c hs e p a r a t e st h es e r v i c es c h e d u l i n gt a s ki n p r e d i c t i o ns e r v i c ef r o mt h ew o r k f l o we n g i n es c h e d u l i n gt a s k ，a n ds i m p l i f i e st h ew o r ko f w o r k f l o we n g i n e b e c a u s eo ft h el a r g en u m b e ro fd a t ai nn u m e r i c a lw e a t h e rp r e d i c t i o na n dt h el o n g r u n n i n gt i m eo fi t ，a n dc o n s i d e r i n gt h ed i s t r i b u t i n ga n dd y n a m i c so fn e t w o r k sa n dt h e i n c r e a s i n gp r o b a b i l i t yo ff a i l u r ei nt h ei m p l e m e n t a t i o no fp r o c e s s ，t h i sp a p e rp r e s e n t s t w ol e v e l so ff a u l t t o l e r a n c em e c h a n i s mt od e a lw i t ha b n o r m i t i e s d u r i n g t h e i m p l e m e n t a t i o n d e m o n s t r a t e db ya n a l y s i s a n dp r a c t i c e ，t h i sm e c h a n i s mi m p r o v e s s y s t e m sr e l i a b i l i t y i nt h ea s p e c to fr e a l i z a t i o n ，t h i sp a p e rc a r r i e so u tt h ew o r k f l o wp r o t o t y p es y s t e m e p g f l o wu n d e rg r i de n v i r o n m e n t b a s e do nt h eo p e ns o f t w a r ea e t i v e b p e l ，w ed e s i g n t h ew o r k f l o we n g i n eo ft h i sp r o t o t y p es y s t e m f u r t h e r m o r e ，w er e s e a r c ht h em e a n so f i n t e g r a t i n gt h i ss y s t e mw i t ht h eo p e np o r t a lf r a m eg r i d s p h e r e k e yw o r d s ：n u m e r i c a iw e a t h e rp r e d i c t i o n ，g r i dw o r k f l o w ，c o m p o n e n t ， s e r v i c eb i n dd y n a m i c a l l y ，f a u l t - t o l e r a n c e 第i i 页 国防科技大学研究生院学位论文 图1 1 图1 2 图1 3 图1 4 图1 5 图1 6 图2 1 图2 2 图2 3 图2 4 图2 5 图2 6 图2 7 图2 8 图2 9 图3 1 图3 2 图3 3 图3 4 图3 5 图3 6 图3 7 图3 8 图3 9 图3 1 0 图3 1 1 图3 1 2 图4 1 图4 2 图4 3 图4 4 图4 5 图目录 m y g r i d 体系结构3 l e a d 的面向服务的体系结构4 l e a d 网格工作流系统5 k e p l e r 网格工作流系统6 k e p l e r 体系结构6 t a v e r n a 系统结构7 工作流生命周期1 2 集合预报业务流程图1 4 w e b 服务体系结构1 5 构件之间的交互一l8 基于w e b 服务的构件组合模式1 9 采用构件技术建立的集合预报流程模型1 9 b p e l 4 w s 层次结构2 0 子流程( s u b p r o c e s s ) 调用方式2 2 数值气象预报网格工作流系统总体结构。2 3 请求调度流程一2 6 网格工作流引擎基本结构2 7 工作流过程实例状态变迁图2 8 工作流活动实例状态变迁图2 9 基于代理服务的服务动态绑定过程3 0 a c t i v e b p e l 引擎结构3 3 运行时引擎对象的创建：3 5 c o n d o r 系统的体系结构图3 8 使用c o n d o r g 在g l o b u s 管理的资源上远程执行用户作业的过程3 9 结合a c t i v e b p e l 和c o n d o r g 的网格工作流体系结构4 0 工作流层的作业调度过程4 2 构建工作流系统的服务4 4 检查点实现机制4 7 业务流程管理系统检查点作用过程4 7 基于重试的容错策略在组合服务中的实现一5 0 分布式服务代理间的连接结构一5 0 工作流层中基于替换策略的u m l 流程图5 2 第v 页 国防科技大学研究生院学位论文 图4 6 面向容错的系统体系结构5 3 图5 1“中国气象应用网格”门户5 4 图5 2e p g f l o w 与门户系统的集成5 6 图5 3e p g f l o w 系统结构及与其它子系统的交互关系5 7 图5 4e p g f l o w 工作流引擎结构5 8 图5 5 流程实例创建过程：6 6 第v i 页 国防科技大学研究生院学位论文 表目录 表3 1引擎工厂的创建和支撑服务3 4 表3 2 气象预报进程实例的部分流程配置描述文档3 4 表3 3 基本的w s a d r e s s i n g 语法规范3 5 表5 1b p e l 流程定义文档基本结构6 2 表5 2 部分流程配置描述文档。6 3 表5 3w e b 服务地址的基本语法6 3 表5 4 数值天气预报活动流程定义片段。6 7 第1 v 页 独创性声明 奉人声明所呈炎的学位论文是我车，l 、矗 师指导1 ：避行的研究工作及取得的研 宽成果尽我所知，睬j ，文- 扣犄别铀以杯j 和致：螅的i 也房外，泡j 【= l j5 包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学 ，诊夏寒1 1 ：盟值玉气殛擐蔓整! 一，覆糸境的塑兰互! 婴一一 享，童冷z 诈香琴譬；： 一一眚j 石丽_ 一 甥：，乡砖蝤 曙 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文作者签名：盘燮 作者指导教师签名： 耄：翌兰亟 日期：矽g 年朗7 日 日期：歹。口g 年f2 月日 国防科技大学研究生院学位论文 第一章绪论 1 1 研究背景 自2 0 世纪5 0 年代瑞典、美国等国家率先建立数值天气预报业务以来，随着 数值预报理论与方法的进一步发展以及计算机、大气遥感等科学技术的飞速进步， 数值预报质量不断提高，并已经成为制作中、短期天气预报最有效的科学方法。 数值天气预报在一定程度上反映了一个国家气象科技的综合水平，各发达国家都 十分重视数值预报系统的持续发展，把它作为推进气象科技进步的重点之一。 国家气象中心于1 9 9 1 年6 月建成我国第一代全球中期数值天气预报业务系 统，使我国成为世界上能开展中期数值天气预报业务的少数几个国家之一。以后 又建立了第二代、第三代全球中期数值天气预报业务系统。数值天气预报业务系 统【l l 般由实时观测资料和预报产品通信分系统、中期数值预报分系统、有限区域 数值预报系统、中尺度数值预报数据库分系统、数值预报产品图形图像处理分系 统、数值预报产品使用系统以及统计检验分系统组成。其业务系统有如下特点： 业务流程复杂。其业务流程涉及到多种数据处理、模式计算、统计检验环 节，某些环节的运算可能需要持续数个小时。在这些环节的运行过程中，有可能 会因为计算机硬件、软件和观测资料的原因出现一些无法预知的错误。 每天循环运行。由于气象中心每天都要向用户发布预报结果，所以其业务 系统每天都要定时循环运行。这就要求系统管理员能及时了解预报系统运行的进 度以及运行过程中出现的错误，以免影响当天预报产品的发布。 数值天气预报业务系统的特点要求必须有一种直观、方便的监控手段来对整 个业务运行过程进行监控管理。目前，对数值天气预报业务流程的监控管理多采 用手工方式，由用户根据程序输出的字符运行信息来判断流程的运行状态及进度。 这种监控方式不够直观，对用户的要求较高。 数值天气预报是一门需要海量计算的科学，一直是高性能计算平台的重要应 用领域，当前国内建立的数值天气预报业务系统多运行在银河、i b m 等巨型计算 机或其它集群系统上。 近年来，随着计算机网络技术的快速发展，大量以计算机系统为主导的计算资 源、存储资源、数据资源、信息资源和仪器设备资源等在互联网上逐步形成1 2 j ，同 时更大规模科学计算应用( 如集合气象预报) 的出现对计算能力提出了更高的要 求。对于这些应用，单一的巨型机或集群系统无法提供足够的计算能力和数据资 源，于是网格计算应运而生。网格1 3 j 通过将大范围地理分布的异构计算机系统和资 源整合在一起形成一个大规模的计算平台，用户可以将这个计算平台视为一个“超 第1 页 国防科技大学研究生院学位论文 级计算机”，只需要接入这个计算平台即可使用所自的资源和服务。由于网格聚 集各类高性能计算资源、存储资源、仪器资源，因此它能够处理以前一台高性能 计算机无法解决或者不容易解决的大规模科学计算、大规模信息处理等。目前， 网格计算在数值气象集合预报、高能物理计算、大规模军事仿真、生物信息学、 天文学等领域已经逐渐成为大规模异构分布式计算的主流技术。 1 2 研究现状 网格工作流能够方便地构建、执行、管理和监控网格应用，使得网格应用能够 自动、高效地实施。从总体架构上，网格工作流实际上包含网格工作流的建模功 能，网格工作流运行阶段的流程控制功能，网格工作流运行阶段不同子任务的用 户或i t 工具的交互功能。网格工作流管理系统上同样需要网格工作流流程定义、 网格工作流引擎、网格工作流控制及相关应用数据、网格工作流用户接口。 一些项目采用网格工作流作为整个网格应用的一个服务，使得网格应用的构建 更加方便和高效；另外网格工作流就是一个单独的系统，作为网格应用的一个支 持平台。 目前，在国外对科学工作流技术的研究和应用都很多，比较有影响的是英国 的曼切斯特大学为生物学研究人员开发的m y g r i d l 4 5 1 ；美国圣地亚哥超级算中心在 美国国家科学基金委资助下开发的k e p l e r 6 , 7 1 ；以印第安那大学为首的9 个研究机 构在美国国家基金委资助下开发的面向气象领域的项目l e a d ( l i n k e de n v i r o n m e n t f o ra t m o s p h e r i cd i s c o v e r y ) 1 8 , 9 】；以德国为首的五个国家共同承担的由欧盟资助的 k 、“l o , l l l ；另外，还有德国的为激光干涉检测器输出的重力波信号进行快速分析 的t r i a n a 【1 2 , 1 3 , 1 4 1 ；以及美国威斯康星大学开发的p e g a s u s t l 5 】等。 这些大的项目都不同程度的实现了工作流执行过程中对资源和工作流流程的 监控以及对可能出现的异常进行处理和恢复的功能。下面将对这些项目的研究现 状和主要技术进行分析 m y g r i d m y g r i d 是在英国的e s c i e n c e 研究框架下启动的项目，主要为生物学研究人员 提供了一个基于网格的实验环境，研究者可以方便的进入该系统，使用体系内专 有知识仓库和基因组功能注释平台。m y g r i d 的用户主要集中在生物学和生物信息 学领域的科学家。其直接目标定位为：开发知识密集型集成服务，而计算方面的 任务相对轻松；为e s c i e n c e 科学实验管理开发高级服务；探索语义网格技术，发 挥其作用，如基于语义的资源发现和匹配；提供基于服务的网格项目应用实例， 特别是基于o g s a 的网格知识服务应用。 为了满足实验的需求，m y g r i d 项目组设计了一套完整的，给予网格知识服务 第2 页 国防科技大学研究牛院。位论文 吲i1 m y g r i d 体系结构 m y g r i d 服务栈构建在o g s a 规范之上，生物信息学家们有选择性的采用服务 栈中的网格服务束完成自己的实验研究。由以上分析可知，m y g r i d 完全面向生物 学领域，具有很强的领域特点，且实现的体系结构和模块复杂，因此想要将m y g r | d 用于气象领域比较困难。 m y g r i d 的动态适应性机制和工作流的监撺过程主要基于事件的通知机制。为 每一个处理器实体设置一个服务组件，用户向事件服务器报告发生在该节点上的 所有事件，譬如服务组件的状态改变。例如，当一个服务开始被调度时，如果服 务发牛故障，调度引擎重试三次之后仍然不能正常调度服务执行，吲此事件发 生器产生一个事件流，向用户报告此工作流组什的执行状态。 l e a d l e a d ( 1 i n k e de n v i r o n m e n t s f o r a t m o s p h e r i cd i s c o v e r y ) 是一个跨学科跨领域的 研究项目，i e 致力于基础的i t 研究和相关的发展，它需要创建一个综合的，可扩 展的框架来对气象观测数据和模型输出进行确认、访问、准备、同化、预测、管 理、分析、发掘和可视化一系列操作，并且在网格环境中为用户屏蔽地理位置的 差异。 l e a d 的一个最大的支撑技术是用w e b 服务框架实现了动态工作流机制阻及 数据管理，实现了按需、实时、动态自适应的工作流机制。l e a d 提供了分析工具 预报模型以及数据存储功能，不仪能在固定的配置下静态的读取数据，也能在网 第3 页 雷防科技大学研究生院学位论文 格环境下按需、动态的自适应的运行。 因为l e a d 主要是面向气象领域的应用和研究因此针对气象领域特点和需 求，该项目能提供的动态服务有：a ) 根据天气情况快速自动的改变配置：b ) 对数 据的更新情况进行监控，使用最新的数据进行计算；c ) 执行过程中支持用户的干 预，对用户的输入快速做出反应；d ) 自动的调用其它处理程序；e ) 操作远程的观测 技术来对数据的收集进行优化，并用来解决当前的问题。虽然l e a d 主要应用于 中尺度的天气预报，但是也能扩展到其它的领域，譬如医药，生态学，海洋以及 生物学等。 如下图12 所示，l e a d 是由紧密相连的五层架构实现的。 3 口 震i g u i - w r f w 网厂t 碉厂嗣r 嗣厂_ 而 l l 旦型划l 鱼ul 堕纠l ! 划 降匿翳罱霞 5 嚣函| 】墨艨l 画画”l 袈田匿 l l 些 。铲1 回陌 i 厂 口刨 卜nu 一1i “1 ”“厂i i i 图l2l e a d 的面向服务的体系结构 由上图可见，最底层表示分布在l e a d 网格或者其他地方的原始计算资源、 应用和数据资源，他的上一层是提供访问层能力和对大气数据访问服务的w e b 服 务。l e a d 是这些资源到其他项目的杠杆，并对这些资源做适当的处理。第三层由 l e a d 工作流调用各种配置工具和可执行服务。第二层是门户接口层，在这层中， 工作流服务调用其他服务，并驱动了工作流程，通过虚拟组织目录服务控制用户 寻找所需数据的方式，最后数据服务负责用俩搜索数据结果和对其进行转化。 最上边一层是用户接口层，它提供了到每个服务的访问途经，当用户登录到门户， 其网格认证和授权证书被自动的装载。 l e a d 通过一组动态的工作流编排和数据管理组件进行元素迁移，运用分析工 具，预测模式和动忐数据仓库，具有动态适应性、按需的网格系统。l e a d 系统具 有快速改变设置和自动响应天气 不断通过数据迁移；响应用户的数据输入；自 第4 页 翟围团翟 薹薏 国防科技大学研究生院学位论文 动开始新的进程：能够远程观测使得收集的数据最优化。 l e a d 项目中的工作流部分采用x b a y a ，x b a y a 通过图形化客户端程序进行图 形的编排，监控。图形化的工作流可以使特殊领域的科学家们不需要知道更多的 工作流语言，就可以根据抽象化的图形对工作流进行编排。如图13 所示。 k e p l e r k e p l e r 项目由美国科学基金n s f 支持，u cb e r k e l e y 和s a nd i e g o 超级计算中 心基十j a v a 联合开发。目的是打造个通用的科学工作流集成平台，整合多种已 自的计算模型。k e p l e r 构建在p t o l e m y i i 系统上能够设训、发现、执行和部署不 同科学领域的工作流，同时提供了一种功能强大的罔形化万式束编辑、监控、管 理业务流稗。科学家可以利用k e p l e r 的图彤化界面进行注册和发现各种服务和资 源，交互的设计和执行科学工作流流程。 k e p l e r 利用内嵌的并行控制和工作调度机制，无缝地将科学_ t 作流的设计、 执行、运行时交t 、本地和远程数据访问、本地和远程服务调用组合起来。它继 承了p t o l e m y i i 系统的特点能够在单个科学工作流中组合不同的计算模型。k e p l e r 的计算单元称为“a c t o r ! ，通过输入输出端口，每个a c t o r 都是彼此通信的可重用 的组件，多个a c t o r 连接在一起形成科学工作流。整个工作流在交互调度组件 ( d i r e c t o r ) 的调度下执行，其u i 如图14 所示。 第5 页 国防科技大学研究生院学位论文 图i4k e p l e r 网格l 柞流系统”q 在，j + 物学、生态学以及天文学等领域内产生的科学数据往往需要经过复杂的分 析和过滤才可以使用，这样的过程常会牵扯到大量的数据处理，k e p l e r 集成了应 用于网格计算的g l o b u s 组件，可姒根据需要将应用部署在网格环境r 面。同时 k e p l e r 允许用户定义自己的w e bs e r v i c e 或者在线搜索可用的w e bs e r v i c e 应用在 数据处理流程中，使得虚拟化的服务可以随时动态调用。 图15 描述了利用k e p l e r 进行基于w e b 服务科学实验的整个结构。k e p l e r 系 统中的服务町以足一个分析操作或者是一个摹于数据集盘湘的数据服务。 幽15k e p l e r 体系结构 自j 冬| i5 町见，用户可以通过发布机制将服务注册纠系统仓库中，通过服务发 现机制ij 以杏询到已经注册的服务，通过服务组含机制可以组台系统仓库中的各 个服务，成为科学工作漉：通过工作流执行机制执行组合后的科学工作流。另外， k e p l e r 系统提供了错误恢复、过程监控、数据日志、科学工作流部署等相关功能。 山以匕分析可知，k e p l e r 更加强凋服务组合和子工作流的嵌套层次的研究。 在a c t o r 中封装了所有的组什内数据逻辑以及控制逻辑。k e p l e r 在组件内实现了服 第6 贞 向面堑 国防科技大学研究生院学位论文 务失效情况的处理机制和恢复机制。在服务的执行过程中，在组件内部将服务的 执行状态监控并且基于服务的状态进行处理。即将控制逻辑由服务的形式表达出 来，用户在进行工作流流程定义的过程中可以根据具体的应用对按照服务的质量 需求对服务的失效处理进行定义和编辑。因此k e p l e r 中的工作流的适应性在严格 意义下来说并不是完全动态的，因为服务失效时的处理机制是由用户在工作流流 程编辑时进行静态定义的。 t a v e r n a 1 6 , 1 7 】 t a v e m a 是m y g r i d 网格项目里的工作流管理系统。它为科学家提供生物信息 工作流在网格平台上的开发和执行功能，为用户提供数据模型和图形化的用户接 口，采用f r e e f l u o 作为工作流引擎。其系统结构如图1 6 所示。 蚕香胃雷 服务 图1 6t a v e m a 系统结构【1 8 1 t a v e m a 中，流程模型可以通过图形方式描述，也可以采用一种基于x m l 的 语言s c u f f ( s i m p l ec o n c e p t u a lu n i f i e df l o wl a n g u a g e ) 来描述，和其它的工作流描述 语言相比，s c u f f 允许在规定的策略下进行隐式的迭代。在执行层，工作流引擎提 供了多线程的机制来加速迭代处理，用户可以设置“线程”属性来定义迭代处理 时并发实例的数量。这种机制很适合处理大量并发执行的过程，可以让工作流引 擎同时发送下一个输入所需的数据，从而缩短执行的等待时间。 t a v e m a 给用户提供了良好的用户界面定义工作流、选择合适的服务、执行和 监控工作流；允许用户查看工作流运行的中间结果和最终结果；用户可以以不同 的方式存储本地和远程的结果。 t a v e m a 提供了良好的容错机制，用户可以对工作流中产生的错误限制进行配 置，比如，用户可以设定错误服务的重启次数、时间限制以及备选的处理单元。 第7 页 国防科技大学研究生院学位论文 用户也可以设置“关键( c r i t i c a l ) ”属性给特定的处理单元。如果对这个“关键” 处理单元重启和备选的处理都失败，则整个工作流执行将被终结。如果是“非关 键”处理单元，即使重启和备选的处理都失败，工作流仍然继续运行，失败的处 理单元不再被执行。 根据网格工作流的研究现状可以看出，在网格工作流流程建模、网格工作流 的组织资源管理、网格工作流的调度算法、错误处理机制等方面针对一些不同的 应用领域存在着一些不足。 在网格工作流模型方面，大部分系统没有对网格中的最重要的组成部分一网 格资源进行建模，流程定义大多只考虑控制流和数据流的描述，缺乏对任务所需 资源的确切说明。因此在网格工作流实例执行时，网格工作流管理系统很难根据 流程描述对工作流进行优化的任务调度。另外，很少有网格工作流系统能够显式 的在工作流模型中支持流程的容错处理，但是考虑到网格的分布性和动态性，流 程执行错误的可能性大大增强，而且对于数值天气预报这样的业务系统，对于流 程执行的稳定性和自动化要求较高，因此容错处理是非常必要的。 在网格工作流调度方面，调度是网格工作流管理系统中最重要的任务，不仅仅 影响网格工作流执行成功与否和效率的高低，同时也涉及到网格工作流的资源管 理状况。当前网格调度中大部分调度策略和算法都是针对元任务的，即调度任务 相互之间没有关联，显然不满足网格工作流中任务之间是具有时序或者因果的约 束条件，另外，调度算法所考虑的调度因子大多局限在计算力的衡量上，而实际 上由于网格工作流执行时常常需要传输大数据流，这对工作流性能会产生很大影 响，如何充分考虑这一影响因素，也是当i i 工作流调度算法所欠缺的。 1 3 研究内容与工作 为满足数值天气预报业务系统对工作流系统的需要，本文对网格计算环境下的 工作流引擎系统进行了研究，主要工作包括： 1 对数值天气预报业务系统在网格环境下的过程建模技术进行了研究，设计 了一种适合数值天气预报的w e b 服务构件组合模式； 2 研究了基于a c t i v e b p e l 的网格工作流引擎实现技术，设计了基于代理服 务的服务动态绑定方式； 3 针对数值天气预报数据量大，运行时间长，对稳定性，容错性要求高的特 点，从面向服务的科学工作流出发，为网格工作流系统提出了增加容错性的问题 解决策略。 4 针对网格计算环境，设计实现了基于网格工作流技术的工作流原型系统 e p g f l o w 。 第8 页 国防科技大学研究生院学位论文 1 4 论文结构 全文共分六章，以下是各章内容简介。 第一章绪论。首先介绍了课题的研究背景，分析对比了当前网格工作流系统 的研究现状，最后简要阐述了本文的研究内容和主要工作。 第二章提出基于网格的数值气象预报领域工作流系统的总体结构。本章分析 了数值气象预报发展现状，研究了基于网格的数值气象预报流程特点，选择了适 合实现该框架的核心技术一一w e b 服务及其相关业务流程描述语言一一 b p e l 4 w s ，最后提出了满足其研究发展需求的网格工作流系统总体结构。 第三章数值天气预报网格工作流引擎的设计。本章介绍了网格工作流引擎的 基本情况，设计了一种基于代理的动态服务绑定方法。研究了工作流引擎的几种 相关技术，结合开源工作流引擎a c t i v e b p e l ，设计了一种适合数值天气预报业务 的工作流引擎。 第四章对网格工作流系统容错机制的研究。针对数值天气预案特点，提出了 基于重试的服务层容错策略和基于替换的工作流层容错策略相结合的两层容错机 制。 。 第五章工作流原型系统实现与应用。在前面几章理论方法研究与设计基础 上，实现了基于b p e l 4 w s 的工作流原型系统，并依照数值气象预报系统整体框 架对工作流管理系统进行了重构，将基于b p e l 4 w s 的工作流原型系统e p g f l o w 应用到其中。并对网格计算环境下的业务流程编排和发布服务技术进行了研究。 第六章总结和展望。总结论文的主要研究工作，针对本文研究的不足，展望 了下一步的研究方向。 第9 页 国防科技大学研究生院学位论文 第二章数值气象预报网格工作流系统总体设计 2 0 世纪8 0 年代以来，随着遥感、计算技术和气象卫星资料的广泛应用，世界 天气预报出现了新的飞跃，传统的天气预报己被数值天气预报( n 岍) 取代。数 值天气预报【1 9 , 2 0 1 采用超大规模计算机将收集到的最新气象资料进行处理，采用合 理的数值模型进行计算，得到未来天气的预报结果。数值天气预报要比人的经验 预报准确率高得多，尤其对于转折性的天气变化，因此开展数值天气预报是各个 国家气象发展的重点。 2 1 数值气象预报系统的现状分析 数值预报是当代天气预报的一个主要工具，发展数值预报技术是提高天气预 报业务水平的关键。数值天气预报已成为制作气象预报产品不可缺少的基础和手 段。然而，在数值预报的模拟研究和业务应用的实践中，单一的确定性数值预报 水平的提高越来越困难，尤其是对一些局部地区发生的突发性、转折性天气过程 的预报结果往往失败。而且单一的确定性数值预报结果也很不稳定，比如对同一 次天气过程，不同气象中心的数值预报业务系统预报结果可能相差很大；或者对 于同一次天气过程，同一套业务数值预报系统提前5 天做出的预报准确率可能比 提前2 天预报的准确率还高。这些现象对数值天气预报的发展提出了严峻的考验。 集合预报技术作为一种新兴的数值天气预报技术，针对数值预报的误差来源， 采用合理的扰动原理和扰动方法，构造能沿着模式大气相空间最不稳定的方向快 速增长的扰动场和集合预报成员，大大提高了人们对暴雨等灾害性、转折性、突 发性、局地性天气过程的认识和预报能力，进一步将自然科学和社会科学紧密联 系，使自然科学更好的解决社会生产问题了为各级领导和群众安排生产生活活动、 抗御暴雨等灾害提供强有力的技术保障。 集合预报技术作为当前高影响天气事件( 热带气旋、暴雨等) 的最佳预报技 术已经成为数值天气预报业务系统的重要组成部分，欧洲中期天气预报中心的6 0 以上的产品是集合预报业务系统制作的，同时集合预报也是w m ot h o r p e x 计 划的重要研究内容。其核心计算是要对一组初值场扰动样本采用传统的确定性数 值模式进行预报，然后对预报结果进行统计从而得到概率预报产品。完整的集合 预报流程包括扰动值生成、多个模式预报、后处理、产品生成、可视化等多个处 理过程。集合预报往往需要数万亿次以上的计算资源，未来超级集合预报的业务 运行将提出百万亿次甚至千万亿次计算能力的需求，这些需求对于某个计算中心 的计算能力一般很难有效满足。针对集合预报流程中的某些计算过程可以相互独 第l o 页 国防科技大学研究生院学位论文 立的特点，可以采用分布处理的方式来组织计算，充分利用国内的各种计算资源， 在网格环境下通过有效的组织来运行集合预报业务。但是网格环境在带来强大计 算能力的同时，也带来了诸如资源分布性、动态性、多样性等不足，如何在网格 环境下有效整合分散于全国各地的各种资源，由计算机支持或自动处理集合预报 业务过程是必须解决的问题。 针对传统的数值天气预报业务的脚本组织方式的不足，网格工作流技术可以 有效解决网格环境下运行气象集合预报业务过程面临的问题。气象集合预报业务 流程是一个复杂的科学实验过程，它包括一系列密集型计算，同时伴有大量的数 据生成和迁移。而网格工作流一般被用来描述复杂的科学实验过程，在准确反映 科学实验过程的基础上，它更加注重对数据流的管理、流程的优化执行以及对流 程涉及到的各种网格资源的优化调度。虽然当前针对网格工作流方面已经有大量 的研究工作，但是存在的网格工作流系统多针对某一或某些特定应用，并不具备 通用性。如何设计和实现适合数值天气预报业务的网格工作流流程模型和其在网 格环境下的执行逻辑是本章和下一章的主要工作 2 2 数值气象预报系统对网格应用的需求 数值天气预报是- - f - j 需要海量计算的科学，一直是h p c 平台的重要应用领域， 当前国内建立的数值天气预报业务系统多运行在银河、i b m 等巨型计算机或其它 集群系统上。 近年来，随着计算机网络技术的快速发展，大量以计算机系统为主导的计算资 源、存储资源、数据资源、信息资源和仪器设备资源等在互联网上逐步形成拉， 同时更大规模科学计算应用( 如集合气象预报) 的出现对计算能力提出了更高的 要求。对于这些应用，单一的巨型机或集群系统无法提供足够的计算能力和数据 资源，于是网格计算应运而生。网格通过将大范围地理分布的异构计算机系统和 资源整合在一起形成一个大规模的计算平台，用户可以将这个计算平台视为一个 “超级计算机”，只需要接入这个计算平台即可使用所有的资源和服务。由于网 格聚集各类高性能计算资源、存储资源、仪器资源，因此它能够处理以前一台高 性能计算机无法解决或者不容易解决的大规模科学计算、大规模信息处理等【2 引。 目前，网格计算在数值气象集合预报、高能物理计算等领域已经逐渐成为大规模 异构分布式计算的主流技术。 1 数值气象应用越来越依赖于网络环境，数值气象应用的复杂度超出以往任 何时期，而且将越来越复杂。 2 数值气象应用环境的地理分布性、应用平台的异构性给应用开发、部署带 来很大困难。 第11 页 国防科技大学研究生院学位论文 全国性、全行业性应用 新老应用混杂 异构平台不可能统一 应用和应用依托的平台的动态变化 3 没有新的技术支持，数值气象应用的复杂性将超过人的控制能力，制约应 用发展。 4 数值气象应用需要有良好的平台的支持。应该有一层软件，使得应用看到 的是统一的服务，彻底从物理细节和异构系统细节解脱出来。网格正是要 提供这样一层抽象。 网格工作流是数值气象预报系统中一个很重要的部分。它主要完成数值气象预 报系统的流程编排、自动将流程中的各计算步部署到各网格结点上启动执行的功 能。在数值气象预报系统中，其中的数值气象预报业务是包含大量的执行步，而 这些执行步之间，可能存在数据相关或者时间相关，比如执行步a 的执行需要等 待执行步b 所产生的结果，因此执行步a 与执行步b 之间存