（计算机软件与理论专业论文）基于集群技术的作业管理系统.pdf

西北工业大学硕士学位论文 摘要 基于集群技术的网络作业管理系统的目标在于将地理上分布、 异构、自治的 各种计算机和专用设备通过网络连接起来，建立有效的分布资源管理模式，形 成一种高吞吐量和高性能的分布式计算环境。本文基于一特定作业管理系统一 c j ms s 对作业管理系统的系统结构、作业调度机制、高可用性策略和国际化过 程进行了研究，主要体现如下: 1 . 总结了作业管理系统的发展历史和发展趋势;提炼出作业管理系统的 层次 模型 和应用模型; 根据作业管理系统的 层次 模型分析了c j ms s的 系统结构。 2 .对 c j ms s 作业管理系统的两级调度策略进行了研究: 分析了c j ms s中 作业网络、 请求调度的过程和策略; 提出了一种改进的多机请求调度算 法，该算法采用了一种类似于“ 酒店预约“ 的机制，可以减少不必要的数 据流动、减轻网络负载、提高系统的调度效率。 3 . 详细地分析了 c j ms s系统中的高可用性问题;介绍了 c l u s t e r p r o的硬 件和软件配置的方法:分析了 c j ms s系统中在故障发生时作业运行方 式;提炼出 失效接管过程和故 障节点 恢复 算法。 4 . 介绍了软件国际化过程中应用的主要技术和基本要求;对 c j ms s多语 台 化过程中资 源动态库、码制和时区改造过程中遇到的问题进行了总 结，并且对其中的一些问题提出了具体的解决方案。 目前本文提出的改进的多机请求调度算法己经通过小规模测试， 效果较 好;基于 c l u s t e r p r o的高可用性策略己正式应用于 c j ms s的商用版本;多 多语言化工作业己完成，并且顺利完成多平台测试，系统运行正常。 关键词: 集群技术 作业管理系统 作业网络 请求 调度策略 “ 酒店预约” 高可用性 失效接管 故障恢复 多语言化 资源动态库 码制 时区 西北工业大学硕士学位论文 abs t r a c t t h e j o b ma n a g e m e n t s y s t e m i s b a s e d o n t h e c l u s t e r t e c h n o l o g y .b y c o n n e c t i n g t h e d i s t r i b u t e d , i s o mo r p h i c , s e l f - g o v e rne d c o m p u t e r s a n d s p e c i a l d e v i c e s v i a t h e n e t w o r k , i t t r y t o a c c o m p li s h t h e g o a l t o b u i l d a n e f fi c i e n t r e s o u r c e ma n a g e m e n t m o d e l a n d t o f o r m a d i s t r i b u t e d c o m p u t i n g e n v i r o n m e n t w h i c h h a s l a r g e t h r o u g h p u t s a n d h i g h p e r f o r ma n c e . t h i s t h e s i s i s b a s e d o n a s p e c i a l j o b ma n a g e me n t s y s t e m 一 c j ms s a n d a c c o m p l i s h e s s o m e r e s e a r c h o n t h e s y s t e m s t r u c t u r e 、t h e j o b d i s p a t c h i n g s t r a t e g i e s , t h e h i g h u s a b i l i t y s t r a t e g i e s a n d t h e i n t e rna t i o n a l i z a t i o n p r o c e s s o f t h e j o b ma n a g e m e n t s y s t e m. t h e w o r k i s l i s t e d i n t h e f o l l o w i n g : 1 . s u m m a r i z e d t h e h is t o ry a n d t h e t r e n d o f t h e j o b m a n a g e m e n t s y s t e m ; r e f i n e d t h e h i b e r a r c h y m o d e l a n d a p p l i c a t i o n m o d e l o f j o b ma n a g e me n t s y s t e m;a n a l y z e d t h e s y s t e m s t r u c t u r e o f c j ms s a c c o r d i n g t o t h e h i b e r a r c h y o f j o b ma n a g e me n t s y s t e m . 2 . a c c o m p l i s h e d t h e r e s e a r c h o n t h e t w o l a y e r d i s p a t c h i n g s t r a t e g i e s ; a n a l y z e d t h e d i s p a t c h i n g p r o c e s s a n d s t r a t e g i e s o f t h e j o b n e t w o r k s a n d r e q u e s t s i n c j ms s ;w o r k e d o u t a n e w r e q u e s t d i s p a t c h i n g a l g o r i t h m f o r m u l t i p l e ma c h i n e s . t h e a l g o r i t h m a p p l i e d a me c h a n i s m l i k e t h e h o t e l r e s e r v a t i o n a n d c o u l d r e d u c e t h e u n n e c e s s a r y d a t a m o v i n g , r e l e a s e t h e l o a d o f t h e n e t w o r k a n d e n h a n c e t h e e f f i c i e n c y o f t h e s y s t e m. 3 . a n a l y z e d t h e h i g h u s a b i l i t y p r o b l e m o f c j ms s i n d e t a i l ; i n t r o d u c e d t h e me t h o d o f t h e h a r d w a r e c o n f i g u r a t i o n a n d s o f t w a r e c o n f i g u r a t i o n o f c l u s t e r p r o ; a n a l y z e d t h e mo d e o f t h e e x e c u t i o n o f j o b s w h e n s o me f a u l t s e x i s t e d in c j ms s ; r e f i n e d o u t t h e a l g o r i t h m o f t h e p r o c e s s o f t a k i n g o v e r a n d r e c o v e r y a f t e r f a i lu r e . 4 . i n t r o d u c e d t h e m a i n t e c h n o l o g i e s a n d r e q u e s t s o f t h e s o f t w a r e i n t e rna t i o n a l i z a t i o n : s u m ma r i z e d t h e p r o b l e m s i n t h e p r o c e s s o f t h e r e c o n s t r u c t i o n o f r e s o u r c e d y n a m i c l i b r a r i e s、r u l e s o f t h e c o d e s a n d t i m e z o n e ; w o r k e d o u t t h e s o l u t i o n s o f s o m e p r o b l e m s . n o w t h e e n h a n c e d r e q u e s t d i s p a t c h i n g a l g o r i t h m f o r m u l t i p l e m a c h i n e s h a s b e e n c o n f i r me d o n a s m a l l s y s t e m a n d a s a t i s f y i n g r e s u l t i s g o t ; t h e h i g h u s a b i l it y s t r a t e g y b a s e d o n c lu s t e r p r o h a s b e e n a p p l i e d i n t h e c o m m e r c i a l v e r s i o n o f c j ms s ; t h e m u l t i - l a n g u a g e v e r s i o n o f c j ms s h a s p a s s e d t h e t e s t s o n m u l t i p l e p l a t f o r m s a n d 西北工业大学g9 ! 卜 学位论文 t h e s y s t e m r u n s s t a b l y a n d c o r r e c t l y . ke y wo r d s : c l u s t e r t e c h n o l o g y , j o b ma n a g e m e n t s y s t e m , j o b n e t w o r k , r e q u e s t , d i s p a t c h i n g s t r a t e g i e s , h o t e l r e s e rv a t i o n , h i g h u s a b i l it y , t a k i n g - o v e r , f a u l t r e c o v e r y , mu l t i - l a n g u a g e s u p p o rt , r e s o u r c e d y n a m i c l i b r a r i e s , r u l e s o f t h e c o d e s , t i m e z o n e i i i 西北下业人学帜 学位论义 第一章 绪论 1 . 1研究背景 应用的发展始终是作业管理系统发 展的动力。 白 1 1 十年代u n i x 系统提出作 业管理系统，规定了p o s i x标准以来，作业管理系 统己 经出 现了 众多的版本。 其中发展 最成熟、 应用最广泛的是 九十年代初提出的网络作业管理系统。网络 作业管理系统首先出现在高性能计算领域，一个典型的例子是n a s a的数字空 气动力学模拟处 理。当 时为了 获得更多的资源，n a s a建立了 数字 空气 动力学 模拟处理 系统 网络( n u m e r i c a l a e r o d y n a m i c s i m u l a t o r p r o c e s s i n g s y s t e m n e t w o r k -n p s n ) ，它由d e c v a x . s g i a m d a h l 5 8 4 0 大型机、 c r a y - 2 等不同 厂家的主 机构成，主要进行空气动力 学方面的数值计算。为了 向网络用户提供 一致的接日，简化用户 提交作业、 访问 不同物理设备的方 法及提高网络整体计 算效率， n a s a 需要一个能够完成批处理作业管 理及设备管理的系统。 这种系 统 最 初 叫网 络队 列 管 理 系 统n q s ( n e tw o r k q u e u in g s y st e m ) il o 网 络队 列 管 理系 统经过完善后实际上是一种网络作业管理系统，其主要特点有:作业管理系统 不再只为大型机( m a i n f r a m e ) 服务， 而是以c / s 模式为基木模型，具有完整的服 务器模块和客户端模块，可以 在工作站上运行; 它提供g u i 界面供用户完成作 业管理的全过程，包括作业定义、提交、监控及完善的系统管理功能等;与作 业管理系统的运行环境紧密结合，对多种作业类型如交互式作业也提供支持; 系统具有开放的体系结构，可以很容易地实现跨平台运行或增加新功能。近十 年来，各网络作业管理系统厂商不断改善自己的产品，使得网络作业管理系统 f f 趋完善，至今依然在商业和事务管理领域广泛使用。 随着 p c机和 i 一 作站在一些企业和部门的应用， 计算技术在航空、 汽车、船 舶等制造业以 及商业、金 融业、i t等 行业的广泛应用。 但是网 络作业 管理系统 的使用却并不普遍 ，其土要原因在于主流的网络作业管理系统a 、 能满足这些领 域在高吞吐量资源的高利用率和系统高司用性方而的要求 比较r lf i. 型的体现在制造业中。他们经常要完成一些诸如决策分析、系统模 拟、设计超大规 模集成电路、模拟 化学反应等计 算密集型任务 这些任务在很 长一段时间内需要大量的计算资源。如果这些企业要使用网络作业管理系统， 他们 就必须购买 某 一 个 公司 的全爹 辞允 件和硬件，费川是卜 洁 ;t.j 日 : ，而上 l 常常t j 企业现有的系统不能兼容，也小能位照 自已的要求 闭1 讯构 另外些急f 1 解决的 , l 是闲资 is f 1 7州 令 ( t 又 丈 1 业 l 公 、 或夕 梦 仁 乏 西北下业人学帜 学位论义 第一章 绪论 1 . 1研究背景 应用的发展始终是作业管理系统发 展的动力。 白 1 1 十年代u n i x 系统提出作 业管理系统，规定了p o s i x标准以来，作业管理系 统己 经出 现了 众多的版本。 其中发展 最成熟、 应用最广泛的是 九十年代初提出的网络作业管理系统。网络 作业管理系统首先出现在高性能计算领域，一个典型的例子是n a s a的数字空 气动力学模拟处 理。当 时为了 获得更多的资源，n a s a建立了 数字 空气 动力学 模拟处理 系统 网络( n u m e r i c a l a e r o d y n a m i c s i m u l a t o r p r o c e s s i n g s y s t e m n e t w o r k -n p s n ) ，它由d e c v a x . s g i a m d a h l 5 8 4 0 大型机、 c r a y - 2 等不同 厂家的主 机构成，主要进行空气动力 学方面的数值计算。为了 向网络用户提供 一致的接日，简化用户 提交作业、 访问 不同物理设备的方 法及提高网络整体计 算效率， n a s a 需要一个能够完成批处理作业管 理及设备管理的系统。 这种系 统 最 初 叫网 络队 列 管 理 系 统n q s ( n e tw o r k q u e u in g s y st e m ) il o 网 络队 列 管 理系 统经过完善后实际上是一种网络作业管理系统，其主要特点有:作业管理系统 不再只为大型机( m a i n f r a m e ) 服务， 而是以c / s 模式为基木模型，具有完整的服 务器模块和客户端模块，可以 在工作站上运行; 它提供g u i 界面供用户完成作 业管理的全过程，包括作业定义、提交、监控及完善的系统管理功能等;与作 业管理系统的运行环境紧密结合，对多种作业类型如交互式作业也提供支持; 系统具有开放的体系结构，可以很容易地实现跨平台运行或增加新功能。近十 年来，各网络作业管理系统厂商不断改善自己的产品，使得网络作业管理系统 f f 趋完善，至今依然在商业和事务管理领域广泛使用。 随着 p c机和 i 一 作站在一些企业和部门的应用， 计算技术在航空、 汽车、船 舶等制造业以 及商业、金 融业、i t等 行业的广泛应用。 但是网 络作业 管理系统 的使用却并不普遍 ，其土要原因在于主流的网络作业管理系统a 、 能满足这些领 域在高吞吐量资源的高利用率和系统高司用性方而的要求 比较r lf i. 型的体现在制造业中。他们经常要完成一些诸如决策分析、系统模 拟、设计超大规 模集成电路、模拟 化学反应等计 算密集型任务 这些任务在很 长一段时间内需要大量的计算资源。如果这些企业要使用网络作业管理系统， 他们 就必须购买 某 一 个 公司 的全爹 辞允 件和硬件，费川是卜 洁 ;t.j 日 : ，而上 l 常常t j 企业现有的系统不能兼容，也小能位照 自已的要求 闭1 讯构 另外些急f 1 解决的 , l 是闲资 is f 1 7州 令 ( t 又 丈 1 业 l 公 、 或夕 梦 仁 乏 西北下业大学硕 1 : 学位论文 他们都拥有大量的个人工作站和 p c机， 这些资源被个人占用着。 每个人的工作 性质、工作方式和工作时间都不相同。有些人因任务多使得自己的资源严重过 载:而另一 些人则因为任务少而闲置了他们的资源，使得这些资源的利用率非 常低。这样，从表面上看公司的资源需要增加，其实由于 大多数资源没有被利 用而造成了巨大浪费，即整个公司的计算资源并未得到充分使用。这些现实推 动了网络作业管理系统的改进。 山于存在以上问题，客观 卜 就需要建立 一 种高性能的作业管理系统。近几 年来，基于集群 ( c l u s t e r ) 技术的作业管理系统的研究已经成为一种士流的研究 方向。现在，已出现了众多的原型和商用系统。这些系统主要包括两类:可扩 展集群计算系统和基于集群技术的作业管理系统。前者利用工作站组成的集群 来 模拟高性能计算机进行并行计 算， 构造 “ 廉价的大型 机” 。 虽然有了 这种 “ 廉价 的大型机” ， 但是商业上使用者却较少，其主要原因在于其研究方向与一些用户 的要求不一致。另外， 这种研究 有些是对于工作站 而言 ， 如n o w e z i ; 有些是要 求有专用的网络连接方式， . 如 b e o w u l f ;而有些则需要修改操作系统内核，如 h p v m , s o l a r i s m c等。 它们 不具备 通用性， 同 时不能 够很好的 提高 现有资 源的 利用率。 后者则是集群技术和作业管理技术的 有机结合，不 但保留了作 业管理 系统的特点， 还加入了 集群技术 所带来的 新功能。 它可以很 好地解决上 述问题， 实现整个系统的高性能和高吞吐量， 从近几年的发展趋势看， 基于 集群技术的 作业管理系统己在逐步取代网络作业管理系统，成为新一代作业管理系统的主 要选择，并逐渐与传统的作业管理系统分庭抗礼。 随着 i t技术的快速成长， 商业领域和高性能应用领域对新一代作业管理系 统的需求越来越迫切， 如汽车工业中的模拟过程、 制药业的资源优化配置过程、 银行业的结算过程、商业中的联机分 析过程等 等，在二 段时间内 常常需要大最 的计算资源。因此，作为多数研究及应用机构都能承受得起的一种超级计算 资 源，基于集群技术的作业管理系统必将对许多有挑战性的计算问题及国民经济 起到积极影响，它的研制更具育重要的理论价值和 长 远的应用前景。 近年来，国外对作业管理系统的研发工作一直很活跃，产生了许多公用 的 及商业化的作业管理系统， t i 早v l 的n q s . p b s . d q s , n q e 、 丁 a s k b r o k e r 、 n e t o o l s e t . c o d i n e . l o a d l e v e l e r 以 及n e c公司的n e t s h e p h e r d 等。 a l, -, f . 在研究的系统有g l o b u s . l e g i o n . g a l l o p 艺。 西i 匕 r 业大学软件t程中已 、 从 1 9 9 7 年起7 f $ 台 研制的作、iv. t ; 理系统 c j n i s s 该作业管理系统只子 丁 般作业竹理的特点，即分布操价、资源共享、 均衡负找， 底层支拍 : 系统使4 j n q s ,7 f 1f f : 人 七 ti出上 提出丁 i if l4 4 1 l 0象组 ， 一 1 、 l 格f i 1 作， i,. 1 41 络图的操作r l if l ，它具有可 旧 : 、扩展性、分 i ， 式 t 点 西北 业大学硕 卜 学位论文 1 . 2本文主要工作 作者从 2 0 0 2 年 i 月开始参)j1 i i 了c i ms s作业管理系统 r i 1 . 2 , r 1 2 . 1 , r l 2 . 2 , r 1 2 . 3 , r 1 2 .4 五个版本的开发工作。作者所承担的主 要工作 有: 令 c i ms s作业管理系统作业调度机制的研究和改进。调查了 c i ms s的 作业调 度机制和调度算法， 提出了一 种改进的多机负载平衡调度算法。 . c i m s s作业管理系统高可用性的设计和实现。作者主要负责在 wi n d o w s系统上安装和测试高可用性作业管理系统。 令 c i m s s多语言化改造。 作者主要负责 c i ms s客户端多语言 化式样的 设计和实现，在实现的过程中作者对 c i ms s多语言化过程中遇到的问 题进行了总结，并且对一些问题提出了具体的解决力 一 案。 1 . 3木文的组织结构 全文的组织结构如下: 第一章:绪论 综述本文的研究背景、主要工作及组织结构。 第二章: 作业管理系统综述 介绍作业管理系统的发展史、发展趋势以及应用领域:重点介绍作 者参与研制的作业管理系统 c i m s s的设计模型、系统构成等。 第三章:作业调度策略的研究 对 c i ms s作业管理系统的两极调度策略进行研究;分析c i ms s 中作业网络、请求调度的过程和策略:提出 一 种改进的多机清求调 度算法。 第四章:系统高可用性的研究与实现 详细地分析 c j ms s系统中的高可用性问题: 介绍 c l u s t e r p r o的硬件 和软件配置 方法; 分析c i m s s 系统中在故障发生时作业运行方式。 第五章:多语舀化 本章首先介绍软件国际化的主要技术和基本要求随后详细沦 述c j ms s多c n台化过程中遇到的问题和解决方 一 案 结束语:e = 结木文所做的_ _ 作和存在的问e t 西北工业大学硕 卜 学位论文 第二章 作业管理系统综述 本章首先简要介绍作业管理系统的发展史、 发展趋势以及应用领域。 随后重 点介绍作者参与研制的作业管理系统 c j ms s的设计模型、 系统构成等，为后面 的深入讨论作好理论准备。 2 . 1 作业管理系统的发展史 作业管理功能最早由u n i x系统本身实现。由于 u n i x主机通常昼夜运行， 在大多数的非工作时间系统资源无法得到有效利用， 因此产生了“ 在以后某个时 刻 执行作业” 、 “ 在资 源得到满足的 情况下执行作业” 、“ 按某种时间周期 有规律 地执行作 业” 等作业管理的思想，并将这些想法用a t , b a t c h , i r o n 个命 令实现。 但是u n i x作业管理功能存在不足:( 1 ) a t 命令一旦将作业投入运行就无法 对作业的 执行过程进行控制，用 户只能在作业完成后查看执行结果; ( 2 ) a t 系 列命令并不关心作业运行 时系统的负 载情况; ( 3 ) c r o n / a t 只能在一台u n i x主 机上运行，对于网络环境无能为力。 由于 u n ix系统本身的作业管理功能非常有限，当大量的实际应用要依赖于 u n i x 时，就需要对p o s i x标准及u n i x 的扩展， 使之能够更加有效地满足批处 理作业管理的要求。大型机上的计算任务被分散在多台工作站_ 执行，人们使 用 自己桌面上的台式机完成了更多的任务。但经调查发现，工作站的资源利用 率却很低 ( 据美国l o s a l a m o s 国家实验室的一项调查表明， 平 均利用率 不到总资 源的1 0 % ) , 通常 一 台工作站任务繁重， 而另一台工作站却处于闲置状态。 另 外， 从系统运行时间看， 一个工作周 1 6 8 个小时中正常的工作时间只有4 0多个小时， 造成了资源的严重浪费。为了能够更加有效的利用计算机网络和工作站系统的 能力，人们扩展了 批处理系统，出现以网络队列系统 n q s ( n e t w o r k q u e u i n g s y s t e m ) 为代表的传统的作业管理系统批处理队列系统( b a t c h q u e u i n g s y s t e m ) . n q s 的前 身是 美国军 方b a l l i s t i c r e s e a r c h l a b o r a t o r y 开发的批处理队 列系统 m d q s ( m u l t i p l e d e v i c e q u e u i n g s y s t e m ) o但 该系统 不能满足 n a s a 倒a t i o n a l a e r o n a u t i c s a n d s p a c e a d m i n i s t r a t i o n ) 对作业管理及设备 管理的 高 性价比需 求，i 是n a s a与 其他软户 公司 在 1 9 8 6 合作1 f 发出了n q s 。 山于 该系 统的i 一 泛使用， i e e e 已 经- 1 n q s 确立为p o s i x标准的 部分 ， 即p o s i x 1 0 0 3 . 2 d . b a t c h q u e u i n g e x t e n s i o n s f o r p o r t a b l e o p e r a t i n g s c s t e n i . i p o s i x 1 0 0 3 . 2 d标准制i i 完成后，新出现的作业管理系统 毕木 卜 都遵, 1 : 了该标准的规 西北工业大学硕 卜 学位论文 第二章 作业管理系统综述 本章首先简要介绍作业管理系统的发展史、 发展趋势以及应用领域。 随后重 点介绍作者参与研制的作业管理系统 c j ms s的设计模型、 系统构成等，为后面 的深入讨论作好理论准备。 2 . 1 作业管理系统的发展史 作业管理功能最早由u n i x系统本身实现。由于 u n i x主机通常昼夜运行， 在大多数的非工作时间系统资源无法得到有效利用， 因此产生了“ 在以后某个时 刻 执行作业” 、 “ 在资 源得到满足的 情况下执行作业” 、“ 按某种时间周期 有规律 地执行作 业” 等作业管理的思想，并将这些想法用a t , b a t c h , i r o n 个命 令实现。 但是u n i x作业管理功能存在不足:( 1 ) a t 命令一旦将作业投入运行就无法 对作业的 执行过程进行控制，用 户只能在作业完成后查看执行结果; ( 2 ) a t 系 列命令并不关心作业运行 时系统的负 载情况; ( 3 ) c r o n / a t 只能在一台u n i x主 机上运行，对于网络环境无能为力。 由于 u n ix系统本身的作业管理功能非常有限，当大量的实际应用要依赖于 u n i x 时，就需要对p o s i x标准及u n i x 的扩展， 使之能够更加有效地满足批处 理作业管理的要求。大型机上的计算任务被分散在多台工作站_ 执行，人们使 用 自己桌面上的台式机完成了更多的任务。但经调查发现，工作站的资源利用 率却很低 ( 据美国l o s a l a m o s 国家实验室的一项调查表明， 平 均利用率 不到总资 源的1 0 % ) , 通常 一 台工作站任务繁重， 而另一台工作站却处于闲置状态。 另 外， 从系统运行时间看， 一个工作周 1 6 8 个小时中正常的工作时间只有4 0多个小时， 造成了资源的严重浪费。为了能够更加有效的利用计算机网络和工作站系统的 能力，人们扩展了 批处理系统，出现以网络队列系统 n q s ( n e t w o r k q u e u i n g s y s t e m ) 为代表的传统的作业管理系统批处理队列系统( b a t c h q u e u i n g s y s t e m ) . n q s 的前 身是 美国军 方b a l l i s t i c r e s e a r c h l a b o r a t o r y 开发的批处理队 列系统 m d q s ( m u l t i p l e d e v i c e q u e u i n g s y s t e m ) o但 该系统 不能满足 n a s a 倒a t i o n a l a e r o n a u t i c s a n d s p a c e a d m i n i s t r a t i o n ) 对作业管理及设备 管理的 高 性价比需 求，i 是n a s a与 其他软户 公司 在 1 9 8 6 合作1 f 发出了n q s 。 山于 该系 统的i 一 泛使用， i e e e 已 经- 1 n q s 确立为p o s i x标准的 部分 ， 即p o s i x 1 0 0 3 . 2 d . b a t c h q u e u i n g e x t e n s i o n s f o r p o r t a b l e o p e r a t i n g s c s t e n i . i p o s i x 1 0 0 3 . 2 d标准制i i 完成后，新出现的作业管理系统 毕木 卜 都遵, 1 : 了该标准的规 西北下业大学倾 卜 学位论文 范， 但大多数系统并没有采用基 本n q s 的结构与 源代码， 只提供了标准所要 求 的外部接 口，并对作业管理系统的功能进行了很大的扩充。 到8 0 年代以 后， 计算机网 络技术和分布 式计算技术更为成熟。人们通过 扩 展n q s 系统， 或者重 新定义 和设计， 研制了多 种现代作业管理系统的 产品。 由 n q s 系 统发 展 起 来 的 有c r a y 公 司 开 发 的n q e ( n e t w o r k q u e u in g e n v iro n m e n t) . n a s a与m r j 公司 在n q s 基础共同开发了p b s ( p o rt a b l e b a t c h s y s t e m ) . 另 一 个 主要分支是c o n d o r 产品， i b m 公司著名的作业管理软 件 l o a d l e v e l e r 就是在 c o n d o : 的后继u n i j e s 基础上发展起来的。德国g e n i a s 软件公司的c o d i n e ( c o m p u t i n g i n d i s t r i b u t e d n e t w o r k e n v i r o n m e n t ) 是在c o n d o r 和d q s 基础上推 出的。 目 前己发布最新版资源管理系统r ms c o d i n e 和补充的全局资 源控制器 g r d ( g l o b a l r e s o u r c e d i r e c t o r ) .另外，目 前比较流行的网络负载平衡产品 l s f ( l o a d s h a r i n g f a c i l i t y ) 山 加拿大p l a t f o r m公司 在u t o p i a 基础上) f 发的。 网格计算是伴随着互联网技术 而迅速发展起来的， 专门针对复杂科学计算的 新型计算模式。这种计算模式是利用互联网把分散在不同 地理位置的电 脑组织 成一个“ 虚拟的超级计算机” ，其中辱一台参与计 t 算的计算机就是一个“ 节点” ， 而整个计算是山成千上万个“ 节点” 组成的“ 一张网格” 。这样组织起来的“ 虚拟的 超级计算机” 有两个优势，一个是数据处理能力超强;另 一 个是能充分利用网上 的闲置处理能力。 简单地讲， 网 格是把整 个网 络整合成一台巨大的超级计 算机， 实现计算资源、 存储资源、数据资源、 信息资源、 知识资 源、专家资源的全面 共享。 随着网格技术研究的 深入， 网 格作业管 理系统的研制也 开始起步。 但是现有 的网格系统通常对作业管理的功能比 较弱，通常只支持批处理作 业， 而月 _ 对作 业的调度也集中在资源调度问题上。 2 . 2作业管理系统的发展趋势 作业管理系统是一个随应用需求推动而不断发展更新的系统。 随着集群技术 和网格计算的发展，作业管理系统一方而提供更完善的功能， 一 方面也向资源 管理系统 r ms 演化。当网格计算技术成熟后，作业管理系统就进化为网格管理 系 统g m s ( g r id m a n a g e m e n t s y s te m ) , c o d in e i4 i系 统己 露 出 这f ill趋 势 的 端倪。 目前，作业管理系统研究主要集中在如下几个方向: 1 . j 放接口 考虑到作业管理系 统作为 种系 统中间件， 小可能 将川厂 所有的作、 1 k 针i f l l- 行 为都定制4a需要 l i 作业管p1系统提供f ,1 f f l 程f t - z i a p i 支持第 二 i i r % t i i f it 序f i j 开发，l - 提供接c l i i _ 川) 来制定作、 i i! 管f1!策略 西北下业大学倾 卜 学位论文 范， 但大多数系统并没有采用基 本n q s 的结构与 源代码， 只提供了标准所要 求 的外部接 口，并对作业管理系统的功能进行了很大的扩充。 到8 0 年代以 后， 计算机网 络技术和分布 式计算技术更为成熟。人们通过 扩 展n q s 系统， 或者重 新定义 和设计， 研制了多 种现代作业管理系统的 产品。 由 n q s 系 统发 展 起 来 的 有c r a y 公 司 开 发 的n q e ( n e t w o r k q u e u in g e n v iro n m e n t) . n a s a与m r j 公司 在n q s 基础共同开发了p b s ( p o rt a b l e b a t c h s y s t e m ) . 另 一 个 主要分支是c o n d o r 产品， i b m 公司著名的作业管理软 件 l o a d l e v e l e r 就是在 c o n d o : 的后继u n i j e s 基础上发展起来的。德国g e n i a s 软件公司的c o d i n e ( c o m p u t i n g i n d i s t r i b u t e d n e t w o r k e n v i r o n m e n t ) 是在c o n d o r 和d q s 基础上推 出的。 目 前己发布最新版资源管理系统r ms c o d i n e 和补充的全局资 源控制器 g r d ( g l o b a l r e s o u r c e d i r e c t o r ) .另外，目 前比较流行的网络负载平衡产品 l s f ( l o a d s h a r i n g f a c i l i t y ) 山 加拿大p l a t f o r m公司 在u t o p i a 基础上) f 发的。 网格计算是伴随着互联网技术 而迅速发展起来的， 专门针对复杂科学计算的 新型计算模式。这种计算模式是利用互联网把分散在不同 地理位置的电 脑组织 成一个“ 虚拟的超级计算机” ，其中辱一台参与计 t 算的计算机就是一个“ 节点” ， 而整个计算是山成千上万个“ 节点” 组成的“ 一张网格” 。这样组织起来的“ 虚拟的 超级计算机” 有两个优势，一个是数据处理能力超强;另 一 个是能充分利用网上 的闲置处理能力。 简单地讲， 网 格是把整 个网 络整合成一台巨大的超级计 算机， 实现计算资源、 存储资源、数据资源、 信息资源、 知识资 源、专家资源的全面 共享。 随着网格技术研究的 深入， 网 格作业管 理系统的研制也 开始起步。 但是现有 的网格系统通常对作业管理的功能比 较弱，通常只支持批处理作 业， 而月 _ 对作 业的调度也集中在资源调度问题上。 2 . 2作业管理系统的发展趋势 作业管理系统是一个随应用需求推动而不断发展更新的系统。 随着集群技术 和网格计算的发展，作业管理系统一方而提供更完善的功能， 一 方面也向资源 管理系统 r ms 演化。当网格计算技术成熟后，作业管理系统就进化为网格管理 系 统g m s ( g r id m a n a g e m e n t s y s te m ) , c o d in e i4 i系 统己 露 出 这f ill趋 势 的 端倪。 目前，作业管理系统研究主要集中在如下几个方向: 1 . j 放接口 考虑到作业管理系 统作为 种系 统中间件， 小可能 将川厂 所有的作、 1 k 针i f l l- 行 为都定制4a需要 l i 作业管p1系统提供f ,1 f f l 程f t - z i a p i 支持第 二 i i r % t i i f it 序f i j 开发，l - 提供接c l i i _ 川) 来制定作、 i i! 管f1!策略 西北t. 业大学硕 l 学f l . 论文 2 . 资 源控制 一 般的作业管理系统只能做到与单个作业相关的资源控制， 而对整个系统的 资源使用情况没有处理。所以，以 后的 作业管 理系统将会做到 类似于大型机操 作系统对整个资源的全局控制。 3 . 并 行环境 目 前对并行环境的处理的一种方法是 将并行环境的启动/ 停止脚本交给作 业管理系统来运行并行 程序， 这是一 种松藕合 方式。 另一种方法是作业管理系 统支持并行环境接口，将并行程序运行在作业管理系统的上下文环境中，这是 一种紧藕合方式。以后的作业管理系 统继续支 持更多的并行环境，并透明 地将 并行环境嵌入到作业管理系统中，从 而得 到一种更好的 集成方 式。 4 . 数据库支持 功能比 较全面的作业管理 系统 提供与 数据库系 统集 成的 接口， 这样就充分发 挥网 络负 载平衡和数据库信息处 理的 威力， 为企业级的信 息处理提供良 好保证。 5 ，广域网支持 因特网的迅猛发展， 需要作业管理系统能够将不同地区的资源整合起来给用 户一个透明的访问方式。而目前的作、i v 管理系统局限于局域网计算环境。要支 持广域网.就会产生安全性、远程文件系统、记账信息和网络带宽问题。 u ni c o r e科研项 目 就着重解决这些问题，从而为支持广域网探索道路。 6 .与操作系统集成 作业管理系统脱胎于操作系统的批处理了系统， 作为操作系统之上的中间件 已经有很多年了。在此期间，出现了各种各样的作业管理系统。但这种局面 - 方面给用户带来选择的便利，但另一方面也带来系统之iu j 相互不兼容的问题 。 现代操作系统提供 越来越多的作业管理功能， 支持负载平衡和集群管理。 作业 管理系统的主要功能正在向操作系统集成。以后，可能是这样两种趋势，一方 面常用的 功能成为操作系统的一部分。 另一方 面， 作业 管理系统仍然独立 发展， 但会提供给用厂 更精确和更有效的作业和资源管理。 2 .3作业管理系统的应用领域 2 .3 .1科学计算 高性能计算领域是作业管i f! 系统的最初的 也是最 卜 要的应用领域 。例如 n q s 系 统最初就是为了 满足n 八 s 八的需求而开发的 、 1 i4 n a s 八的数字空 ) j 力学模拟处理系 统网络( n u m e r i c a l a e r o d ti n a m i c s i m u l a t o r p r o c e s s i m _ s y s t e m 西北t. 业大学硕 l 学f l . 论文 2 . 资 源控制 一 般的作业管理系统只能做到与单个作业相关的资源控制， 而对整个系统的 资源使用情况没有处理。所以，以 后