（计算机软件与理论专业论文）网络作业管理系统的研究和实现.pdf

摘要 作业管理系统是建立在操作系统之上的一种资源管理软件。早期的作业管 理系统，是为了强化操作系统的批处理功能。随着计算机技术的不断发展，当 前计算机已经由原来的单机处理模式逐渐转化为集群处理。网络的发展使得操 作系统的作业处理功能不能满足时代的要求。在操作系统之上建立一种专门的 网络作业管理软件成为必要。 本文基于某特定作业管理系统复杂局域网环境作业管理系统( m u l t i l a nj o bm a n a g e m e n ts y s t e m ，下文简称m l j m s 系统) 对作业管理系统的系统 结构、通信策略改善，平台适应性改善等方面进行了研究，主要体现如下： 一、总结了作业管理系统的发展历史和发展趋势；提炼出作业管理系统的 结构模型和性能评价体系，并用此评价体系对m l j m s 系统进行评估； 二、针对复杂局域网环境，通过改进系统的通信机制实现了系统对多网段 请求的快速响应，提高系统的通信效率。 三、开发支持英特尔安腾处理器( i p f ) 的作业管理系统，扩展了作业管 理系统的应用平台。i p f 是i n t e l 和h p 积极合作开发了全新的6 4 位开放性i a 6 4 体系结构的处理器系列 以上三个方面都是作业管理系统进一步发展所要面临的问题。一套被业 内公认的科学的性能评价体系可以指引作业管理系统发展的方向：同样，复杂 网络环境下的应用能力以及作业管理系统对高端硬件平台的支持程度则决定了 其作为高性能计算支撑软件的生命力。本文是在总结作业管理系统的系统结构 并提出性能评价体系的基础上，以扩展系统的应用环境、完善系统支持的设备 平台为出发点来展开的。 关键字：作业管理系统作业s o c k e t 通信i p f6 4 位 a b s t r a c t j o bm a n a g e m e n ts y s t e mi sr e s o u r c em a n a g es o f t w a r eb a s e do nt h eo s ( o p e r a t i o ns y s t e m ) e a r l yj o bm a n a g e m e n ts y s t e mi su s e dt oe n h a n c et h eb a t c h s y s t e mo fo s w 池t h ed e v e l o p m e n to fc o m p u t e rs c i e n c e m o d e r nc o m p u t e ri s c h a n g i n gf r o ms i n g l ep r o c e s s o rt oc l u s t e li nt h es a m et i m e ，w i d e l yu s eo fn e t w o r k m a k e si o bm a n a g e m e n to fo si t s e l fc a n n o tm e e tt h ed e m a n do fu s e r s i ti sn e c e s s a r y t od e v e l o ps p e c i a lj e bm a n a g e m e n ts o f t w a r eb a s e do nt h eo s t h i st h e s i si sb a s e do nas p e c i a lj o bm a n a g e m e n ts y s t e m m u l t il a nj o b m a n a g e m e n ts y s t e m ( m l j m s ) a n da c c o m p l i s h e ss o m er e s e a r c ho nt h es y s t e m s t r u c t u r e 、t h e j o bc o m m u n i c a t i o ns t r a t e g i e s 、t h ee x p a n d i n go fs u p p o r t e dp l a t f o r mo f t h ej o bm a n a g e m e n ts y s t e m r e l a t e dw o r ki si i s t e db e l o w ： 1 g i v eas u m m a r yo ft h eh i s t o r ya n dt r e n do f j o bm a n a g e m e n ts y s t e m s e tu pa s t a n d a r df o rt h ee v a l u a t i o no fj o bm a n a g e m e n ts y s t e m ，a n dt h i ss t a n d a r di su s e dt o e v a l u a t em l j m s 2 i nm u l t i l a nn e t w o r ke n v i r o n m e n t ，t h ec o m m u n i c a t i o ns t r a t e g yi si m p r o v e d f o rf a s t e rr e q u e s tr e s p o n s ea n db e t t e rs y s t e me f f i c i e n c y 3 j o bm a n a g e m e n ts y s t e ms u p p o r t e dp l a t f o r mi se x p a n d e db ye x p l o i t i n ga n d d e p l o y i n g6 4 - b i tj o bm a n a g e m e n ts y s t e mt h a tc a nb er u no ni p fp l a t f o r m i p fi s n e wi a 一6 4a r c h i t e c t u r ep r o c e s sc h i pt h a td e v e l o p e db yi n t e la n dh p t h e s et h r e eq u e s t i o n sa r i s ew h i l et h ej o bm a n a g e m e n ts y s t e md e v e l o p e d a w i d e l yr e c o g n i z e d e v a l u a t i o ns t a n d a r dl e a d st ot h en e wd e v e l o p m e n to fj o b m a n a g e m e n ts y s t e m s u p p o r t i n gt oc o m p l e xn e t w o r ka n dh i g h l e v e lh a r d w a r e d e c i d e dw h e t h e rj o bm a n a g e m e n ts y s t e mw o u l db e u s e do nh i g hp e r f o r m a n c e c o m p u t i n go rn o ti nt h ef u t u r e t h i sp a p e ri sa i m e dt oe x p a n dt h es u p p o r t i n gt o c o m p l e xn e t w o r ka n dh i g h l e v e lh a r d w a r eo f j o bm a n a g e m e n ts y s t e m k e y w o r d s ：j o bm a n a g e m e n ts y s t e m ，j o b ，s o c k e t ，i p f ，6 4 b i t i i 西北工业大学硕士学位论文第一章绪论 1 1 研究背景 第一章绪论 近年来，国外对作业管理系统的研发工作一直很活跃，世界上许多大学和 研究所都开展了对作业管理系统的研究工作，并且产生了许多公用和商业化的 作业管理系统，公用的免费系统如n q s 、p b s 、c o n d o r 、d q s 等是由美国的 一些大机构或大学开发的，可以从i n t e r n e t 上直接获得它们的源代码。商业化的 系统由一些软件公司或硬件生产公司为自己的机器丌发，如加拿大p l a t f o r m 公 司的l s f 、i b m 公司的l o a d l e v e l e r 等。 目前国内对作业管理系统的研究很少，相关的产品也很少。由于作业管理系 统与并行计算、分布式计算和集群系统密切相关，国内一些大学和研究机构对 作业调度、网络负载平衡等课题作过一些研究，但还没有将作业管理系统作为 一个整体系统的研究与实现。从1 9 9 7 年起，西北工业大学软件工程中心和国外 某知名公司开始合作研究作业管理系统，并从此着手研制面向商业化的新一代 作业管理系统。本文作者在参与该作业管理系统的研发过程中，得有机会对作 业管理系统的体系结构与实现方法进行全面韵分析，从整体上理解作业管理系 统的实现方法，并参与了部分具体作业管理系统功能的实现。本文将对作业管 理系统的结构特点和一些增强功能进行分析，为开发我国自主的作业管理系统 做准备。 1 2 本文的主要工作 论文准备期间，我在查阅大量的相关文献资料的基础上对作业管理系统的 结构特点做了总结，并运用现有的作业管理系统评价体系对目前系统进行评价， 针对现有系统的不足，实现了一些系统的增强性能来改进系统的整体性能。 在项目的设计与丁r 发过程中，我主要做了下列工作： 作业管理系统通讯改进支持局域网多网段环境 扩展作业管理系统应用平台支持6 4 位英特尔安腾处理器 参与系统r 1 2 4 ，r 1 2 5 开发工作与以前版本的维护工作 两北j ：业犬学硕士学位论文 第一章绪论 作为一个定位为商业运用的作业管理系统，对复杂局域网环境的支持是必 要的。跨网段的作业投交和运行使得系统的整体性能得到提高。由于6 4 位处理 器的出现，对于主要运行于服务器上的作业管理系统来说是一个提高系统性能 的机会，我有幸参加到系统6 4 位移植的工作，从中总结出束一些6 4 位移植的 经验。 1 3 本文的组织结构 本文对作业管理系统结构特点进行了研究，重点阐述了网络队列系统如何 执行一个作业管理系统的作业。在此基础上对现有作业管理系统进行评价，并 实现多网段，6 4 位移植等增强特性。 全文按如下章节组织： 叙述论文的研究背景，及作者在课题中所做的工作。 作业管理系统综述，包括其基本概念，发展历史，性能评价体系以及作业 管理系统的发展趋势。 介绍本作业管理系统的结构，并比较其特点。重点介绍本作业管理系统的 服务器端各个模块的功能，以及它们如何协调的完成特定的任务的。 作业管理系统的通讯技术。系统中应用了多种通讯的技术。用s o c k e t ，管道， 共享内存，m a i l s l o t ，信号系统实现作业管理系统进程组中的各个进程共享信息。 本文针对局域网中多网段环境进行通信策略改进，使系统支持跨网段作业投交 和运行。 “位处理器的出现给作业管理系统带来了一次性能改进的机遇，尤其是英 特尔安腾系列( i p f ) 高性能处理器给服务器处理能力带来很大的进步，但是， 普通3 2 位应用程序并不能直接运行在基于i a 6 4 的i p f 处理器上。作者在参与 6 4 位移植工作的基础上，总结出一些6 4 位程序移植方法。 丛! 王些厶堂堡堂垡造塞 第二章作业管理系统综述 第二章作业管理系统综述 本章主要介绍了作业管理系统的发展历史和发展趋势，并对目前常用的作 业管理系统给予简要评价。结合实际开发的作业管理系统产品，简要描述了作 业管理系统的基本概念、层次结构和功能特点以及发展趋势，并由此归纳出作 业管理系统的增强特性，为后面进步的讨论作理论准备。 2 1 作业管理系统发展简史 2 1 1 传统作业管理系统阶段 在以大型主机系统为主的年代，人们使用批处理系统( b a t c hp r o c e s s i n g s y s t e m ) 来提高系统资源利用效率。随着计算机网络技术的产生和计算机系统的 小型化发展，资源共享的观念深入人心。大型机上的计算任务被分散在多台工 作站上执行，人们使用自己桌丽上的台式机完成了更多的任务。但经调查发现， 工作站的资源利用率却很低( 据美国l o sa l a m o s 国家实验室的一项调查表明， 平均利用率不到总资源的1 0 ) ，通常一台工作站任务繁重，而另一台工作站却 处于闲置状态。另外，从系统运行时间看，一个工作周1 6 8 个小时中f 常的工 作时间只有4 0 多个小时，造成了资源的严重浪费。为了能够更加有效的利用训 算机网络和工作站系统的能力，人们扩展了批处理系统，出现以网络队列系统 n q s ( n e t w o r kq u e u i n gs y s t e m ) 为代表的传统的作业管理系统批处理队列系 统( b a t c hq u e u i n gs y s t e m ) 。n q s 的前身是美国军方b a l l i s t i cr e s e a r c hl a b o r a t o r y 丌发的批处理队列系统m d q s ( m u l t i p l ed e v i c eq u e u i n gs y s t e m ) 。但该系统不能 满足n a s a ( n a t i o n a la e r o n a u t i c sa n ds p a c ea d m i n i s t r a t i o n ) 对作业管理及设备管 理的高性价比需求，于是n a s a 与其他软件公司在1 9 8 6 合作开发出了n q s 。由 于该系统的广泛使用，i e e e 已经将n q s 确立为p o s i x 标准的一部分，即p o s i x 1 0 0 3 2 d “b a t c hq u e u i n ge x t e n s i o n sf o rp o r t a b l eo p e r a t i n gs y s t e m ”。 2 1 2 现代作业管理系统阶段 到8 0 年代以后，计算机网络技术和分布式计算技术更为成熟。人们通过 扩展n q s 系统，或者重新定义和设计，出现了多种现代作业管理系统的产品。 由n q s 系统发展起来的有c r a y 公司开发的n q e ( n e t w o r kq u e u i n g e n v i r o n m e n o 。并且，n a s a 继续在n q s 基础上开发，与m r j 公司共同丌发 p b s ( p o r t a b l eb a t c hs y s t e m ) 。目前p b s 的最新版本是p b sp r 0 5 0 。另一个主要 分支是c o n d o r 产品，i b m 公司著名的作业管理软件l o a d l e v e l e r 就是在c o n d o r 的后继u n i j e s 基础上发展起来的。德国g e n i a s 软件公司的c o d i n e ( c o m p u t i n gi nd i s t r i b u t e dn e t w o r ke n v i r o n m e n t ) 是在c o n d o r 和d q s 基础上推 出的。目前已发布最新版资源管理系统r m sc o d i n e 和补充的全局资源控制 器g r d ( g l o b a lr e s o u r c ed i r e c t o r ) 。另外，目前比较流行的网络负载平衡产品 l s f ( l o a ds h a r i n gf a c i l i t y ) 由加拿大p l a t f o r m 公司在u t o p i a 基础上开发的。 可以看出，在作业管理系统领域，在统一p o s i x 标准基础上，各种产品 层出不穷各具特色。这一方面说明了作业管理在整个计算机学科中的重要地 位，另一方面表明作业管理系统不断发展、充满活力，是目前研究的一个热点。 2 2 作业管理系统评价体系 我们在研究多种作业管理系统的基础上，结合我们在开发m l j m s 系统中 所遇到的问题和参考标准，并参考其他研究机构对作业管理系统的比较和评价， 我们总结了作业管理系统的评价体系，包含以下几个方面的内容； 支撑环境：即系统的应用范围，包括： ( 1 ) 是商用或是研究产品。这将决定使用该系统的花费和期望得到的服 务等级。商用产品能提供较强的系统稳定性、强壮性和全面的服务支持，而研 究产品一般开放源码，用户可根据需要加以改进( 2 ) 是西支持异构机群，如 p c ，m p p 或工作站( 3 ) 支持的操作系统平台( 4 ) 为了运行该系统，是否需要 安装其它的硬件或软件( 5 ) 能支持哪些文件系统，如n f s ，a f s ，d f s 支持的作业类型： ( 1 ) 是否支持批处理作业( 2 ) 是否支持交互式作业( 3 ) 是否支持串行 作业( 4 ) 支持那些并行作业，是否支持m p i 、p v m 、h p f 等等 作业调度和节点分配策略： 两北l ：业大学硕士学位论文第二章作业管理系统综述 ( 1 ) 提供了哪些作业调度和节点分配策略( 2 ) 作业调度和节点分配策略 是否是可配置的，用户能否自由选择各种策略而不影晌系统的正常运行( 3 ) 用 户能否选择或更改各种调度参数，如采用负载平衡算法时，是否可由用户自由 选取负载参数( 4 ) 当系统由许多工作站组成时，对工作站主人的影响如何( 5 ) 调度算法的开销由多大( 6 ) 是否提供了检查点操作的功能，支持哪几种作业类 型的检查点操作，是在操作系统级还是用户级( 7 ) 是否提供了进程迁移的功能 ( 8 ) 系统是否对作业的状态进行监控，当作业异常是能否重新调度作业( 9 ) 能否挂起或继续运行作业( 1 0 ) 能否支持作业依赖( 11 ) 能否支持节点的公平 共享策略、分区策略和独占策略，并由用户指定( 1 2 ) 是否实现优先级策路， 并允许用户修改作业的优先级( 1 3 ) 是否具有分离的调度器和公开的a p i 接口， 方便用户自己丌发调度器 资源管理功能： ( 1 ) 系统管理员能否控制资源的可用性，能否更改资源配置，添加、删 除和修改资源( 2 ) 系统管理员能否控制用户对资源的存取权限( 3 ) 系统管理 员能否限定资源被使用的大小( 4 ) 用户提交作业时能否确定资源要求，作业提 交后能否更改作业的资源要求( 5 ) 当作业完成后，能够很好地进行善后处理( 6 ) 是否能提供s t a g e i n 和s t a g e o u t 功能( 8 ) 当系统不可能满足作业的要求时， 系统能否在用户进行作业提交时采取措施( 9 ) 加盟的工作站主人能否设置资源 的可用性、存取权限以及可用时间( 1 0 ) 加盟的工作站主人能否自由地退出而不 影响整个系统的运行 作业监控能力： ( 1 ) 系统能否有效的监控作业的所有进程，特别是分布在不同节点上的并行 作业的各个进程( 2 ) 当用户杀除作业时，系统能否彻底地杀除该作业的所有子进 程，不留下僵尸进程( 3 ) 系统管理员能否改变队列或作业的状态( 4 ) 用户能否察看 系统和作业的运行状态( 5 ) 用户能否挂起、释放或删除作业 安全： 系统能否保证在多用户环境下的安全，包括：( 1 ) 系统是否有用户的身份认 证机制，防止非授权用户对系统的使用和用户之间的冒名使用( 2 ) 能否防止恶意 用户对系统的破坏( 3 ) 是否存在安全漏洞，能否防止网络黑客的攻击( 4 ) 能否防止 用户对其它用户的作业的操作( 5 ) 除了p a s s w o r d 文件之外有没有其它的用户认 证机制 记账日志管理： 西北i j 业犬学硕士学位论文第二章作业管理系统综述 ( 1 ) 系统能否记录每一作业的不同时期的状态( 2 ) 系统能否记录每一作业的 运行开始、结束时间，退出状态、优先级，通讯量以及所使用的资源( 3 ) 系统能 否根据管理员的记账策略生成记账信息 可用性： ( 1 ) 系统能否消除单一故障点保证系统的连续可用性( 2 ) 当系统某些 部分发生故障时，系统能否保证作业不丢失以及作业运行结果的正确性( 3 ) 系 统可用性的实现有什么要求 好用性： ( 1 ) 系统管理员能否容易地管理和配置该系统( 2 ) 是否提供了图形化界 面和命令行方式，方便用户提交作业、查询系统和作业状态( 3 ) 系统管理员能 否动态配置系统而不影响系统的正常运行( 4 ) 系统是否有完善的文档( 5 ) 用 户能否在提交作业时指定作业开始调度或运行时间( 6 ) 用户能否通过s c r i p t 文 件提交作业( 7 ) 用户能否重新定向输入和输出文件( 8 ) 用户能否从提交节点 方便的存取输出文件( 9 ) 是否提供了系统各个部分的a p i 接口( 1 0 ) 是否符合 相关标准p o s i x1 0 0 3 2 d “b a t c hq u e u i n ge x t e n s i o n sf o rp o r t a b l e o p e r a t i n g s y s t e m s ”( 1 1 ) 系统是否具有良好的可扩展性( 1 2 ) 能否支持两个机群系统互 相提交作业 2 3 作业管理系统发展趋势 自作业管理系统推出以来，就是一个随应用需求推动而不断发展更新的系 统。随着集群技术和网格计算的发展，作业管理系统一方面提供更完善的功能， 一方面也向资源管理系统( r e s o u r c em a n a g e m e n ts y s t e m ) 演化。当网格计算技 术成熟后，作业管理系统就进化为网格管理系统g m s ( g r i dm a n a g e m e n t s y s t e m ) ，c o d i n e 系统己露出这种趋势的端倪。目前，作业管理系统要改进的 方向有如下几点： 1 开放接口 考虑到作业管理系统作为一种系统级中间件，不可能将用户所有的作业管 理行为都定制好。需要由作业管理系统提供应用程序接口a p i 来支持第三方应 用程序的开发，并提供接口让用户来制定作业管理策略。 2 资源控制 正如c o d i n e 系统能够区分资源和用户的优先级，从而制定出合理的资源 控制策略。一般的作业管理系统只能做到与单个作业相关的资源控制，而对整 西些工业人学堡士学位论文 第二章作业管理系统综述 个系统的资源使用情况没有处理。所以，以后的作业管理系统将会做到类似于 大型机操作系统对整个资源的全局控制。 3 并行环境 目前对并行环境的处理的一种方法是将并行环境的启动停止脚本交给 作业管理系统来运行并行程序，这是一种松耦合方式。另一种方法是作业管理 系统支持并行环境接口，将并行程序运行在作业管理系统的上下文环境中，这 是一种紧耦合方式。以后的作业管理系统继续支持更多的并行环境，并透明地 将并行环境嵌入到作业管理系统中，从而得到一种更好的集成方式。 4 数据库支持 功能比较全面的作业管理系统提供与数据库系统集成的接口，这样就充分 发挥网络负载平衡和数据库信息处理的威力，为企业级的信息处理提供良好保 证。 5 广域网支持 因特网的迅猛发展，需要作业管理系统能够将不同地区的资源整合起来给 用户一个透明的访问方式。而目前的作业管理系统局限于局域网计算环境。要 支持广域网，就会产生安全性、远程文件系统、记账信息和网络带宽问题。 u n i c o r e 科研项目就着重解决这些问题，从而为支持广域网探索道路。 6 与操作系统集成 作业管理系统脱胎于操作系统的批处理予系统，作为操作系统之上的中间 件已经有很多年了。在此期问，出现了各种各样的作业管理系统。但这种局面 一方面给用户带来选择的便利，但另一方面也带来系统之间相互不兼容。现代 操作系统提供越来越多的作业管理功能，支持负载平衡和集群管理。作业管理 系统的主要功能难在向操作系统集成。以后，可能是这样两种趋势，一方面常 用的功能成为操作系统的一部分。另一方面，作业管理系统仍然独立发展，但 会提供给用户更精确和更有效的作业和资源管理。 西北r 业大学硕士学位论文 第二章作业管理系统综述 2 4 小结 本章主要介绍了作业管理系统的发展历史，阐述了传统的作业管理与现代 作业管理系统，比较显示现代作业管理系统在引入计算机网络和分布式计算技 术后在商业应用和科学计算领域得到广泛应用，出现多种作业管理系统产品。 在比较这些产品的同时，结合在开发m l j m s 系统中所遇到的问题和参考标准， 并参考其他人对作业管理系统的比较和评价，总结了作业管理系统的评价体系。 本章最后对作业管理系统的发展趋势和应用前景进行了探讨，以后的作业管理 系统将朝着更加通用，高效和安全的方向发展。新型作业管理系统在不远将来 将得到更加广泛的应用。 第三章m l j m s 系统介绍 本章介绍m l j m s 系统的系统结构已经各组成模块的作用以及其问的关系。 重点介绍服务器端的组成，以及系统中涉及到的作业描述语言和调度算法。 3 1 系统构成 m l j m s 是在分布式环境下客户服务器环境中进行批处理的系统。批处理 就是将一批接受的请求在队列中排队，然后按顺序进行处理的功能。 除一般的批处理功能之外，m l j m s 系统还可在网络环境下通过简单操作平 衡负载、管理作业执行等。在m l j m s 中，作业的执行单位被作为批处理请求 来处理。可以指定批处理请求的执行时间、优先顺序等属性。另外，通过定义 一个或多个批处理请求的执行顺序和构成作业网络，能可视的控制投入的作业 或监视其执行情况。还可以通过定义日程表自动提交作业。 批处理请求被登记入队列，并按顺序进行处理。系统中可定义多个队列。 在每个队列中，可以指定可同时执行的请求数、队列间的执行优先顺序等属性。 对于已投入的请求，可进行保持、释放、删除、监视状态、或参照执行结果等 操作。 下图中给出了m l j m s 系统功能的使用实例，展现了m l j m s 使用方法的 概貌。 图3 1 ：m l j m s 系统运行环境实例 m l j m s 系统采用客户服务器c s 体系结构，将系统分为服务端s v ( s e r v e r l 和客户端c l ( c l i e n t ) 。m l j m s 采用层次开发的观点，将整个系统分为若干层， 每层功能相互独立，但保证层与层接口相对稳定，既有利于软件开发，也可以 做到很大的灵活性，扩展功能比较方便。实际上，该系统经历了多个版本的研 发，主要体系结构没有改变，但增加了很多功能，这说明该体系结构有很强的 生命力。 下图中展现了m l j m s 主要模块的关系。 图3 - 2 ：m l j m s 作业管理系统的作业流 说明： f 1 ) i f o r 是m l j m s 作业管理系统中采用的l i c e n s e 认证服务器，客户端程 序只有在获得l i c e n s e 认证后才可使用m l j m s 作业管理系统。 f 2 ) o b j e c t s p i n n e r 是m l j m s 作业管理系统中使用的对象请求代理软件，它 是n e c 公司的著名c o r b a 软件，它提供了名字服务，事件服务等 c o r b a 服务机制。 ( 3 ) 用户代理主要是用于处理用户登录及注销，或者查询主机信息。 f 4 ) n q s 代理是用于处理用户的操作和管理。 ( 5 ) j n w m a n 操作主要是和e u i 相关联的操作。 ( 6 ) n q s a p i 操作主要进行队列和请求的管理，网络的管理。 f 7 ) m l j m s 引擎在m l j m s 系统中对作业网络进行调度解析，然后交给n q s 服务器执行。 ( 8 ) n q s 是网络队列系统，是m l j m s 作业管理系统底层的核心部分。用于 完成子作业的执行，队列及请求的管理，负载平衡等。在n q s 中队列分 为两种：b a t c h 队列，用于子作业的实际执行，p i p e 队列，用于子作业的 传输，主要体现了分布式系统中的集中控制。 3 1 1 客户端简介 客户端软件提供g u i 界面供用户完成作业管理的全过程，包括作业定义、 提交、监控及完善的系统管理功能等。用户将定义好的作业可以通过它发往服 务器，某些特权用户还可以通过客户端软件对服务器进行管理，创建、修改或 删除服务器所管理的各类对象。客户端软件还提供监控系统状态、信息查询的 功能。提供一个是好的用户界面是方便用户使用的一个手段，是为了更好地使 用客户端所提供的各项功能。 客户端软件运行在所有用户机上，它是用户和作业管理系统服务器及整个 集群通讯的接口。除了早期n q s 系统只向用户提供命令行程序，现在大多数作 业管理系统都提供一个g u i 界面，通过该图形化接口，用户可以完成作业定义、 提交和监控等一系列操作。随着w e b 技术的普遍应用，还有许多作业管理系统 提供w w w 方式的客户端，使各种结构机器上的用户都可以方便地访问作业管 理系统服务器，将作业管理系统的应用范围扩大到了整个i n t e r n e t 。 客户端软件包含以下几大功能块： 作业网络管理：它可进行作业网络的生成，删除，更名，复制。作业网络 流图的绘制，属性定义。各种类型作业的生成，属性定义。用户配置参数的设 定。作业网络图的投入。 跟踪情报显示：监查作业网络的执行状况，跟踪作业网络的执行，获得作 业网络当前的执行点。查看作业网络执行r 志。查看单元作业的执行结果，出 错信息，详细情报。对执行作业网络进行各种控制。在执行过程中重新修改作 业网络及作业的属性定义。 同历调度功能：创建日历及时刻表。工作日，休息日的设最。作业网络同 历调度的设置。设鬣调度规则。将调度规则联接到具体的作业网络上，使该作 业网络按照所设定的调度规则进行调度。 机器管理功能：对机器进行统一管理，可以形成m l j m s 系统的机器组， 在机器组内，可实现负载的分散功能。可追加或删除一台机器到m l j m s 机器 组中。 统一管理站：对m l j m s 系统机器组的队列，请求进行统一管理。可在机 器组中的任何机器上新建队列，设定队列的属性，优先级等。查看机器中的队 列状况，队列中的请求状况。用户可指定负载的走向。 3 1 2 服务器简介 作业管理系统服务器是作业管理系统的核心模块，作业管理的原理最早只 是运用于可执行的单元作业，随着作业流技术的发展，作业管理系统的服务器 系统提供了对作业流的定义，作业漉的调度与执行，作业流的跟踪及控制等功 能。 当前的作业管理系统主要有两类：一类是通过扩展n q s ( n e t w o r kq u e u i n g s y s t e m ) 系统而柬，这类系统与原有的n q s 系统有着良好的兼容陛；另一类则 是自己重新定义整个系统，与其它任何系统都不兼容，但是有的也提供了与n q s 系统协同工作的方法。目前的几十种作! 眦管理系统在目标、结构、功能和实 现工各有差异，从不同侧面反映_ 作业管理系统所应具各的特性。 m l j m s 是在n q s 的基础上开发的面向商业应用的作业管理系统，它对 n q s 的功能进行了增强。n q s 系统是运行在u n i x 操作系统环境中的一个公用 的自由软件，而增强了的n q s 提供对n t 操作系统的支持。n q s 系统只允许用 户以命令行的形式提交简单的作业，即一个其有可执行属性的文件。m i 。i m s 系统在扩展n q s 系统的基础上，实现了用户界面和复杂作业的处理。并加强了 n q s 系统的对问调度和机器调度等功能，使得m l j m s 系统成为了一个面向用 户的功能强大的作业管理系统。m l j m s 采取典型的c s 结构，它的结构图如下： ( 竺! ! ! j ：至三三薹! 至! 三二： 篷 w 8 髓二：) 、o 一一一 五三兰三：j 二三兰：二 其中客户端主要负责界面显示和提过与服务器端接口；通讯代理部分负责 数据的格式化传输打包与解包；j n w e x e 模块以及j n w e n g i n e 负责对作业网 络的解析；n q s 负责对解析出来的简单作业进行执行和调度。 3 2m l j m s 系统的服务器 m l j m s 是基于作业流的作业管理系统，它提供了对作业流和作业的全面 支持，分为作业流的定义子系统、作业流引擎、和作业执行子系统三大模块。 作业流的定义子系统负责定义和描述作业流，设定作业流的属性，检查作 业流的合法性，将作业流描述文件存储到服务器端；作业流引擎是作业管理系 统中对作业流进行调度和执行的中心产品，作业流引擎负责接收用户投入的作 业流，对作业流中各个作业之问的关系进行解释，按照作业流所定制的依赖关 系来调度每个可执行的作业，逐个将这些作业提交给作业执行子系统，同时产 生作业流的执行状态文件；作业执行子系统即网络队列系统，负责接收作业流 引擎提交到队列中的作业请求，并对请求进行调度和执行，从而更加有效地利 用系统资源、平衡网络负载、提高系统整体性能。 3 2 1 作业描述 对负责作业的描述能力是衡量一个作业管理系统性能的重要指标。m l j m s 采用作业流的方式来描述负责作业，使单元作业之间建立逻辑上的联系，使逻 辑上非常复杂作业群表示位一个有机的整体一一作业网络。 3 2 1 1 作业流的引入 作业网络是用来定义作业以及作业之间的依赖关系的一种有效方式。作业 是作业管理系统的基本处理对象，有效地定义作业和作业网络对作业管理系统 具有重要的意义，它直接关系到作业管理系统的实现方法。目前，m l j m s 系统 的g u i 客户端软件提供了一种图形化的方法定义作业网络，直接对各种不同类 型的作业进行拖动就可以完成作业网络的定义过程。但是，服务器要对客户端 定义的作业网络解释并执行，就必须能够在服务器端对这些作业网络进行正确 的描述，这就需要依赖作业网络描述语言，也就是作业流描述语言。 对作业的描述经历了一个发展的过程，在早期，作业的可执行部分完全采 用操作系统提供的s h e l l 语言来描述，但是，对作业的属性定义、复杂作业( 即 作业网络) 中各个作业之间的依赖关系、以及作业的其它相关数据却没有办法 使用s h e l l 语者来描述。后来，又采用一个独立的s h e l l 程序束描述一个作业， 并在s h e l l 程序中加入特殊的标记( 一般利用s h e l l 语言的注释功能，并引入特定 的符号) 柬定义作业的属性，作业管理系统得到一个作业后，先对这些特殊符号 14 堕! 兰! 盔堂堡士堂堡论文 第三章m l j m s 系统介纠 进行预处理，s h e l l 程序的其它部分直接交给操作系统去执行。显然，这种做法 只能描述简单作业，无法描述一个作业网络。 要有效地描述作业网络，必须首先克服采用s h e l l 语言描述作业的缺点： 无法描述复杂作业。复杂作业是多个简单作业的有机组合，它们之间有相 互依赖关系( 有些系统称之为作业依赖) 。s h e l l 语言不能表现这些依赖关系，而 只能描述每个具体任务的执行步骤。 定义作业属性很复杂。使用s h e l l 语言描述作业时，作业的属性定义也内 含在作业描述中，这需要引入大量的非结构化特殊标记，还要借助于s h e l l 的注 释功能，但是，在不同的平台上这种标记并不能通用，如u n i xs h e l l 语言中的 标记就不能在w i n d o w sn t 的批命令中使用。 不便于作业管理系统的跨平台运行，不便于作业管理系统的功能扩展。现 在支持复杂作业的系统，一般采用多个s h e l l 程序文件和另外的一个任务关系描 述文件来共同描述复杂作业，这使作业描述表现为一种零散、与具体实现相关 的状态，给系统功能扩展带来困难。 由上可见，使用s h e l l 语言来描述作业网络是有许多不足的。但是，如果完 全用一种语言来代替s h e l l 语言，又将带来新的问题，即作业管理系统要实现操 作系统的s h e l l 功能。因此，需要一种新型的作业流描述语言能够描述作业流， 以及作业流中各个作业之间的依赖关系，但真正投入到操作系统中执行的代码 部分，仍采用系统的s h e l l 语言来完成。这样一来，既可以保持与现有作业管理 系统的兼容，又增强了对作业流的定义能力。 作业流描述语言偏重于描述性，它能够更加有效地定义作业、定义作业网 络、描述作业的执行流程、描述复杂作业中各个作业之间的依赖关系，它的语 法成份对作业间依赖关系定义、创建并行作业、描述结构化的作业网络等都有 较好的支持。 3 2 1 2 支持的作业类型 m l j m s 支持的作业分为可执行作业和控制作业两类。 1 可执行作业 包括单元作业和s a pr 3 作业、s a pb w 作业，它们是最基本的作业，具有 可以直接运行的脚本，提交到作业管理系统中可以直接执行。用户可以设定可执 行作业的属性，指明需要的资源集合，设定占用的最大资源量、作业的预定开 始时间、结束时间、优先级等参数。 1 ) 单元作业( u r l i tj o b ) 是普通的批处理作业，在u n i x 上使用s h e l l 脚本描述，在w i n d o w s 操作系 统上采用b a t 文件描述。 2 ) s a pr 3 作业( s a p w 3 j o b ) 3 ) s a pb w 作业( s a pb w j o b ) s a pr 3 作业和s a pb w 作业是专门为德国s a p 公司定制的作业，由s a p 公 司提供的软件解释执行。 2 控制作业 这类作业不进行实质性的计算或者处理，而是用于控制作业网络的执行流 程。有了控制作业，就真正实现了作业自动化执行，用户可以指定正常情况作 什么操作，错误情况作哪些处理，也可以指定时涮敏感型作业。 m l j m s 支持的控制作业包括： 1 ) 对话作业( d i a l o gi o b ) 对话作业是半交互作业，在作业执行过程中可以从控制台输入数据，当作 业网络执行到对话作业时，将停止执行等待用户的回答。区别于“交互作业”， 对话作业能接受的输入只有”o k ”或者”e r r o r ”。当回答“o k ”时，对话作业 的退出码设置为o ；当回答“e r r o r ”时，对话作业的退出码设置为l 。 2 ) 条件分支作业( i f t r u ej o b ) 它根据前一作业的终了状态来决定作业网络的执行走向，一次只能有一个 分支被执行。它可以有多条分支，当是两条分支时，相当于i o t m e f a l s e 的逻辑； 当有多条分支时，相当于s w i t c h 的逻辑。 3 ) 日程表分支作业( c a l b r a n c hj o b ) 日程表分支作业根据指定日程表决定分支走向，首先在日程表上设定工作 同和休息日，f = ；j i 程表作业只有两条分支，根据执行日在日程表上是工作日还是 休息日决定分支走向。 4 ) 跳转作业( c o n t i n u ei o b ) 跳转作业在逻辑上类似于g o t o 语句。通过在跳转作业中指定目标作业及跳 转重复的次数，强行改变作业网络的执行流程，增加了作业网络定义的灵活性。 5 ) 并行作业( p a r a l1e lj o b ) 并行作业可以有两到多条分支，各个分支上的作业可以同时执行，没有顺 序差别。并行作业可以有效地提高作业网络的执行效率。 6 ) 单元等待作业( w a i t j o b ) 指定一单元作业作为等待的目标，作业执行到单元等待作业时，必须等待 目标作业的完成，才能继续执行。 7 ) 外部文件等待作业( w a i t e x f il e ) 作业网络运行到等待作业时，处于阻塞状态，直到等待条件被满足后爿能 继续执行。等待的条件可以是：指定的外部文件存在、指定的外部文件不存在 以及指定的外部文什被更新。 8 ) 时间等待作业( w a l t t i m e ) 作业将一直等待直到指定的时间。这个时间可以是绝刘时f 司，也可以是相 对于作业网络执行开始时刻的相对时间。 9 ) e v e n t 送信作业( e v e n ts e n dj o b ) 1 0 ) e v e n t 受信作) l k ( e v e n tr e c e i v ei o b ) e v e n t 送信作业和e v e n t 受信作业分别完成e v e n t 的发送和接收。通过e v e n t 交换，实现两个作业嘲络执行的同步，这两个作业网络可以位于同一台计算机 上，也可以分别处于两台不同的计算机上。在网络中使用“源( 发送) 机器名+ 目标( 接收) 机器名+ e v e n t i d ”来唯一标识一个e v e n t 。 1 1 ) 子作业网络( s u b j n w ) m l l m s 允许作业网络的嵌套，描述作业问的层次关系。若作业州络a 嵌套在 作业网络b 中，那么在考察作业嘲络1 1 时，称a 是b 的予作业网络。 1 2 ) 子作业网络等待作业( w a l t s u b j n w ) 指定一子作业网络作为等待的目标，当执行到该作业时，执行流程阻塞直 到被等待的子作业网络执行完成才能继续。 3 2 1 3 支持的逻辑类型 m l j m s 中作业网络具有四种基本逻辑结构； l 顺序结构 囤岖囹 囹咂雪仨) j o b lj o b 2j o b 3 圉3 - 4 顺序结构 作业问的执行逻辑是顺序的，i i f 一作业执行完毕，后一作业再开始执行。 图2 - 1 为顺序结栅，当单元作业t o b l 执行完后，单元作业j o b 2 才能丌始执行。 2 选择结构 。b 日2 图3 5 选择结构 从若干个分支中选择一个分支执行。