（计算机软件与理论专业论文）作业管理系统的研究与实现(4).pdf

西北工业大学硕士学位论文 摘要 作业管理的概念非常重要，目的在于强化操作系统的批处理功能，提供对 作业的提交、调度、执行及控制等机制，从而能够更加有效地利用系统资源、 平衡网络负载，提高系统的整体性能。自1 9 8 6 年网络队列系统n q s 面世以来， 作业管理系统取得了长足的发展。国外一些大型的研究机构和公司都将作业管 理系统作为提高生产效率和资源利用率的一项重要技术保证，并面向实际需求 进行了大量的研究和开发工作。但国内该领域的研究尚未深入展开。 作者借参加西北工业大学计算机软件与理论系的国际合作项目之契机，对 作业管理系统进行了系统的深入研究。本文总结了作者参加该项目的三年间的 主要研究成果，包括如下内容： 1 ) 根据作业管理的普遍原理，勾勒出作业管理系统m t z j m s 的体系结构框架。 在此基础上，重点研究了m t z j m s 系统中作业的图形化描述方法及实现； 强化了作业网络的自动提交( 也称日程表驱动调度) 机制，从而，尽可能 的自动化并且更有效率的完成诸如收集每日的业务数据、创建日报、月报 等周期性的任务，充分利用企业宝贵的人力资源；设计了多机器作业网络 轨迹跟踪监视机制；实现了作业网络轨迹的控制和同步，从而实现分布式 环境中对作业网络轨迹的集中管理。 + 2 ) 对作业调度特别是请求调度算法及其实现进行了深入的研究，在对一些影 响和制约负载平衡的因素进行了讨论和分析的基础上，设计了加权批量作 业按比例调度算法，实现了作业管理系统m t j z i m s 的负载平衡机制，该 系统可以通过改变管道队列属性的方法，灵活的选取负载平衡算法。 3 ) 探讨国际化作业管理系统中的多时区问题，提出并实现了作业管理系统 m t z j m s 的多时区模型，并对该模型进行简要的评价。这是国内对相关问 题的首次尝试，m n m s 系统成功的运行，验证了该模型的实用性。 关键词：作业管理系统作业网络作业网络轨迹作业网络自动提交 作业网络轨迹的监视请求队列请求的调度多时区模型 西北工业大学硕士学位论文 a b s t r a c t t h ec o n c e p to fj o bm a n a g e m e n ti s q u i t ei m p o r t a n t ，f o r t h e p u r p o s e o f s t r e n g t h e n i n g t h eb a t c hp r o c e s s i n go f o p e r a t i n gs y s t e m ，p r o v i d i n g t h em e c h a n i s mo f s u b m i t t i n g ，s c h e d u l i n g ，e x e c u t i n ga n dc o n t r o l l i n gj o b s ，a n d h e n c et a k i n gm o r e e f f e c t i v eu s eo ft h er e s o u r c e si nt h es y s t e m ，i m p l e m e n t i n gl o a db a l a n c e ，i m p r o v i n g t h ep e r f o r m a n c eo ft h ew h o l es y s t e m s i n c et h en e t w o r kq u e u i n gs y s t e m ( n q s ) c a m ei n t ob e i n gi n1 9 8 6 ，t h ej o bm a n a g e m e n ts y s t e mh a sm a d eg r e a ti m p r o v e m e n t m a n yl a r g e r e s e a r c h o r g a n i z a t i o n s a n d c o r p o r a t i o n s h a v e b e e n u s i n gj o b m a n a g e m e n ts y s t e m sa sa l li m p o r t a n tw a r r a n t yo fi m p r o v i n gp r o d u c t i v ee f f i c i e n c y a n dp r o m o t i n gr a t i oo fr e s o u r c eu s a g ea n dl o t so fr e s e a r c h e sa n dd e v e l o p m e n th a v e b e e nc a r r i e do u ta c c o r d i n gt ot h ea c t u a ln e e d h o w e v e r t h ed o m e s t i cr e s e a r c hi nt h i s f i e l dh a s n tb e e nc a r r i e do u t e x t e n s i v e l y a n dd e e p l y b y t h eo p p o r t a n i t yo f t a k i n gp a r ti nt h ei n t e r n a t i o n a lp r o j e c tp r o m p t e db yt h e d e p a r t m e n to fs o f t w a r ea n dt h e o r yo fn p u ，im a d ead e e pr e s e a r c ho i lt h ej o b m a n a g e m e n ts y s t e ms y s t e m a t i c a l l y t l i st h e s i ss u m m a r i z e s t h em a i na c h i e v e m e n t so f m y r e s e a r c h e si nt h el a s tt h r e ey e a r s ，i tc o v e r st h ef o l l o w i n ga s p e c t s ： 1 ) a c c o r d i n gt o t h ec o m m o nt h e o r yo f j o bm a n a g e m e n t ，t h et h e s i so u t l i n e st h e a r c h i t e c t u r eo ft h e j o bm a n a g e m e n ts y s t e m ，m u t i p l e t i m e z o n ej o b m a n a g e m e n ts y s t e m ( m t z j m s ) a n d b a s e do nt h i s ，ip u tm y e m p h a s i so n t h e m e t h o d so fg r a p h i c d e s c r i p t i o n o fj o ba n di t s i m p l e m e n t ，i m p r o v e d t h e m e c h a n i s mo fs u b m i t t i n gj o bn e t w o r ka u t o m a t i c a l l y ( i e s c h e d u l ed r i v e n s u b m i t t i n g ) ，t h u s ，t a s k st h a th a v e t ob ep e r f o r m e d r e g u l a r l y s u c h a sc o l l e c t i n g d a i l yt r a n s a c t i o nd a t a ，c r e a t i n gd a i l yr e p o r t s ，a n dg e n e r a t i n gm o n t h l yr e p o r t s c a nb ea u t o m a t e da n ds t r e a m l i n e da sm u c ha sp o s s i b l es ot i l a te n t e r p r i s e sc a n m a k eb e t t e ru s eo f t h e i rv a l u a b l eh u m a nr e s o u r c e s ；id e s i g n e dt h em e c h a n i s mo f m o n i t o r i n gj o b n e t w o r kt r a c k e r so fm u l t i p l e c o m p u t e r s ，i m p l e m e n t e d t h e m e c h a n i s mo f c o n t r o l l i n ga n ds y n c h r o n i z i n g t h ej o bn e t w o r k t r a c k e r s ，t h i st u r n s t h ec e n t r a l i z e d m a n a g e m e n t o f j o b n e t w o r kt r a c k e r si nad i s t r i b u t e d e n v i r o n m e n ti n t or e a l i t i e s 2 、ia l s os t u d i e dt h ea l g o r i t h ma n di m p l e m e n t so fs c h e d u l i n gj o b se s p e c i a l l y r e q u e s t s b a s e do nt h ed i s c u s s i o na n da n a l y s i so f t h ef a c t o r st h a ti n f l u e n c et h e l o a db a l a n c e ，id e s i g n e dt h ew e i g h t e dp r o p o r t i o n a lj o bs c h e d u l i n ga l g o r i t h m ， a n di m p l e m e n t e d 血em e c h a n i s mo fl o a db a l a n c ei nm t z j m s ，i tc a nc h o o s e d i f f e r e n ts c h e d u l i n ga l g o r i t h mf l e x i b l yb yc h a n g i n gt h ep r o p e r t yo f p i p eq u e u e 3 ) i v ep r o b e di n t ot h em a i np r o b l e m so fm u l t i p l et i m ez o n e si ni m p l e m e n t i n g i i 西北工业大学硕士学位论文 i n t e r n a t i o n a li o bm a n a g e m e n ts y s t e m ，b r o u g h tf o r w a r da n di m p l e m e n t e dt h e m u l t i p l et i m ez o n e sm o d e l o fo u r j o bm a n a g e m e n ts y s t e m ，m t z j m s ，a n d t h e n m a d eab r i e fe s t i m a t eo f t h i sm o d e l - t h i si st h ef i r s ta t t e m p tt r y i n gt os o l v et h e r e l a t i v ep r o b l e mi no u rc o u n t r y t h es u c c e s s f u lo p e r a t i n go f m t z j m s p r o v e d t h ep r a c t i c a b i l i t yo ft h i sm o d e l k e y w o r d s ：j o bm a n a g e m e n ts y s t e m ，j o bn e t w o r k , j o b n e t w o r kt r a c k e r , a u t o m a t i cs u b m i t t i n go fj o bn e t w o r k ，m o n i t o r i n go fj o bn e t w o r kt r a c k e r , r e q u e s t ， q u e u e ，s c h e d u l i n g o f r e q u e s t s ，m u l t i p l et i m e z o n em o d e l i i i 西北工业人学硕士学位论文 1 研究背景 日舌 作业管理功能最早由u n i x 系统本身实现。u n i x 系统本身的作业管理功能非 常有限，当大量的实际应用要依赖于u n i x 时，就产生了对p o s i x 标准及u n i x 进行扩展，使之能够更加有效地支持批处理作业管理的要求。这就产生了最早 的批处理队列系统( b a t c hq u e u i n gs y s t e m ) 。 随着计算机网络技术的产生和计算机系统的小型化发展，资源共享的观念 深入人心。为了能够更加有效的利用计算机网络和工作站系统的能力，人们扩 展了批处理系统，出现以网络队列系统n q s ( n e t w o r kq u e u i n gs y s t e m ) 为代表的 作业管理系统。由于该系统的广泛使用，i e e e 已经将n q s 确立为p o s i x 标准的 一部分，即p o s i x1 0 0 3 2 d ， “b a t c hq u e u i n ge x t e n s i o n sf o rp o r t a b l e o p e r a t i n gs y s t e m ”。 当p o s i x1 0 0 3 2 d 标准制订完成后，新出现的作业管理系统基本上都实现 了该标准的规范，但大多数系统并没有采用基本n q s 的结构与源代码，只提供 了标准所要求的外部接口，并对作业管理系统的功能进行了很大的扩充。到8 0 年代以后，计算机网络技术和分布式计算技术更为成熟。人们通过扩展n q s 系 统，或者重新定义和设计，生产出了多种现代作业管理系统的产品。 目前国内对作业管理系统的研究很少，相关的产品也很少。由于作业管理 系统与并行计算、分布式密切相关，国内一些大学和研究机构对作业调度、网 络负载平衡等课题作过一些研究，但还没有将作业管理系统作为一个整体进行 系统研究与实现的成功范例，特别是在作业管理系统的多时区支持方面没有商 业化实现。本文作者在参与相关作业管理系统的研发过程中，得以机会对作业 管理系统的体系结构与实现方法进行全面的分析，从整体上理解作业管理系统 的实现方法，并参与了一个成功的作业管理系统的实现。 本文将对多时区作业管理系统m t z j m s 系统的实现机理进行全面的分析、对 相关技术进行深入地探讨。作者设计实现了该系统的多时区模型，在作业管理 系统的多时区支持领域进行一些有益的尝试。 西北工业大学硕士学位论文 2 本文的主要工作 作者参与开发的作业管理系统是西北工业大学计算机软件与理论系与国外 某知名公司合作开发的，底层扩展了网络队列系统，符合p o s i x 标准。该系统 主要面向商业应用，为企业级的作业管理提供良好支持，在国外已经占据了可 观的市场份额，目前该产品正在走向中国市场。 早在本科阶段( 2 0 0 0 年1 2 月) ，作者进入西北工业大学软件工程中心( 现 在计算机软件与理论系前身) ，参与了作业管理系统j m s ( m t z j m s 的前身) 服务器端的设计与开发，该系统的目的在于适应新一代综合作业管理系统的发 展需要。三年间，作者参与该系统设计全过程，在整个开发过程中，严格遵循 软件工程的思想来进行，历经从基本设计、功能设计、详细设计、及编码，到 单元测试、功能测试、系统测试几个阶段，并且每个阶段都有一个r e v i e w 的 过程，进行严格的质量控制。作者参加完成了8 个版本的绝大多数功能的设计、 实现，作者所做的代码量约2 0 0 0 0 行。随着理论知识和实践经验的日益丰富， 作者对该系统进行了深入研究，于2 0 0 3 年6 月，对j m s 系统进行了重构，设 计实现了m t z j m s 系统，m t z j m s 系统兼容原有j m s 系统，具有更好的性能、 更强的功能、特别是提供了多时区支持，现在m t z j m s 系统已经取代j m s 系 统进入商业运行。 作者在上述的工作基础上完成了本篇论文。在本文中，主要完成了以下工 作： 1 ) 根据作业管理的普遍原理，勾勒出作业管理系统m t z j m s 的体系结构 框架。 2 1 讨论m t z j m s 系统作业描述、提交、跟踪、控制、同步等实现方法， 突出作业管理系统m t z j m s 的特色。 3 】深入讨论m t z j m s 系统中请求单机器调度和多机器调度的算法，在对 一些影响和制约负载平衡的因素进行了讨论和分析的基础上，设计了加 权批量作业按比例调度算法，实现作业管理系统m t j z j m s 的负载平衡 机制，该系统可以通过改变管道队列“客户端程序”属性的方法，灵活 的选取负载平衡算法。 4 ) 探讨国际化作业管理系统中的多时区问题，提出作业管理系统 m t z j m s 的多时区模型，并对该模型进行简要的评价。 2 西北工业大学硕士学位论文 3 本文的组织结构 全文的组织结构如下： 前言：综述文章的研究背景和文章的组织结构。 第一章：作业管理系统综述 简要介绍作业管理系统的发展历史、发展趋势以及应用领域。在此基 础上，重点介绍笔者所参加的作业管理系统m t z j m s 的基本概念、主 要功能、体系结构，为后面的深入讨论作理论准备。 第二章：m t z j m s 服务器综述 从宏观上介绍m t z j m s 服务器的实现，从静态和动态两个角度描述了 m t z j m s 系统中的“作业”的概念。勾勒了作业网络、作业网络轨迹 等概念，详细介绍了m t z j m s 系统中，作业网络自动提交、作业网络 轨迹的监视、控制、同步的方法。 第三章：作业调度 弓入请求、队列、机器组等概念，深入论述了m t z a m s 系统请求调度 的算法，展现m t z j m s 系统中请求执行的过程。 第四章：多时区作业管理系统的实现 本章详细论述多时区支持的复杂性、目标，给出m t z j m s 系统实现的 多时区模型，并对该模型进行评价。 结束语：总结了本文所取得的成果，给出了今后的研究方向。 西北工业大学硕士学位论文 第一章作业管理系统综述 本章首先简要介绍作业管理系统的发展历史、发展趋势以及应用领域。然 后，重点介绍笔者所参加的作业管理系统m t z j m s 的基本概念、主要功能、体系 结构，为后面的深入讨论作理论准备。 1 1 作业管理系统的历史和前景 作业管理功能最早由 n i x 系统本身实现。由于u n i x 主机通常昼夜运行， 在大多数的非工作时间系统资源无法得到有效的利用，因此产生了“在以后某 个时刻执行作业”、“在资源得到满足的情况下执行作业”、“按某种时间周 期有规律地执行作业”等作业管理的思想，并将这些思想用a t ，b a t c h ，c r o n 三个命令来实现。 但是u n i x 作业管理功能存在不足；( 1 ) a t 命令一旦将f i z z 投入运行就无 法对作业的执行过程进行控制，用户只能在作业完成后查看执行结果；( 2 ) a t 系列命令并不关心作业运行时系统的负载情况：( 3 ) c r o n a t 只能在一台u n i x 主机上运行，对于网络环境无能为力。 u n i x 系统本身的作业管理功能非常有限，当大量的实际应用要依赖于u n i x 时，就产生了对p o s i x 标准及u n i x 进行扩展，使之能够更加有效地支持批处 理作业管理的要求。特别地，随着计算机网络技术的产生和计算机系统的小型 化发展，资源共享的观念深入人心。大型机上的计算任务被分散在多台工作站 上执行，人们使用自己桌面上的台式机完成了更多的任务。但是，工作站的资 源利用率却很低( 据美国l o sa l a m o s 国家实验室的一项调查表明，平均利用率 不到总资源的1 0 ) ，并且各工作站之间的负载很不均衡，通常一台工作站任务 繁重，而另一台工作站却处于闲置状态。从系统运行时间看，对资源的使用主 要集中在工作时段，一个工作周1 6 8 个小时中正常的工作时间只有4 0 多个小时， 造成了资源的严重浪费。为了能够更加有效的利用计算机网络和工作站系统的 能力，人们扩展了批处理系统，出现以网络队列系统n q s ( n e t w o r kq u e u i n g s y s t e m ) 为代表的作业管理系统批处理队列系统( b a t c hq u e u i n gs y s t e m ) ，它 的基本思想是不修改u n i x 的核心，在u n i x 之上再建立一个子系统，用户将作 业提交给该子系统，由它对作业进行调度和执行，同时负责系统资源的有效利 用及作业控制。由于该系统的广泛使用，i e e e 已经将n q s 确立为p o s i x 标准 4 西北工业火学硕士学位论文 的一部分，即p o s i x1 0 0 3 2 d ，“b a t c hq u e u i n g e x t e n s i o n sf o rp o r t a b l eo p e r a t i n g s y s t e m ”。 当p o s i x1 0 0 3 2 d 标准制订完成后，新出现的作业管理系统基本上都实现 了该标准的规范，但大多数系统并没有采用基本n q s 的结构与源代码，只提供 了标准所要求的外部接口，并对作业管理系统的功能进行了很大的扩充。到8 0 年代以后，计算机网络技术和分布式计算技术更为成熟。人们通过扩展n q s 系统，或者重新定义和设计，制造了多种现代作业管理系统的产品。由n q s 系统发展起来的有c r a y 公司开发的n q e ( n e t w o r kq u e u i n ge n v i r o n m e n t ) 。并且， n a s a 继续在n q s 基础上开发，与m r j 公司共同开发p b s ( p o r t a b l eb a t c h s y s t e m ) 。另一个主要分支是c o n d o r 产品， i b m 公司著名的作业管理软件 l o a d l e v e l e r 就是在c o n d o r 的后继u n i j e s 基础上发展起来的。德国g e n i a s 软件公司的c o d i n e ( c o m p u t i n gi n d i s t r i b u t e dn e t w o r ke n v i r o n m e n t ) 是在 c o n d o r 和d q s 基础上推出的。目前己发布最新版资源管理系统r m sc o d i n e 和补充的全局资源控制器g r d ( g l o b a l r e s o u r c ed i r e c t o r ) 。另外，目前比较流行 的网络负载平衡产品l s f ( l o a ds h a r i n gf a c i l i t y ) 由加拿大p l a t f o r m 公司在 u t o p i a 基础上开发的。 图1 1 展示了这个发展过程中比较有代表性的产品间的关系，在统一p o s i x 标准基础上，各种产品层出不穷，各具特色。由此可见，作业管理系统不断发 展、充满生机和活力，是目前研究的一个热点。 图卜l 作业管理系统历史演变图 当今，作业管理系统在如下几个方面很有发展前景： 1 开放接口 5 西北工业大学硕士学位论文 考虑到作业管理系统作为一种系统中间件，不可能将用户所有的作业管理 行为都定制好。需要由作业管理系统提供应用程序接口a p i 来支持第三方应用 程序的开发，并提供接口让用户来制定作业管理策略。 2 资源控制 一般的作业管理系统只能做到与单个作业相关的资源控制，而对整个系统 的资源使用情况没有处理。所以，以后的作业管理系统将会做到类似于大型机 操作系统对整个资源的全局控制。 3 并行环境 目前对并行环境的处理的一种方法是将并行环境的启动停止脚本交给作 业管理系统来运行并行程序，这是一种松耦合方式。另一种方法是作业管理系 统支持并行环境接口，将并行程序运行在作业管理系统的上下文环境中，这是 种紧耦合方式。以后的作业管理系统继续支持更多的并行环境，并透明地将 并行环境嵌入到作业管理系统中，从而得到一种更好的集成方式。 4 数据库支持 功能比较全面的作业管理系统提供与数据库系统集成的接口，这样就充分 发挥网络负载平衡和数据库信息处理的威力，为企业级的信息处理提供良好保 证。 5 广域网支持 因特网的迅猛发展，需要作业管理系统能够将不同地区的资源整合起来给 用户一个透明的访问方式。而目前的作业管理系统局限于局域网计算环境。要 支持广域网，就会产生安全性、远程文件系统、记账信息和网络带宽问题。 u n i c o r e 科研项目就着重解决这些问题，从而为支持广域网探索道路。 6 与操作系统集成 作业管理系统脱胎于操作系统的批处理子系统，作为操作系统之上的中间 件已经有很多年了。在此期间，出现了各种各样的作业管理系统。但这种局面 一方面给用户带来选择的便利，但另一方面也带来系统之间相互不兼容的问题。 现代操作系统提供越来越多的作业管理功能，支持负载平衡和集群管理。作业 管理系统的主要功能正在向操作系统集成。以后，可能是这样两种趋势，一方 面常用的功能成为操作系统的一部分。另一方面，作业管理系统仍然独立发展， 但会提供给用户更精确和更有效的作业和资源管理。 6 西北工业大学硕士学位论文 1 2 作业管理系统的应用领域 1 2 1 科学计算 计算机自发明以来，一个主要的应用是进行科学计算，如何有效利用计算 机解决复杂的计算问题，一直是一个活跃的研究领域。 高性能计算对作业管理系统的要求主要有： ( 1 ) 能够“感知”作业的并行性。 ( 2 ) 可以管理特大型的集群( 如5 0 0 个结点) 和特别大的作业( 如需要5 0 个结 点才可以运行】。 ( 3 ) 对并行编程软件包( 如p v m 、m p i 、h p f 等) 提供支持。 ( 4 ) 可以实现集群范围内的作业调度，让属于同一并行作业的多个并行任务 在同一时刻启动执行。 ( 5 ) 在集群系统中，实现作业迁移，即作业正在执行的机器由于资源发生了 变化或调度规则的限制，需要将作业转移到另外一台机器上继续执行。 ( 6 ) 提供用户级的检查点功能。检查点功能只有少数操作系统支持，但在作 业管理系统中它的重要性是显然的，因此需要在作业管理系统级提供该功能。 1 2 2 商业应用 高性能计算对计算机的发展起到了很大的促进作用，然而，随着计算杌的 发展和普及，商业应用在整个计算机应用领域中所占的比例逐年上升，具有广 阔的发展前景。商业应用领域对计算机的计算能力和网络并行程度要求没有高 性能计算领域那么严格，但该领域需要计算机的速度更快，容量更高，并能对 大量数据进行各种复杂的处理。当大量高性能的计算机系统也应用到商业领域 如银行业、金融业、石油化工企业、信息服务业及娱乐业时，这些系统的管理 员发现同样需要个很好的后台系统完成企业范围内的作业管理，实现企业网 络资源的优化利用，简化系统维护工作，协调企业内各类应用系统的运行。 企业信息管理领域对作业管理系统的要求有： ( 1 ) 支持复杂作业，实现更多的作业依赖差系，与m i s 系统集成，企业级的 作业管理系统实际上提供了一个m i s 的开发与运行平台。以往的m i s 系统中 除了对具体应用事务进行处理外，还要处理事务的规则，如某个统计程序在特 定条件下运行，服务器问的数据传输按特定的时间规律进行等。使用作业管理 系统后，m i s 的开发人员可以只对具体的任务进行编程，而将规则交给作业管 7 西北工业大学硕士学位论文 理系统来处理，将m i s 与作业管理系统结合起来共同完成企业的任务。 ( 2 ) 与e r p 软件包集成。e r p 软件包一般都包含个调度程序，实现在它之 上开发的批处理作业的执行，如果实现作业管理系统的调度功能与e r p 软件包 的调度功能无缝集成，就可以只管理一个调度器，完成整个系统的调度功能。 ( 3 ) 支持广域网范围内整个企业的作业管理与调度。现代商业活动的全球化 发展，要求作业管理系统支持广域网，与w w w 等i n t e r n e t 技术结合。 ( 4 ) 支持包括u n i x 、m v s 、w i n d o w s n t 在内的多种操作系统平台。 ( 5 ) 提供简单易用的客户界面，因为企业用户主要经常使用与业务相关的应 用程序，相对而言作业管理系统是面向机器而非面向业务的，因此需要提供 一个易用的界面，使用户可以从业务角度查看作业管理系统。 ( 6 ) 与通用的商业数据库系统集成，自动完成数据库的转储、备份等功能。 在一些大型的d b m s 中，也提供“数据库作业”的概念，如o r a c l e8 中的 o a q ( 0 r a c l ea d v a n c e dq u e u i n g ) 和d b m s _ j o b 就提供了作业排队功能。作业管理 系统应积极地与d b m s 的作业排队功能集成。 1 3m t z j m s 系统概述 1 3 1 m t z j m s 的特点 作者参加开发的m t z j m s 系统全名为m u l t i p l et i m ez o n ej o bm a n a g e m e n t s y s t e m ，是一个可以跨时区运作的作业管理系统，是西北工业大学计算机软件 与理论系与国外某知名公司合作开发的产品。该系统主要面向商业应用，为企业 级的作业管理提供良好支持，目前在国内外都有着良好的市场前景。 m t z j m s 具备以下特点。 操作性 通过w ( 作业网络) 可对投入作业进行可视的操作，同时亦可轻松的控 制作业、监视作业的执行、创建作业投入队列、更改属性等。 可视化的监视作业的执行 由于投入作业的执行状态或执行结果由某种颜色显示，故而能够可视化监 视作业的执行。 - 远程转发作业功能 使用用于转送请求的管道队列，执行作业的请求可以通过网络转送到远程 8 两北t 业大学硕士学位论文 主机。 负载平衡机能 使用负载平衡管道队列、负载平衡批处理队列、透过型管道队列，可以根 据网络中各机器的负载状况分配作业。 日程表功能 可在指定时间、日期自动启动作业或作业网络。 集中管理多台服务器的功能 即使网络中有多个服务器，也可通过一个服务器集中管理各个服务器，并 可实现各个服务器的全自动运行。 跨时区功能 作业管理系统可以实现对用户透明的跨时区运作，即服务器和客户端可以 处于不同的时区中，进行集中管理的多个服务器也可以处于不同的时区，在这 些服务器间进行互操作时，用户完全感觉不到时区差异。 1 3 2 m t z j m s 作业管理的目标 透明性：作业管理系统不需要用户干预就能够动态地调度作业执行。用户 不必指定作业运行在哪些结点，而是由作业管理系统根据系统状态动态指 定作业运行结点。 单点控制：用户能够从单点运行作业，控制作业，监视作业运行情况，暂 停或者杀掉作业。当一个作业被暂停或杀死时，作业的所有进程也被暂停 或杀死。 高可用性：高可用性包括两方面：负载平衡和故障屏蔽。负载平衡就是在 分配作业时，将作业分配到负载最轻的结点上执行，使得各个结点的负载 量基本相当，作业的执行时间达到最短。故障屏蔽是指当前执行作业的结 点发生故障时，作业可以迁移到其它结点重新执行。实现高可用性可以提 高作业执行效率，屏蔽由于网络或者结点的不可靠性带来的问题，有效地 管理作业。 1 3 3 m t z j m s 的功能概述 f i t z j m s 是在分布式环境、客户服务器环境中进行批处理的系统。批处理就 9 西北工业大学硕士学位论文 是将一批接受的请求在队列中排队，然后按顺序进行处理的功能。 除一般的批处理功能之外，m t z j m s 系统还可在网络环境下通过简单操作平 衡负载、管理作业执行等。 在m t z j m s 中，作业的执行单位被作为批处理请求来处理。可以指定批处理 请求的执行时间、优先顺序等属性。 另外，通过定义一个或多个批处理请求的执行顺序和构成作业网络，能可 视的控制投入的作业或监视其执行情况。还可以通过定义日程表自动提交作业。 批处理请求被登记八队列，并按顺序进行处理。系统中可定义多个队列。 在每个队列中，可以指定可同时执行的请求数、队列间的执行优先顺序等 属性。 对于已投入的请求，可进行保持、释放、删除、监视状态、或参照执行结 果等操作。 下图中给出了m t z j m s 系统功能的使用实例，展现了m t z j m s 使用方法的概 貌。 图1 _ 2 m t z j m s 系统示例 1 3 4 m t z j m s 系统构成 m t z j m s 采用客户饵艮务器c s ( c l i e n t s e r v e r ) 体系结构，将系统分为服务 1 0 一。些型璧塑型耋堡垡_ 。，。，。 端s v ( s e r v e r ) 和客户端c l ( c l i e n t ) 。m t z j m s 采用层次开发的观点，将整个系 统分为若干层，每层功能相互独立，但保证层与层接口相对稳定，既有利于软 件开发，也可以做到很大的灵活性，扩展功能比较方便。实际上，该系统经历 了多个版本的研发，主要体系结构没有改变，但增加了很多功能，这说明该体 系结构有很强的生命力。 下图中展现了m t z j m s 主要模块的关系。 图1 - 3n t z 3 n s 系统结构图 1 3 4 1m t z j m s 客户端 要进行作业的管理、运行，需要记忆很多的命令。特别是初用者会感觉操作 两北工业大学硕士学位论文 比较难。为了使执行监视作业、创建队列以及更改队列的属性这些管理业务能 够简单进行，m t z j m s 提供了两种类型的g u i 界面适用于局域网连接服务器 的c l w i n 、适用于通过i n t e r n e t 或i m o d e 手机连接服务器的m g w e b ，用户可 以根据需要选用任何一种客户端。在m t z j m s 的g u i 中，所有的管理对象的都以 图标、窗口形式表现。通过对这些对象的双击、拖拽等操作，来构筑g u i 环境、 管理作业、监视作业。各种客户端均具有下列功能的。 u m s ( u n i f i e dm a n a g e m e n ts t a r i o n ) 功能 面向管理员的g u i 接口及网络内多个作业管理的统合管理 通过u m s 可以进行环境构筑、队列、请求等的状态监视及运行操作。另 外还可以集中管理运行作业管理的多台机器。 e u i ( e n du s e ri n t e r f a c e ) 功能 面向终端用户的g u i 接口 在用u m s 功能构筑的环境上，可以进行作业网络的创建，日程表的创建， 作业网络执行状况的监视，作业网络执行结果的参照等。还可以对自己 投交的请求进行动态监视。 1 3 4 2 m t z j m s 服务器 m t z j m s 的服务器承担了m t z j m s 的绝大多数处理工作，m t z j m s 服务 端的处理方法将是本文的重点。m t z j m s 服务器同样采用了层次化的设计观 点，从功能上讲( 请参考图1 3 ) ，m t z j m s 服务器端可以分成三个层次：通讯 代理、j n w e x e 系统和n q s 系统。 1 3 421 通讯代理 通讯代理完成服务器与客户之间的数据通讯，负责接收客户发送到服务器 端的命令，将服务器端的处理结果返回到客户端。专门设置通讯代理，目的在 于将服务器其他部分从额外的数据传输负担中解脱出来，由通讯代理完成数据 格式的转换，屏蔽操作系统平台和码制差异，并进行必要的认证和合法性检查。 通讯代理主要包括以下功能： 将客户发出的命令请求反串行化，即将接收到的字节流恢复为数据的 本来面貌。 将服务器返回的结果数据串行化，即将要传送的复杂结构的数据转换 为字节流，以便在网上进行传输。 1 2 西北工业大学硕士学位论文 数据的网络传输功能。 进行日语编码的转换。在u n i x 主机上，日语编码有e u c 和s j i s 两 种，而w i n d o w s 主机上的日文编码只有s j i s 一种，不同码制的u n i x 版 m t z j m s 之间、u n 版和w i m o w s 版的m t z j m s 之间要进行通讯，必须进 行码制转换。 从图1 3 可以看出，通讯代理仅由c o m a g e n t d a e m o n 组成，c o m a g e n td a e m o n 是c o m m u n i c a t i o na g e n td a e m o n 的缩写，c o m a g e n td a e m o n 随着m t z j m s 服 务器的启动而启动，并常驻内存，是一个守护进程，随时准备接受来自m t 2 ：j m s 客户端的命令和从m t z j m s 服务器返回的处理结果。该模块采用面向对象的设 计思想，提供了h o s t 、a u t h o r i t y 、n q s 三个对象，通过调用各对象的不同方法 来完成不同任务。其中h o s t 和a u t h o r i t y 对象中的方法完全在c o m a g e n td a e m o n 部分实现，主要是用来认证客户端用户的身份是否合法。n q s 对象中的方法是 通过调用服务端程序来实现的，客户端通过n q s 对象中的方法来执行具体的管 理命令。这些命令部分由j n w m a n e x e 执行，其他的要交给n q s 层去执行。 1 3 422 j n w e x e 系统 j n w e x e 在m t z j m s 服务器体系结构中，处于较上层，负责作业网络的创 建、修改、提交、监视、控制、删除，通过解析作业网络，分解复杂作业，形 成n q s 系统可以直接执行的简单作业。具体来说，j n w e x e 系统的功能如下： 创建作业网络的数据实体； 解析作业网络，检查作业网络的合法性： 对作业网络进行修改、重命名、复制、粘贴、删除、检索等操作； 创建日程表，实现作业网络时间驱动自动提交； 对作业网络进行实例化。当用户请求提交作业网络或者由日程表启动作 业网络时，将静态的作业网络实例化，形成动态的作业网络轨迹文件 ( t r a c k e r ) ，解析作业网络中各作业的依赖关系，将复杂作业网络分解成 n q s 系统可以直接执行的简单作业，形成作业动态执行链表； 对作业网络轨迹进行各种控制，实现状态的转换、完成归档操作； 作业网络轨迹执行过程进行监视； 定义服务器组，实现对多台服务器的集中管理； 1 3 西北工业大学硕士学位论文 1 3 4 2 3 n q s 系统 这是m t z j m s 系统的底层支持系统，是m t z j m s 系统的基础和核心。n q s 子系统本身实际上就是一个功能基本完善的作业管理系统。m t z j m s 系统的 n q s 子系统实际上是一个扩展的n q s 系统，它完全兼容p o s l x1 0 0 3 2 d 的标 准，并增加了对目语编码、汉语编码的处理等，功能较传统n q s 系统更强大， 结构更加合理，更加适用于复杂的商业应用环境。m t z j m sn q s 子系统的功能 为： 对批处理请求提供完全的支持。一个批处理请求被定义为一个含有不需某 种物理设备( 除了c p u 资源以外) 的直接服务的命令s h e l l 脚本，它能不 需用户的干预而在适当的命令解释器( 例如b i n c s h ，b i n s h ) 的调用 下执行。 支持资源配额限制，这是通过与特定批处理请求以及对应的队列请求相关 的底层的操作系统内核实现的。 支持通过运行n q s 的计算机网络远程排队和路由批处理请求和设备请求。 这就需要一种机制在两台不同的计算机之间可靠的传输批处理请求和设备 请求，即使其中一台计算机在传输过程中不停地崩溃。 模块化所有的请求调度算法，这样就能在需要的时候容易地修改n q s 请求 调度程序。 支持队列访问限制，以便能够以队列的用户和组的访问控制列表的形式控 制向特定的队列提交批处理或设备请求。 支持通过网络返回结果，这样，任何批处理请求的标准输出和标准错误输 出文件能够返回给提交它的远程计算机。 允许跨越计算机进行账户映射。这样，在计算机c o m p u t e r l 上的账户u s e r l 就可以映射成计算机c o m p u t e r 2 上的账户u s e r 2 。 提供一种友好的