（计算机软件与理论专业论文）网络作业管理系统设计和研究.pdf

西北工业大学硕士学位论文 摘要 随着计算机技术的发展，高性能微处理器和高 速计算机网络的出 现， 使得 把由大量c p u组成的计算系统通过高速网络连接在一起成为一件容易的事情。 j m s 作业管理系统就是一种建立于操作系统之上，对连接在一个集群中的工作 站或 p c进行管理的中间软件。它是一个综合型的商业化作业管理系统，该系 统不仅具有一般作业管理系统的分布操作、资源共享、负载平衡特点，还具有 良好的操作性、高可靠性和可扩充性。 近年来集群结构己逐步成熟起来，集群技术的出 发点是提供高可靠性、可 扩充性和抗灾难性。一个集群包含多台 拥有共享数据存储空间的服务器，而各 服务器通过内部局域网相互通信。当一台 服务器发生故障时，它所运行的 应用 程序将由其他服务器自 动接管。另外，负载均衡是影响并行效率的重要因素。 对作业管理系统来说，如何合理地安排和调度任务，充分运用各节点的处理能 力，缩短程序的响应时间，是必须解决的问题。 本文主要介绍了基于集群的作业管理系统的设计及实现的关键技术，并重 点对集群负载平衡算法做了深入研究。 关键词作业管理系统集群作业 作业网络 负载平衡 西北工业大学硕士学位论文 ab s t r a c t wi t h t h e d e v e l o p m e n t o f t h e c o m p u t e r t e c h n o l o g y a n d t h e h i g h - p o w e r e d m i c r o p r o c e s s o r a n d h i g h - s p e e d c o m p u t e r n e t w o r k c o m i n g , i t h a s t u rn e d t o b e a n e a s y t h i n g t o c o n n e c t c o m p u t e r s y s t e m c o n s i s t i n g o f a l a r g e n u m b e r o f c p u b y h i g h - s p e e d n e t w o r k . n e t w o r k j o b m a n a g e m e n t s y s t e m i s a k i n d o f m i d d l e s o ft w a r e t h a t f o u n d s u p o n t h e o p e r a t i n g s y s t e m , a n d m a n a g e s t h e w o r k s t a t i o n s o r p c s o f t h e du s t e r . i n l a s t s e v e r a l y e a r s , c l u s t e r s t r u c t u r e h a v e b e c o m e m o r e a n d m o r e m a t u r e , t h e o b j e c t i v e o f c l u s t e r t e c h n o l o g y i s t o p ro v i d e r e l i a b i l i t y , e x p a n s i b i l i t y a n d a b i l i t y t o r e s i s t o n c a l a m i t y . o n e c l u s t e r s y s t e m c o n s i s t s o f s e v e r a l s e rv e r s w h i c h h o l d s h a r e d d a t a - s t o r e s p a c e , s e r v e r s c o m m u n i c a t e w i t h e a c h o t h e r b y l o c a l n e tw o r k . wh e n o n e s e rve r i s d o w n b e c a u s e o f s o m e f a i l u r e , o t h e r s e rve r s c a n c o n t i n u e t o r u n t h e a p p l i c a t i o n t h a t h a d b e e n e x e c u t e d i n t h e s e rve r . o n t h e o t h e r s i d e , l o a d - b a l a n c i n g h a s i m p o rt a n t e f f e c t o n p a r a l l e l e ff i c i e n c y . 玩 o r d e r t o e x e r c i s e a d e q u a t e l y t h e p r o c e s s i n g a b i l i t y o f e a c h n o d e a n d s h o r t e n t h e r e s p o n d i n g t i m e o f a p p l ic a t i o n i n c l u s t e r c o m p u t e r s y s t e m , h o w t o a r r a n g e a n d s c h e d u l e j o b r a t i o n a l l y b e c o m e s a p r o b l e m t h a t m u s t b e r e s o l v e d . t h i s a r t i c l e m a i n l y i n t r o d u c e s t h e i m p l e m e n t a t i o n a n d r e a l i z a t i o n k e y t e c h n o l o g y o f j o b m a n a g e m e n t s y s t e m b a s e d o n c l u s t e r , a n d e m p h a s i z e s r e s e a r c h i n g o n t h e l o a d b a l a n c e a l g o r it h m . k e y w o r d s : j o b ma n a g e m e n t s y s t e m , c l u s t e r , j o b , j o b n e t w o r k , l o a d b a l a n c e 西北工业大学硕士学位论文 第一章 绪论 1 . 1 选题背景 作业管理系统是建立在操作系统之上的一种资源管理软件。早期的作业管 理系统，是为了强化操作系统的批处理功能。随着计算模式从主机为核心转变 到网络为核心，导致了集群系统的产生与广泛应用，于是产生了建立在集群基 础上的现代作业管理系统。 近年来，国外对作业管理系统的研发工作一直很活跃， 世界上许多大学和 研究所都开展了对作业管理系统的研究工作，并且产生了许多公用和商业化的 作业管理系统， 公用的免费系统如n o s . p b s . c o n d o r等是由美国的一些大 机构或大学开发的， 可以从i n t e rne t 上直接获得它们的源代码。 商业化的系统由 一些软件公司或硬件生产公司为自已的机器开发，如加拿大 p l a t f o r m公司的 l s f . i b m公司的l o a d l e v e l e r 等。 西北工业大学软件工程中心从 1 9 9 7年起开始研究作业管理系统。该作业 管理系统具有一般作业管理的特点，即分布操作、资源共享、均衡负载，底层 支持系统使用n o s ( n e t w o r k q u e u e s y s t e m ) ， 并 在此基础上提出了 具有面向 对 象组件风格的作业网络图的操作模型， 它具有可用性、 扩展性、 分布式等特点。 笔者于 2 0 0 3年初加入到了这个项目 组中，对作业管理系统进行了大量的 学习和研究工作，并参与了该系统的设计和开发以及性能改善的工作。 1 . 2 我的工作 在硕士论文撰写期间， 笔者进行了作业管理系统的研发， 并参与了7 m s 作 业管理系统及其客户端的设计和开发。在本项目中，笔者主要作了以下几个方 面的工作: . j m s系统w i n d o w s 版客户端的设计与开发。 . j m s系统i m p o r t / e x p o r t 功能的设计和开发。 . j m s系统性能的改善和测试。 . j m s系统集群算法的研究和改善。 西北工业大学硕士学位论文 1 .3 本文的主要内容 第一章 绪论 本章说明了论文的选题背景，列举了 作者所做的工作， 最后给出了论文的 框架结构。 第二章 作业管理系统概述 本章介绍了作业管理系统的基本概念及其研究进展，从总体上评价了作业 管理系统性能，列举了j m s系统所具备的强大功能。 第三章 作业管理系统体系结构 本章对作业管理系统的体系结构进行剖析，描述了j m s / 系统的层次结构， 并简单介绍了各个层次的功能和实现。 第四章 作业管理系统中的集群技术 本章首先介绍集群的定义和优越性，接着讨论了集群技术在作业管理系统 中的应用，重点研究了作业的负载均衡和故障转移和恢复方法。 第五章 作业管理系统安全性 本章介绍了n 7 ， 系统安全模型的基本概念， 讨论了作业管理系统的s v端和 客户端安全性的基本实现方案。 结束语和展望 结合国内外现状，对作业管理系统技术进行总结，同时展望该技术的发展 前景。 西北工业大学硕士学位论文 第二章 作业管理系统概述 本章介绍作业管理系统的基本概念及其发展。在有了关于作业管理系统的 基本概念的全面认识后， 后续章节开始详细阐述有关作业管理系统的体系结构、 服务端总体结构以及客户应用的实现。 2 . 1 作业管理系统发展概述 从计算机系统开始投入使用以来，人们就不断的寻求如何能更加科学、更 加合理、更加高效的利用计算机系统的方法。在以 大型主机系统为主的年代， 人 们使 用批处 理系 统 ( b a t c h p r o c e s s in g s y s te m ) 等 构 筑与操 作 系 统 之上的 方 法 或 分时系统来提高系统的利用率。随着计算机网络技术的产生和计算机系统系统 的小型化，资源共享的观念深入人心。为了能够更加有效的利用计算机网络和 小 型工 作站系 统的 能 力， 人们扩 展了 批处 理 系统，出 现以 网 络队 列系 统 ( n q s ) 为 代表的 传统的 作 业 管 理系 统 批 处理队 列系 统( b a t c h q u e u i n g s y s te m ) ， 并 且n q s 系统被确立为p o s i x标准。 到8 0 年代以 后， 随着个人计算机出 现并在 全球范围迅速普及，个人计算机的硬件技术高速发展，个人计算机的计算能力 日 益强大，计算机网络技术和分布式计算技术更为成熟。但是，人们对计算机 系统的计算能力仍不满足， 同时发现了个人计算机的使用上存在着巨大的浪费。 因而， 人们通过扩展n q s 系统， 或者重新定义和设计， 出 现了多种现代作业管 理系统的产品。 j m s 系统就是其中之一， 其它具有代表性的系统有i b m公司的 l o a d l e v e l e r . p l a t f o r m公司的l s f 、 德国g e n i a s 软件公司的c o d i n e、 n a s a a m e s r e s e a r c h c e n t e r 的p b s 等等。 作业管理系统的主要作用是强化操作系统的作业管理功能， 提供作业提交、 调度、执行及控制的新机制，更加有效地利用系统资源、均衡网络负载、提高 系统整体性能。作业管理系统最早在大型主机上使用，系统或用户提交的作业 在它的管理下以批处理的方式运行。随着高性能工作站、集群系统的发展，作 业管理系统也发展到支持异构的网络环境、支持多平台、支持并行应用等新需 求这样一个阶段。 2 .2 作业管理系统基本概念及术语 作业管理系统涉及多个概念和术语， 下面就这些概念和术语作简单的说明。 作业( j o b ) : 作业是一个会话组( 一个会话组是一组进程， 会话组的 成员进程 西北工业大学硕士学位论文 第二章 作业管理系统概述 本章介绍作业管理系统的基本概念及其发展。在有了关于作业管理系统的 基本概念的全面认识后， 后续章节开始详细阐述有关作业管理系统的体系结构、 服务端总体结构以及客户应用的实现。 2 . 1 作业管理系统发展概述 从计算机系统开始投入使用以来，人们就不断的寻求如何能更加科学、更 加合理、更加高效的利用计算机系统的方法。在以 大型主机系统为主的年代， 人 们使 用批处 理系 统 ( b a t c h p r o c e s s in g s y s te m ) 等 构 筑与操 作 系 统 之上的 方 法 或 分时系统来提高系统的利用率。随着计算机网络技术的产生和计算机系统系统 的小型化，资源共享的观念深入人心。为了能够更加有效的利用计算机网络和 小 型工 作站系 统的 能 力， 人们扩 展了 批处 理 系统，出 现以 网 络队 列系 统 ( n q s ) 为 代表的 传统的 作 业 管 理系 统 批 处理队 列系 统( b a t c h q u e u i n g s y s te m ) ， 并 且n q s 系统被确立为p o s i x标准。 到8 0 年代以 后， 随着个人计算机出 现并在 全球范围迅速普及，个人计算机的硬件技术高速发展，个人计算机的计算能力 日 益强大，计算机网络技术和分布式计算技术更为成熟。但是，人们对计算机 系统的计算能力仍不满足， 同时发现了个人计算机的使用上存在着巨大的浪费。 因而， 人们通过扩展n q s 系统， 或者重新定义和设计， 出 现了多种现代作业管 理系统的产品。 j m s 系统就是其中之一， 其它具有代表性的系统有i b m公司的 l o a d l e v e l e r . p l a t f o r m公司的l s f 、 德国g e n i a s 软件公司的c o d i n e、 n a s a a m e s r e s e a r c h c e n t e r 的p b s 等等。 作业管理系统的主要作用是强化操作系统的作业管理功能， 提供作业提交、 调度、执行及控制的新机制，更加有效地利用系统资源、均衡网络负载、提高 系统整体性能。作业管理系统最早在大型主机上使用，系统或用户提交的作业 在它的管理下以批处理的方式运行。随着高性能工作站、集群系统的发展，作 业管理系统也发展到支持异构的网络环境、支持多平台、支持并行应用等新需 求这样一个阶段。 2 .2 作业管理系统基本概念及术语 作业管理系统涉及多个概念和术语， 下面就这些概念和术语作简单的说明。 作业( j o b ) : 作业是一个会话组( 一个会话组是一组进程， 会话组的 成员进程 西北工业大学硕士学位论文 不能 脱离会话组而 存在 ) 。 在操作系统上作业是一个 s h e l l 语言 程序，由 系统的 命令解释器加载执行;在作业管理系统中，作业是系统管理的基本单位，它与 普通s h e l l 语言程序的不同 之处在于增加了作业属性定义。 交互式住 n t e r a c t i o n 卜用 户登 录 到操 作系 统， 在一定 的 用户 环境 ( 如 环境 变 量、 当 前目 录 等) 中 运行作 业， 作业在 执行过 程中， 可能 需要 用户提供控制台 输 入，用户也可以及时查看控制台的输出，这种运行作业的方式称交互式。 批处 理田 a t c h p r o c e s s in g ) :由 操作 系 统上的 一 个 子系 统 而不 是由 用户 使 用 交互式的会话过程运行作业的方式，称为批处理，这种子系统称为批处理服务 器。 批处理系统( b a t c h s y s t e m ) : 多台 安 装有批处理 服务器的 主机， 通过网 络连 接共同完成网络中的批处理作业， 并被作为一个整体进行配置、管理，就形成 批处理系统。作业管理系统就是一个复杂的批处理系统，它除了能以批处理的 方式运行作业外，还能对作业调度、作业对资源的竞争、系统的负载等进行全 面控制。 节点( n o d e ) : 运行一个操作系统、 具有一个或几个i p 地址的一台计算机称 为一个节点。多机系统由多个节点构成。 集群 ( c l u s t e r ) :由一个批处理系统管理的一组节点形成一个集群， 集群 中 的 成员 节点 可以 是同 构的 ( 相同 的 机 器硬 件体系 结构， 相同 的 操 作系统 ) ， 也 可以 是异构的 ( 或者机器硬件体系结构不同， 或者操作系统不同 ) ， 或是两者的 混合。 一个集群可以由一组工作站、 多处理机系统或并行系统的一组节点构成。 集群中的一个节点可以运行多个作业，也可以 将一个作业分布在多个节点上运 行。 队列( q u e u e ) : 批处理系统中设置的一种基本的作业分类机制， 它将不同 属 性的作业分成不同的集合，作业的属性与所参加队列的属性要求不能矛盾。队 列属性有名称、优先级、资源限制、目 标机器和作业个数限制等。 并行作业( p a r a l l e l j o b ) :一个程序投入运行后， 拥有多个并发运行的 进程 分别驻留在不同的处理器上，并且进程间相互通讯完成数据交换，这样的 程序 称为并行程序。并行程序在作业管理系统中形成的作业称为并行作业。 2 .3 j ms 的功能 笔者参与开发的j ms 作业管理系统是西北工业大学软件工程中心与国外某 知名公司合作开发的产品。 j ms作业管理系统是基于网络队列系统 ( n q s )开 发的，该系统主要面向商业应用，有着强大的功能，为企业级的网络作业管理 提供良好支持，在国内外有着良好的市场前景。 西北工业大学硕士学位论文 不能 脱离会话组而 存在 ) 。 在操作系统上作业是一个 s h e l l 语言 程序，由 系统的 命令解释器加载执行;在作业管理系统中，作业是系统管理的基本单位，它与 普通s h e l l 语言程序的不同 之处在于增加了作业属性定义。 交互式住 n t e r a c t i o n 卜用 户登 录 到操 作系 统， 在一定 的 用户 环境 ( 如 环境 变 量、 当 前目 录 等) 中 运行作 业， 作业在 执行过 程中， 可能 需要 用户提供控制台 输 入，用户也可以及时查看控制台的输出，这种运行作业的方式称交互式。 批处 理田 a t c h p r o c e s s in g ) :由 操作 系 统上的 一 个 子系 统 而不 是由 用户 使 用 交互式的会话过程运行作业的方式，称为批处理，这种子系统称为批处理服务 器。 批处理系统( b a t c h s y s t e m ) : 多台 安 装有批处理 服务器的 主机， 通过网 络连 接共同完成网络中的批处理作业， 并被作为一个整体进行配置、管理，就形成 批处理系统。作业管理系统就是一个复杂的批处理系统，它除了能以批处理的 方式运行作业外，还能对作业调度、作业对资源的竞争、系统的负载等进行全 面控制。 节点( n o d e ) : 运行一个操作系统、 具有一个或几个i p 地址的一台计算机称 为一个节点。多机系统由多个节点构成。 集群 ( c l u s t e r ) :由一个批处理系统管理的一组节点形成一个集群， 集群 中 的 成员 节点 可以 是同 构的 ( 相同 的 机 器硬 件体系 结构， 相同 的 操 作系统 ) ， 也 可以 是异构的 ( 或者机器硬件体系结构不同， 或者操作系统不同 ) ， 或是两者的 混合。 一个集群可以由一组工作站、 多处理机系统或并行系统的一组节点构成。 集群中的一个节点可以运行多个作业，也可以 将一个作业分布在多个节点上运 行。 队列( q u e u e ) : 批处理系统中设置的一种基本的作业分类机制， 它将不同 属 性的作业分成不同的集合，作业的属性与所参加队列的属性要求不能矛盾。队 列属性有名称、优先级、资源限制、目 标机器和作业个数限制等。 并行作业( p a r a l l e l j o b ) :一个程序投入运行后， 拥有多个并发运行的 进程 分别驻留在不同的处理器上，并且进程间相互通讯完成数据交换，这样的 程序 称为并行程序。并行程序在作业管理系统中形成的作业称为并行作业。 2 .3 j ms 的功能 笔者参与开发的j ms 作业管理系统是西北工业大学软件工程中心与国外某 知名公司合作开发的产品。 j ms作业管理系统是基于网络队列系统 ( n q s )开 发的，该系统主要面向商业应用，有着强大的功能，为企业级的网络作业管理 提供良好支持，在国内外有着良好的市场前景。 西北工业大学硕士学位论文 2 . 3 . 1全面的g u i 工具集 j m s 提供的g u i 图形用户接口 工具可以完成命令行操作的所有功能， 用户 可使用j ms g u i 来创建、 管理、投交作业网络;允许用户监视作业网络的执行 情况，对执行过程中的作业网络进行控制:允许用户建立、修改、删除日历; 允许用户设定作业网络的执行时刻表;允许用户管理整个服务器集群。 2 . 3 . 2 全局日 历调度 j ms 系统可以灵活地定义日历以驱动作业， 用户使用j ms日历定义的g u i 工具，就可以建立用户所需要的商业数据处理作业调度。 2 . 3 . 3 文件日志管理 j m s 产生作业网络的执行日 志 用户通过日 志文件可获得作业网 络的整个 执行历史，执行走向。 2 . 3 . 4事件日志 在w i n d o w s n t 操作系统上运行的j m s 系统可以向 操作系统中的事件服务 中发送 j ms定制的事件。用户可通过查看事件服务来了解 j ms系统的运行情 况，是否有异常事件出现。 2 . 3 . 5自 动归档功能 在j m s 系统中执行数据是以目 录文件形式保存， 含有多种数据，占 用硬盘 空间较大.当作业网络执行终了 后，对这些数据保存一定的时间后， 进行归档 工作。 将部分数据保存在统一的文件中， 并删除其余文件， 减小硬盘空间开销。 但对于归档后的作业网络是不在可以进行控制的。 2 . 3 . 6 指定式负载分散功能 用户可以 通过对单元作业和作业网络属性的设置来指定单元作业和作业网 络的执行机器及机器上的某个队列。这样，用户可以主动将负载分散到其它机 器上 。 西北工业大学硕士学位论文 2 . 3 . 7 u m s 集中管理 在分布式环境中， 跟踪所有的网络服务器和所有的作业是一项繁重的工作， 使用i m s ， 用户可以用与大型机一样的集中模式来管理整个网络。 用i ms 监视 和管理所有的服务器和作业，用户可以查看自己的 “ 虚拟大型机”上的作业， 可以检查过去、现在和将来的作业调度。 2 . 3 . 8作业网络 作业网络是指不同的作业组成的一个复杂作业流，使得客户能够使用i ms 系统定义非常复杂的商业逻辑。 2 . 3 . 9作业导入导出功能 用户定义的复杂的作业网络可以导出到文件中，存储在文件中的作业网络 可以导入到服务器中，极大的方便了作业网络的定义和在不同服务器中的转移 和存储。 2 . 3 . 1 0 查看和跟踪工具 i m s 记录系统的每个事件以 备错误恢复，它也记录所有作业的 详细信息以 供审计。系统提供了相关的工具，可以用来分析、统计相应数据，以帮助用户 计划数据处理、计划系统容量、计划系统升级和消除系统瓶颈. 2 . 3 . 1 1 自 动负载共享 有了i ms 系统， 无须用户分配作业到指定的机器上， 系统也会自 动匹配作 业的资源需求与可用服务器的能力和负载情况，系统还可以动态地调度作业到 最合适的服务器上运行。 2 . 3 . 1 2 u n i x 和n t 的异构系统集成 i ms为异构的u n i x和 n t系统提供了单一的系统映象，u n i x和 n t系 统可以包含在一个 “ 虚拟大型机”中，用户可以使用任何一个台式机作为 “ 虚 拟控制台” ，来监视和控制整个网络上的数据处理。 西北工业大学硕士学位论文 第三章 j ms 作业管理系统体系结构 本章介绍了7 m5 作业管理系统的体系结构，分析了cs 系统结构的优点， 并详细剖析了j m s 作业管理系统的三个层次: 客户层， 通讯层和服务器层， 最 后，介绍了在j ms 作业管理系统中的作业网络. 3 . 1 c / s 系统结构 j m s作 业管 理系 统是 典 型的 客 户 / 服务 器 模型 ( c / s ) , 采 用客 户 服务 器模 型 可使客户尽量少了解实现细节，从而便于客户应用的开发。该模式具有不对称 性，即服务器不会主动询问客户的请求，而是被动地执行指定服务。适用于由 不同计算能力的计算机和设备组成的网络环境。使用c / s模型构造的应用， 将 一个大任务分成服务器与客户端两部分，由二者协作完成， 这种分工协作可以 充分地发挥服务器的高性能和工作站的灵活、易用性，使两者的效用都达到最 高，使网络带宽资源的利用更加合理。其次，它具有面向 对象的特点:由服务 器统一管理一组对象，执行施加在对象上的操作;客户机要操作这些对象，只 能通过向服务器发送消息来实现，服务器执行完对应的操作后，将结果返回给 客户。使用c / s 模型构造应用系统，具有很多优越性， 这也是许多作业管理系 统采用c / s模型的原因所在。客户机与服务器处理能力不同，他们共同分担完 成作业所需的计算机工作负荷。 客户端软件提供g u i 界面供用户完成作业管理 的全过程，包括作业定义、提交、监控及完善的系统管理功能等，客户端软件 执行用户应用程序并提出作业请求，用户可使用客户端软件来操作整个作业管 理系统，服务器则负责解释客户端的请求信息并在本地进行处理和返回。 作业管理系统采用 c / s模型结构，具有很多优越性，主要体现在以下四个 方面: 一、满足系统分布式的要求 c / s结构是网络分布式的一种实现。作业管理系统发展的初期，主旨是使 大型机的集中式计算资源得到更充分地利用，整个系统是集中式结构。当高性 能的工作站和高速网络被普遍使用后，大型机上的计算任务被分散在多台工作 站上执行，人们使用自己桌面上的台式机完成了更多的任务。但经调查发现， 工作站的资源利用率却很低 ( 据美国l o s a l a m o s 国家实验室的一项调查表明， 平均利用率不到总资源的1 0 %) ， 通常一台工作站任务繁重， 而另一台工作站却 处于闲置状态;另外，从系统运行时间看，一个工作周 1 6 8 个小时中正常的工 作时间只有4 0 多个小时， 这对任何一个单位而言， 硬件的投入都没有收到应有 西北工业大学硕士学位论文 第三章 j ms 作业管理系统体系结构 本章介绍了7 m5 作业管理系统的体系结构，分析了cs 系统结构的优点， 并详细剖析了j m s 作业管理系统的三个层次: 客户层， 通讯层和服务器层， 最 后，介绍了在j ms 作业管理系统中的作业网络. 3 . 1 c / s 系统结构 j m s作 业管 理系 统是 典 型的 客 户 / 服务 器 模型 ( c / s ) , 采 用客 户 服务 器模 型 可使客户尽量少了解实现细节，从而便于客户应用的开发。该模式具有不对称 性，即服务器不会主动询问客户的请求，而是被动地执行指定服务。适用于由 不同计算能力的计算机和设备组成的网络环境。使用c / s模型构造的应用， 将 一个大任务分成服务器与客户端两部分，由二者协作完成， 这种分工协作可以 充分地发挥服务器的高性能和工作站的灵活、易用性，使两者的效用都达到最 高，使网络带宽资源的利用更加合理。其次，它具有面向 对象的特点:由服务 器统一管理一组对象，执行施加在对象上的操作;客户机要操作这些对象，只 能通过向服务器发送消息来实现，服务器执行完对应的操作后，将结果返回给 客户。使用c / s 模型构造应用系统，具有很多优越性， 这也是许多作业管理系 统采用c / s模型的原因所在。客户机与服务器处理能力不同，他们共同分担完 成作业所需的计算机工作负荷。 客户端软件提供g u i 界面供用户完成作业管理 的全过程，包括作业定义、提交、监控及完善的系统管理功能等，客户端软件 执行用户应用程序并提出作业请求，用户可使用客户端软件来操作整个作业管 理系统，服务器则负责解释客户端的请求信息并在本地进行处理和返回。 作业管理系统采用 c / s模型结构，具有很多优越性，主要体现在以下四个 方面: 一、满足系统分布式的要求 c / s结构是网络分布式的一种实现。作业管理系统发展的初期，主旨是使 大型机的集中式计算资源得到更充分地利用，整个系统是集中式结构。当高性 能的工作站和高速网络被普遍使用后，大型机上的计算任务被分散在多台工作 站上执行，人们使用自己桌面上的台式机完成了更多的任务。但经调查发现， 工作站的资源利用率却很低 ( 据美国l o s a l a m o s 国家实验室的一项调查表明， 平均利用率不到总资源的1 0 %) ， 通常一台工作站任务繁重， 而另一台工作站却 处于闲置状态;另外，从系统运行时间看，一个工作周 1 6 8 个小时中正常的工 作时间只有4 0 多个小时， 这对任何一个单位而言， 硬件的投入都没有收到应有 西北工业大学硕士学位论文 的效益回报。出于这种需要，分布式网络环境更需要作业管理系统担负起资源 管理与作业调度的职能。实际上，正是网络计算成为主流的应用模式后，才 一产 生了对作业管理系统的迫切需求。从这个时候起，作业管理系统以网络上的资 源管理、 作业调度为中心， 采用i p c或r p c机制实现运行在多个机器上的作业 管理系统之间相互通讯。受c / s计算模式影响，新出现的作业管理系统将运行 在不同机器上的模块也进行了重新划分，负责作业排队、调度、执行等功能的 模块运行在服务器端，而负责提交作业、查询状态的模块运行在客户端，形成 了典型的c / s结构。 二、满足系统异构性的 特点 以网络为核心的系统有一个主要特点，那就是系统的异构性，要用好这样 的系统，应用软件必须具有各个系统间的互操作能力。在c / s模型中，服务器 与客户机可以由 不同体系的 计算机构成，根据处理能力的不同， 服务器一般采 用大型机、并行机或小型机、多处理器硬件平台，运行u n i x 等大型操作系统; 客户机采用工作站、 高性能p c或普通的台式机， 运行u n i x 或w i n d o w s 等操作 系统;服务器与客户间采用成熟的i p c机制实现相互通讯。由 此可见，c / s模 型为异构系统的应用提供了一个很好的解决方法。作为一个应用实例，现在的 作业管理系统都是以c / s模型为基本结构，用户可以通过本地 p c机，向网络 中一台u n i x 主机提交作业，完全实现了使用统一的方式访问不同的系统。 三、满足系统的开放性要求 c / s结构是一个开放的体系结构，以这种结构建立的系统，运行过程中可 以灵活地增加、减少或变更各组成部分，包括机器硬件和软件模块。作业管理 系统所运行的网络环境，会发生各种资源变更情况，如网络规模的扩大，需要 作业管理系统管理更多的机器节点，操作系统的升级需要作业管理系统支持新 的作业运行方式等，因此作业管理系统的体系结构必须是开放的。当使用 c / s 模型实现作业管理系统时，可以采用 c / s模型的一个基本方法，将各项功能分 层实现，这样当某一层功能更新时，只要保持与其它层的数据交换格式不发生 变化，就可以动态实现系统的扩充或升级。 四、便于集中式管理 c / s结构提供了一种机制，可以通过一点了解整个网络的情况，这使大型 网络的集中化管理得以实现。作业管理系统的运行环境是很复杂的，可能是一 个小型的局域网，也可能是一个大型的广域网，要有效地维护整个系统，必须 提供集中化管理机制，使管理员从网络中任意一台工作站上就可完成对整个系 统的全面控制。这也是作业管理系统采用 c / s 结构的一个基本原因。 j ms作业管理系统采用客户/ 服务器体系结构， 将整个作业管理系统划分为 西北工业大学硕士学位论文 客户层、通讯代理层、服务器三部分。 采用层次开发的观点，将整个系统分为 若千层， 每层功能相互独立， 但保证层与层接口 相对稳定， 既有利于软件开发， 也可以做到很大的灵活性，扩展功能比较方便. 3 .2 j ms 的分层体系结构 j m s 作业管理系统采用客户服 务器体系结构，将整个系统划分为客户层、 通讯代理层、服务器层等三部分。采用层次开发的观点，将整个系统分为若千 层， 每层功能相互独立， 但保证层与层接口 相对稳定，既有利于软件开发，也 可以 做到很大的灵活性，扩展功能比 较方便。 j m s 作业管理系统的体系结构参 见图3 - 1 所示。 图3 一 作业管理系统的体系结构 以 下各小节详细介绍各个层次的功能和实现。 3 .2 . 1客户层 客户层提供g u i 界面供用户完成作业管理的全过程， 包括作业定义、 提交、 西北工业大学硕士学位论文 客户层、通讯代理层、服务器三部分。 采用层次开发的观点，将整个系统分为 若千层， 每层功能相互独立， 但保证层与层接口 相对稳定， 既有利于软件开发， 也可以做到很大的灵活性，扩展功能比较方便. 3 .2 j ms 的分层体系结构 j m s 作业管理系统采用客户服 务器体系结构，将整个系统划分为客户层、 通讯代理层、服务器层等三部分。采用层次开发的观点，将整个系统分为若千 层， 每层功能相互独立， 但保证层与层接口 相对稳定，既有利于软件开发，也 可以 做到很大的灵活性，扩展功能比 较方便。 j m s 作业管理系统的体系结构参 见图3 - 1 所示。 图3 一 作业管理系统的体系结构 以 下各小节详细介绍各个层次的功能和实现。 3 .2 . 1客户层 客户层提供g u i 界面供用户完成作业管理的全过程， 包括作业定义、 提交、 西北工业大学硕士学位论文 客户层、通讯代理层、服务器三部分。 采用层次开发的观点，将整个系统分为 若千层， 每层功能相互独立， 但保证层与层接口 相对稳定， 既有利于软件开发， 也可以做到很大的灵活性，扩展功能比较方便. 3 .2 j ms 的分层体系结构 j m s 作业管理系统采用客户服 务器体系结构，将整个系统划分为客户层、 通讯代理层、服务器层等三部分。采用层次开发的观点，将整个系统分为若千 层， 每层功能相互独立， 但保证层与层接口 相对稳定，既有利于软件开发，也 可以 做到很大的灵活性，扩展功能比 较方便。 j m s 作业管理系统的体系结构参 见图3 - 1 所示。 图3 一 作业管理系统的体系结构 以 下各小节详细介绍各个层次的功能和实现。 3 .2 . 1客户层 客户层提供g u i 界面供用户完成作业管理的全过程， 包括作业定义、 提交、 西北工业大学硕士学位论文 监控及完善的系统管理功能等。用户将定义好的作业可以通过它发往服务器， 某些特权用户还可以通过客户端软件对服务器进行管理，创建、修改或删除服 务器所管理的各类对象。客户层提供监控系统状态、信息查询等功能。 提供一 个良 好的用户界面是方便用户使用的一个手段，是为了更好地使用客户层所提 供的各项功能。 客户层软件运行在所有用户机上，它是用户和作业管理系统服务器及整个 集群通讯的接口。 除了 早期n q s 系统只向 用户提供命令行程序， 现在大多数作 业管理系统都提供一个g u i 界面， 通过该图形化接口， 用户可以完成作业定义、 提交和监控等一系列操作。 随着we b 技术的普遍应用， 还有许多作业管理系统 提供www方式的客户端， 使各种结构机器上的用户都可以方便地访问作业管 理系统服务器，将作业管理系统的应用范围扩大到了 整个i n t e rn e t . 作业管理系统的客户层软件包含以 下几大功能块: 定义作业 早期的n q s类系统使用一个普通的s h e l l 程序完成作业的定义，为了对作 业的属性进行描述， 在s h e l l 程序中引入了 特殊的标记符， 这种做法在不同系统 有不同的定义。用户按照规定写好一个s h e l l 程序，就完成了作业的定义过程。 使用g u i 界面的系统在作业定义方面做得更好，如p b s ，它的作业定义仍采用 扩展s h e l l ， 但在g u i 界面用户通过选择不同的选项，由客户端自 动将标记加入 到s h e l l 程序中。 7 m s 是一 个具有复杂作业处理功能的作业管理系统， 它的 作业 定义如同制作一个流程图，使用鼠标拖放功能完成复杂作业中各简单作业间逻 辑关系的定义， 作业的属性定义也采用直观的 选择、填表方式完成，由 客户端 程序自动生成相关的记录文件。 提交作业 客 户端 都 提 供作 业 提交 功 能， 如 典 型 的n q s 命 令q s u b ， 或 在g u i 界 面上 的选择相应的菜单。 在j m s 系统中， 客户端既支持命令行的方式进行提交作业， 也支持以g u i 的方式进行提交作业。同时， 用户在提交作业的时候还可以指定 作业开始运行的时间。另外， j m s 系统还支持指定时间自 动提交的功能。 监控作业 作业提交给系统后， 用户可以通过g u i 客户端来查看作业在整个运行期间 的状态变化过程，或者是在某一个特定时刻作业网络的执行状态，并且还可以 对作业网络和其中的每一个具体作业进行状态控制，也可以对某一个特定的作 业进行挂起、跳过，以 及对作业网络进行删除操作。当一个作业运行完毕，用 户可以查看作业的运行结果或出错的原因。 系统信息查询 a l t -i r x * 4 生塾塑巴一一一一一一一 用户可以 查询自己使用作业管理系统的历史记录，将提交给系统的作业定 义、作业执行结果记录按照特定的检索条件查询出来根据用户的访问权限， 系统还允许用户查询服务器状态、队列状态等信息。 服务器操作 用户可以通过g u i 客户端来对服务器进行各种操作。 用户可以将某一个服 务器加入到服务器组当中，或者将服务器组中的某一个服务器删除掉。作为服 务器组中的管理者，也可以查询和改动组中任意服务器的状态、队列状态、作 业的运行状态等信息。 另外，客户端子系统一般还提供一些辅助功能，如选择首选的服务器、设 置用户环境等，以更加方便用户工作。 3 .2 . 2通讯层 在客户与服务器之间进行数据通讯，要通过通讯层来完成，由它负责将客 户的命令发送到服务器端， 并将服务器端的处理结果发回到客户端， 这样一来， 就形成了客户、通讯代理、服务器的三层通讯结构。从层次结构上来看，通讯 代理a g e n t 位于作业管理系 统的中 间 层， 处理客户 / 服务 器模式下的 信息 交互; 从功能上来看， 通讯代理a g e n t 将客 户和服务器从 额外的 数据 传输负 担种解脱 出来， 便于客户/ 服务器之间通讯接口的扩展和升级: 从命令协议上来看， 通讯 代理a g e n t 由t c p / i p 网 络 通 信 协议 及 与 平台 无关的 数 据 通讯 协议 构 成。 主要 包 括以下功能: 将客户发出的命令请求串行化，将打包后的命令发给服务器。 将服务器返回的结果反串行化，将解包后的结果返回给客户。 数据的网络传输功能。 通讯代理的加入使得: 客户端和服务器无须直接了解对方。 客户端与服务器可以是多对多的关系。 客户端应用程序能在运行时定位新的对象与服务器交互。 3 .2 . 3服务器 从外部功能看，作业管理系统的服务器是这样一组程序的集合，它们运行 在网络中的一台或多台机器上，这些机器可以使用不同的操作系统，向网络用 户提供多种访问途径，响应用户的请求;支持对作业网络的描述，按照作业网 a l t -i r x * 4 生塾塑巴一一一一一一一 用户可以 查询自己使用作业管理系统的历史记录，将提交给系统的作业定 义、作业执行结果记录按照特定的检索条件查询出来根据用户的访问权限， 系统还允许用户查询服务器状态、队列状态等信息。 服务器操作 用户可以通过g u i 客户端来对服务器进行各种操作。 用户可以将某一个服 务器加入到服务器组当中，或者将服务器组中的某一个服务器删除掉。作为服 务器组中的管理者，也可以查询和改动组中任意服务器的状态、队列状态、作 业的运行状态等信息。 另外，客户端子系统一般还提供一些辅助功能，如选择首选的服务器、设 置用户环境等，以更加方便用户工作。 3 .2 . 2通讯层 在客户与服务器之间进行数据通讯，要通过通讯层来完成，由它负责将客 户的命令发送到服务器端， 并将服务器端的处理结果发回到客户端， 这样一来， 就形成了客户、通讯代理、服务器的三层通讯结构。从层次结构上来看，通讯 代理a g e n t 位于作业管理系 统的中 间 层， 处理客户 / 服务 器模式下的 信息 交互; 从功能上来看， 通讯代理a g e n t 将客 户和服务器从 额外的 数据 传输负 担种解脱 出来， 便于客户/ 服务器之间通讯接口的扩展和升级: 从命令协议上来看， 通讯 代理a g e n t 由t c p / i p 网 络 通 信 协议 及 与 平台 无关的 数 据 通讯 协议 构 成。 主要 包 括以下功能: 将客户发出的命令请求串行化，将打包后的命令发给服务器。 将服务器返回的结果反串行化，将解包后的结果返回给客户。 数据的网络传输功能。 通讯代理的加入使得: 客户端和服务器无须直接了解对方。 客户端与服务器可以