（计算机软件与理论专业论文）网络作业管理系统研究与实现.pdf

西北工业大学硕士学位论文 摘要 随着基于网络的计算机技术的发展以及计算机在社会各个领域的 应用，计算机网络作业管理系统的研究和开发得到了长足的发展。网络 作业管理系统是建立在基本操作系统之上的中间件。它的主要用途是强 化操作系统的作业管理功能，通过使用相应的平衡策略，将处于系统中 的作业在网络上进行合理分配，以提高网络资源利用率。网络作业管理 系统将地理上分布、异构、自治的各种工作站、p c 机和专用设备通过 网络连接起来，建立有效的分布资源管理。实现一种高吞吐量和高性能 的分布式计算环境。 网络作业管理系统的底层支持是网络队列系统( n q s ) 。它控制了 网络作业管理系统的一些核心功能。因此，本文对这一系统进行了深入 的研究。对这一部分的研究，得出了以下研究成果： 一、 提出了网络队列系统( n q s ) 的系统框架结构，给出了各部分 之间调用关系及作业在该系统中的处理流程：作业投交、作业在 n q s 中的转送、作业到达基本操作系统后处理结果的返回。 二、研究了网络队列系统的作用对象作业。对作业在n q s 中的 状态的变化进行了分析。给出了n q s 中作业所有可能状态的分析， 对作业在这些状态间的迁移方式进行了详细的说明。 三、研究了网络队列系统的主要元素队列。对队列在n q s 中的 状态的变化进行了分析。给出了n q s 中队列所有可能状态的分析， 对队列在这些状态间的迁移方式进行了详细的说明。 四、给出了n q s 的作业负载平衡策略。提出了静态负载平衡算法， 并对动态负载平衡提出了控制点。 本文中还对网络作业管理系统中的集中式管理系统( c m s ) 进行了 深入地研究。该系统实现了对机器、队列等的高层管理。其中，c m s 的机器管理存在着不完整性问题，针对这一问题，本人的研究取得了以 下成果： 西北工业大学硕士学位论文 一、 集中式管理系统( c m s ) 对机器管理有两种方式：机器组和机 器列表。对这两种管理方式给出了数学描述方法。对c m s 的机器 管理存在的问题进行了分析，对其不完整性给出了解决方案，并根 据该方案给出了c m s 机器管理的数学模型，并证明了该模型的完 整性。 二、 对给出的c m s 机器管理的数学模型，给出了各种操作的算法。 并依据给出的算法，给出了一个实例。 本文所涉及的研究课题是西北工业大学科信软件公司的一个国际合作 项目，以上所有功能都已在系统中实现。该系统已广泛应用于某国金融、 政府机构、交通、化工等各个领域。 关键字：网络作业管理系统、网络队列系统( n q s ) 、作业、队列、负 载平衡、状态迁移、集中式管理系统( c m s ) 、完整性、数学模型 i i 塑! ! 三些奎兰堡主兰堡笙壅 一 a b s t r a c t a c c o m p a n y w i t ht h e d e v e l o p i n g o ft h en e t w o r kb a s e dc o m p u t i n g t e c h n o l o g ya n d t h ew i d e l ya p p l i c a t i o no fc o m p u t e r si na l lf i e l d so fh u m a n s o c i e t y , t h e r e s e a r c ha n d d e v e l o p m e n t o ft h e n j m s ( n e t w o r k e dj o b m a n a g e m e n ts y s t e m ) a c h i e v e dw o n d e r f u lt e c h n i c a lp r o g r e s s t h en j m s i s am i d d l e w a r eb u i l du po nt h eb a s i co s ( o p e r a t i o ns y s t e m ) i t sm a i n l yu s e d t o i n t e n s i f yt h ej o bm a n a g e m e n tf u n c t i o no ft h eo s ，b yt h e m e a n so f a p p l y i n gl o a d b a l a n c i n gs t r a t e g i e st od i s t r i b u t et h ej o b si nt h es y s t e mo n t h e n e t w o r k e dw o r k s t a t i o n sa n dt h e na c h i e v et h ea i mt oe n h a n c et h eu t i l i z a t i o n o fn e t w o r kr e s o u r c e s t h en j m sc o n n e c tt h e g e o g r a p h i cd i s t r i b u t e d ， h e t e r o g e n e o u sa n da u t o n o m o u sw o r k s t a t i o n sp c sa n do t h e rs p e c i a ld e v i c e s t oc o n s t r u c te f f i c i e n td i s t r i b u t e dr e s o u r c e m a n a g e m e n ta n dc a r r y o u ta d i s t r i b u t e d c o m p u t i n g e n v i r o n m e n tw i t h h i 曲t h r o u g h p u t a n d h i 醣 p e r f o r m a n c e t h ef u n d a m e n t a l s u p p o r to ft h en j m si sn q s e t w o r kq u e u i n g s y s t e m ) ，w h i c ha c t ss o m ec o r ef u n c t i o n so f t h en j m s i nt h i sp a p e r , w e a c h i e v e dt h e f o l l o w i n gr e s u l t sa f t e rt w oy e a r sp r o f o u n dr e s e a r c ho nt h e n q s ： w e p r o v i d et h es y s t e mf r a m e w o r ko ft h en q s ，i n c l u d i n gt h e i n v o k i n gr e l a t i o n so f a l lt h es y s t e mc o m p o n e n t sa n dt h ep r o c e s s i n g o fj o b si nt h es y s t e m ，s u c ha sj o bs u b m i s s i o n ，j o bt r a n s f e r , t h e r e t u r n i n go f t h e j o b r e s u l tp r o c e s s e di nt h eb a s eo s f o c u so nt h ej o b s ，w h i c hi st h eb a s i ce l e m e n to ft h en q s w e a n a l y z et h et r a n s f o r m a t i o no ft h ej o bs t a t u sa n dm i g r a t i o no ft h e j o ba m o n g t h en e t w o r k e d c o m p u t e r s f o c u so nt h e q u e u e s ，t h em o s ti m p o r t a n te l e m e n to fn q s ，w e a n a l y z e t h e q u e u es t a t u st r a n s f o r m a t i o n i nt h e s y s t e ma n dt h e t h e o r yo f q u e u i n g w e p r o v i d eag o o dp e r f o r m a n c ej o bl o a d b a l a n c i n gs 仃a t e g yw i t h i i l 西北工业大学硕士学位论文 s t a t i c a l g o r i t h m s ，a n dp r o v i d e t h ec o n t r o l p o i n t s f o r d y n a m i c a l g o r i t h m sl o a d b a l a n c i n gs t r a t e g y i nt h i s p a p e r , w ea l s op e r f o r mp r o f o u n d r e s e a r c h e so nt h ec m s ( c e n t r a l i z e dm a n a g e m e n ts y s t e m i nn j m s ) t h i ss y s t e mi m p l e m e n t e dt h e h i 曲l e v e lm a n a g e m e n to f t h em a c h i n e sa n d q u e u e s a n dt h e r ee x i s t ss o m e i m p e r f e c t i o ni nt h ec m s a i m i n g a tt h ep r o b l e m ，w ea r c h i v e dt h ef o l l o w i n g r e s u l t s ： t h e r ea r et w om e t h o d st h ec m su s e dt om a n a g et h em a c h i n e s ： m a c h i n e g r o u p a n dm a c h i n el i s t w e p r o v i d e t h ea b s t r a c t m a t h e m a t i c d e s c r i p t i o n o ft h e m a f t e rt h e a n a l y s i s t h e i m p e r f e c t i o n o ft h e c m s ，w ep r o v i d e o u rs o l u t i o na n di t s m a t h e m a t i cd e s c r i p t i o n ，a n dt h e ng i v eo u tt h ep r o o f w e p r o v i d et h em a t h e m a t i cm o d e lo f t h ec m s ，t h ea l g o r i t h mo f e a c h o p e r a t i o n ，a n da ni m p l e m e n t a t i o n a l lt h er e s e a r c ht o p i c sc o m ef r o ma ni n t e r n a t i o n a lc o o p e r a t i o np r o j e c t o ft h en p us o f t w a r ec e n t e r a 1 1o ft h er e f e r r e df u n c t i o n sh a v eb e e n i m p l e m e m e d i nt h es y s t e m a n dt h i ss y s t e mh a sb e e n w i d e l yu s e d i nl o t so f f i e l d ss u c ha st h ef i n a n c e ，a n dg o v e r n m e n ti n s t i t u t e s ，t r a f f i cd e p a r t m e n ta n d c h e m i s t r yi n d u s t r yo f a n o t h e rn a t i o n k e y w o r d s ：n j m s ，n q s ，j o b ，q u e u e ，l o a d b a l a n c e ，s t a t u s m i g r a t i o n ，c m s ，i m p e r f e c t i o n ，m a t h e m a t i c m o d e l 西北工业大学硕士学位论文 刖舌 1 研究背景 由于计算机广泛地被使用，计算机系统的结构己从大型、单主机的 结构转向分布式异构机群系统，这个趋势促使人们在采用开放式系统 后，削减计算成本并提高计算效率。这个趋势亦使计算机系统日益复杂， 需要新的技术来管理，以获得同单机系统上一致的效率与稳定性。 作业管理系统是一个建立在操作系统之上的一类系统软件，以机 器，队列，请求作为它的主要资源，其主要作用是强化操作系统的作业 管理功能，提供作业即时提交、定期执行、作业调度、作业控制等新机 制，以便更加有效地利用系统资源、平衡网络负载、提高系统整体性能。 作业管理系统最早出现在二十世纪七十年代左右，由美国国家航空 和宇宙航行局n a s a ( n a t i o n a la e r o n a u t i c sa n ds p a c ea d m i n i s t r a t i o n ) 研发成功并投入使用，主要用于进行空气动力学方面的数值计算和向网 络用户提供界面一致的接口。 作业管理系统经过多年的发展已经日趋成熟，国外的产品层出不 穷。例如公用的免费系统n q s 、p b s 、c o n d o r 、d q s 等是由美国的一些大 机构或大学开发的，可以从i n t e r n e t 上直接获得它们的源代码；商业 化的系统由一些软件公司或硬件生产公司为自己的机器开发，如加拿大 p l a t f o r m 公司的l s f ，德国g e n i a s 软件公司的c o d i n e ，i b m 公司的 l o a d l e v e l e r 等。但是这些产品在n t 上的兼容性和界面友好性都尚嫌 欠缺和不足。 本文将以网络作业管理系统的网络队列系统为主体，重点对网络负 载平衡、集中管理的数学模型等方面进行研究。 2 作者所承担的工作 网络作业管理系统是西北工业大学软件中心的合作项目。在系统的 开发过程中，我主要做了下列工作： 两北工业大学硕士学位论文 网络作业管理系统与底层支持系统n q s 的通讯的研究 n q s 的功能扩展工作 网络集中管理功能的完善 对n q s 的研究使得整个作业管理系统更加容易维护。作业管理系统 的开发人员可以利用开发的成果来开发自己的通讯机制。对网络管理功 能的完善，使系统更加安全和稳定。 3 本文的组织结构 本文对丽络作业管理系统进行了全面的研究，并重点阐述了网络作 业管理系统是如何管理系统的作业。讲述了网络队列系统( n q s ) 的功 能及策略。全文按如下章节组织： 第一章：网络作业管理系统综述 介绍网络作业管理系统的研究现状及发展趋势。介绍网络 作业管理系统的基本概念。说明了网络作业管理系统的体 系结构。介绍了网络队列系统研究现状、基本功能。 第二章：网络队列系统研究 详细介绍了网络队列管理系统，包括对n q s 的系统组成、 实现方式、队列结构、负载平衡策略及状态迁移。 第三章：网络负载平衡策略的设计和研究 介绍了网络负载平衡策略的研究现状及n q s 中的实现策 略。提出了对n q s 的负载平衡策略的改进方案。 第四章：网络完整性设计 详绍介绍了对提高网络作业管理系统中网络管理的可靠性 所进行的探索，并提出了解决策略，建立了相应的数学模 型，并对该模型的完整性进行了验证。 第五章：总结了本文所取得的成果，并指出系统需要完善的地方。 并对今后的发展前景作了展望。 西北工业大学硕士学位论文 第一章网络作业管理系统综述 1 1 系统简述 网络作业管理系统是建立在操作系统之上的一类系统软件，它是 一种中间件( m i d d l e w a r e ) 。中间件是处于应用软件和系统软件( 操作 系统、网络协议、数据库等) 之间的一个软件层，它屏蔽了环境底层的 复杂性，提供给应用开发者统一的、功能强大的a p i ，使应用开发者只 专注与业务逻辑的开发，快速地开发出可靠、高效的企业级分布式应用。 中间件把应用程序与系统所依附软件的较低层和复杂性隔离开来，使应 用程序开发者只处理某种类型的单个a p i ，而其他细节则由中间件处理。 应用程序开发人员可以使用中间件而工作在应用程序较高的层次上，较 底层的细节则由中间件提供。这样，开发人员就不用为操作系统和低层 接口编码。其作用是强化操作系统的作业管理功能，提供作业( j o b ) 提交、调度、执行及控制的新机制，更加有效地利用系统资源、平衡网 络负载、提高系统整体性能。作业可作为整体进行管理的进程的一个集 合。一个批处理作业就是一个s h e l l 脚本，可用任何s h e l l 脚本语言书写 该脚本。 作业管理系统最早在大型主机上使用，系统或用户提交的作业在它 的管理下以批处理的方式运行。随着高性能工作站、集群系统的发展， 作业管理系统也发展到支持异构的网络环境、支持多平台、支持并行应 用等新需求这样一个阶段。 1 2 系统研究现状 在过去十年中，主要进行了从大型机或者以主机为中心的计算向分 布式的客户机服务器模式转换。近几年这种趋势依然持续并且继续向 以网络为中心的计算进行转移。当代的r i s c ( 精简指令集计算机) 微处 理机无论从价格还是性能上都可以与大型机相媲美。预计多个r i s c 微 处理机集成在一起作为并行机可以达到向量超级计算机的性能。这种高 性能的并行计算机合并了一些私有的互联网络，允许低延迟高带宽的处 理机间通信。然而对某类应用程序来讲，这种互联最优化是不必要的， 通常的局域网技术就足够了。这就导致了高性能计算机集群的出现，对 西北工业大学硕士学位论文 于许多应用程序来说，这种集群系统可以取代大型机、向量超级计算机 或并行机。 集群系统的迅猛发展导致了管理集群系统的软件的发展。近年来， 国外许多公司或大学对作业管理系统都进行了一些深入研究，产生了许 多商业化的或公用的作业管理系统。商业化的系统由一些软件公司或硬 件生产公司为自己的机器开发，如加拿大p l a t f o r m 公司的l s f ，德国 g e n i a s 软件公司的c o d i n e ，i b m 公司的l o a d l e v e l e r ，美国c r a y s o f t 公司的n q e ，n e c 公司的n e t s h e p h e r d 等：公用的免费系统如g e n e r i c n q s 、p b s 、c o n d o r 、d q s 、q b a t c h 等是由美国的一些大机构或大学开发 的；同时还出现了一些综合作业管理系统，其典型代表产品有n a s a 的 p b s ，p l a t i n u m 公司的a u t o s y s 等。 在国内还没有专门的作业管理系统，只是在某些学校出现了对分布 式资源管理，负载共享，负载均衡等课题的研究。 1 3 系统的特点 一个网络作业管理系统通常具备下列特点： 异构支持( h e t e r o g e n e o u ss u p p o r t ) ：如果一个作业管理系统 具备异构支持能力则其能在一个异构系统中管理集群系统，进 行作业的调度和管理。当前大多数作业管理系统都具备异构支 持，象c o d i n e 、c o n d o r 、l s f 等，但是这些作业管理系统只能 运行在工作站上，支持各个厂家的u n i x 系统，或者支持l i n u x 系统，目前只有少数几个作业管理系统支持w i n d o w sn t 系统， 例如a u t o s y s 系统。 并行支持( p a r a l l e ls u p p o r t ) ：由于异构环境会带来大量问 题，所以有从异构环境到大型并行计算机转移的趋势。集群系 统由于廉价容易升级等特点常被用做一个并行系统。一个支持 并行计算的作业管理系统通常在配置等方面要比一个只支持串 行作业的系统要灵活得多。作业管理系统支持的并行软件包的 类型很重要，通常应该支持p v m 3 3 x 和通用工业接口m p i 。当 前的作业管理系统如c o n d i n e 、d q s 、l s f 等具备并行支持。 信息传递支持( m e s s a g ep a s s i n gs u p p o r t ) ：信息传递是指使 用通常的方法在进程之间传递数据的能力。这种进程间的通讯 允许多个进程并行的独自处理一个问题。一个大的分布式应用 西北工业大学硕士学位论文 程序可以被划分为多个部分，每一部分运行在一个异构环境中 的多个不同的平台上。一些集群管理软件包不提供清晰的信息 传递支持，而是依赖于一些应用包( 比如p v m ，l i n i ) a ) 提供这 种功能。当前的作业管理系统如c o n d i n e 、d q s 、l s f 等都支持 信息传递，l o a db a l a n c e r 不支持。 检查点( c h e c k p o i n t i n g ) ：检查点是集群管理软件存储当前作 业运行状态的很常用的方法。当系统崩溃时通过检查点文件可 以直接从崩溃点继续运行。因为异构环境中的检查点要比单一 体系结构中的检查点困难得多，所以当前提供检查点的集群管 理软件要有以下限制： ( 1 ) 只支持单个进程作业； ( 2 ) 不支持信号及信号处理； ( 3 ) 不支持进程闽通信： ( 4 ) 所有的文件操作必须是只读或只写。 检查点的这些限制使得它不适合某些应用，例如并行或分布式 的作业要和其他进程进行通信的情况。目前的作业管理系统只 有少数几种支持检查点。 进程迁移( p r o c e s sm i g r a t i o n ) ：进程迁移能够在不重新起动 程序的情况下将进程从一台机器上迁移到另一台机器上，这样就 可以在进程之间平衡负载( w o r kl o a d ，对集群中的每个结点，选 定一组作业使用的资源类别( 如c p u 时间、占用内存等) 作为统一 指标，将一个结点上全部作业占用的资源按这一组指标进行测 算，得到的值称为结点的负载。由作业管理系统投入运行的作业 产生的负载总和称为作业管理系统的负载。负载平衡( l o a d l e v e l i n g ) 是指在一个集群范围内通过合理的作业分配，保持各结 点负载基本平衡。) 。如果台机器上负载太重，或者发生故障， 进程迁移是很理想的，这就允许进程迁移到另外一台机器上完成 而不影响任何工作。由于该技术实现比较复杂，所以只有少数几 种作业管理系统有进程迁移的功能。 负载均衡( l o a db a l a n c i n g ) ：负载均衡指集群系统上工作负载 的分配，这样集群中的每一个结点都分配同样数量的任务。在 一个网络上，可能一些结点很空闲而其他结点在拼命地处理大 量的负载，这样为了提高网络的效率，负载均衡变得非常重要。 所以大多数的作业管理系统都支持负载均衡。 两北工业大学硕士学位论文 a p l 支持( a p is u p p o r t ) ：内容包括作业、队列、主机、t r a c e 的操作，系统管理及作业事件处理。 日历调度( c a l e n d a r d i s p a t c h ) ：允许设置灵活的日历以适应企 业的数据处理流程。用户可以根据特定的部门建立特定的日历， 日历还可通过简单的逻辑表达式组合成复杂的日历。高度灵活 可靠的c a l e n d a r 通过处理服务器的日历及事件驱动作业实现企 业自动化处理。仅需简单地设置调度和作业处理条件，其它的 一切都由c a l e n d a r 解决。 1 4 系统组成 网络作业管理系统采用客户机朋务器c s ( c l i e n t s e r v e r ) 体系结构， 将系统分为服务端s v ( s e r v e r ) 和客户端c l ( c l i e n t ) 。总体采用层次结构。 s v 端的基本模块包括：命令引擎( c a g e n t ) 、网络作业管理器j m a n ) 、 网络作业引擎( n j e n g i n e ) 、网络队列系统( n q s ，实现用户向本地机或远 程机的队列中投交作业并将执行的结果返回给用户的系统) 、日历引擎 ( c a l e n d d ) 、t r a c e 检索( t r c s r c h ) 、集中管理系统( c m s ) 、作业打 包( m k p a k e t ) 。 1 4 1 系统的总体结构 两层c s 计算模式缺乏可伸缩性、可移植性、性能差、效率低。为 了解决两层c s 模式存在的不足，提出了三层或多层应用体系结构。为 了支持多层结构的应用模型，出现了相应的中间件。作为一个真正的中 间件应提供安全、事务、灵活的通讯方式、容错负载平衡等服务。作为 中间件的网络作业管理系统采用层次结构，主要层次如下图： 6 西北工业大学硕士学位论文 1 c l i 两 lc a g e n ti ln j e n g i n ei in q s l 丽 i o s l 孱丽 图1 1 由客户端发来的命令，先由命令引擎进行分析后交由网络作业引擎 处理分流，最终将命令交由n q s 对作业进行调度，对作业中的具体请 求调用操作系统处理。 主要模块间的调用关系： 西北工业大学硕士学位论文 图1 2 1 4 2 系统的功能模块介绍 命令引擎( c a g e n t ) ：它是一个常住内存的d a e m o n 程序，提供了异 构系统通讯的机制。其目标是实现异构机上命令执行的透 明性。它与作业管理系统结合，使投交作业实现透明的特 性。 用户投交作业后，客户端c a g e n t 得到作业的句柄，检 查机器组中的负载情况从而决定负载在哪个结点上执行， 一旦决策的结果是远程结点，将发送请求执行远程调用。 发送消息后，客户器端将堵塞自己以等待执行结果。服务 端c a g e n t 将自己阻塞等待消息到达。消息到达后，拆开信 包从中取出客户命令及参数。当消息到达远端服务器端后， 该端的c a g e n t 将消息传送给与实际服务器进程相捆绑的执 行服务器( n j e n g i n e ) ，即作业管理系统的作业引擎：若消 息为n q s 命令则直接交由底层n q s 处理。消息送回客户 机相应的c a g e n t 客户进程，执行结果被拷贝到等待缓冲区 中，客户端c a g e n t 进程解除阻塞，检查并拆开信包，取出 结果，并将它拷贝到要求执行命令的用户进程的缓冲区中， 然后以一般方式返回。最后，服务端回到阻塞状态，等待 下一条消息。 这样对执行命令的用户进程而言，它并不需要关心执 行命令的服务器在哪一台机器上。远程服务可以通过本地 提交需要服务的命令实现。 网络作业管理器( n j m a n ) ：它在网络作业管理系统中相当一个转接中 心，所有o r b 协议的命令请求都通过该程序进行解析后， 根据所属类分别调用相应的其它程序进行处理，部分是由 n j m a n 自己处理。对t r a c k 类命令调用t r c s r c h ，对部分 m a c h i l i e 类命令调用m k g r p ，对n j 类调用m k d a t a ，对c o t r o l 类调用n j e n g i n e ，对非本地命令调用c m s 处理。 网络作业引擎( n j e n g i n e ) ：系统的事件分发中心，用于将作业分发给 相关的部分进行处理。n j e n g i n e 程序是一个常驻内存的服 务程序，用来随时处理来自用户的执行请求。当n j e n g i l i e 西北工业大学硕士学位论文 程序接收到用户执行请求时，就分析作业网络( n j ) 的结 构，通过分析将作业网络解析成一个个可具体执行的作业 实体，再根据每个作业的相应参数投交到相应的队列中。 这里所说的作业网络是由各种不同类型的作业经过各种组 合而构成的一个作业集。这个作业集的拓扑结构是一个网 络结构。 具体过程是：n j e n g if i e 分析作业网络的各种逻辑结构， 确定各个作业的执行顺序，形成一个可顺序执行的作业链 表，然后根据链表的顺序逐个将作业投入到执行队列中。 为了方便网络作业引擎( n j e n g y n e ) 和网络队列系统( n q s ) 进行通信，投入到n q s 中的作业都是先处于保留状态，不 能直接执行，必须由n j e n g i n e 与n q s 通过s o c k e t 建立连 接以后，发送作业释放的消息，此时作业刁能够在队列中 继续执行。这样，n q s 可以将所有的执行结果通过已建立好 的s o c k e t 通道发送给n j e n g i n e 。 日历引擎( c a l e n d d ) ：日历调度模块，完成定时投入功能。它是一 个常住内存的d a e m o n 程序，根据客户设定的日历调度规则 来调度作业网络，使其在客户指定的时间执行。它首先解 析客户设定的日历调度规则，将规则分析为指定时刻。然 后定时按照所解析出的时刻投交n j 。c a l e n d d 每过分钟， 将根据日历调度规则重新刷新它的执行时刻表。 集中管理系统( c m s ) ：是将网络系统中的所有资源进行集中管理， 将这些资源透明地提供给作业管理系统的用户。用户的作 业网络就可以使用这些共享的网络资源。它可由一优先级 较高的机器作为调度机器，实现对其他机器进行监控和管 理；也可做为对等机实现资源共享。c m s 管理功能包括机器 管理，队列管理，请求管理，负载平衡管理等部分。c m s 管 理模块包括c m c li e n t 和m k g r p 。详见第四章。 网络队列系统( n q s ) ：是网络作业管理系统的底层支持，是对作 业( j o b ) 管理的核心部分。它提供了队列、作业、机器管 理等服务最底层的支持。将在第二章中对其进行详尽的分 析，这里不再赘述。 t r a c e 检索( t r c s r c h ) ：用于显示提交的n j 的t r a c e 状态。对于未 打包的t r a c e 在系统所在目录中找到相应的t r a c e 目录，读 9 西北_ i = 业大学硕士学位论文 出文件中的相关的内容并显示，对打包的在打包文件中查 找。 作业打包( m k p a k e t ) ：对用户的t r a c e 打包，创建包的索引。根据 打包的时间规则，定时将t r a c e 写入打包文件中。 1 5小结 网络作业管理系统是以c s 模式为基本模型，具有完整的服务器模 块和客户端模块，可以在工作站上运行；它提供g u i 界面供用户完成 作业管理的全过程，包括作业定义、提交、监控及完善的系统管理功能 等；与作业管理系统的运行环境紧密结合，对多种作业类型提供支持； 系统具有开放的体系结构，可以很容易地实现跨平台运行或增加新功 能。 本章首先从网络作业管理系统研究的现状出发，解释了一些网络作 业管理系统的相关概念，然后介绍了该系统的总体结构及特点，最后说 明了各部分的功能。 l o 西北工业大学硕士学位论文 第二章网络队列系统的研究 2 1 系统概述 网络队列系统( n e t w o r kq u e u es y s t e m ，简称n q s ) 是基于网络的 批处理队列系统。它是为了在u n i x 环境下使批处理作业更方便而研制 出来的。它将运行着不同版本的u n i x 、n t 的机器管理起来组成一个有 机的联合体，此联合体可以提供各种用户需求。它对网络上具有不同软、 硬件的机器，实现了请求的自由、透明地转移，用户无须因为机器的软、 硬件不同而无法共享资源发愁。它能按照用户的设置，合理地利用资源， 将作业转移到网络中处于同一工作组中较空闲的机器上执行。 n q s 支持批处理请求，提供请求的排队、请求的跟踪、请求的资源 分配、队列的控制、远程处理结果的返回等功能。 目前官方组织的网络n p s n 是n q s 的典型应用。在该网络中不同 操作系统的机器协作起来，作为同一总体工作。 2 2 系统的结构 2 2 1n q s 的基本组成 n e t s h e p ( n e t s h e p h e r d ) ：它常驻内存。控制n e t s h e p h e r d 的进程。 在服务开始时创建n s n q s d 进程，在服务结束时向n s n q s d 发送s h u t d o w n 消息包，结束n s n q s d 进程。 n s n q s d ( n q s d a e m o n ) ：是n q s 的主进程。它常驻内存，接受j o b 投入等请求包，并将请求包解包后，根据要求提供各种n q s 命令处理。它控制着网络作业管理系统的所有的队列及设备。 n s s h e p ( s h e p h e dp r o c e s s ) ：是非常驻进程，由n s n q s d 接收到请 求时调起。主要是取得系统的资源状况，如果此时系统资源充 足，将调起n s n e t c l 、n s r e q s v 和n s p i p e c l 进程，对请 求做进一步的处理。 n s r e q s v ( n q sr e q u e s ts e r v i c e ) ：是非常驻进程，由n s n q s d 接收到请 求时调起。它启动c m d e x e 执行j o b 的脚本。c m d e x e 结束时，将 西北工业大学硕士学位论文 执行结果返回给n s s h e p 。当接收到来自n s s h e p 的s h u t d o w n 、请求删 除等事件时，终止c m de x e 。 n s n e t d ( n e td a e m o n ) ：是常驻内存的进程，由n s n q s d 在初始化 时调起该进程。它捕获各类网络消息，并将此消息缓冲后转发 到n s n e t s v 中处理。 n s n e t s v ( n e ts e r v e r ) ：是非常驻进程，由n s n e t d 在收到请求时调 起该进程。作为网络服务程序接收远程发送过来的请求信息和 远程过来的执行结果。 n s p i p e c l ( p i p ec l i e n t ) ：是非常驻进程，由n s s h e p 调起。它向本 地或者远程转发请求八队的信息，并分析对方的各类队列的类 型，通过不同的负载算法将请求传输出去。当转运的目标是远 程机时，它同远程机上的n s n e t d 及n s n e t s v 通讯。 n s n e t c l ( n e tc l i e n t ) ：是非常驻进程，由n s n q s d 调起。它向远 程转送批处理作业执行结果的模块，为了防止对方机器崩溃， 使用网络队列存放结果，这样即使对方的机器没有运行n q s 系统，作业的执行信息也不会丢失。 n s l o g d ( l o gd a e m o n ) ：是常驻内存的进程，由n s n q s d 在初始化 时调起该进程。它是系统的日志系统，跟踪系统各个进程的执 行情况，分等级地将各种系统返回的信息记录到系统的日志文 件中。 2 2 2n q s 进程调用关系 1 ) 操作系统启动时将调起n e t s h e p 进程常驻内存； 2 1 n e t s h e p 进程在初始化时，调起n s n q s d 常驻内存： 3 ) n s n q s d 初始化时，调起n s l o g d 、n s n e t d 常驻内存； 4 ) 当有请求发生时，n s n q s d 捕获请求，并对其进行分析，根据 请求的目标分别处理，若为本地请求，n s n q s d 调起n s s h e p 进行处理，并根据需要，分别调起n s n e t c l 、n s r e q s v 和 n s p i p e c l 进行处理；若为远程请求时，直接调用n s n e t d 将 请求转交n s n e t s v 处理。 西北工业大学硕士学位论文 s e l g i e o s t a r t 图2 1 2 2 3n q s 本地请求的投入与执行 由q s u b 投交投交的请求，被n s n q s d 捕获 1 ) s n q s d 处理投交的请求 a ) n s n q s d 将请求解包后 b ) n s s h e p 检查系统资源 行结果返回给远程机， n s n e t c l 处理 交给n s s h e p 根据请求是否是将远程请求的执 分别将请求交给n s r e q s v 或 c ) n s r e q s v 接到请求后，启动c m d e x e 处理 d ) c m d e x e 同时接受来自请求的批处理文件( 即脚本文件) ， 将执行结果输出到标准输出文件，并将错误输出到标准错 误输出文件中 e ) 将结果文件放到输出目录中 2 ) 同时创建请求的批处理文件 a ) n s n q s d 创建捕获的请求的批处理文件； b ) 将请求的批处理文件( 即脚本文件) 发送给c m d e x e 处 理： c ) 将c m d e x e 对批处理请求的处理结果输出到标准输出， 将错误输出到标准错误输出中； d ) 将标准输出和标准错误输出的内容保存到目录中： c ) 将创建的请求批处理文件、标准输出及标准错误输出中的 内容删除。 西北工业大学硕士学位论文 图2 2 2 2 4n q s 远程请求的转送与执行 当有远程请求投交并被n s n q s d 捕获后： 1 ) n s n q s d 处理投交的请求 a ) 请求通过q s u b 提交，q s u b 通过m a i l s l o t 将命令包发给 n s n q s d 处理 b )n s n q s d 接到请求后，调起n s s h e p c )n s s h e p 检查系统资源，若系统资源足够，则调起 n s p i p e c l d )n s p i p e c l 接到请求后，通过s o c k e t 与远程机的 n s n e t d 通讯将包发给它 e )远程机的n s n e t d 接到请求后将其上的n s n e t s v 调起 f )远程机的n s n e t s v 向其上的n s n q s d 提出执行请求 g )远程机的n s n q s d 接到请求将其上的n s s h e p 调起 h )远程机的n s s h e p 检查系统资源，将请求交给其上的 n s r e q s v 处理 i ) 远程机的n s r e q s v 接到请求后，启动c m d e x e 处理 i ) c m d e x e 同时接受来自请求的批处理文件( 即脚本文 件) ，将执行结果输出到标准输出文件，并将错误输出到 标准错误输出文件中 2 ) 同时创建请求的批处理文件 西北工业大学硕士学位论文 曲通知n s p i p e c l 有批处理文件转送的请求 b 1n s p i p e c l 与远程的n s n e t s v 通讯将文件转送到远程机 上 c ) 将批处理文件交给c m d e x e 执行 d ) 执行结束后c m d e x e 将结果传送到标准输出文件和标准 错误输出文件中 e 1 远程机器将这些文件通过m a i l s l o t 返回给本机 图2 3 图2 4 西北工业大学硕士学位论文 2 3 队列 此处所说的队列并非数据结构中所说的具有先进先出特性的队列， 而是操作系统中所说的队列。是作业的执行位置。它是网络队列系统的 骨架，是作业在操作系统中的逻辑上归宿。任何操作都是在队列之中或 队列之间进行的。队列是网络队列系统中所有作业的集合。每个队列有 一组同其相关的属性，这些属性决定了处于队列中的作业如何执行。比 较典型的属性有：队列名称、队列优先级、资源限制、最大可执行作业 数等。 2 3 1 队列种类 在网络作业管理系统中，队列分为网络队列( n e t w o r k ) 、批处理队列 ( b a t c h ) 、设备队列( d e v i c e ) 和管道队列( p i p e ) 。在网络作业管理系 统中主要使用b a t c h 和p i p e 类型的队列 1 )批处理队列 批处理队列是作业的实际处理队列。分为l b ( l o a db a l a n c e ) 和n o r m a l 。 批处理队列只用于批处理请求，它具有如下属性： a ) 资源限制：它要与请求的资源限制比较，如果请求的资源限 制超过它，则请求不被排队。 b ) 队列的优先级：队列的执行优先级是决定哪个队列中的请求 可以先执行。一般拥有最大有限级值的队列中的请求被首先 执行。如果队列的优先级一样，那么n o s 系统根据请求进入 队列的顺序执行请求。 c ) 最大可同时执行的请求数：表示在同一时间一个队列可同时 执行的请求数。如果当前请求的数目超过了这个数目，那么 计划执行的请求必须等待当前执行请求完成后才能执行。 d ) 队列访问权限：如果预先定义