（计算机科学与技术专业论文）虚拟计算环境作业管理系统的设计与实现.pdf

北京邮电人学硕十学位论文虚拟计算环境作业管理系统的设计与实现 虚拟计算环境作业管理系统 的设计与实现 摘要 随着互联网的高速发展，新的网络技术不断涌现，人们对计算能 力的需求和资源的闲散资源的矛盾越来越突出。9 7 3 课题“虚拟计算 环境聚合与协同机理研究 的提出，是为了研究资源共享机制，通过 聚合大量资源，来解决国家的网络安全和信息安全方面需求。 虚拟计算环境作业管理系统是国家9 7 3 项目“虚拟计算环境聚合 与协同机理研究 的一部分，隶属于其子课题“虚拟计算环境试验床 与仿真平台 。该实验床为上层国家网络安全与信息安全等应用提供 基础性支撑平台。 作业管理系统是虚拟计算环境支撑平台的重要组成部分，是用户 作业与虚拟计算环境资源之间交互的枢纽。作业管理系统提供对批量 作业的定义、提交、调度、执行、监测等机制，从而更加有效地利用 系统资源、平衡网络负载和提高系统整体性能。 本论文的主要内容是虚拟计算环境中作业管理系统的研究、设计 与实现。首先，介绍了课题来源，作业管理系统意义以及设计目标， 然后介绍了自主计算、虚拟计算环境等理论。接着，比较分析了几个 现有的作业管理系统，并由此总结了一般作业管理系统应满足的要求 和具备的功能，以及典型作业管理系统的结构。设计了一个基于虚拟 计算环境中作业管理体系，并且实现了其中了作业管理系统。完成了 包括作业管理系统的整体和局部框架结构及各组成模块设计，以及系 统的用户、通信、文件管理、以及安全方面的设计，作业监测的侵扰 控制机制的设计，文件管理，作业执行，作业监测，作业迁移，通信， 安全等功能模块的设计与实现。 关键词：虚拟计算环境自主计算作业管理资源聚合 北京邮电大学硕i ：学位论文 虚拟计算环境作业管理系统的设计与实现 d e s i g na n di m p l e m e n to f j o b m 已气n a g e m e n ts y s t e mi ni n t e r n e t b a s e d r t u a lc o m p u t i n ge n v i r o n m e n t a b s t r a c t w i t ht h er a p i dg r o w t ho ft h ei n t e m e t ，n e wn 娟o r kt e c l l n o l o g y 啪e 玛e s f - a s tt t l a n “既t 1 1 ep r o b l 锄b e t w e e nt h en e e df o rc o m p u t i n gr e s o u r c 骼 锄dt h ef - a c to fl a 玛eu n u s e dr e s o u r c eo v e rt h ei n t e m e tb e c 锄em o r c s e v e r c t h er a i s eo fn a t i o n a l9 7 3p r o 洄：t“i n t 锄e t - b 弱e d v i r t l l a l c o 1 p u t i n ge n v i r o n m e n t ( i v c e ) w i s h e st 0p r o v i d em a s s i v er e s o u r c 懿 f o rt 1 1 en e e do fn a t i o n a ln e t w o r ks e c l 珂t ya n di i l f o m a t i o ns e c u r i t y 行e l d b ys t l l d 妒n gt h em e c h a n i s mo f r e s o u r c es h a r i n g j o bm 撇g e t i 】【e 1 吐s y s t e mb a s e d0 ni v c ei sp 抓o fn a t i o n a l9 7 3p r o j e c t i n t 锄e t - b a s e dv i 咖a 1c o m p u t i n ge n v i r o 衄e n t ”，a i l db e l o n g st 0i t s s u b _ p r o je c t 吼s tb e da n de m u l a t o rp l a t f o 咖f o ri n t 锄e t - b a s e d 咖a l c o m p u t i n ge n v i r o n m e n t ”t h ep u r p o o f 也cs u b - p 删e c ti st op r 0 v i d e a 如n d a m e n t a lp l a t f - 0 m lf o rt l l eu p p e ra p p l i c a t i o n ss u c h 觞n a t i o n a ln e t w o r k s e 训t ) r 狮di n f o 衄a t i o n 删够 j 0 bm a n a g 锄e ms y s t e mi sa 跚b s t a n t i a lp a no ft h et e s tb e d i ti sa s y s t e mb 娟v e e nm eu s e r si o ba n dt h e s o u r c 伪i nt h et i e s tb e d j o b m a n a g e 脒i n ts y s t e mp m v i d e sa 、a yo fj o bd e s c r i p t i o i l j o bu p l o a d i n g ， s c h e d u l i n g ，e x e c u t i o n ，觚dm o n i t o r i n g ，锄dm a 虹n g9 0 0 du s co fs y s t e m r e s o u r c e s ，b a j a n c i n gn e t 、釉r kr c l o a d s ，u p g r a d i n gs y s t e mp e r f - o m 砒l c c t h i st h e s i sd i s c u s s e st h ed e s i 舀1a n di m p l 锄e n t a t i o no faj 0 b m a n a g e m e n ts y s t e m f i r s t l y ；i ti 1 1 竹o d u c 髂t h co r i g i no f t h cp r o j e c t ，t 1 1 c p u r p o s eo ft 1 1 i st h e s i s 龃di t st a 唱e t i ta l s oi n t l d u c 骼t h cm e c h 龃i s mo f 也ec l 】h c m tw a y so fr e s o u r c es h a r i n ga n dc o l la ：b o r a t i o n t h 髓也i s 也e s i s c o m p a r e ss e v e r a lj o bm a n a g 锄e n ts y s t e m st 0g e tal o o ka tt 1 1 e 如n c t i o n a l 北京邮电大学硕士学位论文 虚拟计算环境作业管理系统的设计j 实现 n e e d o faj o bm a n a g e m e n ts y s t e m ，a n di tc o n c l u d e sw i t ha 咖i c a l s t r u c m r eo fm o d e mj o bm a n a g e m e n ts y s t e m a r e rt h a t ，t h i sm e s i s d e s c r i b e saj o bm a n a g e m e n tm e c h a n i s mb a s e do ni n t e m e tb a s e dv i r t l l 出 c o n l p u t i n ge n v i r o m n e n t 锄dg i v e sad e s i g n o fi t sj o bm a n a g e m e n t s y s t e m na c c o m p l i s h e st h ed e s i g na 1 1 di m p l e m e n t 撕o no fg l o b a l l o c 乱 a r c k t e c t u r eo fj o bm a n a g e m e n ts y s t e 咄a i l dt h ed e s i 印o fu s e r ，w a yo f c o i 衄u n i c a t i o n ，s e c u r i 咄a i l df o c u s e so nt h ed e s i 印o fd i s m r bc o n 仃o l m e c h 砌s mo nj o bm o n i t o r i n g f i n a l l 弘t h i st 1 1 e s i s 百v e sad e s i g na n d i m p l e m e n t a t i o no f6 l em a n a g e m e n tm o d u l e ，j o be x e c u t i o nm o d u l e ，j o b m o n i t o r i n gm o e i u l e ，a n d j o bm i 掣a t i o nm o d u l e 1 皿yw o r d s ：i n t 锄e tb a s e d咖a l c o m p u t i n g e n v i r o 啪e n t a u t o n o m i cc o m p u t i n g j o bm a n a g e m e n t r e s o u r c es h a r i n g i i i 北京邮电大学硕上学位论文虚拟计算环境作业管理系统的设计与实现 声明 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 丕；蜜 日期：乏丝显： 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅：学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书非保密论 文注释：本学位论文不属于保密范围， 本人签名： 导师签名： 适鬣! ! 逸& ：笸 日期： 爱丝6 ：鱼 日期：一翟壁： 一 北京邮电大学硕士学位论文虚拟计算环境作业管理系统的设计与实现 第一章绪论 1 1 课题背景 随着人们对自然问题和社会问题的探究逐步深入，对计算能力的需求也迅速 增加。与此同时，互联网获得了高速的发展，新的网络技术不断涌现，互联网上 的计算资源、存储资源以及信息资源等出现了爆炸式的增长，互联网已发展成为 现代社会的重要信息基础设施n 石引，计算系统和信息系统的复杂性也快速增加， 使得管理这些系统和资源的成本大幅增加。但是，这些资源并没有得到充分的利 用，许多问题因为资源不足而无法得到解决的同时，却有大量资源闲置。 另一方面，为了保障国家的网络安全和信息安全，需要聚合大量的资源来满 足国家在网络安全和信息安全方面的需求。在网络安全方面，大规模蠕虫对抗仿 真示范应用验证需要大量的计算资源，通过对7 万个路由和3 1 万条边组成的网 络进行模拟仿真，可以大幅提升网络安全模拟的规模和真实程度；在国家信息安 全方面，国家级网络信息监管示范应用，通过从海量的网络信息中过滤出有效的 信息，为打击网络犯罪活动提供了有利的依据，这需要大量的存储资源，网络带 宽资源。 9 7 3 课题“虚拟计算环境聚合与协同机理研究 h 1 的提出，是为了方便资源 的共享、整合、管理和使用，通过聚合大量资源，来解决国家的网络安全和信息 安全方面需求。虚拟计算环境聚合与协同机理研究的研究内容主要是资源聚合与 协同的机理研究。 虚拟计算环境作业管理系统是国家9 7 3 项目“虚拟计算环境聚合与协同机理 研究一的一部分，隶属于其子课题“虚拟计算环境试验床与仿真平台 该实验 床是验证虚拟计算环境的体系结构模型、各类资源的描述方法和组织管理机制、 资源聚合与协同模型的有效性、获得统计性质并进行反馈、调整的重要基础设施， 最终为上层国家网络安全与信息安全等应用提供支撑平台 作业管理系统的研究目的是通过分析应用特点，管理虚拟计算环境试验床中 资源，结合自主计算技术以及虚拟计算环境聚合与协同机理，为国家网络安全与 信息安全等应用提供执行环境。同时，完成作业的上传，执行，监测，调度，迁 移，结果回收等功能。 北京邮i 乜人学硕i ：学位论文虚拟计算环境作业管理系统的设计与实现 1 2 作业管理系统 1 2 1 作业管理系统的意义、概念与需求 作业方式是使用虚拟计算环境所聚合的资源的一种重要形式，它根据用户确 定的流程，为用户提供使用资源的能力。用户提交的作业一般都在远程节点上运 行，用户对远程设备的控制能力是非常有限的，为了有效管理作业的运行，就需 要作业管理系统来管理整个作业的运行过程。 作业管理系统是虚拟计算环境支撑平台的重要组成部分，是用户作业与虚拟 计算环境资源之间交互的枢纽。作业管理系统提供对批量作业的定义、提交、调 度、执行、监控等机制，从而更加有效地利用系统资源、平衡网络负载和提高系 统整体性能。作业管理最早运用在大型主机上，系统或用户提交的作业以批处理 的方式运行。随着高性能工作站、分布式计算的发展，作业管理也发展到支持异 构的网络环境、支持多平台、支持并行应用等新需求这样一个阶段。 一般来说，作业管理系统具有以下一些功能，作业管理，资源管理，作业调 度，以及对作业的监控，作业迁移等等。 作业管理是指控制作业的平台，类型，执行过程和执行方式作业管理通过 聚合计算机资源来执行用户的作业；资源管理是指控制资源的可用性，包括更改 资源配置，添加和删除资源，用户提交作业时能确定资源要求，而且若系统不可 能满足作业的要求时，系统能在用户提交作业时采取措施：作业调度用来保证应 用程序中的各个作业并发地运行或者限制对某个特定的资源的访问；作业监测是 指在作业运行过程中，得到作业的实时的运行状态；作业迁移是指作业从一个作 业管理系统节点向另外一个节点转移的过程。 1 2 2 试验床平台资源的特点 虚拟计算环境试验床平台中的资源具有大规模、广域、可控、异构性的特点。 - 大规模：目前试验床平台中节点超过了5 0 0 个，计划将达到l 0 0 0 个节点， 计算能力超过每秒万亿次。 广域：试验床平台建立了一个遍布全国3 1 个省市、超过5 0 0 个节点的计算 机集群，从多个运营商接入互联网。 可控：试验床平台中的资源主要由计算机网络应急技术处理协调中心以及哈 工大、计算所等单位提供。所有的资源均为宏观可控，保障实验床对用户的 服务质量。 异构性：试验床平台中的节点存在着多种操作系统，有- i n d 佣s ，l i n u xr h 4 ， t u r b o1 i n u x 等不同的平台，他们之间的网络互联也各不相同。 2 北京邮电大学硕士学位论文 虚拟计算环境作业管理系统的设计与实现 1 2 3 作业管理系统设计要求 作业管理系统的设计应该满足以下要求： 跨平台性：由于试验床平台的异构性，要求作业管理系统的设计必须考虑到 跨平台的特点。这要求系统实现需要采用平台无关的语言以及通信协议等。 可扩展性：作业管理系统的可扩展性主要表现在功能的扩展。由于系统处 于设计的初步阶段，随着对用户作业和资源管理方面研究的深入，一些新的 需求将逐渐沉淀到作业管理系统的中来实现。这要求在系统的模块设计上和 通信协议方面都需要支持可扩展性。 - 安全性：作业管理系统上存在着多个用户的作业，作业管理系统必须提供一 定的安全机制来保证用户之间不能互相干扰，以及用户作业的保密性和完整 性。 1 3 本文主要工作 目前虚拟计算环境作业管理系统的研究尚处于起步阶段。本文完成的主要任 务是：通过研究现有的作业管理系统结构，结合自主计算技术和虚拟计算环境的 有关概念，提出作业管理系统结构框架，设计并实现作业管理系统，并且验证虚 拟计算环境自主元素的概念在作业监测侵扰控制中的应用 本文设计的作业管理系统参考了典型的作业管理系统的结构。文中给出了系 统的整体结构图、模块图，说明了模块功能和各模块之间交互的流程，定义了作 业管理系统与其它相关系统之间交互的流程以及用户作业如何进行部署的流程， 并介绍了部分模块实现的关键技术 1 4 本文章节安排 第一章，绪论。介绍了课题背景，继而提出作业管理系统的概念及设计要求， 引出研究的主要内容 第二章，介绍了作业管理系统设计的相关技术，讨论了现有作业管理系统的 结构，对它们的功能和优缺点进行了分析对比，最后提出了现有典型作业管理系 统的结构。 第三章，作业管理系统需求分析介绍了虚拟计算环境的体系结构、作业管 理系统的功能模型，并分析了不同用户对作业管理系统的需求 第四章，作业管理系统设计介绍了虚拟计算环境平台，设计了作业管理体 系结构，并且设计了系统各个模块的结构以及工作流程 第五章，作业管理系统实现。实现了一个作业管理系统，给出了该系统的模 3 北京邮电大学硕十学位论文虚拟计算环境作业管理系统的设计与实现 块图，介绍了重要模块的实现细节。 第六章，对作业管理系统进行了功能性测试。 第七章，结束语。指出本文中完成的工作，并指出目前系统中存在的一些不 足之处和需要改进的部分，并提出了一些改进的方向。 4 北京邮电大学硕1 ：学位论文虚拟计算环境作业管理系统的设计与实现 第二章作业管理系统的相关工作 2 1 相关工作 2 1 1 自主计算 今天，大规模的计算系统是相当的复杂，为了能够让系统保持正常运转，需 要令人生畏的专业知识和极大的耐心，越来越大的系统管理难度将成为部署和维 护大型计算系统的障碍啼1 自主计砸1 算的目的是创建一种能够智能监视和管理自 身的计算环境，降低计算系统的复杂性，减少对管理员的需求，节约成本自主 计算希望具有适应动态变化环境的自我管理能力，使复杂信息系统的自动管理过 程更为简单。 自主计算的核心是自我管理( s e l f 一舱n a g e m e n t ) 嘲嘲，让系统自己解决问题， 以提高系统运行的效率和增强可靠性。自我管理的自主计算系统的4 个基本的特 征是旧1 ： - 自配置( s e l 卜c o n f i g u r i n g ) ：具备通过改变它们自身的配置使得系统能 够自适应地改变条件的特征；具有无需中断服务的情况下增加和移除组 件或资源的能力 - 自愈( s e l f h e a l i n g ) ：能够发现和诊断与正常情况之间的偏差，并能够 采取行动使之正常；能够预先解决造成服务中断的问题。 自优化( s e l f o p t i m i z i n g ) ：系统有能力监测自己的状态和性能，预先调 节自己以便对环境的激励做出响应。 _ 自保护( s e l f p r o t e c t i n g ) ：结合智能以发现和解决安全威胁；具有保护 自身免受物理损害的设备。 2 1 2 虚拟计算环境 虚拟计算环境h 3 是指建立在开放的互联网基础设施之上，以网络资源的按需 聚合与自主协同为核心机制，为终端用户或应用系统提供和谐、可信、透明的一 体化服务环境，实现有效资源共享和便捷合作工作在虚拟计算环境中，资源管 理主要通过聚合和协同过程的交叠完成。虚拟计算环境主要解决的是开放环境下 的按需聚合问题以及分布自治资源的自主协同问题。 5 北京邮电火学硕j ：学位论文虚拟计算环境作业管理系统的设计与实现 虚拟计算环境的重要概念主要包括：“自主元素( a u t o n 伽i ce l e m e n t ) 、“虚 拟共同体 ( v i r t u a lc o 咖o n w e a l t h ) “虚拟执行体 ( v i r t u a le x e c u t o r ) 。 自主元素是虚拟计算环境中的基本资源管理单位。自主元素由感知部件、行 为驱动引擎和执行部件构成。感知部件为自主元素提供环境和自身资源的状态； 行为驱动引擎根据感知部件获得的环境和资源信息产生相应的动作决策；动作的 具体实施由执行部件完成。知识状态和行为策略行为指导了驱动引擎的动作决 策。 乡卜 界 环 境 ，卜 界 环 境 图2 1 自主元素的内部结构示意图4 1 虚拟共同体，是指一组具有共同兴趣、遵从共同原则的自主元素构成的集合。 它们可能是资源的消费者，也可能是资源的提供者或者管理者。同一虚拟共同体 内部的自主元素其所关注的资源是一致的。一个自主元素有可能属于多个虚拟共 同体，但是至少需要加入一个虚拟共同体。 图2 2 虚拟共同体示意图h 1 虚拟执行体，是指协同承担同一任务的相关自主元素，为完成该任务而形成 的状态空间的总和。从建模的角度上看，虚拟执行体是对网络资源协同过程的抽 象。它是虚拟计算环境的基本运行管理单位，是“执行进程虚拟化”的载体。虚 拟执行体是与某一任务紧密相关的，通过虚拟执行体可以获得面向该任务的所有 自主元素及其交互状态等管理信息。 6 萝薹 北京邮电大学硕士学位论文虚拟计算环境作业管理系统的设计与实现 ，一j 、 窿螽) 、堡l 强执行体2 图2 3 虚拟执行体示意图嘲 2 2 现有作业管理系统介绍 2 2 1j o ba c c e s sa n dm a n a g e m e n ts y s t e m t h ej 0 ba c c e s sa n dm a n a g e 鹏n ts y s t 伽( j a m s ) n 羽的设计目的在于提供企 业类工作调度能力它提供了使用户能够在数据中自动整合处理的工具，以减轻 操作负担。j a m s 的主要特点有：基于时间的调度；基于事件的调度；灵活的依 赖关系：基于资源的调度；调整j o b s 流，并把他们当作一个单一的任务管理； 强大的参数处理，每个任务最多可以有2 5 5 个参数；对时问名称，使用如f i r s t t h u r s d a yo f 哟n t h 的简单英语语言，而不是负责的代码；简化了具有 f i l 卜i n t h e - b l a n k s 窗体的a dh o c 作业请求；对于作业执行历史，提供了 即时在线访问；如果某个作业失败或者发生了异常事件，会发出立即通知。 图2 4j a 璐的软件结构 如图2 4 所示，j a m s 的主要包含三个主要的组件，客户端，调度器和代理 客户端是j a m s 与用户交互的界面，提供了作业的提交，察看作业运行状态，结 果回收等功能；调度器用于资源的分配和作业的调度，代理则负责作业的运行 7 北京邮电人学硕i ：学位论文虚拟计算环境作业管理系统的设计与实现 2 2 2s u ng r i de n g m ea r c h i t e c n i r e s u n 公司推出的g r i de n g i n ea r c h i t e c t u r e ( s g e ) n 4 1 支持批处理作业管理。 图2 5 描述了s g e 的体系结构。s g e 含有三种不同的节点，主节点，备份节点和 工作节点。主节点中包含了主守护线程以及调度线程：如果主节点发生故障，备 份节点代替原来的主节点进行工作：工作节点则由通信守护进程和作业执行守护 进程组成。 主节点各份节点 工作蓖点 图2 5s g e 的体系结构 作业守护进程为每个用户的作业创建一个作业管理进程。作业管理进程对单 个的用户作业提供一定的管理功能，作业管理进程的生命周期要长于用户的作 业。作业守护进程同时要负责对用户的作业进行监控，为主节点的调度程序提供 一些负载均衡信息；通信进程负责与主节点进行通信。 2 2 3h a t f o r m sl o a ds h a r i n 2f a c m 竹 l 0 a ds h a r i n gf a c i l i t y ( l s f ) n 5 1 也支持批处理作业管理，它允许管理员通 过对系统进行设置来有效地优化系统性能，以达到充分利用资源的目的。 主节点 图2 6l s f 的软件系统结构 北京邮电人学硕士学位论文虚拟计算环境作业管理系统的设计与实现 图2 6 通过一个并行的批处理作业处理过程来阐述l s f 的高层软件系统结 构。l s f 基于c l i e n t s e r v e r 架构，它使用一系列的守护进程来完成系统功能。 主守护进程用于接受用户请求，然后向负载信息管理进程查询符合条件的节点， 然后返回给用户使用。第一个工作节点上的从守护进程在接收了主守护进程发来 的任务后，启动并行程序管理器，用来启动并行工作的用户作业。并行程序管 理器启动每一个分配给用户使用的远程工作节点上的执行服务器，最终，用户的 作业由执行服务器来启动。对于交互性的并行作业，用户的请求将直接提交给并 行程序管理器。在用户作业执行期间，并行程序管理器向负载信息管理进程轮 询作业的执行情况，用于作业的负载均衡，作业调度等过程。 2 2 4p o r t a b l eb a t c hs y s t e m t h ep o r t a b l eb a t c hs y s t e m ( p b s ) n 勘是一个基于队列的支持负载均衡的作 业管理系统。它支持多种u n i x 操作系统平台。p b s 的目的是提供一个能够满足 异构计算机网络需要的软件包，特别是满足高性能计算的需要。 工_ + 卜 土1 丁熙 图2 7p b s 的软件系统结构 t h ep b s 的高层软件系统结构如图2 7 所示p b s 使用一个服务守护进程来 接收用户的请求；在收到用户请求后，服务守护进程使用调度进程，根据一定的 策略，对用户的作业进行资源分配：作业监控进程为调度进程提供资源信息来进 行调度的决策；然后用户的作业将被分配到本地或者远端的工作节点上运行，同 时，由作业监控进程负责作业的启动。 2 2 5j o b c e n t e r n e c 的j o b c e n t e r 盯1 作业管理系统是典型的客户服务器结构，服务端的底层 9 北京邮电大学硕士学位论文虚拟计算环境作业管理系统的设计与实现 使用n q s ( 网络队列系统) 实现集群计算机系统的负载平衡，使用户最大限度地 利用集群计算机系统环境中的各种资源，以提高效率、降低成本；客户端提供完 全的g u i 用户界面，完成用户作业管理及系统管理功能；使用面向对象的网络协 议c o r b a ( 公共对象请求代理结构) 实现客户与服务器的通讯；采用集群技术使系 统具有高可靠性。作业管理系统j o b c e t e r 具有以下主要特点： 全面的图形界面：j o b c e n t e r 系统的g u i 图形用户接口工具可以完成命令行 操作的所有功能，用户可使用j o b c e n t e rg u i 来创建、管理、投交作业网络；监 视作业网络的执行情况，对执行过程中的作业网络进行控制；建立、修改、删除 日历；设定作业网络的执行时刻表；并管理整个服务器机群。 全局日历调度：j o b c e n t e r 系统可灵活地定义日历以驱动作业，用户使用日历 定义的图形界面工具，可以建立用户所需要的商业数据处理作业调度。日历包括 工作日历、节假日历，可以在日历上定义作业执行的规则；扩展作业的定时执行 功能，即允许作业以每分，每时，每天，每周，每月，每年的形式进行提交。 支持分布式环境的集中管理功能：在分布式环境中，跟踪所有的网络服务器 和所有的作业是一项繁重的工作，使用j o b c e n t e r ，可以用与大型机一样的集中 模式来管理整个网络。可监视和管理所有的服务器和作业，可以检查过去、现在 和将来的作业调度。 作业网络：j o b c e n t e r 系统可以建立复杂的作业网络，可将这些作业同日历和 事件联系起来，并可以象操纵一个作业一样操纵它们。复杂作业可以视为作业依 赖关系的一个扩展，其中包括顺序、并行、分枝、等待事件等多种依赖关系。 查看和跟踪工具：j o b c e n t e r 记录系统的每个事件以备错误恢复，它也记录所 有作业的详细信息以供审计。系统提供了相关的工具，可以用来分析、统计相应 数据，以帮助用户计划数据处理、计划系统容量、计划系统升级和消除系统瓶颈。 具有动态负载平衡的功能：能够充分利用系统资源，防止结点间的负载出现 严重不平衡。可以在一个集群范围内通过合理的作业分配，保持各结点负载基本 平衡 u n i x 和n t 的异构系统集成：j o b c e n t e r 为异构的u n i x 和n t 系统提供了单一 的系统映象，u n i x 和n t 系统可以包含在一个虚拟大型机中，用户可以使用任何 一个台式机作为虚拟控制台，来监视和控制整个网络上的数据处理。 2 2 6 现有作业管理系统的对比 在表2 1 中，我们从支持的操作系统平台，断点恢复，支持多任务，作业类 型，调度算法，作业迁移等方面出发，对现有的几个典型作业管理系统进行了 比较。 l o 北京邮电大学硕上学位论文虚拟计算环境作业管理系统的设计与实现 表2 1 现有作业管理系统的对比 作业管理支持的操断点恢复支持多作业类型调度算法作业迁移 系统作系统任务 j a m su 血n t支持支持执行文件源可配置不支持 代码 s g eu h 奴支持支持执行文件& 源可配置 支持 代码 l s f岫& n t支持支持执行文件可配置 支持 p b s嗽 部分支持支持源代码可配置 部分支持 n e cu h i x & n t 支持支持执行文件可配置不支持 从上表中可以看到，所有的作业管理系统都支持u n i x 操作系统，少数提供 n t 操作系统的支持；它们基本支持断点恢复，但是，p b s 的断点恢复取决于所处 的平台的断点恢复功能，所以仅部分支持断点恢复功能；所有的系统都支持多任 务，多作业同时运行；对于作业的类型，有些系统基于可执行文件，少数提供了 源码级的支持；所有的作业管理系统支持对作业进行调度，以及选取不同的调度 算法来控制调度过程；部分系统支持作业迁移，但是由于p b s 不支持多个集群系 统，p b s 作业管理系统仅支持在同一个集群中进行作业迁移。 2 3 典型的作业管理系统结构 如上节分析所示，典型的作业管理系统一般采用两层结构，分别是主节点和 工作节点。主节点和工作节点采用c s 架构，一个主节点下面可能同时包含若干 个工作节点。它们的系统结构如图2 8 所示 主节点 工作节点 ( 服务进程) ( 调度进程) 天k r 执行进程、)r 监测进程、) l 、 ( 用户作业、) 图2 8 典型的作业管理系统结构 主节点包含两个主要的功能部件：服务进程和调度进程。服务进程用于接受 北京邮电大学硕t ：学位论文虚拟计算环境作业管理系统的设计与实现 用户请求，作业上传等。调度进程有两个层面的含义，资源聚合和作业调度。资 源聚合是指作业管理系统为用户作业选择合适的资源，完成用户请求的过程；而 作业调度则是在用户作业执行的过程中，根据作业的状态，控制作业执行情况和 执行顺序。 工作节点包含三个主要的功能部件：执行进程，监测进程和用户的作业。执 行进程用于接受主节点传来的用户作业程序，然后以用户指定的方式来运行，在 运行的同时，管理用户所使用的资源。监测进程则负责对用户的作业进行监控， 同时对外发布监测的状态信息，供用户和调度进程使用。用户作业即用户提交的 作业代码。 2 4 本章小结 本章首先介绍了作业管理系统设计的理论基础，然后分析了现有作业管理系 统，对它们的功能和优缺点进行了分析对比。最后提出了一个典型的作业管理系 统的结构。为下文的研究和实现奠定了基础。 1 2 北京邮电大学硕：上学位论文虚拟计算环境作业管理系统的设计与实现 第三章作业管理系统需求分析 本文所述的作业管理系统设计构建于虚拟计算环境试验床平台之上，为用户 提供作业管理服务。虚拟计算环境试验床平台是一个包括多个机群的网格项目， 其研究目标是构建开放、安全、动态、可灵活配置的大规模网格计算基础设施。 近期目标是以c n c e r t c c 遍布全国3 1 个省份的网络基础设施及计算资源为基础， 联合多个大学和科研机构，对独立、分布资源进行集成和综合利用，构建起一个 大规模虚拟计算环境实验床。 3 1虚拟计算环境体系结构 3 1 1 虚拟计算环境平台体系结构 虚拟计算环境平台体系结构框架如图3 1 所示。平台主要分成三个层次，适 配层，服务层，和控制层。系统监测与管理和安全贯穿了平台的三个层面。 f也u上i -j r a 嘶蛳回囤圈圈 m a 腿护 s 骘l 嫡| y |口高图一 n 删 删由训斜百篡l “l 吲嶂，l 嘲吣锄嘲jlm i 舯l i o nj 【“。”。“j 图3 一l 虚拟计算环境平台的框架结构 - 适配层( a d a p p t e rl a y e r ) ：适配层实现与外界的交互，对于不同的用户， 适配层提供不同的接口对于一般用户，使用p o r t a l 通过h t t p 方式来 进行登陆，提交作业，使用系统资源，并从p o r t a l 中得到作业运行状态 和运行的结果对于虚拟计算环境的高级用户，提供了服务提供接口， 和编程接口来为他们进行虚拟计算环境的服务开发另外，还提供了目 录服务接口 1 3 北京邮电大学硕 = 学位论文虚拟计算环境作业管理系统的设计与实现 服务层( s e r v i c el a y e r ) ：服务层封装虚拟计算环境控制层提供的基本 服务流程来完成一些高层的服务逻辑，如搜索引擎等。 _ 控制层( c o n t r o ll a y e r ) ：实现作业分发，作业管理，作业迁移，负载 平衡等基本能力。其中作业管理要细分为两种：细粒度的进程级别的管 理和粗粒度的用户作业级别的管理。 _ 系统监测与管理( m a n a g e m e n t ) ：系统的监测和管理包括对系统动静态信 息的搜集，发布，查询等功能，既有对系统资源状态信息的收集，也有 对作业运行状态，平台运行状态的收集。 _ 安全( s e c u r i t y ) ：安全包括了两个方面，访问控制和通信安全。访问控 制主要用来保护虚拟计算环境平台的各种资源不被非授权使用。通信安 全主要用来提供认证，数据保密性与完整性和各通信端的不可抵赖服务。 3 1 2 虚拟计算环境平台组成 虚拟计算平台由p o r t a l ，安全系统，资源分配系统，作业管理系统，作业 调度系统，目录服务器和监测系统组成。如图3 2 所示。 图3 2 虚拟计算环境平台组成 p o r t a l 用于处理系统与用户的交互，用户认证后，为用户的节点或作业查询、 作业提交和作业管理请求，及用户返回结果提供操作界面。 安全系统用于用户管理，认证与授权，用户权限的管理等。 资源分配系统查询符合条件的执行节点，分发任务，协助进行作业管理。 作业调度系统作为一种可发布的服务，注册到目录服务器。通过向目录服务 订阅来实现对某一作业的监控，并向外提供对作业的基本管理，如结果回收，查 询运行情况，终止作业等。 作业管理系统负责执行用户提交的代码，在代码执行的过程中，接受并执行 作业调度命令，同时监测作业状态信息。 监测系统负责监测本地主机的动静态信息，以及作业信息。并将这些信息发 布到目录服务器。同时，提供查询以及订阅服务。 1 4 北京邮电人学硕士学位论文虚拟计算环境作业管理系统的设计与实现 目录服务器保存虚拟计算环境中所有节点的动静态信息，以及运行在节点上 的作业和服务的信息，并向外提供查询。 3 2作业管理体系功能模型 本节主要围绕用户作业如何在整个虚拟计算环境平台上运行来介绍作业管 理体系的功能模型它主要分为( 1 ) 作业管理节点注册过程：( 2 ) 用户作业申请过 程：( 3 ) 作业提交过程：( 4 ) 作业调度：( 5 ) 作业监测：( 6 ) 迁移流程。 3 2 1 作业管理节点注册过程 图3 3 作业管理节点注册过程 作业管理节点是虚拟计算环境中最小的功能单元。作业管理节点在进入虚拟 计算平台时，通过自组织的方式形成节点组。每个节点组由一个目录服务器和多 个作业管理节点组成 节点组的形成过程如下作业管理节点保存着一部分目录服务器的列表。首 先，作业管理节点随机选取一个目录服务器，向它进行注册。如果注册成功，节 点加入该目录服务器的节点组中：如果不成功，目录服务器应该返回目前可用的 目录服务器列表，节点向剩余的目录服务器发出加入请求。如果有一个目录服务 器通过请求，节点将忽视其他的请求，加入该目录服务器的节点组中 作业管理节点在初次进入虚拟计算平台环境，以及在工作中重新启动，或者 中途退出虚拟计算平台环境之后，都需要重新进行节点注册过程 作业管理节点在注册过程中的主要是发布本系统的接口，它们包括作业上 传，作业调度，作业迁移等 3 2 2 用户作业申请流程 i i p o n a l l 上 i 虚拟计算环境 l 安全平台 图3 4 用户作业申请流程 1 5 北京邮电人学硕j 学位论文虚拟计算环境作业管理系统的设计与实现 用户在虚拟计算环境上进行部署作业时，首先通过虚拟计算环境的p o r t a l 进行登陆，由虚拟计算环境平台提供一个作业号。作业号用来监测，管理同一类 型的应用。作业号对同一应用来说是全局唯一的。在分配作业号之后，用户可以 在虚拟计算环境的机器上部署，安装，运行应用程序。 用户作业申请的过程就是向虚拟计算环境安全平台申请作业号的过程。用户 通过p o r t a l 登陆到虚拟计算环境后，向安全平台申请作业号，申请成功后将得 到一个唯一的字符串。作业号在作业运行的全程中可以用于作业的提交，作业的 调度，作业结果回收，以及迁移等过程。 3 2 3 作业提交流程 图3 5 作业提交流程 用户作业部署到作业管理的节点的流程如下。首先，用户从p o r t a l 登陆进 入了虚拟计算环境，而且已经申请了需要部署作业的作业号。用户的作业程序由 p o r t a l 上传到了作业分配节点。 作业分配节点向目录服务器查找合适的资源。目录服务器在整个虚拟计算环 境平台中的所有节点组中，返回符合条件的资源信息，资源分配节点按照一定的 策略选取所需要的资源，然后将用户的作业提交到这些资源上运行的作业管理系 统。 如果用户的作业需要进行调度，则在所有资源分配完成后，资源分配节点将 本次作业的相关信息发给一个作业调度节点。作业调度节点的选取过程与作业管 理节点选取过程一样，都是从目录服务器上取得信息，然后与相应的作业调度节 点进行交互。 3 2 4 作业调度流程 图3 6 作业调度流程 1 6 北京邮电大学硕f ：学位论文虚拟计算环境作业管理系统的设计与实现 在完成作业提交过程后，用户作业分配信息被发送到了作业调度节点。作业 调度节点根据用户作业的状态，按照某种策略，对用户的作业进行调度。 作业调度过程中，作业调度节点作为用户的代理，对用户的作业发出调度命 令。作业调度节点与用户拥有相同的权限。 3 2 5 作业监测流程 图3 - 7 作业监测流程 用户作业一旦在作业管理系统上开始运行，作业监测系统就会开始对作业进 行监测。作业监测数据将上传到本节点组中的作业调度节点上，方便对用户的作 业状态进行监控和调度。 3 2 6 作业迁移流程 图3 8 作业迁移瀛程 作业迁移指的是为作业重新分配资源，将作业从一个作业管理节点转移到另 外一个节点上运行的过程与传统操作系统的迁移流程不同的是，作业管理系统 的作业迁移暂时不负责作业状态的迁移，主要是将作业程序在远程节点上重新运 行 作业调度节点根据用户作业的状态，判断出作业需要进行迁移时，按照某种 策略，迁移用户的作业 当只有一个作业管理节点上的作业需要迁移时，作业调度节点作业向目录服 务器查找合适的资源目录服务器重新在整个虚拟计算环境平台中的所有节点组 中，返回符合条件的资源信息， 作业调度节点将该资源的地址和作业信息发给 需要迁移的作业管理节点，由作业管理节点进行作业的迁移同时，作业调度节 点更新本次作业的执行信息。 如果有多个作业管理节点上的作业需要迁移，作业调度节点按照顺序逐一进 行迁移。 1 7 北京邮| 乜大学硕：卜学位论文虚拟计算环境作业管理系统的设计。j 实现 3 2 7 用户作业在整个平台内的流程 ( 1 ) 正常流程 【攀! i 唧二j 兰一 耋 ； 1；7 ? p 信芎一一4 ei 怍业瓷潭分e 信也 一l 倌il ，f 一 i 十_ 七砸函； b 作。：i 器一 图3 _ 9 作业正常工作流程 正常的工作流程是指从用户提交作业到作业执行完毕时，未发生任何异常的 工作流程。在这种情况下，各个部分之间的工作流程如上图所示。 ( 2 ) 迁移流程 竺l 型豳匿 r 1 1 ：作业异常 u j 2 ：作业 j 、 二主二一础b 早7 p o n a | 作业调度 安全 ，人、 户一v 一：，一、 管理员一一、一 图3 1 1 虚拟计算环境总用例图 3 3 1 用户分类 最终用户：最终用户是平台的主要使用者