（计算机系统结构专业论文）基于服务的机群作业管理系统设计与实现.pdf

艇十服务的机群作业管删系统i 5 计，实j 见： 摘费 摘要 1 ；l 随着超级汁算机体系结构的不断演变，机群系统由于其卓越的性能价格比、良好的 可扩展性、高町用性和好用性，逐渐成为当今计算机体系结构和并堑处理研究的热点和 主题。机群作业管理系统作为机群系统的一个重要组成部分，将系统的分散的资源整合 起来，为用户提供了一个单一的系统映像，直接关系到机群性能的发挥和使用率的提高。 它可以充分利用机群系统资源，有效管理机群，合理调度作业，因此，它成为许多机构 研究的热点。 本文在总结前人工作的基础上，首先系统地研究了机群作业管理的关键问题和具有 代表性的机群作业管理系统，总结了机群作业管理系统的评价体系。然后从需求出发， 提出了一种基于服务的机群作业管理系统，简要叙述了基于服务的机群作业管理系统的 设计和实现。服务是一种包装后的实现了一定功能的组件。采用服务的设计思想，有利 于在分布环境下实现应用的集成，使得基于服务的软件成员在分布异构环境中实现可重 用、可移植和可互操作，而且能够提高系统的可扩展性。另外，本文还研究了当前流行 的各种作业调度算法，设计并实现了种简化的基于f i r s t f i t 的g a c k f il l i n g 调度算 法r b f f t 。实验证明，r b f f t 调度策略不但能够消除系统中大作业的饥饿现象，而 且也能提高系统的吞吐率。最后，本文总结了基于服务的机群作业管理系统和作者的工 作，并对未来的工作做了展望。k 。 ，厶 关键词：机群，作业管理系统，作业调度，阳艮务，任务管理 单j 一服务的机群作业管理系统设计，实现： a b s t r a c t t h e d e s i g n a n d i m p l e m e n t a t i o no f a s e r v i c eb a s e dj o bm a n a g e m e n ts y s t e mf o rc l u s t e r y eq i n g h u a ( c o m p u t e ra r c h i t e c t u r e ) d i r e c t e db y m e n g d a n w i t ht h ei n c r e a s i n gd e v e l o p m e n to ft h ea r c h i t e c t u r eo fs u p e r c o m p u t e r s ，a n db e c a u s eo f i t s o u t s t a n d i n gp r i c e p e r f o r m a n c e r a d i oa n ds c a l a b i l i t y , a v a i l a b i l i t ya n du s a b i l i t y ，c l u s t e r s y s t e mi sb e c o m i n g t h eh o t p o ta n dt r e n do ft h eh i 【g hp e r f o r m a n c ec o m p u t e ra r c h i t e c t u r ea n d p a r a l l e lc o m p u t i n gr e s e a r c h c l u s t e rj o bm a n a g e m e n ts y s t e ms o f t w a r ep l a y sv e r yi m p o r t a n t r o l ei nac l u s t e rs y s t e mi tu n i f i e dt h ed i s p e r s i v er e s o u r c e si nac l u s t e rs y s t e m ，p r o v i d e sa s i n g l es y s t e mv i e wf o rt h eu s e r s ，i sc r i t i c a lt og i v ef u l lp l a yt ot h ep e r f o r m a n c eo fc l u s t e ra n d i m p r o v et h er a t eo f i t su t i l i z a t i o n i tc a nm a k ef u l l yu s eo fr e s o u r c e si nac l u s t e rs y s t e m ， e f f e c t i v e l ym a n a g ec l u s t e rs y s t e m ，e q u i t a b l y a n d e f f i c i e n t l y s c h e d u l ej o b s t h u s ，m a n y r e s e a r c h e ss h o ws o l i c i t u d ef o rj o bm a n a g e m e n tf o rc l u s t e r b a s e do nt h ef o r m e rw o r k sd o n eb yo t h e r s ，t h i sd i s s e r t a t i o n f i r s t l yi n v e s t i g a t e s t h e e s s e n t i a li s s u e so fj o b m a n a g e m e n t f o r c l u s t e r , c o m p a r e s s o m er e p r e s e n t a t i v e so fj o b m a n a g e m e n ts y s t e ms o f t w a r es u c ha sp b s ，l s f ，l o a d l e v e l e ra n dc o n d o r ，a n dc o n c l u d e sa n e v a l u a t i o ns y s t e mf o rc l u s t e rj o bm a n a g e m e n ts y s t e ms o f t w a r e t h e nw ep r o p o s eas e r v i c e b a s e dj o bm a n a g e m e n ts y s t e ms o f t w a r ea r c h i t e c t u r ef o r c l u s t e r , p r e s e n t i t s d e s i g n a n d i m p l e m e n t a t i o n a s e r v i c ei sa p a c k e dc o m p o n e n t t h a ti m p l e m e n t sc e r t a i nf u n c t i o n s a d o p t i n g t h ei d e ao fs e r v i c eb a s e dd e s i g nf a c i l i t a t e st h ei n t e g r a t i o no f a p p l i c a t i o n si nt h ed i s t r i b u t e d e n v i r o n m e n t ，a n de n a b l e st h es e r v i c eb a s e ds o f t w a r ec o m p o n e n t st ob er e u s a b l ea n d p o r t a b l e ， m a k et h e s y s t e mh i g h e ra v a i l a b l e m o r e o v e g w ea l s o i n v e s t i g a t e s e v e r a l p o p u l a r j o b s c h e d u l i n ga l g o r i t h m s ，d e s i g na n di m p l e m e n t e das i m p l i f i e df i r s t - f i tb a s e db a c k f i l l i n g s c h e d u l i n ga l g o r i t b m 求b f t t h ee x p e r i m e n td e m o n s t r a t e st h a tt h er b f 球ts c h e d u l i n g a l g o r i t h mc a nn o to n l ys o l v e st h ep r o b l e mo f s t a r v a t i o n ，b u ta l s oi m p r o v e st h er a t eo f s y s t e m u t i l i z a t i o n f i n a l l y , w ec o n c l u d et h et h e s i sa n dt h ew o r kd o n eb ya u t h o r , a n dg i v es o m e a s p e c t so f j o bm a n a g e m e n ts y s t e mt h a tw es h o u l dd on e x t k e y w o r d s ：c l u s t e r , j o bm a n a g e m e n t ，j o bs c h e d u l e ，s e r v i c e ，a p p l i c a t i o nm a n a g e m e n t h 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得 的研究成果。就我所知，除了文中特别加以标注和致谢的地方外，论文中 不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研 究所做的任何贡献均已在论文中作r 明确的说明并表示了谢意。 作者签名：叶友卑 日期：。二r 心 关于论文使用授权的说明 中国科学院计算技术研究所有权处理、保留送交论文的复印件，允许 论文被查阅和借阅；并可以公布论文的全部或部分内容，可以采用影印、 缩印或其它复制手段保存该论文。 作者签名：叶度箐导师签名：壹舟日期：少咀上盯 第一章引言 随着社会和科学技术的发展，人们对计算机运算速度和处理能力的要求越来越人， 越来越多的应用领域需要高性能计算机，如科学与工程计算、决策支持和事务处理等商 业计算、大型信息服务和网络服务、数字图书馆、生物信息处理和视频多媒体系统等。 机群系统以其卓越的性能价格比和良好的可扩展性等因素成为当今高性能计算机系统 的主流体系结构。如今，机群技术已经被普遍应用到科学计算、i n t e r n e t 网络服务和数 据库服务中。 本章首先回顾了可扩展并行计算机体系结构，阐明了机群计算机体系结构的基本特 征，并简要叙述了网格的发展，然后说明了研究机群作业管理系统的意义，最后介绍我 们的研究目的、所做的工作和本文的组织。 1 1 可扩展并行计算机体系结构 在近十年中出现了许多不同的支持高性能计算的超级计算机系统 1 】。按照它们的处 理器、内存和连接方法来分类，最常见的系统包括： 基于分布存储的并行处理系统( m p p ) 共享存储的对称多处理机( s m p ) 一致缓存不一致内存访问( c c 一m a ) 分布式系统 机群 m p p 通常是指使用无共享资源结构的大型并行处理系统。它一般包括几百个处理单 元( 节点) ，节点间以高速内部互连网络连接。每一个节点都有各种硬件部件，但一般 来说包括一个主内存和一个或多个处理器。另外，特殊的节点也可以有磁盘或备份系统 与之相连。每一个节点分别运行各自的操作系统。 当今的s m p 系统通常拥有2 至6 4 个处理器，可以把它认为共享一切的结构。在这 种系统中，所有的处理器共享可用的全部资源( 总线、内存和f o 系统) ，使用一个操 作系统。 c c m m a 是可扩展规模的多处理器系统，是一致缓存不一致内存访问的结构。像 s m p 一样，c c n u m a 系统中的每一个处理器都可以访问所有内存。这类系统的名字 ( n u m a ) 来自于访问最近和最远内存所需的时间的不一致( n o n u n i f o r mt i m e s ) 分布式系统可以被认为是由独立计算机构成的常规网络系统。它们拥有多个系统界 面，每个节点运行它自己的操作系统，而且，分布式系统的每台机器可以是m p p 、s m p 、 机群或单个计算机。 机群是一群以网络技术连接起来的工作站或p c 机的组合。典型情况下，每个机群 节点是台s m p 服务器、一台工作站或是一台p c 计算机。更重要的是，所有机群节点 一起协同工作，像一个统一的整合资源，所有节点使用单一界面。机群的典型体系结构 如图1 1 所示2 1 。 壮十服务的机群作业管理系统啦ho 实观 图1 1 机群系统的典裂体系结构 由于机群系统具有投资风险小、可扩展性好、性能价格比高、高可用性强、能用住 好、可继承现有软硬件资源和开发周期短、可编程性好等特点，目前已成为超级服务器 的主流体系结构。同时，网络时代为机群服务器的应用提供了广阔的空间，在网络技术 和应用快速发展的今天，作为网络核心的机群服务器的重要性f 1 益突出，机群服务器因 此进入了技术、应用和市场互动并迅速发展的新阶段。同时，r i s c 技术、网络技术和 并行编程环境的发展使得机群系统这一新的并行处理系统正成为当前研究的热点，使得 机群系统这一并行处理的新的结构形式受到广泛的关注，国外许多大学和计算机公司都 在进行这方面的研究和开发工作。 1 2 机群系统的基本特征 机群系统之所以成为当前超级计算机的主流体系结构，主要在于它具有其它并行系 统所无法比较的优点，能充分满足我们对高性能计算机处理能力不断增长的需求。我们 将机群的特征概括如下【2 】： 好用性由于机群系统中每个节点都是传统平台，用户能在熟悉的成熟环境中开发和 运行他们的运用程序。平台提供了功能很强的工作站编程环境工具，能允许大部分 现有的串行应用程序无需修改便可运行。 可用性传统的单一系统，如主机和容错系统依靠昂贵的定制设计来获取高可用性， 而机群不使用定制组件，而是用廉价的商品化部件以提供含有大量冗余的较高可用 性。 可扩展性一个机群的计算能力随节点增多而增加。其次，机群的可扩展性是群体可 扩展性。因为是松散耦合，机群能扩展至几百个节点。 性能价格比机群能成本有效地获取上述优点。它采用大量商品化部件，其性能和价 格遵循摩尔定律，从而使机群的性能价格比增长速率快于其他超级计算机系统。 1 3 网格技术的发展 随着机群技术和i n t e r n e t 网络技术的发展，网格成为机群技术研究之后高性能计算 机领域的又一研究热点。今天，网格研究已取得很大进展，很多与网格相关的技术名词 也逐渐进入人们的视野：元计算( m e t a c o m p u t i n g ) 、对等计算( p e e r t o p e e rc o m p u t i r i g ) 、 分布计算( d i s t r i b u t e dc o m p u t i n g ) 、计算网格( c o m p u t i n gg r i d ) 、信息网格 ( i n f o r m a t i o ng r i d ) 、知识网格( k n o w l e d g eg r i d ) 、数据两格( d a t ag r i d ) 、访问网 格( a c c e s sg r i d ) 、万维网服务( w e bs e r v i c e ) 等。 第一章，j 击 网格实际二是继传统因特网和w e b 之后的第二个大浪潮，可以称之为第三代因特硎。 简单地讲传统闪特网实现了计算机硬件的连通，w e b 实现了嘲页的连通，而嘲格试图 实现互联网上所有资源的全面连通，包括计算资源、存储资源、通信资源、软件资源、 信息资源、知识资源等。网格是因特网应用的新发展，又称为虚拟计算环境。网格把分 和住各地的计算机连接起柬，用户分享网上资源，感觉如f 司个人使用一台超级计算机一 挂。 网格主要出六部分组成，即网格节点、数据库、贵重仪器、可视化设备、宽带主干 网和网格软件。网格节点是一些高性能的计算机。数据库是存储包括天文、基因等信息 和数据的“仓库”。贵重仪器包括理论物理研究的粒子加速器、大口径雷达、天文望远 镜等科学仪器和精细打印设备。网格计算软件包括网格操作系统、网格编程与使用环境 以及网格应用程序。 网格系统软件必须发挥各网格结点的高性能计算系统和大容量数据信息处理系统的 性能和功能，使之成为网络上的可共享使用的高性能基础设施，提供多用户远程使用网 格结点计算和数据资源，为各行业用户提供具有统一管理、易于远程使用、安全的高性 能计算和大容量数据处理的环境。网格系统软件的主要内容包括如下几个方面。 网格安全性技术：保证网格系统安全和数据传输安全。 统一的用户管理技术：全网格、有权限的帐户管理和已账系统。 单一的资源目录管理技术：统一用户界面，一致的命令格式，全网格和结点的资源 状态动态监控和查询，环境资源的动态更新、查询。 单一的作业管理技术：作业由统一的作业管理系统进行管理。 系统学习环境：全网格及行业网格环境的人员学习培训和系统联机帮助。 远程使用环境：以w e b 方式支持生产性程序的远程用户使用，以t e l n e t 、f t p 等常 规使用方式支持远程用户的并行程序开发。 目前，对于网格作业管理或资源管理的研究正处于迅速发展阶段，主要集中在站点 的自治性、调度策略的可扩展性、联合调度( 分配) 和在线监控等问题上。现在已经出 现了几种网格作业管理系统，包括g l o b u s 的g r a m 、l e g i o n 、n e t s o l v e 等等。 1 4 研究机群作业管理系统的意义 机群系统以其卓越的性能价格比和良好的可扩展性等因素成为当今高性能计算机体 系结构和并行处理的发展方向。它提供了强大的科学计算能力，还支持商务应用和分布 式网络应用，满足日益增长的科学计算和信息处理的需要。然而，其本身松散结合的 特性使得其强大的处理能力必须依赖于各种管理软件的支持。机群作业管理系统将系统 的分散的资源整合起来，为用户提供了一个单一的系统映像，使用户感觉在使用一台计 算机那样方便，因此，它成为机群系统的重要组成部分。另外，它还为机群系统提供了 批处理、负载平衡、并行处理以及其他功能，为充分利用机群系统资源，提高系统利用 率提供了有力的支持。 机群作业管理系统的主要任务是根据机群作业特征，充分利用机群的硬件软件资源 及宝贵的c p u 时间，有效地管理机群，合理调度作业，提高系统的利用率。 随着越来越多的应用被移植到机群系统中，对机群任务管理提出了愈来愈多的需求 和挑战。同时，网格技术的发展使得机群作为它的一个计算节点，也为机群的作业管理 系统提出了新的要求。 璀j - j l i 务的机群作业管理系统啦汁j 实现 1 5 本文的研究内容和主要工作 为了更好地服务科学技术和生产发展的需求，国家智能汁算机研究丌发中心正准备 在曙光3 0 0 0 超级服务器的基础上继续研究机群服务器而向网格的超级服务器曙光 4 0 0 0 。它的定位是“面向网格的超级服务器”( s u p e r s e r v e r s f o r6 r i dc o m p u t i n g ) 。 研究内容包括：超级服务器体系结构研究、超级服务器的硬件设计和实现、机群操作 系统的设计与实现、并行程序设计、网格程序设计、性能评价与优化。 本文研究的基于服务的机群作业管理系统是面向网格的机群操作系统软件集的一个 子软件，它在原有机群作业管理系统的基础上，根据机群技术和网格技术发展对机群作 业管理系统提出的新要求，采用了基于服务的设计思想，目的在于更好地实现机群作业 管理的各种功能，满足不断增长的机群应用程序和网格系统发展的需要。 本文的研究内容和工作包括： 提出机群作业管理系统的评价体系，比较分析具有代表性的机群作业管理系统。 基于服务的机群作业管理体系结构的研究。设计和初步实现一种基于服务的机 群作业管理系统。 作业调度算法的研究。研究当前各种调度算法，设计并实现一种简化的基于 f i r s t f i t 的b a c k f i l l i n g 调度算法。 在作业监控和系统状态监控方面的研究，设计和实现状态侦测公共服务，包括 故障检测和系统状态侦测，提供对机群作业的在线监控和负载信息获取的支持。 1 6 本文的组织 本论文分为七章，第二章主要介绍了机群作业管理系统的基本概念、基本内容及关 键问题，并总结了机群作业管理的评价标准体系，分析比较了几种具有代表性的机群作 业管理系统。第三章分析了原来曙光机群作业管理系统j o s s 和r m s 的功能、设计、 结构及不足，提出了基于服务的机群作业管理系统的框架设计，给出其具有的特征，并 与其它系统作了比较。第四章叙述了基于服务的机群作业管理系统的具体设计，主要是 作业调度器、作业加载器的设计和实现，以及对1 0 重定向的处理。第五章详细介绍了 基于服务的机群作业管理系统中状态侦测服务d e t e c t o r 的具体设计和实现。第六章介 绍了几种常用的机群作业调度策略，简要叙述了一种简化的基于f i r s t f i t 的b a c k f i l l i n g 调度策略r bf i f t 的设计和实现，并对其实验结果作了比较分析。最后为结束语，对 全文总结，并提出进一步的工作。 4 第一辛机群作业管理系统及j e 计价体系 第二章机群作业管理系统及其评价体系 作业管理又称为工作负载管理，负载共享或负载管理。它有效地管理系统中的各种 资源，以及用户提交的作业。机群作业管理系统是机群系统的重要组成部分，日的是为 了充分利用机群的硬软件资源及宝贵的c p u 时间，有效地管理机群，合理地调度作、l k ， 使系统具有高的吞吐率和利用率。 本章首先从机群作业管理的内容、机群作业管理系统的组成、以及设计与实现机群 作业管理系统的关键问题等几个方面来阐述机群作业管理系统的基本概念，然后介绍了 几种当今颇具代表性和影响力的机群作业管理系统p b s 、l s f 、l o a d l e v e l e r 和c o n d o r ， 接着介绍机群作业管理系统的评价体系，最后运用这一评价体系，比较和分析了这些代 表性的作业管理系统，并由此得出了一些对于研制机群作业管理系统具有重要指导意义 的结论 2 1 机群作业管理的内容 机群作业管理系统包含三个方面的内容：负载管理、批处理和作业调度。它们负责 完成机群系统的三个不同的功能【4 】。说明如下： 负载共享 按负载平衡的方式，使机群中同类资源共同承担作业对它们的请求，提高系统资源 的利用率。负载共享是机群系统的基本要求。机群系统的开发最基本的功能是使各个机 群节点能够协同解决大规模的复杂性问题，只有具有了负载共享能力，才能达到以上目 的。 批处理 对作业采用批处理的方式，自动调度作业，能够极大地提高机群的使用率。批处理 是高性能计算机系统作业管理系统最基本的功能之。有了批处理能力，机群系统就能 够在不需要人工参与的情况下满负荷地工作。用户只需要在提交作业时指定作业的优先 级、所需的资源以及作业运行的优先条件等内容，机群作业管理系统便可以根据一定的 调度策略自动地将作业投入运行。 作业调度 作业在机群的各个节点上的调度。一种良好的调度策略能够极大地提高机群系统的 资源利用率和吞吐率。作业调度是一个经典的问题。对于机群作业管理系统的作业调度 问题，实际上应该包含两个方面的内容：作业的选取( 即任务执行顺序的确立) 和处理 单元的选取( 包括处理器、内存等各种计算资源的分配) 。作业调度是机群作业管理系 统的核心内容，它涉及到一个作业管理系统对待用户的公平性以及整个系统的利用率和 皋j 服务的机群竹j 业管理系统设计j 实j 见 吞吐率。它也是衡硅个机群作、业管理系统优劣的关键。 22 机群作业管理系统的组成 s a p h i r 5 等人为n a s ( n u m e r i c a la e r o d y n a m i cs i m u l a t i o n ) 并行系统以及n a s a a m e s 研究中心的机群分析了作业管理的要求后认为，从系统组成上看，一个作业管理系统通 常有三个主要部分组成：用户服务器用来提交、删除和查询作业状态，作业调度器用来 排列和调度作业，资源管理器用来定义、分配、监控资源，执行资源分配和调度策略。 用户服务器 提供一个作业提交、删除和查询的单一入口点 提供已提交作业的监控 提供系统状态的查询 资源管理器 用 定义、分配、监控整个系统资源，执行资源分配和调度策略，优化资源利 管理系统资源，负责作业的启动和终止 收集完整的作业记账信息 作业调度器 通过与用户服务器的交互，获得作业信息，进行作业的排队 通过与资源管理器的交互，获得系统资源状态信息 通过事先约定的调度策略以及作业信息、系统资源状态信息，确定作业在何 时何地运行 2 3 机群作业管理系统研制中的关键问题 在构造和使用一个机群系统时，我们需要考虑几个重要的问题，如可扩展性、高可 用性、单一映像等等。尽管以前的高性能计算机系统方面的研究对可扩展性和高可用性 作了大量的研究和开发工作，它们仍然是目前活跃的研究和开发领域。同时，作为一个 网络操作系统，机群系统还需要考虑为用户提供一个单一的系统映像，方便用户的使用。 机群作业管理系统作为机群系统软件的一个重要组成部分，理所当然应该考虑以上问 题。另外，从作业管理的角度，在设计和实现一个机群作业管理系统时还应该考虑并行 作业支持、负载平衡、作业调度、资源管理、检查点切取和进程迁移等问题。随着网格 系统的出现和兴起，检查点切取和进程迁移问题越来越得到重视，而且，如何在网格环 境中有效地管理资源和监控机群系统中的作业，如何解决可能出现的安全问题也成为机 群系统必须考虑的问题。 6 锯一章机群作业管理系统歧j t 计价体系 可扩展性 可扩展性是设计和实现机群系统和机群作业管理系统首先要考虑的问题。 给出可扩展性的定义1 2 1 ： 如果系统能够加以扩展( 即增加其资源) 以满足不断增长的对性能和功能的要求， 或是能够缩减( 即减少其资源) 以降低成本，则称包括硬件和软件资源的计算机系统是 可扩展的。 从以上定义可以看出，可扩展性并不只意味着巨大，它也包含了缩减能力。可扩展 性包括资源可扩展性、应用可扩展性和技术可扩展性。资源可扩展性是指通过增加机器 规模以及增加软件等办法，是系统具有更高性能或功能。应用可扩展性是指相同的程序 在一个可扩展系统上运行时，其性能随规模扩大成比例地改进。技术可扩展性是指该系 统能适应技术的改变。 对于机群作业管理系统来说，可扩展性首先表现在机群节点规模的可扩展性上，即 系统的运行不应受到机群节点增加或减少的影响。当系统增大时，能够对其进行管理， 当系统只有一个节点时，机群作业管理系统仍然能够管理。当系统的资源配置发生改变 时，不应影响机群作业管理系统的正确运行。 另外，在进行系统设计时，我们还要考虑技术可扩展性。主要体现在超前设计和向 后兼容方面。采用超前设计技术，指系统不仅要满足当前的系统最低要求，还要考虑系 统今后的升级。向后兼容是指考虑系统规模减少时的情况和对原来系统应用的支持方 面。 高可用性 要设计一个高可用的系统，需要考虑可靠性、可维护性和可用性 2 】。可靠性表示系 统在没有故障的情况下能够工作多长时间。可维护性是指系统是否易于维护。系统的可 用性是指一个系统可以为用户所使用时间的百分比，即正常运行时间的百分比。我们可 以将系统的可靠性表示为系统发生故障前正常运行的平均时间，记为m t t f ( m e a n t i m e t of a i l u r e ) ，可维护性表示为系统故障后修复到正常工作状态所用的平均时间，记为 m t t r ( m e a n t i m e t o r e p a i r ) 。系统的可用性可以定义为：可用性= m t t f ( m t t f + m t t r ) 。 在机群作业管理系统中，为了在硬件和软件发生故障时不丢失作业，保证作业的继 续运行，调度器应该具有高可用性。，这样，在系统发生故障时，使系统能够极快地从故 障中恢复过来。 单一系统映像 由于机群系统是一个网络分布式系统，每一个节点都有独立的操作系统【2 ，因此， 为了用户使用的方便和对大规模并行任务的支持，机群作业管理系统应该提供一个单一 的系统映像。对于机群作业管理系统来说，单一的系统映像包括下面几方面的内容： 单一入1 3 ：任何用户在任何地点提交的作业都被同样处理，放入一个作业队列中等 待调度。 单一控制：逻辑上，最终用户或系统用户使用的服务都来自只有唯一接v i 的同一个 地方。 位置透明性：用户不知道提供服务的计算节点的具体位置，使用时就好像作业在本 挂十服务的机群作业管删系统改计实肼 地运行样。 对称件：用户e , j 以从任何个指定的节点卜提交作业，其运行结果是一样的。 并行作业支持 机群作为一个商性能计算机，其主要目的是为了解决传统大型机无法解决的大规模 计算问题。因此，它必须能够支持多种并行作业。作为机群作业管理系统，也必须在作 业调度，作业加载等方面为并行作业提供有力的支持。 负载平衡 负载平衡是并行处理技术中的经典问题之- - 4 】，在机群作业管理系统中具有举足轻 重的地位。对于并行作业来说，各个计算节点负载的均衡能够极大地提高作业的运行效 率。同样，对于整个机群系统来说，各个机群节点负载的平衡能够提高系统的利用率和 吞吐率。 对于机群系统的负载平衡，主要做到以下两个方面： 负载的确定：要做到负载平衡，首先要对系统的负载情况进行评价。影响系统性能 的负载有很多，如c p u 负载、c p u 利用率、页交换频率、内存使用率等等。对于不同 的应用来说，不同的负载对系统的影响也有不同。机群作业管理系统应该能够提供多种 负载指标，使系统管理员能够根据不同的应用环境选择不同的负载作为指标进行负载平 衡。 负载平衡算法：要真正做到机群系统的负载平衡，还要根据选定的负载指标的当前 状态和一定的算法进行决策，即要采用一定的负载平衡算法。对于机群作业管理系统来 说，主要是如何进行空闲节点的分配或是如何为作业选取合适的计算节点。 作业调度 作业调度是机群作业管理系统的核心内容。在机群系统中，作业的运行一般需要经 历两级调度：高级调度和低级调度，也就是我们一般所说的作业调度和进程调度。作为 机群作业管理系统的一部分，机群调度策略考虑的主要是高级调度，即作业调度。在机 群作业管理系统中，调度策略完成以下两件事： 选取合适的作业准备运行 系统根据待运行的作业的资源请求，为作业选取合适的节点，分配必要的系统 资源 由以上可以看出，机群作业调度策略应包含两个部分：作业选取策略和节点分配策 略。有关作业调度策略的具体内容，我们将在第五章具体介绍。 资源管理 机群作业管理系统是为了更好地提高系统资源的利用率和使用率，进行系统资源的 优化，因此，资源管理是机群作业管理系统中一个不可或缺的部分。在机群作业管理系 统中，不仅要有各种资源的静态信息，还要有资源使用状况的动态信息。这样，机群作 业管理系统才能进行资源的优化。另外，它应该提供对资源修改、查询和删除等功能。 ；母机群作业管理系统及j l 计价 小系 检查点切取 检查点切取 2 是指定期将 个i f 在执行程序的状态存储住个稳定的存储器内，以 便往故障后系统可以从浚状态恢复。每个被保存的程序状态称为检查点。给系统中运行 的进程进行检查点切取操作是很有好处的，它可以增强系统的容错性，提高系统的使用 率等等。但是，检查点操作存在几个问题，即检查点切取时间i 日j 隔的确定、并行作业检 查点操作的一致性问题等等。检查点切取的频率对于系统正常运行时的额外处理和出错 后恢复的时间开销有很大的影响，从而影响系统的效率。检查点切取的时间间隔主要取 决于系统的出错率。 关于检查点切取的致性i u 题，要解决通道状态的一致性、多米诺效应、状态存储 钟的消息问题、活锁问题等等。 进程迁移 所谓进程迁移，就是指在一定时候将正在执行的进程从所在节点移动到相同体系结 构的节点上继续运行。进程迁移可能有两个目的：使得机群系统负载平衡，从而提高系 统的性能；尽量消除机群作业的运行对工作站主人造成的影响。进程迁移的策略分为三 个部分，即迁移什么进程、什么时间迁移和迁移到哪里。 进程迁移是一个复杂的问题，要解决好透明性、本地依赖、性能和复杂度问题。进 程迁移对提高系统性能的影响，应该考虑到迁移的开销以及检查点切取的开销。 作业监控 由于网格的出现，机群系统的用户可能分布在广域网中，他们通过远程接口来进行 作业的提交。因此，机群作业管理系统应该扩展作业监控的功能，使用户能在不同的地 方监控作业的状态。 安全问题 随着网格技术的发展，作为网格系统的一个基本组成部分，机群作业管理系统也面 l 临越来越多的安全问题，包括身份认证、访问控制、防止系统信息的泄漏等等。传统的 机群作业管理系统都采用基于u n i x 安全机制或者基于k e r b o r o s 安全访问控制。但是， 随着用户范围的扩大，用户可能不在机群中提交作业，可能在远程提交和监控作业，这 样，就要求机群作业管理系统采用新的安全机制来解决可能出现的安全问题。 2 4 几种具有代表性的机群作业管理系统 目前大约有几十种各具特色的机群作业管理系统，它们在目标、结构、功能和实现 上各有差异，从不同程度不同侧面反映了机群作业管理所应具备的特性。在开发曙光系 列超级服务器作业管理系统的过程中，我们广泛研究了多种机群作业管理系统。其中， p b s 、c o n d o r 、l s f 、l o a d l e v e l e r 是当今颇具代表性和影响力的几种机群作业管理系统。 下面，我们对这几种作业管理系统进行简单介绍和讨论。p b s 、c o n d o r 是研究产品，l s f 、 9 堆+ 服务的机甜竹业管删系统啦汁4 实脱 l o a d l e v e i 。e r 是商业软件。 2 4 1 p b s ( p o r t a b i eb a t c hs y s t e m ) p b s 1 3 最初由n a s a 的a m e s 研究中心开发，为了提供个能满足异构计算网络需 要的软件包，特别是满足高性能计算的需要。它力求提供对批处理的初始化和调度执行 的控制，允许作业在不同主机问的路由。p b s 的独立的调度模块允许系统管理员定义资 源和每个作业可使用的数量。调度模块存有各个可用的排队作业、运行作业和系统资源 使用状况信息。使用它提供的t c l 、b a c l 、c 三种过程语言，它的调度策略可以很容易 被修改，以适应不同的计算需要和目标，即系统管理员可以方便地实现自己的调度策略。 下面是p b s 的主要特点： 夺代码开放，免费获取 夺支持批处理、交互式作业和串行、多种并行作业，如m p i 、p v m 、h p f 、m p l 夺提供t c l 、b a c l 、c 三种过程语言，容易实现新的调度策略 夺提供文件传送，f il es t a g e i n 和s t a g e o u t 夺满足p o s i x l 0 0 3 2 d 标准 夺支持作业依赖 夺自动的负载平衡 夺完整的安全认证 夺提供了完整的a p i ，方便新的调度器的开发 夺提供用户映像功能，使p b s 能用于用户不一致的系统中 2 4 2 l s f ( l o a ds h a r i n gf a c ii i t y ) 负载共享软件l s f 是由加拿大平台计算( p l a t f o r mi n c ) 公司 1 4 研制与开发的， 由t o r o n t o 大学开发的u t o p i a 系统发展而来。 从强大的功能和广泛使用的的角度看，l s f 可谓是个成熟的机群作业管理系统。 在使用的范围上，l s f 不仅用于科学计算，也可用于企业的事务处理。它的用户包括摩 托罗拉、美国宇航局( n a s a ) 、休斯敦飞机公司、通用电气公司、斯坦福大学等著名的 企业与科研团体。功能上，除了一般的作业管理特性外，它还在负载平衡、系统容错、 检查点操作、进程迁移等方面作了很好的努力，并力图使之实用化。它的主要特点是： 夺支持多种操作系统，包括n t 和w i n 2 0 0 0 夺支持检查点操作( 核心级、用户级及应用程序级) 和进程迁移 令具有高可用性，消除单一故障点 夺提供了抢占式调度和关键资源保障，保证紧急作业的调度 夺可通过逻辑表达式创建作业依赖图，提供对依赖性作业的支持 提供了多种调度策略，包括r e s e r v a t i o n 和b a c k f i l l 夺动态的负载平衡与负载监测，负载指标包括：节点状态、运行队列长度、c p u 利用 率、分页速率、登录用户数、空闲时间、可用交换空间、可用存贮器、t m p 目录下 的可用空间 夺提供了完接的负载共享库 夺具有强大的资源管理功能 i o 第一市机群作业管删系统搜j 仆价仆系 2 43 l o a d l e v e l e r l o a d l e v e l e r 1 5 是i b m 丌发的机群作业管理系统。它现在成功地运行在基于机群 体系结构的大规模并行计算机系统i b ms p 2 上。l o a d l e v e e f 允许用户在同构或异构的 机群系统中提交交互式批处理作业。除了i b ma i x 操作系统外，它还支持h p u x 、s g i i r i x 、s u n o s 和s o l a r i s 等主流的u n i x 平台。在教育、研究机构、企业等各行各业， l o a d l e v e l e r 以其灵活高效的特点得以广泛应用，例如大规模的仿真、资源的优化利用、 天气预报、地层模拟、经济分析等。它的主要特点是： 夺支持并行串行，交互式批处理作业 夺对工作站主人的影响小 夺可定义作业类，优化调度 夺具有较好的系统可用性 夺系统中心控制 夺完整的文档 夺分布的用户服务器 夺提供完整的a p i 夺与n o s 兼容 c o n d o r 1 6 是由威斯康星大学开发的机群作业管理系统。充分利用工作站的空闲时 间是c o n d o r 的最显著特征。c o n d o r 管理的机群由网络中的工作站组成。工作站的主人 可以自愿加入或退出。c o n d o r 监测网络中所有工作站的状态，一旦某台计算机被认为空 闲，便把它纳入到资源池( p o o l ) 中。在资源池中的工作站被用来执行作业。当工作站 的主人开始使用该工作站时，c o n d o r 便将运行在该工作站上的作业迁移到其它节点上继 续运行，从而避免了对工作站主人的影响。所有这些特征并不需要修改底层的u n i x 操 作系统核心，只需在用户级进行，而且不需修改用户程序，只需与c o n d o r 提供的库函 数重新链接。它的主要特征是： 夺充分利用工作站的空闲时间 夺用户只需与库函数重新链接便可利用c o n d o r 提供的检查点和进程迁移功能 夺对于远程执行的进程，本地的执行环境被保留 夺工作站主人对该工作站拥有最高优先级和完全的控制权 夺作业保证彻底完成，不会因为系统的故障或工作站的退出而终止 夺本地磁盘空间不会被c o n d o r 作业所占用 夺对网络资源、数据传送和检查点操作的有效监控 夺对网络资源、c p u 的协同调度 2 5 机群作业管理系统的评价体系 长期研究和开发机群作业管理系统的经验表明，建立一个完整的作业管理评价体系， 对于研制功能完备、公平高效的机群作业管理系统来说至关重要。在这方面， k a p l a n 8 3 ，b a k e r 1 1 ，j a m e sp a t t o nj o n e s 9 1 0 ，s a p h i r 5 ，m a r yp a p a k h i a n 1 2 等人从不同方面评价了现有的一些机群作业管理系统，但是到目前为止还缺少一个完整 璀r 服务的机群作业管理系统设计，实玑 的评价体系柬评价这些系统。为此，我们广泛研究现有作、l k 管理系统的基础上，紧密结 合研制曙光系列超级服务器作业管理系统的实践，根据我们研制过程中所出现的问题、 参考标准以及用户的需求，提炼出作业管理系统设计和实现中必需解决的关键问题，掘 此形成了套较为完整的作业管理系统评价体系。机群作业管理系统的评价体系应包含 以下几个方畸的内容： 2 5 1 支撑环境 即系统的应用范围，包括： 是商用或是研究产品。这将决定使用该系统的花费和期望得到的服务等级。一 般来说，商用产品能提供较强的系统稳定性、强壮性和全面的服务支持。而研究产 品一般开放源码，用户可根据需要加以改进 是否支持异构机群。 支持的硬件平台。支持p c ，m p p 或工作站 支持的操作系统平台。系统能支持那些操作系统 是否需要额外的硬件和软件。为了运行该系统，是否需要安装其它的硬件或软 件。例如，有些系统需要a f s 的支持 能支持哪些文件系统，如n f s ，a f s ，d f s 2 5 2 支持作业类型 是否支持批处理作业 是否支持交互式作业 是否支持串行作业 支持那些并行作业，是否支持m p i 、p v m 、h p f 等等 2 5 3 作业调度和节点分配策略 提供了哪些作业调度和节点分配策略 作业调度和节点分配策略是否是可配置的，用户能否自由选择各种策略而不影响 系统的正常运行 用户能否选择或更改各种调度参数，如采用负载平衡算法时，