（计算机应用技术专业论文）校园计算网格环境下作业管理的研究与实现.pdf

西 北 丁 业 大 学 硕 十 学 位 论 文 摘要 网格主要目的是实现广义资源的充分共享和协同工作。 基于网格的问题求解 就是网格计算。g l o b u s是网格计算技术的典型代表和事实标准。它研究网格计 算中的关键技术，帮助规划和组建大型的网格试验平台， 力图实现网格计算基础 设施来为用户提供对远程的高性能计算资源普遍的、可靠的、一致的访问。 网格用户一般都是以作业或应用程序的方式来使用网格资源， 因此， 如何对 用户提交的网格作业进行有效的调度管理， 满足人们的应用需求，是网格研究的 关键技术之一。 本文介绍了网格及其体系结构， 分析了作业管理系统的发展，从而对网格计 算中的作业管理有一个比较明确的定位。 具体研究了网格作业调度， 包括调度策 略算法， 基于队列的作业调度，高级预约和并行计算编程模型以及网格作业全局 调度和内部调度的关系等。 并对网格作、 l k 的监控与管理进行了论述， 主要有作业 监控和任务分解， 以及作业执行结果的最终获取， 还讨论了网格作业管理系统的 终端用户界面问题。 在此基础上，实现了面向服务的校园计算网格的原型系统及其作业管理系 统。 主要采用基于a g e n t 的网 格资源树状分层代理 模型， 提出了基于网格节点可 信度的 m c 1 作业调度算法， 并利用本地管理机构来进行作业监控， 最终实现了校 园网格全局统一的资 源信息和用户信息服务管理、统一的 作业管理和安全认证。 结合学校的实际情况，构建了面向高性能计算服务的校园计算网格。 关键词: 校园计算网格，作业管理，作业调度，作业监控，作业服务，高性能计算 西北_ 1 业大学硕 卜 学位论文 abs tract t h e m a i n p u r p o s e o f g r i d i s t o s h a r e t h e e x i s t i n g c o m p u t i n g c o o p e r a t i v e l y . t o s o l v e p r o b l e m s b a s e d o n g r i d i s g r i d c o m p u t i n g t e c h n o l o g y o f g r i d c o mp u t i n g a n d t h e d e f a c t s t a n d a r d . i t d o e s r e s o ur c e s t o wo r k g l o b u s i s a t y p i c a l t h e k e y t e c h n o l o g y r e s e a r c h o f g r i d c o m p u t i n g t o h e l p l a y o u t a n d b u i l d b i g g r i d c o m p u t i n g t e s t b e d . i t t r i e s t o i m p l e m e n t t h e g r i d i n f r a s t r u c t u r e t o p r o v i d e t h e u s e r s u n i v e r s a l , r e l i a b l e a n d c o n s i s t e n t a c c e s s t o t h e h i g h p e r f o r m a n c e c o mp u t i n g r e s o u r c e s r e m o t e l y a n d t r a n s p a r e n t l y . t h e g i r d u s e r s u s u a l l y u s e t h e g r id r e s o u r c e s b y g r i d j o b s a n d a p p l i c a t i o n s . t h e r e f o r e , h o w t o s c h e d u l e a n d m a n a g e t h e g r i d j o b s e f f i c i e n t l y t o m e e t t h e u s e r s a p p l i c a t io n r e q u i r e me n t s i s o n e o f t h e k e y t e c h n o l o g i e s i n g i r d c o m p u t i n g r e s e a r c h . t h i s t h e s i s i n t r o d u c e s t h e g r i d a n d i t s a r c h i t e c t u r e . i t a n a l y z e s t h e d e v e l o p me n t o f t h e j o b m a n a g e m e n t s y s t e m . s o , w e h a v e a d e f i n i t e c o n c e p t o f t h e j o b m a n a g e m e n t i n g r i d c o m p u t i n g . w e c o n c r e t e l y d o t h e r e s e a r c h o f g r id j o b s c h e d u l i n g , i n c l u d i n g s c h e d u l i n g p o l i c y a n d a l g o r i t h m , t h e q u e u i n g s c h e d u l i n g ，a d v a n c e d r e s e r v a t i o n a n d p a r a l le l c o m p u t i n g p r o g r a m m o d e l . t h e m o d e l o f t h e r e l a t i o n b e t w e e n g l o b a l s c h e d u l i n g a n d in t e rn a l s c h e d u l i n g i s a l s o d e s i g n e d . t h e n , w e d i s c u s s t h e j o b m o n i t o r i n g ， c o n t r o l a n d m a n a g e m e n t f u n c t i o n s , s u c h a s j o b m o n i t o r i n g a n d c o n t r o l , c o a r s e g r a i n j o b d i s a s s e m b l e a n d a c q u i r i n g t h e r e s u l t s . t h e u s e r i n t e r f a c e o f t h e j o b m a n a g e me n t s y s t e m i s a l s o d i s c u s s e d . w e i m p l e m e n t t h e p r o t o t y p e o f t h e s e r v i c e o r i e n t e d c a m p u s c o m p u t a t i o n a l g r i d a n d i t s j o b m a n a g e m e n t s y s t e m . b a s e d o n a g e n t s , t h e l a y e r g r i d r e s o u r c e t r e e mo d e l i s a d o p t e d . p r o p o s e a g l o b a l mc t s c h e d u l i n g a l g o r i t h m b a s e d o n t h e c r e d it o f t h e g r i d n o d e s . r e a l i z e t h e i n t e r f a c e b e t w e e n t h e g r i d m i d d l e w a r e a n d l o c a l r e s o u r c e m a n a g e r . m o n i t o r a n d c o n t r o l t h e w h o l e g r id s y s t e m w i t h t h e h e l p o f l o c a l m a n a g e m e n t s y s t e m. a t l a s t , w e i m p l e m e n t t h e u n i f i e d r e s o u r c e a n d u s e r s i n f o r m a t i o n m a n a g e m e n t , u n i f i e d j o b ma n a g e me n t a n d s a f e a u t h e n t i c a t i o n . wi t h t h e c o n s i d e r a t i o n o f t h e p r a c t i c a l s i t u a t i o n o n t h e c a m p u s , w e d e p l o y t h e h i g h p e r f o r m a n c e c o m p u t i n g s e r v i c e o r i e n t e d c a m p u s c o m p u t a t i o n a l g i r d . k e y w o r d s : c a m p u s c o m p u t a t i o n a l g r i d ; j o b m a n a g e m e n t ; j o b s c h e d u l i n g ; j o b m o n i t o r a n d c o n t r o l ; j o b s e r v i c e ; h i g h p e r f o rma n c e c o m p u t i n g 西北工业大学硕士学位论文 第一章 绪论 网格及其体系结构 1 . 1 . 1网格计算 互连网技术不断发展， 对人们的思维方式、 工作模式以及生活理念都产生了 巨大的影响与冲击。以e - ma i l 为主要应用的第一代 i n t e r n e t 把遍布于世界各地的 计 算机用t c p / i p协议连接在一起; 第二代i n t e r n e t 则通过w e b 信息浏览及电 子 商务应用等信息服务， 实现了 全球网页的连通; 第三代i n t e r n e t 将“ 试图 实现互 联 网上所有资源的全面连通， 包括计算资源、存储资源、通信资源、软件资源、 信 息资源、知识资源等” ，这就是网格计算。 网格是一个硬软件基础构架，主要由网格节点、数据库、贵重仪器、视频设 备、宽带骨干及网格软件等六部分组成。实现对因特网上所有资源可靠的、一致 的、 普遍的访问。 通过网格中间件，网 格为 用户提供一个分布、 共享、 透明、 安 全和容错的计算服务环境。在这个环境中，用户通过单一入口访问和处理信息， 信息的处理是分布的、协作的和智能化的。 网 格的三个主要特征0 1 : 第一，资 源共 享， 动态配置， 协同工作;第二，使 用标准、通用、开放的协议和接口:第三，高服务质量，包括响应时间、流量、 可用性和安全性。 网格计 一 算利用分布式的计算和数据资源， 像处理器、 网络带宽和存储能力来 创建一个单一系统映像， 提供给用户和应用程序访问 大量 i t 资源的能力。正如 工 n t e r n e t通过 w e b使用户看到一个统一的远程内容一样，一个网格用户看到的 是一个单一的虚拟的超级计算机。 在它的核心， 网格计算是基于一组开放的标准 和协议，例如，o g s a ( o p e n g r i d s e r v i c e s a r c h i t e c t u r e ) 2 1 ， 它实现了 地理位置 分散的异构环境之间的通信。 通过网格计算， 各组织单位能优化计算和数据资源 的利用率，通过网络来共享这些聚合的资源并实现协同工作。 网格计算技术初衷就是结合高性能计算技术和网络计算技术将高性能计算 机的能力释放出去，构造一个公共的高性能处理和海量信息存储的计算基础设 施， 使各类用户和应用能够共享资源。 因此，网格计算还将会促进高性能计算机 应用的发展， 促进高性能计算机服务市场的 发展， 刺激市场对高性能计 算机和 海 量存储系统的需求， 产生出巨大的商业价值。 网格 ( g r i d ) 作为 工 n t e r n e t的第三次浪潮，在世界上引起了前所未有的关注 和重视。 发达国家投入大量资金开展网格技术的研究。 通过网格计 一 算系统集成起 来的巨大的计算处理能力和信息资源平台， 已成为一个国家的重要战略资源。 在 我国，科技部、8 6 3 , 9 7 3都有高性能的网格计算的重大专项课题，特别是最近 教育部投 资 5亿准备在教育网和科研网中构造 一 个巨大的网格系统:c h i n a g r i d 3 1 o 整个c h i n a g r i d 计划顶i l - 在4 年内 完成， 争取在2 0 0 8 年奥运会以 前完成 一个国内最大的 ( 也许是世界上最大的) 超级网格， 其峰值计算能力将远远超过 t e r a g r i d等欧美网 格计划的日 标。 项目 完成后， 将完成一 系列高性能或实时的计 算任务，提供高q o s 的信息服务， 从软件、 服务等层次进一步提升c e r n e t 的 潜力， 从而推动我国网格领域的研究， 提升我国的综合国力和知识创新能力， 促 西北工业大学硕士学位论文 第一章 绪论 网格及其体系结构 1 . 1 . 1网格计算 互连网技术不断发展， 对人们的思维方式、 工作模式以及生活理念都产生了 巨大的影响与冲击。以e - ma i l 为主要应用的第一代 i n t e r n e t 把遍布于世界各地的 计 算机用t c p / i p协议连接在一起; 第二代i n t e r n e t 则通过w e b 信息浏览及电 子 商务应用等信息服务， 实现了 全球网页的连通; 第三代i n t e r n e t 将“ 试图 实现互 联 网上所有资源的全面连通， 包括计算资源、存储资源、通信资源、软件资源、 信 息资源、知识资源等” ，这就是网格计算。 网格是一个硬软件基础构架，主要由网格节点、数据库、贵重仪器、视频设 备、宽带骨干及网格软件等六部分组成。实现对因特网上所有资源可靠的、一致 的、 普遍的访问。 通过网格中间件，网 格为 用户提供一个分布、 共享、 透明、 安 全和容错的计算服务环境。在这个环境中，用户通过单一入口访问和处理信息， 信息的处理是分布的、协作的和智能化的。 网 格的三个主要特征0 1 : 第一，资 源共 享， 动态配置， 协同工作;第二，使 用标准、通用、开放的协议和接口:第三，高服务质量，包括响应时间、流量、 可用性和安全性。 网格计 一 算利用分布式的计算和数据资源， 像处理器、 网络带宽和存储能力来 创建一个单一系统映像， 提供给用户和应用程序访问 大量 i t 资源的能力。正如 工 n t e r n e t通过 w e b使用户看到一个统一的远程内容一样，一个网格用户看到的 是一个单一的虚拟的超级计算机。 在它的核心， 网格计算是基于一组开放的标准 和协议，例如，o g s a ( o p e n g r i d s e r v i c e s a r c h i t e c t u r e ) 2 1 ， 它实现了 地理位置 分散的异构环境之间的通信。 通过网格计算， 各组织单位能优化计算和数据资源 的利用率，通过网络来共享这些聚合的资源并实现协同工作。 网格计算技术初衷就是结合高性能计算技术和网络计算技术将高性能计算 机的能力释放出去，构造一个公共的高性能处理和海量信息存储的计算基础设 施， 使各类用户和应用能够共享资源。 因此，网格计算还将会促进高性能计算机 应用的发展， 促进高性能计算机服务市场的 发展， 刺激市场对高性能计 算机和 海 量存储系统的需求， 产生出巨大的商业价值。 网格 ( g r i d ) 作为 工 n t e r n e t的第三次浪潮，在世界上引起了前所未有的关注 和重视。 发达国家投入大量资金开展网格技术的研究。 通过网格计 一 算系统集成起 来的巨大的计算处理能力和信息资源平台， 已成为一个国家的重要战略资源。 在 我国，科技部、8 6 3 , 9 7 3都有高性能的网格计算的重大专项课题，特别是最近 教育部投 资 5亿准备在教育网和科研网中构造 一 个巨大的网格系统:c h i n a g r i d 3 1 o 整个c h i n a g r i d 计划顶i l - 在4 年内 完成， 争取在2 0 0 8 年奥运会以 前完成 一个国内最大的 ( 也许是世界上最大的) 超级网格， 其峰值计算能力将远远超过 t e r a g r i d等欧美网 格计划的日 标。 项目 完成后， 将完成一 系列高性能或实时的计 算任务，提供高q o s 的信息服务， 从软件、 服务等层次进一步提升c e r n e t 的 潜力， 从而推动我国网格领域的研究， 提升我国的综合国力和知识创新能力， 促 西北t业大- rv i 学位论文 进国家信息化建设。 在写此论文时， 1 2 月份， 基于 i p v 6 的c e r n e t 2 己 经在我 国正式开通，它的主要应用将是全球高性能计算网格。 1 . 1 .2网格体系结构 首先介绍网格的总体结构框架，从而建立一个关于网格的整体性认识。目 前主要有两种最重要的 和最具代表性的网 格体系结构， 即五层“ 沙漏模型” 和开 放网格服务结构。 1 . 1 . 2 . 1 “ 五层” 沙漏模型 在五层沙漏结构 模型a 1 中，一个最重要的思 想就是以 “ 协议” 为中心。 沙漏 形状其内在含义就是因为各部分协议的数量是不同的， 沙漏的狭窄部分 ( 颈) 定 义了一个核心的抽象和协议 ( 如 t c p 和 h t t p )的小集合， 要能够实现高层 ( 沙 漏的顶部) 各种协议向 核心协议的映射， 同时核心协议也可以向 底层 ( 沙漏的 底 部) 的各种协议映射。 核心协议在所有支持网格计算的地点都应该得到支持，因 此核心协议的数量一定要小， 这样的核心协议就形成了协议层次结构中的一个瓶 颈。在五层结构中，沙漏的瓶颈部分有资源和连接协议构成。如图2 - 1 所示。 图 f - 1 沙漏模型的五层结构 在五层沙漏结构中，最底层是构造层( f a b r ic ) ， 它的功能是向 上提供网 格中可 供共享的资源， 是一个个具体的 物理 或逻辑实体。 常用的资源包括处理器、 存储 系统、目 录、 分布式文件系统、 网格资源、 分布式计算机池、 计算机集群等。 它 通过对局部资源的管理， 例如侦测可 用的软 硬件资源的特性、 当前负载、 状态等 信息，向上层提供对这些资源的管理和控制界 面。连接层 ( c o n n e c t i v i t y )主要 是为下层物理资源提供安全的数据通信能力， 各资源间的授权认证、 安全控制也 在这里实 现。资 源层 ( r e s o u r c e )反映的是抽象的局部资源的 特征，实现对单个 资 源进行 控制，与 可用资 源进行安全握手、对资 源初始 化、 监测资 源运行 状况、 统计与付费有关的资源使用数据等。汇聚层 ( c o l l e c t i v e ) 完成的功能是如何将下 面以 单个资 源形式表 现出来的资源集中起来， 供虚拟组织的应用程序共享、 调用， 协调解决多个资源之间的问题。 为 了 对来 自 应用的共享进行管理和控制， 该层提 西北t业大- rv i 学位论文 进国家信息化建设。 在写此论文时， 1 2 月份， 基于 i p v 6 的c e r n e t 2 己 经在我 国正式开通，它的主要应用将是全球高性能计算网格。 1 . 1 .2网格体系结构 首先介绍网格的总体结构框架，从而建立一个关于网格的整体性认识。目 前主要有两种最重要的 和最具代表性的网 格体系结构， 即五层“ 沙漏模型” 和开 放网格服务结构。 1 . 1 . 2 . 1 “ 五层” 沙漏模型 在五层沙漏结构 模型a 1 中，一个最重要的思 想就是以 “ 协议” 为中心。 沙漏 形状其内在含义就是因为各部分协议的数量是不同的， 沙漏的狭窄部分 ( 颈) 定 义了一个核心的抽象和协议 ( 如 t c p 和 h t t p )的小集合， 要能够实现高层 ( 沙 漏的顶部) 各种协议向 核心协议的映射， 同时核心协议也可以向 底层 ( 沙漏的 底 部) 的各种协议映射。 核心协议在所有支持网格计算的地点都应该得到支持，因 此核心协议的数量一定要小， 这样的核心协议就形成了协议层次结构中的一个瓶 颈。在五层结构中，沙漏的瓶颈部分有资源和连接协议构成。如图2 - 1 所示。 图 f - 1 沙漏模型的五层结构 在五层沙漏结构中，最底层是构造层( f a b r ic ) ， 它的功能是向 上提供网 格中可 供共享的资源， 是一个个具体的 物理 或逻辑实体。 常用的资源包括处理器、 存储 系统、目 录、 分布式文件系统、 网格资源、 分布式计算机池、 计算机集群等。 它 通过对局部资源的管理， 例如侦测可 用的软 硬件资源的特性、 当前负载、 状态等 信息，向上层提供对这些资源的管理和控制界 面。连接层 ( c o n n e c t i v i t y )主要 是为下层物理资源提供安全的数据通信能力， 各资源间的授权认证、 安全控制也 在这里实 现。资 源层 ( r e s o u r c e )反映的是抽象的局部资源的 特征，实现对单个 资 源进行 控制，与 可用资 源进行安全握手、对资 源初始 化、 监测资 源运行 状况、 统计与付费有关的资源使用数据等。汇聚层 ( c o l l e c t i v e ) 完成的功能是如何将下 面以 单个资 源形式表 现出来的资源集中起来， 供虚拟组织的应用程序共享、 调用， 协调解决多个资源之间的问题。 为 了 对来 自 应用的共享进行管理和控制， 该层提 西北工业大学硕士学位论文 供 目录服务、资源分配、日程安排、资源代理、资源监测诊断、网格启动、负载 控制、帐户管理等多种功能。 应用层 ( a p p l i c a t i o n s ) 是网格上用户的应用程序， 它关心的是有什么样的资源可以由 下面提供给虚拟组织， 解决不同虚拟组织的具 体问题。应用程序通过各层的接口 a p i调用相应的服务，再通过服务调用网格 上的资源来完成任务。 五层沙漏结构的协议和互联网的t c p / i p协议的对比关系如图 2 - 2所示。 曰曰圈画 ， 丛立 图 -2五层结构与互联网协议的对比 1 .1 .2 .2 0 g s a ( 开 放网 格 服 务 体系 结 构 ) 2 0 0 2年 2月，在加拿大多伦多市召开的全球网格论坛 g g f 会议上，g l o b u s 项目 组和 工 b m共同倡议了一个全新的网格标准 o g s a ( o p e n g r i d s e r v i c e s a r c h i t e c t u r e ，开放网格服务体系)。它把 g l o b u s标准与以商用为主的 w e b s e r v i c e s的标准结合起来，网格服务统一以s e r v i c e s 的方式对外界提供。o g s a 的诞生， 标志着网格 已经从学术界的象牙塔延伸到了商业世界， 而且从一个封闭 的世界走向了开放的环境。2 0 0 3 年 1 月， 符合 o g s a规范的g l o b u s t o o l k i t 3 . 0 ( a l p h a版)己经在第一届 g l o b u s w o r l d 会议上发布。这标志着 o g s a己经从一 种理念、一种体系结构，走到付诸实践的阶段了。 在o g s a 出现之前，已 经出 现很多 种用于 分布式计算的技术和产品。其实， 在 o g s a 出现之前，各种以填补异构平台之间的差异为 己任的网格平台，如 c o n d o r , l e g i o n , n i n f , g l o b u s 等，也 都 是各行其道、 互不兼容的。 9 0 年 代末， 让人扼腕叹息的混乱局面终于 有望结束， 因为此时 基于x m l ( e x t e n s i b l e m a r k u p l a n g u a g e 可扩展标记 语言)的w e b s e r v i c e s 技术开始大 行其道。 w e b s e r v i c e s 之所以能够迅速走红是因为它在各种异构平台之上构筑了一层通用的、 与平台无 关的信息和服务交换设施， 从而屏蔽了互联网中千差万别的差异， 使信息和服务 畅通无阻地在计算机之间流动。w e b s e r v i c e s得到了各大公司的支持，解决方 案 精彩纷呈， 包括: i b m的 w e b s p h e r e ,微软的. n e t , s u n的 s u n o n e , o r a c l e 的o r a c i e 9 i ,惠普的e s p e a k 等等。 g l o b u s 项目 组看到t w e b s e r v i c e s 的巨 大 潜力，在2 0 0 2 年迅速将g l o b u s t o o l k i t 的开发转向了w e b s e r v i c e s 平台， 试 图用 o g s a在网格世界一统天下。 基于 o g s a之后， 网格的一切对外功能都以网格 服务( g r i d s e r v i c e ) 来体现，并借助一些现成的、与平台无关的技术，如 x m l , s o a p ( s i m p l e o b j e c t a c c e s s p r o t o c o l 简单对象访i- 1 v i 、 议) 、 w s d l ( w e b s e r v i c e s d e f i n i t i o n l a n g u a g e w e b服务描述语合) 、l d d i ( u n i v e r s a l d e s c r i p t i o n , d i s c o v e r y a n d i n t e g r a t i o n统一描 述、 发现不 l i 集成 协议 ) 、 w s f l ( w e b s e r v i c e s f l o w a n g u a g e w e b 服务流语言) 、w s e l ( w e h s e r v i c e s e n d p o i n t l a n g u a g e网络 服务终端语言) 等，来实现这些服务的描述、查找、访问和信息传输等功能。这 西北下业大学硕_ 二 学位论文 样， 一切平台及所使用技术的异构性都被屏蔽。 用户访问网 格服务时， 根本就无 需关心该服务是c o r b a提供的，还是. n e t 提供的。 如图2 - 3 所示， o g s a 的三个主要组 件是开放网格服务基础结构、 o g s a 服务 和o g s a 模式。 o g s a 是构筑在w e b 服务之上的。 w e b 服务是 一个基于标准的、 广 泛部署的分布计算模式，它提供了用于描述和调用网格服务的基本机制。o g s a 的核心服务处理主要一些基本问题， 如名字解析、服务发现、安全、策略以及消 .急o 冈阴曰口冈日 g gs a 月 民 芬 : y 3 = 册 、 认 证 、 监 控 、 妻 目 居访 f 7 m 管 理 等 j以 及 其 他 服 芬 we b月 良 务 驻 留 环 境 和 协 议 绑 定 驻 留 环 境协 议 图 1 - 3 o g s a的核心组件 在2 0 0 4 年， 还提 出了w s r f ( w e b s e r v i c e r e s o u r c e f r a m e w o r k ) 5) ， 重 新组 织了o g s i 的概念，这样做的目的是更好地与网络服务一致。 2作业管理 的发展 1 . 2 . 1 单机作业管理 在单 一计算机系统中 把用户要求处理的一项工作称为一个作业， 作业由三部 分构成: 程序、 数据和作业说明书。 作业可分为批处理作业和交互式作业两大类。 在计 算机操作系统中 ，作业管理的功能是为用户提供一 个使用系统的良 好环境， 使用户能有效地组织自己的工作流程， 并使整个系统能高效地运行。 通过操作系 统实现作业调度和控制作业执行。 并区分开作业调度与进程调度之间的关系以及 各自的职责。 作业系统块是作业在系统中存在的标志，j c b 内容是作业调度的依据。作 业状态有:进入:后备;运行:完成。进入状态:作业信息正在从输入设备上输 入到输入井， 此时称作业处于进入状态; 后备状态: 当作业的全部信息都已输入， 月 _ 由操作系统将其存放在输入井中，并为作业建立一个 j c b ，此时称作业处于 后备状态;运行状态:一个后备作业被作业调程序选中，分配了必要的资源，调 入内存运行， 称作业处于运行状态。 完成状态: 当 作业正常运行完毕或因发生错 误非正常终止时，作业进入完成状态。 作业调度的主要任务是: 按照某种调度算法， 从后备作业中挑选一批合理搭 配的作业进入运行状态;同时，为选中的作业分配内存和外部设备资源，为其建 立相关的进程;当作业执行结束进入完成状态时，做好释放资源等善后工作。 西北下业大学硕_ 二 学位论文 样， 一切平台及所使用技术的异构性都被屏蔽。 用户访问网 格服务时， 根本就无 需关心该服务是c o r b a提供的，还是. n e t 提供的。 如图2 - 3 所示， o g s a 的三个主要组 件是开放网格服务基础结构、 o g s a 服务 和o g s a 模式。 o g s a 是构筑在w e b 服务之上的。 w e b 服务是 一个基于标准的、 广 泛部署的分布计算模式，它提供了用于描述和调用网格服务的基本机制。o g s a 的核心服务处理主要一些基本问题， 如名字解析、服务发现、安全、策略以及消 .急o 冈阴曰口冈日 g gs a 月 民 芬 : y 3 = 册 、 认 证 、 监 控 、 妻 目 居访 f 7 m 管 理 等 j以 及 其 他 服 芬 we b月 良 务 驻 留 环 境 和 协 议 绑 定 驻 留 环 境协 议 图 1 - 3 o g s a的核心组件 在2 0 0 4 年， 还提 出了w s r f ( w e b s e r v i c e r e s o u r c e f r a m e w o r k ) 5) ， 重 新组 织了o g s i 的概念，这样做的目的是更好地与网络服务一致。 2作业管理 的发展 1 . 2 . 1 单机作业管理 在单 一计算机系统中 把用户要求处理的一项工作称为一个作业， 作业由三部 分构成: 程序、 数据和作业说明书。 作业可分为批处理作业和交互式作业两大类。 在计 算机操作系统中 ，作业管理的功能是为用户提供一 个使用系统的良 好环境， 使用户能有效地组织自己的工作流程， 并使整个系统能高效地运行。 通过操作系 统实现作业调度和控制作业执行。 并区分开作业调度与进程调度之间的关系以及 各自的职责。 作业系统块是作业在系统中存在的标志，j c b 内容是作业调度的依据。作 业状态有:进入:后备;运行:完成。进入状态:作业信息正在从输入设备上输 入到输入井， 此时称作业处于进入状态; 后备状态: 当作业的全部信息都已输入， 月 _ 由操作系统将其存放在输入井中，并为作业建立一个 j c b ，此时称作业处于 后备状态;运行状态:一个后备作业被作业调程序选中，分配了必要的资源，调 入内存运行， 称作业处于运行状态。 完成状态: 当 作业正常运行完毕或因发生错 误非正常终止时，作业进入完成状态。 作业调度的主要任务是: 按照某种调度算法， 从后备作业中挑选一批合理搭 配的作业进入运行状态;同时，为选中的作业分配内存和外部设备资源，为其建 立相关的进程;当作业执行结束进入完成状态时，做好释放资源等善后工作。 西北下业大学硕_ 二 学位论文 样， 一切平台及所使用技术的异构性都被屏蔽。 用户访问网 格服务时， 根本就无 需关心该服务是c o r b a提供的，还是. n e t 提供的。 如图2 - 3 所示， o g s a 的三个主要组 件是开放网格服务基础结构、 o g s a 服务 和o g s a 模式。 o g s a 是构筑在w e b 服务之上的。 w e b 服务是 一个基于标准的、 广 泛部署的分布计算模式，它提供了用于描述和调用网格服务的基本机制。o g s a 的核心服务处理主要一些基本问题， 如名字解析、服务发现、安全、策略以及消 .急o 冈阴曰口冈日 g gs a 月 民 芬 : y 3 = 册 、 认 证 、 监 控 、 妻 目 居访 f 7 m 管 理 等 j以 及 其 他 服 芬 we b月 良 务 驻 留 环 境 和 协 议 绑 定 驻 留 环 境协 议 图 1 - 3 o g s a的核心组件 在2 0 0 4 年， 还提 出了w s r f ( w e b s e r v i c e r e s o u r c e f r a m e w o r k ) 5) ， 重 新组 织了o g s i 的概念，这样做的目的是更好地与网络服务一致。 2作业管理 的发展 1 . 2 . 1 单机作业管理 在单 一计算机系统中 把用户要求处理的一项工作称为一个作业， 作业由三部 分构成: 程序、 数据和作业说明书。 作业可分为批处理作业和交互式作业两大类。 在计 算机操作系统中 ，作业管理的功能是为用户提供一 个使用系统的良 好环境， 使用户能有效地组织自己的工作流程， 并使整个系统能高效地运行。 通过操作系 统实现作业调度和控制作业执行。 并区分开作业调度与进程调度之间的关系以及 各自的职责。 作业系统块是作业在系统中存在的标志，j c b 内容是作业调度的依据。作 业状态有:进入:后备;运行:完成。进入状态:作业信息正在从输入设备上输 入到输入井， 此时称作业处于进入状态; 后备状态: 当作业的全部信息都已输入， 月 _ 由操作系统将其存放在输入井中，并为作业建立一个 j c b ，此时称作业处于 后备状态;运行状态:一个后备作业被作业调程序选中，分配了必要的资源，调 入内存运行， 称作业处于运行状态。 完成状态: 当 作业正常运行完毕或因发生错 误非正常终止时，作业进入完成状态。 作业调度的主要任务是: 按照某种调度算法， 从后备作业中挑选一批合理搭 配的作业进入运行状态;同时，为选中的作业分配内存和外部设备资源，为其建 立相关的进程;当作业执行结束进入完成状态时，做好释放资源等善后工作。 西北t业火学硕 l 学位论文 常用的 作业调度算法有( i ) 先来先服务算法:( 2 ) 短作业优先算法; ( 3 ) 最高响 应比 作业优先算法; ( 4 ) 资源搭配算法; ( 5 ) 多队列循环算法。一般采用根据时间 片轮转的作业调度机制。 这种轮转调度的本质实际上是轮流获得使用处理器资源 的权利。对算法的选择要考虑几个日标: ( 1 ) 尽量提高系统的 作业吞吐 量，即 每天处理尽可能多的作业; ( 2 ) 尽量使c p u和外部设 备保持忙碌状态，以 提高资源利用率; ( 3 ) 系统反应时间短， 响应时间 尽量快; ( 4 ) 作业平均周转时间 或加权周转时间短; ( 5 ) 对各种作业公平合理， 尽量使用户都满意。 1 . 2 . 2网络队 列系统 应用的发展始终是作业管理系统发展的动力。自2 0世纪八十年代以来，t 1 1 于 u n i x系统本身的作业管理功能非常有限，当大量的实际应用要依赖于 u n i x 时， 就产生了 对p o s i x标准及u n i x 进行扩展， 使之能够更加有效地支持批处理 作 业管理的要求。这就产生了 最早的 批处理队列系统( b a t c h q u e u i n g s y s t e m ) , 它 的基木思想是不修改 u n i x的核心， 在 u n i x 之上再建立一个子系统， 用户将作业 提交给该子系统， 由 它对作业进行调度和执行， 同时负责系统资源的 有效 利用及 作业控制。 批处 理 队 列 系 统 的 一 个 代 表 就 是n q s ( n e tw o r k q u e u in g s y s te m ) 16 1， n a s a与 其他软件公司合作， 开发出了n q s ， 并将该系统的目 标确立为: ( 1 ) 提供对批处理请求和设备请求的 全面支持。 批处理请求是一个s h e l l s c r i p t , 其 中的命令不需要物理设备的直接服务， 可独立于用户的干预通过调用合适的命令 解释器( 如/ b i n / e s h 和 / b i n / s h ) 来执行。 相反， 设 备请求中的命令需要特殊硬件设备 的 直接服务 ( 如用户作业对打印机的请求) 。 ( 2 ) 支持底层 u n i x核心所实 现的资 源限 制功能， 并将资 源限制与批处理请求和批处理队列相关 联。( 3 ) 支持远程排 队，能 够在运行 n q s 的机器间传送批处理请求和设 备请求。将所有的 作业调度 算法模块化，以 便于作业调度器可以很容易地修改。( 4 ) 支持队列访问限制， 用 来 控制向 某个 特定队列 提交批处理请求和设备请求 ( 对侮个队 列使用 “ 用户 / 组” 访问列表) . ( 5 ) 支持作业执行结果通过网络返回原始机器，任何批处理请求的 s t d o u t 和s t d e r r 文件可以返回到 远程机器上。 ( 6 ) 运行机器间的 帐号映射。 机器h o s t a上的用户u s e r a可以映射到机器h o s t b上的 用户u s e r b o ( 7 ) 可以使用工具方 便地修改n q s 的 配置， 但并 不需要直接修改配置文件。 ( 8 ) 支持 系统状态的操作， 运行一台 机器上的 用户 通过网络获取另一台 机器上的n q s 相关信息，但并不需 要登录到远程的机器上。( 9 ) 为将来实现文件分段传输( s t a g e - i n / s t a g e - o u t ) 提供支 持。 文件分段传输分为文件传人和文件传出。 文件传人指批处理请求开始执行前 作业所需文件必须在执行机器上il k 备好， 批处理请求执行完成后这些文件必须删 除。文件传出指文件从执行机器传送到最终的目 标机器。 n q s系统出 现后，曾得到了 广泛的 应用，并被移植到不同的 系统平台 包 括各种u n i x 系统、 l i n u x 及wi n d o w n t 系统) ， 成为后来作业管理系统研究开 发 的基础a le e e 6 - i t n q s 确立为p o s i x标准的一部分， 即p o s i x 1 0 0 3 . 2 d , b a t c h q u e u i n g e x t e n s i o n s f o r p o r t a b l e o p e r a t i n g s y s t e m . 西北t业火学硕 l 学位论文 常用的 作业调度算法有( i ) 先来先服务算法:( 2 ) 短作业优先算法; ( 3 ) 最高响 应比 作业优先算法; ( 4 ) 资源搭配算法; ( 5 ) 多队列循环算法。一般采用根据时间 片轮转的作业调度机制。 这种轮转调度的本质实际上是轮流获得使用处理器资源 的权利。对算法的选择要考虑几个日标: ( 1 ) 尽量提高系统的 作业吞吐 量，即 每天处理尽可能多的作业; ( 2 ) 尽量使c p u和外部设 备保持忙碌状态，以 提高资源利用率; ( 3 ) 系统反应时间短， 响应时间 尽量快; ( 4 ) 作业平均周转时间 或加权周转时间短; ( 5 ) 对各种作业公平合理， 尽量使用户都满意。 1 . 2 . 2网络队 列系统 应用的发展始终是作业管理系统发展的动力。自2 0世纪八十年代以来，t 1 1 于 u n i x系统本身的作业管理功能非常有限，当大量的实际应用要依赖于 u n i x 时， 就产生了 对p o s i x标准及u n i x 进行扩展， 使之能够更加有效地支持批处理 作 业管理的要求。这就产生了 最早的 批处理队列系统( b a t c h q u e u i n g s y s t e m ) , 它 的基木思想是不修改 u n i x的核心， 在 u n i x 之上再建立一个子系统， 用户将作业 提交给该子系统， 由 它对作业进行调度和执行， 同时负责系统资源的 有效 利用及 作业控制。 批处 理 队 列 系 统 的 一 个 代 表 就 是n q s ( n e tw o r k q u e u in g s y s te m ) 16 1， n a s a与 其他软件公司合作， 开发出了n q s ， 并将该系统的目 标确立为: ( 1 ) 提供对批处理请求和设备请求的 全面支持。 批处理请求是一个s h e l l s c r i p t , 其 中的命令不需要物