（计算机科学与技术专业论文）分布资源管理信息服务的研究与实现.pdf

国防科学技术大学研究生院学位论文 摘要 随着信息技术和各门类学科的发展，一 方面许多应用都需要庞大的资源， 这样的需求难以完全在集中计算环境中得到满足， 使得分布计算环境成为一种潮 流和趋势。 另一方面在基于计算机网络的分布计算环境中， 如果没有很好的资源 管理就不能充分利用资源。 所以， 在分布计算环境中， 对资源的有效管理是一个 关键因素，也是一个急需研究解决的问题。 资源信息服务是一种改善分布资源管理性能的机制，并能够给全局资源管 理和应用开发带来便利。 本课题的研究目 标是建立面向高性能机群系统， 并能面 向全域扩展的资源信息模型，建立一种提供资源信息服务的机制，并在 p b s系 统中实现这种资源信息服务机制。 本文介绍了分布资源管理和资源信息服务的基本概念， 对现有的资源信息模 型的 几 种实 现 方 法 进行了 比 较分 析， 提出了 以目 录的 方式 基于 通 用 信息 模型，c i m 建立资源信息模型的方案，并在 p b s系统中使用这种资源信息模型实现了提供 信息服务的资源信息服务器，最后对加入了资源信息服务器的 p b s系统进行了 性能分析。 关键字: 分布资源管理，资源信息模型，资源信息服务，目 录，机群系统 国防科学技术大学研究生院学位论文 ab s t r a c t wi t h t h e d e v e l o p m e n t o f i n f o r m a t i o n t e c h n o l o g y a n d o t h e r s u b j e c t , m o s t a p p l i c a t i o n s n e e d s o m a n y r e s o u r c e s t h a t i t i s v e r y d i f f i c u l t t o m e e t c o m p l e t e l y i n c e n t r a l i z e d c o m p u t i n g e n v i r o n m e n t , i t m a k e s t h e d i s t r i b u t e d c o m p u t i n g e n v i r o n m e n t t u r n i n t o a t r e n d . o n t h e o t h e r h a n d , i n d i s t r i b u t e d c o m p u t i n g e n v i r o n m e n t b ase d o n c o m p u t e r n e t w o r k , i t i s i m p o s s i b l e t o m a k e f u l l u s e o f r e s o u r c e s w i t h o u t e ff i c i e n t r e s o u r c e m a n a g e m e n t . s o i t i s a k e y f a c t o r a n d a p r o b l e m i n d i r e n e e d o f s t u d y i n g a n d s o l v i n g t o m a n a g e r e s o u r c e s e f f i c i e n t l y i n d i s t r i b u t e d c o m p u t i n g e n v i r o n m e n t . t h e g o a l o f t h i s s t u d y i s t o c o n s t r u c t a r e s o u r c e i n f o r m a t i o n m o d e l t h a t f a c e s h i g h p e r f o r m a n c e c l u s t e r a n d c a n b e e x t e n d e d t o m a c r o c o s m , a n d i m p l e m e n t t h e r e s o u r c e i n f o r ma t i o n s e r v i c e me c h a n i s m b a s e d o n t h i s mo d e l i n p bs . t h i s p a p e r w i l l i n t r o d u c e t h e m a n a g e m e n t a n d r e s o u r c e i n f o r m a t i o n b a s i c c o n c e p t i o n s e r v i c e , a n d a n a l y z e o f d i s t r i b u t e d r e s o u r c e s o m e r e a l i z i n g m e t h o d s o f r e s o u r c e i n f o r m a t i o n m o d e l . i t w i l l b r i n g f o r w a r d a p r o j e c t f o r c o n s t r u c t i o n o f r e s o u r c e i n f o r m a t i o n m o d e l b a s e d o n c i m b y d i r e c t o r y , a n d p r o v i d e t h e m e c h a n i s m o f r e s o u r c e in f o r m a t i o n . s e r v i c e i n p b s b y t h i s r e s o u r c e i n f o r m a t i o n s e r v i c e m e c h a n i s m . a t t h e e n d o f t h i s p a p e r , i t w i l l d o s o m e p e r f o r m a n c e a n a l y z i n g f o r t h e p b s e mb e d d e d r e s o u r c e i n f o r m a t i o n s e r v i c e . k e y w o r d : d i s t r i b u t e d r e s o u r c e ma n a g e m e n t , r e s o u r c e i n f o r ma t i o n mo d e l , r e s o u r c e i n f o r m a t i o n s e r v i c e , d i r e c t o ry, c l u s t e r 第 i v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果 尽我所知，除了 文中特别加以 标注和致谢的地方外， 论又中不包含 其他人已经发表和撰写过的研究成果、 也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任 何贡献均已 在论文中作了明确的说明并表示谢意。 学位论文题目 : 分布资源管理信息服务的 研究与实现 学位论文作者签名:日 期: 2 币 . 3年/ z月2 1 0 日 学位论文版权使用授权书 本人完 全了 解国防 科学技术大学有关保留、 使用学位论文的规定 本人授权 国防科学技术大学可以 保留并向国家有关部门或机构送交论文的复印 件和电子 文 档， 允 许论文 被查阅和 借阅 ; 可以 将学 位论文的 全部 或部分内 容编入有关 数 据 库进行检索，可以采用影印， 缩印 或扫描等复制手段 保存、汇 编学 位论文 ( 保密学位论文在解密后适用本授权书 ) 学位论文 题目 : 分 布资源管理 信息 服务 的 研究与实 现 期期 日日 学位论又作者签名: 作者指导教师签名 -z - 3年h 月2 7 日 妇解; 年1 2月 脚日 国防科学 技 术大 学研究生院学位论义 图 目录 131820器30朋茄朋朋405254书 图2 . 1 分布资源管理的功能_ . . 图2 2 分布资源管理结构图. . . 二_ 图 3 1 c 工 m 核心模型 二 _ . . _. 图3 .2 l dap命名模型. . . . . . . . 图3 . 3 l d a p 逻辑结构图. _._ 图3 4 机群系统资源信息模型扩展图. 图3 . 5 机群系统资源信息模型扩展图二二 图3 .6 机群系统资源信息模型命名模型图 图4 .1 p b s结构图t . . . . . t . 图4 .2 改进的p b s 结构图 . .- - . 图4 .3 资源信息服务器结构图. . . . . t . _ . . 二 图4 .4 资源信息服务器工作流程图. 图5 . 1 作业数量与系统利用率差值关系图 图6 .1 扩展资源信息服务命名模型图 图6 .2 全局资源信息服务器结构图 . . 第 1页 国防科学技术大学研究生院学位论文 表 目录 4950 表 5 . 1 测试作业列表 表 5 . 2 测试结果表 表 5 . 3 测试结果表二 表 5 . 4 测试 结果表三: 一.-一.-.叫.，. 角 n 币 国防科学技术大学研究生院学位论文 第一章 ; 1 . 1 绪论 研究背景 随着应用和需求的发展，航天、生物、军事等领域对计算能力的需求以 近 乎爆炸的速度发展， 而集中计算环境的计算能力己 经很难满足应用和需求的发展 需要。 另一方面， 随着网络和计算机的普及和发展， p c服务器不管是在数量上， 还是在性能和计算能力上都有了很大的提高， 但它们的计算能力并没有被充分利 用。而且，随着网络技术的发展和普及，开放、共享的理念逐渐为人们所接受。 因此， 为了满足应用对高性能计算的需求， 更加充分的利用现有的计算资源， 人 们提出了各种各样的分布计算方案，如机群、元计算、点到点、网格等等，分布 计算环境成为一种潮流和趋势。 在分布计算环境中， 对各种分布资源的管理、 分 配始终是基础， 也是难点和重点。高效、 可靠的分布资源管理方案为高效、 可靠 的分布高性能计算提供有力的保证。 目 前的几十种资源管理系统， 在目 标、结构、功能和实现上各有差异， 从不 同侧面反映了资源管理系统所应具备的特性。p b s , c o n d o r, l s f , l o a d l e v e l e r是当 今颇具代表性和影响力的几种资 源管理系统。 其中p b s , c o n d o r是研究产品， l s f , l o a d l e v e l e r是商业软件。 下面， 我们对这几 种资源管理系统进行简单介绍和讨论。 p b s ( p o r t a b l e b a t c h s y s t e m) l 1 p b s 最初由n a s a的a m e s 研究中心开发， 为了提供一个能满足异构计算网 络需要的软件包， 特别是满足高性能计算的需要。 它力求提供对批处理的初始化 和调度执行的控制， 允许作业在不同主机间的路由。 p b s 的独立的调度模块允许 系统管理员定义资源和每个作业可使用的资源数量，甚至是使用别的调度软件。 调度模块存有各个可用的排队作业、 运行作业和系统资源使用状况信息。 使用它 提供的t c l , b a s l , c三种过程语言，它的调度策略可以很容易被修改，以适 应不同的计算需要和目 标，即 系统管理员可以 方便地实现自己的调度策略。 p b s 的主要特点有: 集中 控制， 统一调度; 代码开放， 免费获取; 支持批处 理、 交 互 式 作 业 和串 行、 多 种并 行 作 业， 如m p i , p v m, h p f , m p l ; 提 供t c l , b a s l , c 三种 过 程语 言， 容易 实 现 新的 调 度策 略; 提 供文 件 传 送 功能， f il e s t a g e - i n 第 1页 国防科学技术大学研究生院学位论文 和s t a g e - o u t ; 满 足p o s i x 1 0 0 3 .2 d 标 准; 支 持 作 业 依 赖;自 动 的 负 载 平 衡; 完 整 的安全认证; 提供了完整的a p i ，方便新的调度器的开发; 提供用户映像功能， 使p b s 能用于用户不一致的系统中 i z l l s f ( l o a d s h a r i n g f a c i l i t y ) 负载共享软件l s f 是由加拿大平台计算公司研制与开发的，由t o r o n t 。 大学 开发的u t o p i a 系统发展而来。 从强大的功能和广泛使用的角度看， l s f可谓是 一个成熟的机群资源管理系统。 在使用范围上， l s f 不仅用于科学计算，也用于 企业的事务处理。用户包括摩托罗拉、美国宇航局 ( n a s a) 、休斯敦飞机公司、 通用电气公司、 斯坦福大学等著名企业与科研团体。 功能上， 除了一般的资源管 理特性外， 它还在负载平衡、 系统容错、 检查点 操作、 进程迁移等方面作了很好 的努力，并力图使之实用化。 l s f的主要特点是: 支持多种操作系统， 包括n t 和wi n 2 0 0 0 : 支持检查点 操作 ( 核心级、 用户级及应用程序级) 和进程迁移;具有高可用性， 消除单一故 障点; 提供了抢占式调度和关键资源保障， 保证紧急作业的调度; 可通过逻辑表 达式创建作业依赖图，提供对依赖性作业的支持;提供了多种调度策略，包括 r e s e r v a t i o n 和b a c k f i l l ;动态的负载平衡与负载监测，负载指标包括节点状态、 运行队列长度、c p u利用率、分页速率、登录用户数、空闲时间、可用交换空 间、 可 用存贮器、 i t m p 目 录下的 可用空间; 提供了 完 整的 负 载共享 库: 具 有强大 的资源管理功能。 l o a d l e v e l e r i l o a d l e v e l e r 是i b m开发的机群资源管理系统。它成功地运行在i b m s p 2 机 群系统上。 l o a d l e v e l e r允许用户在同构或异构的机群系统中提交交互式/ 批处理 作业。除7 i b m a i x操作系统外，它还支持 h p - u x , s g i i r i x , s u n o s和 s o l a r i s 等主流u n i x平台。 在教育、 研究机构、 企业等各行各业， l o a d l e v e l e r 以其灵活高效的特点得以 广泛应用， 例如大规模的仿真、 资源的优化利用、 天气 预报、地震模拟、经济分析等。 l o a d l e v e l e r的主要特点是:系统中心控制;分布的用户服务器;支持 并行/ 串行，交互式/ 批处理作业;对工作站主人的影响小;可定义作业类，优化 调度; 具 有较好的系 统 可用性; 完 整的 文 档; 提供完 整的a p i ;与n q s 兼容。 c o n d o r l4 l c o n d o r是由 威斯康星大学开发的机群资源管理系统。充分利用工作站的 空闲时间 是c o n d o r的 最显 著 特征。 c o n d o r管理的 机群由 网 络中的工 作站 第 2页 国防科学技术大学研究生院学位论文 组成。工作站主人可以自 愿加入或退出。c o n d o r监测网络中所有工作站的状 态，一旦某台计算机被认为空闲，便把它纳入到资源池 ( p o o l )中。在资源池 中的工作站被用来执行作业。当工作站的主人开始使用该工作站时，c o n d o r 便将运行在该工作站上的作业迁移到其它节点上继续运行， 从而避免了对工作站 主人的影响。 所有这些特征并不需要修改底层的u n i x操作系统核心， 只需在用 户级进行，而且不需修改用户程序，只需与c o n d o r提供的库函数重新链接。 c o n d o r的主要特征是:充分利用工作站的空闲时间:用户只需与库函数 重新链接便可利用c o n d o r提供的检查点和进程迁移功能; 对于远程执行的进 程， 本地的执行环境被保留: 工作站主人对该工作站拥有最高优先级和完全的控 制权; 作业保证彻底完成， 不会因为系统的故障或工作站的退出而终止; 本地磁 盘空间不会被c o n d o r作业所占用; 对网络资源、数据传送和检查点操作的有 效监控;对网络资源、c p u的协同调度。 以上各种资源管理系统虽然各有优势，但是可以看出基本都采用单一集中 式全权管理， 使管理的资源规模和种类受限; 各个系统都有自己的一套资源信息 的采集和表示模式， 各个系统之间很难进行互操作: 资源信息的获取基本都是直 接与资源实体打交道， 当系统扩大到一定规模时， 对资源信息的获取会在很大程 度上影响整个系统的效率。 分布、多域环境中的资源通常包括计算资源、存储资源、网络资源、数据 资源等15 1 。 所有这些资源在物理上都是分布和动态变化的， 但为了 让应用程序使 用这些资源就要求它们在逻辑上能够提供统一的服务接口， 并且能够将资源的状 态信息及时传达给管理系统。 为了达到这个目的， 首先就要把各种资源以适合于 计算机理解的方式表示出来， 然后再将这些信息组织好， 并提供合适的接口来支 持使用这些资源的 应用程序获取它们相关的 信息。 由 于资 源的多样性和资源的 数量庞大且分布范围 广， 将遵守一 致的协议来发 布、 使用、 监控资源信息的资源组合在一起形成的一个逻辑单位， 称为虚拟管理 域16 1 。 虚拟管理域的存在有多 种形式， 从工作站、 服务器到机群计算机、 超级并 行计算机甚至是这些的组合都可以是虚拟管理域。 许许多多这样的虚拟管理域的 组合就形成了 一个分布、 多域的环境。 基于多域环境的 应用对资源的请求通常存 在两种形式: 所有请求的资 源位于一个虚拟管理域内 部; 请求的资源分布于多个 虚拟管理 域内 7 1 。 显 然， 对于 这两 种形式， 需 要不同 的 资 源管理服务处理 逻辑。 第一种形式的处理很简单，因为一个虚拟管理域可以自 己 进行资源的 调度管理， 所以 资源管理服务可以 将应用的资源请求直接映射到域内的资源管理。 第二种形 第 3页 国防科学技术大学研究生院学位论文 式请求的多 种资源分布于不同的 域内， 由 于域之间的差别， 使得满足这种多域资 源的协同请求，资源管理服务要解决许多在单域中根本不会涉及的像协同分配、 协同调度这样的问题。 解决分布、 多域环境中的资源管理问题的途径之一是采用 标准的资源信息模型来表示各资源的相关信息， 并采用像目 录这样可扩展的资源 信息组织方式，实现在多域之间共享资源信息。 在由d a r p a ( t h e d e f e n s e a d v a n c e d r e s e a r c h p r o j e c t s a g e n c y) ，u .s . d e p a r t m e n t o f e n e r g y , n s f ( t h e n a t i o n a l s c i e n c e f o u n d a t i o n ) , n a s a ( t h e n a t i o n a l a e r o n a u t i c s a n d s p a c e a d m i n i s t r a t i o n )等机构共同资助，a r g o n n e n a t i o n a l l a b o r a t o r y s ma t h e m a t i c s a n d c o m p u t e r s c i e n c e d i v i s i o n以及u n i v e r s i t y o f s o u t h e rn c a l i f o rn i a s i n f o r m a t i o n s c i e n c e s i n s t i t u t e 承担的g l o b u s 项目中， 对资源管 理和资源信息服务进行了专门的研究， 已经建立了一套通信资源和计算资源的命 名和定位机制并且将要提供对通用信息模型 ( c i m)的支持; 还开发了一套支持 在l d a p 协议的基础上对网格资源信息统一命名的m d s ( m e t a c o m p u t i n g d ir e c t o r y s e r v i c e ) 机 制 8 1 。 但 是 ， 它 现 有 的 资 源 命 名 和 定 位 机 制 还 不 具 有 通 用 性， 也还没有真正实现对通用信息模型的支持， 它的资源信息服务机制也只是在这个 项目中应用。 1 . 2 课题研究内容 本课题主要研究了分布资源管理系统中的资源信息服务问题， 主要包括以下 几个方面: . 资源信息 模型及资源信息服务 设计了能够对全域扩展的面向机群系统的资源信息模型， 并将这些模型以目 录的方式组织了起来， 供系统其他部分获取资源的 状态、 数量等信息， 提供资源 信息服务。 . 资源管理系统与资源信息服务器接口的设计与实现 设计与实现了资 源信息服务器与p b s 系统的 接口， 特别是与调度器的接口。 让调度器在进行调度时， 从资 源信息服务器获取资源相关信息， 且资源信息服务 器能 够从p b s 的各个执行节点获取并及时更新相关的资 源信息。 . 系统性能分析 着重分析了加入资源信息服务器后对资源管理系统整体性能的影响。 . 全局资源调度器相关问题的 研究 一一 194 n1一 国防科学技术大学研究生院学位论义 参考系统性能分析结果，结合局部资源信息服务器的设计和实现， 提出了全 局资源信息服务器的结构和设计思路。 1 . 3 论文结构 本文共分六章。 第一章 绪论，介绍了课题的研究背景和意义，资源及资源管理的概念，提 出了课题的研究目 标，说明了研究的内容。 第二章 分布资源管理，介绍了分布资源管理的基本概念和内容，提出了分 布资源管理的功能， 介绍了分布资源管理的结构， 并结合分布资源管理介绍了资 源信息服务的概念和基本内容。 第三章 基于目录的资源信息模型，介绍了资源信息模型、通用信息模型以 及目录和目录服务的相关概念和内 容，提出了基于 c i m 的机群系统资源信息模 型的实 现思路和实现方法， 描述了 在目 录基础上实 现基子c i m的 机群系统资源 信息模型的具体方法。 第四章 资源信息服务器的设计与实现，介绍了资源信息服务器的基本功能 和组成， 提出了合适的资源信息服务器的结构， 描述了基于目录的资源信息服务 器的设计和实现思路。 第五章 系统性能评测与分析，介绍了所用的测试程序、 测试环境和数据， 说明了测试结果并通过对测试结果的分析得出了相关结论。 第六章 工作总结和展望，总结了课题的主要工作，并对课题后续的发展提 出了自己的看法。 ;1 . 4 本文的研究成果 本文对分布资源管理信息服务的相关技术进行了研究和探讨; 设计了可以对 全域扩展的面向机群系统的资源信息模型; 以 基于目 录的方式实现了 这个资源信 息 模型， 并在 p b s系统中使用这个资 源信息模型实现了 资源信息服务器;使用 n e r s c的测试标准程序e s p 对加入资源信息服务器之后对资源管理系统性能的 影响进行了评测和分析: 以 第一作者身份在 ( 计算机工程 发表论文一篇 ( 见本 文附录) 。 一一 as矛一 国防科学技术大学研究生院学位论文 第二章 分布资源管理 荟2 . 1 分布资源管理的功能 虽然这些年来单机的计算能力一直在不断的进展， 但是单机计算能力的提高 并不直接意味着分布式计算系统能力的提高， 特别系统达到一定规模之后， 对整 个系统资源的有效管理往往是制约整个系统能力的一个关键因素。 分布资源管理 使得将网络上的计算资源整合为一个分布的计算环境， 将网络在效果上变成一个 计算平台成为了现实的可能。 这个计算平台能够对用户实现对底层计算细节的完 全透明， 也就是它能够在用户没有意识到网络上哪台计算机正在被使用的情况下 并发地处理许多用户的工作。 分布资源管理根据分布计算环境提供的资源来分配合适的工作负载。 来自 用 户的需求从顶部流到底部， 底层资源的供应 ( s u p p l y ) 从底层往上传递。 分布资 源管理提供用户需求和底层资源的供应的相互匹配并动态传送相关的工作， 如图 2 . 1 所示: 竹理操们 需求 ， 月 a i 1 ij 和 11r 务 本 一 下 一 一 一 一 一 一 一 产 一 一 一 一 一 一 移 h v v . 图2 . 1 分布资源管理的功能 现在， 分布资源管理为将局域网 甚至是i n t e rn e t 转变为一个透明的 有巨 大能 力的计算平台提供了实现基础 服务并向 用户提供这样的服务 。 而且， 分布资源管理也能将我们的应用变成网络 第 6页 国防科学技术大学研究生院学位论文 为了使得应用能够在基于网络的分布计算环境下运行， 分布资源管理必须提 供的功能如下: . 单系统映像 分布资源管理使得分布的网络看起来像一个具有巨大计算能力的单一系统 并且使得在网络上的所有资源在这个单一映像内 可访问、使用。 . 选择最优的资源和负载的最优分配方式 分布资源管理将工作负载与网络上可用的计算资源进行最佳的匹配， 并且在 远程系统上自 动开始各种应用， 应用完成时自 动结束各种应用。 分布资源管理还 应支持检查点和系统间应用的迁移。 . 远程认证 分布资源管理应能够使用现有的系统认证服务来自 动的将用户登录到远程 系统。 . 输入/ 输出重定向 分布资源管理要能够通过将远程系统的全部输入、 输出和应用程序事件重定 向到用户系统使得对用户而言远程的工作负载和本地的没有区别。 . 不间断的服务 分布资源管理提供w a t c h d o g 服务来确保当 错误出 现时工作能够自 动重启。 分 布资源管理提供在超载或者出现错误的系统上继续工作的能力。 . 分布的资源管理 分布资源管理应该提供管理访问 像数据集、 软件许可这样的分布共享资源的 机制。分布资源管理应该提供对分布共享资源基于优先级的预约和抢先机制。 . 资源监控 分布资源管理要在作业运行时监控它们来保证资源使用在限制的范围之内。 分布资源管理要为以后的性能分析或记账来收集资源使用的相关统计数据。 总之，分布资源管理要使得我们能够将物理上分布的各类资源联合起来， 满 足不断增长的对计算能力的需求，并为用户提供稳定、可靠的服务。 互2 .2 分布资源管理的结构 n p i ( n e w p r o d u c t i v it y i n it i a t iv e ) 2 0 0 1 年 提出 了 分 布资 源管 理 结 构， 该结 构 共包 括五 层， 如 图2 .2 19 所示。 用 户 对资 源的 需 求 从 上 往 下 流 动， 实 际 资 源的 供 应从下往上流。 中间层在需求和供应相互匹 配之后动态传送相关的工作。 每层创 一. 下了责 国防科学技术大学研究生院学位论文 建一个或者更多的 抽象， 传送一个服务的 集合并定义由 标准接口定义语言( i d l ) 定义的开放应用编程接口 ( a p i )。每层都在下一层的基础之上来传送增加了新 内容的服务。 这种分层的模式使得在某一层开发的应用程序能够访问在它之下全 部层提供的应用接口，而不是仅仅只能访问相邻层所提供的应用接口。 需求 动作 i s 七 应 图2 .2 分布资源管理结构图 第 一 层 : 资 源 层( t h e r e s o u r c e l a y e r ) 这层是整个分布资 源管理的基础。在这层中， 代理 ( a g e n t s ) 和底层的操作 系统及其它资源管理者的接口 进行交互。 代理是轻载的分布式接口组件， 它提供 了一个重要的第一层抽象， 对上层隐藏了 一些底层具体的实现细节。 假设在三个 不同操作系统上的代理收到了 “ 运行” 请求，在那些操作环境中如何处理 “ 运行” 请求的细节就包含到代理中， 对发送“ 运行” 请求的高层组件隐藏这些细节。 并且， 这一层实现了能够为其它层提供必需和足够支持的底层功能， 如任何负载管理进 程都需要一个启动作业的方法和获取资源状态信息的途径。 第 二 层单 一 映 像 层( t h e c lu s t e r l a y e r ) 单一映像层通过收集系统中的各种计算资源来形成一个单一系统的映像。 定 义一个包括主机的单一映像的动态信息包括动态系统负载、 系统配置和资源用途 等。 单一映像层能够运用一些参数来标准化不同的系统。 这就允许了对异构环境 的等同处理。 单一映像层也根据需要来提供在一个单一映像内建立执行环境的系 第 8页 国防科学技术大学研究生院学位论文 统原语。例如:对一个包含标准 i / o映射和合适的信号重定向的连续的动态的 连接在用户和主机之间保持。 第 三 层: 执 行 环 境 层 ( t h e e x e c u t i o n e n v ir o n m e n t l a y e r ) 作业是一个在分布资源管理内对一组资源请求的抽象 ( a b s t r a c t i o n )包括批 处理作业、 交互作业和所有这两种的组合。 一个作业是一个调度单位。 这层创建 并监视作业的执行环境， 在作业完成之后释放分配给它的资源。 执行环境层提供 给一个作业的基本需求。 这些需求包括: 标准的接口协议、 对作业的定制工作空 间、 安 全 上 下 文 和 执 行 集 成( e x e c u t i o n in t e g r it y ) 。 第 四 层: 需 求 管 理 层( t h e d e m a n d m a n a g e m e n t l a y e r ) 需求管理层提供作业提交、 资源调度和工作负载处理服务。 这些服务需要完 成在单一映像中可用的主机之间发送工作负载的任务;完成工作流概念的定义; 资源预约等。 这一层包含用来在可用资源集上匹配工作负载的策略和算法， 只要 用户需求超过资源供给就需要排队等待， 调度方案就用来解决在资源供给和用户 需求之间匹配。 调度也要对其它作业特性进行管理和平衡， 这些特性包括作业的 相关性、 资源共享的公平性、 高优先级作业、 小作业集合、 大作业、 交互的独占 作业、作业的灾难恢复、d e a d l i n e 调度和关键路径分析等。 第 五 层: 元 计 算 层( t h e m e t a es c o m p u t in g l a y e r ) 元计算层把各层所有的服务统一起来并将它们组成全局的可用资源网络， 这 些网络正在许多企业内部被创建并用来解决大范围、 分布的计算需求。 这层使得 大规模的计算能力成为可能， 并通过解决元计算的地点、时间、 途径和价格问题 来使得网格计算成为可能。 2 . 3 资源信息服务 资源信息服务是分布资源管理的重要内容， 在上述n p i 的分布资源管理结构 中贯穿始终。 资源信息服务主要应包括资源信息的发现， 资源信息的描述和资源 信息的监视与更新等。 通常， 在资源层发现和监视资源信息， 在单一映像层收集 资源信息， 在执行环境层集合各种需要的资源形成作业执行环境， 在需求管理层 通过资源信息服务获取资源信息。 资源信息服务的目 标是高性能， 规模可扩， 高 安全，一致性好，可表示性强， 功能可扩，多信息来源，动态数据，易于访问， 可配置性好，可分布控制。 为了 提供高效、 可靠的资 源信息服务， 首先要建立资 源信息模型来描述和表 第 9页 国防科学技术大学研究生院学位论文 示资源信息。除了 建立资源信息模型以外，还需合理设计资源信息服务的结构， 以利于在分布的环境中对各个节点资源信息的发现并进行资源注册以及各节点 资源信息的更新。 资源信息的收集和管理不同于以往的系统配置， 不是以在主节 点上配置从节点实现的， 而是由各个从节点向主节点主动注册， 从而在资源信息 库中就包含了系统中可用节点信息， 由于节点状态变化而引起的信息动态变化不 需显式地重新配置主从节点，而是由资源信息服务自 动监控和处理各节点的状 态。 在分布计算环境中的资源通常包括计算资源、 存储资源、网络资源以及本地 资源管理系统的作业、 队列资源等多种类型。 基于分布环境的应用对资源的请求 通常存在两种形式: 所有请求的资源位于一个虚拟逻辑单位内部; 请求的资源分 布于多个虚拟逻辑单位内。 显然， 对于这两种形式， 需要不同的资源管理服务处 理逻辑。 第一种形式处理简单， 因为一个虚拟逻辑单位可以自己进行资源的调度 管理， 所以资源服务可以 将应用的资源请求直接映射到自 身的资源管理。 第二种 形式要求的多种资源分布于不同的逻辑单位内， 由于各逻辑单位之间的差别， 使 得在设计满足这种多域资源协同请求的资源管理服务时将面临以下六个方面问 题的挑战: . 域的自 治。由 于资源分布于不同的管理域内，因此资源的使用策略、调 度策略、安全策略等，在域之间都会存在差异; . 域管理异构。这个问题是域自治的衍生，主要表现为不同的域采用不同 的 本地资 源管理系统， 如 c o n d a r , l s f , p b s , n q e等，即使使用相同 的本地系统，也会存在配置上的不同，从而呈现出功能不同、接口不同、 信息不同等面向上层的异构问题; . 系统可成长性。这个问题应该说是资源调度问题的延展。由于分布计算 环境覆盖多个管理域，而每个管理域都有自己的一套策略，而且新的域 管理结构处于不断的开发中，因此资源管理服务需要在不修改代码的情 况下支持新的域管理结构参与进来。 . 协同分配。多数应用请求的资源分布于不同的管理域，并且需要同步满 足。但是由于域的自治以及存在域内资源分配失败的可能性，因此需要 特殊的基于多域的资源分配机制，用于分配多资源、初始化基于请求资 源的计算及监控和管理这些计算。 . 在线控制。在应用的资源分配过程中，为了在某些域资源分配失败的情 况下，继续完成应用的资源分配，需要提供一种应用和资源管理服务之 一一一一一一川 ， . . . . . . . . . . . . . . . . . . . 种. 第 1 0而 国防科学技术大学研究生院学位论文 间的协商机制，通过这种协商机制更改应用对资源的请求，最终在资源 和应用之间得到满足匹配。 . 协同调度。分布计算环境的每个管理域都有本地的资源调度系统，负责 本地作业的资源分配和排队调度，而多数应用跨多域，要求多域之间子 任务的协同，但是由于多域之间调度不同步或某些管理域调度失败，导 致的应用提交请求的重新处理，目前更多的需要用户的人为干预，或取 消或更改请求重新提交。尤其在多个应用提交到系统中的情况下，以个 体为中心的资源调度将损失全系统的性能，因此资源管理在协同分配和 在线控制的基础上，需要建立一套协同调度机制一元调度系统，用于从 全系统角度出发，合理有效的利用系统资源，提高系统的服务性能。 虽然目 前存在一系列的资源管理系统， 但是没有一个系统能够很好地解决上 述六个问题。 一些批处理作业系统的资源管理系统虽然支持协同分配， 但是不支 持域的自治、系统可成长性和在线控制。例如c o n d a r 支持域自治，但是不支持 协同 分配和在线控制; l e g i o n 和g a l l o p 支持 在线 控制和系统可成长性， 但是不 支持域管理异构和协同分配。 如果在系统中能够提供统一、 可靠的资源信息服务， 就能够为解决分布资源 管理系统中的上述问题提供很大的帮助。 因为存在统一的资源信息服务接口， 所 以对系统资源的管理就可以不涉及每个域的内部资源细节， 只需要与每个域提供 的资源信息服务接口进行交互， 这样就可以屏蔽各个域之间的差异性， 实现域自 治和对异构域的管理。 对系统的可成长性也有相当的帮助， 因为在系统中加入新 的域也可以不涉及它的具体细节， 只需要通过统一的资源信息服务接口 添加新的 资源信息实现对新增域资源的管理。 由于资源信息服务能够使用统一的接口提供 全系统可靠及时的资源信息， 所以能够在全系统内部实现跨域的协同分配和协同 调度。 可见， 统一、 可靠的资源信息服务能够大大改善分布资源管理的性能， 提 高资源管理的效率。 第 i i百 国防科学技术大学研究生院学位论文 第三章基于目录的资源信息模型 3 . 1 资源信息模型概述 信息模型起源于数据库，重点是数据结构的模型化。在数据库中，信息模型 的作用是将域中的信息直接映射到模型中的对象上。 它也拥有发达的用于定义对 象关系和识别冗余数据的技术。 传统信息模型的弱点在于它缺少对服务的定义和 说明， 同时也缺少对属性、 行为和服务封装的显式说明，以 及对关系层次结构的 显式说明。 但是， 随着传统信息模型与对象模型的结合， 现在的信息模型己 经克 服了传统的不能描述属性、 系统行为和服务的弱点， 能够较为完善的描述系统中 的各种元素。 资源信息模型是在信息模型和对象模型基础之上建立起来的对资源 信息和行为的一种抽象。 资 源信息模型不仅仅能够表述资源实体对象和实体对象 的属性， 还能够通过对各个实体对象之间关系的描述来刻画资源实体的各种行为 和服务以及整个资源系统的结构。 3 . 2 通用信息模型c i m d m t f ( d i s t r ib u t e d m a n a g e m e n t t a s k f o r c e ) 提出 的通用信息模型 c i m ( c o m m o n i n f o r m a t i o n mo d e l )是一种用来管理信息和系统的面向 对象的方法。 它将信息模型的经典概念与对象模型结合起来， 吸收了两者的长处， 从而建立了 一个分层的信息模型。c i m 使用面向对象技术来产生系统和部件模型，从而发 展了健壮的对象模型。 对象模型与所使用的操作系统平台和特定的技术无关 ( 如 关系型数据库、对象数据库或者目 录) 。c i m是一个信息模型和对象模型的扩展 物。 通过使用一组类， 它补充了对象模型， 使之具有俘获系统中信息的能力。 这 是因为c i m关心的是管理系统和系统的成份。因为信息模型重点是放在通用的 特征方面，所以d mt f 称这种信息模型为c i m，即通用信息模型。c i m在它的 模型中定 义了 三层结 构 1 0 1 。 分别是 核心 模型、 通用模型和扩展模型。 3 .2 . 1 核心模型 核心模型是抽象层次最高的层，它必须兼容 c i m规范。 核心模型描述信息 第 1 2百 国防科学技术火学研究生院学位论文 模型中适用于所有管理区域的概念。 它由一组类、 属性、 方法和关联构成， 它定 义了 像被管理系统元素m a n a g e d s y s t e m e l e m e n t 和依赖关系d e p e n d e n c y 这样的 抽 象对象，所有的知识域都能使用它们。核心模型也定义了某些普通对象 如: c o m p u t e r s y s t e m , p h y s i c a f l e m e n t 和l o g ic a le l e m e n t ) ， 用以 更详 细 地说明 从 本 质 上来说仍然很普通的行为。比 如， c i m定义了 一个c o m p u t e r s y s t e m的超类， 来 模型化计算出 结果并作出 决策的功能。 这样c o m p u t e r s y s t e m不仅可作为笔记本 电脑和桌面电脑的超类， 也可作为任何拥有计算能力的对象的超类。 如网络中的 路由 器、 交换机等。 它构成了类层次结构和关系层次结构的基础。 核心模型没有 任何具体的实现限制，也就是说它是平台和技术无关的。c i m 核心模型的构成 如 图3 . 1 r i1 所 示 : ci m co r e mo d e l 5 e tt l 阅 c im co 图3 . 1 c i m核心模型 第 t 3 o f 国防科学技术大学研究生院学位论义 3 .2 .2 通用模型 c i m的第二层是通用模型，它定义了针对某些普通领域的概念。这些领域， 尽管从本质上来说仍然是很普通的， 但它比那些使用在更普通的核心领域的层拥 有更详细的知识。目前，c i m已经定义了如下这些通用模型: . 系统模型 ( s y s t e m ) 它定义系统的组件以 及如何组装它们。 这 些组件包括系统、计算机系统、操作系统、文件和处理过程。 . 设备模型( d e v i c e ) . . . 它定义用硬件实现物理设备的方法和建立设 备连接模型的方法，包括大容量存储设备、媒体、感应器、打印机、 电源和其它组件。 . 网络模型 ( n e t w o r k s ) 它定义建立网 络元素和服务模型的物理 和逻辑元素类层次结构的规范， 包括网 络协议模型和网 络系统模型。 . 应用程序 模型 ( a p p l i c a t i o n s )