（计算机科学与技术专业论文）基于资源池的资源聚合关键技术研究.pdf

国防科学技术大学研究生院硕十学位论文 摘要 分布式计算一直是计算机领域的研究热点。随着网络技术及应用的不断发展， 能否为用户提供高质量的服务技术已经成为衡量一个分布式应用是否成功的关键 因素。虚拟计算环境是以互联网为基础，实现资源按需聚合与自主协同的服务平 台。互联网上存在着极为丰富的资源，但由于资源节点所固有的高度的动态性与 自治性，导致系统服务质量较难得到保证。为解决上述问题，本文提出了一种基 于资源池的资源聚合机制。 本文研究了现有分布式计算中的资源聚合方式及服务保障措施，分析了它们 的优势与不足。结合虚拟计算环境自身特点，提出了基于资源池的资源聚合机制。 这一机制的优点在于以资源池取代以往用户所使用的单个资源，即由一定规模的 相似资源协同为用户提供服务。这样，在任务执行的过程中，即使部分节点由于 系统故障、超载等原因中途退出处理任务，用户的服务请求仍能得到及时的处理 和响应，从而实现了在完全自治的资源环境中仍可为用户提供较高的服务质量。 此外，我们还引入了负载均衡策略，优化了资源节点的选择与资源池的构建， 进一步提高了系统服务质量。 为验证算法的有效性，我们对虚拟计算环境中的资源池机制进行了实现，并 进行了实验，结果表明，系统的服务质量得到了较为明显的提高。 主题词：分布式计算，虚拟计算环境，资源聚合，资源池，服务质量 第i 页 国防科学技术大学研究生院硕十学位论文 a b s t r a c t d i s ；t r i b u t e dc o m p u t i n gi s a n i m p o r t a n t f i e l di nc o m p u t e rs c i e n c e w i t ht h e d e v e l o p i n go fn e t w o r kt e c h n o l o g y ，t h eq o sp r o v i d e db yd i s t r i b u t e da p p l i c a t i o n s h a s b e c o m eak e yi s s u ei ne v a l u a t i n gt h e i rq u a l i t i e s t h ei v c e ( i n t e m e t b a s e dv i r t u a l c o m p u t i n ge n v i r o n m e n t ) ，b a s e do ni n t e m e t ，i sas e r v i c ep l a t f o r mw h i c hi m p l e m e n t s o n d e m a n da g g r e g a t i o na n da u t o n o m i cc o l l a b o r a t i o no fr e s o u r c e s t h ei n t e m e th a s b e c o m ea ni m p o r t a n ti n f o r m a t i o ni n f r a s t r u c t u r ew h i c hc a np r o v i d eu n p r e c e d e n t e d a m o u n to fr e s o u r c e s h o w e v e r ，t h er e s o u r c e sa r ei n h e r e n t l yd y n a m i ca n da u t o n o m o u s ， w h i c hm a k e si th a r dt op r o v i d eh i 曲q o si nt h ei v c e t oa d d r e s st h e s ei s s u e s ，a r e s o u r c ep o o lb a s e dr e s o u r c ea g g r e g a t i o nm e c h a n i s ml sp r o p o s e di nt h i sp a p e r w eh a v es t u d i e dt h er e s o u r c ea g g r e g a t i o nm e c h a n i s m sa n dq o sa s s u r a n c e t e c h n i q u e s ，a n da n a l y z e dt h ea d v a n t a g e sa n dd r a w b a c k so ft h ee x i s t i n g d i s t r i b u t e d c o m p u t i n gs y s t e m s t h e nw ep r e s e n tar e s o u r c e p o o lb a s e dr e s o u r c ea g g r e g a t i o n a p p r o a c ht op r o v i d i n gc e r t a i nq o ss u p p o r ti nt h ei v c e r e s o u r c e s a r ea g g r e g a t e di na r e s o u r c ep o o la c c o r d i n gt ot h er e q u i r e m e n to fa p p l i c a t i o n s w i t hr e s o u r c ep o o l ，t a s k s c a nb ec a r r i e do u ts a f e l ye v e nw h e ns o m en o d e sa r es p o n t a n e o u s l yo f f i i n ed u e t os y s t e m f a i l u r e ，o v e r l o a do ra n yo t h e ra c c i d e n t s al o a db a l a n c i n ga l g o r i t h mi sp r e s e n t e dt oo p t i m i z et h es t r a t e g yo fn o d es e l e c t i o n a n dr e s o u r c ep o o lp r o v i s i o n i n g f o rt e s t i f y i n gt h ep e r f o r m a n c e ，w eh a v ei m p l e m e n t e dt h er e s o u r c ep o o lm e c h a n i s m i ni v c e ，a n dt h ee x p e r i m e n t sh a v eb e e nd o n e t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h e s y s t e mq o s i ss i g n i f i c a n t l yi m p r o v e d k e yw o r d s ：d i s t r i b u t e dc o m p u t i n g ，i v c e ，r e s o u r c ea g g r e g a t i o n ，r e s o u r c e p o o l ，q o s 笫i i 页 国防科学技术大学研究生院硕士学位论文 表目录 表2 1 各种交互方式的解耦能力比较3 4 1 1 1 表5 1 主要实验内容4 2 第1 v 页 国防科学技术大学研究生院硕+ 学位论文 图目录 图2 1 五层沙漏体系结构【2 5 】7 图2 2 时间解耦示意刚3 4 】l o 图2 3 空间解耦示意副3 4 】1 0 图2 4 同步解耦示意图【3 4 】1 1 图3 1 自主元素的内部结构示意刚1 1 15 图3 2 虚拟执行体示意图【i 】1 5 图3 3 虚拟共同体示意图【l 】1 7 图3 4 虚拟计算环境体系结构框架示意图吵1 7 图3 5 基于资源池的服务模式1 9 图3 - 6 基于资源池的资源聚合2 2 图3 7 后备模式资源池中节点状态转换2 2 图3 8 基于资源池的服务过程2 5 图4 1o r e 基本构成2 7 图4 2 事件服务的订阅发布事件处理过程2 8 图4 3o w l e t 语言运行支持框架类2 9 图4 4 资源池基础类3l 图4 5p o o la v a i l a b l e 消息处理流程3 4 图4 6p o o le m p l o y 消息处理流程3 5 图4 7p o o lc a n c e l 消息处理流程3 6 图4 8s l a v ea l i v e 消息处理流程3 7 图4 9s l a v ed i e d 消息处理流程一3 8 图5 1 基于o w l e t 语言的素数检查程序中c h e c k e r 角色的实现4 1 图5 2 基于o w l e t 语言的素数检查程序中c l i e n t 角色的实现4 1 图5 3 实验环境架构4 3 图5 4 任务完成成功率4 4 图5 5 未使用负载均衡策略与使用后的性能比较4 5 图5 - 6 负载均衡对系统中节点负载分布的影响( 1 ) 4 6 图5 7 负载均衡对系统中节点负载分布的影响( 2 ) 4 6 第v 页 国防科学技术大学研究生院硕+ 学位论文 图5 8 负载均衡对系统中节点负载分布的影响( 3 ) 4 7 图5 - 9 负载均衡对系统中节点负载分布的影响( 4 ) 4 7 图5 1 0 使用并发执行的资源池模式与后备节点资源池模式的性能比较4 8 第v l 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文题目：基王盗塑迪鲍逢塑苤佥羞毽越盔盟究 学位论文作者签名：型陛垒日期：】弼年月。1 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文作者签名： 作者指导教师签名： 日期：谚年月驰日 日期：耖 年1 2 月瑚 二 国防科学技术大学研究生院硕十学位论文 第一章绪论帚一早三石下匕 1 1 研究背景 随着计算机技术与网络技术的飞速发展与广泛应用，互联网已发展成为现代 社会的重要信息基础设施。人们对网络服务的需求也在不断的发展，互联网给人 们的生活、工作等各方面都带来了巨大的便利的同时，也逐渐暴露出了一些不足 之处，即互联网现在所使用到的资源能力远远小于其实际蕴涵的资源能力。导致 这一现象的一个重要原因就是目前资源组织与服务模式的不合理。如何在这样动 态的、丌放的环境下，实现资源的共享和综合利用，以及在此基础上为终端用户 或应用系统提供和谐、可信、透明的一体化服务正是虚拟计算环境( i n t e m e t b a s e d v i r t u a lc o m p m i n ge n v i r o n m e n t ，简称i v c e ) 的主要目标。构建虚拟计算环境需要 回答的第一个关键科学问题就是如何根据任务需求，运用局部信息，实现资源特 征信息的汇聚、组织和综合利用，形成满足任务需求的相对稳定的资源视图，支 持任务的顺利完成【lj 。 目前，i m e m e t 仅提供“尽力而为”( b e s te f f o r t ) 的服务，使得i n t e m e t 所提 供的服务缺乏明确的时间和可靠性保证。而网络多媒体技术在不断发展，各种多 媒体应用被广泛推广，对i n t e m e t 也提出了新的挑战，以往尽力而为的服务模式已 经不能完全满足新业务的需求。在分布式应用中，q o s 已经成为一个系统评价的 重要指标，也是分布式应用中的研究热点。目前的网格系统对q o s 的支持程度也 不尽相同。如在d a t a g r i d t 2 】中并没有提供q o s 保证，而g l o b u s t 3 j 等系统对q o s 提供了部分支持。在虚拟计算环境( i v c e ) 中，同样面临q o s 的问题，系统是由 互联网上大量的具有高度的自治性的节点组成，在服务过程中如何保证服务质量 是i v c e 研究的重点。在互联网这样复杂的环境下，如何构建相对稳定的资源视图， 并为用户提供透明化、一体化的访问将具有更大的挑战性。 在传统的集群计算技术中，通常以分区为节点组织方式，分区即为一组节点 的集合。用户的并行任务必须在某个分区中运行，且系统并未对分区中所执行的 任务提供额外的保障措施。当分区中某计算节点失效时，则会启动节点隔离操作， 将失效节点从当前系统中隔离，对于原先在此失效节点上运行的任务也只能中断 执行1 4 j 。与集群系统相比较，i v c e 所能使用到的资源要丰富的多，且其资源节点 具有高度的自治性。资源自治性的特点使得在i v c e 系统中用户对额外服务保障措 施的需求更加迫切，而i n t e m e t 上极其丰富的资源又为满足这一需求提供了足够的 可行性和实用性保证。为了支持在i n e m e t 上的资源聚合与协同，i v c e 提出了基于 第1 页 国防科学技术大学研究生院硕士学位论文 自主元素、虚拟共同体、虚拟执行体等概念的系统元模型，提供了相关的基础设 施( 如网络传输、p 2 p 覆盖网、事件服务等) 。同时i v c e 提出了一个面向交互 ( i n t e r a c t i o n o r i e n t e d ) 的程序设计语言o w l e t 作为使用这些基础设施的方式，用 于方便的开发i n t e m e t 上大规模的分布式应用。 1 2 相关工作 在分布式环境下，各节点高度自治且节点数目庞大，如何有效地聚合各类资 源，并使之协同工作，为应用提供高质量的服务，一直是一个研究的热点问题。 下面是对相关工作的简要介绍。 文献【5 】中提出了一种用户驱动的服务聚合方法。对服务进行信息建模，并给 出了基于相似度匹配和领域分类的服务聚合过程，屏蔽服务多样性，并且支持一 定的q o s 要求和协商，简化了用户选择服务时的代价。它的主要贡献是可以更快 速的为用户提供最符合其需求的服务资源，但是对用户请求的实际处理环节的服 务质量保障工作有所欠缺。 w s d r e a m 6 】( ad i s t r i b u t e dr e l i a b i l i t ya s s e s s m e n tm e c h a n i s mf o rw e b s e r v i c e s ) 是一种分布式w e bs e r v i c e 可靠性评估机制。它建立了一个公共的信息 共享平台，为用户提供w e bs e r v i c e 的可靠性评估信息。用户通过平台获取共享信 息的同时，也将自己所了解的w e bs e r v i c e 信息反馈给平台，这样通过平台建立起 了用户间的可靠性信息共享机制。w s 。d r e a m 提供对远程w e bs e r v i c e 可靠性的 精确评估，并可以给出采用不同的副本策略所获得的服务性能测量值。文献【7 】在 w s d r e a m 机制的基础上，通过系统测量与比较，选择出适合特定用户的最优容 错策略，进而使得系统可以自动的为具有不同需求的用户分别提供适合各自应用 请求的容错策略，建立一种动态的w e bs e r v i c e 容错机制，为用户提供高质量的服 务。 文献【8 】中，以i v c ef o rm e m o r y 为背景，提出一种基于聚类的虚拟计算环境 资源聚合方法，并引入物理学中力场与势能理论优化聚类生成算法，将系统中所 有节点分为若干组，使得一个节点在使用远程内存资源时，只需在所处的组内进 行查询即可得到大多数可用资源的信息，从而有效降低了资源聚合的问题规模。 文献 9 】中通过建立一种多层次的资源管理结构( a r m sm l r m ) 提供动态管 理分布式系统资源能力，并以其在船载计算中的实际应用证明了其效果。该系统 拥有较强的故障恢复能力，并确保了高优先级的任务总是可以被优先执行，以达 到资源的有效利用和关键应用需求的及时满足，而且在q o s 方面也提供了一定的 支持。但是由于其应用环境和场合的特殊性，a r m sm l r m 不需要考虑资源节点 第2 页 国防科学技术人学研究生院硕士学位论文 自治性带来的相关问题，因此其实用的范围受到了较大的限制。 文献 1 0 】中针对系统中每个应用的顶峰资源需求之和往往大于系统中的资源 总量的情况进行了分析，提出了一种可以自动计算相应资源调度参数值的方法， 将应用的工作量要求，q o s 约束需求和当发生资源订阅超额时的资源访问q o s 要 求描述作为输入，来计算资源调度参数以最大限度满足用户需求。而在目前的互 联网上，资源总量极其丰富，很少出现资源总量不满足用户要求的状况。使互联 网用户服务质量得不到较好保证的根本原因应该归咎于缺乏合理高效的资源聚合 机制与服务模式。 此外，基于网格的服务质量保障研究也一直被广泛关注。如文献 1 1 】提出了 一套服务网格中的数据副本管理策略和协议，以克服网络高延迟带来的各方面障 碍，实现数据网格中大量分布数据的有效和快速的访问。 对象池模式是与资源池类似的概念，但其实现的目的与资源池有一定的差别。 对象池主要是通过管理有限对象的使用来共享某些稀有资源或某些必须付出昂贵 代价的资源。如在网络中，需要对数据库进行频繁的访问，数据库连接也会被频 繁的建立与关闭，特别是在规模较大的网络中往往会导致服务器的不堪重负。数 据库连接池的方法为数据库服务提供了一种数据库连接的共享模式，大大减少了 系统的总体开销。如c o m m o n s d b c p 就是一个典型的数据库连接池实现。 1 3 本文贡献 目前，互联网中蕴藏着极其丰富的计算、存储与服务等各种资源，而且随着 多媒体等应用的快速发展，人们对网络服务质量的要求也越来越高。采用以往尽 力而为的服务方式是很难满足这方面需求的，而且出现了一方面大量资源空闲， 另一方面用户的服务质量却得不到保证的尴尬局面。 本文围绕基于资源池的资源聚合机制及其在虚拟计算环境中的应用开展研 究，主要工作及贡献包括： ( 1 ) 提出了网络计算中基于资源池的资源聚合机制，该机制能够对网络计算 中的可用资源进行有效聚合，为应用建立一个相对稳定的资源视图； ( 2 ) 设计了资源池机制中的负载均衡算法，并提供了对面向q o s 的资源选择 策略的支持，提高了系统事务处理的整体效率，实现了对具有不同个性化需求用 户的区分服务； ( 3 ) 成功地将基于资源池的资源聚合机制集成到虚拟计算环境平台中，对平 台的服务质量具有较为明显的改善作用。 第3 页 国防科学技术大学研究生院硕十学位论文 1 4 论文结构 整个论文共分为五章，其余各章内容安排如下： 第二章首先介绍当前一些主要的分布式计算，包括各种分布式计算技术的资 源聚合机制与其服务保障机制，接着引入了一些事件服务相关的内容，并着重介 绍了基于内容的发布订阅模式。 第三章首先介绍了虚拟计算环境，包括虚拟计算环境的系统体系结构及基于 自主元素、虚拟共同体、虚拟执行体等概念的系统元模型。接着提出了在虚拟计 算环境中建立基于资源池的资源聚合机制的设计方案，包括资源池的构建，负载 均衡策略的设计和资源池的服务流程设计等。 第四章具体给出了i v c e 中基于资源池的资源聚合机制的实现。首先介绍了 o w l e t 语言运行时环境与事件服务等资源池底层支持技术，接着详细介绍了资源池 基础j a v a 类的详细定义，资源池机制中的消息交互处理流程实现，最后是介绍负 载均衡策略的实现。 第五章为实验与性能分析，包括了实验设计，实验平台介绍，及实验结果分 析。 第六章总结了本文研究工作的主要贡献和不足，并对将来的工作进行了展望。 第4 页 国防科学技术大学研究生院硕士学位论文 第二章分布式计算中的资源聚合 2 1 分布式计算及其资源聚合方式 随着计算技术与网络技术的不断发展，用户对网络资源的依赖也越来越大， 利用传统的网络技术已经不再能很好的满足用户需求，分布式系统应运而生。分 布式系统的产生也带来了其一系列相关技术的研究，如网格、p 2 p 以及w e bs e r v i c e 等。在上述各种技术中，如何有效的聚合系统中的资源为用户提供高质量的服务 一直是研究的热点。 2 。1 1p 2 p 系统 2 1 1 1p 2 p 简介 p 2 p 1 1 2 】( p e e r - t o p e e r ) 即对等网络。p 2 p 技术来源于局域网文件共享，并且在 2 0 世纪7 0 年代中期就已经很流行了，许多用户游戏就是在p 2 p 模式下运作的。早 期的n a p s t e r 系统就是利用p 2 p 技术实现了m p 3 音乐文件在互联网上的共享，从 而引发了对p 2 p 技术的广泛关注。如今p 2 p 技术的应用也已深入人心，如p p l i v e 和b i t c o m m e t 等都是很成熟的应用系统。p 2 p 网络具有下面几个特点： ( 1 ) 对称网络。在p 2 p 网络中，所有的节点都是对称的，没有了服务器和客户 机的区别。所有的节点既是客户机，又是服务器。而且各个节点运行相同 的软件，完成同样的功能。 ( 2 ) 良好的扩展性。p 2 p 网络的规模随着加入节点数的增加而增加，加入的节 点数越多，资源也就越丰富。这也是p 2 p 网络的最重要优势之一。 ( 3 ) 良好的健壮性。p 2 p 网络的结构决定了它高容错与耐攻击的特点。系统中 服务分布在各个节点之间进行，因此部分节点或网络的破坏对整个网络的 影响很小。 2 1 1 2p 2 p 资源聚合 p 2 p 系统按照资源的管理与维护方式不同分为三种类型，即集中目录服务器系 统、结构化p 2 p 系统与非结构化p 2 p 系统。 在集中目录服务器系统中，每个节点在加入时要向集中的目录服务器注册， 同时发布资源状况和任务需求等信息。这种方式的缺点是当系统很大时，由于服 务器负载过重可能影响系统效率，且当目录服务器发生故障时，系统将不能正常 运行，没有较好的发挥出p 2 p 系统的优势。 非结构化的p 2 p 系统采用全分布的方式，没有集中的服务器。将资源的元信 第5 页 国防科学技术大学研究生院硕士学位论文 息分布存储在系统节点上，资源的查找通过节点间的分布式协作进行。然而由于 系统没有良好的组织结构，采用泛洪的方式进行资源查找，很容易造成广播风暴。 结构化p 2 p 系统同样是完全分布的，如c h o r d 13 1 ，c a n e l4 1 ，p a s t r y 1 5 】和 f i s s i o n e 1 6 】等。采用分布式哈希表( d h t ) 技术，较好地解决了在完全分布式环 境罩资源元信息的存储和查找的问题，而且节点负载均衡，可扩展性好，查找开 销较稳定。但也有研究【1 7 】【1 8 1 对d h t 方法在动态的、不可预知的互联网环境中维 护一致的分布式索引的开销问题提出了质疑。 2 1 1 3p 2 p 系统中服务质量的问题 p 2 p 系统可以很好的克服集中服务器失效的问题。但p 2 p 系统自身随着规模 扩大又带来很多问题，如不可连接，孤岛，或者节点失效。这种故障在一些无线 网络中更加明显。有时甚至会由于个别节点的故障影响到与它协同工作的其他节 点，导致整个任务无法继续进行。p 2 p 系统面临的挑战就是它的维护职责是完全分 布式的，每个节点都要来保证这一点。目前，关于结构化和非结构化p 2 p 的性能 优化【1 9 】1 2 0 1 与容错技术【2 1 】一直是大家关注的热点。如将社会特性引入p 2 p 系统来 提高系统查找效率的研究【2 2 j 【2 3 j 。 2 1 2 网格 2 1 2 1 网格简介 网格【2 4 】的起源是由于单台高性能计算机已经不能胜任一些超大规模应用问 题的解决，于是人们想象能否将分布在各地的超级计算机通过广域互联技术组织 起来，共同为用户提供服务，意在求解一些大规模科学与工程计算等问题。网格 的设计初衷为人们提供即取即用的计算资源，希望给用户提供的是与地理位置无 关、与具体的计算设施无关的通用计算能力，就像电力系统一样，用户在用电的 同时不需要关心电力是从哪里来的，或者是采用哪种方式发出来的。它所关心的 是在动态的、异构的虚拟组织中协调资源共享并协同的解决问题【25 。 目前，网格已经远远超出了计算的范畴。除了计算网格以外，数据网格、服 务网格、信息网格和知识网格等将网格应用扩展到了许多方面。它的主要应用领 域有：分布式超级计算、数据密集型计算、分布式仪器系统、远程沉浸和信息集 成等。 2 1 2 2 网格体系结构 五层沙漏体系结构1 2 5 j 【2 6 】是一种影响十分广泛的模型。它的特点是简单，主要 侧重于定性的描述而不是具体的协议定义，容易从整体上进行理解。在五层沙漏 体系结构中，最基本的思想就是：以协议为中心，强调服务与a p i 和s d k 的重要 第6 页 国防科学技术大学研究生院硕士学位论文 性。为此根据与底层具体物理资源的距离，从下到上将网格划分为五层，分别是 构造层( f a b r i c ) ，连接层( c o n n e c t i v i t y ) 、资源层( r e s o u r c e ) 、汇聚层( c o l l e c t i v e ) 和应 用层( a p p l i c a t i o n ) ，如图2 1 所示。重要特点就是“沙漏”形状，其原因就在于各 层协议的数量是不同的。对于最核心的部分，由于要能够既实现上层各种协议向 自身协议的映射，同时实现自身协议向下层其他各种协议的映射，核心协议在所 有支持网格计算的地点都应该得到支持，所以核心协议的数量不应该太多。这样 核心协议就形成了协议层次结构中的一个瓶颈。在五层沙漏体系结构中，资源层 和连接层共同组成这一核心的瓶颈部分。 i 应用层 i 1 l 汇聚层 i l 资源层 i i 连接层 l 二二二二二竺兰竺i 图2 - 1 五层沙漏体系结构【2 5 】 开放网格服务结构o g s a ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) 瞄7 j 是继五层沙漏 结构之后最重要的，也是目前最新的一种网格体系结构，被称为下一代的网格结 构。如果说五层沙漏结构是以协议为中心的“协议结构”，则o g s a 就是以服务 为中心的“服务结构”，实现了对服务的共享。从资源到服务，将资源、信息、 数据等统一起来，十分有利于共享机制的实现，也使得分布式系统管理有了标准 的接口和行为。 2 1 2 3 网格资源管理及服务保障技术 网格技术提供了共享和协调地使用各种不同资源的机制，因此我们能够从地 理、组织上分布的组件中创建一个虚拟的计算系统，这个虚拟的计算系统充分集 成了各种资源以获得理想的服务质量。网格的核心优势在于它能发现、分配并协 调使用网络可以到达的范围内的各种能力，包括网络提供的带宽、存储系统提供 的存储空间以及计算机提供的计算服务等。 在服务网格资源管理系统中，可靠的资源服务选择策略与服务选择的自动执 行也是当今服务网格中的研究热点。现有的网格资源管理系统保障q o s 的技术主 要有：资源预留、自适应、容错机制、q o s 协商和q o s 监测等。资源预留【2 8 】是 指在实际使用资源之前进行必要的接纳测试和预留，使资源使用者在使用过程中 第7 页 国防科学技术大学研究生院硕十学位论文 获得所需的资源能力，并对资源的使用过程提供过载保护。分为确定性和非确定 性预留。自适应是基于反馈原理作出反应，在任务提交阶段不作预留。当检测到 问题后，应用被通知存在问题，系统自适应的采取相应的措施解决问题。q o s 协 商的目的是用户与服务提供者通过协商而在预留、调度以及其他服务参数方面达 成某种协定【2 9 1 。而q o s 监测是通过监测系统资源的使用状况来对服务质量保障 措施提供辅助机制。 目前具有代表性的q o s 保障资源管理架构有g a r a l 3 、g q o s m d l j 和 n i m r o d g 1 3 2 1 等。g a r a 是一个基于g l o b u s 的，面向高端应用的端到端服务质量 应用框架【3 3 1 。提供对c p u 计算能力与网络带宽的提前预留和立即预留，但是由 于它不支持s l a 概念所以无法进行q o s 协商，而且不支持q o s 监控和自适应机 制。g q o s m 是一个面向服务网格q o s 框架，它遵从o g s a ，顺应了面向服务 网格的方向，通过扩充w s d l 和u d d i ，加进q o s 属性类，使得服务发现可以基 于q o s 属性来进行，以满足用户的q o s 需求。并且支持q o s 协商及自适应，但 是用户并不能灵活的定制服务质量需求，对用户的实际需求考虑不够完善。 n i m r o d g 主要是面向计算网格的，而且在用户服务质量需求考虑方面也不够灵 活。 2 1 3w e bs e r v i c e 2 1 3 1w e bs e r v i c e 简介 w e bs e r v i c e 是致力于使用w e b 的标准协议实现服务的互操作和集成。w e b s e r v i c e 以应用程序的形式向外提供一个能够通过w e b 调用的a p i 。而且不同程 序和在不同系统平台上开发出来的程序，都可以相互通信。w e bs e r v i c e s 正成为 企业应用集成的有效平台。用户可以使用互联网中提供的w e bs e r v i c e 构建应用程 序，而不必考虑这些w e bs e r v i c e 是怎样运行的。 2 1 3 2w e bs e r v i c e 资源发布与访问机制 w e bs e r v i c e 以w e b 的开放标准为基础，其中最基本的是h t t p 和x m l 。 但建立完整的w e bs e r v i c e 服务架构还需要更多的支持。如u d d i 、w s d l 和 s o a p 3 钔。 u d d i ( u n i v e r s a ld e s c r i p t i o nd i s c o v e r ya n di n t e g r a t i o n ) 是一种目录服务， 企业可以使用它对w e bs e r v i c e s 进行注册和搜索，将已经发布的w e bs e r v i c e 注 册到管理服务器，以便使用者查询与使用【3 4 1 。 w s d l ( w e bs e r v i c ed e s c r i p t i o nl a n g u a g e ) 是一种x m l 文档，用于描述 w e bs e r v i c e s 以及如何访问w e bs e r v i c e s 。包含详细的接口说明，帮助用户构建 笫8 页 国防科学技术大学研究生院硕+ 学位论文 应用程序【3 4 】。 s o a p ( s i m p l eo b j e c ta c c e s sp r o t o c 0 1 ) 是w e bs e r v i c e 的基本通信协议，可 使应用程序在h t t p 之上进行信息交换。目前的应用程序通过使用远程过程调用 ( r p c ) 在诸如d c o m 与c o r b a 等对象之间进行通信。但是h t t p 不是为此 设计的，r p c 会产生兼容性以及安全问题，防火墙和代理服务器通常会阻止此类 流量。s o a p 是通过h t t p 在应用程序间通信的更好方法，因为h t t p 被所有的 因特网浏览器及服务器支持。它提供了一种标准的方法，使得运行在不同的操作 系统并使用不同的技术和编程语言的应用程序可以相互进行通信【3 训。 目前，关于w e bs e r v i c e 服务质量及容错的研究也很广泛。文献 6 】 7 】提出 一种动态的w e b 服务的容错策略，为用户提供可靠的w e b 服务。文献 6 】提出的 w s d r e a m 机制，通过用户间的协作，可以对远程w e b 服务的可靠性进行精确 的评估，以及对采用不同的副本策略所获得的性能进行测量。文献 7 】在 w s d r e a m 机制的基础上，通过系统测量与比较，选择出适合特定用户的最优容 错策略，进而使得系统可以自动的为具有不同需求的用户分别提供适合各自应用 请求的容错策略，提高了系统的整体服务质量。 2 1 4 分析结论 以上几类分布式计算技术中，一个重要的缺点就是将资源作为被聚合的客体， 尽管通过一定的封装可以达到互联互操作的目的，但是由于资源本身缺乏主动性 特点，导致难以实现系统中资源按需聚合的目标。i v c e 提出了将资源主体化的思 想，通过资源主体化方法与机制使得资源节点以主动交互的方式实现资源的按需 聚合。但是可以肯定的一点是，以上几种系统中有很多设计思想和方法是值得i v c e 吸取和借鉴的。 2 2 事件服务 在分布式网络计算环境中，需要建立一种灵活高效的通讯交互模式为上层应 用服务。如资源的发布，服务的请求和状态信息的传输等，都需要通过通讯机制 来完成。本节主要取材于文献 3 5 】。 2 2 1 事件服务与传统交互模式的比较 传统的消息交互模式种类很多，包括消息传递、远程过程调用、消息通告模 式、共享存储器模式和消息队列模式等。但是与上述方式比较，由于事件服务的 交互方式可以支持多方面的解耦，而这个优点在分布式网络环境中是很重要的， 第9 页 国防科学技术大学研究生院硕士学位论文 因此越来越受到大家的关注，并成为研究的热点。 事件服务的交互方式可以支持发布者与订阅者之间包括时间、空间和同步三 方面的解耦【3 5 】。 ( 1 ) 时问解耦。指进行交互的双方不需要在消息传递的时刻同时处于活跃状 态。如，事件发布者可以在事件订阅者断开连接时发布相关的事件，而且 事件订阅者也可能在发布者已经退出连接后才接收到关于相应事件的通 知。 s u h t n 吨h p r 旦b l i s 吣 l 一 静 毒s u b s c r i 时j p u b l i s h e re v e n ts e r v i c e 图2 - 2 时间解耦示意刚3 5 1 ( 2 ) 空间解耦。指进行交互的双发不需要了解对方的网络地址等详细情况便可 以进行消息通讯。事件发布者通过事件服务发布事件，事件订阅者也通过 事件服务直接获取事件。而且事件发布者一般不保留事件订阅者的索引也 不关心有多少订阅者参与了相应的交互，同样事件的订阅者也不保留发布 者的索引以及有多少发布者参与了相应交互。 s u b s c r i b e r 岂 p u b l i s h e r 图2 - 3 空间解耦示意副3 5 1 ( 3 ) 同步解耦。指事件发布者不需要阻塞的进行事件发布，而且事件订阅者也 第1 0 页 形漶 国防科学技术大学研究生院硕士学位论文 可以在执行一些并发操作的同时，通过异步的方式获得事件通知。发布者 与订阅者不需要以同步的方式产生和接收事件。 p u b l i s h e r s u b s c r i b e r i 图2 - 4 同步解耦示意图【3 5 】 通过实现消息发送方与消息接收方的解耦，可以消除交互双方的外在相关性， 并在很大程度上消除或简化交互双方的协调和同步过程，而使得消息通讯机制更 好的适应分布式环境所固有的异步特性【3 6 1 。表2 1 所示为各种交互方式的解耦能 力比较，结果表明基于事件发布订阅的交互模式在解耦能力的支持方面占有较大 的优势。 表2 1 各种交互方式的解耦能力比划3 5 1 交互方式时间解耦 空间解耦同步解耦 消息传递 否 否消息发送者一端 远程过程调用否否 消息发送者一端 通告模式否否是 共享存储器模式是是消息发送者一端 消息队列是是消息发送者一端 事件服务是是是 2 2 2 基本的事件发布订阅模式 事件订阅者往往只是对特定的事件或事件模式感兴趣，而并非是所有被发布 的事件。对所要订阅事件不同的定义方式导致事件服务可以采用不同的订阅模式 进行服务p 引。 事件服务最基本的实现是比较简单的，即任意一个发布者发布事件后，所有 的订阅者都会被通知，订阅者需要自己对事件进行匹配。这种模式在小规模的应 用环境中可以使用，而在大规模的分布式环境中显然是不适用的。因此，需要进 第11 页 i甲 壁一 竺兰 国防科学技术大学研究生院硕士学位论文 行一定的改进，后来的基于主题与基于内容的发布订阅模式就是建立在此基础之 上的。 2 2 3 基于主题的发布订阅模式 在原有事件服务的基础上，将事件通过关键字定义为不同的主题，事件服务 的发布者与订阅者可以发布或订阅事件到指定的某个主题。主题的概念与组通信【3 7 】 中组的概念非常类似。订阅某主题的事件可以认为是加入了相应的组，而发布关 于某主题的事件就是将事件向相应组的所有成员进行广播。 关于主题描述的一种简单的实现方式就是用一个字符串作为主题的关键字。 在事件处理过程中，平台将此字符串从事件中提取出来，便可获得其对应的主题， 从而实现不同主题事件的区分。 2 2 4 基于内容的发布订阅模式 基于主题的发布订阅模式使用固定的关键字来进行事件匹配，这种方法的最 大缺点就是其表达能力非常有限。因此，后来又有人提出了基于内容的发布订阅 模式，它使用事件的实际内容作为事件订阅描述框架，也就是说，事件的区分不 再需要通过预先定义一些额外的标准( 如：主题名、关键字等) 来实现，而是通 过事件本身的特性来区分。这些用来区分事件的特性可能是事件中数据结构的内 部属性，也可能是事件相关的元数据信剧3 5 】。 事件订阅者是通过一定的筛选规则来进行事件选择的，规则用专门的事件订 阅语言进行描述。通过订阅语言来描述一些约束条件，通常是以属性值和基本的 比较操作符( 如： ，= ，s ，) 组成，而形成事件的筛选规则。在实际中，可以 将几个约束进行逻辑组合，形成组合的订阅规则。甚至有些系统提供了事件关联 功能，可以将几个元事件进行逻辑组合，而订阅者只有在这个复杂的组合事件被 触发时才被通知。 此外还有基于类型的发布订阅模式1 3 引，它的设计思路与基于内容的发布订 阅模式类似。它的优点在于它是使用事件类型及结构将事件进行分类的，这样可 以促进语言与中问件的进一步融合。通过确定结果返回接口的参数类型，可以保 证编译时的类型安全。 2 3 本章小结 采用有效的资源聚合机制与服务保障措施对分布式计算具有十分重要的意 义，因此关于这方面的研究一直被大家广泛关注，特别是各种网络多媒体应用迅 第1 2 页 国防科学技术大学研究生院硕士学位论文 速发展的今天，人们对分布式计算环境中服务质量的要求越来越高。p 2 p 、网格和 w e bs e r v i c e 等为适应用户的需求，都为其特定环境下的资源聚合与服务保障提供 了不同程度的支持。 事件服务为分布式计算系统提供了一种方便高效的交互方式，这也是由分布 式系统本身的特点决定的。以上介绍的各方面技术对虚拟计算环境中资源聚合机 制的研究具有重要的借鉴意义。 第1 3 页 国防科学技术大学研究生院硕士学何论文 第三章i v c e 资源池聚合机制设计 互联网是一个不断成长的开放系统，其覆盖地域不断扩大，大量分布、自治、 异构的资源也在不断更新与扩展。互联网资源的“成长性、“自治性 和“多 样性”等自然特性必然使得资源的管理和使用方式发生重大变化，并给资源的有 效共享和综合利用带来了巨大的挑战。在互联网中，资源共享利用率低 3 8 1 与大量 资源被不合理使用的两大问题并存。研究表现，互联网环境与传统计算机环境存 在本质差别，以往传统的计算机资源管理模式已经不再适用于互联网环境，必须 在概念和方法上寻求新的突破。虚拟计算环境( i n t e m e t b a s e dv i r t u a lc o m p u t i n g e n v i r o n m e n t ，简称i v c e ) 作为一种适合