（计算机软件与理论专业论文）基于soa的企业网格框架设计.pdf

摘要 网格是9 0 年代初提出的新概念，它将分布在不同地理位置的计算资源通过高 速的互联网组成一台超级计算机，实现各种资源的全面共享。网格计算是伴随着 互联网技术而迅速发展起来的，专门针对复杂科学计算的新型计算模式。目前， 网格作为互联网应用的前沿技术，已经得到越来越多企业的关注。随着网格应用 的不断发展，网格计算表现出更多的价值。 作者在理解s o a 与网格理论的基础上，研究企业网格。企业网格充分利用企 业内部的闲置资源，把复杂的科学计算分布到不同的主机上运行，可以为主要的 商务服务减少运行时间和降低运算成本，使现有计算机系统资源利用率大幅度提 高。 本文主要完成的研究工作有以下几个方面： 1 利用集群概念把企业内部闲散的主机组合成一个整体，并为各主机分配角 色。控制机控制整个集群，管理机负责运行服务进程并实现负载平衡，计算机运 行任务。 2 对集群中主机的硬件信息进行搜集，并对这些参数进行统一管理。 3 在集群的基础上研究了资源分配回收策略，这些策略包括：独占策略、共 享策略、借入借出策略、回收策略。 4 深入研究了企业网格软件的各个模块的功能以及流程。 5 在网格软件模块的基础上，研究了企业网格程序设计框架。这个框架包括 客户端程序设计框架，服务端程序设计框架和配置文档框架三个部分。 本文最后用详细的数据与图示分析了本系统的系统吞吐量和c p u 利用率。 关键词：面向服务的体系结构网格网格计算 a b s t r a c t 吼di san e wc o n c e p ti nt h e e a r l y19 9 0 s ，w h i c hu s e sc o m p u t i n gr e s o u r c e si 1 1 d i f f e r e n t g e o g r a p h i c a ld i s t r i b u t i o n t h r o u g hah i # s p e e di n t e r n e tt of o ma s u p e r c o m p u t e rt om a k et u l lu s eo fa l lk i n d so fr e s o u r c e ss h a r i n g g r i dc o m p u t i n gi s a c c o m p 锄e db yt h er a p i dd e v e l o p m e n to fi n t e r n e tt e c h n o l o g ya n di sas p e c i f i c 鹏w c o n l p u t l n gm o d e lf o rc o m p l e xs c i e n t i f i cc o m p u t i n g n o w , 嬲af o r e f r o n tt e c h n o l o g yo f i n t e r a c ta p p l i c a t i o n s ，g r i dh a sb e e np a i dm o r ea n dm o r ea t t e n t i o nb yc o m p a n i e s w i t h t h ec o n t i n u o u sd e v e l o p m e n to f g r i da p p l i c a t i o n ，鲥dc o m p u t i n gs h o w s1 1 1 0 r ev a l u e a u t h o rr e s e a r c h e so nt h et h e o r yo fe n t e r p r i s eg r i db a s e do nt 1 1 e u 玎d e r s t a n d i n go f g r i da n d 鲥dc o m p u t i n g e n t e r p r i s eg r i dd i s t r i b u t e sc o m p l e xs c i e n t i f i cc a l c u l a t i o nt o r u no nd i f f e r e n th o s t sm a k i n gf u l lu s e o fi d l er e s o u r c e so fi n t e r n a lc o m p a n y ，w i t hw h i c h t h eo p e r a t i n gt i m ea n do p e r a t i o n a lc o s t so fm a i nb u s i n e s ss e r v i c e sc a n b er e d u c e d 锄d m u c hm o r eu t i l i z a t i o no f e x i s t i n gr e s o u r c eo fc o m p u t e rs y s t e mc a nb er e a c h e d _ 一 l l a i sp a p e rm a i n l yc o m p l e t e sr e s e a r c hw o r ki nt h e f o l l o w i n ga r e a s 1 u s et h ec o n c e p to fc l u s t e rt of o r maw h o l e c l u s t e rw i t ht h ei d l er e s o u r c ei n i n t e r n a lc o m p a n y ，a n dd i s t r i b u t ed i f f e r e n tr o l e st od i f f e r e n t h o s t s 1 n h ec o n 的lh o s t 例k e s c o n t r o lo ft h ew h o l ec l u s t e r t h em a n a g e m e n th o s t sa r em a i n l y r e s p o n s i b l ef o rt l l e r 如m n gs e 1 p r o c e s sa n dt h el o a db a l a n c i n g t h ec o m p u t e rh o s t e sa r e m a i n l yf o r r u n n i n gt a s k s 2 c o l l e c ta n dt h eh a r d w a r ei n f o r m a t i o n a l eb e e nu n i f i e dm a n a g e d o ft h eh o s t si nc l u s t e r t h e s ep a r a m e t e r s 3 r e s e a r c ho nt h ed i s t r i b u t i o na n dr e c o v e r y s t r a t e g yb a s i co nc l u s t e r ，t h e s e d i s t r i b u t i o ns t r a t e g i e si n c l u d e ：e x c l u s i v es t r a t e g y , s h y i n g s t r a t e g y , b o r r o w i n ga n d l e n d i n gs t r a t e g i e s ，r e c o v e r ys t r a t e g y 4 s t u d yi n - d e p t ho ft h ef u n c t i o n s w e l la sf u n c t i o np r o c e s s e s o fe a c hs o f t w a r em o d u l eo f e n t e r p r i s eg r i d ，a s 5 r e s e a r c ho ns o f t w a r ep r o g r a m d e s i g nf r a m e w o r km o d u l e so nt h eb a s i so f t i l e e n t e r p r i s eg r i d t h i sf r a m e w o r ki n c l u d e st h ec l i e n tf r a m e w o r kf o rp r o g r a m d e s i g 玛 s e r v i c ef r a m e w o r kf o rp r o g r a md e s i g na n dt h ef r a m e w o r k o fc o n f i g u r a t i o nf i l e s f i n a l l y ，t h ep a p e ra n a l y s e st h r o u g h p u ta n dc p uu t i l i z a t i o no ft h es y s t e mi i ld e t a i l u s i n gt h ed a t aa n di c o n k e y w o r d ：s e r v i c e - o r i e n t e da r c h i t e c t u r eg r i d g r i dc o m p u t i n g 西安电子科技大学 学位论文创新性声明 秉承学校严谨的学分和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处， 本人签名： 本人承担一切的法律责任。 日期2 艘星：生丛 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属 本人签名： 导师签名： 笏 日9 仕，牛甩 机 厂 灭加f 密后适用本授权书。 日期 日期 办寸杏f 沙 堡! ! ! ： 第一章绪论 第一章绪论 本章介绍了面向服务的体系结构( s o a ) ，网格和网格计算的定义以及发展。 最后给出论文来源，总结作者的主要工作。 1 1 面向服务的体系结构( s o a ) 1 1 1s o a 的概念和发展 s o a ( s e r v i c e o r i e n t e da r c h i t e c t u r e ) 全称面向服务体系结构或面向服务架构， 是为了满足在i n t e m e t 环境下业务集成的需要，通过连接能完成特定任务的独立功 能实体实现的一种软件系统架构。s o a 是一个组件模型，它将应用程序的不同功 能单元( 称为服务) 通过这些服务之间定义良好的接口和契约联系起来。接口是 采用中立的方式进行定义的，它应该独立于实现服务的硬件平台、操作系统和编 程语言。这使得构建在各种这样的系统中的服务可以以一种统一和通用的方式进 行交互。 目前，国内基于s o a 架构w | e b 服务乜1 集中在一些企业内部，而一些有影响的行 业用户正在搭建其核心业务系统，比如商业领域的流通行业和销售行业。因此当 商业企业需要更好地服务客户，需要更好地与合作伙伴协同工作，并且自己内部 的核心业务之间也需要协同工作时，基于s o a 架构中间件产品就会为这类新的业 务应用提供理想的平台，这种新的应用被称作面向服务的业务应用。 现在，很多商业企业准备开始规划使用这些基于s o a 架构的应用，可想而知， 这些s o a 架构的中间件产品将迅速发展，并在整个i t 行业内获得广泛应用。 1 1 2s o a 的特性和特征 s o a 具有以下特性。第一，s o a 服务具有平台独立的自我描述x m l 文档。 w e b 服务描述语言( w s d l ，w e bs e r v i c e sd e s c r i p t i o nl a n g u a g e ) 是用于描述服 务的标准语言。第二，s o a 服务用消息进行通信，该消息通常使用x m ls c h e m a 来定义。消费者和提供者或消费者和服务之间的通信多见于不知道提供者的环境 中。服务间的通讯也可以看作企业内部处理的关键商业文档。第三，在一个企业 内部，s o a 服务通过一个扮演目录列表角色的登记处来进行维护。应用程序在登 记处寻找并调用某项服务。统一描述，定义和集成( u d d i ，u n i v e r s a ld e s c r i p t i o n ， 基于s o a 的企业网格框架设计 d e f i n i t i o n ，a n di n t e g r a t i o n ) 是服务登记的标准。第四，每项s o a 服务都有一个 与之相关的服务品质( q o s ， q u a l i t yo fs e r v i c e ) 。q o s 的一些关键元素有安全需 求( 例如认证和授权) ，可靠通信，以及谁能调用服务的策略。 s o a 具有以下特征。第一，s o a 具有独立的功能实体。在i n t e m e t 这样松散 的使用环境中，任何访问请求都有可能出错，因此任何企图通过i n t e m e t 进行控制 的结构都会面临严重的稳定性问题。s o a 非常强调架构中提供服务的功能实体的 完全独立自主的能力。传统的组件技术，如n e tr e m o t i n g ，e j b ，c o m 或者 c o r b a ，都需要有一个宿主( h o s t 或者s e r v e r ) 来存放和管理这些功能实体；当这 些宿主运行结束时这些组件的寿命也随之结束。这样当宿主本身或者其它功能部 分出现问题的时候，在该宿主上运行的其它应用服务就会受到影响。s o a 架构中 非常强调实体自我管理和恢复能力。常见的用来进行自我恢复的技术畸1 ，比如事务 处理，消息队列，冗余部署和集群系统在s o a 中都起到至关重要的作用。第二， s o a 有大数据量低频率访问。对于n e tr e m o t i n g ，e j b 或者x m l r p c 这些传统 的分布式计算模型而言，他们的服务提供都是通过函数调用的方式进行的，一个 功能的完成往往需要通过客户端和服务器来回很多次函数调用才能完成。在 i n t r a n e t 的环境下，这些调用给系统的响应速度和稳定性带来的影响都可以忽略不 计，但是在i n t e m e t 环境下这些因素往往是决定整个系统是否能正常工作的一个关 键决定因素。因此s o a 系统推荐采用大数据量的方式一次性进行信息交换。第三， s o a 是基于文本的消息传递的。由于i n t e m e t 中大量异构系统的存在决定了s o a 系统必须采用基于文本而非二进制的消息传递方式。在c o m 、c o r b a 这些传统 的组件模型中，从服务器端传往客户端的是一个二进制编码的对象，在客户端通 过调用这个对象的方法来完成某些功能：但是在i n t e r a c t 环境下，不同语言，不同 平台对数据、甚至是一些基本数据类型定义不同，给不同的服务之间传递对象带 来的很大困难。由于基于文本的消息本身是不包含任何处理逻辑和数据类型的， 因此服务间只传递文本，对数据的处理依赖于接收端的方式可以帮忙绕过兼容性 这个的大泥坑。此外，对于一个服务来说，i n t e m e t 与局域网最大的一个区别就是 在i n t e m e t 上的版本管理极其困难，传统软件采用的升级方式在这种松散的分布式 环境中几乎无法进行。采用基于文本的消息传递方式，数据处理端可以只选择性 的处理自己理解的那部分数据，而忽略其它的数据，从而得到的非常理想的兼容 性。 第一章绪论 1 2 1 网格的概念与发展 1 2 网格 网格阻3 是科学家针对当今的一些科学难题于9 0 年代初提出的新概念。它将分 布在不同地理位置的计算资源包括c p u 、存储器、数据库等，通过高速的互联网 组成充分共享的资源集成，从而提供一种高性能计算、管理及服务的资源能力。 简单地讲，网格是把整个因特网整合成一台巨大的超级计算机，实现各种资 源的全面共享。当然，网格并不一定非要这么大，也可以构造地区性的网格，网 格的根本特征不是它的规模，而是资源共享，消除资源孤岛。 网格的发展有三个主要的趋势。其一是标准化趋势。就像i n t e m e t 需要依赖 t c p i p 协议一样，网格也需要依赖标准协议才能共享和互通。目前，包括全球网 格论坛g g f ( g l o b a lg r i df o r u m ) 、对象管理组织o m g ( o b j e c t m a n a g e m e n tg r o u p ) 、 寰球网联盟w 3 c ( w o r l dw i d ew e bc o n s o r t i u m ) 以及g l o b u s 项目组在内的诸多团体 都试图争夺网格标准的制定权。2 0 0 2 年2 月，在加拿大多伦多市召开的全球网格 论坛g g f 会议上，g l o b u s 项目组和i b m 共同倡议了一个全新的网格标准o g s a 。 o g s a 叫做开放网格服务体系盯1 ( o p e ng r i d s e r v i c e sa r c h i t e c t u r e ) ，它把g l o b u s 标 准与以商用为主的w e bs e r v i c e s 的标准结合起来，网格服务统一以s e r v i c e s 的方 式对外界提供。o g s a 的诞生，标志着网格已经从学术界的象牙塔延伸到了商业 世界中，而且从一个封闭的世界走向了开放的环境中。其二是技术融合趋势。在 o g s a 出现之前，已经出现很多种用于分布式计算的技术和产品。这些技术和产 品都是各行其道、互不兼容的。9 0 年代末，混乱局面终于有望结束，因为此时基 于x m l 的w e b s e r v i c e s 技术开始大行其道。w e bs e r v i c e s 之所以能够迅速走红， 是因为它在各种异构平台之上构筑了一层通用的、与平台无关的信息和服务交换 设施，从而屏蔽了互联网中千差万别的差异，使信息和服务畅通无阻地在计算机 之间流动。w e bs e r v i c e s 鹏1 得到了各大公司的支持，解决方案精彩纷呈，包括：i b m 的w e b s p h e r e 、微软的n e t 、s u n 的s u n o n e 、o r a c l e 的o r a c l e 9 i 、惠普的e s p c a k ， 等等。基于o g s a 之后，网格的一切对外功能都以网格服务( g r i ds e r v i c e ) 来体现， 并借助些现成的、与平台无关的技术，如x m l 、s o a p 、w s d l 、u d d i 、w s f l 、 w s e l 等，来实现这些服务的描述、查找、访问和信息传输等功能。这样，一切 平台及所使用技术的异构性都被屏蔽。其三是大型化趋势。美国政府单在网格技 术的基础研究上，每年投入的经费就高达5 亿美元。美国能源部d o e 支持的科 学网格( s c i e n c eo d d ) 用6 2 2 m b p s 的e s n e t 网格连接了能源部的两台超级计算机， 网格计算能力达到每秒5 万亿次，存储能力达到1 3 千万亿字节；美国国家科学 4 一 基于s o a 的企业网格框架设计 基金n s f 支持的t e r a g r i d 将连接位于五个不同地方的超级计算机，达到每秒2 0 万亿次的计算能力，并能存储和处理近1 千万亿字节的数据。t e r a g r i d 最大特色 是连接网格的专用网络带宽将达到惊人的4 0 g b p s 。 网格是未来1 0 年计算机体系结构、操作系统、用户界面领域最重要的突破性 创新机会。同时，一个趋势是：“性能价格比”正在向“总拥有性能价格比 ( t o t a l p e r f o r m a n c e c o s to f o w n e r s h i p ) 砷1 过渡，与性能表面上看起来无关的因素越来越重 要( 如互操作性、可移植性、安全性、好用性、易管理性、高可用性、易部署性) 。 网格带来的另二个趋势是：除了速度、响应时间、吞吐率等传统指标外，人们正 在提出和使用更靠近用户的服务协议等级n 们( s e r v i c el e v e la g e e m e m ) 、生产力 ( p r o d u c t i v i t y ) 、用户价值( v a l u e ) 等新指标。网格能够从五个方面提高生产力( 生 产率) ，即提高产出和降低成本( 如图1 1 所示) 。 图1 1 网格的收益图 1 2 2 网格的目的和特点 网格计算的主要目的3 是提高或拓展企业内所有计算资源的效率和利用满足 最终用户的需求，同时能够解决由于计算、数据或存储资源的短缺而无法解决的问 题；建立虚拟组织，共享应用和数据，对公共问题进行合作：整合计算能力、存储 能力和其他资源，使得需要大量计算资源的巨大问题求解成为可能；通过对这些资 源进行共享、有效优化和整体管理，能够降低计算的总成本。 首先，分布性是网格的一个最主要的特点n 习。网格的分布性首先是指网格的 资源是分布的。因为网格资源是分布的，因此基于网格的计算一定是分布式计算 而不是集中式计算。网格资源虽然是分布的，但是他们却是可以充分共享的。即 网格上的任何资源都可以提供给网格上的任何使用者。分布是网格硬件在物理上 的特征，而共享是在网格软件下实现的逻辑上的特征。其二，网格的局部和整体 之间存在着一定的相似性，局部往往在许多地方具有全局的某些特征，而全局的 第一章绪论 特征在局部也有一定的体现。其三，对于网格来说，决不能假设它是一成不变的。 原来拥有的资源或者功能，在下一时刻可能就会出现故障或者不可用；而原来没 有的资源，可能随着时间的推移会不断地加入进来。网格的动态性包括动态增加 和动态减少两个方面的含义。网格资源的动态变化特点要求网格管理必须充分考 虑并解决好这一问题，对于网格资源的动态减少或者资源出现故障的情况，要求 网格能够及时采取措施，实现任务的自动迁移，做到对高层用户透明或者尽可能 减少用户的损失网格资源是异构和多样的。在网格环境中可以有不同体系结构的 计算机系统和类别不同的资源，因此网格系统必须能够解决这些不同结构、不同 类型资源之间的通信和互操作问题。最后，网格具有自治性与管理的多重性。网 格上的资源，首先是属于某一个组织或者个人的，因此网格资源的拥有者对该资 源具有最高级别的管理权限，网格应该允许资源拥有者对他的资源有自主的管理 能力，这就是网格的自治性。但是网格资源也必须接受网格的统一管理，否则不 同的资源就无法建立相互之间的联系，无法实现共享和互操作，无法作为一个整 体为更多的用户提供方便的服务。因此网格的管理具有多重性，一方面它允许网 格资源的拥有者对网格资源具有自主性的管理，另一方面又要求网格资源必须接 受网格的统一管理。 1 3 网格计算 1 3 1 网格计算的概念及发展 网格计算n 3 1 是伴随着互联网技术而迅速发展起来的，专门针对复杂科学计算 的新型计算模式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织 成一个“虚拟的超级计算机 ，其中每一台参与计算的计算机就是一个“节点 ， 而整个计算是由成千上万个“节点组成的“一张网格”，所以这种计算方式叫 网格计算。这样组织起来的“虚拟的超级计算机有两个优势，一个是数据处理 能力超强：另一个是能充分利用网上的闲置处理能力。简单地讲，网格是把整个 网络整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、信息 资源、知识资源、专家资源的全面共享。 i n t e m e t 的产生与发展，对人们的思维方式、工作模式以及生活理念都产生了 巨大的影响与冲击。以e m a i l 为主要应用的第一代i n t e m e t 把遍布于世界各地的计 算机用t c p i p 协议连接在起；第二代i n t e r n e t 则通过w e b 信息浏览及电子商务 应用等信息服务，实现了全球网页的连通；第三代i n t e r n e t 将“试图实现互联网上 所有资源的全面连通，包括计算资源、存储资源、通信资源、软件资源、信息资 源、知识资源等 这就是网格计算( g i r dc o m p u t i n g ) 。 6 基于s o a 的企业网格框架设计 网格计算是构筑在i n t e r a c t 上的一组新兴技术，其基础设施一定是基于i p 协 议的宽带数字通信网络，它将改变传统的c l i e n t s e r v e r 和c l i e n t c l u s t e r 结构，形 成新的p e r v a s i v e g r i d 体系结构n 们，这种体系结构将使得用户把整个网络视为一个 巨大的计算机，并从中享受一体化的、动态变化的、可灵活控制的、智能的、协 作式信息服务。目前，网格计算不仅在学术界、研究领域进行着深入的研究与实 验，同时也得到了来自产业界诸如i b m 、h p 、m i c r o s o r 、n 1 v r 、i n t e l 、s g i 和s u n 等各大公司的巨资支持与商业应用开发。 网格计算虽然致力于高速互联网、高性能计算机、大型数据库、远程设备等 连通和“一体化”，但网格计算的根本特征应该是资源共享而不是规模巨大，完全 可以根据需要建造企业内部网格、局域网网格、家庭网格和个人网格，因此网格 计算的应用将非常广泛：卫星图像的快速分析、先进芯片的设计、生物信息科学 研究、超级视频会议、制造业的设计与生产、电子商务、数字图书馆及一般的商 务应用。此外，开发新的应用、集成现有应用、消除信息及资源孤岛也将成为网 格计算责无旁贷的任务。 1 3 2 网格计算的主要技术 网格计算的主要技术口印包括以下几个方面。其一，网格结点。网格结点就是 网格计算资源的提供者，它包括高端服务器、集群系统、m p p 系统大型存储设备、 数据库等。这些资源在地理位置上是分布的，系统具有异构特性。其二，宽带网 络系统。宽带网络系统是在网格计算环境中，提供高性能通信的必要手段。通信 能力的好坏对网格计算提供的性能影响甚大，要做到计算能力“即连即用”必须 要高质量的宽带网络系统支持。用户要获得延迟小、可靠的通信服务也离不开高 速的网络。其三，资源管理和任务调度工具。计算资源管理工具要解决资源的描 述、组织和管理等关键问题。任务调度工具其作用是根据当前系统的负载情况， 对系统内的任务进行动态调度，提高系统的运行效率。它们属于网格计算的中间 件。其四，监测工具。高性能计算系统的峰值速度可达百万亿次秒。但是实际的 运算速度往往与峰值速度有很大的距离，其主要原因在于高性能并行计算机的并 行程序与传统的串行程序有很大差异。而高性能计算应用领域的专家对编程技术 并不擅长，很难充分利用各种计算资源。如何帮助使用人员充分利用网格计算中 的资源，这就要靠性能分析和监测工具。这对监视系统资源和运行情况十分重要。 最后，应用层的可视化工具。网格计算的主要领域是科学计算，它往往伴随着海 量的数据，面对浩如烟海的数据想通过人工分析得出正确的判断十分困难。如果 把计算结果转换成直观的图形信息，就能帮助研究人员摆脱理解数据的困难，这 就要研究能在网格计算中传输和读取的可视化工具。并提供友好的用户界面。 第一章绪论 1 4 1 论文来源 1 4 论文来源和主要研究工作 7 一 本文来源于企业的开发项目，出发点是利用s o a 和网格的理论结合起来，把 企业内部分散的、闲置的资源组合成一个大型的集群，以满足复杂的科学计算的 要求。我们称这个系统为企业网格系统。 企业网格管理系统允许开发者，管理者和使用者在一个被共享的计算机集群 ( 可以想象成一台大型的虚拟机) 内操纵共享的软件和硬件资源。企业网格管理 系统用集群来衡量互相竞争的消费者的资源需求，并动态的分配和回收资源以满 足最重要的商务应用。 这样的网格系统可以为主要的商务服务减少运行时间和降低运算成本，使现 有的计算机系统的资源利用率大幅度提高。 1 4 2 主要研究工作 作者利用集群的概念把企业内部的分散的资源组合在一起，确定主机的角色， 搜集了集群中每个主机的硬件信息，并详细研究了集群的资源分配与回收策略。 最后详细研究了企业网格的程序设计框架。 第二章企业网格框架 第二章企业网格框架 9 本章主要从两个方面介绍企业网格的框架：一是企业网格的功能模型，这个 模型描述了企业网格的功能框架；二是企业网格的客户端服务端体系结构，这个 模型主要从客户端和服务端的流程角度分析企业网格的结构。 2 1 企业网格的功能模型 任何可共享的实体都可以看作是计算资源，可分为物理资源和逻辑资源。物 理资源包括c p u 计算资源、存储资源、外部设备和网络资源等；而像编译器、数 据库系统、操作系统等软件，应用服务及其它知识等资源可以归纳为逻辑资源。网 格是一个包括资源、资源逻辑功能以及对资源的管理等内容的计算与资源环境。 将上述计算资源封装成服务网格n 剐一一具有自主特性和协作特性的网格计算单元 或系统，用于对信息或物理对象进行转换、集成、储存、加工和远程访问。而在 高度动态、分布和异构的计算环境中共享计算资源，网格计算系统必须解决以下 问题：首先，由于网格资源的种类繁多、结构差异较大，存在严重的异构性问题， 需要一些新的方法和机制来屏蔽这种资源异构性；其次，计算环境本身是不断变 化的动态环境，包括网络结点的动态性、资源分配状态的动态性。网格化计算系 统必须能自主、实时监测服务网格的状态与性能，优化计算资源的广域分布特性 决定了网格计算系统需要解决网格系统节点间连接的不可靠性n 、数据移动的延 迟n 剐和服务质量( q u a l i t yo f s e r v i c e s ，q o s ) 等i 口- j 题；再者，由于构成网格的节点隶属 于不同的组织域，跨组织的资源共享与协同必须服从各自治域的安全和管理策略。 为此，提出了图2 1 所示包括r v m 层、资源管理层、应用编程接口层和商业应用 逻辑层等层次的网格计算模型，以及贯穿各层次的端到端q o s 保障机制和安全机 制。 图2 1 企业网格的功能模型 l o _ 一 基于s o a 的企业网格框架设计 网格化计算系统以硬件、系统软件为基础平台，以i n t e m e t 为传输平台，在资 源虚拟层屏蔽了资源的异构性，使得底层计算资源对于上层应用而言，只是一个 庞大的资源池。资源管理层主要负责资源的分配与回收。应用接口层为开发网格 应用程序提供了语言一级的扩展性，使得不同的计算机语言都可以成为开发网格 应用程序。不同的应用领域，有着自己不同的业务模型和应用逻辑，而企业应用 层正是为开发不同领域的应用程序提供支持。 2 2 企业网格客户端服务端交互体系结构 如下图2 2 所示为企业网格的客户端服务端交互体系结构。 图2 2 客户端服务交互体系结构 上图中具体组件的功能和交互接口将在第四章中详细讨论，以下为客户端和服 务端的交互操作步骤： 1 客户端首先注册服务到会话入口 2 客户端向会话入口发起连接 3 会话入口启动会话管理者并获得连接参数 4 会话入口把连接参数返回给客户端，客户端直接和会话管理者通信 5 会话管理者向硬件管理系统申请资源 6 硬件管理系统根据申请提供资源 7 会话管理者通过服务实例管理者开启服务 8 会话管理者在硬件管理分配的资源上运行作业、回收结果 第三章企业网格硬件管理框架设计 第三章企业网格硬件管理框架设计 本章首先介绍企业网格硬件管理的框架和工作流程，接着介绍集群理论和企 业网格的集群的设计，然后介绍了企业网格的硬件管理方式，最后详细剖析企业 网格的集群资源分配策略。 3 1 基本框架及工作流程 3 1 1 网格硬件管理系统的框架 网格硬件管理是一个基于s o a ( s e r v i c e o r i e n t e d a r c h i t e c t u r e ) 的网格平台。 它充分利用网格计算平台的优势，在地理位置分散的站点之间，为所有的关键任 务提供一个单一的管理环境集中分配共享资源。此外，它还可通过改善利用率和 性能( 可按需灵活的添加资源) ，提供更快的运行速度及更出色的s l a ( 服务等级 协议) 管理“引，切实降低企业的i t 总成本。网格硬件管理把信息、分配和执行作 为企业网格体系结构的关键概念和组件。其中信息是指资源的状态和利用率的信 息。分配是指对应用资源的分配，它基于时序技术，遵循用户定义原则。执行是 指应用服务的执行，它用交叉分布异构的体系结构来最大化工作负载提高吞吐量。 目前，众多技术只是单独有效地处理信息和执行组件的行为，没有一个和分配组 件有着全面的交互。为了解决这个问题，网格硬件管理在每个服务器上应用一个 单独的主体管理交互的应用并组织不同领域的企业资源共享。网格硬件管理有丰 富的组成部分，总体框架如下图( 3 1 ) 所示： 图3 1 网格硬件管理系统框架 基于s o a 的企业网格框架设计 3 1 2 网格硬件管理的工作流程 网格硬件管理系统根据可利用的资源、赋予每个资源请求的优先级和当前所 执行的其它资源请求之间的关系来做出分配决定，并提供一组完整的服务来维护 和管理资源。它们包括集群管理、集群配置、服务级别的计划审查、集群控制机 的重定向和控制并分配数据。这些服务组件共同配合完成资源的请求与分配任务。 网格管理系统用多种方法满足消费者的需求，这些方法将在3 4 节中作详细介 绍。管理者或开发者用网格管理系统的接口( 例如s d k 或命令行) 告诉网格管理 系统各种资源需求。网格管理系统首先确定每个消费者需要的资源数量和消费者 的优先级，然后根据优先级分配需求的资源数量( 例如c p u 数量、虚拟机数量、物 理机数量) 。所有这些都是自动完成的。一旦消费者从网格管理系统得到了分配 的资源，消费者就执行自己的标准和策略，并自主地决定如何在分配的资源和工 作量之间平衡。 3 2 1 集群理论 3 2 集群设计 集群啪3 是一组相互独立的服务器在网络中表现为单一的系统，并以单一系统 的模式加以管理。此单一系统为客户工作站提供高性能的服务。在大多数模式下， 集群中所有的计算机拥有一个共同的名称，集群内任一系统上运行的服务可被所 有的网络客户所使用。集群必须能协调管理各分离的组件的错误和失败，并能透 明地向集群中加入组件。一个集群包含多台( 至少二台) 拥有共享数据存储空间的 服务器。任何一台服务器运行一个应用时，应用数据被存储在共享的数据空间内。 每台服务器的操作系统和应用程序文件存储在其各自的本地储存空间上。集群内 各节点服务器通过一内部局域网相互通讯。当一台节点服务器发生故障时，这台 服务器上所运行的应用程序将在另一节点服务器上被自动接管。当一个应用服务 发生故障时，应用服务将被重新启动或被另一台服务器接管。当以上的任一故障 发生时，客户都将能很快连接到新的应用服务上。 3 2 2 企业网格中集群的体系结构 规划你的集群来确定哪个主机属于集群并且确定主机在集群中的角色。一个 集群有一个控制机用来管理集群中剩余的主机。客户程序如果使用集群就必须先 第三章企业网格硬件管理框架设计 和控制机取得交互，然后就可以直接使用集群分配给客户程序使用的资源了。资 源分配机可以自动地在各个互相竞争的资源使用者之间公平分配资源。 一旦集群形成并运行，管理员定义资源标识符和用户，添加资源分配机制， 并且使得集群准备好为客户服务。 图3 2 为集群的体系结构图：其中主机1 、2 、3 、4 为管理机，属于管理资源组。 主机5 、6 、7 、8 、9 、1 0 为计算机，属于计算资源组。在管理机中，主机1 为集群 控制机，主机2 为集群候选控制机，主机3 、4 位普通的管理机。 ( 5 )( 6 ) ( 7 )( 8 )( 9 ) 1 0 图3 2 集群的体系结构图 3 2 3 集群的主机角色及各自的功能 集群中的主机角色口妇可以描述成：集群控制机，集群候选控制机，集群管理 机，集群计算机，集群网络服务器，集群数据库机。默认的，集群的资源数为c p u 数量。 、 一个集群中有一个集群控制机，集群控制机控制集群中剩余的机子。在集群 中任何一个时刻只有一个集群控制机，如果集群候选机被指定，当集群控制机出 现异常后这个选定的候选控制机自动接任控制机的任务并且使任务继续下去。这 个过程叫控制重定向。当集群控制机恢复后，角色会自动转换回去。所有的集群 候选控制机都必须是集群管理机。集群管理机属于管理资源组，这些主机上不会 运行用户的任务，它是用来运行服务进程的比如网络服务器和网络网关服务。集 群控制机和所有的候选控制机都是集群管理机。集群控制机在一个共享文件中共 享配置文件，所以系统还必须有一个所有的集群主机都可以访问到的共享文件。 集群计算机组作为资源分配给每个消费者运行用户的工作。默认的，集群计算机 1 4 基于s o a 的企业网格框架设计 属于计算机资源组。在集群计算机上的资源数量默认为和主机的c p u 数量相同。 集群网络服务器是用来运行集群管理控制台程序的。在一个集群中只有一个网络 服务器。不必指定专门的网络服务器，任何一个集群管理机都可以作为网络服务 器。集群数据库机运行数据库程序，它负责建立会话和作业的报告。 3 2 4 集群的主机状态迁移 l ：o k 状态 主机功能正常并且与系统的通信没有任何故障。状态为“o k 的主机可以接受 新的任务。 2 ：u n a v a i l a b l e 状态 当在主机上一个或更多的后台程序运行失败或者它与系统的通信出现故障时， 主机处于“u n a v a i l a b l e 状态。处于此状态的主机不可以接受新的任务。 3 ：c l o s e d 状态 当集群管理者把主机关闭或者锁定时，主机就处于“c l o s e d 状态。当集群管理 者要升级软件或者进行错误检测时可以把集群中的某个主机关闭。当主机的资源 回收被启动并且主机没有空闲时间时，注意也会处于关闭状态。处于“c l o s e d 状 态的主机不可以接受新的任务。如果主机已经被某个消费者占用并且有作业正在 运行时，系统会根据配置给主机一段时间把当前运行的作业运行完毕，当配置时 间到达时系统会立刻回收资源。一旦主机资源被回收，它不会接受新的任务。 下图( 3 3 ) 为主机状态迁移： 图3 3 主机状态迁移图 表致 近佑 第三章企业网格硬件管理框架设计 3 3 硬件管理 3 3 1 硬件管理的方法及组件模型 网格硬件管理系统中包括许多服务模块，每个模块代表主机上的一个进程。硬 件管理正是用主机上启动的进程完成具体的任务，这也是硬件管理使用的主要的 方法。这些模块共同配合完成资源信息的收集和服务的执行工作。这些服务模块 包括：k p 、s c p 、i m p 、e i m p 、m e i m p 、m i m p 、p e m 、p i m 。 他们之间的关系如下图3 4 所示 图3 4 组件之间的关系 3 3 2 内核进程( k p ) 在一个集群中只有一个内核进程，它运行在集群控制机上。它启动服务控制 进程( s c p ) ，维护安全策略，允许经过授权的访问，维护资源分配策略，并相应 的分配资源，提供信息服务用于客户机程序查询集群的信息。 内核进程是由i m p 自动启动的，i m p 退出后内核进程随即退出。 3 3 3 服务控制进程( s c p ) 服务控制进程是运行在内核进程上的第一个服务进程。它作为一个启动机制 去启动集群中的其它的服务，也监控并恢复其它的服务。当内核进程启动后，服 务控制进程根据配置文件的配置信息启动其他的服务进程。 服务控制进程作为内核进程的一个客户进程，为正在运行的服务请求资源并 1 6 基于s o a 的企业网格框架设计 控制这些服务的活动。它保证所有的服务在运行中都可以探测故障并按照服务配 置文件的控制策略参数配置并重启服务实例。服务控制进程是由内核进程自动启 动的并且当内核进程退出时自动退出，在一般情况下不需要手工启动。 3 3 4 信息加载( i m p ) 集群中每个主机都运行一个信息加载服务在所有的集群控制机的i m p 列表 中选出一个进程作为信息加载管理进程( m i m p ) ，这个m i m p 运行在集群控制机 中m i m p 从另外的i m p 接受各个主机的负载信息并为每个主机提供服务 i m p 在每个集群主机中启动p e m ，为内核进程提供配置信息，监控负载并且为 内核进程和用户提供主机的负载数据。 m i m p 在集群控制机上启动内核进程和p e m 非集群控制机的i m p 监控控制机 上的m i m p 的状态，如果控制机上的m i m p 为不可用状态，他们会重新选择一个i m p 作为m i m p 。在集群的所有主机中的i m p 共同完成集群的负载信息收集并且把收集 到的负载信息传递出去。负载信息以负载指标的形式收集的。 e i m p 负责收集这些指标，我们可以配置e i m p 收集所有的这些指标，也可以为 每个指标分配一个e i m p 专门负责监控或者为几个指标分配一个e i m p 。e i m p 会每 隔一个固定的时间向m e i m p ( m a s t e re i m p )