（计算机软件与理论专业论文）基于企业网格的应用程序框架模型.pdf

摘要 现在，有很多应用程序框架，它们可以让应用程序充分利用网格技术。大部 分应用程序框架模型都非常相似：为了实现更好的吞吐量，大部分模型都可以根 据需要为任务添加网格节点( 服务器资源) 。 通常，规划和设计计算能力需求的工作都是根据峰值需求进行的，从统计结 果来看，实际的利用率不过是6 0 9 6 左右。利用这些尚未使用的计算能力这 正是本论文的主要研究目标之一就可以为那些已经购买了大量大型服务器 的组织带来经济上的回报。 另外，在网格计算过程中，由于其复杂的计算环境，可能会遇到各种各样的 错误或异常如网络故障。如果能够在发生这些情况前，能够为相应出现的情况定 义处理的代码，那么会给网格计算带来很大的灵活性和健壮性。这是本论文的另 一主要研究目标。 本文首先介绍了网格计算的概念、特点和目的。分析了实现网格计算的核心 问题，建立了一个基于企业应用的网格模型。并在此基础上，提出了基于企业网 格的应用程序开发模型。通过此模型，针对在网格计算过程中可能遇到的错误和 异常，研究了应用程序的异常处理机制。 本文在最后对建立的网格模型进行了测试，并对测试结果进行了分析。 关键词：网格网格计算r v m a b s t r a c t n o w ，t h e r ea r em a n ya p p l i c a t i o n sf r a m e w o r kt h a tt h e yc a nt a k ef u l la d v a n t a g eo f t e c h n o l o g yo fg r i d m o s ta p p l i c a t i o n sf r a m e w o r km o d e l sa r ev e r ys i m i l a r i no r d e rt o a c h i e v eb e r e rt h r o u g h p u t ，m o s tm o d e l sc a nb ea d d e dg r i dn o d e s s e r v e rr e s o u r c e sa s n e e d e d n o r m a l l y ，d e m a n d so np l a n n i n ga n dd e s i g n i n gc o m p u t i n gc a p a c i t ya r eb a s e do n t h ew o r ko fp e a kd e m a n d f r o mt h es u r v e yr e s u l t s ，t h ea c t u a lu t i l i z a t i o ni sa r o u n d6 0 p e r c e n t h o wt oi m p r o v eu t i l i z a t i o no fc o m p u t i n gp o w e r i ng r i d - c o m p u t i n gi so n eo f t h em a i nr e s e a r c ho b j e c t i v e so ft h i sp a p e r i tw i l lb r i n ge c o n o m i cr e t u r n s t ot h o s e o r g a n i z a t i o n sw h i c hh a v eb o u g h tal a r g en u m b e ro f s e r v e r st h a th a v eg o o dp o w e r i na d d i t i o n ，i nt h ep r o c e s so fg r i d c o m p u t i n g ，b e c a u s eo fi t sc o m p l e xc o m p u t i n g e n v i r o n m e n t ，av a r i e t yo fe r r o r so ra b n o r m a l i t i e ss u c ha sn e t w o r ke r r o rm a yh a p p e n i fw ec a nd e f i n et h eb e h a v i o rb e f o r et h e s ee v e n t sh a p p e n ，t h e nt h eg r i dw i l lo b t a i ng r e a t f l e x i b i l i t ya n dr o b u s t n e s s t h i si sa n o t h e rm a j o rr e s e a r c ho b j e c t i v eo f t h e p a p e r i nt h i sp a p e r ，a tf k s t ，w ei n t r o d u c ec o n c e p t 、c h a r a c t e r sa n dp u r p o s eo fg r i d c o m p u t i n g ，t h e na n a l y z ek e yp r o b l e m so fi m p l e m e n t i n gg r i d - c o m p u t i n g a n dp r e s e n ta g r i dc o m p u t i n gm o d e l a n do nt h eb a s i so ft h i s ，w er a i s eaa r c h i t e c t u r em o d e lo f a p p l i c a t i o nb a s e dg r i dc o m p u t i n go fe n t e r p r i s ea n dd i s c u s st h es y s t e mo f e r rh a n d l i n g w h e ne r r so re x c e p t i o n sh a p p e ni nt h ep r o c e s so fg r i dc o m p u t i n ga c c o r d i n gt o t h e m o d e l a tl a s t ，w et e s tt h eg r i dm o d e la n da n a l y z et h er e s u l t k e y w o r d s ：g r i dg r i d c o m p u t i n gr v m 西安电子科技大学 学位论文创新性声明 秉承学校严谨的学分和优良的科学道德，本人声明所呈交的论文是我个人在导 师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注 和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果； 也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明 并表示了谢意。 申请学 本人签名： 之处，本人承担一切的法律责任。 日期2c 2 乜翌，三王 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位 本人签名： 导师签名： 解密后适用本授权书。 日期2 鲤翌，互。互 日期竺亟! 璋一 第一章绪论 第一章绪论 1 1 网格技术的发展 随着科学技术不断高速的发展，人们研究的事物变的越来越复杂，对计算能力 的要求也就越来越高。超级计算机和分布式计算系统从某种程度上已经极大的缓 解了这种压力，可是很多领域却没有能力配备足够的高端服务器。 于是，人们开始拓展分布式系统的概念，使分布在世界各地的超级计算机通过 广域互联技术将它们的计算能力像电力资源一样输送到每一个用户，人们可以通 过这种方式方便的求解一些大规模科学与工程计算等问题，这就引出了“网格计 算 这一全新的技术。 2 0 世纪9 0 年代初，根据i n t e m e t 上主机大量增加但利用率并不高的状况，美 国国家科学基金会( n f s ) 将其四个超级计算中心构筑成一个元计算机，并逐渐发展 到利用它研究解决具有重大挑战性的并行问题。元计算的目的是通过网络连接强 力计算资源，形成一个超级计算环境，获得前所未有的处理能力，用于解决诸如 飞行器数字模拟、核爆炸模拟、天体运行模拟和虚拟现实等十分复杂的科学和工 程问题。 网格计算【l 】则更系统的描述了这个概念，它通过网络连接地理上分布的各类计 算机( 包括机群) 、数据库、各类设备和存储设备等，形成对用户相对透明的虚拟 的高性能计算环境。网格计算的主要应用包括了分布式计算、高吞吐量计算、协 同工程和数据查询等诸多领域。这种出要处理复杂计算的网格被称为“计算网格 【l 】 a 随着研究的深入，网格的应用领域开始不断扩展。这是由于网格不但带来了超 强的计算能力，而且它使世界各地的资源有机的结合在一起。应用网格技术，可 以消除信息孤岛，使人们能够更加智能的分享信息资源，相对于“计算网格 我 们称这种网格为“信息网格”。w e b 服务更是将网格同商业领域联系到了一起，这 种网格将i n t e m e t 上的资源整合成一台超级服务器，有效地提供内容服务、计算服 务、存储服务、交易服务等。这种技术尽量利用了现有的i n t e m e t 和w e b 技术， 以便用最低的成本提供最有力的服务。网格模式已经发展为连接和统一各类不同 远程资源的一种基础结构。 由于网格技术的诸多优越性，己被称为继i n t e m e t 和w e b 之后的“第三代信 息技术【2 j ，。世界各国都看到了网格技术的巨大发展潜力，纷纷投入大量资金，启 动大型网格研究计划。与此同时，商业界也看到网格将带了的巨大商机，对网格 三 西安电子科技人学硕十论文一基于企业网格的应用程序框架模型 技术的发展提供了大力的支持。 美国政府用于网格技术的基础研究经费达5 亿美元。美国军方正规划实施巨型 网格计划一“全球信息网格”，预计2 0 2 0 年完成。欧洲的重点则是由欧洲原子能 机构( c e i ) 研究的数据网格( d a t ag r i d ) 项目，这个项目可以为全世界各地的科学 家提供轻松获取数据的捷径，同时也会开创一个科学协同研究的新时代。 各主要i t 厂商也积极开展网格计算的研究开发。s u n 发布了网格引擎( g r i d e n g i n e ) 开放源项目，还推出了g r i de n g i n e s u no n e 解决方案，提供了在网格环 境下密集计算、在s u no n e 环境下进行数据存储，以及通过易用的基于w e b 的图 形用户界面来访问这些数据的能力。与此同时，i b m 宣布在网格计算领域投资4 0 亿美元，在全球建设4 0 家数据中心，并建立由5 0 台服务器组成的实验网络。h p 、 m i c r o s o f t 、c o m p a q 等公司也分别参与了网格技术的研究工作中。 但是迄今为止，网格计算还没有正式的标准。但在核心技术上，相关机构与企 业已达成一致。由美国a r g o n n e 国家实验室与南加州大学信息科学学院( i s i ) 合作 开发的g l o b u st o o l k i t 已成为网格计算事实上的标准，包括e n t r o p i a 、i b m 、 m i c r o s o f t 、c o m p a q 、c r a y 、s g i 、s u n 、v e r i d i a n 、f u j i t s u 、h i t a c h i 、n e c 在内的 1 2 家计算机和软件厂商已宣布将采用g l o b u st o o l k i t 。作为一种开放架构和开放 标准基础设施，g l o b u st o o l k i t 提供了构建网格应用所需的很多基本服务，如安全、 资源发现、资源管理、数据访问等。目前所有重大的网格项目都是基于g l o b u st o o k i t 提供的协议与服务建设的。 在我国，从1 9 9 9 年底到2 0 0 1 年初，中科院计算所联合国内十几家科研单位， 共同承担了“8 6 3 重点项目一“国家高性能计算环境( n a t i o n a lh i g hp e r f o r m a n c e c o m p u t i n ge n v i r o n m e n t ，简称n h p c e ) 的研发任务。该项目的目标是建立一个 计算资源广域分布、支持异构特性的计算网格示范系统，它把我国的8 个高性能 计算中心通过i n t e r n e t 连接起来，进行统一的资源管理、信息管理和用户管理， 并在此基础上开发多个需要高性能计算能力的网格应用系统。 1 2 课题的来源 本课题来源于企业的产品开发项目。 现在是网格发展的初期阶段，存在很多的问题。网格其实可以看作一个超大 的分布式集群计算环境，不同的单处理机具有不同的计算能力，合理有效的利用 各种资源，提高对现有资源的有效利用率，使得每个机器都能够有适当的任务负 载量，充分发挥其作用。软硬件技术的发展使得在不断增长的大规模分布式资源 集合上部署并行应用程序成为可能。随着网格的兴起，对基于企业网格的应用程 序的开发模型研究成为很活跃的区域。现在，有很多应用程序框架，它们可以让 第一章绪论 3 一 应用程序充分利用网格技术。大部分应用程序框架模型都非常相似：为了实现更 好的吞吐量，大部分模型都可以根据需要为任务添加网格节点( 服务器资源) 。 由于不能充分得到利用，有大量的计算能力都被浪费了。通常，规划和设计 计算能力需求的工作都是根据峰值需求进行的，从统计结果来看，实际的利用率 不过是6 0 左右。利用这些尚未使用的计算能力_ i 塞正是本论文的主要研究 目标之一就可以为那些已经购买了大量大型服务器的组织带来经济上的回 报。 另外，在网格计算过程中，由于其复杂的计算环境，可能会出现各种各样的 错误和异常如网络故障。如果能够在发生这些情况前，能够为相应出现的情况定 义处理的代码，那么会给网格计算带来很大的灵活性和健壮性。这是本论文的另 一主要研究目标。 1 3 研究的动机和意义 八十年代，信息技术得到快速发展，出现了第一波大潮，主要表现在p c 和局 域网的普及使用。与此对应，出现了区别于原来大型机单层模式的胖客户n 务器 计算模式，将大量业务逻辑迁移到客户端运行，并逐渐成为主流。九十年代，随 着因特网上以万维网技术为基础的商业应用的大规模普及和分布计算技术的成 熟，出现了信息技术的第二波大潮，中间件技术得到广泛应用，胖客户n 务器计 算模式逐渐向瘦客户服务器或零客户的浏览器服务器计算模式过渡，业务逻辑 则迁移到中间件中运行。 然而，无论客户服务器两层计算模式还是浏览器服务器多层计算模式，其共 同特性都是服务器仍然必须分布在局域网中。现有的分布计算环境往往要求服务 器位置相对固定，网络连接基本稳定，服务资源开放且容易获得，整个环境采用 统一的管理策略，即是一个自治系统。这些要求限制了整个环境的计算能力，因 为每次计算只能使用单一组织的有限资源。由于计算能力不足，现有的分布计算 环境对于许多应用类型，例如巨大挑战问题，往往难以支持。当前解决此问题的 方法有两种，一是在传统的分布计算环境中配备大量固定的计算资源，但其成本 非常高，对大多数应用而言不值得；二是外包给配置有这些昂贵计算资源的高性 能计算中心进行，但这毕竟很不方便。 目前，信息产业在全球处于低潮，媒体将世界信息产业界2 0 0 0 年开始的这一 波疲软称之为“因特网泡沫破灭 。然而，在美国和欧洲，越来越多的计算机研究 人员、企业和风险投资者拒绝接受这一观点。相反，他们认为目前的低迷实际上 是计算机工业下一个黄金时代的起点，信息产业的第三次浪潮正在孕育中，以克 服目前的分布计算技术的局限性。 4 西安电子科技大学硕士论文一基于企业网格的应用程序框架模型 第三次浪潮试图克服目前的分布计算技术要求服务资源必须来自于单一组织 的约束，以实现因特网上所有资源的全面联通，包括计算资源、存储资源、通信 资源、软件资源、信息资源、知识资源等等，最终实现网络虚拟环境中的资源共 享和协同工作，消除信息孤岛和资源孤岛。换句话说，相应的分布计算环境不再 要求各种服务资源位于单一组织拥有和管理的同一个自治系统中，参加协作计算 的各方构成一个虚拟组织，可以使用跨越多个自治系统的资源，协同完成工作。 虚拟组织需要的是一个非常富有弹性的共享关系。共享的时间、共享的权限、 资源的数量都会不断地发生变化。而现有的技术，要么在共享配置的灵活性上， 要么在共享资源种类上不能完全满足虚拟组织的需要。区别于现有的分布计算技 术，支持上述虚拟组织的分布计算技术称为网格计算技术，即分布计算涉及的资 源可以跨越大至整个因特网的广域网范围，这些资源可能分别属于不同的自治系 统。网格计算技术的产生和发展必须具备以下三个基本条件：计算资源的广域分 布，网络技术( 特别是因特网技术) 的发展以及不断增长的对资源共享的需求。 目前，因特网技术的飞速发展和普及使得这三个条件已基本具备，从而使得对网 格计算技术的研究成为目前信息技术研究领域中最重要的课题之一。不仅全球的 学术界已开始进行大量相关的研究，最近各国政府和企业界也已开始介入，以推 动网格计算技术普及，进而大规模商用。美国福布斯杂志的科技版( ( f o r b e s a s a p 曾在9 1 1 恐怖袭击事件的前一天发表一组文章，在分析计算机技术的历史 和近几年的发展趋势后指出“信息技术的下一波大浪潮将在2 0 0 4 2 0 0 5 年度出现。 这个大浪潮将极大地改变我们的工作和生活，到2 0 2 0 年，由此产生的因特网将成 长为一个2 0 万亿美元产值的大工业。” 因此，对网格计算技术进行深入而广泛的探索，无论从技术本身或应用价值方 面都有非常重要的意义。首先，在技术方面，服务资源动态分布在多个异质的自 治系统中的网格计算对于现有单一、静态的分布计算环境是一种挑战，其对动态 性、异质性、可伸缩性、多管理域和安全性等的需求将引发若干亟待解决的新问 题。其次，如前所述，研究的相应成果具有最终转化为巨大商业价值的潜力，可 以极大地提高资源利用率，解决许多以现有技术无法解决的问题或无法支持的应 用。 本文的工作是研究基于企业网格的应用程序框架模型。首先，建立了一个网格 应用模型，并在此基础上，提出了基于企业网格的应用程序开发模型。最后，通 过此模型，针对在网格计算过程中可能出现的错误和异常，研究了应用程序的异 常处理机制。 第一章绪论 1 4 论文的创新之处 论文在结合大量的研究基础上，提出了以下三点创新： 1 结合企业应用，设计了可应用于企业的网格系统。 2 在建立的网格模型基础上，对网格应用程序框架模型进行了研究。 3 对设计的网格系统，搭建了网格集群，并进行了实际测试。 1 5 论文的组织结构 本论文分为六章。 第一章为绪论部分。简要的介绍了网格技术的发展，之后从课题的来源出 发，描述了课题的研究动机和意义。 第二章为网格介绍。介绍了网格的概念，网格计算的目的、核心问题和网 格的特点。从而全面介绍了网格的概念。 第三章为网格体系架构。阐述了网格体系架构的概念，描述了最流行的三 种体系架构：五层沙漏结构、开放网格服务体系结构、w e b 服务资源框架。 第四章为企业网格及其应用程序框架模型。通过建立的网格计算系统模 型，设计了包括资源虚拟层和资源管理层的网格计算系统，并详细介绍了基于 企业网格的应用程序开发模型。 第五章为网格应用程序的异常处理机制。结合第四章建立的应用程序框架 模型，开发了网格应用程序异常处理机制。并对其进行了测试。 第六章为系统测试。对设计的网格系统进行了系统测试，包括c p u 利用率 和任务吞吐量俩方面。并结合测试结果，进行了分析。 第二章网格介绍 7 2 1 1 网格的概念 第二章网格介绍 2 1 网格的概念 一个清晰的网格定义1 3 】，不仅是学术研究的需要，也是网格广泛流行的需要。 我们已经看到形式各样的网格，如计算网格、数据网格、科学网格、存取网格、 知识网格、地理网格、传感器网格、集群网格、校园网格、亿万量级网格( t e r a g r i d ) 和商品网格等。评判一个系统是否是网格，基本上，必须看此系统所能提供的应 用、商业价值和科学结论，而不是它的系统结构。 全球网格研究的领军人物、美国阿岗( a r g o n n e ) 国家实验室的资深科学家、美 国g l o b u s 项目的领导人i a nf o s m r 曾这样描述网格：“网格是构筑在互联网上的一 组新兴技术，它将高速互联网、高性能计算机、大型数据库、传感器、远程设备 等融为一体，为科技人员和普通老百姓提供更多的资源、功能和交互性。互联网 主要为人们提供电子邮件、网页浏览等通信功能，而网格功能则更多更强，让人 们透明地使用计算、存储等其他资源。 2 0 0 0 年，i a nf o s t e r 把网格进一步描述为 “在动态变化的多个虚拟机构间共享资源和协同解决问题。”2 0 0 2 年7 月，i a n f o s t e r 提出了限定网格必须同时满足的三个条件【4 ，5 j ： ( 1 ) 在非集中控制的环境中协同使用资源。网格整合各种资源，协调各种使用 者，这些资源和使用者在不同控制域中，比如，个人电脑和中心计算机；相同或 不同公司的不同管理单元；网格还解决在这种分布式环境中出现的安全，策略， 使用费用，成员权限等问题。否则，只能算本地管理系统而非网格。 ( 2 ) 使用标准的、开放的和通用的协议和接口。网格建立在多功能的协议和界 面之上，这些协议和界面解决认证，授权，资源发现和资源存取等基本问题。 ( 3 ) 提供非平凡的服务。网格允许它的资源被协调使用，以得到多种服务质量， 满足不同使用者需求，如系统响应时间，流通量，有效性，安全性，及资源重定 位，使得联合系统的功效比其各部分的功效总和要大得多。 这三个条件非常严格，像p 2 p 、s u ng r i de n g i n e 、c o n d o r 、e n t r o p i a 、m u l t i c l u s t e r 等都被排除在网格之外。 但并不是所有人都同意i a nf o s t e r 的观点，例如，有许多人赞同广义的网格概 念，它称作巨大全球网格g g g 6 j ( g r e a tg l o b a lg r i d ) ，它不仅包括计算网格、数 据网格、信息网格、知识网格、商业网格，还包括一些已有的网络计算模式，例 8 两安电子科技大学硕士论文一基丁企业网格的应用程序框架模型 如对等计算p 2 p ( p e e rt op e e r ) 、寄生计算等。可以这样认为，i a nf o s t e r 赞成狭义的 “网格观”，而g g g 是一种广义的“网格观”。不管是狭义还是广义的网格，其目 的不外乎是要利用互联网把分散在不同地理位置的电脑组织成一台“虚拟的超级 计算机”，实现计算资源、存储资源、数据资源、信息资源、软件资源、存储资 源、通信资源、知识资源、专家资源等的全面共享。其中每一台参与的计算机就 是一个节点，就像摆放在围棋棋盘上的棋子一样，而棋盘上纵横交错的线条对应 于现实世界的网络，所以整个系统就叫做“网格”了。在网格上做计算，就像下 围棋一样，不是单个棋子完成的，而是所有棋子互相配合形成合力完成的。传统 互联网实现了计算机硬件的连通，w e b 实现了网页的连通，而网格试图实现互联 网上所有资源的全面连通。 清华大学李三立院士将网格与信息高速公路作了比较，他说：“将先进计算基 础设施( 网格) 与信息高速公路相比较，可以说，信息高速公路是信息传输和获 取的信息基础设施；而先进计算基础设施则是信息处理的信息基础设施。虽然， 国内外都有不断把信息高速公路扩充频带宽度、改进路由器性能的计划；但是， 国外科学家认为：真正的下一代信息基础设施是先进计算基础设施。它将使以计 算机为主体的信息处理发生根本性的变化i 7 。 中科院计算所李国杰院士认为：“网格不同于国外正在搞的i n t e m e t2 或下一代 i n t e m e t ( n g i ) ，网格可以称作是第三代i n t e m e t ，其主要特点是不仅仅包括计算机和 网页，而且包括各种信息资源，例如数据库、软件以及各种信息获取设备等，它 们都连接成一个整体，整个网络如同一台巨大无比的计算机，向每个用户提供一 体化的服务垆j 。 各种定义中比较认同的是【8 ，9 】，网格是一个集成的计算与资源环境，或者说是 一个计算资源池。网格能够充分吸纳各种计算资源，并将它们转化为一种随处可 得的、可靠的、标准的同时还是经济的计算能力。除了各种类型的计算机，这里 的计算资源还包括网络通信能力、数据资料、仪器设备、甚至人等各种相关的资 源。这是网格的广义定义。网格的狭义定义是，网格资源主要是指分布的计算机 资源，而网格计算就是指将分布的计算机组织起来协同解决复杂的科学与工程计 算问题。狭义的网格一般被称为计算网格( c o m p u t a t i o n a lc m d ) 。 2 1 2 网格系统与分布式系统的区别 网格系统具有分布式系统和并行系统的特征，但是又与二者有着非常重要的区 别。与分布式系统类似，网格系统也是由位于多个管理域下的超级计算机通过不 可靠的网络进行连接，并且需要对广域分布的动态资源进行集成，但是网格系统 对高性能的要求使其编程模型及接口与分布式系统有极大的差别。同时，网格系 第二章网格介绍 9 一 统作为并行系统还需要进行超级计算机之间的通信调度以满足应用对高性能的要 求。所以，与网格系统的异构性以及动态性的特点相比，现有的并行计算技术的 应用具有很大的限制。 网格计算与传统的分布式计算的区别是【_ 7 1 ，网格计算强调大规模的资源共享， 革新应用，以及在某些情况下是面向高性能的。这里的资源不仅仅是计算机软硬 件，还包括网络通信能力、数据资料、仪器设备、甚至是人等各种相关的资源。 2 2 网格计算的目的 网格计算的主要目的是设计一种能够提供以下功能的系统： 1 提高或拓展企业内所有计算资源的效率和利用率，满足最终用户的需求，同 时能够解决由于计算、数据或存储资源的短缺而无法解决的问题。 2 建立虚拟组织，共享应用和数据，对公共问题进行合作。 3 整合计算能力、存储能力和其他资源，使得需要大量计算资源的巨大问题求 解成为可能。 4 通过对这些资源进行共享、有效优化和整体管理，能够降低计算的总成本。 2 3 网格计算的核心问题 为实现网格计算的目标，必须重点解决三个问题： 1 异构性 由于网格由分布在广域网上不同管理域的各种计算资源组成，怎样实现异构机 器间的合作和转换是首要问题。 2 可扩展性 要在网格资源规模不断扩大、应用不断增长的情况下，不降低性能。 3 动态自适应性 在网格计算中，某一资源出现故障或失败的可能性较高，资源管理必须能动态 监视和管理网格资源，从可利用的资源中选取最佳资源服务。 网格计算环境的构建层次从下至上依次为： ( 1 ) 网格结点 由分布在i n t e m e t 上的各类资源组成，包括各类主机、工作站甚至p c 机，它们 是异构的，可运行在u n i x 、n t 等各种操作系统下，也可以是上述机型的机群系统、 大型存储设备、数据库或其他设备。 ( 2 ) 中间件 是网格计算的核心，负责提供远程进程管理、资源分配、存储访问、登录和认 l o 两安电子科技大学硕十论文一基于企业网格的应用程序框架模型 证、安全性和服务质量( q o s ) 等。 ( 3 ) 开发环境和工具层 提供用户二次开发环境和工具，以便更好地利用网格资源。 ( 4 ) 应用层 提供系统能接受的语言，如h p c + + 和m p i 等。可配置其他一些支持工程应用、 数据库访问的软件，还可提供w e b 服务接口，使用户可以使用w e b 方式提交其作 业并取得计算结果。 2 4 网格的意义 网格提供的是与以往根本不同的计算方式，网格概念的核，t 二j 3 是突破以往强加 在计算资源之上的种种限制，使人们可以以一种全新的更自由、更方便的方式使 用计算资源，解决复杂的问题。 首先是计算能力大小的限制，以前大部分的用户无法得到足够的计算能力，因 此许多问题的解决是不能够通过计算或者是不能完全靠计算来实现的，对模型以 及算法的化简是最常见的近似方法。而网格所提供的计算能力要远远超过以前我 们所能够想象的程度，对于大多数用户来说，网格提供给他们的计算能力足以满 足其计算需求，在这种计算能力的支持下，人们可以做许多以前无法想象和无法 完成的工作。 其次是地理位置的限制，计算资源是分布在各处的，有些资源是稀缺或不可复 制的，有些资源甚至是无法和特定的地理位置分开的，因此要使用这些资源，在 以前许多情况下必须到相应的地方去，这在很大程度上限制了这些资源的使用。 而网格把“到资源所在的位置 对资源进行使用的限制打破了，对资源的使用和 使用者所在的地理位置以及资源所在的地理位置无关。突破了在使用资源时对位 置的限制，使网格的具有突出意义的功能。 最后也是非常重要的一点就是网格打破了传统的共享或协作方面的限制，以前 对资源的共享往往停留在数据文件传输的层次，而网格资源的共享允许对其他的 资源进行直接的控制，而且共享资源的各方在协作时可以以多种方式更广泛地交 流信息，充分利用网格提供的各种功能。 网格的意义，就如同互联网改变了人们传统的通信方式和通信手段一样，它将 改变人们传统的计算方式和计算手段，网格技术将为人们提供更强大、更方便、 更高级的问题求解手段。 一 第二章网格介绍 2 5 1 分布与共享 2 5 网格的特点 分布性是网格的一个最主要的特点。网格的分布性首先是指网格的资源是分布 的。组成网格的计算能力不同的计算机，各种类型的数据库乃至电子图书馆，以 及其他的各种设备与资源，是分布在地理位置互不相同的多个地方，而不是集中 在一起的。因为网格资源是分布的，因此基于网格的计算一定是分布式计算而不 是集中式计算。在网格这一分布式环境下，需要解决资源与任务的分配和调度问 题，安全传输与通信问题，是实行保障问题，人与系统以及人与人之间的交互问 题等等。 网格资源虽然是分布的，但是他们却是可以充分共享的。即网格上的任何资源 都可以提供给网格上的任何使用者。共享是网格的目的，没有共享便没有网格， 解决分布资源的共享问题，使网格的核心任务。分布是网格硬件在物理上的特征， 而共享是在网格软件下实现的逻辑上的特征。 2 5 2 自相似性 分形模型有个非常重要的特征就是自相似性。自相似性在许多自然和社会现象 中都大量存在，一些复杂系统现在都具有这种特征，网格就是这样。网格的局部 和整体之间存在着一定的相似性，局部往往在许多地方具有全局的某些特征，而 全局的特征在局部也有一定的体现。可以认为国家级的网格是在省一级的网格基 础之上建造起来的，国家级主干网要有更大的带宽，只有这样才可以将不同省份 的子网格连接起来提供满意的通信服务；国家级和省级网格都会有各自的计算中 心，只不过在计算能力上有差异而己；他们也都需要管理结点，只不过国家级的 管理结点管理功能需要更多，更强大而已。除了相似性外，整体和部分之间必然 有不同的地方。 2 5 3 动态性与多样性 对于网格来说，决不能假设它是一成不变的。原来拥有的资源或者功能，在下 一时刻可能就会出现故障或者不可用；而原来没有的资源，可能随着时间的推移 会不断地加入进来。网格的动态性包括动态增加和动态减少两个方面的含义。网 格资源的动态变化特点要求网格管理必须充分考虑并解决好这一问题，对于网格 里 两安电子科技大学硕士论文一基于企业网格的应用程序框架模型 资源的动态减少或者资源出现故障的情况，要求网格能够及时采取措施，实现任 务的自动迁移，做到对高层用户透明或者尽可能减少用户的损失。 网格资源的动态增加需要提高网格的扩展性问题，也就是说在网格的设计与实 现时，必须考虑到新的资源能否很自然地加入到网格中来，并且可以和原来地资 源融合在起，共同发挥作用。网格扩展要求体现在规模、能力、兼容性等几个方 面。开始网格地规模往往不是特别大，不需要也不可能一步到位，但是网格应该 能够允许对它自身进行多种形式地扩展，网格规模扩展后网格地相应管理软件也 应该能够满足扩展性的要求，网格软件的升级要能够向下兼容。 网格资源是异构和多样的。在网格环境中可以有不同体系结构的计算机系统和 类别不同的资源，因此网格系统必须能够解决这些不同结构、不同类型资源之间 的通信和互操作问题。 2 5 4 自治性与管理的多重性 网格上的资源，首先是属于某一个组织或者个人的，因此网格资源的拥有者对 该资源具有最高级别的管理权限，网格应该允许资源拥有者对他的资源有自主的 管理能力，这就是网格的自治性。 但是网格资源也必须接受网格的统一管理，否则不同的资源就无法建立相互之 间的联系，无法实现共享和互操作，无法作为一个整体为更多的用户提供方便的 服务。 因此网格的管理具有多重性，一方面它允许网格资源的拥有者对网格资源具有 自主性的管理，另一方面又要求网格资源必须接受网格的统一管理。 小结 本章首先介绍了网格的概念，作为二十一世纪科学的新基础，网格必将得到快 速的发展，以适应科学研究和日常生活的需要。然后本文介绍了关于网格定义的 几种观点以及i a nf o s t e r 提出的关于判断是否为网格的三个标准。最后就网格的基 本要求、网格的核心问题、网格的意义以及网格的特点展开论述，从而全面地介 绍了网格的概念。 第三章网格的体系结构 第三章网格的体系结构 3 1 网格体系结构的概念 网格体系结构就是如何建造网格的技术。它给出了网格的基本组成与功能，描 述了网格各组成部分的关系以及他们集成的方式或方法，刻画了支持网格有效运 转的机制。f o s t e r1 4 】将体系结构定义为“划分系统基本组件，指定系统组件的目的 与功能，说明组件之间如何相互作用的技术 ，这一定义强调的是组件与组件之间 的相互作用，前面的定义还要求说明各个部分如何集成为一个整体以及通过何种 机制实现整体的功能。 网格是一个整体的概念，网格体系结构在一定程度上就是对网格的剖析。网格 体系结构必须要能够表示出网格的基本组成成分，要能够清楚地说明网格整体是 由哪些关键部分结合在一起形成的，能够对各个部分的功能、目的、特点等进行 清晰地描述，使人们能够了解各个组成部分的作用，并将这些部分按照一定的方 式组织和集成，形成一个具有特定功能的整体对外提供服务。 3 2 网格体系描述 网格体系结构标识出了网格的基本组成部分，并描述了各个部分的功能、目的、 特点等。到目前为止，比较重要的网格体系结构有三个：一个是f o s t e r 等人提出 的五层沙漏结构( 4 】；另一个是在以i b m 为代表的工业界的影响下，在考虑到w e b 技术的发展与影响后，f o s t e r 等人结合w e bs e r v i c e 提出的开放网格服务结构 o g s a l 8 ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) ，以及新近提出的w 曲服务资源结构【9 1 。 3 2 1 五层沙漏结构 五层沙漏结构是一种影响十分广泛的结构，他的主要特点是简单、主要侧重于 定性的描述而不是具体的协议定义。 网格的结构基本上可以分为五层，这种分层概念就好像t c p i p 协议用来描述 互联网的分层结构。网格的五层结构并不提供严格的规范，它只对各部分组件的 通用要求进行定义，而且将这些组件形成一定的层次关系，每一层的组件具有相 同的特征，它们屏蔽底层实现并为上层提供服务，上层则建立在底层的服务之上。 五层机构是建立在互联网协议之上，由构造层、连接层、资源层、汇聚层和应用 1 4 西安电子科技大学硕士论文一基于企业网格的应用程序框架模犁 层组成，如图3 1 所示。 图3 1 网格的五层沙漏结构和i n t e m e t 的t c p f i p 结构的比较 构造层( f a b r i c ) 面对的是一个个具体的物理或逻辑资源，它通过对这些局部资 源的控制，向连接层提供这些资源的管理界面。这里的资源是一种广泛意义的概 念，它可以是一个比较复杂的系统，如一个集群系统、一个分布式文件系统，构 造层为它们提供统一的外部接口。 连接层( c o n n e c t i v i t y ) 主要是提供安全的数据通信能力，这是资源之间进行互操 作的前提。连接层使得孤立的单个资源之间建立了联系。连接层通常支持通信协 议和认证协议，通信协议建立在t c p f i p 的基础之上，而认证协议则是建立在通信 协议之上实现加密认证的一种安全机制。连接层通常实现单点登陆、代理、基于 用户的信任委托和集成不同的局部安全策略等功能。 资源层( r e s o u r c e ) 的主要功能就是实现对单个资源的共享管理。信息协议可以 得到资源的结构和状态信息，比如配置、当前负载、使用策略等；管理协议则通 过谈判访问共享资源，保证共享策略的一致性，还指出资源需求以及将执行的操 作。资源层还有对资源进行监控和审计等功能。 汇聚层( c o l l e c t i v e ) 将下层以单个资源形式表现出来的资源集中组织起来，协调 解决多个资源之间的共享问题。它涉及的是资源的共性，而不是资源的具体特征。 汇聚层已经是较高级的抽象，它从宏观的角度给予用户高层的服务，可以实现 诸如目录服务、协同分配调度、数据复制、网格编程系统、软件发现、协作服务、 负载管理、监控和诊断等功能。 应用层( a p p l i c a t i o n ) 关心的是如何解决不同虚拟组织的具体问题，表3 1 给出 两个网格应用的示例。 五层结构的一个重要特点就是沙漏形状。其内在含义就是因为各个部分协议的 数量是不同的，对于其最核心的部分，只能够实现上层各协议向核心协议的映射， 同时实现核心协议向下层其他各种协议的映射，核心协议在所有支持网格计算的 地点都应该得到支持，因此核心协议的数量不应该太多，这样核心协议就形成了 协议层次结构中的一个瓶颈，在五层结构中，资源层和连接层共同组成这一核心 罱 第三章网格的体系结构 1 5 表3 1 五层沙漏结构的应用示例 应用层多学科模拟光线追踪 联合求解器，联合求解器， 汇聚层( 面向问题) 分布式数据文档分布式数据文档 汇聚层( 通用)资源发现，资源代理，系统监视，社团授权，收回证书 资源层 访问计算，访问数据，访问系统结构、状态与性能信息 连接层 通信( i p ) ，服务发现( d n s ) ，认证，授权，代理 构造层 存储系统，计算机，网络，代码库，目录 的瓶颈部分。如图3 2 所示。 工具与应用 应用层 目录代理 汇聚层 诊i g i - 与监控等 资源与服务 资源与 j 的安全访阎 连接层 各种资塬， 比如计笪机，存储构造层 介质，网络，传感器等 图3 2 五层沙漏结构 中间核心层实现的是一些关键的基本功能，而大量的与特定设备有关和与应用 有关的部分则由其它部分完成，这样有利于核心的移植和实现。网格的资源和应 用需求多种多样，一个好的核心有着重要的意义。 3 2 2 开放式网格服务结构 正如w e b 技术一开始是为科学协作而出现的，后来在商业领域却有大量使用 一样，开放式网格服务结构将原来以科学领域为主的网格技术转移到工商业领域 中。开放网格服务结构o g s a 是继五层沙漏结构之后最重要一种网格体系结构， 被称为是下一代的网格结构。它以服务为中心，由网格技术( 即g l o b u s 软件包) 和 w e b 服务两大技术做支撑。 在o g s a 中，人们看到的一切都是服务，它将对资源的共享抽象的一个更高 的层次。服务指的是具有特定功能的网络化实体，它的概念很广泛，任何资源( 如 计算、存储、软件、数据库、网络等) 都可被封装成服务，以一种更加灵活、一致、 动态的共享机制呈现出来。五层沙漏结构和o g s a 的最大不同在于，前者是以协 议为中心的“协议结构 ，而后者则是以服务为中心的“服务结构 。 o g s a 采用了统一的w 曲服务框架，这有两个好处：一方面，在网格的异构 和动态的环境里，如何解决动态地发现和使用服务的问题成为关键，而w - e b 服务 两安i ur 科技大学硕+ 论文一基于企业网格的麻川程序框架模型 框架中的w s d l 协议很好的解决了这个埘题；另一方面，w e b 服务框架与平台和 丌发语占无关，并月有标准的通信协议s o a p ，遮就使得在异构的网格环境中开发 服务更加容易，而且可以利用很多现有的资源。 另外，o g s a 还可以根据需要对w e b 服务框架进行扩充。比如w e b 服务解决 了发现和激活永久服务的问题，但在网格中人量的是临时服务，因此o g s a 扩展 了w e b 服务，使得它可以支持临时服务的动态创建和删除。 简单地说，网格服务= 接n 行为+ 服务数据，如图33 所示。 戢* 散摧的 显走描悄。- 牧披盎r 曲喝岫 - k h m * “建 - 什敖 + 谢向特m 嘲m 扭 斟33 阿格服务示意圈 从服务的观点，在o g s a 中，将互操作性问题转化为阿个子问题，即定义服 务的接口和识别激活特定接口的协议。五层模型是按照支持虚拟组织组件互操作 的协议要求来构造的，更多地体现出一种解剖学的特点，而o g s a 强调的是与协 议消息相对应的服务，侧重于实体表现出来的行为特征，即特定对象的生理机能。 3 2 3w e b 服务资源框架( w e bs e r v i c er e s o u r c ef r a m e w o r k ，w s r f ) 3 231w s r f 的提出 在o g s a 刚提出不久，g g f 及时推出了o g s i i i