（计算机软件与理论专业论文）基于网格的机群高性能计算系统.pdf

上海大学硕士学位论文 ! 坠旦竺! 堡堡! 塑堡塑堡! ! 呈塾呈坐! 望璺! 翌堡! 堡 摘要 机群高性能计算系统是高性能计算和信息服务的基础设施，正日益受到科 技界，各国政府的重视。如何有效地共享这些分布的、异构动态的机群高性能 系统的资源，提供各种并行计算环境。实现新的分布式资源的交互和调用模 式，使得远程用户或应用系统可以以“服务”的形式调用共享各种资源，实现 平台无关性，语言无关性就成为一个重要的研究课题。 采用w e bs e r v i c e 技术和网格技术可以解决问题。本文回顾了高性能计算 和网格技术的发展，介绍了网格的体系结构，采用w e bs e r v i c e 技术和基于开放 式网格体系结构o g s a o g s i 的g t 3 网格技术，设计和开发了基于网格的机群高性 能计算系统，提供了各种并行计算环境，以“服务”的形式，实现了对自强 3 0 0 0 机群系统资源的共享。系统由两部分组成：基于w e bs e r v i c e 的高性能计算 系统( h p c c w s ) 和基于o g s a o g s i 的g t 3 技术实现的高性能计算环境。 h p c c w s 系统采用了w e b 服务体系结构的各种技术，实现了服务的描述、查 找、注册和调用，应用系统可以标准的接口加以调用，同时为了方便远程用户 进行并行作业的管理，系统提供了一个门户p o r t a l 来实现对机群资源的调用。 同时采用基于0 g s a 0 g s i 的g t 3 技术，来构建各种并行计算环境，实现了各 种并行计算网格服务，应用系统调用网格服务实现对资源的共享。 文章详细地介绍了系统的体系结构，阐述了系统的实现原理和详细的设计 方案，并对系统进行了测试分析。 关键字：机群高性能计算，网格计算，o g s a o g s i ，w e bs e r v i c e ，g l o b u s 上海大学硕士学位论文 坠! ! ! 壁g 望! ! 苎! ! 堕! ! ! ! ! ! ! ! 塑! 型旦! ! ! ! 罂! 生 a b s t r a c t h i g hp e r f o r m a n c ec o m p u t i n g c l u s t e ri st h ei n f r a s t r u c t i l r eo f h i g h p e r f o r m a n c e c o m p u t i n ga n d i n f o r m a t i o ns e r v i c e ，w h i c hw a sm o r ea n dm o r ea t t a c h e di m p o r t a n c et o s c i e n c ec i r c l ea n dg o v e r n m e n t s h o w t os h a r ev a r i o u sd i s t r i b u t e d ，h e t e r o g e n e o u s r e s o u r c e so f h i g hp e r f o r m a n c ec l u s t e t s ，p r o v i d ek i n d so f p a r a l l e lc o m p u t i n g e n v i r o n m e n t sa n di m p l e m e n tan e w d i s t r i b u t e dr e s o u r c ei n t e r a c t i o na n di n v o k l a g p a t t e m ，a n d h o wt oe n a b l er e m o t eu s e r o ra p p l i c a t i o ns h a r et h er e s o u r c e sa s s e r v i c e 。 a n dn o tc a r ea b o u td i v e r s e p l a t f o r m o rd i v e r s ep r o g r a m l a n g u a g e w e r e c h a l l e n g i n g p r o b l e m s a d o p t i n g w 曲s e r v i c ea n d g i r dt e c h n o l o g y ，w e c a na c h i e v et h i sg o a l i nt h i s p a p e r ，w ef i r s t l yr e v i e w e dt h ed e v e l o p m e n to f h i g hp e r f o r m a n c ec o m p u t i n g a n d g r i d t e c h n o l o g y ，a n di n t r o d u c e d 鲥d a r c h i t e c t u r e b a s e do nw e bs e r v i c ea n dg t 3 g i r d t e c h n o l o g y ，w ed e s i g n e da n dd e v e l o p e dag r i d b a s e d h i g l lp e r f o r m a n c ec o m p u t i n g c l u s t e rs y s t e m ，t h r o u g hw h i c hw ec a r ls h a r er e s o u r c e so f z i q i a n 9 3 0 0 0c l u s t e ra s s e r v i c e s n l es y s t e mh a dt w oc o m p o n e n t s ：o n ew a sh p c c w sw h i c hi sw e b s e r v i c eb a s e d a n o t h e rw a si m p l e m e n t e db yu s i n gg t 3 t e c h n o l o g y h p c c w sw a si m p l e m e n t e db yi n t r o d u c l u gv a r i o u st e c h n o l o g i e so f w e b s e r v i c ea r c h i t e c t u r e w en a r r a t e dh o w t od e s c r i b e ，s e a r c h ，r e g i s t e ra n di n v o k ea s e r v i c eb y a p p l i c a t i o n t of a c i l i t a t er e m o t e u s e r ，i tp r o v i d e dag u l - p o f t a l ，b yw h i c h r e m o t eu s e rc a nm a n a g e r p a r a l l e li o b sa n ds h a r et h ec l u s t e r r e s o u r c e s g t 3w a sb a s e do n0 g s a o g s i w e a d o p t e dg t 3g r i dt e c h n o l o g y t oc o n s t r u c t v a r i o u sp a r a l l e lc o m p u t i n g p l a t f o r ma n d t oi m p l e m e n t p a r a l l e lc o m p u t i n gg r i d s e r v i c e st os h a r et h er e s o u r c e s w ed e s c r i b e dt h ea r c h i t e c t u r eo f s y s t e m ，n a r r a t e dt h ei m p l e m e n t p r i n c i p l ea n d d e s i g n i n gs c h e m e i nd e t a i l ，a n da n a l y z e dt h ep e r f o r m a n c eo fs y s t e mt h r o u 曲s o m e c a s e s k e yw o r d s ：h i g hp e r f o r m a n c ec o m p u t i n gc l u s t e r ，g r i dc o m p u t i n g ，o g s a o g s i ， w e bs e r v i c e ，g l o b u st o o l k i t 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名、至塞垒叠! 日期竺! 笙：2 ：君 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅：学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名： 导师签名：乏釜! 主垫日期：鲨! 生：! 。 上海大学硕士学位论文 ! 生! ! ! 堡! ! ! ! 坐! ! ! ! ! ! ! ! ! ! ! 堡! 型旦! ! 堡堡! 堕 第1 章研究背景 机群高性能计算( h i g hp e r f o r m a n c ec o m p u t i n gc l u s t e r ) 是个计算机 机群系统，它通过各种互联技术将多个计算机系统连接在一起，利用所有被连 接系统的整体计算能力来处理大型计算问题，所以又通常被称为高性能计算机 群。高性能计算方法的基本原理就是将问题分为若干部分，而相连的每台计算 机( 称为节点) 均可同时参与问题的解决，从而显著缩短了解决整个问题所需 的计算时间。 高性能计算机系统一般用于解决大容量存储、大数据量计算等需要大幅度 降低处理时间以提高生产效率的应用问题，如石油地震数据处理、数值天气预 报、图像处理等。许多对经济、科技和人类社会的发展有广泛影响的重大应用 问题都存在并行性，可进行高效地并行处理。 但是由于价格、效率等因素的影响，传统巨型机、m p p 的应用受到一定的 限制，机群并行系统( c l u s t e r ) 提供了一种建立从中小规模到大规模并行处理 系统的可扩展的方法，是解决许多有关国计民生的重大计算问题的可行途径之 一。但是，随着对高性能计算的不断增长，单台高性能计算机已经不能胜任一 些超大规模应用问题的解决。如何更好的共享机群并行的各种资源，将这些地 理上分布、系统异构的多种计算资源通过高速网络连接起来，共同解决大型应 用问题，就成了一个需要迫其解决的问题。 1 1 机群并行系统的特点 机群并行系统是由高速网络将多台工作站或微机连接在一起，统调度， 协调处理，实现高效并行计算的系统。机群并行系统与传统的并行处理系统相 比，有以下几个显著的特点。 系统易于实现 由于机群并行系统大多采用商用工作站、p c 和通用l a n 网络，使节点主 机及系统管理相对容易，且可靠性高。开发的重点可放在通信和并行编程环境 上，既不用重新研制计算节点，又不用重新设计操作系统和编译系统，节省了 大量的研制时间，并可利用最新的微处理技术和网络技术。 系统结构的灵活性高 可以将不同体系结构、不同性能的工作站连在一起，这样就可以充分利用 现有设备，建立满足用户需求的异构并行计算环境。从使用效率上看，机群并 行系统的资源利用率比单机系统要高得多。另一方面，即使用户设备更新，原 上海大学硕士学位论文 ! 坐些墅g ! ! 塑坐! ! 竺堡堕! ! 塑韭尘坐! 塑型堕 有的一些性能较低或型号较旧的机器在机群并行系统中仍可发挥作用。系统性 能价格比高，用户投资风险小，系统扩展性好。机群并行系统具有基于网络的 分布式资源。每个节点都有自己的局部存储器和i 0 设备，节点机之间以消息 传递机制实现通信，一般适合粗粒度并行计算。 系统的性价比高 传统的巨型机或m p p 的价格都比较昂贵，往往要几百万美元到上千万美 元。而构建机群的工作站或高档p c 机是批量生产的，因而售价较低，同时其运 算速度非常得快，具有很高的性价比。 系统扩展性能好 从规模上说，机群系统大多采用通用网络，系统扩展容易；从性能上说， 对大多数中，粗粒度的并行运算都有较高的效率。系统中个别结点出错，不会 影响到其他的节点，只需将其更换即可。 1 2 并行高性能环境 1 2 i m p i 消息传递接口 m p i ( m e s s a g ep a s s i n gi n t e r f a c e ) 是并行计算机的消息传递接口标准，它 是一个库而不是- f 语言，m p i 库可以被f o r t r a n 7 7 ，f o r t r a n 9 0 ，c ， c + + 调用，从语法上说它遵守所有对库函数过程的调用规则，和一般的函数过程 没有什么区别。m p i 是目前最重要的并行编程工具，它具有移植性好，功能强 大，效率高等多种优点。 m p i 是一种消息传递编程模型并成为这种编程模型的代表和事实上的标 准。指定该标准的主要目的是为了提高并行程序的可移植性和使用的方便性， 有了统一的标准，并行计算环境下的应用软件库以及软件工具就都可以透明的 移植。各个厂商可以依据标准提供独具特色和优势的软件实现和硬件支持，从 而提高并行处理的能力。 m p i 没有简单地指定某系统为标准，而是吸取许多已经广泛应用的消息传 递系统的特点。它在采纳已有系统优点的基础上，增加了许多新的特点，从而 使其成为非常有吸引力的标准。 1 2 2 p e t s c 库 p e t s c 2 ：p o r t a b l e ，e x t e n s i b l et o o l k i tf o rs c i e n t i f i c c o m p u t a t i o n e 是美国a r g o n n e 国家实验室开发的可移植可扩展科学计算工具 箱，目的是在高性能计算机上数值求解偏微分方程及相关问题。p e t s c 是基于 并行库 m p i ) 及数学计算包( l a p a c k ，b l a s ) 的。它用m p i ( m e s s a g ep a s s i n g 2 上海大学硕士学位论文 ! 塑! 型! 塑坠堕! 堕! ! ! ! g 坠! 型坐! 堕望 i n t e r f a c e ) 来实现并行计算所需的进程间的通信，包括本节点和远程的。数学 计算是通过调用：l a p a c k 及b l a s 来实现的。b l a s ：执行向量和矩阵运算的子程 序集合；l a p a c k ：l i n e a ra l g e b r ap a c k a g e ；p e t s c 是一个库，它同时也为c ， c + + ，f o r t r a n 三种语言提供接口。它在通信性能，程序可移植性，对异构环境 的兼容方面继承了m p i 的优点。而且p e t s c 在基于高性能计算机数值并行求解 分方程及相关问题方面取得了突破性进展。得其代码开发难度，开发周期大大 降低。 1 2 3 其他高性能计算工具 p v m ( p a r a l l e l v i r t u a l m a c h i n e ) 是由美国田纳西大学、奥克里季国家实验室等研制的并 行程序开发环境。它可以把多个异构的计算机组织起来成为一个易于管理的、可扩展的、 易编程使用的并行计算资源。它的各个计算节点可以是共享存储或分布式存储的多处理机 或者是向量超级计算机、专用的图形、标量工作站这些异构的计算节点可以通过多种网 络( 比如e t h e m e t 、f d d i 等等) 互联成为个网络计算虚拟机。用户的计算任务被分配 到各个计算节点上，多个节点并行运算，从而实现粗粒度的并行。p v m 的免费、开放以 及易用使其成为一个被广泛接受的并行程序开发环境，有很多生产并行机的公司都宣布支 持p v m ，p v m 可以安装到各种u n i x 、w i n d o w s 操作系统上运行。所有这些又有力地促进 了p v m 的推广。 1 3 网格和网格技术 网格( g r i d ) 概念产生于9 0 年代中期 1 ，是从电力网( p o w e rg r i d ) 概 念借鉴过来的。网格的最终目的，是希望大家能够象使用电力一样方便地使用 分布在网络上强大而丰富的计算能力。网格计算( g r i dc o m p u t i n g ) 就是基于 网格的问题求解，它是在1 9 9 5 年的i w a y 4 项目中提出来的。网格是目前越来 越重要的研究领域，被称为是下一代的i n t e r n e t 2 ，网格是一种关系科研、经 济、社会、国防的重要国家基础设施，在国内外都引起了广泛的关注。 网格是一个集成的计算与资源环境，或者说是一个计算资源池。网格提供 集成各种分布的、异构的、动态资源和系统的能力，形成一种无缝的、集成的 计算与协作环境，以满足企业间，不同i t 资源之间的集成和不同组织间解决方 案的扩展。通过在个人、组织和资源之间实现安全、协调的资源共享，来创建 虚拟动态的组织，支持在动态虚拟组织中共享和一致地使用不同的资源即 使用地理上和组织上分布的组件构建虚拟计算系统，并将这些虚拟计算系统充 分地整合以获得期望的q o s ( q u a l i t yo fs e r v i c e ) 3 。目前，网格技术成为越 来越重要的研究领域，是一种关系科研、经济、社会、国防的重要国家基础设 施，在国内外都引起了广泛的关注。 3 上海大学硕士学位论文 堡! ! ! ! 堡型! ! ! ! ! 堕堡! ! ! 堡! 篁! 型望! ! 翌堡! 望 1 3 1 国内外网格技术的发展状况 美国政府在网格技术的基础研究上，每年投入的经费就商达5 亿美元。 2 0 0 1 年8 月，美国n s f 宣布了2 0 0 3 年将建成基于g r i d 技术的“分布式万亿级 设施”( d i s t r i b u t e dt e r a s c a l ef a c i l i t y ，简称d t f ，又称t e r a g r i d ) 重大 科研项目。它将n c s a 、s d s c 、a r g o n n e 国家实验室、加州理工学院四个不同地 区节点的超级计算机和海量存储资源通过4 0 g b p s 光纤网互联，构成了一个具有 6 0 0 t b 磁盘容量、3 3 0 0 个i n t e l 微处理器( i t a m i n 、m c k i n l e y ) 的1 3 6 t f l o p 的虚拟超级计算机。它支持计算密集型、数据密集型和通讯密集型的应用，其 主要应用领域为气候、环境资源、地震、发动机模拟、生物、材料等科学计算 和工程模拟应用。 欧洲国家在2 0 0 1 年正式启动了网格研究的一系列项目。其中英国的e s c i e n c e 计划较为著名。英国政府非常重视网格技术的研究，确定了用网格计 算技术构建e s c i e n c e ，为大规模科学研究提供基于i n t e r n e t 的分布式全球合 作计算环境。其应用领域包括粒子物理、生物信息学、气候环境变化、工程系 统设计等多学科领域。e s c i e n c e 计划联合许多大学、国家级研究所和工业界 共同完成多学科的大规模科学研究的信息基础设施和环境。 产业界业也积极参与到网格技术的研究中米。 “蓝色巨人”i b m 正在构筑一项名为“g r i dc o m p u t i n g ”的计划，旨在通 过因特网，向每一台个人电脑提供超级的处理能力。i b m 公司副总裁、也是这 项计划的总设计师欧文伯杰说，“g r i dc o m p u t i n g ”是一种整合电脑资源的 新手段，它通过因特网把分散在各地的个人电脑连接起来，不仅可使每台个人 电脑通过充分利用相互问闲置的电脑能源，来提升各自的电脑处理能力，还可 使成千上万的用户在大范围的网络上麸享电脑处理能力、文件以及应用软件。 微软近几年积极参加网格论坛的标准化和研究工作，大力增加研究j t ：发经 费，试图在2 0 0 6 年以前推出网格操作系统与网格用户界面。比尔盖茨认为，现 在的桌面操作系统、服务器操作系统有很多缺点，它们将会被n e t 超越。 而n e t 就是微软的i n t e r n e t 操作系统，或者叫分布式操作系统。微软将集成 网格计算、中间件、多媒体等技术，构造一个无缝的下一代网络操作系统。 在我国，网格计算和网格技术的研究也得到了巨大的发展。2 0 0 2 年4 月5 闩至6 同，科技部召开了“网格战略研讨会”，确认将网格的研究和应用列为 “8 6 3 计划”的一个专项，随即成立了专项专家组。8 6 3 网格专项投资高达3 个亿，主要任务是研制面向网格的万亿次级高性能计算机、具有数万亿次聚合 计算能力的高性能计算环境；开发具有自主知识产权的网格软件：建设科学研 究、经济建设、社会发展和国防建设急需的重要应用网格；制定若干与网格相 4 上海大学硕士学位论文 ! 生! ! 塑型! 苎! ! 生! 堡坚! ! 竺韭! ! 竺! ! 堡! ! 堕 关的国家标准，参与制定国际标准，使一批发明专利和软件获得受理和登记。 形成自主知识产权。 1 3 2 上海市教委e 一研究院项目 2 0 0 2 年底，上海市宣布将投入两个多亿。建设e i n s t i t u t e ，其中网格是 重点，将把上海交大、复旦、华东理工等多所重点高校用网格整合起来，共享 资源，协同教学科研。 项目的总体目标是在上海市教委领导下，为e 一研究院( e i n s t i t u t i o n s ) 项目建立一个以网格技术为基础的平台。推进上海市高校的先进的、计算式科 学与工程推进上海市高校的网上合作与协同计算，为今后上海市高校的科学 研究水平大步发展打下一种基础： 在信息网格的研究过程中，以上海大学、上海交通大学、上海超级计算中 心为主要节点，建立开放的信息网格环境，方便其它节点的接入。重点突出互 连参考模型、节点功能和接入软件环境建设、平台开发环境建设等技术。e 一研 究院项目的体系结构如图卜l 所示： 匦塑翌塑口匦圈 翌壁驷 二! 墅堕雯 巨! 二二二 网络问题求解服务滤波服务监视服务描述 资源动态管理与调度保留与分配资源服务容器w e b 服务 安全管理软件分布式服务发现服务索引通知服务 生命周期管理安全认证作业提交 眼务调用描述动态登录服务实例池 捡查点、数据复制 固回 圆固 圈圈 应用与 工具包 等 网格平 台中间 件 、 l 薹妻 l 节点建设：上海市e 一研究院项目旨在将上海的网格系统互联在一起，达 到资源共享的目的。这些网格系统主要有：上海交通大学的s g i o n y x 3 8 0 0 超级计算系统、i b m 高性能服务器ps e r i e s6 9 0 、i b m 高性能 5 嚣 t 一 嚣 上海大学硕士学位论文 t h ep o s t g r a d u a t et h e s i so f s h a n g h a iu n i v e r s i t y 机群e 1 3 5 0 ；上海大学研制开发了2 2 0 个c p u 并行工作、峰值运行速度 为4 5 0 0 亿次的机群式高性能计算机自强2 0 0 0 ；上海超级计算中心的 “神威i ”高性能计算机 以及其他高校的高性能机群系统。 网格平台中间件：采用w e bs e r v i c e 技术和网格技术，实现网络问题求 解，服务滤波，服务监视，服务描述，资源动态管理与调度，保留与分 配资源，安全管理软件，分布式服务发现，服务索引，通知服务，生命 周期管理，安全认证，作业提交，服务调用描述，检查点、数据复制等 网格平台中间件。 应用工具包：针对不同的应用问题，利用网格平台中间件，构建上层应 用工具包，解决诸如先进快速制造应用，计算密集型应用等应用问题。 1 4 本文的研究内容 上海大学自强3 0 0 0 是在拟定自强2 0 0 0 s u h p c s 的基础之上为上海高校网 格项目研制的高性能计算机群系列。为了推广自强2 0 0 0 和自强3 0 0 0 系列高性 能计算机的应用，将自强系列的各种丰富的资源，包括存储资源、计算资源和 信息资源等接入信息网格，构建一个以网格技术为基础的平台，为网格技术在 跨区域信息处理中的应用提供实验床，推进上海高校的协同计算，实现高性能 计算机资源的共享，我们在自强3 0 0 0 机群系统上，设计和开发了“基于网格的 机群高性能计算系统”。 1 4 1 系统的体系结构 基于网格的机群高性能系统是采用w e bs e r v i c e 技术和基于o g s a o g s i 规 范的g t 3 网格技术设计和开发的，以“服务”的形式对外提供各种共享资源， 从而整个系统实现了平台无关性，语言无关性，其他应用系统可以无缝的将这 些“服务”集成在自己的应用当中，从而有效的实现了将分布的、异构动态的 计算能力、存储资源、数据和科学设备的共享。整个系统的体系结构如图卜2 所示： 从图中可以看到，整个系统有两个部分组成： 基于w e bs e r v i c e 的机群管理系统h p c c - w s ：采用w e bs e r v i c e 技术， 以t o m c a t 4 o + a x i s l 1 作为w e b 服务容器，设计和开发的机群高性能计 算系统。 基于o g s a o g s i 的网格g t 3 高性能系统：采用基于o g s a o g s i 的g t 3 网 格技术，设计和实现的机群高性能计算系统。 6 上海大学硕士学位论文 ! 堕! 堕g 型坚! ! 堕堕! ! ! ! ! ! g 堕! 望! ! ! 型堕 图卜2 ：基于网格的集群高性能计算系统 1 4 2 系统提供的功能主要有： 整个机群系统将实现如下的主要功能： 良好的用户接口：建立一个g u ip o r t a l 门户，为远程用户提供统一的 w e b 界面，用户通过这个门户来调用相应w e bs e r v i c e 和网格服务g r i d s e r v i c e ，实现对自强3 0 0 0 机群系统资源的查询，进行任务或作业的递 交，结果的返回等。用户无需任何编程要求，无需自己编写客户端程 序，只需要填写相应的表单，就可以方便的实现对自强3 0 0 0 资源的共 享。 网格服务中间件：系统实现了资源查询和分配，数据库的存储，作业管 理，数据传输服务，事务处理等服务，利用这些服务，用户可以w e b s e r v i c e 或g r i ds e r v i c e 的方式进行调用。 服务的管理：这个系统是有两部分组成的，因此需要对w e b 服务和网格 服务g r i ds e r v i c e 的管理。对w e b 服务我们采用t o m c a t 4 o + a x i s 作为 w e bs e r v i c e 的容器和采用j w s d p 的r e g i s t r y 作为w e b 服务的u d d i 注 册中心，来实现对w e b 服务的管理，主要包括：w e b 服务的发布、注册 7 上海大学硕士学位论文 ! ! ! 墼! 堕! ! ! 坐! ! 型! 堕! ! 塑韭堂竺! 堕! 塑堡 ( r e g i s t e r i n g ) 。对网格服务的管理将采用基于o g s a o g s i 的g t 3 网格 系统来实现。 安全认证管理：主要负责用户的授权、认证和用户的权限管理，访问控 制；加密和解密，证书管理；采用安全层套接字s s l ( s e c u r es o c k e t s l a y e r ) 保证传输过程中的安全：采用x m l 加密( x m le n c r y p t i o n ) 、 x m l 签名( x m ls i g n a t u r e ) 、x m l 密钥管理规范，单边认证和证书代理 等方式。 此外，随着应用复杂度的提高，今后将进一步实现事务处理，工作流管理 和容错，任务迁移等功能。 s 上海大学硕士学位论文 ! 生! ! ! ! g 璺! ! 墅! ! ! 竺堕堕! ! ! 堡! 生望! i ! ! ! ! ! 望 第2 章网格体系结构 随着网格计算研究的深入，各种网格技术不断发展，一个标准的、开放的 网格体系结构就越来越重要。网格体系结构是关于如何建造网格的技术，包括 对网格基本组成部分和各部分功能的定义和描述，网格各部分相互关系与集成 方法的规定，网格有效运行机制的刻画。显然，网格体系结构是网格的骨架和 灵魂，是网格最核心的技术，只有建立合理的网格体系结构，才能够设计和建 造好网格，才能够使网格有效地发挥作用。 2 1 五层沙漏模型 f o s t e r 等在早些时候提出的五层沙漏模型，是一个影响十分广泛的结构。 在五层沙漏模型中，一个最重要的思想就是以“协议”为中心，同时强调服务 与应用程序接口a p i 和软件开发工具包s d k 的重要性。 为什么会提出以协议为中心呢? 网格实现对虚拟组织中各种分布式的，动 态的资源进行共享，必须要支持互操作性。因此要清楚地定义网格体系结构， 对虚拟组织进行有效操作，就需要能够在任何潜在的成员之间建立共享联系。 由此可见，互用性成为了中心话题。在一个统一的网络环境下，互用性意味着 共同的协议。因此，网格体系首先而且最重要的是一个协议体系，该协议定义 了基础机制，虚拟组织用户们通过这个机制来商议、建立、管理和开发分配关 系。一个开放的，标准的体系促进了可扩展性，互用性，轻便性，和代码共 用，而标准协议正是使得对提供再增强能力的标准服务的定义更加简单化。另 外，需要提供建造a p i 和软件开发工具包，这样对用户和开发人员来说，就提供 一个可用网格所必须的编程工具，从而可以基于网格构建各种网格应用系统。 根据与底层具体物理资源的距离，从下到上将网格划分为五层，分别是构 造层( c o n n e c t i v i t y ) ，连接层( c o n n e c t i v i t y ) ，资源层( r e s o u r c e ) ，汇 聚层( c o l l e c t i v e ) 和应用层( a p p l i c a t i o n ) 。五层结构的一个重要特点就是 “沙漏”形状，其原因就在于各层协议的数量是不同的，对于最核心的部分， 由于要能够既实现上层各种协议向自身协议的映射，同时实现自身协议向下层 其它各种协议的映射，因为核心协议在所有支持网格计算的地点都应该得到支 持，所以核心协议的数量不应该太多，这样核心协议就形成了协议层次结构中 的一个瓶颈，在五层结构中，资源层和连接层共同组成这一核心的瓶颈部分。 9 上海大学硕士学位论文 ! 生! ! 堡! 生! 苎! ! ! ! ! ! 堕堕! ! 坚g ! ! ! 竺! ! 兰竖塑 图2 - 1 五层抄舞模型的协议分居 五层沙漏结构首先是一个“协议结构”，通过协议可以实现一种机制，使 得虚拟组织中的用户和资源之间可以进行资源使用的协商，建立共享关系。这 五层协议如下所示： 2 1 1 构造层：局部控制的界面 网格构造层的基本功能就是控制局部的资源，向上提供访问这些资源的 接口。构造层的资源是非常广泛的，可以是计算资源，存储系统，目录，网络 资源和传感器。一个“资源”的概念也许是一个逻辑实体，计算机机群，或者 是分布式计算池。 构造层资源提供的功能越丰富，构造层可以支持的高级共享操作就越多。同 时，如果构造层资源提供的功能较少，则网格结构的组织就可以比较简单，实 现起来也相对容易一些。 2 1 2 连接层：支持便利安全的通信 连接层定义了核心的网络事务处理所需要的通信和认证协议。通信协议允许 在构造层资源之间交换数据，建立在通信服务上的认证协议提供加密的安全机 制，用于识别用户和资源。通信的必要条件包括传输，路由和命名等功能。在 实际上，通信协议大部分是从t c p i p 协议栈中抽出的。 考虑到连接层的安全问题，我们注意到安全问题的复杂性，使得一切解决 方案应当尽可能的基于已存在的标准。在通信中，许多基于i n t e r n e t 协议组的 安全标准是适用的。对于虚拟组织的安全认证需要解决的问题或者说应当具备 的特征： l o 上海大学硕士学位论文 t h ep o s t g r a d u a t et h e s i so f s h a n g h a iu n i v e r s i t y 2 1 3 资源层：共享单一的资源 资源层建立在连接层的通信和认证协议之上，定义的协议，包括安全的连 接，初始化，监视和控制，审计，计费等。资源层的协议实现调用构造层的功 能以访问和控制本地资源。资源层的协议只考虑单个的局部资源，因此忽略了 全局状态和跨越分布资源集合的原子操作。 2 1 4 汇聚层：协调各种资源 资源层着眼于和“单个”资源进行交互，体系的下一层包括了协议和服务 ( a p i 和s d k ) ，不仅仅和某种特定的资源交互，而是协调“多种”资源的共享。 因为这个原因，我们将这个层命名为汇聚层( c o l l e c t i v el a y e r ) 。 2 1 5 应用层 应用层是在虚拟组织环境中存在的。说明从应用程序员的观点来看网格结 构。应用是根据在任一层次上定义的服务来构造的。在每一层，都定义了协 议，以提供对相关服务的访问，这些服务包括资源管理，数据存取，资源发现 等。在每一层，都可以将a p i 定义为与执行特定活动的服务交换协议信息的具 体实现，这里的应用可以调用更高级的框架和库。这些框架自身可以定义协 议，服务和a p i ，这里只是提出网格中要求的基本服务与协议。 2 2o g s a 体系结构 开放网格体系结构o g s a ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e 是一种由全 球网格论坛g g f ( g l o b a lg r i df o r u m ) 提出的新型网络体系结构，它被称为 “下一代的网格体系结构”。这一结构的意义，就在于它将网格从以科学与工 程计算为中心的学术研究领域，扩展到更广泛的以分布式系统服务集成为主要 特征的各种商业经济领域。 o g s a 是一套规范和标准，结合了网格技术( g l o b u s 工具包) 和w e bs e r v i c e 的概念和技术。g l o b u s 工具包 5 是一个面向社会的、开放体系结构的、支持 网格和网格应用的开放源码服务和软件库集合。工具包解决安全、信息发现、 资源管理、数据管理、通讯、错误检查和可移植性等问题。它已作为一个应用 于科学和技术计算的g r i d 技术解决方案而被广泛采用：w e bs e r v i c e 6 描述了 一个正在出现的重要的分布式计算模式，它关注于简单的基于i n t e r n e t 的标准 ( 例如可扩展置标语言：x m l ) ，解决异构的分布式计算问题。w e b 服务定义了 描述被访问软件组件的技术、访问这些组件的方法以及发现和鉴别相关的服务 提供者的方法。w e b 服务是编程语言中立、编程模型中立及系统软件中立的， 它已成为一个访问网络应用的基于标准的通用框架。 上海大学硕士学位论文 婴! ! ! ! 塑! ! ! ! 坐坠型! ! ! ! ! 塑韭耍望! ! 竺堡型 o g s a 最突出的思想就是以“服务”为中心。在o g s a 框架中，将一切都抽象 为服务，包括计算机、程序、数据、仪器设备等。这种观念，有利于通过统一 的标准接口来管理和使用网格。o g s a 定义了一个公开的服务语义：网格服务 ( g r i ds e r v i c e ) ，它是一种w e bs e r v i c e ，该服务提供了一组基本的o g s a 接口 ( & p w s d l 中的p o r t t y p e ) ，这些接口的定义明确并且遵守特定的惯例，解决服务 发现、动态服务创建、生命周期管理、通知等问胚。 基于网格服务的概念，o g s a 将整个网格看作是“网格服务”的集合，但 是这个集合不是一成不变的，是可以扩展的，这反映了网格的动态特性。网格 服务通过定义接口来完成不同的功能，服务数据是关于网格服务实例的信息， 因此网格服务可阻简单地表示为“网格服务= 接口行为+ 服务数据”，一个 g r i d 服务可以实现一个或多个接口，每个接口定义一个操作的集合，调用操作 通过一个定义好的消息交换序列来实现这些接口，图2 2 是对网格服务的简单描 述。 圈2 _ 2 。罔格箍务组戚 2 2 1 0 g s a 标准接口 如表2 3 所示，o g s a 定义了多种行为和相关g r i d 服务的接口( 在w s d l 中 称为端口类型p o r t t y p e ) ，这些接口主要有：g r i d s e r v i c e 、 n o t i f i c a t i o n s o u r c e 、n o t i f i c a t i o n s i n k 、r e g i s t r y 、f a c t o r y 、p r i m a r y k e y 、h a n d l em a p 等，其中g r i d s e r v i c e 接口是必需的，而其他的接口都是可选 的。这些接口主要解决网格服务管理的以下问题： 发现：应用程序要求发现可用服务的机制和确定这些服务的特征的机 制，以便能够适当地配鼍应用程序本身和对服务的请求。要满足上述需 求通过定义：一个服务数据的标准表示，服务数据即有关g r i d 服务实例 的信息；一个标准操作，f i n d s e r v i c e d a t a ( 在必需的g r i d s e r v i c e 接口 中) ，以便从个体g r i d 服务实例中获取服务数据：使用注册服务 1 2 上海大学硕士学位论文 ：! 旦! ! ! ! 堡型! 苎! ! 堕! 垄! ! ! ! ! ! 业! ! ! 壁! ! 望! 堡 ( r e g i s t r y ) 注册有关g r i d 服务实例信息的标准接口和将“句柄”映射 到“引用”的标准接口( h a n d l e m a p ) 。 动态服务创建：动态地创建和管理新的服务实例的能力是o g s a 模型的基 本原则，它使得服务创建服务( s e r v i c ec r e a t i o ns e r v i c e s ) 的存在成 为必要。o g s a 模型定义了任何服务创建服务都必须提供的一个标准接口 ( f a c t o r y ) 和相关语义。 生命周期管理。任何分布式系统都必须能够处理不可避免的失败。在一 个由短暂的、有状态的服务实例组成的系统内，必须提供回收服务机制 和与失败操作相关的状态机制。通过定义两个标准操作：d e s t r o y 和 s e t t e r m i n a t i o n t i m e ，分别用于显示地销毁g r i d 服务实例和g r i d 服务 实例的软状态生命周期管理。 蒜i 尝攀豫韭一熬战 g i i d s e m 。i nf i n d s e r , i c e l ) a t a 融甜美g r i d 瞪鼍。爻漶鹩擎静7 = 慧 锰籍蕊拳孵国翁i i n t r s p o t i o n ，f l i t l l t 铷俩h a n d l e 、0 ：嘲r e f e r e n c e 1 一蹙 诩p r i m a l 粉 m l d l e m a p ih 0 i 舵 h a n d l e m a p j ：翔f 宠史j ，诞卜错瀚 镪谈戆，q 辅褥定暇务信熙f 别轴 巾i e 聪f j 断鲢辍锌吏鐾。- 扩链 盘站多种矗渤溺蠢。 s e 【i e n n i n a l i o n h 1 1 。 淡瓣f 书j 捩戡g r i d 臻嚣譬抟 t 0 终1 1 ： 纠捌 d e s l m 、- 搀牛( ；r i d 绑务曩魄 n o t i f i e a l i e t t s o u r c e s u k , c r i b c t t r n o t i f i c a t i o n t o l q c蘩j ：浙息燮帮嚣i 璐麓f 嘲汀翘鞲荚 娥务班翁昀逊t 。绝渗剽嘲麓玎溺 媳壤务骥 ：j = 辘+ n o t i f i c a t i o n s j n kd e l i v c r n o t i f i c a t i o n 实蹴翅甍l 洒艇的并重辑冁 r , o g i s t r y r e g i s t e 6 e r , i c e 极 ig r i d 嫌务匀蜒携鞍耩惫； y i i i j n 雠g k i c r & h 反缓j 潍g r i i ：li i l 务锄赣 i ：a t t t ) t 3 ,( ! r e a l e s c r 、t i c e 刨建新纳g r i d 躲芳吱壤 1b n d l e m a p f i n d i ；y 1l a n d l e 运列与“j 谢泥f i 耄鲫g r i d 耀岛匀揍阿燕 | ： 】l g r i d i | 舔0 l 剐 图表2 3o