（计算机软件与理论专业论文）基于web的网格资源管理与调度.pdf

华中科技大学硕士学位论文 摘要 随着计算机应用需求的迅猛发展，传统的高性能计算和局域网环境下的并行计 算已经不能胜任超大规模应用，这就需要将地理分布、系统异构的多种计算资源通 1 过高速网络连接起来，以满足实际应用的需求共同解决大型应用问题，由此产生了 广域高性能的网格技术。顾名思义，网格是将广域范围的各类计算资源( 包括c p u 、 存储器、数据库等) 通过高速的互联网组成充分共享的资源集成，从而提供一种高 性能计算、管理及服务的资源能力。人们用这些资源就像用电源一样，不必计较这 些资源的来源和负载情况。 g l o b u s 是计算网格技术的典型代表，它帮助规划和组建大型的网格试验平台， 开发适合大型网格系统运行的大型应用程序。g l o b u s 力图实现计算网格结构来提供 对高性能远程计算资源普遍的、可靠的、一致的访问。因此，g l o b u s 是构造网格系 统解决各种计算问题的关键。 网格为大规模计算应用提供了资源和平台。然而，网格环境中的资源归属不同 的组织，其资源管理机制和提供的环境各不相同，性能和负载也动态变化，不能直 接利用。因此如何将所有资源统一组织管理，形成一个可相互利用、相互合作、对 用户相对透明的高性能计算环境是研究的主要问题。 原型网格系统在集群管理和网格中间件体系结构基础之上，采用可扩展网格树 1状分层代理结构，以资源请求代理的方式进行任务提交，完成网格中间件与集群管 理间资源与作业调度的接口，利用结点信息的串行化实现跨硬件平台的远程监控， 最终实现了全网格的统一资源信息管理、统一用户管理、统一作业管理和安全认证， 解决了网格系统中存在的计算机异构、资源信息动态变化等关键问题，为高层软件 和网格应用提供了透明的支持。该系统可以在i n t e m e t 范围内提供一体化的高性能 计算环境和信息服务，提高网络上普通计算机的性能、可扩展性及可用性。i n t e r n e t 上任何一台计算机都可以加入该系统向外提供资源服务。 关键词：网格计算；资源管理；全局调度：中间件；信息服务；请求代理 华中科技大学硕士学位论文 a b s t r a c t e m e r g i n gh i g h p e r f o r m a n c ea p p l i c a t i o n sr e q u i r e t h e a b i l i t y t o e x p l o i td i v e r s e ， g e o g r a p h i c a l l yd i s t r i b u t e d r e s o u r c e s t h e s e a p p l i c a t i o n s u s eh i 曲- s p e e dn e t w o r k st o i n t e g r a t es u p e r - c o m p u t e r sl a r g ed a t a b a s e s ，a r c h i v a ls t o r a g ed e v i c e s ，a d v a n c e d v i s u a l i z a t i o n d e v i c e s ，a n d o r s c i e n t i f i ci n s t r u m e n t st of o r mn e t w o r k e dv i r t u a l s u p e r c o m p n t e r s t h i s ，i nf a c t ，i sw i d e a r e ah i g h p e r f o r m a n c eg r i dc o m p u t i n g p e o p l e u s e t h e s er e s o u r c e sl i k eu s i n ge l e c t r i c a ls o u r c e s ，a n dd on o tc a r ef o rt h eo r i g i na n dl o a do f t h e s er e s o u r c e s g l o b u si st h eb e s tm i d d l e w a r et o e x p l o i tg r i ds y s t e m i ti si n t e n d e dt oa c h i e v ea v e r t i c a l l yi n t e g r a t e dt r e a t m e n to fa p p l i c a t i o n ，m i d d l e w a r e ，a n dn e t w o r k g l o b u sa i m st o i m p l e m e n t 鲥ds t r u c t u r et op r o v i d ep r e v a l e n t ，d e p e n d a b l ea n dc o n c u r r e n t a c c e s so f r e m o t eh i g h - p e r f o r m a n c ec o m p u t i n g al o w - l e v e lt o o l k i tp r o v i d e sb a s i cm e c h a n i s m s s u c ha sc o m m u n i c a t i o n ，a u t h e n t i c a t i o n ，n e t w o r ki n f o r m a t i o n ，a n dd a t aa c c e s s t h e s e m e c h a n i s m sa r eu s e dt oc o n s t r u c tv a r i o u sh i g h e r - l e v e lm e t a c o m p n t i n gs e r v i c e s ，s u c ha s p a r a l l e lp r o g r a m m i n gt o o l sa n ds c h e d u l e r s i nf a c t ，g l o b u si st h ek e yt oc o n s t r u c tg r i d s y s t e mf o rr u n n i n gc o a r s e - g r a i n e dd i s t r i b u t e dp a r a l l e la p p l i c a t i o n s c o m p u t a t i o n a lg r i d sa r eap r o m i s i n gp l a t f o r mf o re x e c u t i n gl a r g e - s c a l er e s o u r c e i n t e n s i v e a p p l i c a t i o n s h o w e v e r , r e s o u r c em a n a g e m e n ta n ds c h e d u l i n gi nt h e g r i d e n v i r o n m e n ti sac o m p l e xu n d e r t a k i n ga sr e s o u r c e s a r c ( g e o g r a p h i c a l l y ) d i s t r i b u t e d ， h e t e r o g e n e o u si nn a t u r e ，o w n e db yd i f f e r e n ti n d i v i d u a l so ro r g a n i z a t i o n sw i t ht h e i ro w n p o l i c i e s ，h a v ed i f f e r e n ta c c e s s ，a n dh a v ed y n a m i c a l l yv a r y i n gl o a d sa n da v a i l a b i l i t y i ti s t h em a i n r e s e a r c hp r o b l e mt h a th o wt ou n i f ya n dm a n a g et h ew h o l er e s o u r c e s ，h o wt o f o r mac o - u t i l i z i n g ，c o o p e r a t i n ga n dt r a n s p a r e n tf o ru s e r sh i g h - p e r f o r m a n c ec o m p u t i n g e n v i r o n m e n t t h ea r c h i t e c t u r eo fc l u s t e rm a n a g i n gs o f t w a r ea n dt h ep r i n c i p l eo f g r i dm i d d l e w a r e a r ea n a l y z e d f o l l o w i n gt h e s e ，t h es c a l a b l eg r i dt r e e l i k eh i e r a r c h i c a ls t r u c t u r ei s p u t f o r w a r d g r i d j o bs u b m i s s i o no fg r i dr e q u e s tb r o k e r si sc o m p l e t e d ，t h er e s o u r c ea n dj o b m a n a g e m e n ti n t e r f a c e b e t w e e nm i d d l e w a r eg l o b u sa n dc l u s t e r m a n a g i n g s o f t w a r e n 华中科技大学硕士学位论文 c o d i n ei sf i n i s h e d ，a n dt h er e m o t em o n i t o ro nd i f f e r e n th a r d w a r ep l a t f o r mb y s e r i a l i z i n g t h ei n f o r m a t i o no fn o d e si si m p l e m e n t e d a tl a s t ，t h ep r o t o t y p es y s t e mi s c o n s t r u c t e d ， w h i c hc a nr e a l i z eu n i f o r mi n f o r m a t i o nm a n a g e m e n t ，u n i f o r m u s e r m a n a g e m e n t ，u n i f o r m j o bm a n a g e m e n ta n du n i f o r ms e c u r i t ya n da u t h e n t i c a t i o ni nt h ew h o l eg r i ds y s t e m 1 1 1 e p r o t o t y p es y s t e m s o l v e ss o m e s i x t y f o u r - d o l l a rq u e s t i o n s s u c ha s r e s o u r c e s h e t e r o g e n e o u sa n di n f o r m a t i o nd y n a m i c i ta f f o r d st r a n s p a r e n ts u p p o r tf o r1 1 i g h - l e v e l s o f t w a r ea n dg r i d a p p l i c a t i o n s i t c a ne n h a n c et h e p e r f o r m a n c e ，e x p a n s i b i l i t y a n d u s a b i l i t yo fc o m p u t e r si ni n t e r n e t ，a n dp r o v i d ei n c o r p o r a t ee n v i r o n m e n ta n di n f o r m a t i o n s e r v i c e s a l lc o m p n t e mi ni n t e m e tc a r lj o i nt h i s s y s t e ma n do f f e rr e s o u r c es e r v i c et o 0 n t s i d e k e y w o r d s ：g r i dc o m p u t i n g r e s o u r c e m a n a g e m e n t ；g l o b a ls c h e d u l i n g ；m i d d l e w a r e i n f o r m a t i o ns e r v e r r e q u e s tb r o k e r i i i 华中科技大学硕士学位论文 1 1 问题的提出 1 绪言 今天，因特网f l 】【2 1 和万维网【3 】已经普及，网络的影响随处可见。有观点认为，因 特网和万维网技术已接近成熟期，它们即将被更先进的技术所取代。那么，“因特 网后面是什么? 万维网后面是什么? 什么是信息技术的下一个大浪潮? ”我们必须 提出这些问题，思考这些问题，回答这些问题，才有希望参与和创造信息技术的下 一个大浪潮。 早期的互联网应用带来了数据的大量集中，也为人们获取信息提供了迄今为止 最为便捷的手段，然而，人们所期望的还不止于此。我们面临的是一个信息爆炸的 时代，各种信息成指数地快速增长，而现有的w e b 信息服务器就好像i n t e m e t 世界 上一个个孤立的小岛。虽然这些“小岛”之间暂时还有充足的带宽资源可用，但大 量的信息还是被“锁”在各个小岛的中央数据库里，各“孤岛”之间并不能按照用 户的指令进行有意义的交流。因此，人们希望更进一步地共享互联网上的一切资源， 包括处理能力、存储容量、数据库、应用软件、文件等。先是一小批人，后来是越 来越多的专家得出结论，解决上述问题并引领互联网进入下一波发展大潮的新技术 就是“网格”。 2 0 0 1 年9 月1 0 日，也就是“9 1 l ”事件的前一天，美国福布斯杂志【4 j 的科 技版 ( f o r b e sa s a p ) ) 发表了一组文章，预告了网格技术的普及。文章分析了计算 机技术的发展历史和近几年的趋势，并指出： 信息技术的下一波大浪潮将在2 0 0 4 2 0 0 5 年出现： 这个大浪潮将极大地改变我们的工作和生活。到2 0 2 0 年，由此产生的互联 网经济将成长为一个2 0 万亿美元产值的大工业： 这一波浪潮的本质特征就是万维网( w o r l dw i d ew e b ) 升华为网格( g r e a t g l o b a lg r i d ) 。 那么，网格与我们熟知的因特网究竟有哪些不同呢? 中国科学院计算所所长李 国杰院士认为，网格实际上是继传统因特网和w e b 之后的第三个大浪潮，可以称之 华中科技大学硕士学位论文 为第三代因特网。简单地讲，传统因特网实现了计算机硬件的连通，w e b 实现了网 页的连通，而网格试图实现互联网上所有资源的全面连通，包括计算资源、存储资 源、通信资源、软件资源、信息资源、知识资源等。 1 2 网格概述 计算网格是美国近年来大力推动实施的一项网络高性能计算基础设施。其思想 来源于与历史上电网、铁路网等其他基础设施的类比。人类懂得利用电能已有相当 长的历史，掌握发电技术也有不短的时间，但只有到电网的出现才使电力得到普遍 应用，人类进入电气化社会；同样，美国历史上铁路网促使了大市场的出现，极大 推动了社会经济的进步。因此，人们期望将分散在各个计算中心的高性能计算能力 通过高速通信网络连成网格，形成前所未有的超级网络分布计算能力，并借助 i n t e m e t 将这种计算能力输送到每一个科研和工程人员的桌面上。有理由相信，这种 计算网格基础设施将从根本上影响人们的计算认识和实践。 1 2 1 网络计算管理 传统的高性能并行计算平台一般是基于向量的紧耦合并行巨型机，近一、二十 年来，随着巨型机体系结构的下移，硬件成本的降低，工作站的性能得到了很大提 高。同时由于分布式、并行计算的理论及c l i e n t s e r v e r 技术的成熟，特别是网络技 术的迅速发展，使得由高性能工作站组成的群机系统作为松耦合的并行计算机具有 越来越可观的发展及应用前景。进一步，由于光纤网的问世、通讯带宽的增加、安 全机制的增强，分布计算的范围从l a n 的局限中拓展到互联网，群机的概念也扩 展到将工作站、m p p 及其它硬件资源都包括进来。对于越来越复杂的体系结构，如 何管理这些计算资源，使整个系统的费效关系更合理、优化，显得越来越必需和重 要。 网络计算管理【5 】是在同构或异构的工作站群机系统中屏蔽底层计算资源，在系 统范围内为用户提供一种统一的资源视图，在作业与资源之间寻找最佳匹配策略， 管理和调度作业的并行执行，使系统资源得以合理利用，系统负载保持平衡，从而 最终使系统的作业吞吐量达到最大。 2 华中科技大学硕士学位论文 网络计算管理软件是在操作系统内核之上可独立安装的软件，不需要修改内 核，为用户及管理员提供下层结构与资源透明的a p i 界面。由于各种软件功能各异、 侧重点不同，很难简单地给网络计算管理的研究内容定一个明确的研究范围，通常 我们以美国纽约s y r a c u s e 大学东北并行结构中心的m a r k a b a k e r 等人提出的一套较 全面的评价标准 6 1 为基础。 1 2 2 网格的概念 世界上的高性能计算机是有排名的，最著名的一个就是“超级电脑世界5 0 0 强” 网站【7 1 。这个网站是由田纳西大学的杰出教授杰克唐格拉维护的。唐格拉这样解 释网格：“网格试图提供这样一种技术：人们可以把自己的微机插入网格，以后就 可以透明地使用网格上的各种计算资源和知识资源，就像今天我们将任何一种家电 设备插进墙上的插座，就可以方便地使用电一样。” 伊安福斯特，美国计算网格项目的领导人之一，曾在1 9 9 8 年主编过一本书， 题为网格：2 1 世纪信息技术基础设施的蓝图。他这样描述网格：“网格是构筑在 互联网上的一组新兴技术，它将高速互联网、高性能计算机、大型数据库、传感器、 远程设备等融为一体，为科技人员和普通百姓提供更多的资源、功能和服务。互联 网主要为人们提供电子邮件、网页浏览等通信功能，而网格的功能则更多更强，它 能让人们透明地使用计算、存储和其他资源。”这其他当然包括通信资源、软件资 源、信息资源、知识资源等。 网格【8 是因特网应用的新发展，又称为虚拟计算环境【l o 】。网格把分布在各地 的计算机连接起来，用户分享网上资源，感觉如同个人使用一台超级计算机一样。 作为信息产业的新热点，网格的进一步发展将像国际互联网一样，对人类社会产生 巨大影响。按侧重点的不同，网格可分为计算网格、信息网格、知识网格和商业应 用网格等几种类型，图1 1 列举了网格研究的一些常见实例。利用网格，芯片设计 厂家可以将他们在数星期内方可完成的设计任务在数小时之内顺利完成，从而大大 节省产品面市时间；同样，汽车制造厂商可以利用网格进行模型的模拟测试，从而 取代原来的电路测试和风洞试验，降低产品成本；在金融行业，网格在风险抵抗等 方面有良好的表现：在基因工程领域，网格则是药物分子模拟、药物研究、基因测 序等应用的最理想工具。 3 华中科技大学硕士学位论文 g g g ( g r e a tg l o b a lg r i d ) 彳 计算网格信息网格和知识网格 魏崖：6 1 2 3 网格系统构成 卜 黾州。巨基。 k - - i b mw e bs e r v i c e s k - - m i c r o s o f t n e t i 一s u no n e 图1 1 网格研究的一些常见实例 网格技术的产生、发展必须具备以下三个基本条件：计算资源的广域分布、网 络技术( 特别是i n t e r n e t ) 以及不断增长的对资源共享的需求。在计算机技术发展 的早期阶段，只有少量的大型计算机，它们通常被安装在相互独立的计算中心内， 多个计算机用户通过使用终端来共享一台大型机的资源，却不能同时共享多台大型 机的计算资源。随着网络技术的发展，多台大型计算机可以在局域网( l a n ) 内互 连，用户通过网络可以同时使用多台计算机资源。而i n t e r n e t 的飞速发展和普及 使得网格计算技术的产生成为可能。图1 2 显示了计算资源共享的发展过程。 网格系统可以分成三个基本层次：资源层、中间件层和应用层。 网格资源层是构成网格系统的硬件基础，它包括各种计算资源，如超级计算机、 贵重仪器、可视化设备、现有应用软件等，这些计算资源通过网络设备连接起来。 网格资源层仅仅实现了计算资源在物理上的连通，但从逻辑上看，这些资源仍然是 孤立的，资源共享问题仍然没有得到解决。因此，必须在网格资源层的基础上通过 网格中间层完成广域计算资源的有效共享。 网格中间件层是指一系列工具和协议软件，其功能是屏蔽网格资源层中计算资 源的分布、异构特性。向网格应用层提供透明、一致的使用接口。网格中间件层也 4 一一一一一 华中科技大学硕士学位论文 称为网格操作系统( g r i do p e r a t i n gs y s t e m ) ，它同时需要提供用户编程接口和相 应的环境，以支持网格应用的开发。 集中式 三芝 古- 蝴储 园卤一w 局域共享 广域共享 图1 2 计算资源共享的发展 网格应用层是用户需求的具体体现。在网格操作系统的支持下，网格用户可以 使用其提供的工具或环境开发各种应用系统。能否在网格系统上开发应用系统以解 决各种大型计算问题是衡量网格系统优劣的关键。 1 3 网格研究现状 1 3 1 网络计算管理 随着网络技术的发展及应用的深入，网络计算管理在未来以网络为中心的分布 计算中必将日益成熟且作用重要。美国和欧洲的许多公司、高校和研究机构都已将 这种技术成功地用于大规模的科学计算或商业应用，并己推出了数十个商用或非商 用的软件包，如c o d i n e 1 ”、l s f 1 2 】【13 1 、d q s 1 ”、p b s 1 5 】、c o n n e c t ：q u e u e 1 6 】和n q e t l 7 1 。 其中前两者是商业软件，后4 者是科研产品。 c o d i n e 是由德国g e n i a s 软件公司于1 9 9 6 年推出的d q s 的商业版，现已被 s u n 公司收购并改名为s u ng r i de n g i n e 。它是在异构网络环境中优化软硬件资源的 资源管理系统。c o d i n e 拥有前面提到的评价标准中的全部功能，具有当前所有其它 商业软件所不具备的优势。 l s f 由加拿大多伦多的p l a t f o r mc o m p u t i n g 计算公司于9 0 年代初开发。l s f 将 分散的网络资源以统一、可共享的计算资源视图呈现给用户，通过l s f 库将批处理、 华中科技大学硕士学位论文 作业调度、多群机共享、负载平衡分析、并行生成5 个独立的软件集成起来。l s f 已在世界上6 0 0 多家公司的6 0 ，0 0 0 多台计算机上安装使用。 d q s 是由美国能源部资助、佛罗里达州立大学于1 9 8 9 年开始研制的基于异构 网络的队列系统，是迄今为止功能较丰富、应用较广泛、技术较成熟的管理软件。 d q s 的目的是为多种应用提供透明管理，以提高系统的作业吞吐率。 p b s 由n a s aa m e s & l l n l 研制，其前身是n a s a 的c o s m i cn q s ( n e t w o r k q u e u i n gs y s t e m ) 。p b s 是为了满足异构计算网络的需求而建立的灵活、可扩展的批 处理系统，其目的在于为批作业的启动和调度提供额外的控制，允许作业在不同主 机间迁移。p b s 最大的特点就是调度模块独立，该模块掌握着队列中作业运行及系 统资源使用的情况，允许管理员根据这一情况定义每个作业可使用什么类型的资源 及可使用多少资源。 c o n n e c t ：q u e u e 由美国的s t e r l i n g 软件公司支持和开发的n q s 的商业版。功能 及特性与g n q s ( g e n e r i e n e t w o r kq u e u i n gs y s t e m ) 十分类似。它支持较宽范围的 u n i x 平台的批作业和设备队列，支持批队列、设备队列、管道队列三种队列类型。 批作业调度系统在整个工作站群机上提供作业的负载平衡，负载平衡的策略基于物 理内存的使用率、c p u 使用率、队列作业的限制三种统计结果的使用。 n q e 是由c r a y 公司开发的共享复杂的异构网络的作业管理系统。与n q s 兼容， 但扩展了n q s 的容量。n q e 实现了在整个网络上的自动负载平衡，支持3 w 乔面、 p v m 、安全的文件传输协议代理f t a 及一些非c m y 的平台。n q e 采用c l i e n t s e r v e r 模型，提供集成的作业管理及可靠的c l i e n t s e r v e r 批处理环境。 1 3 2 网格系统研究 目前，网格的研究主要在美国和欧洲。英国政府已投资1 亿英镑，用来研制“英 国国家网格( u k n m i o n a lg r i d ) ”。美国政府用于网格技术基础研究的经费已达5 亿 美元。美国军方正规划实施一个宏大的网格计划，叫做“全球信息网格( g l o b a l i n f o r m a t i o ng r i d ) ”，预计在2 0 2 0 年完成。作为这个计划的一部分，美国海军和海军 陆战队已启动了一个耗资1 6 0 亿美元历时8 年的项目，包括系统的研制、建设、维 护和升级。 国际上的网格研究主要采用开发源码、公开合作的模式。全球网格论坛( g l o b a l 6 华中科技大学硕士学位论文 g r i df o m l t l ) 【1 8 1 是目前主要的合作组织。目前比较有影响的研究计划有g l o b u s t m l 【2 0 j 、 l e g i o n l 2 t 2 2 、w e b f l o w l 2 3 1 1 2 4 1 、n e t s o l v e 2 5 】【2 6 】【2 7 1 、n a s a i n f o r m a t i o np o w e r g r i d ( i p g ) 2 8 1 、n i n f t 2 9 】【3 0 1 等。其中最著名的网格计算研究是美国的g l o b u s 项目。 g l o b u s 是美国a r g o n n e 国家实验室的研发项目，全美有1 2 所大学和研究机构 参与了该项目。该项目的主要研究目标有两个：其一是网格技术的研究；其二是相 应软件的开发和标准的制定。同时，g 1 0 b u s 项目还涉及到网格应用的开发及试验床 的建立。目前，g l o b u s 的技术已在n a s a 网格( n a s ai p g ) 、欧洲数据网格( d a t a g r i d ) 、美国国家技术网格( n t g ) 等8 个项目中得到应用。 g t o b u s 的网格体系结构主要分为网格结构层( g r i df a b r i c ) 、网格服务层( g r i d s e r v i c e s ) 、网格应用工具层( g r i da p p l i c a t i o nt o o l k i t s ) 和应用层( a p p l i c a t i o n ) 几个部分。其中，网格结构层提供资源相关、站点相关的基本功能，便于高层分布 式网格服务的实现：网格服务层实现资源无关和应用无关的功能，网格服务的实现 涉及到地域和机构的分布：网格应用工具层提供更为专业化的服务和组件用于不同 类型的应用：应用层由用户开发的应用系统组成，网格用户可以使用其他层次的接 口和服务完成网格应用的开发。 l e g i o n 是由美国的维吉尼亚大学开发研制的基于对象的网格计算系统，通过高 速网将分散的异构资源无缝连接起来，支持透明的调度、数据管理、容错和安全操 作。l e g i o n 提供了高性能并行、负载均衡、分布式数据管理和容错性。它通过其容 错管理和成员结点间的动态重新配置来支持高可用性。它还有一个可扩充核心，该 核心可以在出现新的改进和进展时动态替换或升级。系统并不是只接受单一控制， 而是可以由任意数量的组织管理，而每个组织都支持整体的自治部分。l e g i o na p i 通过其内置的并行性提供了高性能计算。 l e g i o n 需要使用特别编写的软件，以使它可以使用其a p i 库。它位于用户计 算机操作系统之上，协调本地资源和分布式资源。它自动处理资源调度和安全性， 还管理上下文空间以描述和访问整个系统中上亿种可能之外的对象。然而，在每个 节点上运行时，不需要使用系统管理员特权，并且可以使用无特权的用户帐号进行 工作。这将增加加入l e g i o n 的节点和用户的灵活性。 随着网格研究在学术界的加速，信息产业界的大公司也相继公布了与网格目标 一致的研究开发计划。惠普、i b m 、微软、s u n 等公司最近取得共识，支持x m l 、 s o a p 、u d d i 等万维网标准，从而更有利于开发新一代的网络应用，即万维网服务。 7 华中科技大学硕士学位论文 其目的是将因特网上的资源和信息汇聚在一起，组合成企业和消费者所需要的服 务。惠普推出了e s p e a k 万维网服务平台；i b m 用它的w e b s p h e r e 平台和一系列中 间件实现万维网服务；微软的路线是通过其n e t 计划和c # 语言实现万维网服务； s u n 则通过o p e n n e t w o r ke n v i r o n m e n t ( s u no n e ) 计划和j a v a 平台来实现它。另 外，i b m 最近宣布，将投资4 0 亿美元，启动一个全公司的“网格计算创新计划”： s u n 则在2 0 0 0 年9 月公布了其网格引擎软件。 ( f o r b e sa s a p 杂志指出，微软的动向特别值得注意，因为它的n e t 战略本 质上是想主导和占领网格操作系统的发展和市场，而微软参与提出的x m l 和s o a p 等标准协议又可能成为网格界面的基础。据悉，除了n e t 以外，微软内部正在开发 全面支持网格的下一代视窗操作系统，计划在2 0 0 5 年完成。 我国对网格计算的研究起步较晚，相关工作开始于1 9 9 8 年。由于网格计算是 一项刚起步的研究，因此我们在网格计算关键技术的研究方面与国外差距不大，基 本处于相同的起跑线上。目前，我国的网格计算研究主要集中于中科院计算所、国 防科大、江南计算所、清华大学等几家在高性能计算方面有较强实力的研究单位。 其中，中科院计算所在高性能计算领域的主要成果是曙光3 0 0 0 超级服务器，他们 的网格研究工作统称为“织女星网格”( v e g ag r i d ) ，其最大特色是“服务网格” 的思想，而国际上的网格研究目前主要面向科学计算。其他单位的主要成果有银河 巨型机、同方探索集群系统等。 1 4 研究内容 本文的主要研究内容是网格资源管理与调度的研究。我们分析了集群管理软件 和网格中间件的基本体系结构和工作原理，在此基础上提出了网格分层资源管理与 任务调度模型，并实现了全网格统一的资源信息管理、用户管理、作业管理和安全 认证的原型系统。下面简要阐述本文的内容： ( 1 ) 提出资源多级管理和任务多级调度的思想 ( 2 ) 提出网格资源管理与调度的树状层次结构模型 ( 3 ) 实现网格中间件g l o b u s 与集群管理软件c o d i n e 间资源与作业管理接口 ( 4 ) 设计并实现了网格原型系统，支持m p i 、p v m 等并行环境 ( 5 ) 利用结点信息的串行化实现了基于集群的、跨硬件平台的远程监视系统 8 华中科技大学硕士学位论文 1 5 组织结构 下面是论文各章的内容安排： 第一章引言 指出网格是继传统因特网和w e b 之后的第三个大浪潮，讨论了网格的基本构成 及网格的研究概况，并简要介绍了本文的内容。 第二章网格层次模型及相关理论研究 简要介绍了集群管理( 主要是c o d i n e ) 和网格中间件( g l o b u s ) 的相关知识与 理论，最后给出简化的网格树状层次模型。 第三章网格结构模型与算法设计 详细介绍了网格的体系结构、主要模块的功能与实现，最后给出了资源请求代 理调度资源、分配任务的模式和算法。 第四章网格原型系统环境与实现 介绍了网格资源管理与调度以及几个子系统的具体实现方法。 第五章总结与展望 在总结本文工作的基础上，对基于w e b 的网格的进一步发展和实用化提出了一 些展望。 1 6 小结 本章简要介绍了网格的基本构成、国际上网格系统的研究现状，指出网格是继 传统因特网和w e b 之后的第三个大浪潮，最后概述了本论文的主要研究内容和组织 结构。 9 华中科技大学硕士学位论文 2 网格层次模型及相关理论研究 网格的目的是要将地理分布、系统异构的多种计算资源通过高速网络连接起 来，共同解决大型应用问题。这里的计算资源包括单个的p c 机、工作站、集群、 高性能的超级计算机。在这一章里，我们先简要介绍集群管理和网格中间件的相关 知识和理论，最后给出简化的网格树状层次模型。 2 1 集群管理 2 1 1 集群管理软件及其性能比较 集群管理主要是通过软件方法实现的，集群管理软件主要用来监控和管理提交 给工作站集群处理的应用程序作业，它介于底层系统与上层应用之间，它也能扩展 并管理其它下层资源，就如软件许可证一样。 集群管理软件能够在许多方面帮助管理集群，如：在并行或顺序作业处理中优 化可用资源的性能；区分可用资源的优先级；设置检查点并进行任务迁移；任务时 序控制和优先级处理：实现负载平衡和容错。现在，既有大量的商业版本，也有大 量公共域上免费提供的。在 3 1 3 2 】 3 3 】中有关于它们功能和用途的全面的看法。 目前，应用比较广泛的集群管理软件有c o n d o r 、l s f 、c o d i n e 、e a s y 等，我们 对它们进行了性能上的比较，结果见附录2 ，主要依据以下几个方面： 异构性 支持的硬件平台 支持的操作系统 是否需要附加软硬件 任务时序控制和优先级处理 负载平衡和进程迁移 容错技术 并行支持 动态资源池 1 0 华中科技大学硕士学位论文 2 1 2 集群管理工具c o d i n e c o d i n e 是考察的几种集群管理软件中功能最齐全的一种，拥有 6 中提到的评价 标准中的全部功能，具有其他软件不具备的优势。因此，我们选择c o d i n e 作为我们 网格中的底层集群管理工具。 2 1 2 1c o d i n e 的主要功能 c o d i n e 是c o m p u t i n gi n d i s t r i b u t e dn e t w o r k e de n v i r o n m e n t 的简称，是由德国 g e n i a s 软件公司于1 9 9 6 年推出的d q s 的商业版，现改名为s u ng r i de n g i n e s o f t w a r e 。是在异构网络环境中优化软硬件资源使用的资源管理系统，其目的是为 多种应用提供透明管理，以提高系统的作业吞吐率，其功能有： ( 1 ) 支持异构平台。 ( 2 ) 运行的平台有d i g i t a l 、i n t e l 、h p 、s g i 、i b m 、s u n 。 ( 3 ) 支持的操作系统有o s f l q t r i x 、l i n u x 、u x 、i r i x 、a k 、s u n o s 、s o | a r i s 。 ( 4 ) 支持批处理、交互式、并行作业处理，支持p v m 、m p i 等并行环境。 ( 5 ) 对管理员和用户提供g u i 图形界面、命令行和脚本语言的接口。 ( 6 ) 支持透明的远程执行方式。 ( 7 ) 存在多个管理结点：p r i m a r ym a s t e r 和s h a d o wm a s t e r 。 ( 8 ) 支持静态负载平衡和基于检测点与任务迁移的动态负载平衡。 ( 9 ) 具有容错功能，可以在最近的检查点处重新运行。 2 1 2 2c o d i n e 的系统结构 c o d i n e 系统在功能上包括3 个方面内容：服务器程序m a s t e r ，作业的实际运行 管理程序e x e c u t i o n 和c o d i n e 用户接口。c o d i n e 系统要求至少一台主机运行m a s t e r ， 和至少一个e x e c u t i o n 。m a s t e r 和e x e c u t i o n 可以运行在一台主机上，也可以在不同 主机上。m a s t e r 、e x e c u t i o n 和c o d i n e 用户接口及客户间的通讯关系如图2 1 所示。 c o d i n e 为多种用途的用户提供了可选择的构造系统连接特性的方法。集群各结点之 间都可以进行通讯。 华中科技大学硕士学位论文 服务管理程序m a s t e r m a s t e r 保存所有关键文件和列表。关键文件包括所有用于记录维护系统安全信 息、启动参数、可用资源信息等文件。列表即“队列”，包括作业队列和执行队列。 作业队列是按作业优先级和提交时间排序的线性队列：在执行队列中，按每个作业 的执行目标定义了一个资源环境队列。m a s t e r 包括作业调度和管理两个功能模块及 管理数据库d b 。作业调度模块以事件驱动和时间驱动两种方式扫描作业队列，找 出能使某一作业资源需求得到满足的执行队列。管理模块负责队列管理、资源分配、 根据e x e c u t i o n 报告的负载信息综合分析负载分布情况，进行负载的自动平衡，与 用户接口和e x e c u t i o n 通讯、检查用户权限及维护系统安全等。 b 职丢鬻 i 一： i 一。 l一管理 用 户 i一管理 胡阻n 8 鬻 接 = 型m a s t e r 一作业调度 口 一u b l u i l：l n t v e ：罨 卜 -_-_-。- 图2 1c o d i n e 的功能结构简图 结点执行程序e x e c u t i o n e x e c u t i o n 为工作结点上的服务进程，随时接受由m a s t e r 程序提交的任务并管 理其实际执行；定期响应m a s t e r 的询问，收集本机状态和负载信息报告给m a s t e r 。 每台主机都有一个e x e ed a e m o n ，管理多个作业的执行。 c o d i n e 用户接口( g i ) 用户接口是一组g u i 或行命令集合，客户既可以通过图形方式直观的实现作业 提交、查询等与系统的交互功能，也可以通过c o d i n e 命令接口方式实现相同的功能。 1 2 华中科技大学硕士学位论文 2 2 网格中间件g l o b u s 2 2 1 中间件的由来 在高性能计算领域中，客户服务器( c l i e n t s e r v e r ) 模型【3 4 】【3 5 】口6 】已经得到广泛 的应用。对于单一、固定的应用来说，客户服务器模型是一种成功的结构，它在各 客户之间有效的实现了服务器资源的共享。然而，客户月& 务器模型依然要求主要资 源集中在服务器上，不能完全支持分布资源的应用。同时，在客户端，对每一个应 用都必须开发特定的客户端程序，不利于客户端应用程序的共享。在分布式环境中， 无论是硬件平台还是软件平台也都做不到统一。 随着对客户服务器模型及其缺陷认识的深入，人们在客户端和服务器之间插入 了一个中间层，称为“中间件”【3 7 】【3 8 】。中间件是在计算机硬件和操作系统之上，支 持应用软件开发和运行的系统软件，它能够使应用软件相对独立于计算机硬件和操 作系统平台，为当今的大型分布式应用搭起了一个标准的平台，把大型企业分散的 系统和技术组合在一起，实现大型企业应用软件系统的集成。它提供的服务包括定 位、解析、授权、t r a n s a c t i o n 语义、同步、数据格式转换等等。这种体系结构如图 2 2 所示。 图2 2 中间件应用示意图 中间件的加入使得客户端不再直接与某个特定的主机或进程联系，而是与一个 一般的抽象的服务器进行交互。对于客户端而言，真正的服务器实现的服务和中间 层提供的服务是一致的。 华中科技大学硕士学位论文 2 2 2g l o b u s 的基本功能 g l o b u s 是美国a r g o n n e 国家实验室的研发项目，全美有1 2 所大学和研究机构 参与了该项目。g l o b u s 项目提供基础的软件集成分散的异构资源形成一个单一计算 环境，其核心是g l o b u s 元计算工具包