（计算机应用技术专业论文）网格原型系统的构建与协同机制的研究.pdf

西南科技大学硕士研究生学位论文第1 页 摘要 网格计算是2 0 世纪末起源的一个新兴的领域，它的目标是要将 异构的软硬件资源实现统一访问和无缝集成，向用户提供随处可得 的、灵活的、可靠的、一致的、标准的、廉价的计算能力。网格计 算在2 1 世纪无论在教育科研领域还是在工业界都具有广泛的应用前 景。 由于网格系统底层资源的异构性和整合利用这些资源的复杂 性，因而，研究在复杂的网格系统中存在于不同层次的对象间协同 关系具有十分重要的意义。 本文首先介绍了网格计算的概念与网格体系结构，然后在分析 系统各层次中对象间依赖关系的基础上，从模块、服务与任务三个 层次上研究了这些对象的协作模式。构建了一个以高性能计算为目 标的网格原型系统。探讨了资源调度算法与容错处理策略，阐述了 网格服务层各部分的功能，对所构建的原型系统进行了详细测试。 本文在以下几个方面取得了进步： ( 1 ) 利用g l o b u st o o l k i t 工具。构建了一个拥有1 0 个集群的网格原 型系统。实现了对广域范围内的计算资源的无缝集成，简化了 用户利用资源的方式，实现了用户透明地利用资源。 ( 2 ) 本文分层次，详细探讨了网格系统中对象的协作方式，并且提 出了描述任务间协同关系的协作模型，以及协作模型的形式化 表达方式，从而使得任务间协作关系能够被保存、重用与重建。 ( 3 ) 在网格资源调度方面，本文利用模拟退火算法计算最小代价静 态分配方案，并利用蚁群算法的正向反馈原理实现动态资源最 优化分配。实现了资源调度的智能化。 ( 4 ) 为提高系统的鲁棒性，在容错处理上提出了一种“心跳检测” 策略，充分利用了代理节点上的计算资源，实现了对于网格服 务异常状态的准确检验。 实验测试表明，河海大学网格系统在运行高计算量低通信量的 任务中有较好的表现，能够充分利用资源，发挥并行处理的优势。 关键字；网格计算心跳检测模拟退火算法协同 西南科技大学硕士研究生学位论文第1 i 页 a b s t r a c t g r i dc o m p u t i n gi san e wr e s e a r c hf i e l do r i g i n a t e da t t h ee n do f2 0 t h c e n t u r y ，i ta i m st or e a l i z et h eu n i f o r ma c c e s sa n ds e a m l e s si n t e g r a t i o n o fh e t e r o g e n e o u ss o f t w a r ea n dh a r d w a r e ，s u p p “e sn e x i b l e ，r e l i a b l e ， c o s i s t e n t ，s t a n d a r d ，l o w - c o s ta n dp e r v a s i v ec o m p u t i n ga b l i l i t y g r i d c o m p u t i n gh a sb r o a d i n ga p p l i a b l ep e r s p e c t i v ew h e t h e ri nt h ef i e l do f e d u c a t i o na n dr e s e a r c ho ri nt h ei n d u s t r i a la r e ai nt h e21t hc e n t u r y a st h eh e t e r o g e n e o u sr e s o u r c eu n d e r l y i n gt h eg r i ds y s t e ma n dt h e c o n l p l e x i t yo fu s i n gt h e s er e s o u r c e s ，i th a sg r e a ts i g n i f i c a n c et os t u d y t h ec o l l a b o r a t i o n r e l a t i o n s h i p b e t w e e nt h e o b j e c t ss p r e a d i n g i n d i f f e r e n t1 a y e r si nac o m p l i c a t e dg r i ds y s t e m a tf i r s t ，t h ep a p e rd i s c u s s e dt h ec o n c e p ta n da r c h i t e c t u r eo ft h eg r i d c o m p u t i n g ， a n dt h e n ， b a s e do nt h ed e p e n d e n c eo ft h eo b j e c t si n r e s p e c t i v el a y e r s ，s t u d i e dt h ec o l l a b o r a t i n gp a t t e r no ft h eo b j e c t si nt h e t h r e el a y e r so fm o d e l ，s e r v i c ea n dt a s k e s t a b i i s h e dag r i dp r o t o t y p e s y s t e mf o rt h eh i g hp e r f o r m a n c ec o m p u t i n g d i s c u s s e dt h ea l g r i t h o m f o rr e s o u r c es c h e d u l i n ga n ds t r a t e g yf o rf a u l tt 0 1 e r a n c e ，e x p a t i a t e dt h e f u n c t i o n so ft h em o d e l si nt h eg r i ds e r v i c el a y e r ，a n dt e s t e dt h es y s t e m w i t hd e t a i l t h ec o n t r i b u t i o n so ft h ep a p e ra r ea sf o l l o w ： 71 ) e n s t a b l i s h e d ag r i ds y s t e mw i t hl0c l u s t e r su s i n gt h eg l o b u s t o o l k i t i m p l e m e n tt h e s e a m l e s s i n t e g r a t i o n o ft h ec o m p u t i n g r e s o u r e ei nt h ew i d e a r e a ， a n ds i m p l i f i e dt h eu s e r sm o d eo f u t i l i z i n gt h er e s o u r c e ，i m p l e m e n t e dt h eu t i l j z i n go ft h er es o u r c e b e i n gt r a n s p a r e n tt ou s e r ( 2 ) t h ep a p e rd i s c u s s e dt h ec o l l a b o r a t i o np a t t e r no ft h eo b j e c t si nt h e g r i ds y s t e m ，a n dp r o p o s e dt h ec o l i a b o r a t i n gm o d e lf o rd e s c r i p t i n g t h ec o o p e r a t i o nb e t w e e nt h et 8 s k s ，a n dt h ef b r m a l i z e de x p r e s s i o no f t h ec 0 1 l a b o r a t i n gm o d e l ，s ot h ec o o p e r a t i o nb e t w e e nt h et a s k sc o u l d b er e s t o r e d ，r e u s e ，a n dr e c o n s t r u c t e d ( 3 ) i nt h e g r i dr e s o u r c e s c h e d u l i n ga s p e c t ， t h e p a p e r u t i l i z e dt h e s i m u l a t e da n n e a l i n ga l g r i t h o mt or e s o l v et h el e a s tp r i c es t a t i c 西南科技大学硕士研究生学位论文第1 i i 页 a s s i g n i n gs c e n a r i o ，a n du t i l i z e dt h ep o s i t i v ef e e d b a c kp r i n c i p l eo f a n tc o l o n ya l g “t h o mt oi m p l e m e n tt h et h ed y n a m i co p t j m i z a t i o n f o rr e s o u r c e a s s i g n m e n ti m p l e m e n t e dt h ei n t e l l i g e n c e o ft h e r e s o u r c es c h e d u l i n g ( 4 ) i no r d e r t o i m p r o v et h e r o b u s t n e s s o ft h e s y s t e m ， t h ep a p e r p r o p o s e dah e a r t b e a tt e s ts t 珀t e g y ，f u yu j z e dt h ec o m p u t j n g r e s o u r c eo nt h ep r o x yn o d et or e a l i z e dt h ea c c u r a t ei n s p e c t i o o ft h e a b n o r m a ls t a t eo ft h eg r i ds e r v i c e b a s e do nw h i c ht oa d j u s tt h e r e s o u r c es c h e d u l i n gs t r a t e g y t h et e s ts h o w e dt h a t ， t h eg 打ds y s t e mb u i l t b yu sh a sg o o d p e r f o r m e n c ef o rt h et a s kr e q u i r i n gh i g hc o m p u t i n gc 3 p a c i t ya n dl o w c o m m u n i c a t i n gc a p a c i ty ，i tc a nf u i l yu t i l i z et h er e s o u r c ea n dt a k et h e a d v a n t a g eo fp a r a l l e lp r o c e s s k e y w or d s ：g r i dc o m p u t i n g ；h e a r t b e a tt e s t ；s i m u l a t e da n e a 】i n g a l g r i t h o m ；c o o p r a t i o n 独创性声明 本人声明所呈交的论文是我个人在导师指导下( 或我个人) 进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得西南科技大 学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究 所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：罗多 日期：勘一彳一石记 关于论文使用和授权的说明 本人完全了解西南科技大学有关保留、使用学位论文的规定，即：学校有权 保留学位论文的复印件，允许该论文被查阅和借阅：学校可以公布该论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：哆牟 7j新魏船同日期阢卅 西南科技大学硕士研究生学位论文第1 页 1绪论 1 1引言 随着求解问题领域的不断拓展，人们对于复杂阿题的求解也提 出了进一步的需求，这些需求成为计算机技术发展的动力。从第 台计算机出现到本世纪初，计算机的计算能力已经提高了近8 0 亿倍， 然而确不能够满足应用增长的需要。在经历了超级计算机，集群计 算等技术之后，作为目前国内外越来越重要的研究领域，网格计算 将成为一种关系科研、经济、社会、国防等方面重要的国家基础设 施，逐渐收到人们的广泛关注。在科研学术领域，人们正在进行着 深入的研究与试验；在产业界，世界各大知名的i t 公司也斥巨资支 持网格环境中商业应用的开发和应用模式的研究。 本章主要介绍网格的基础知识和本文所涉及的项目背景。 1 2 网格计算概述 广域高性能的网格技术f l 2 - t “，最先是从科学研究领域提出的， 是为了将地理和组织上分布、异构的各种现有的高性能计算机、数 据服务器、大型检索存储系统和可视化、虚拟现实系统等，通过高 速互连网络连接并集成起来，共同完成一些缺乏有效研究办法的重 大应用研究问题，并且实现资源的充分共享。网格技术是基于当前 的第二代互连网技术发展而来的，是一种新兴的技术，当前正处于 成长发展阶段。本节对网格的概念和当前的研究状况先做一个介绍。 1 2 1网格的概念 网格这一概念的界定并没有最广泛的定论。国内外许多研究学 者和研究组织都曾经提出其对网格的理解和定义，并且曾陷入在网 格概念的争论中。对于网格的研究，最早始于元计算( m e t a c o m p u t i n g 【5 ，6 ，7 1 ) ，它的思想不仅仅是为了使用超级计算机对并行程序 进行求解，它能够很有效的将远程的异构的软硬件资源相互绑定， 全局统一，全局管理，而且这些资源包括从并行超级计算机到个人 数字组织，它为有这些需求的用户提供更广泛的服务。网格计算发 西南科技大学硕士研究生学位论文第2 页 展到现在，与面向服务的构架( s o a ) 相结合，产生了从计算到服务 的转变，网格的核心思想变成了共享广域分布的各种资源，从而获 得超级计算能力、数据处理能力和信息处理能力。资源是一个广义 上的范畴，在这里，它包括从硬件设施到各种应用软件，如超级计 算机、贵重仪器、可视化设备、现有的各种应用软件、计算资源、 存储资源、数据资源等等，也包括网格提供的各种网格服务，比如 天气预报、股票查询、数据库检索、并行计算、计算模拟等等。 网格的概念在网格技术的不断发展过程中逐渐明确。i a nf o s t e r 是美国g l o b u s 网格项目的领导人，在他所著的网格：2 l 世纪信息 技术基础设施的蓝图一书中这样描述网格：“网格是构筑在互联网 上的一组新兴技术，它将高速互连网、高性能计算机、大型数据库、 传感器、远程设备等融为一体，为科技人员和普通老百姓提供更多 的资源、功能和交互行。互联网主要为人们提供电子邮件、网页浏 览等通信功能，而网格的功能则更多更强，让人们透明地使用计算、 储存等其他资源。”在后来，i a nf o s t e r 发表了网格的剖析这篇 论文，在这篇论文中把网格描述为“在动态变化的多个虚拟组织问 共享资源和协同解决问题。”提出了虚拟组织这样一个概念，更强 调的是组织与组织之间的协作关系，以及虚拟组织的形成。在2 0 0 2 年7 月，i a nf o s t e r 发表了什么是网格? 判断网格的三个标准一 文，在文中，他提出了判断网格必须满足的三个条件： ( 1 ) 在非集中控制的环境中协同使用资源；因为资源的使用者和 资源在不同的控制域中，网格必须保证节点的高度自治，资源可以 动态的加入或者撤出网格计算。 ，( 2 ) 使用标准的、开放的和通用的协议和接口；这样，在异构的、 多厂家网格环境中，开发资源和商业产品将能够有效的交互操作， 否则，只是一个面向具体的应用系统而并非网格。 ( 3 ) 提供非平凡的服务：资源是在网格系统的调度下利用的，以 提供多种服务质量，满足不同的用户需求。其中非平凡的服务是指 具有大吞吐量、服务透明、高可靠性特性的服务。 从目前所出现的网格项目来看，只有g l o b u s 项目才能够很好的 满足上面的三个标准。这些标准对网格划定了一个狭义的网格概念。 然而，许多人都不同意这样一个划分标准，而是赞同将条件放宽， 形成一个广义的网格概念，将p 2 p 等网络计算模式也算作网格的一 西南科技大学硕士研究生学位论文第3 页 部分。大多数人都同意将广泛的资源共享和协同工作看成是网格的 特征。网格技术实际上就是在广域范围内将整个互联网上的资源有 效的整合起来的一个协作工作平台。而网格计算，就是在针对应用 中遇到的问题利用网格平台进行求解这样的一种计算模式。 1 2 2网格计算之起源 随着求解问题领域的不断拓展，人们在工作中所遇到的问题也 越来越复杂，而且规模越来越大，因此，要完成这些问题所需要的 计算处理能力也是越来越大。在一些科学研究领域，如高能和核物 理、重力波、与时间有关的三维系统研究、天文学、医学、晶体学、 基因组等领域，都需要具有超大规模的计算核数据分析能力。在计 算密集型分析，海量数据整理和收集，地理分布和协作等问题的求 解过程中，局部的计算资源无法满足这样的需求，人们就提出利用 广大的分布资源，将这些资源整合起来完成协同求解问题。 由于各种因素的限制，有些资源由于成本过高或者其他的原因， 并不能复制分发到所需要的计算主机上，因而为了在需要的时候更 有效的利用这些资源，打破地域的限制，以更大粒度和更大范围的 资源共享就成为一种必需的要求。例如，在进行大坝应力计算时候， 由于进行有限元计算的软件并不能够在普通的p c 机上安装运行。因 而，当大坝设计方面的水利专家在接到计算任务的时候，需要先向 大型机管理员预定机时，然后，再带上相关的数据到终端录入，录 入后，大型机上的有限元计算软件根据专家所提供的数据和求解方 案进行求解，在经过一个难以预计的求解时间后，最后将求解得到 的结果存在文件中。然后，管理员再通知专家查看求解的结果。从 上面的场景中可以发现要进行一次复杂的科学计算这种传统的方式 是多么的低效。而且，在等待一段漫长的计算之后，可能得到的结 果不符合要求，因而，需要在录入数据或者求解策略上进行优化， 于是，又要进行之前一个循环。在做每一次的计算之前都需要亲自 到机房现场录入数据，并且需要和管理员进行预约，然后管理员要 进行繁琐的安排与准备。在面对这样的一个情况下，人们自然提出： 能不能一次就将几种、几十种、几百种设计任务同时运行在试验室 中所有的可进行有限元计算的大型机上呢? 能不能让计算机将这些 繁琐的过程都自动化起来呢? 能不能在有需要的时候，先计算一部 西南科技大学硕士研究生学位论文第4 页 分任务，而这部分任务所得到的结果又成为另一部分任务的输入， 任务与任务之间能够像人与人之间协作一样，有规律的，和谐的完 成复杂任务呢? 网格计算出现的初衷，就是为了解决这样的情况， 即大规模的科学协同工作”，“，”，”】。从网格萌芽到现在，网格技术 在成长过程中，逐渐过渡到分布式商业计算应用中，这类商业应用 包含i n t e r n e t 上的企业应用集成和b 2 b ( b u s i n e s st ob u s i n e s s ) 。商业 界也看好了网格技术在e - b u s i n e s s 上的应用前景。因为，网格技术 不仅能够提高系统的并发性能，而且它还能够构造一个可靠的、可 扩展的、安全的分布式计算系统的解决方案。 网格技术支持共享和协同使用动态的虚拟组织f v i r t u a l o r g a n i z a t i o n ) ”，“】内的各种资源，虚拟组织是由地理和组织上分布的 资源所构成的虚拟计算系统，这个系统是高度集成的，能够提供所 需的服务质量( q u a l i t yo fs e r v i c e ，q o s f l 6 ”，18 1 ) 。一个研究宇宙飞船 的系统就是一个虚拟组织的具体例子。虚拟组织中需要物理学家、 天文学家、计算机专家、数据库系统、模拟系统等。虚拟组织从目 的、使用资源的范围、对资源的需求到对资源的使用方式、对问题 的求解方式等方面有很大的差别。然而，从本质上而言，虚拟组织 有许多共性。这些共性包括：需要高度灵活的共享关系，不与各资 源节点存在着管理和自主型的冲突：不取代现有的操作系统、网络 协议或服务；提供可靠容错的机制，没有单点失效问题；使用标准 和现有的技术；提供合适的同步机制和组建程序连接；运行网格资 源的自由加入和退出等等。 1 2 3国内外研究现状和研究趋势 网格技术最开始起源于美国的i w a y 项目，它把位于美国1 7 各 不同地点的6 0 多个组织的超级计算机何其他资源通过高性能网络联 系起来，进行大规模的科学模拟、协同工程、并行计算等科学研究， 这实际上是g 1 0 b u s 项目的前身。在随后的几年里面，g l o b u s 项目作 为美国知名的网格项目，逐渐成为网格界的领头羊。g l o b u s 项目可 以方便的对地理上分布的研究人员建立虚拟组织，进行跨学科的虚 拟合作。g l o b u s 项目融合了商业计算领域中的w e bs e r v ic e 技术， 希望网格技术不仅能够在科学计算领域研究应用，而且能够对各种 商业应用进行广泛的、基础性的支持，实现更方便的信息共享和互 西南科技大学硕士研究生学位论文第5 页 操作，从而对商业模式、人的工作方式何生活方式产生深远的影响。 g l o b u s 项目是美国a r g o n n e 国家实验室的研发项目，它对信息安全、 资源管理、信息服务、数据管理以及应用开发环境等网格计算的关 键理论和技术进行了广泛的研究，开发出能在多种平台上运行的网 格计算工具包软件( g 1 0 b u st 0 0 1 k i t ) ，能够用来帮助规划和组建大 型的网格试验和应用平台，开发适合大型网格系统运行的应用程序。 美国当前的网格技术研究和建设最为领先，美国政府用于网格 技术基础研究经费则已经达到5 亿多美元。美国军方正规划实施一 个宏大的网格计划，叫做“全球信息网格( g 1 0 b a li n f o r m a t i o ng r i d ， g i g ) ”，预计将在2 0 2 0 年完成。作为这个计划的一部分，美国海 军陆战队已经启动了一个耗资1 6 0 亿美元历时8 年的项目，包括系 统研制、建设、维护和升级。t e r a g r i d 是2 0 0 1 年8 月美国国家科学 基金会( n s f ) 宣布的“分布式万亿级设施”( d is t r i b u t et e r a s c a l e f a c i l i t y ) 科研项目简称。该项目的工业合作方包括i b m 、i n t e l 、 q w e s t 、o r a c le 、s u n 、m y r ic o m 等公司，跨度为三年，总投资5 3 0 0 万美元。t e r a g r i d 是世界上第一个从设计开始就面向网格的广域超 级计算平台，而同于以前的网格研究，是在已经部署的高性能寄宿 设备的基础上进行研制工作。t e r a g r i d 将包括伊利诺大学国家超级 计算中心( n c s a ) 、圣地亚哥超级计算中心( s d s c ) 、阿岗国家实验 室( a n l ) 、加州理工学院( c a l t e c h ) 四个节点，共含有3 3 0 0 各处 理器、4 5 0 t 8 磁盘容量，总风致计算速度约每秒13 万亿次浮点运算。 目前，美国民用网格已经含有一百余各节点，每个节点有几十亿到 几千亿的计算能力。美国开展的s t a r t a p 计划，试图将网格扩展到 全世界。目前加入s t a r t a p 网格的有加拿大、新加坡、日本、和中 国台湾；即将加入的包括巴西、俄罗斯、北欧、法国和亚太一些国 家。美国已经建成或正在建设的网格项目有： 能源部的a s c i 网格：主要用于核武器研究。l o sa l a m o s ，s a n d i a 和l i v e r m o r e 三大实验室作为超节点，每个节点上有万亿以上的计 算能力。 国防部高性能计算现代化h p c m p 网格：用于全国4 0 0 0 多名军事 科研人员开发和使用国防应用。它包含4 个主要计算中心，1 3 个分 中心，数十个远程中心。大部分计算能力集成在主中心。4 个主中心 1 9 9 8 年共装备了2 3 套计算机，速度从2 0 亿次到5 0 0 0 亿次。网格通 西亩科技大学硕士研究生学位论文第6 页 过专用网互连，带宽目前已经达到1 g b p s 。 国家技术网格n t g ：主要用于科研和教育。该网格含有2 个超节 点( 圣地亚哥超级计算中心和国家超级计算机应用中心) 和l o o 多 个普通节点。通过6 2 2 m b p sv b n s 网络互联。 国外两格的建设通常分为三阶段，这些阶段通常是相互重叠： ( 1 ) 基础设旌建设：计算中心( 节点) 建立，网络建设，贵重设备、 可视化设备和数据库的接入，组织和管理的建立等。 ( 2 ) 试验和研究：软件体系结构工具的开发，试验平台( t e s t b e d ) 的建立，性能和功能的测试，应用的开发和移植。 ( 3 ) 成熟使用：各种应用程序的运行，人员培养和教育，网格的维 护。 当前，总的来说，网格的建设工作还处于科研试验阶段，网格软 件目前也是在初级阶段，离成熟的商业应用还有比较大的距离。 国内网格项目主要有： ( 1 ) 国家网格c n g r id ( 科技部8 6 3 计划：c n g r i d 以科学研究、经济 建设、社会发展和国防建设急需的重要应用网格，在网格技术 方面达到世界先进水平，大幅度地提高我国的综合国力和国际 竞争能力。 ( 2 ) 中国教育科研网格计划c h i n a g r i d ( 教育部) ：c h i n a g r i d 主要 由生物信息学网格、图像处理网格、远程教育网格、流体力学 网格和海量信息处理网格这五大专业应用网格构成。充分利用 中国教育科研网和高校的大量计算资源和信息资源，开发相应 的网格软件，配合网络计算机的使用。将分布在c e r n e t 上自治 的分布异构的海量信息资源集成起来，实现c e r n e t 环境下资源 的有效共享。 f 3 ) e s c i e n c e 网格研究计划( 国家基金委) ：项且以网络为基础的 科学活动环境，目标是利用网络技术将地理上位置不同的计算 设施、存储设备、仪器仪表等集成在一起，建立一个能够实现区 域或全球合作或协作的虚拟科研和实验环境，支持以大规模计 算和数据处理为特征的科学活动。 ( 4 ) 中国空间信息网格：它是一种汇集和共享地理上分布的海量空 间信息资源，对其进行一体化组织与处理。从而具有按需服务 能力的、强大的空间数据管理和信息处理能力的空间信息基础 西南科技大学硕士研究生学位论文第7 页 设施。空间信息网格是一个分布的网络化环境，连接空间数据 资源、计算资源、存储资源、处理工具和软件、以及用户，能 够协同组合各种空间信息资源，完成空间信息的应用与服务。 分析网格计算系统的特点及目前研究的实际情况，网格技术未 来的研究可能集中在如下几个方面： ( 1 ) 动态自适应性研究研究网格计算系统的动态自适应性，使得网 格计算系统能够自动适应环境的变化。网格计算系统中某一资 源出现故障或失败的可能性较高，系统的资源会不断扩大、应 用会不断增长，系统的整体结构和整体性能会不断地发生变化， 并且随时有不可预测的系统行为发生，这就要求资源管理程序 能够动态监视和管理网格资源，从目前可利用的资源中选取最 佳资源服务，尽量减小由于这种故障或失败、整体结构和整体 性能发生变化或不可预测的系统行为等问题对网格整体性能的 影响。 ( 2 ) 安全管理研究研究网格计算系统的安全管理机制，确保网格计 算系统管理和使用的安全性。建立全网格的账号管理和记账系 统，使得任何用户能够从任何连在网格的计算机上，安全登录 并有效使用网格资源；确定适用于网格计算系统的信息加密机 制和信息传输机制；确定网格计算系统的管理层次体系，将管 理域按照区域层次划分，并且决定管理信息流的流向；能够为 不同级别的系统管理员提供强有力的工具或界面髓视系统资源 和系统的运行情况。 ( 3 ) 应用计算研究研究可使用网格计算系统进行计算的新应用，充 分利用网络上的各种资源来支持大型的并行分布式计算，由应 用驱动来提出对网格计算系统的功能和技术要求，并验证其技 术途径和技术实现的有效性。 f 4 ) 高效的程序编译模型和执行引擎研究【_ 7 1 研究解决平台无关的中 间代码执行效率低下的问题，对程序的编译模型和执行引擎进 行研究，解决平台无关性和执行效率之间的矛盾，最终能够提 供一种或几种解决方案，使得程序能够顺利地在异构环境下执 行和使用系统资源。 网格计算系统可以合理而有效地将远程资源组织起来，形成网 络虚拟计算机，以获得超强的计算能力。利用网格技术可以解决核 西南科技大学硕士研究生学位论文第8 页 爆炸模拟、宇宙学、生物学、生物化学、工程、流体力学、材料和 环境等重大科学应用问题。随着网格技术的进一步发展和网格应用 的进一步扩大，将会有越来越多的计算机科学技术人员投入到网格 技术的研究中。 1 3项目背景与论文工作 1 3 1课题背景 本文课题来源于河海大学校园高性能网格平台项目，课题研究 主要针对于在高性能平台的开发过程中粗粒度调度算法的优化与容 错设计。下面介绍一下河海大学网格项目情况。 河海校园网格的设计目标：建设一个柔性的、先进的、高性能 的校园网格平台，并在此基础上开发出分布式高性能网格计算环境， 以先进的计算能力支撑学校重点建设学科的基础研究与应用研究， 支持广大研究生在较高的起点上开展创新研究，使校园网格成为科 研人员、研究生和高性能计算之间的桥梁，从而有力促进相关学科 研究水平与研究生培养水平的提高，并为建设异地、异组织、异国 别的网格以及在水利等各个领域的应用网格打下坚实的基础。为实 现上述目标系统将要实现的功能如下： ( 1 ) 用户可以通过、e b 界面或远程s h e l l 界面两种方式使用系统的计 算能力和信息资源，提高网格的灵活性。既可以通过w e b 界面 满足一般人员对高性能计算需求，使网格真正成为科研人员手 中的工具，又可以通过远程s h e u 界面的方式满足那些对高性 能计算熟悉的用户的需求，使他们访问校园网格的计算资源就 像访问一台高性能计算机那样方便。 ( 2 ) 通过对校园网格的“模板库”的建设来实现“预构件”。模板 可以反复优化，运行效率高，安全可靠。这样，一旦有入在校 园网格上完成了这个算法，该算法就可以被同专业的人继承使 用，从而可以站在前人的肩上开展研究工作。 ( 3 ) 实现河海大学的典型的应用，体现河海大学的学科优势，加快 河海大学重点学科的建设。为异地、异组织、异国别在水利等 重点领域的合作和资源共享打下坚实的基础。 ( 4 ) 用户可以提交多种作业，提高了系统的可用性。第一种作业形 西南科技大学硕士研究生学位论文第9 页 式为普通的脚本作业或者编译过的可执行文件。第二种作业形 式为针对特定软件的作业。第三种作业形式为利用模板库中具 体的算法，提交的数据为原始数据并修改运行参数即可。第四 种作业形式为具体应用的大型作业任务，针对这种作业将作业 分解成互相独立的小作业，在整个网格资源内调度，最大的提 高系统的利用效率。 ( 5 ) 以w s d l 形式对外发布特定模板的w e bs e r v i c e 接口，提供用户 通过w s d l 形式对典型算法进行调用。这些算法的运行是基于 整个系统中计算资源，可以大大提高效率。 ( 6 ) 通过代理为用户产生证书，这样在网格环境下通过证书机制实 现网格系统的安全性，通过代理产生证书即可以方便用户使用， 又可以实现高度的网格下的安全体制。 1 3 2论文研究工作 随着高校学科建设的不断发展，高校实验室中投资在购买设备 和软件的经费不断地增加，当前计算机硬件更新换代的周期也是越 来越小，高校中所购买的硬件软件资源特别是针对特定专业研究方 面的设备闲置率高，带来了巨大的浪费。怎样充分利用这些闲置资 源，怎样将已经淘汰的设备发挥其最大功效是目前高校实验室中亟 待解决的问题。经过一年对于高性能计算性网格建设方面的深入了 解和研究试验，设计了一套面向校园的高性能计算的解决方案一一 河海大学校园高性能计算平台。该平台实现了门户、任务调度、信 息服务、数据传输和容错控制等功能。 本文作者在这次设计中的主要工作是以下几个方面： ( 1 ) 参与了系统方案的总体设计。 ( 2 ) 网格访问管理p o r t a l 的设计与实现。 ( 3 ) 作业调度算法的方案论证，调度中心的构架设计。 ( 4 ) 应用模板库的设计。 ( 5 ) 系统模块的集成、测试与性能分析。 1 3 3本文组织 本文总共包括六大章，在第一章介绍了网格计算的相关知识与 论文立足的项目背景，在第二章中介绍了构建网格系统可以采用的 西南科技大学硕士研究生学位论文第1 0 页 体系结构与相关开发工具。在第三章中，作为本文的研究重点，探 讨了在网格系统中处于不同层次中对象间的协同关系与通信方式。 第四章紧接第三章中模块与模块协同一节所提及的三个层面，给出 了系统的原型结构与模块的功能接口，从而构建出原型系统的基本 框架。在第五章中则着重于网格服务层上调度算法的研究与实现， 以及容错机制的设计。最后，第六章介绍了原型系统的运行环境， 实际运行一些测试任务得到测试结果，并对所得到的测试结果进行 分析。 1 4小结 本章首先论述了网格的概念、历史、当前的研究现状与研究趋 势，然后介绍了与论文相关的课题背景及作业在论文工作中所完成 的任务。最后，介绍了本论文的组织关系。 西真科技大学硕士研究生学位论文第1 1 页 2 网格体系结构与相关技术 2 1引言 网格发展总共分3 个阶段：第一阶段是在1 9 9 5 年之前的网格研 究，如i w a y 项目，实现了超级计算节点的互连。第二阶段从时间 上来讲是1 9 9 5 年到2 0 0 0 年，在这期间的代表项目是g 1 0 b u s 项目。 在这一阶段中网格研究在可扩展性、适应性和安全等方面都取得了 较大的进步，网格体系结构作为网格建设的蓝图在这一阶段建立起 来。在这一时期网格体系结构是由i a nf o s t e r 所提出的“五层沙漏 模型”。第三代网格主要将重心转向w e b 服务和基于w e b 服务而提出 的体系结构一一开放网格服务体系结构( 0 g s a ) 。本章将着重介绍开 放网格服务体系结构，及其关键技术和相关理论。 2 2 五层沙漏结构 五层沙漏结构的侧重于从整体层次性上对网格的各部分进行描 述。其主要思想是以协议为中心，强调互操作性，通过协议而实现 一种机制，使得虚拟组织的用户与资源之间可以进行资源使用的协 商，从而建立共享关系，并可以进一步管理和开发新的共享关系。 2 2 1 基本结构概述 五层沙漏结构是对结构中各部分组件的通用要求进行定义，将 这些组件构成一定的层次关系，每一层的组件都具有相同或类似的 特征。每一个上层组建可以在任何一个底层组件的基础上构建。五 层沙漏结构强调的是协议，因而可以与t c p i p 协议进行类比。结构 如图2 一l 所示： ( 1 ) 构造层( f a b r i c ) ：构造层面对的是一个个具体的物理和逻辑的 资源，它的功能是通过对这些局部资源的管理，向上提供对这 些资源进行管理和控制的接口。常用的资源包括处理能力、存 储系统、目录、分布式文件系统、分布式计算机池、计算机集 群等。 ( 2 ) 连接层( c o n n e c t i v i t y ) ：它是网格中网络事务处理通信和授权 西南科技大学硕士研究生学位论文第1 2 页 控制的核心协议层。构造层提交的各种资源间的数据交换都在 这一层的控制下实现。各资源间的授权验证、安全控制也在这 里实现。 ( 3 ) 资源层( r e s o u r c e ) ：这一层的作用是对单个资源实施控制，与 可用资源进行安全握手、对资源做初始化、监测资源运行状况、 统计与付费有关的资源使用数据。 二j 夏 ； 圈 图2 1五层结构与t c p ip 结构 f ig ur e2 1 f iv el a y erss tr u c t ur ea n dt c p ipm o d e ( 4 ) 汇集层( c o ne c t i v e ) ：这层的作用是将资源层提交的受控资源 汇集在一起，供虚拟组织的应用程序共享、调用。为了对来自 应用的共享进行管理和控制，汇集层提供目录服务、资源分配、 日程安排、资源代理、资源监测诊断、网格启动、负荷控制、 账户管理等多种功能。 ( 5 ) 应用层( a p p l ic a t i o n s ) ：这层是网格上用户的应用程序。应用 程序通过a p i 调用相应的服务，再通过服务调用网格上的资源 来完成特定的任务。 2 2 2 五层沙漏结构的特点 五层沙漏结构是一种以协议为中心的协议结构，对于各种网格 体系结构的研究有着十分重要的借鉴作用。下面将简要总结这种结 一一 西南科技大学硕士研究生学位论文第1 3 页 构的两个主要的优点。 第一，整体结构呈沙漏形状，如图2 2 。其内在含义就是因为 各部分协议的数量是不同的。对于其最核心的部分，要能够实现上 层各种协议向核心协议的映射，同时实现核心协议向下层其它各种 协议的映射，核心协议在所有支持网格的地方都应该得到支持，因 此核心协议的数量不应该太多，这样核心协议就形成了协议层次结 构中的一个瓶颈。在五层结构中，资源层和连接层共同组成这一核 心的瓶颈部分。沙漏形状的核心思想可以和微内核的操作系统进行 类比，即操作系统只实现些关键的基本功能，而把大量与特定设 备有关和与应用有关的部分交给其它部分来完成。一个小的核心是 有利于移植的，也可以比较容易的得到实现和得到支持。资源是多 种多样的，应用需求更是复杂多变的，因此定义好这样一个核心部 分的意义是非常大的。 k 一三其= 斑用蔗 谤嚣淼 戴雅屡 p 彳 强辣与 连接屡 塑r 鞫避魔 图2 2 沙漏形状的五层结构 f ；g u r e2 2 f iv el a y ers r c h i t e c t ur ew i t h 第二，实现了更高程度的共享。首先，共享不只是交换文件， 而是更强调对计算机、软件、数据以及其它资源的直接访问。这种 需求在工业、科学和生活等许多领域都会遇到。而且这种共享还必 须是高度受控的，需要在资源控制者和使用者之间小心的定义什么 是可以共享的，那些人可以共享，在什么条件下可以共享。其次， 共享是一种随时间变化的动态的共享，而不是静态的共享，网格具 西南科技大学硕士研究生学位论文第1 4 页 有动态特点，网格资源的共享也必须满足动态性的要求。还有，共 享不再只局限于某一机构或者单位之内，它是一种更广泛的共享， 可以跨越不同的单位与组织的管理范围，当然也可以跨越不同的地 理位置。因此，在五层沙漏结构中的共享，是深层次、广泛、动态、 具有多种形式的有条件受控制的共享。 2 3开放网格服务体系结构 开放网格服务体系结构 ( 0 p e n g r i ds e r v i c e s a r c h i t e c t u r e ，o g s a ) 19 1 是目前影响最大的一种网格体系结构，也被 视为下一代的网格体系结构。 2 3 10 g s a 的基本思想 o g s a 是一种基于网格服务的分布式交互和计算体系结构，用来 确保异构系统间的互操作性，使不同类型的系统可以实现资源共享。 o g s a 是g l o b u st o o l k i t4 o 与w e bs e r v ic e 相结合的产物，o g s a 的出现是网格体系构一大进步。所有的服务都遵循指定的网格服务 接口和行为，网格服务的标准接口包含多重绑定和实现。所有的网 格服务都是用g l o b u st 0 0 1 k i t4 0 构建。 2 3 20 g s a 的特点 ( 1 ) o g s a 是以服务为中心的服务结构。在o g s a 中一切都是服务，以 服务为核心构件。 ( 2 ) 服务是对资源的封装。0 g s a 模型通过对服务的共享来实现对资 源的共享，从而实现了一致、动态、灵活的共享机制，使得系 统管理有了标准的接口和行为。 ( 3 ) o g s a 是w e bs e r v i c e 和网格技术融合的产物。 ( 4 ) o g s a 使网格应用从科学技术领域转移到了工商业领域。o g s a 的 重点是商业应用，但是可以支持多个领域的应用。已经有许多 企业基于0 g s a 和g 1 0 b u st o o l k i t4 o 开发网格应用系统。 ( 5 ) o g s a 中的组件都是虚拟的，即组件可以是相同接口不同实现的 封装。所有的服务都可以基于一组相对统一的核心接口实现， 可以构造出具有层次结构的更高级别的服务。 西南科技大学硕士研究生学位论文第1 5 页 2 3 _ 3o g s a 体系结构 0 g s a 体系结构是一个四层模型，如图2 3 所示。最下面一层是 构造层，它包括网络上所有的