（计算机软件与理论专业论文）基于网格服务的文件下载模型的研究.pdf

m 京i i 电人碗卜研究q ：学位险史 摘蛭 中文摘要 网格是近年来出现的一组架构在勺：联网络服务之上的新兴技术，旨在支持虚拟组织的资 源共享与协同工作。网格研究者已开始认识到，只有充分利用w e b 服务技术，才能真正使得 网格成为未来的网络基础设施。开放式网格服务体系结构( o g s a ) 和w e b 服务资源框架 w s r f 被提了出来，例如实王兕网格体系结构约标准化，采用标准，通用的“服务”模式，对各种 类型应用提供统一的支持。 本文在介绍了网格计算的基础上，研究了w e b 服务资源框架这种网格体系结构，分析了 多种文件下载模型，包括p 2 p 集中式、分布式和混合式下载模型，在比较选择p 2 p 混合模型 的基础上，设计了基于网格服务的p 2 p 混合式文件下载模型，结合了p 2 p 文件下载的高效和 网格服务方式的安全、可靠和通用，而且p 2 p 混合模型也克服了p 2 p 集中模型和分布模型各 自的缺陷。 本文的模型已在g l o b u s t 网格平台上得到了初步实现，给进一步深入研究和改进提供了 基础。 关键词：网格服务；文件下载；p 2 p 南京邮电大学硕士研究生学位论文 a b s 订a c t a b s t r a c t t h eg r i di sa ni n n o v a t i v em o d e lo fd i s t r i b u t e dc o m p u t i n g , f o c u s i n go nr e s o u r c es h a r i n gf o rd a t ap r o c e s s i n g ， c o l l a b o r a t i v ea p p l i c a t i o n so fv i r t u a lo r g a n i z a t i o n s t h eg r i dr e s e a r c h e r sh a v er e a l i z e dt h a tt h eg r i dw i l lb et h e n e l v o r ki n f r a s t r u c t u r eo n l yw h e nt a k i n gf u l la d v a n t a g eo fw e hs e r v i c et e c h n o l o g y t h eo p e ng r i ds e r v i c e s a r c h i t e c t u r ea n dt h ew s r e s o u r c ef r a m e w o r kw e r ep u tf o r w a r dt on o r m a l i z eg r i da r c h i t e c t u r ea n da d c 眦n o r m a l a n du n i v e r s a ls e r v i c em o d e lt os u p p o r tv a r i o u sa p p l i c a t i o nc o n f o r m a b l y o nt h eg r o u n do f t h ei n s t r o d u c t i o no f t h eg r i dc o m p u t i n ga n dt h eg r i da r c h i t e c t u r es u c ha sw s r fa n dt h e a n a l y s i s i o no fv a r i o u sf i l ed o w n l o a dm o d e l s ，t h i sp a p e rp r e s e n t sam i x e dp 2 pf i l ed o w n l o a dm o d e ls y s t e mb a s e d o ng r i ds e r v i c e ，w h i c hi n t e g r a t eh i g he f f i c i e n c yo fp 2 pm o d e la n ds e c u r i t y , c r e d i b i l i t y , o n e n e s so ft h eg r i d s e r v i c e t h ea d o p t e dm i x e dp 2 pf i l ed o w n l o a dm o d e la v o i d st h ef a u l t so f t h ec e n t m lp 2 pf i l ed o w n l o a dm o d e la n d t h ed i s t r i b u t e dp 2 pf i l ed o w n l o a dm o d e l t h em o d e ls y s t e mp u tf o r w o r db yt h i sp a p e rh a si m p l e m e n tp a r t l yo no l o b u sg r i dp l a t f o r m i tp r o v i d e st h e b a s et ot h ef a r t h e rr e s e a r c h k e yw o r d s ：g r i ds e r v i c e ；f i l ed o w n l o a d ；p 2 p i i 南京邮电大学 硕士学位论文摘要 学科、专业：工学计算机软件与理论 研究方向： 基于网络的计算机软件应用技术 作 者：二垒堕级研究生楼伟杨指导教师隧查垫 题目：基于网格服务的文件下载模型的研究 英文题目：t h er e s e a r c ho nf i l ed o w n l o a dm o d e lb a s e do ng r i d s e r v i c e 主题词：网格服务- w e b 服务文件下载 k e y w o r d s ： g r i ds e r v i c ew e bs e r v i c ef i l ed o w n l o a d 南京邮电大学学位论文独创性声明 y 8 5 0 9 6 3 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：篮垒鱼1 期：兰! ! ! ：鱼呈 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：盈生熊导师签名： 驰吼兰! 竺! “束| i i j l 乜大学颐十研究_ 一- t 位论文 引言 经过多年的发展和演进，p 2 p 技术所蕴藏的巨大的创造力利应用前景正在逐步展现，正 吸引着越来越多的人们投入到这方面的研究中。仙p 2 p 的发展还面临着很多问题：业界还没 有统一的标准，引发了版权纠纷、安全和笛理以及对网络带宽的占用等问题。1 0 的用户占 左6 0 一9 0 的网络资源，资源不仅仅是带宽，还有各种交换机、路由器的交换能力，这造成 了整体网络质量的下降。 网格是近年来出现的一组架构在互联网络服务之上的新兴技术，旨在支持虚拟组织的资 源共享与协同工作。开放式网格服务体系结构( o g s a ) 和w e b 服务资源框架w s r f 的提 出使网格以统一的w e b 服务方式提供，具有了良好的开放性、灵活性和扩展性，并有充分 的安全性、可靠性和可管理性。 本文在介绍了网格计算，研究了网格体系结构，分析了多种文件下载模型，提出了基于 网格服务的混合式p 2 p 文件下载系统方案。 全文共分为六个章节，内容组织如下： 第一章是网格计算技术的概述，首先介绍了网格的定义、计算模式以及分类，然后介绍 了网格计算中的关键技术，接着简明地阐述了网格计算的研究现状和发展方向。 第二章是网格体系结构的介绍，对传统网格体系结构进行综述，从最早的五层沙漏模型 到较为成熟的开放模型o g s a ；对现阶段较为流行的基于w e b 服务的w s r f 框架进行了较 详细的说明。 第三章介绍了g i o b u s 网格基础平台，包括它的发展历史以及g i o b u s t o o l k i t 4 工具包的 部件结构，对其部件做了简要介绍。 第四章是分析了文件下载模型。首先分析了几种文件下载模型的体系结构，给出这些模 型的优缺点，最后提出了幕于网格服务的动态多点文件下载模型。 第五章介绍了基于上一章提出的文件下载模型所开发的基于网格服务的混合式p 2 p 文件 下载原型系统。首先介绍了系统开发平台的选择：然后介绍了系统的体系结构；最后阐述了 各个功能模块的划分、详细设计与实现。 第六章，总结了本文所作的工作，提出了原型系统中存在的问题，并对进一步研究的方 南京邮电大学硕士研究生学位论文 进行展望。 2 南京肼电大学硕士研究生学位沦文 第章阿格汁算 第一章网格计算 随着高性能计算应用需求的迅猛发展，一些超大规模应用问题所需要的计算能力已不可 能在单一的计算机上或单一的计算机机群系统上获得，这就需要将地理上分布、系统异构的 各种高性能计算机、数据服务器、大型检索存储系统和可视化、虚拟现实系统等，通过高速 互连网络连接并集成起来，形成对用户相对透明的虚拟的高性能计算环境，即计算网格系统， 以此来共同解决大型应用的计算问题。 网格是近年来出现的一组架构在互联网络服务之上的新兴技术，旨在支持虚拟组织“1 的资 源共享与协同工作。网格计算指的是独立的用户组在高速网络上动态地共享计算机资源，以 满足不断变化的计算需求。网格计算将会把许多计算机联合到一起。几乎所有机构都存在大 量的闲置计算资源，广泛分布在各个地方。据统计大型主机有4 0 的时间处于闲置状态，u n i x 服务器只有少于1 0 的时间在真正“执行”任务，几乎所有的p c 每天有9 5 的时间什么都 不做。 i i 网格计算简述 9 0 年代中期，美国阿冈国家实验室的一位科学家f a nf o s t e r ( 伊恩福斯特) 最先把网 格这个词从输电网扩展到了计算机领域。 在i a nf o s t e r 看来，计算机组成的网格类似于输电网：当我们使用电器的时候，从来没 有关心电力来自哪个发电厂，以及经过了什么电压变换。我们只是简单地把电器插入墙壁上 的电源插座。然而隐藏在插座后面的则是许多发电j 一和把它们连接在一起的输电线路。计算 机网格模仿了输电网。当你把一台电脑接入计算机网格的时候，就相当于寻求使用计算机网 格的“计算力”。你不用关- t l , 数据是由什么计算机储存和计算的，正如你并不关心电源插座后 面的故事。一台计算机多余的计算能力通过计算网格，让远方的用户加以利用。 网格计算提供了一种以池的形式管理硬件的方法，提高了企业资源的处珲效率，而且消 除了未充分利用的计算机的彼此分离状态。您可以创建集中的计算资源池，然后按照机构的 优先级动态地分配这些计算资源。从最高层次而言，嬲格计算的中心理念是作为公用设施进 行计算。人们不用关，1 1 , 数据的位置，或者哪台计算机处理你的请求。你将能够请求信息或者 计算，然后发布它随时按需发布。这与电力公用设施工作的方式类似，因为你不知道发 3 南京邮电大学硕士研究生学位论文 第1 章网格计算 电机的位置，以及电力网的连接方式。只要求供电，并获得电力。因此将它命名为“网格计 算”。这种公用计算的观点当然是从客户端的角度来看的。从服务器端来看或从幕后来看，网 格计算是关于资源分配、信息共享以及高可用性。资源分配确保满足资源的需要或请求。请 求得不到满足时不会出现资源闲置。信息共享确保用户和应用程序所需的信息能够在需要的 地点和时间提供。高可用性确保所有的数据和计算可随时提供就像一个公用设施公司必 须始终提供电力。 1 1 1 网格计算的定义 人们想象中的网格技术应满足目标或具有的特征是”“： ( 1 ) 网格计算是指通过高速网络集成大量的计算机系统，以提供单一或一组计算机所不 能提供的数据处理能力和功能： ( 2 ) 为满足本地用户的需要，网格系统可以使用共享的语言和接口协议，在全球范围内 接入运算资源、信息和服务； ( 3 ) 对用户而言，组成网格系统的集成网络具有“通透性”，这些由远端提供的服务看起 来与本地计算机提供的服务没有区别； ( 4 ) 网格技术可以实现虚拟组织成员间的大规模科学与商业合作、远程实验、高性能分 布式计算及数据分析。 i a nf o s t e r 曾在1 9 9 8 年出版的网格：2 1 世纪信息技术基础设施的蓝图一书中这样 描述网格：“网格是构筑在互联网上的一组新兴技术，它将高速互联网、高性能计算机、大型 数据库、传感器、远程设备等融为一体，为科技人员和普通老百姓提供更多的资源、功能和 交互性。互联网主要为人们提供电子邮件、网页浏览等通信功能，而网格功能则更多更强， 让人们透明地使用计算、存储等其他资源。”“12 0 0 0 年，i a nf o s t e r 在网格的剖析这篇 论文中把网格进一步描述为“在动态变化的多个虚拟机构间共享资源和协同解决问题。我们 关心的共享丰要不在于文件交换而在于对计算机、软件、数据和其它资源的直接接入使用， 这是工业界、科学界、机械界中大量出现的协同解决问题和资源代理策略的需要。这种共享 必须被高度控制，资源提供者和消费者要清晰和详细的定义哪些资源可被共享，谁可享用这 些资源，及共享发生的条件。用这样的共享规则定义的一组个人和机构，我们称之为虚拟组 织。”第一个定义强调计算作为公用事业，意味着透明的、安全的访问，有效的资源管理和 4 南京邮电大学硕士研究生学位论文 第章网格计算 电机的位置，以及电力网的连接方式。只要求供电，并获得电力。因此将它命名为“网格计 算”。这种公用计算的观点当然是从客户端的角度来看的。从服务器端来看或从幕后来看，网 格计算是关于资源分配、信息共享以及高可用性。资源分配确保满足资源的需要或请求。请 求得不到满足时不会出现资源闲置。信息共享确保用户利应用程序所需的信息能够在需要的 地点和时问提供。高可用性确保所有的数据和计算可随时提供就像一个公用设施公司必 须始终提供电力。 1 1 1 网格计算的定义 人们想象中的网格技术应满足目标或具有的特征是“： ( i ) 网格计算是指通过高速网络集成大量的计算机系统以提供单一或一组计算机所不 能提供的数据处理能力和功能； ( 2 ) 为满足本地用户的需要，网格系统可以使用共享的语言和接口协议，在全球范围内 接入运算资源、信息干u 服务； ( 3 ) 对用户而言，组成网格系统的集成网络具有“通透性”，这些由远端提供的服务看起 来与本地计算机提供的服务没有区别； ( 4 ) 网格技术可以实现虚拟组织成员间的大规模科学与商业合作、远程实验、高性能分 布式计算及数据分析。 l a nf o s t e r 曾在1 9 9 8 年出版的网格：2 i 世纪信息技术基础设施的蓝图一书中这样 描述网格：“网格是构筑在互联网上的一组新兴技术，它将高速互联网、高性能计算机、大型 数据库、传感器、远程设备等融为一体，为科技人员和普通老百姓提供更多的资源、功能和 交互性。互联网主要为人们提供电子邮件、网页浏览等通信功能，而网格功能则更多更强， 让人们透明地使用计算、存储等其他资源。”2 0 0 0 年，l a nf o s t e r 在网格的剖析这篇 论文中把网格进一步描述为“在动态变化的多个虚拟机构间共享资源和协同解决问题。我们 关心的共事主要不在于文件交换而在于对计算机、软件、数据和其它资源的直接接入使用， 这是工业界、科学界、机械界中大量出现的协同解狄问题和资源代理策略的需要。这种共享 必须被高度控制资源提供者和消费者要清晰干u 详细的定义哪些资源可被共享，谁可亨用这 些资源，及共享发生的条件。用这样的共事规则定义的一组个人和机构，我们称之为虚拟组 织。“”第一个定义强调计算作为公用事业，意味着透明的、安全的访问，有效的资源管理和 织。“”第一个定义强调计算作为公用事业，意味着透明的、安全的访问，有效的资源管理和 南京邮电人学硕士研究生学位论文第。一章阿格汁算 应用：第二个定义强调资源共享和跨团队、跨组织的应用，这个思想导致了面向服务的o g s a 参 考2 2 节 架构的出现。2 0 0 2 年7 月，i a nf o s t e r 在什么是网格? 判断是否网格的三个标 准一文中，限定网格必须同时满足三个条件”： ( 1 ) 在非集中控制的环境中协同使用资源：网格整合各种资源，协调各种使用者，这些资 源和使用者在不同控制域中，比如，个人电脑和中心计算机：相同或不同公司的不同管理单 元；网格还解决在这种分布式环境中出现的安全、策略、使用费用、成员权限等问题。否则， 只能算本地管理系统而非网格； ( 2 ) 使用标准的、开放的和通用的协议利接口：网格建立在多功能的协议和界面之上，这 些协议和界面解决认证、授权、资源发现和资源存取等基本问题。后面会进一步阐述，这些 协议和界面标准化和开放化的重要性。否则，只算一个具体应用系统而非网格； ( 3 ) 提供非平凡的服务：网格允许它的资源被协调使用，以得到多种服务质量，满足不 同使用者需求，如系统响应时间、流通量、有效性、安全性及资源重定位，使得联合系统的 功效比其各部分的功效总和要大得多。 其中争论最多的就是集中控制。网格的最终目标是没有任何集中控制，但是从实现上和 需求上还不能完全排除集中控制的需要。很多企业网格正是通过集中控制来保证服务质量的， 例如s u ng r i de n g i n e ”“。而c o n d o r “等又由于使用的协议太专用而不符合第二个指标协 议的开放性利标准性而被排除在网格之外。因此并不是所有人都同意他的观点，称其为一种 狭义的“网格观”。许多人赞同广义的网格概念，它称作巨大全球网格g g g ( g r e a tg 1 0 b a lg r i d ) ， 它不仅包括计算网格、数据网格、信息网格、知识网格、商业网格，还包括一些已有的网络 计算模式。 至今，对于网格究竟应该如何定义，研究网格的学者们仍然没有达成共识。然而，不锈； 如何定义，其目的都是要把地理上分散的资源集成起来的一种基础设施，通过这种基础设施， 用户不需要了解这个基础设施上资源的具体细节就可以使用自己需要的资源。网格的本质是 分布与资源共享。分布是网格最本质的特征，网格是通过集中分散的资源来完成计算的；资 源的共享是一种集中资源的手段高度抽象：把计算力和所有的计算资源高度抽象成为用户可 见的“电源接线板”，其它的东西对用户透明。网格的核心就是计算资源的联合加上这些资 源的虚拟化，从而达到加速应用程序处理的目的。分布式资源和通信网络是网格计算的物理 基础，网格上的资源包括计算机、仪器、设备、传感器、存储设备、数据、软件等实体。另 外，这些实体工作时需要的相关软件和数据也属于网格计算资源。 晰京邮电人学硕十研究生学位论文 第章网格计算 1 1 2 网格与其他计算模式的比较 一般而言网格计算系统具有以下几个特征： ( 1 ) 扩展性：网格计算系统初期的规模较小，随着超级计算机系统的不断加入，系统的 规模随之扩大。 ( 2 ) 系统多层次的异构性：构成网格计算系统的超级计算机有多种类型，不同类型的超 级计算机在体系结构、操作系统及应用软件等多个层次上具有不同的结构。 ( 3 ) 结构的不可预测性：与一般的局域网系统和单机的结构不同，网格计算系统由于其 地域分布和系统的复杂使其整体结构经常发生变化。 ( 4 ) 动态和不可预测的系统行为：在传统的高性能计算系统中，计算资源是独占的，因 此系统的行为是可阻预测的，而在网格计算系统中，由于资源的共享造成系统行为和系统性 能经常变化。 ( 5 ) 多级管理域：由于构成网格计算系统的超级计算机资源通常属于不同的机构或组织， 并且使用不同的安全机制，因此需要各个机构或组织共同参与解决多级管理域的问题。 对于网格计算系统来说，最根本的问题是实时获得系统的结构和状态信息，通过这些信 息对网格应用进行配置，并能实时获得计算资源的状态信息。 下面将网格计算分别与传统的分布式计算、对等计算、集群和元计算进行比较。 1 网格计算与传统分布式计算的区别 网格计算是一种新的高性能的分布式计算方法。网格计算作为新一代的分布式计算方法， 与传统分布式计算的丰：要区别在于，在没有集中控制机制的情况下。通过对计算资源进行大 规模共享，满足应用对高性能计算要求，并且这种对计算资源进行大规模共享是动态的、柔 性的、安全的利协作式的。 2 网格计算与对等计算( p e e rt op e e r ，p 2 p ) 的区别 对等计算是在i n t e r n e t 上实施分布式计算的新模式。在这种模式下，服务器与客户端的 界限消失了，网络上的所有节点都可以“平等”共享其他节点的计算资源。i b m 为对等下了如 下定义：系统由若干互联协作的计算机构成，系统依存于边缘化( 非中央式服务器) 设备的 主动协作，每个成员直接从其他成员而不是从服务器的参与中受益；系统中成员同时扮演服 务器与客户端的角色；系统应用的用户能够意识到彼此的存在，构成一个虚拟或实际的群体。 网格与p 2 p 没有本质的区别，正因为如此全球网格论坛g c f 和对等网络研究小组( p e e r 6 南京断电人学硕士研究生学位论文第一学网格计算 p 2 p w g ) 也已经合并。但是从应用层面上分析，两者还是有一定区 ( 1 ) 网格计算侧重于重大科学计算或大型专业性的协同，其中一个或多个结点常常有较重 的服务器色彩：而对等计算提供普通的信息计算服务，每个参与者明显有客户端n 务器双 重身份，如果任务子模块之间根本就不需要通信，用p 2 p 的方式进行解决比用网格更高效。 ( 2 ) 网格计算访问计算资源、数据资源、软件资源，相对来说，有较固定的目标；而对等 计算完全是随机访问。 ( 3 ) 网格计算中每个结点都有身份鉴定、授权和防火墙的保护能力；而对等计算中每个参 与者不保证这些能力，甚至是匿名的。 ( 4 ) 网格计算在资源监视、分配和作业调度上仍有很多集中控制：而对等计算仅有很少或 没有集中控制，丰要靠自行组织。 ( 5 ) 网格计算确保可信的服务质量；而对等计算只有部分的保证，有些参与者甚至是不可 信的。 其中集中控制这一点，至今争论仍然很多，没有统一的定论。 3 网格计算与集群技术( c l u s t e r ) ”87 的区别： c l u s t e r 集群技术可如下定义：一组相互独立的服务器在网络中表现为单一的系统，并 以单系统的模式加以管理。此单一系统为客户工作站提供高可靠性的服务。大多数模式下， 集群中所有的计算机拥有一个共同的名称，集群内任一系统上运行的服务可被所有的网络客 户所使用。c l u s t e r 必须可以办调筒；理各分离的组件的错误和失败，并可透明地向c l u s t e r 中 加入组件。一个c l u s t e r 包含多台( 至少二台) 拥有共享数据存储空间的服务器。仟何一台服 务器运行一个应用时，应用数据被存储在共享的数据空间出。每台服务器的操作系统和应用 程序文件存储在其各自的本地储存空间上。c l u s t e r 内各节点服务器通过一内部局域网相互 通讯。当一台节点服务器发生故障时，这台服务器上所运行的应用程序将在另一节点服务器 上被自动接管。当一个应用服务发生故障时，应用服务将被重新肩动或被另台服务器接管。 当以上的任一故障发生时，客户都将能很快连接到新的应用服务上。 他们都是分布式系统，目标有很多相近的地方，如共享和协同，所以技术上也有相似的 地方。但是条件和环境不同，集群一般是同构( 也有异构的) ，地域上十分近，要想性能越强 就需要越近。一般是在一个屋予里面，至少也是在一个局域网范围内。网格的范围就广得多 了。无论从地域的广度，还是系统组成的复杂性。网格的组成可以很复杂，包括专用存储器， p 叫 蜡 1 “帖r ： p 的协别 南京邮电丈学硕士研究生学位论文第章网格计算 各种仪器设备等，当然其中也包括集群，各种类型的硬件，各种不同的系统软件，还有功能 复杂的中间件。 从分布式系统来说，最集中的方式就是集群，最分散的方式就是对等计算。 4 网格计算与元计箕( m e t a c o m p u t i n g ) 的区别： 元计算技术是将一组通过广域网连接起来的性质不同的计算资源集合起来，作为一个单 独的计算环境向用户提供计算服务。元计算系统的目标是使用户能够共享其中的计算资源并 以合作的方式进行计算。元计算前端主要解决最终用户通过统一的界面来使用广域网上各类 计算资源的问题：元计算内核主要解决计算任务在广域网中各种超级计算机上协作完成的问 题，提供一个完整的程序开发和运行环境。当用户提出计算请求时，计算问题的执行代码在 系统内部的计算资源上进行合理的调度和管理，最后得出运行结果弗通过元计算前端反馈给 最终用户。一个良好的元计算系统丰要由三个部分组成：一是尽量简单而又可靠的使用界面： 二是资源管理系统；三是良好的编程模型和高效可靠的运行时环境。其中资源管理系统处于 核心地位，它负责整个系统中各个资源的描述、变动、分配与保护，与运行时系统密切合作： 保证整个系统的正常运行。资源管理系统需要为不同级别的系统管理员提供强有力的工具或 界面来对这些资源进行控制和保护。元计算是网格计算的初级形态，定义了构建计算网格最 基础的服务。 1 1 3 网格的分类 网格是由分布在本地或广域范围的若干异构予系统组成的虚拟系统。网格通常可以分为 三类，即信息网格、资源网格和服务网格。 l 、信息网格可以将信息传送到世界上的任何一个地方。w e b 和p 2 p 文件共享都是现在信 息网格的组成部分。 2 、资源网格支持资源( 如计算机、数据、软件和专用实验设备) 的协商使用，它的核心 思想是资源存取与位置无关。它与信息网格的区别在于：信息网格提供免费匿名的数据信息 的使用和访问，而用户要使用资源网格提供的资源、工具必须通过认证，不是免费使用的。 3 、服务网格提供独立于位置、实现和硬件平台的服务。 南京邮电大学硕十研究生学位论文第一章网格计算 1 1 4 网格计算的关键技术 网格计算较以往的以个人计算机为单位的计算方式相比将具有更加强大的数据处理力， 网格具有把各种计算资源统一连接调度的能力。目前网格计算技术存在很多难点和必须研究 的关键问题，如下： l 、大型科学应用计算研究：网格计算系统的目的是充分利用网络上的各种资源来支持大 型的并行分布式计算，因此，对应用的研究也应同时展开，由应用驱动来提出对网格计算系 统的功能和技术要求，并验证其技术途径和技术实现的有效性。 2 、网络技术：网格需要支持运行在不同计算机系统的进程之间的高效通信，高可靠性、 容错性的网络系统是网格计算环境中必不可少的部分。高速通信西议和通信服务质量对网格 计算系统的研究非常重要。通信能力的好坏对网格计算提供的性能影响甚大，要做到计算能 力“即连即用”必须要高质量的宽带网络系统支持。用户要获得延迟小、可靠的通信服务也离 不开高速的网络。 3 、高效可扩展的分布式并行计算系统：为了使用户能够透明地使用网络资源，需要建立 一个高效的、可扩展的分布式并行计算环境，并以此为基础提供各种高级的服务。 4 、高效的程序编译模型和执行引擎：传统情况下，应用程序在执行前需要编译成面向某 平台的可执行代码，这些本地码的平台相关性决定了它们不能跨平台执行，这使得程序在异 构环境下的执行利资源的使用受到了一定的限制。解决这个问题的方法是使用平台无关的中 间代码，由于中间代码通常是解释执行的，因而执行的效率比较低。因此，必须研究解决平 台无关的中间代码执行效率低下的问题，对程序的编译模型和执行引擎进行研究，解决平台 无关性和执行效率之间的矛盾，最终提供解决方案，使得程序能够顺利、高效得在异构环境 下执行和使用系统资源。 5 、面向用户的程序设计模型：为了能够充分发挥网格计算系统的特点，需要为网格系统 设计有效的程序设计模型来充分利用资源，必须在面向对象、面向代理等编程技术中作出选 择。 6 、资源管理和任务调度工具：资源管理工具要解决资源的描述、组织和管理等关键问题； 任务调度工具的作用按照任务的类型、所需资源、可用资源及当前系统的负载情况等安排运 行日程和策略对系统内的任务进行动态调度，提高系统的运行效率。它们属于网格计算的中 间件，它们确定网格计算系统的管理层次体系，将筒；理域按照区域层次划分，并且决定管理 南京邮电大学硕士研究生学位论文 第一章网格计算 信息流的流向。 7 、发现与监控：网格上的系统必须能发现何种资源或服务可用，并能监控其状态。如何 帮助使用人员充分利用网格计算中的资源，这就要靠性能分析和监测工具，这些工具能够为 不同级别的系统管理员提供强有力的工具或界面监视系统资源和系统的运行情况，使得网格 计算系统能够自动适应环境的变化。网格计算系统中某一资源出现故障或失败的可能性较高， 系统的资源会不断扩大、应用会不断增长，系统的整体结构和整体性能会不断地发生变化， 并且随时有不可预测的系统行为发生，这就要求动态监视和管理网格资源，从目前可利用的 资源中选取最佳资源服务，尽量减小由于这种故障或失败、整体结构和整体性能发生变化或 不可预测的系统行为等问题对网格整体性能的影响。 8 、应用层的可视化工具。网格计算的主要领域是科学计算，它往往伴随着海量的数据， 面对浩如烟海的数据想通过人工分析得出正确的判断十分用难。如果把计算结果转换成直观 的图形信息，就能帮助研究人员摆脱理解数据的网难，这就要研究能在网格计算中传输和读 取的可 ! ! i l 化工具。并提供友好的用户界面。在网格计算中的可视化技术使用图形、图像等手 段来描述网格系统中资源和任务的行为、状态和结构，为网格计算系统的资源管理、作业调 度和数据传输提供帮助。 9 、安全：网格安全至关重要，因为共享资源可能包含可能泄露商业机密或其他知识产权 的敏感信息。因此，有必要保护通信安全，识别用户身份，根据授权政策限制用户行为。网 格计算系统的安全管理机制研究包括：确保网格计算系统管理和使用的安全性。建立金网格 的帐号管理和记账系统，使得任何用户能够从任何连在网格的计算机上，安全登录并有效使 用网格资源：确定适用于网格计算系统的信息加密机制利信息传输机制等。 1 2 网格技术的发展和应用前景 和i n t e r n e t 一样，网格计算也起源于研究和学术领域。现在，商业企业也开始使用网格 网格计算带来了新型的财务和商业模型。在财经服务领域，网格计算被用于加速交易处理、 处理海量数据：政府机关使用网格来集中、保护和集成大量数据存储：许多市政和军事机构 都特别要求跨代理机构协作、数据集成和安全，以及跨数据存储库快速获取信息；涉足生命 科学( 比如基因组研究) 的公司使用并行和网格计算对大量数据执行处理和比较，更快的处 理速度意味着更快地占领市场，任何轻微的优势都可能成为决定因素。 o 南京邮电大学硕士研究生学位论文 第章网格计算 网格计算环境受到世界各国和组织的高度重视，已经开展了许多论坛、实验环境和研究 项目，它们大多数都是在网上共享的，极大地方便了人们研究和利用有关资源。 1 2 1 网格计算的现状及一些主要项目 1 国外 国际上已经涌现出一大批网格研究项目，例如，美国有g l o b u s ”、l e g i o n “、c o n d o r “ 等，欧洲有d a t a g r i d ”“、u n i c o r e ( u n i f o r mi n t e r f a c et oc o m p u t i n gr e s o u r c e s ) “”等，澳 大利亚有n i m r o d g “、e c o g r i d ”等，日本有n i n f “、b r i c k s “7 1 等。目前网格计算技术最为发 达的国家是美国，在欧洲，英国处于领先地位。 美国政府单在网格技术的基础研究上，每年投入的经费就高达5 亿美元。g l o b u s 网格项 目“”是目前国际上最有影响的网格计算项目之一。g l o b u s 技术已在美国的物理网格( g r i d p h y s i c sn e t w o r k ，g r i p h y n ) “、美国能源部( d e p a r t m e n to fe n e r g y ，d o e ) 的科学网格 ( s c i e n c eg r i d ) ”、美国航空航天管理局( n a t i o n a la e r o n a u t i c sa n ds p a c ea d m i n i s t r a t i o n ， n a s a ) 网格i p g ( i n f o r m a t i o np o w e ro r i d ) “”、欧洲数据网格( d a t ag r i d ) f ：i l l 荷兰的 集群计算机网格d a s 一2 ”l 、美国国家技术网格( n a t i o n a lt e c h n o l o g yg r i d ，n t g ) 1 、美国 国家科学基金支持的t e r a g r i d “等多个项目中得到应用。 g r i p h y n 计划建立每秒千万亿次级别的计算平台，用于数据密集型计算；科学网格计算能 力达到每秒5 万亿次，存储能力达到i 3 千万亿字节：i p g 将n a s a 分布在各地的资源通过网 络连接起来，解决n a s a 目前无法解决的科学与工程计算与数据管理等问题；分布式资源管理 ( d i s t r i b u t e dr e s o u r c em a n a g e m e n t ，d r m ) 1 试验是主要基于g l o b u s 平台进行开发，通过 计算模拟来开展核武器的全方位研究：t e r a g r i d 将连接位于五个不同地方的超级计算机，达 到每秒2 0 万亿次的计算能力；美国国防部为全球信息网格( g l o b a li n f o r m a t i o ng r i d ，g i g ) 。投入数百亿美元，集成各种军事信息，允许用户随时访问各种资源。 英国是第一个推动国家网格观念的国家。英国政府投资了l 亿英镑，用来研制英国国家 网格( u kn a t i o n a lg r i d ) 。英国率先提出e s c i e n c e 的概念和研究思路，通过全球分布协作， 使用海量数据集合、万亿次级的计算资源和高性能的可视化提高科学研究效率。在e - s c i e n c e 研究框架下，许多研究项目取得了很好的阶段性进展，如a c c e s sg r i d ”，d i s c o v e r yn e t 和m y g r i d ”“等。 南京邮电火学顽士研究生学位论文第一章冈格计算 欧洲数据网格( e u r o p e a nd a t a g r i d ，e d g ) 是一个国际性大型研究和技术发展项目，主 要针对高能物理应用，解决海量数据的分解存贮和处理问题，允许分布在世界各地的工作者 交互、共享数据和设备。d a t a g r i d 涉及到歇盟的2 0 几个国家，是一种典型的“大科学”应 用平台。 日本政府和各大企业也积极加入了网格的研究。日本n t t 数据公司从2 0 0 2 年底至2 0 0 3 年4 月底开展了网格计算试验，连接1 万台p e ，集合处珲能力将达到每秒8 5 万亿次浮点运 算；富士通公司已开发出利用个人电脑进行新药效果模拟试验的计算软件；北海道大学在s g i 公司的赞助下进行网格可视化研究；d a t af a r m 网格项目，主要用于高能物理实验数据的分析 和处理，与欧洲数据网格相连。 从美国、日本及欧洲的发达国家都启动了大型网格研究计划，并得到了产业界的大力支 持。虽然影响最广泛的一些网格技术部署仍由科学和学术机构执行，但是企业以及它们的一 些顶级支持厂商现在也开始关注网格。 从i b m 到s u n 这样的信息技术公司，都把目光和资金投向了这个正在兴起的概念，相继 公布了与网格目标一致的研究开发计划。i b m 、h f 、北电网络、u n i v a 、i n t e l 和s u n 在内的许 多科技公司宣布，他们将形成一个联盟o l o b u sc o n s o r t i u m ，在企业市场加速推广网格计算的 应用，为企业用户开发更加合适的网格计划软件工具，并对各大企业进行宣传，介绍网格计 算技术及其潜在能量。 i b m 正在引领推动网格进入企业的浪潮。i b m 公司已经在a i x 和l i n u x 中捆绑了网格运算 协议，在包括w e b s p h e r e 在内的中间件和操作系统中集成网格计算协议。i b m 的网格战略是以 航空航天、汽车、金融市场、政府和生命科学5 个重点领域为中心，提供加速网格、i t 优化 网格、信息访问网格、工程设计网格、设计协作网格，满足行业客户的需求。i b m 积极参与 g l o b u s 工具的开发，i b m 还与领先的网格软件供应商建立合作关系，推出了一个业务合作伙 伴解决方案网格。 为了和i 蹦竞争，s u n 近来宣布了新战略，通过s u n 网格引擎企业版( s u ng r i de n g i n e e n t e r p r i s ee d i t i o n ，s g e e e ) 和企业标准的g l o h u s 工具包为基础的解决方案提供资源有效利 用。s u n 公司宣布，公司将面向企业客户提供远程计算资源服务，即网格服务，使客户能够像 购买水和电一样购买计算机的计算时间。 h p 惠普公司通过存储网格战略为企业提供实时业务。存储网格将存储从外围设备变成了 一种共享的i t 资源，使用户根据需要向多个方向进行扩展。 南京邮电大学硕士研究生学位论文第一章网格计算 o r a c l e 中国公司表示2 0 0 5 年将进一步向客户和合作伙伴介绍其网格技术。2 0 0 4 年o r a c i e 公司宣布了完整的网格基础设施软件o r a c l e 网格计算l o g 。 d e l l 、e m c 、i n t e l 和o r a c l e 宣布建立联盟共同开发网格计算技术，致力于开发m e g a g r i d 项目，该项目将开发套建立企业网格计算基础设施框架的标准。 索尼、i b m 和东芝公布了索尼p s 3 游戏的c e 1 处理器细节。c e l l 架构可以便网格计算无 所不在，一台p s 3 游戏机可以借用网络中闲置的其它平台的计算资源。 如今的公司必须能够应对客户和市场需求的变化，这就意味着它们必须构建足够强大、 灵活、可伸缩的计算基础架构来应对迅速增加的网络流量和使用量。i t 机构需要相对便宜地 提供这一切，如有可能，还要挖掘现有资源，同时在可随业务增长而扩展的计算技术方面做 出具有成本效益的新投资。 2 国内 在我国，已经完成的网格研究项目主要有清华大学的先进计算基础设施a c i ( a d v a n c e d c o m p u t a t i o n a li n f r a s t r u c t u r e ) 和以中科院计算为主的国家高性能计算环境n h p c e ( n a t i o n a lh i g hp e r f o r m a n c ec o m p u t i n ge n v i r o n m e n t ) 。国家商性能计算环境和清华a c i 系 统，被媒体称为“我国网格计算的最高成就”。 1 9 9 9 年- - 2 0 0 1 年，清华大学网格研究组进行了先进计算基础设施a c i ( a d v a n c e d c o m p u t a t i o n a li n f r a s t r u c t u r e ) 的研究。a c i 将分布于北京和上海的两台自主研制的超级计 算机连接成为聚合计算能力达到4 5 0 0 亿次的网络计算平台，具有一套健全的资源管理系统、 任务管理系统、用户管理系统及安全服务与监控系统。 从1 9 9 9 年底到2 0 0 1 年初，中科院计算所联合十几家科研单位，承担了8 6 3 重点项目“国 家高性能计算环境( n h p c e ) ”。该项目的目标是建立一个分布式环境下支持异构平台的计算网 格示范系统，它把我国的8 个高性能计算中心通过i n t e r n e t 连接起来，进行统一的资源管理、 信息管理和用户管理。 计算所在国家高性能计算环境之后，推出了“服务网格( s e r v i c eg r i d ) ”概念，并把箕 网格研究统称为“织女星网格( v e g ag r i d ) ”。其目标是使同一个平台同时具备大规模的数据 处理能力、高性能计算能力、资源共享和提高资源利用率的能力。 2 0 0 2 年4 月，科技部召开了“网格战略研讨会”，确认将网格研究列为“8 6 3 计划”专项， 投资3 个亿，主要任务是研制面向网格的万亿次级商性能计算机、具有数万亿次聚合计算能 力的高性能计算环境，参与制定国际标准。 南京邮电大学硕士研究生学位论文 第一章阐格汁算 2 0 0 2 年1 2 月2 4 日，上海市宣布将投入两个多亿，建设e 一研究院( e i n s t i t u t e ) 。e - 研 究院是一个以信息网络为平台、全新的具有可变性、超大容量的虚拟研究机构。其中，“上海 高校网格”建设将把上海多所高校用网格整合起来，协同教学科研。教育部希望在这个基础 上，建设一个覆盖全国主要高校的网格，以提高科研水平。 另外，全国还有几十所大学和研究机构已经开展各种网格研究，例如c h i n sg r i d 、c n g r i