（计算机应用技术专业论文）基于进程迁移技术的网格系统容错机制的研究.pdf

北京交通大学硕士学位论文 摘要 网格是近年来逐渐兴起的一种i n t e r n e t 计算模式，利用网格可以在分 布、异构、自治的网络资源环境上构造动态的虚拟组织、资源共享与资源协 作。有效地满足面向互联网的复杂应用对大规模计算能力和海量数据处理的 需求。因为网格是由若干台单台并行计算机用不可靠的i n t e r n e t 连接而成， 因此有效的容错机制在网格系统中显得尤为重要，它能保证当高级服务内部 出现网络断开或结点故障等错误情况时，服务能做出恰当的处理，使正在访 问服务的应用程序的计算任务能正常运行，不会出错，并且使处理错误的开 销减到最少，但是现在流行的网格系统如g l o b u s 还没有实现容错机制。本文 提出把容错机制引入网格中，并提出了以检查点算法为基础、以进程迁移为 任务的载体实现容错机制，为网格系统容错机制的进一步实现和发展奠定基 础。本文的研究工作主要包括以下方面： 1 对网格系统进行了详细的研究，从网格内涵，网格需求，网格 特点，网格体系结构和网格研究现状等不同的侧面进行了研究 分析。并分析了在网格系统实现容错的重要意义。 2 目前关于检查点算法的资料大量重复，本文总结了各种检查点 算法，并对其进行了详细的分析与比较，提出了一些改进的方 法。 3 本文提出了检查点和回卷恢复机制相结合的网格的容错服务机 制，该容错服务机制应该包括检查点管理、错误侦察、回卷管 理三种操作。设计检查点的建立算法和回卷算法。即提出非封 闭、非阻塞的检查点算法，通过模拟实验来具体实现检查点算 法。并对其性能和效率进行了分析。 关键字： 网格系统进程迁移容错机制检查点错误侦察回卷恢复 北京交通大学硕士学位论文 a b s t r a c t g r i di sak i n d o fi n t e m e tc o m p u t i n g p a t t e r n sr i s i n gg r a d u a l l yi nr e c e n ty e a r s i tc a nb eu s e dt oc o n s t r u c td y n a m i c a l l yv i r t u a lo r g a n i z a t i o n ，r e s o u r c es h a r i n ga n d c o o p e r a t i n go nt h en e t w o r kr e s o u r c ee n v i r o n m e n to fd i s t r i b u t i n g , d i f f e r e n t c o n s t r u c t i n ga n da u t o n o m y i n g ，w h i c hm e e te x t e n s i v ec o m p u t i n gc a p a b i l i t ya n d m a g n a n i m o u sd a t ap r o c e s s i n gd e m a n d e df r o mc o m p l i c a t e da p p l i c a t i o nt o i n t e r a c te f f e c t i v e l y g r i di sc o n s t r u c t e db ys e v e r a lp cw i t hu n r e l i a b l ei n t e m e t c o n n e c t i o n ，s ot h ee f f e c t i v ef a u l t t o l e r a n tm e c h a n i s mi sp a r t i c u l a r l yi m p o r t a n ti n g r i ds y s t e m ，i tc a na s s u r ew h e nt h ea d v a n c e ds e r v i c ei n s i d ep r e s e n t ss u c hw r o n g s i t u a t i o n sa sn e t w o r kd i s c o n n e c t i o no rt h en o d ef a u l t ，e t c ，s e r v i c ec a nm a k e a p p r o p r i a t et r e a t m e n t ，a n dm a k ec o m p u t a t i o n a lt a s ko fa p p l i c a t i o np r o g r a m f u n c t i o nn o r m a l l y a n de n a b l et h ee x p e n s ed e a l i n gw i t ht h ef a u l tt or e d u c et ot h e l e a s t p o p u l a rg r i ds y s t e ms u c ha sg l o b u sh a sn o tr e a l i z e dt h ef a u l t - t o l e r a n t m e c h a n i s my e t i nt h i st h e s i s ，ip r o p o s et oi m p o r tf a u l t - t o l e r a n tm e c h a n i s mb a s e d o nt h e e k p o i n ta l g o r i t h ma n dp r o c e s sm i g r a t i o ni n t og r i d ，w h i c hi se s t a b l i s h e da s t h ef o u n d a t i o no ff u r t h e rr e a l i z i n ga n dd e v e l o p i n gf a u l t - t o l e r a n tm e c h a n i s mi n g r i ds y s t e m t h ec o n t r i b u t i o n so f t h i sa r t i c l ea r ea sf o l l o w s ： 1 h a v i n gad e e pr e s e a r c ho ng r i ds y s t e mf r o mt h ed i f f e r e n ta s p e c t s ，i n c l u d i n g g r i dc o n t e n t ，t h ed e m a n d so fg r i d ，g r i dc h a r a c t e lg r i da r c h i t e c t u r ea n dt h e r e s e a r c hs i t u a t i o no fg r i d i na d d i t i o n ，t h ea r t i c l ea n a l y s e si m p o r t a n c eo f i m p l e m e n t i n gt h ef a u l t t o l e r a n tm e c h a n i s mi ng r i ds y s t e m 2 t h em a t e r i a l sa b o u tc h e c k p o i n ta l g o r i t h ma r er e p e a t e di na l a r g ea m o u n ta t p r e s e n t ，t h i sa r t i c l eg e n e r a l i z e st h ea l g o r i t h m so fc h e c k p o i n t ，a n de v e r y a l g o r i t h mi sd e s c r i b e da n da n a l y z e di nd e t a i l c o m p a r i n ge a c ha l g o r i t h m ， t h i sa r t i c l ea n a l y z e st h e i ra d v a n t a g e sa n dd i s a d v a n t a g e sa n db r i n g sf o r w a r d s o m em e t h o d st oi m p r o v ep e r f o r m a n c e 3 p r o p o s e sf a u l t - t o l e r a n ts e r v i c em e c h a n i s mo fg r i dc o m b i n i n gt o g e t h e rt h e c h e c k p o i n ta n dr 0 1 b a c k t h ef a u l t t o l e r a n ts e r v i c em e c h a n i s ms h o u l d 玎 北京交通大学硕士学位论文 i n c l u d ec h e c k p o i n tm a n a g e m e n t ，f a u l td e t e c t i n g ，r o l l b a c kr e c o v e r y m a n a g e m e n t d e s i g n st h ec h e c k p o i n ta l g o r i t h ma n dr o l l b a c ka l g o r i t h m ，i e p u t sf o r w a r du n c l o s e da n du n b l o c k e dc h e c k p o i n ta l g o r i t h m i m p l e m e n t st h e c h e c k p o i n ta l g o r i t h mt h r o u g hi m i t a t i o ne x p e r i m e n t ，a n da n a l y s e s i t s p e r f o r m a n c ea n de f f i o i e n e y k e yw o r d s ： g r i ds y s t e mp r o c e s sm i g r a t i o nf a u l t t o l e r a n tm e c h a n i s m c h e c k p o i n t f a u l td e t e c t i n gr o l l b a c kr e c o v e r y u l 关于论文使用授权的说明 本人完全了解北京交通大学有关保留、使用学 位论文的规定，即：学校有权保留送交论文的复印件， 允许论文被查阅和借阅；学校可以公布论文的全部或 部分内容，可以采用影印、缩印或其他复制手段保存 论文。论文中所有创新和成果归北京交通大学计算机 与信息技术学院所有。未经许可，任何单位和个人不 得拷贝。版权所有，违者必究。 本人签名：墼蔓 1 3 期：旦年上月卫e t 独创性声明 y 7 4 1 9 7 0 本人声明，所呈交的学位论文是我个人在导师指 导下进行的研究工作及取得的研究成果。尽本人所 知，除了文中特别加以标注和致谢的地方外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包 含为获得北京交通大学或其他教学机构的学位或证 书而使用过的材料。与我一起工作的同志对本研究所 做的任何贡献已在论文中作了明确的说明并表示了 谢意。 本人签名：堕 日期：生年三月旦日 北京交通大学硕士学位论文 1 1 背景与研究动机 1 1 1 网格的产生与发展 第1 章引言 一个集成的计算与资源环境构成网格，网格是近年来逐渐兴起的一种 i n t e r n e t 计算模式。其目的是为了在分布、异构、自治的网络资源环境上构 造动态的虚拟组织，并在其内部实现跨自治域的资源共享与资源协作，有效 地满足面向互联网的复杂应用对大规模计算能力和海量数据处理的需求。具 体地说，网格( g r i d ) 概念产生于9 0 年代中期，是从电力网( p o w e rg r i d ) 借鉴过来的。最终目的是希望人们能够象使用电力一样方便地使用分布在网 络上强大而丰富的计算能力。作为目前越来越重要的计算机技术研究领域， 网格是一种关系科研、经济、社会、国防的重要国家基础设施，在国内外引 起了广泛的关注。 网格的发展经历了三个阶段【1 ：第一阶段是网格的萌芽阶段，开始于 9 0 年代旱期，研究内容是关于千兆网试验床以及一些元计算方面的工作； 第二阶段是一些早期的试验，时间大概从9 0 年代中期到晚期，出现了一些 比较重要的开创性和奠基性的研究项目，比如i - w a y ，g l o b u s 2 ，l e g i o n 3 】 等；目前是网格计算的迅速发展阶段，关于网格的研究、开发和应用项目大 量出现，出现了影响很大的组织全球网格论坛g g f ( g l o b a lg r i df o r u m ) ， 同时网格计算也不再仅仅局限于科学研究，工业界与学术界联盟，正致力于 使网格计算在更广泛的领域得到推广和应用。 基于网格的问题求解就是网格计算。目前，网格计算不仅在学术界、研 究领域进行着深入的研究与实验，同时也得到了来自产业界诸如m m 、i - i p 、 m i c r o s o f t 、m 盯、i n t e l 、s g i 和s u n 等各大公司的巨资支持与商业应用开发。 当然，网格并不一定非要这么大，我们也可以构造地区性的网格，如中关村 科技园区网格、企事业内部网格、局域网网格、甚至家庭网格和个人网格。 事实上，网格的根本特征是资源共享而不是它的规模。网格计算虽然致力于 高速互联网、高性能计算机、大型数据库、远程设备等连通和一体化”，但 北京交通大学硕士学位论文 网格计算的根本特征应该是资源共享而不是规模巨大，完全可以根据需要建 造企业内部网格、局域网网格、家庭网格和个人网格，因此网格计算的应用 将非常广泛：卫星图像的快速分析、先进芯片的设计、生物信息科学研究、 超级视频会议、制造业的设计与生产、电子商务、数字图书馆及一般的商务 应用。此外，开发新的应用、集成现有应用、消除信息及资源孤岛也将成为 网格计算责无旁贷的任务。 1 1 2 进程迁移技术 在分布式系统中，进程迁移是一项重要的技术，可以满足系统的实时性， 提高系统的负载平衡，实现容错性，减少通信负载，进程迁移的作用概括起 来主要体现在以下几个方面： 1 实现高效率容错。在分布式系统中，当一个主机发生故障时，需要将 该主机上正在运行的进程给予迁移；否则，如果主机正在运行的是某些关键 进程，则主机故障可能导致整个系统任务的错误运行，后果不堪设想。 2 提高系统的负载平衡。在特定的时间内，各主机负载具有不确定性， 会出现负载不平衡。这时通过进程迁移才能使主机实时地计算任务、实时地 动态调度，使系统任务真正达到动态负载平衡。 3 减少网络通信负载。当某一进程与其它进程存在通信而与其通信 地相对较多的进程不在同一主机上，那么就将该进程进行迁移，从而减少整 个网络通信的负载。 1 1 3 网格容错机制的意义 在单台并行计算机中，容错是一个重要的问题，因为它由多个处理部件 构成，增加了出错的可能性。而许多计算机任务又需要绵延数日的运行才能 得到最终结果，如果没有容错措施，任何中途出现的故障就会使前面的计算 前功尽弃。网格是由若干台单台并行计算机用不可靠的i n t e m e t 连接而成， 出错的概率比单台计算机要大得多。所以网格系统必须提供容错机制，保证 当高级服务内部出现网络断开或结点故障等错误情况时，服务能做出恰当的 处理，使正在访问服务的应用程序的计算任务能正常运行，不会出错，并且 2 北京交通大学硕士学位论文 使处理错误的开销减到最少。如果没有一定的容错措施，网格服务系统就没 有任何实用价值了。 在设计健壮、高可用的网格系统时，以下三项要同时考虑：可靠性、可 用性及可维护性( 简称为r a s ) 。其中可用性标准最令人感兴趣，它结合了 可靠性和可维护性两个概念： 可靠性：测量在没有故障的情况下一个系统能工作多长时间。 可用性：一个系统可以为用户所使用时间的百分比，即正常运行 时间的百分比。 可维护性：指系统是否易于维护，包括硬件和软件维护、维修和 升级等。 在研究r a s 时，将任何阻止系统正常工作的事件称为一个故障。故障包 括： 1 非预期故障：造成系统崩溃的原因有：操作系统瘫痪、硬件故障、网络 断接、人为操作错误及断电等等。所有这些简称为故障，为了修复故障 要对系统进行维修。 2 预期停机：系统未崩溃，但为了升级、重配置及维护，要周期性地停止 正常运行。系统还可能会在周末或假期内停机。 3 瞬间故障和永久故障：许多故障是瞬间的，它们暂时出现然后消失。 4 部分故障及整体故障：如果某一故障使整个系统不可用称为整体故障。 若某个故障仅影响系统的一部分，系统仍可用，只是能力有所下降，称 该故障为部分故障。 目前，改善系统可用性的重要技术包括三个方面：相互独立的冗余设备、 故障接管以及恢复方案。 相互独立的冗余设备 改善任何系统可用性的一个重要技术是使用冗余部件。当一个部件( 主 要部件) 发生故障时，由另一个部件( 备用部件) 继续提供服务。此外主要 部件和备用部件之间必须相互隔离，即不会因为一个原因发生故障。 冗余设备的相互独立有以下优点： 1 如果某个部件有与其相隔离的冗余部件，它不可能成为单点故 北京交通大学硕士学位论文 障，该部件的故障不会导致整个系统的失败。 2 在系统的其它部件正常工作期间，可对发生故障的部件作修理。 3 主要部件和各用部件之间可相互测试和调试。 故障接管 一个部件发生故障时，故障接管技术允许剩下的部分系统能继续提供原 来由故障部件提供的服务。一个故障接管机制应该有几个功能，如故障诊断、 故障通知及故障恢复。 故障诊断指的是检测故障和定位故障部件。常用的技术有心跳( h e a n b e a t ) 技术，即系统中的节点向其它别的节点发出一串心跳消息流。如果系统没有 收到来自一个节点的心跳消息流，便说明或是该节点或是网络连接发生了故 障。一旦诊断出一个故障，系统会通知需要了解故障事件的各个部件。故障 通知是非常必要的，因为不仅是主节点需要了解故障信息，资源管理器要对 工作负载重新分配，并接管该节点剩下的工作负载。另外还要向系统管理程 序报瞥，以便它能启动相应的动作来修复节点。 恢复方案 故障恢复是指为了接管一个已发生故障部件的工作负载所要做的动作。 有两类恢复技术。在后向恢复方案中，周期地为运行在系统中的进程在稳定 存储设备中保存它的一个一致状态( 即检查点) 。发生故障后，系统重组已 与故障部件相隔离，恢复前一个检查点，然后继续正常的操作，整个过程叫 做卷回。在独立于应用程序的可移植方式下向后恢复较容易实现，并已被广 泛运用。然而，卷回过程要花很长的执行时间。 如果执行时间是一个很重要的参数，比如在实时系统中不能容忍卷回恢 复花捧如此长的执行时间，此时应使用前向恢复方案。在这个方案中，系统 不是卷回到故障前的某个检查点，相反，系统利用故障诊断信息重构一个有 效的系统状态，继续执行下去。前向恢复依赖于应用程序且可能需要额外的 硬件设备加以支持。 4 北京交通大学硕士学位论文 1 2 研究内容与论文组织 1 2 1 论文的任务 网格是近年来逐渐兴起的一种i n t e r n e t 计算模式。利用网格可以在分 布、异构、自治的网络资源环境上构造动态的虚拟组织，资源共享与资源协 作，有效地满足面向互联网的复杂应用对大规模计算能力和海量数据处理的 需求。因此有效的容错机制在网格系统中显得尤为重要，但是现在流行的网 格系统如g l o b u s 还没有实现容错机制。本文提出把容错机制引入网格中， 以检查点算法为基础，以进程迁移为任务的载体实现容错机制，为网格系统 容错机制的进一步实现和发展奠定基础。 要实现的网格的容错，首先要了解网格的需求、特点、体系结构，因此 这就需要对网格的相关知识进行整理、分析和研究。其次，必须掌握容错机 制的关键技术检查点以及基于检查点的进程迁移技术，在已有的检查点 算法的基础上提出适合于网格的检查点算法并通过具体实验对算法进行分 析。 1 2 2 论文的组织 第一章首先简要介绍了网格的产生和发展，介绍了进程迁移技术，分 析网格容错机制对于网格发展的重要意义，然后提出本文的研究内容以及文 章的组织结构。 第二章对网格这个新技术的有关知识做出了全面整理，从网格概念， 网格需求，网格特点，网格体系结构和网格研究现状不同的侧面对网格进行 了深入的研究和分析。 第三章容错机制一个关键技术就是检查点，这一章对目前的检查点算 法进行了概括、总结和分类。详细地描述了各种算法并进行了比较，从而分 析了其优缺点并提出改进方法。然后讨论了基于检查点的进程迁移机制。 第四章提出了检查点和回卷恢复机制相结合的网格的容错服务机制， 并提出该容错服务机制应该包括检查点管理、错误侦察、回卷管理三种操作。 北京交通大学硕士学位论文 第五章设计检查点的建立算法和回卷算法，即提出非封闭、非阻塞的 检查点算法，并且在通过实验来具体实现检查点算法后对其进行分析。 第六章对论文进行总结，并对下一步的工作进行展望。 北京交通大学硕士学位论文 第2 章网格分析 本章对网格知识做出了全面整理，从网格概念，网格需求，网格特点， 网格体系结构和网格研究现状不同的侧面对网格进行了深入的研究和分析。 2 1 网格概念 网格是一种新技术，具有新技术的两个特征：一，不同的群体用不同的 名词来称谓它；二，网格的精确含义和内容还没有固定，而是在不断变化。 最初网格的概念是从电力网( p o w e rg r i d ) 概念借鉴过来的。网格的最 终目的，是希望用户在使用网格计算能力时，就如同现在使用电力一样方便。 我们在使用电力时。不需要知道它是从哪个地点的发电站输送出来的，也不 需要知道该电力是通过什么样的发电机产生的，不管是水力发电，还是通过 核反应发电，我们使用的是一种统一形式的“电能”。网格也希望给最终的 使用者提供与地理位置无关、与具体计算设施无关的通用的计算能力 1 0 。 随着网格研究的深入，网格的概念和对网格的认识在不断发展变化。全 球网格研究的领军人物、美国阿岗( a r g o n n e ) 国家实验室的资深科学家、美 国g l o b u s 项目的领导人l a nf o s t e r 曾在1 9 9 8 年出版的n eg r i d ： b l u e p r i n tf o raf u t u r ec o m p u t i n gi n f r a s t r u c t u r e s a nf r a n c i s c o ，c a l i f o m i a ： m o r g a n k a u f m a n n p u b l i s h e r s ) 【4 卜一书中这样描述网格：“网格是建立在互联 网上的一组新兴技术，它将高速互联网、高性能计算机、大型数据库、传感 器、远程设备等融为一体，为科技人员和普通人提供更多的资源、功能和交 互性。互联网主要为人们提供电子邮件、网页浏览等通信功能，而网格功能 则更多更强，让人们透明地使用计算、存储等其他资源”。 2 0 0 0 年，i a nf o s t e r 在( t h ea n a t o m yo ft h eg r i d 5 这篇论文中 把网格进一步描述为“在动态变化的多个虚拟机构间共享资源和协同解决问 题”。2 0 0 2 年7 月，i a nf o s t e r 在 w h a ti st h eg r i d ? at h r e ep o i n t c h e c k l i s t 6 卜一文中，限定网格必须同时满足三个条件：( 1 ) 在非集中控 制的环境中协同使用资源；( 2 ) 使用标准的、开放的和通用的协议和接口( i a n f o s t e r 认为目前只有g l o b u s 才算得上标准协议) ：( 3 ) 提供非平凡的服务。 7 北京交通大学硕士学位论文 至此，i a nf o s t e r 已经把他的网格概念描绘清楚了。但并不是所有人 都同意他的观点，认为他的观点过于严格，把许多系统，如p 2 p 、s u ng r i d e n g i n e 、c o n d o r 、e n t r o p i a 、m u l t i c l u s t e r 等都排除在网格之外。有许多 人赞同广义的网格概念，它称作巨大全球网格g g g ( g r e a tg l o b a lg r i d ) ， 它不仅包括计算网格、数据网格、信息网格、知识网格、商业网格，还包括 一些已有的网络计算模式，例如对等计算p 2 p ( p e e rt op e e r ) 、寄生计算等。 可以这样认为，i a nf o s t e r 赞成狭义的“网格观”，而g g g 是一种广义的“网 格观”。 不管是狭义还是广义的网格，其目的不外乎是要利用互联网把分散在不 同地理位置的电脑组织成一台“虚拟的超级计算机”，实现计算资源、存储 资源、数掘资源、信息资源、软件资源、存储资源、通信资源、知识资源、 专家资源等的全面共享。其中每一台参与的计算机就是一个节点，就像摆放 在围棋棋盘上的棋子一样，而棋盘上纵横交错的线条对应于现实世界的网 络，所以整个系统就叫做“网格”了。在网格上做计算，就像下围棋一样， 不是单个棋子完成的，而是所有棋子互相配合形成合力完成的。传统互联网 实现了计算机硬件的连通，w e b 实现了网页的连通，而网格试图实现互联 网上所有资源的全面连通。【7 】 清华大学李三立院士将网格与信息高速公路作了比较，他说；“将先进 计算基础设施( 网格) 与信息高速公路相比较，可以说，信息高速公路是信 息传输和获取的信息基础设施；而先进计算基础设施则是信息处理的信息基 础设施。虽然，国内外都有不断把信息高速公路扩充频带宽度、改进路由器 性能的计划；但是，国外科学家认为：真正的下一代信息基础设旄是先进计 算基础设施。它将使以计算机为主体的信息处理发生根本性的变化。” 中科院计算所李国杰院士认为：“网格不同于国外正在搞的i n t e m e t 2 或下 一代i n t e m e t ( n g i ) ，网格可以称作是第三代i n t e r n e t ，其主要特点是不仅仅包 括计算机和网页，而且包括各种信息资源，例如数据库、软件以及各种信息 获取设备等，它们都连接成一个整体，整个网络如同一台巨大无比的计算机， 向每个用户提供一体化的服务。” 北京交通大学硕士学位论文 2 2 网格需求 我们为什么需要网格，首先因为通过计算来解决问题已经成为一种重要 的解决问题的方法和手段，而目前大量问题的解决，只有网格提供的能力才 可以满足需求；其次是相关技术的发展为网格的出现奠定了基础，可以满足 网格的需求；最后就是网格可以有广泛的应用领域，几乎各种人群都可以利 用网格来解决他们面临的各种问题，网格具有很大的发展潜力，开发网格技 术，建设网格，发展网格已经成为学术界，工业界以及政府部门的共识。下 面从几个不同的方面来进行详细讨论。 2 2 1 计算的重要性 计算与理论和实验并列，已经成为第三种重要的科学研究方式。并且计 算将理论和实验连接起来，成为= 者之问的桥梁。通过计算，可以完成许多 单纯依靠理论或者实验无法进行的科学研究。比如许多问题根本就无法给出 解析解，但是通过计算机模拟，就可以得到比较可靠的近似解，而且还可以 把误差控制在一定范围之内。人们已经用计算的方法创造了一个又个的奇 迹，比如复杂的科学与工程问题的建模，医疗诊断，工业设备控制，天气预 测，股市管理等，这些都说明，计算已经在各个研究领域取得了越来越重要 的地位。 不仅在科学研究中，在社会与经济活动中，计算也已经成为一种重要的 甚至是不可替代的解决问题的方法与工具。虽然计算机的发明一开始最直接 的目标是为科学计算服务的。但是，后来计算机最广泛的应用还是来自事务 处理等非科学计算领域。现在的银行系统，订票系统，办公系统，电子政务 等等，都需要计算机提供的非数值计算能力。在我们的e t 常生活中，已经无 法离开计算。目前的环境污染和整治问题，它是一个动态的，非线性的，多 学科，时间和空间多尺度的难题，科学解决这一问题的方法就是计算。 计算在求解问题中的重要地位，为网格这种以提供计算能力为特征的基 础设施的出现奠定了基础。 9 北京交通大学硕士学位论文 2 2 2 问题的需求 随着人们求解问题领域的不断拓展，所遇到的问题也越来越复杂，而且 规模越来越大，解决这些问题所需要的计算能力也在大幅度提高。比如在天 文学研究中，天文望远镜每年所产生的数据不少于1 0 p e t a b y t e s ( 1 p e t a b y t e s - - 1 0 1 5 b y t e s ，1 g i g a b y t e s = 1 0 y t e s ，1 m e g a b y t e s = 1 0 1 y t e s ) ，假设计算机处理1 m e g a b y t e s 的数据需要1 秒，则处理l o p e t a b y t e s 的数据需要约3 0 0 多年才能处 理完毕，显然这样的计算机是不能满足需求的，这里还没有考虑到数据的读 写需要的时间。假设目前一块硬盘的容量为1 0 0 g i g a b y t e s ，则存放1 0 p e t a b y t e s 的数据需要( 1 0 1 0 ”) ( 1 0 0 1 0 9 ) = 1 x 1 0 5 块硬盘。 在建立数字化人脑的研究中，如果人脑体素的分辨率为微米，则建立彩 色的数字化人脑需要大小为4 5 p e t a b y t e s 的数据。同时，目前在线数据的数 据量也在急剧增长。2 0 0 0 年为o 5 p e t a b y t e s ，估计到2 0 0 5 年为l o p e t a b y t e s ， 2 0 1 0 年为1 0 0 p e t a b y t e s 。在高能和核物理研究中，在重力波的研究中，在与 时间有关的三维系统研究中( 地球观察，气候模型，地球物理，地震模型， 流体，空气动力设计，污染物扩散分析) ，天文学，医学，晶体学，基因组 研究，虚拟实验室的研究中，需要的都是具有超大规模的计算和数据分析能 力。其它的问题还包括计算密集型分析，大最的数据整理和收集，地理分布 的协作等等。 在这些新问题的求解过程中，局部的计算资源是无法满足这样的需求 的，因此必须使用广大的分布资源，将他们集中起来协同解决问题。同时也 应当看到，由于各种因素的限制，有些资源由于成本过高或者其它的原因， 往往是不可复制的，因此为了有效的运用这些资源，打破地域的限制来实现 更大粒度和更大范围的资源共享就成为一种必需的要求。 因而，网格这种以更大范围的资源共享为目的的计算方式的出现就具有 一定的必然性，但是它的出现还必然受到具体的技术条件的限制，只有相关 的技术成熟了，网格才有可能得到真正的发展。 0 北京交通大学硕士学位论文 2 2 3 相关技术的发展 这里主要从网络和计算机两个方面的发展对网格的支持进行论述。网 络的发展主要是看其网络带宽和覆盖的范围来论述，计算机则主要从其计算 能力和计算形式的改变来论述【8 】。 首先回顾一下网络的发展，a p p a n e t 是i n t e r n e t 的前身，开始于2 0 世 纪7 0 年代初，它是一些科学家和d o d 的实验性网络。它开发了传输协议 t c p i ? ，并提出了一些重要的概念，一些后来的产品和研究都是在此基础上 进行的。其中一个重要的网络是n s f n e t ，1 9 8 6 年建立的主干网，连接了 美国5 个n s f 超级计算中心。主干网后来扩展到现在的i n t e m e t 。 1 9 9 8 年，在美国一种新的主干网络v b n s ( v e r yh i g hs p e e db a c k b o n e n e t w o r ks e r v i c e ) 又建立起来了，连接了大概1 0 0 多家研究机构。后来在此基 础上，一种连接美国、加拿大、新加坡、台湾以及韩国等许多国家和地区的 网络( s t a rt a p ) ( s e c i e n c e ，t e c h n o l o g ya n dr e s e a r c ht r a n s i ta c c e s sp o i n t ) 建 立起来它为世界范围的网格的出现提供了基础。 目前主干网的带宽已经从原来的5 6 k s 发展到十兆、百兆乃至千兆，网 络速度的提高为跨地域的资源共享提供了基础和前提，正如g e o r g eg i l d e r 所说的那样，当外部网络的速度和计算机内部网络的速度一样时，分布在网 络上的计算机将形成一种具有特定目的的联盟。 根据摩尔定理，计算机的芯片的集成度或者说计算机c p u 的处理速度 大约每1 8 个月翻一番，从1 9 8 6 年到2 0 0 0 年，计算机的速度提高了5 0 0 倍， 网络的速度提高了约3 4 0 。0 0 0 倍。估计从2 0 0 1 年到2 0 1 0 年，计算机的速度 将提高6 0 倍而网络的速度将提高4 0 0 0 倍。目前的p c 已经比1 0 年前的 c r a y 超级计算机还要快，而大量的微机在许多情况下其计算能力是闲置的， 因此闲置计算能力是可以通过共享手段让其他的计算用户受益的。由于计算 机绝对速度的提高，将大量闲置的计算资源充分利用起来就成为网格的另外 一个重要目的。 计算机的发展也经历了许多阶段，在不同的阶段，都有一种形式的计算 占主导地位。比如在7 0 年代左右，大型机占据主导地位，代表了当时的主 北京交通大学硕士学位论文 要计算机技术；到了8 0 年代，小型机的逐渐崛起，计算机的能力不再以体 积的庞大为特征了，特别是到了9 0 年代，随着微处理器技术的迅速发展， c p u 的集成度越来越高，微机成为一种普及的计算机类型，而微机性能的 提高和高速系统级网络计算的发展以及成熟和免费的操作系统的出现，为机 群计算机形式的出现提供了基础。每一个发展过程都大大提高了计算机的普 及程度和计算机的性能。都为更大、更复杂问题的解决提供了支持。在不久 的将来，网格很有可能成为主流的计算形式。图2 1 给出了这种发展变化过 程的示意图。 主流 非主流 1 9 7 0 1 9 8 01 9 9 52 0 0 0 图2 1 主流计算形式的变化 2 2 4 网格的应用领域 网格可以有非常广泛的应用领域，一旦建立起了网格，就可以开展许多 以前无法进行的工作和研究。在科学计算领域，网格可以在如下几个方面得 到应用。 1 分布式超级计算。这与以前的高性能计算的作用十分类似，不同的 是以前的高性能计算大多是集中式的，主要靠一个地方的高性能计 算机完成计算任务。目前遇到的许多科学与工程计算问题是无法在 任何一台超级计算机上解决的，因此需要更多的超级计算机一起来 完成，网格可以把分布式的超级计算机集中起来，协同解决复杂的 大规模问题从集中计算到分布计算，是网格功能的重要体现。 1 2 北京交通大学硕士学位论文 2 高吞吐率计算。高吞吐率计算和高性能计算的侧重点是不同的，高 性能计算关心的是每秒钟能够完成的计算量，度量的时间单位很小。 而对于高吞吐率计算，它关心的是几个月，一年甚至是几年完成的 计算量，度量的时间单位比较大。之所以会提出这种计算方式是因 为在许多实际的问题求解过程中，人们关心的是在一段相对较长的 时间内解决的问题的多少。而对短期内求解问题的多少并不是十分 关心。对于这样的问题，可以利用c p u 周期窃取的技术，将大量空 闲计算机的计算资源集中起来提供给对时间不太敏感的问题，作为 计算资源的一种重要来源。 3 数据密集型计算。对于数据密集型问题，数据采集地点，数据处理 地点，数据分析与结果存放地点。可视化设备的地点往往不在同一 个地方，数据密集型问题的求解往往同时会产生很大的通信和计算 需求，需要网格能力才可以解决。许多高能物理实验，数字化太空 扫描，气象预测等都是数据密集型问题，网格可以在这类问题中发 挥巨大作用。 在社会经济生活领域，网格可以在如下领域得到应用。 1 基于广泛信息共享的人与人交互。原来的人与人的交互受到地理位 景、交互能力、共享对象等等许多条件的限制。一个国际会议往往 需要许多人在旅途上消耗大量的时间，如果每个人都可以在自己的 工作地点，与参加会议的其它人员在一个虚拟的共享空间中进行交 互，共同讨论问题，可以产生面对面的效果，无疑将会是十分理想 的。一个原来物理上集中的大会场被网格技术分散在世界各地，但 是又不影响开会的效果，一个原来在物理会场中传递的话简可以在 世界不同地点的人们之间传递。这显然会对大家的工作方式产生很 大的影响。 2 更广泛的资源贸易。计算能力闲置的机器可以共享出来，通过网格 让更多的人来租用；需要计算能力的人可以不必购买更大的计算机， 只需根据自己计算任务的需求，向网格购买计算能力就可以满足要 求。除了计算资源，包括贵重仪器、程序、数据、信息、文化产品 北京交通大学硕士学位论文 等等各种资源都可以在贸易的基础上广泛共享。 网格是一种面向问题和应用的技术，随着网络技术的不断完善和应用领 域的不断扩展，网格可以在更多的领域得到应用。 2 2 5 网格的用户群 网格有十分广大的潜在的用户群，这些用户群涉及到几乎所有的领域， 从尖端的科研到日常的生活，广大的应用领域必然有广大的用户群。 在科学研究领域，就有许多不同类别的研究者需要网格。网格就是从计 算科学与工程领域逐渐发展起来的，计算科学家、工程师以及实验科学家需 要网格。因为他们需要实时的查看不同应用的运行情况，有些应用需要对计 算过程进行监控，这样，通过高速主干网络，可以把图形文件发送到局部的 可视话设备上观看正在模拟的结果，其它的分布在不同实验室的科学家也可 以使用不同的计算机来解决统一问题。将研究者和远处的仪器，设备，传感 器等与网格建立连接，进行三维可视话模拟，召开远程会议。这种经常性的 需求需要网格技术的支持。 此外，社会和经济团体也需要网格，比如协会，公司，人类公共问题研 究机构等。协会之间通过网格可以共享分布的信息与资源，大范围的环境保 护研究需要网格的支持，培训和教育也需要网格。进一步说，不同的国家乃 至世界都需要网格，正如互联网的发展一样，网格的发展不会局限在一个国 家的范围之内。网格是永久性的基础设施，世界范围内网格的建立，将对其 它各个方面的发展提供基础性的支持，反之也必将促进网格的全面发展。 2 3 网格特点 2 3 1 分布和共享性 分布性是网格的一个最主要的特点。网格的分布性首先是指网格的资源 是分布的，组成网格的计算机、数据库乃至电子图书馆以及其它的各种设备 与资源分布于地理位置互不相同的多个地方。其次，由于网格资源是分布的， 因此基于网格的计算一定是分布式计算而不是集中式计算，在网格这一分布 1 4 北京交通大学硕士学位论文 式环境下，需要解决资源与任务的分配和调度问题、安全传输与通信问题、 实时性保障问题、人与系统以及人与人之间的的交互问题等。 图2 2 网格的分布性 如图2 2 所示，一个问题的求解需要从a 和b 两个不同的地方获取数据， 然后将这些数据送到专门的机构c 进行数据的分析和处理。对于处理后的结 果，需要进一步在d 处通过实验进行验证，并利用e 处的高级可视化设备进 行结果显示，而问题最终得到的结果可能是在f 处进行公布。这一问题求解 过涉及到了六个不同的地方，这些地方可能相距千万里之遥，甚至有时候还 需要一些移动设各的介入，这些都说明了网格的分布性特征。 网络资源虽然是分布的，但是他们却是可以充分共享的。即网格上的任 何资源都可以提供给网格上的任何使用者。共享是网格的目的。没有共享便 没有网格，解决分布资源的共享问题，是网格的核心内容。这里共享的含义 是非常广泛的，不仅指一个地方的计算机可以用来完成其它地方的任务。还 可以指中间结果，数据库，专业模型库以及人才资源等各方面的内容。 分布是网格硬件在物理上的特征，而共享是在网格软件支持下实现的逻 辑上的特征，这两者对于网格来说都是十分重要的。 2 3 2 自相似性 自相似性在许多自然和社会现象中大量存在，一些复杂系统都具有这些 特征，网格就是这样。网格的局部和整体之间存在着一定的相似性，局部往 往在许多地方具有全局的某些特征，而全局的特征在局部也有一定的体现。 网格的自相似性在网格的建造和研究过程中有重要的意义 北京交通大学硕士学位论文 2 3 3 动态性与多样性 网格不是一成不变的。原来的资源或功能，在下一时刻可能就会出现故 障或不可用。而原来没有的资源，随着时间的推移会不断的加入进来。网格 的动态性包括动态增加和动态减少两个方面的含义。对于网格资源的动态减 少和出现故障的情况，要求网格能够及时采取措施，实现任务的自动迁移， 做到对高层用户透明或者尽可能减少用户的损失。网格资源的动态增加需要 提高网络的扩展性问题，也就是说在网格的设计和实现时，必须考虑到新的 资源能否很自然地加入到网格中来，并且可以和原来的资源融合在一起，共 同发挥作用。网格扩展要求体现在规模、能力、兼容性等几个方面。网格应 该能够允许对它自身进行多种形式的扩展。网格规模扩展后网络的相应管理 软件也应该能够满足扩展性的要求，网格软件的升级要能够向下兼容。 网格资源是异构和多样的。在网格环境中可以有不同体系结构的计算机 系统和类别不同的资源，因此网格系统必须能够解决这些不同结构、不同类 别资源之间的通信和互操作问题。 2 3 4 自治性和管理的多重性 网格上的资源是属于某一个组织或者个人的，因此网络资源的拥有者对 该资源具有最高级别的管理权限，网格应该允许资源拥有者对他的资源有自 主的管理能力，这就是网格的自治性。 但是网格资源