（计算机科学与技术专业论文）基于网格的铁路运价测算任务调度研究与应用.pdf

摘要 摘要 网格是新一代的互联网，是一种新的信息基础设施。它将引发继传统因特网、 w e b 之后的第三次信息技术革命。将网格技术应用于铁路货物运输系统属全国首 例。建立铁路网格平台，可以很方便地解决铁路货运系统内部分布的、异构的、 海量的资源共享问题和协同计算大型应用问题。 本文是在国家8 6 3 项目“基于网格的铁路货运信息综合应用系统”实施的基 础上总结出来的。它分析了当前铁路货运系统中运价测算的业务需求，论述了它 的研究现状，并从铁路网格环境下负载均衡、执行效率等方面具体论述了运价测 算所面临的主要问题。针对这些问题，在实践中完成了以下工作并总结论文： 1 ) 提出了分布式并行计算的计算模型。该模型充分利用了铁路网格的技术优 势，克服了传统方法中由于铁道部中心节点负载过大和路局之间海量数据远程传 输引起测算性能低下的问题，将任务分布到各路局节点并行执行，缩短测算任务 总的完成时间。 2 ) 根据运价测算任务的特点，本文提出了以区域和时间段组合为划分条件的 测算任务分解方法，并分析了测算任务分解的系统结构，进一步提出了两级任务 池管理机制的思想。 3 ) 综合考虑测算任务调度的目标和铁路网格基本的调度服务，针对铁路网格 和分解后测算任务的特点，本文提出了具有动态任务调度的l o a d b a l a n c e 算法。 该算法根据网格监控信息和作业运行时的状态信息，动态地调整系统中各节点的 负载，使所有路局节点逐渐趋于一个负载均衡的状态。 最后，本文将上述研究的方法和模型应用于网格项目中，通过对测算任务的 分解、调度和汇总结果，实现了通过分布式并行计算解决铁路货物运输大型的测 算应用问题，提高任务测算的执行效率，缩短了测算任务总的完成时间。 本文的工作得到国家8 6 3 高科技发展计划资金项目( 2 0 0 6 a a 0 1 2 1 2 1 ) 的资助。 关键词：网格计算；运价测算：测算任务分解；测算任务调度；负载均衡；铁路 分类号：t p 3 1 6 4 g r i dc o m p u t i n gi san e w g e n e r a t i o no ft h ei n t e m e ta n dan e wh n do fi n f o r m a t i o n i n f r a s t r u c t u r e i tw i l lc a u s et h em i r di n f o r m a t i o nt e c h n o l o g yr e v o l u t i o na f t e ri n t e m e t a n dw e b i ti st h ef i r s tt i m et ou s e 鲥dc o m p u t i n gt e c h n o l o g yi nr f t s ( r a i l w a y f r e i g h tt r a n s p o r ts y s t e m ) a r o u n dt h ew h o l ec o u n t r y b u i l d i n gar a i l w a y 鲥dp l a t f o r m c a ne a s i l ys o l v et h ep r o b l e mo fd i s t r i b u t e d ，h e t e r o g e n e o u s ，l a r g e s c a l er e s o u r c es h a r i n g i l lr f t s ，笛w e l la sc o l l a b o r a t i v ec o m p u t i n g t l l i sd i s s e r t a t i o ni ss u m m a r i z e df r o mt h ei m p l e m e n t a t i o no ft h ep r o j e c tn a m e d “g r i d - b a s e dr a i l w a yf r e i g h ti n f o r m a t i o ns y s t e m ”i ta n a l y z e st h er e q u i r e m e n to ft p c ( t r a n s p o r tp r i c ec a l c u l a t i o n ) i nc u r r e n t 砌叮s ，d i s c u s s e si t sd e v e l o p m e n ta n dt h e p r o b l e mi tf a c e di nl o a db a l a n c ea n de f f i c i e n c yo ft a s ke x e c u t i o nu n d e rr a i l w a y 鲥d p l a t f o r m t os o l v et h e s ep r o b l e m s ，w eb r i e f l ys t a t eo u rr e s e a r c h e sa sf o l l o w sa n d s u m m a r i z et h i sd i s s e r t a t i o n ： 1 ) p u tf o r w a r dad i s t r i b u t e dp a r a l l e lc o m p u t i n gm o d e l 啦sm o d e lm a k e sf u l l 憾e o ft h ea d v a n t a g eo fr a i l w a yg r i dt oo v e r c o m et h ep r o b l e mo fo v e r l c a di nc e n t r a l c o m p u t i n gn o d ea n dl a r g e - s c a l ed a t ar e m o t e l yt r a n s f e r , w h i c hc a u s e db yt h et r a d i t i o n a l m e t h o do ft p c ，d i s t r i b u t et h ec a l c u l a t i o nt a s k st oe a c hb u r e a un o d ea n de x e c u t et h e m p a r a l l e l ，m i n i m i z et h ec a l c u l a t i o nt a s kf i n i s h e dt i m e 2 ) a c c o r d i n gt ot h ec h a r a c t e r i s t i c so f t p ct a s k , t h i sd i s s e r t a t i o np u t sf o r w a r dat a s k d e c o m p o s i t i o nm e t h o d ，w h i c hi sd e c o m p o s e db yt h ec o m b i n a t i o no fr e g i o na n dt i m e p e r i o d ；f u r t h e r m o r e ，a n a l y z e st h et p cd e c o m p o s i t i o ns y s t e ma r c h i t e c t u r ea n db r i n g si n a ni d e ao ft w ol e v e lt a s k p o o lm a n a g e m e n tm e c h a n i s m s 3 ) c o n s i d e r i n gt h ea i mo fc a l c u l a t i o nt a s ks c h e d u l i n g , t h eb a s i cs e r v i c eo fr a i l w a y g r i da n dt h ec h a r a c t e r i s t i c so fd e c o m p o s e dc a l c u l a t i o nt a s k s ，t h i sd i s s e r t a t i o np u t s f o r w a r dad y n a m i cs c h e d u l i n gl o a d b a l a n c ea l g o r i t h m t l l i sa l g o r i t h mc a nd y n a m i c a l l y a d j u s te a c hn o d e sl o a d ，a c c o r d i n gt ot h es t a t ei n f o r m a t i o nr e t u r n e df r o m 鲥da n d r u n n i n gj o bm o n i t o rs e r v i c e ；a tl a s tm a k e a l lt h eb u r e a un o d e sl o a db a l a n c e a tl a s t , w ew i l lu s et h er e s e a r c hm e t h o da n dc o m p u t i n gm o d e li nr a i l w a y 班d s y s t e mp r o j e c t t h r o u g hd e c o m p o s i n gt h ec a l c u l a t i o nt a s k ，s c h e d u l i n ga n da g g r e g a t i n g t h er e s u l t s , w ec a ns o l v et h el a r g e s c a l ec a l c u l a t i o np r o b l e m b ye x e c u t i n gt h ed i s t r i b u t e d t a s k sp a r a l l e l ，a n dt h e ne n h a n c et h ee f f i c i e n c yo ft a s ke x e c u t i o n , a n dm i n i m i z et h et a s k f i n i s h e dt i m e v 北京交通大学硕士论文 1 1 1 i sd i s s e r t a t i o ni sf i n a n c i a l l ys u p p o r t e db yn a t i o n a l “8 6 3 ”h i g h - t e c hd e v e l o p m e r i tp l a n ( 2 0 0 6 a a 0 1 2 1 2 1 ) f u n d i n g k e y w o r d s ：g r i dc o m p u t i n g ；t r a n s p o r tp r i c ec a l c u l a t i o n ；c a l c u l a t i o nt a s k d e c o m p o s i t i o n ；c a l c u l a t i o nt a s ks c h e d u l i n g ；l o a db a l a n c e ；r a i l w a y c l a s s n o ：t p 31 6 4 北京交通大学硕士论文 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特5 | l l j n 以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 姗鹕：7 7 钏槲期： 年厶月l8e t 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 提供阅览服务，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。 同意学校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 虢r 脚 签字日期：j 叩年二月，g 日 导师签名：、洛 二未 签字醐。一年6 刖8 日 致谢 本论文的工作是在我的导师路红英老师的悉心指导下完成的，路红英老师严 谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢两年来 路红英老师对我的关心和指导。 路红英、戴钢老师悉心指导我们完成了实验室的科研工作，在学习上和生活 上都给予了我很大的关心和帮助，在此向路红英、戴钢老师表示衷心的谢意。 王智飞博士对于我的科研工作和论文都提出了许多的宝贵意见，在此表示衷 心的感谢。 在实验室工作及撰写论文期间，杨琳琳、肖俊、王春源、顾海诠、付嵘、徐 海朝、陈方圆、卓灵等同学对我论文中的测算任务调度研究工作给予了热情帮助， 在此向他们表达我的感激之情。 另外也感谢家人，他们的理解和支持使我能够在学校专心完成我的学业。 绪论 1 1 研究背景 1 绪论 近几年来，科学与工程领域的巨大需求促进着网格技术的飞速发展【l 】。网格是 借鉴电力网( e l e c t r i cp o w e rg r i d ) 的概念提出来的，它利用基于口协议的宽带数 字通信网络把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机，其中 每一台参与计算的计算机就是一个“节点，而整个计算环境是由成千上万“节点 组成的“一张网格 ，最终的目的是希望用户在使用网格资源时就像现在使用电力 一样方便【3 】只要提供一个网格接口，用户随时随地就可以使用网格里面的资源。 网格计算的本质是在分布、异构的资源基础上实现资源共享和协同工作，目的是 希望给最终的使用者提供的是与地理位置无关、与具体的计算机设施无关的通用 计算能力。网格可以看作是一个集成的计算环境，它能够充分吸纳各种计算资源， 并将它们转化为一种随处可得的、可靠的、标准的同时还是经济的计算能力。 随着信息时代的飞速发展，铁路行业已经形成了以铁道部、铁路局为节点， 覆盖全国铁路的三级信息网络及按业务条块划分的三十多个相互独立的大型业务 信息系统，积累了大量的基础数据，如货票数据、确报数据等。这些呈指数级增 长的基础数据，是不断增值的巨大社会财富，是科技创新、经济发展的重要战略 资源，也是铁路各部门制定政策、进行科学决策的重要依据。然而，就目前这些 应用系统中的大量信息分布在各级节点上不同的服务器中，而且基本上都是单独 开发建设、自成体系，信息被沉淀在各部门、局、站段的数据库中，大量的数据 以原始的形态保存，或是被加工成半成品储存起来，数据资源之间的连通性、互 操作性以及综合集成性很差，数据资源的应用不充分或不方便或干脆无法使用， 使得数据之间都存在封闭性、缺乏规范和统一标准，造成“信息孤岛的现象， 具体体现在：虽然目前已经积累了大量的信息资源，面对黄沙般一望无际的海量 数据时，最终用户却仍然无法从中淘出金粒，或是将其锻造成水晶玻璃。一方面 由于用户没有途径获取完整的信息，只能够局限在有限的信息系统之内的信息资 源，另一方面在面对大量的信息资源时，现有信息系统无法有效地提炼出用户需 要的信息资源，这就造成了信息资源与最终用户之间的鸿沟，这种现象称之为“数 据丰富，信息贫乏。这些问题严重地阻碍了铁路信息化和智能化的提高，如何应 用现代信息技术，动态整合与集成跨区域、跨路局的各部门的数据资源，把分散 的、孤立的、封闭的数据资源在开放的、动态的、松耦合的信息共享平台下实现 北京交通大学硕士论文 多层次、全方位、分布式的数据、信息与知识共享是亟待解决的问题。采用网格 技术将能更及时、准确、充分地整合、利用、提炼、挖掘这些海量分布的信息。 基于网格的铁路货运信息综合应用系统是基于上述特定的应用背景，以分布 在全国各地，由铁道部及各铁路局数据资源和计算资源为基础，研究并建立支持 大规模数据资源共享和协同合作的货运信息综合应用系统。通过对铁路系统货票 数据进行规范化的组织和表达，实现一个组织动态、管理有序的智能虚拟组织， 以支持数据和知识的协同共享、分布式透明存取和个性化的数据服务。这种不受 物理位置限制的网格数据将大大提高铁路信息化建设的效率，并为资源的长期维 护和有效利用提供了有力保障。 然而，在铁路货运信息综合应用系统中，作为决策支持的数据处理往往是非 常耗时的操作过程。铁路运价测算是运价调整决策支持的一个重要手段，运价是 否调整以及如何调整将根据相关公式测算后的结果最终确定。通常，运价测算需 要测算出一组不同调整项或者同一调整项不同费率的结果出来，它实际上用到的 数据是一样的，测算公式也是一样的，但是它每次传递进去的参数( 费率、调整 项) 会有所不同，这些参数值呈阶梯形态分布，所以重复利用的数据量非常大， 整个测算任务的计算量与药物分子对接设计【2 6 】所要搜索的空间不相上下。因此， 减少运价测算时间是运价调整的关键任务。在网格应用中，并行计算是提高计算 机系统计算速度和处理能力的一种有效手段。它的基本思想是使用多个计算节点 来协同求解同一个问题，即将被求解的问题分解成若干个子问题，各子问题均由 一个独立的计算节点来并行计算。为了提高问题的求解效率，问题被分解为若干 子问题之后，面临着如何将刀个子问题分派到朋个网格节点上运行的问题，通常 也有不同的策略进行子问题和计算机的匹配，这种不同资源的分配策略称之为网 格调度。 在网格系统中，大量的上层应用共享着网格的各种资源。如何使得这些应用 获得最大的效能以及使得整个网格系统的效率达到最高( 例如最大吞吐率等) ，这 就是网格调度所要解决的问题。良好的调度是实现资源共享的重要环节。通过调 度，可以把应用所需要的计算资源隐藏于网格中，降低了上层应用的复杂性，使 得用户不必关心任务所需要的计算资源放在什么地方从而把精力投入到业务本身 的逻辑中去。 网格调度技术比传统高性能计算中的调度技术更加复杂，这主要是因为网格 具有一些独有的特征，例如，网格资源的动态变化性、资源类型的异构性和多样 性、资源的广域分布性、调度器的分布和管理局部性等等。在网格调度过程中， 还需要考虑到扩展性、效率、可重复性以及网格调度与本地调度相结合等一系列 问题。对于一个调度系统，从应用角度来说，用户关心的是它给应用带来的等待 2 绪论 时间、执行时间指标；而从系统角度来说，管理员关注的是它导致系统的吞吐率、 负载均衡等指标。这两方面的指标有时候并不能达到完全一致，这就给网格调度 带来了多种可能性，同时也出现了种类繁多的调度系统。 1 2 研究现状及存在问题 在铁路信息化建设以前，铁路货运物流基本上都是由人工干涉的。货物的装 车卸车、发送到达，是通过人工发电报、手工记账的方式实现。那个时候，如果 要分析铁路运输效益，测算运价调整前后运输收入变化明细，则需要人员从大量 的货票中信息提炼出关键要素，然后根据运价测算的要求进行测算。 自2 0 世纪9 0 年代初，我国接入互联网以来，短短的几年时间，信息化建设 以前所未有的速度大跨步向前迈进。以信息化带动工业化，提高企业的竞争力是 众多企业迎接市场挑战的共识之一。铁路信息化就是在这一潮流中应运而生，它 是一个庞大的信息工程，涉及到铁路的方方面面，只有各方面协同合作，才能够 保证列车的正常运转。在信息化建设过程中，铁路运价测算基本上由计算机来完 成实现，并且由传统的单机计算逐渐向多机协同计算方向发展，使运价测算效率 得到大幅度提高，为铁路节省了大量的人力、物力、财力开支，铁路运输市场一 时间呈现出高效、有序、可控、可测的运行状况。 随着信息技术的发展，网格之光越闪越亮，越亮越闪，网格应用开始从科学 研究实验逐步进入到社会生产的各个实践领域。国内一时间涌现了地质应用网格、 航空制造网格、气象应用网格、科学数据网格、新药发现网格、数字林业网格、 生物信息网格、城市交通信息服务网格、仿真网格和油f f l 地震勘探网格等1 0 多个 应用网格的开发和建设，并且付诸了实际应用，取得了良好的效果，为铁路网格 的研究和应用提供了宝贵的经验。受益于此，目前铁路货运信息系统已经形成了 以铁道部、铁路局为节点，覆盖全国铁路的大型网格信息系统。在这个系统中， 网格发挥其技术优势，合理地利用分布异构的计算能力，准确地挖掘和提炼分散 存储的原始信息资源，及时地处理信息需求，动态地追踪信息的发展趋势，极大 地提高了信息的利用率。主要体现在：一方面，更加及时地掌握铁路货流、车流、 收入情况，实现均衡运输，提高运输指挥水平；另一方面，可以压缩车辆周转时 间，合理利用区段、机车、车辆的能力，综合提高铁路运输效率，缓解铁路运力 资源紧张的矛盾，发挥整体优势，为构建和谐社会提供强有力的运力支撑。因此， 铁路网格既能够充分利用现有的系统资源，又可以进一步发挥平台优势。 目前基于网格的运价测算系统结构如图1 1 所示。在该系统中，各节点都安装 中国国家网格软件，并且按照中国国家网格的要求，各级节点已经注册上相应的 3 北京交通大学硕 论文 信息资源、数据资源、计算资源等。路局节点的虚拟资源全部映射到铁道部节点， 构造全局数据网格视图，从铁道部节点就可以看到整个铁路数据的全貌。全局网 格节点是各路局网格节点数据资源的并集，它的行为是各路局节点的u n i o n 操 作，即o r = 曲。u l r ，uu l r 。( g r 表示全局资源，l r 表示本地资源) 。很 显然，全局网格节点的资源是各路局网格节点资源的映射，访问全局节点就能够 删接地访问到整个系统的资源，而无论这些资源足以什么形式、在什么体系结构 存储、在什么位置分布等，完全隐藏了信息访问的细节操作。 在泼测算系统中，终端用户通过网格门户提变测算任务请求，系统从网格门 户将政请求的测算任务直接传递到全局网格节点。该节点根据测算任务运行所需 要的数据资源，以g o a 掣em a p r c d u c c 嘲分柿式计算模式将各路局数据资源映射到 全局网格节点的临时数据库( t e m pd a t a b a s e ) 中并汇总各路局相应的数据，最后 在该节点上根据这些临时数据测算出运价调整后运输收入的变化结果。 髓 用户 l l = 全局虚拟视图 测算任务 兰p 巨肤刚 路局 虚拟视图 路局 髑1 - 1 运价测算系统结构削 f i g d t e l - i a r c h i t e c t u r e o f l x a n s p o r ip r i c e c m c u l 曲o n s e m 可咀看出，全局网格节点作为个中心节点，运价测算的所有操作都集中到 该节点上进行。然而，首先运价测算是一个计算量非常大的执行过程；再者r 铁 路货运信息系统潜在的业务人员也非常多，系统的访问量大，同一时间或者同一 个时间段里面请求的测算任务也随之增大。我们知道，一个节点的计算能力是非 常有限的，小管该节点的硬件配置多么先进，软件架构多么科学，都不能满足同 时间单人量并发的任务请求测算。这意味着全局网格节点时刻都有可能会出现 计算能力紧张、计算资源不足等情况。可以想苏，如果仅仅依靠一个中心节点负 责测算任务的所有计算的话，大量的任务请求被阻塞在等待队列里，等候系统的 响应处理，造成任务请求的瓶颈甚至会导致整个系统瘫痪没有体现出网格分 布式并行计算、负载均衡的优点。也不能缓解铁路部节点现有计算能力紧张的问 图 图 圈 型端磊删 虚 虚 虚 以一 绪论 题，更不能从根本上减少运价测算的时间。 针对铁路货运系统的现状及存在问题，本论文提出了利用分布的路局网格节 点并行协同处理测算任务，进而解决大规模应用问题的思想。基于网格的铁路运 价测算任务调度研究就是在这样的应用背景下提炼出来的，通过网格技术研究测 算任务描述、分解和调度的计算模型，并且借助并行计算的思想，在网格系统中 探索多节点并行计算、协同处理大任务的计算模式，旨在缩短任务的完成时间和 满足系统的均衡性要求。 1 3 论文的主要工作及结构安排 1 3 i 研究内容和方法 为了寻找上述存在问题的解决方案，同时结合网格技术自身的特点，本文在 应用层对测算任务调度进行深入研究，内容主要包括以下几点： 1 ) 测算任务描述。采用一种简单且有效的方法描述和管理测算任务，以便进 行任务分解、任务调度及结果汇总。 2 ) 测算任务分解。结合运价测算任务的特点，采用一种更为有效的任务分解 算法，将大任务分解成若干子任务，并且存储于任务池中进行统一调度管理。 3 ) 测算任务调度研究。一个运算量巨大的任务能否在网格环境下正确、快速 和高效的运行和运行成功，与高效任务调度密不可分。本论文重点对测算任务调 度进行研究，首先对目前的经典的调度算法进行研究，找出其缺点，然后结合网 格技术以及铁路网格本身的特点，设计一种考虑调度效率和系统均衡的算法。 4 ) 调度容错机制。在铁路网格计算环境中，节点数目众多，相互关系错综复 杂，考虑到互联网通信、带宽、节点的稳定性等各方面因素的影响，一次调度失 败在所难免。因此，需要提供良好的容错机制，确保任务安全地调度到目标节点 并获得其结果。 5 ) 汇总结果。将测算任务分解成若干子任务后，由多个路局节点并行处理， 处理完毕后将各自的测算结果传递到调度器节点进行求和汇总，形成原测算任务 的最终结果。 6 ) 多种算法的性能比较，测算任务调度算法研究的目的是要寻找在某一或某 些测度上更好的调度算法，但是如何评价算法的优劣，需要对算法进行形式化分 析或仿真的网络环境下的模拟比较。在实验环境下，对算法进行模拟，以实验数 据为基础和已有一些算法比较，从实验数据上说明我们提出的算法的优越性。 7 ) 平台的实现。本文最后还通过搭建网格实验平台，以实验手段论证系统的 5 北京交通人学硕士论文 有效性和可行性。 在研究本论文时，主要采取事实描述、比较分析、理论介绍、图例说明、概 念定义、系统开发、代码编写和实验验证等方法相结合，多角度论证分析。 1 3 2 论文的结构安排 本论文的组织结构如下： 第一章首先介绍论文的研究背景，研究现状及存在问题，针对现状及存在问 题提出论文研究的主要内容和方法，最后简要地介绍本论文的结构安排。 第二章介绍网格计算的相关知识、面向w e b 服务的网格体系结构，并以中国 国家网格为重点，分析它的设计思想、体系结构、资源空间和使用模式，以此作 为本论文的平台支撑环境。 第三章分析运价测算任务的特点，使用任务描述语言将测算任务对象化，介 绍并行计算任务分解的原则以及常用的任务分解方法，设计适合测算任务的分解 方法和两级任务池管理机制，在此基础上描述任务分解的系统架构，图示说明任 务分解的执行过程。 第四章定义相关概念，图例讲解调度系统的整体架构，由此引出基本的网格 调度服务，任务调度模型，任务调度的容错机制，具有铁路特色的任务调度算法， 任务调度的执行流程，最后汇总各个子任务的测算处理结果。 第五章建立网格实验环境，通过实例运行结果论证l o a d b a l a n c e 算法的有效 性和可行性。 第六章对文章进行总结并指出将来的研究方向。 6 网格技术 2 网格技术 本章主要介绍了网格技术的基本知识，面向w e b 服务体系结构，并以中科院 中国国家网格作为重点，着重介绍它的设计思想、体系结构、资源空间、网格硬 件、网格操作系统以及使用模式等，为后面章节深入研究奠定了理论基础，并将 它作为本论文实验平台的底层支撑环境。 2 i 网格简介 2 1 1 网格的概念 全球网格研究领军人物、美国a r g o n n e 国家实验室资深科学家、美国g l o b u s 项目的领导人i a nf o s t e r 曾在文献【3 】中这样描述网格：“网格是构筑在互联网上的一 组新型技术，它将高速互联网、高性能计算机、大型数据库、传感器、远程设备 等融为一体，为科技人员和普通老百姓提供更多的资源、功能和交互性。互联网 主要为人们提供电子邮件、网页浏览等通信功能，而网格功能则更多更强，让人 们透明地使用计算、存储等其他资源。 2 0 0 0 年，i 蕊f o s t e r 在网格的剖析【刎 这篇文章中把网格进一步描述为“在动态变化的多个虚拟机构间共享资源和协同 解决问题。一至此，人们仍然就什么是网格而争论不休。2 0 0 2 年7 月，i a nf o s t e r 在什么是网格? 判断是否网格的三个标准【2 3 l 一文中，限定网格必须同时满足 三个条件： 1 ) 在非集中控制的环境中协同使用资源； 2 ) 使用标准的、开放的和通用的协议和接口( i a nf o s t e r 认为目前只有g l o b u s 才算得上标准协议) ； 3 ) 提供非平凡的服务。 这三个条件非常严格，像p 2 p 、s u ng r i de n g i n e 、c o n d o r 、e n t r o p i a 、m u l t i c l u s t e r 等都被排除在网格之外。至此，i a nf o s t e r 已经把他头脑中的网格概念描绘清楚了。 但并不是所有人都同意他的观点，例如，有许多人赞同广义的网格概念，它称作 巨大全球网格g g g ( g r e a tg l o b a lg r i d ) ，它不仅包括计算网格、数据网格、信息 网格、知识网格、商业网格、还包括一些已有的网络计算模式，例如对等计算p 2 p 、 寄生计算等。可以这样认为，i a nf o s t e r 赞成狭义的“网格观 ，而g g g 是一种广 义的“网格观 。清华大学李立三院士将网格与信息高速公路相比较，他说，“将 7 北京交通大学硕士论文 先进计算基础设施( 网格) 与信息高速公路相比较，可以说，信息高速公路是信 息传输和获取的信息基础设施；而先进计算基础设施则是信息处理的信息基础设 施。虽然，国内外都有不断把信息高速公路扩充频带宽度、改进路由器性能的计 划；但是，国外科学家认为：真正的下一代信息基础设施是先进计算基础设施。 它将使以计算机为主体的信息处理发生根本性的变化。 中科院计算所李国杰院士 认为：“网格不同于国外正在搞的i n t e r n e t 或下一代i n t e r n e t ( n g i ) ，网格可以称作 是第三代i n t e m e t ，其主要特点是不仅仅包括计算机和网页，而且包括各种信息资 源，例如数据库、软件以及各种信息获取设备等，它们都连接成一个整体，整个 网络如同一台巨大无比的计算机，向每个用户提供一体化的服务。 不管是狭义还 是广义的网格，其目的不外乎是要利用互联网把分散在不同地理位置的计算机组 织成一台“虚拟的超级计算机 ，实现计算资源、存储资源、数据资源、信息资源、 软件资源、存储资源、通信资源、知识资源、专家资源等的全面共享。其中每一 台参与的计算机就是一个节点，就像摆放在围棋棋盘上的棋子一样，而棋盘上纵 横交错的线条对应于现实世界的网络，所以整个系统就叫做“网格 了。在网格 上做计算，就像下围棋一样，不是单个棋子完成的，而是所有棋子互相配合形成 合力完成的。传统互联网实现了计算机硬件的连通，w e b 实现了网格的连通，而 网格试图实现互联网上所有资源的全面连通，如表2 1 所示。 表2 - 1 网格技术 t a b l e2 - ig r i dt e c h n o l o g y 网格是构建在互联网上的一组新兴思路和技术。i n t e r n e t 的普及和高性能w a n 的发展，使得将分布在不同地理位置的高性能计算机、信息资源聚合在一起，构 成单一无缝的计算、服务环境成为可能。这种可以集中某个地区、国家甚至全球 范围内的计算、信息、知识资源，形成一台虚拟高性能服务器的技术，就是所谓 的网格( g r i d ) 技术。网格技术的目的就是实现动态的多组织之间协同的资源共享 网格技术 和问题的求解，这种共享不仅指文件交换，还包括对计算机、软件、数据和其他 资源的直接访问。网格概念于上个世纪9 0 年代中期提出，到现在已经成为全球计 算机行业发展的焦点，并将其称为下一代i n t e m e t 或第三代i n t e r n e t 。 网格技术的产生、发展必须具备以下三个基本条件：计算资源的广域分布、 网络技术( 特别是i n t e r n e t ) 、资源共享的深度和广度不断增强的需求。在计算机技 术发展的早期阶段，只有很少数量的大型计算机并且集中在相互独立的计算中心 内，多个计算机用户只能使用终端来共享一台大型机的资源，而不能同时使用多 个计算中心的计算资源。随着网络技术的发展，多个大型计算机可以互联在局域 网( l a n ) 内，用户可以通过网络同时使用多个计算机的资源。i n t e m e t w e b 的发 展、计算机的普及使用导致用户对资源产生大量的需求，使得网格计算技术的产 生成为可能。同时，资源共享的深度和广度不断增强，使网格计算技术也不仅局 限在科学计算领域，从而出现了适用于信息网格、知识网格、商业计算网格等不 同应用领域的网格技术。将目前的网格研究和相关的项目，按应用模式分类如图 2 1 所示。 形二 一三咖be 兰 卜硎卜-bmicrosoft岫net 2 1 2 网格的特点 网格计算的核心思想是共享广域分布的各种计算机资源，从而获得超级计算 能力、数据处理能力和信息处理能力。 网格计算的特点是由网格计算的本质决定的，包括分布与共享、自相似性、 9 北京交通大学硕士论文 动态性和多样性、自治性和管理多重性。网格的这种特点决定了对于网格提供的 计算能力，有四个基本要求，即：可靠性、标准化、易访问性和价格低廉的要求。 1 ) 分布与共享 分布性是网格的一个重要的特点。网格的分布性首先指网格的资源是分布的。 组成网格的计算能力不同的计算机，各种类型不同的数据库乃至电子图书馆，以 及其他的各种设备及资源，是分布在地理位置互不相同的多个地方，而不是集中 在一起的。因为网格资源是分布的，所以基于网格的计算一定是分布式计算而不 是集中式计算。在网格这一分布式环境下，需要解决资源和任务的分配和调度问 题，安全传输和通信问题，实时性保障问题，人与系统以及系统与系统之间的交 互问题。网格资源虽然是分布的，但他们却是可以充分共享的。即网格上的任何 资源都可以提供给网格上的任何一个使用者。共享是网格的目的，没有共享就没 有网格，解决分布资源共享问题，是网格的核心问题。 2 ) 自相似性 自相似性在许多自然和社会现象中大量存在，一些复杂系统都具有这种性质， 网格就是这样的一个系统。网格的局部和整体之间存在一定的相似性，局部往往 在某些方面具有全局的特征，而全局的特征在局部也有一定的体现。由于网格的 这种特性，所以网格的管理通常是分层的，其中包括资源管理，安全管理等。 3 ) 动态性和多样性 对网格来说，绝对不能将它看作一成不变的。原来拥有的资源或者功能，在 下- n 有可能出现故障或者不可使用；而原来没有的资源，可能会随着时间的推 移不断地加入进来。网格的动态性即资源的动态加入和退出。网格资源的动态变 化特点要求网格管理必须考虑并解决好这一问题，对于网格中的资源故障或者动 态增减的情况，要求网格能够及时采取措施，实现任务自动迁移，做到对高层用 户透明或者尽量减少损失。网格资源的动态增加需要提高网格的扩展性问题，也 就是说在网格的设计与实现时，必须考虑到新的资源能否自然地加入到网格中来， 并且可以和原来的资源融合在一起，共同发挥作用。网格扩展要求体现在规模、 能力、兼容性等几个方面。网格资源是异构和多样的。在网格环境中可以有不同 体系结构的计算机系统和类别不同的资源，因此网格系统必须能够解决这些不同 结构，不同类别资源的通信和互操作问题。正是异构型和多样性的存在，为网格 软件的设计提出了更大的挑战，只有解决好这些问题，才会使网格具有更多的吸 引力。 4 ) 自治性和管理多重性 网格上的资源，首先是属于某一个组织或者个人的，因此网格资源的拥有者 对该资源具有最高级别的管理权限，网格应该允许资源拥有者对它的资源拥有自 1 0 网格技术 主的管理能力，这就是网格的自主性。但是网格的资源也必须接受网格的统一管 理，否则不同的资源就无法建立相互间的联系，无法实现共享和互操作，无法作 为个整体为更多的用户提供便捷的服务。 2 1 3 网格研究现状 1 ) 国外网格研究现状 目前，网格的研究已经从美国和欧洲推广到了世界各个大洲，各个国家和地 区都投入了大量的资金进行网格技术基础研究和网格基础设施建设。英国政府已 经投入超过1 2 亿英镑，建设英国国家网格；美国政府用于网格技术基础研究经费 已经超过5 亿美元；欧洲联盟也投入了巨资建设欧洲数据网格和欧洲网格：亚洲 的中国、日本、韩国、泰国、马来话亚等国家也开始了网格研发和建设工作。美 国海军陆战部队已启动了一个将耗资1 6 0 亿美元、历时8 年的网格研究项目，包 括系统的研制、建设、维护和升级等多方面的工作。 国外计算网格的典型代表是美国的g l o b u s 项目，是目前国际上最具有影响的 网格计算项目之一。它发起于2 0 世纪9 0 年代，其最初的目的是希望把美国境内 的各个高性能计算中心通过高性能网络连接起来，方便美国的大学和研究机构使 用，提高高性能计算机的使用效率。g l o b u s 项目组认为，大型应用项目应该由许 多组织协同完成，这些组织通过网格计算环境形成一个统一的“虚拟组织，网格 计算环境中的用户、成员和资源可随时加入这种虚拟组织。各个组织拥有的各种 资源都可被虚拟组织中的成员共享，并且各个成员可以方便地协同完成各种分布 式应用。g l o b u s 提出的核心概念是网格服务的思路，其主要的研究目标有两个： 网格技术的研究与相应软件的开发和标准的制定。同时，g l o b u s 项目还涉及到网 格应用的开发以及试验床的建立。研究内容包括资源管理、数据访问、应用开发、 网格安全等。目前全球许多用户利用g l o b u s 工具包创建网格和开发网格应用；信 息动力网格的目标是为国家航空航天局科学研究任务提供持续、可靠的计算动力 源；美国国家技术网格项目的目标是创建一个无缝集成的协同计算环境原型系统； 虚拟实验室项目致力于研究、设计、开发能够帮助解决数据密集的、涉及大规模 计算的分子生物学问题的网格技术；天体物理仿真合作实验室项目的主要目标是 利用c a c t u s 和g l o b u s 网格计算的研究成果为高级可视化交互以及元计算提供大规 模并行计算能力，实现在相对论天体物理学领域的大规模仿真；国际虚拟数据网 格实验室项目由欧盟的数据网格( d a t ag r i d ) 、美国的网格物理网络( g r i dp h y s i c s n e t w o r k ) 和粒子物理数据网格( p a r t i c l ep h y s i c sd a t ag r i d ) 协作创建。 欧洲的网格论坛也在开展网格计算方面的研究。目前已经出现了不少在一定 北京交通大学硕十论文 程度上支持网格计算的系统，比较具有代表性的网格有l e g i o n ，n e t s o l v e ，c o n d o r 等。英国的e s c i e n c e 计划开始于2 0 0 1 年，主要解决大规模科学计算、数据可视化、 信息资源共享等问题，提供端到端的计算、数据和信息服务。这是一个比较庞大 的网格计划，包含着很多的子项目，其中英国网格操作支持中心是一个虚拟的管 理机构，负责支持网格计划的正常执行，其核心是构建英国的国家网格。 国外的各种网格系统都有一个重要的特点，即投入资金特别巨大。随着网格 研究在学术界的加速，国外信息产业界的大公司也相继公布了与网格目标一致的 研究开发计划。i b m 、m i c r o s o f t 、s u n 、h p 、p l a t f o r m 等公司都相继启动了自己的 网格研究和开发计划。 2 ) 国内网格研究现状 我国对网格计算研究的相关工作开始于1 9 9 5 年左右。与国外同行可以说基本 处在相同的起跑线上。同时，国内计算机界已经认识到网格计算研究的重要性， 并开始投入大量的人力物力进行相关的研究和开发工作。 我国网格计算研究主要集中于中科院计算所、国防科大、江南计算所和清华 大学等几家在高性能计算方面有较强实力的研究单位，这些单位在高性能计算研 究方面有很好的技术积累和很强的科研能力。从1 9 9 9 年底到2 0 0 1 年初，中科院 计算所联合上述等十几家科研单位，共同承担了国家“8 6 3 高科技发展计划重点 项目国家高性能计算环境( n a t i o n a lh i g hp e r f o r m a n c ec o m p u t i n ge n v i r o n m e n t ，简 称n h p c e ) 的研发任务，建立了一个计算资源广域分布、支持异构特性的计算网 格示范系统，将我国的8 个高性能计算中心通过i n t e m e t 连接起来，进行统一的资 源管理、任务管理和用户管理，并在此基础上开发了多个需要高性能计算能力的 网格应用系统，取得了一系列的研究成果。 2 0 0 3 年启动的国家“8 6 3 ”高科技发展计划网格软件专项，旨在建立面向企业、 高等院校、科研机构、政府部门的国家高性能计算环境，主要任务包括建设中国 国家网格试验床；建立具有4 万亿次以上计算能力的网格主节点；支持网格应用 以及维护网格系统运行的网格软件；开发具有代表性的网格生产性应用。主节点 采用自行研制的、面向网格的高性能计算机，若干工业、服务业、科学研究以及 资源环境领域的网格应用投入运行，实现资源共享、协同工作。 中国国家网格研究总体思路上采用计算机系统的研究方法【37 1 ，研究层次涉及 硬件层面、系统软件层面、语言和界面、应用网格四个层次，图2 2 给出了微机、 网格、中国国家网格之间的对比。 在硬件层面的研究包括：面向网格的高性能计算机曙光4 0 0 0 、网格路由器、 面向网络的蓝鲸存储系统、基于龙芯处理器的网络平台；系统层面的研究包括： 中国国家网格