（计算机应用技术专业论文）网格环境下qos技术研究.pdf

南京邮电学院硕士学位论文 摘要 网格作为一种建立在互联网之上的新一代基础设施，在国内外的 学术界和工业界都引起了广泛的关注。国外的网格计算研究最早从 2 0 世纪9 0 年代初开始，而国内大概在2 0 0 0 年左右才开始这方面的 研究。 本丈主要对网格下的q o s 体系结构、调度模型和算法进行了研 究。给出了与安全相关联的网格q o s 体系结构。由于网格环境中的 资源和服务都是动态变化的，本文同时给出了一种基于分级的网格调 度模型，采用这种分级的q o s 调度能够适应这种动态的环境，及时 地发现这些变化并对它们作出正确的反应。本文对模型中使用的接纳 控制、服务分级、资源过滤和资源选择等算法进行了研究和修改。最 后设计了模拟实验对算法进行了验证，给出了模拟实验的结果，并就 模型采用的算法与其他二 些常见算法进行了分析比较，以便从理论和 实验两个方面分析模型中采用的算 法j 生能。 南京邮电学院硕士学位论文 a b s t r a c t a san e wg e n e r a t i o ni n f r a s t r u c t u r eb u i l to nt h ei n t e r n e t ，t h eg r i dh a s b r o u g h tw i d ea t t e n t i o ni nb o t hf o r e i g na n dd o m e s t i ca c a d e m i aa n d i n d u s t r y t h ee a r l i e s tf o r e i g nr e s e a r c ho ng r i dc o m p u t i n gb e g a ni nt h e e a r l y 19 9 0 s ，w h i l et h ed o m e s t i cr e s e a r c ho ng r i dc o m p u t i n gp r o b a b l y b e g a ni nt h ey e a ro f 2 0 0 0o rs o t h i st h e s i sm a i n l yf o c u so nq o sa r c h i t e c t u r e 、s c h e d u l i n gm o d e la n d a l g o r i t h m s i ng r i d c o m p u t i n g e n v i r o n m e n t i t p r o v i d e s a q o s a r c h i t e c t u r ea s s o c i a t e dw i t hs e c u r i t yf o rg r i d b e c a u s er e s o u r c e sa n d s e r v i c e si ng r i de n v i r o n m e n ta r ec h a n g e dd y n a m i c l y , t h i st h e s i sp r o v i d e s a l s oac l a s s i f i e dg r i dq o ss c h e d u l i n gm o d e la d a p t e dt o t h i sd y n a m i c e n v i r o n m e n t i nt h i sm o d e l ，t h e s ec h a n g e sc a nb ef o u n di nt i m ea n dg e t p r o p e rr e s p o n s e s - t h et h e s i sa l s od i s c u s s e sa n dm o d i f i e ss o m ea l g o r i t h m s i na d m i s s i o nc o n t r o l 、s e r v i c ec l a s s i f i c a t i o n 、r e s o u r c ef i l t e ra n dr e s o u r c e s e l e c t i o ni nt h em o d e l f i n a l l y , s i m u l a t i o ne x p e r i m e n t sa r ed e s i g n e dt o v e r i f yt h e s ea l g o r i t h m s ，a n dt h er e s u l t so ft h es i m u l a t i o ne x p e r i m e n t sa r e g i v e n i tc o m p a r e st h e2 i l g o r i t h mi ng r i dq o sa r c h i t e c t u r ew i t ho t h e r o r d i n a r ya l g o r i t h m ss oa st oa n a l y z et h ep e r f o m a n c eo fa l g o r i t h mf r o m t h et h e o r e t i c a la n de x p e r i m e n t a la s p e c t s 南京邮电学院 硕士学位论文摘要 学科、专业：工学计算机应用技术 研究方向：计算机通信与网间互连技术 作 者：二丝级研究生陈炎指导教师扬鏖 题目：网格环境下q o s 技术研究 英文题目：t h er e s e a r c ho nq o st e c h n o l o g yi ng r i de n v i r o n m e n t 主题词：网格服务质量 g l o b u s q o s 体系结构分级 调度模型 k e y w o r d s ：g , n dq o s g l o b u s q o sa r c h i t e c t u r e c l a s s i f i c a t i o n s c h e d u l i n gm o d e l 基金项目：江苏省自然科学基金项目“计算网格安全策略实 现模型研究”( b k 2 0 0 4 2 1 8 ) 江苏省青蓝工程项目“信息网格安全层次模型及 信任代理技术研究” 南京邮电学院学位论文独创性声明 v7 6 5 2 0 9 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电学院或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：日期： 南京邮电学院学位论文使用授权声明 南京邮电学院、中国科学技术信息研究所、国家图书馆有权保留 本入所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电学院研究生部办理。 研究生签名：导师签名： 日期； 南京邮电学院硕士学位论文 引言 网格的诞生实现了数据通讯和资源共享，越来越多的计算机专家认为，网络 的下一次浪潮是“网格”。美国的福布斯杂志的科技版( ( f o r b e sa s a p ) ) 在 2 0 0 1 年9 月1 0 日发表了一组文章，预测信息技术的下一波大浪潮将在2 0 0 4 - 2 0 0 5 年度出现，这一波浪潮的本质特征就是互联网( w o r l dw i d ew e b ) 升级为网格 ( g r e a tg l o b a lg r i d ) 。在福布斯这种观点发布不久，中国从事网格研究的专 家也预测说：网格实际上是继传统互联网、w e b 之后的第三个大浪潮，可以称之 为第三代互联网。 在国内，我国对网格计算的研究起步较晚，相关工作开始于1 9 9 8 年。出于 网格计算是一项刚起步的研究。因此我国在网格计算关键技术的研究方面与国外 差距不大，基本处于相同的起跑线上。目前，我国的网格计算研究已经开展的相 当广泛，得到了越来越多的关注，研究机构中包括了许多在高性能计算方面有较 强实力的科研单位。 q o s ( q u a l i t yo f s e r v i c e ) 指的是能够提供持续的、可预测的数据提交服务， 满足用户需求。q o s 要求应用、主机、网关等互相协调，网络各层自上而下以及 从发送方到接收方沿途每个网络元素都有质量保证机制。目前，计算机网络的 q o s 问题已经成为国际网格研究领域公认的最重要、最富有魅力的研究领域之 一，并且被称为下一代计算机网络为数不多的最重要的研究领域之一。随着网格 计算的逐步发展，网格计算申的q o s 也被认为是一个重要的研究领域。 本论文对网格环境下的q o s 技术进行了较为深入的研究。首先介绍了网格 的发展情况、内涵、特点和体系结构；其次介绍t n 务质量技术的原理、体系结 构和两种服务质量模型：再次给出了网格环境下q o s 体系结构和基于分级的q o s 调度模型的实现方案：最后，在局域网环境中构建的计算环境下对模型中采用的 算法进行了实验、分析和讨论。 南京邮电学院硕士学位论文 第一章网格计算和q o s 的发展和现状 1 1 研究的动机和意义 1 1 1 网格的国际发展过程 八十年代，信息技术得到快速发展，出现了第一波大潮，主要表现在p c 和 局域网的普及使用。【”与此对应，出现了区别于原来大型机单层模式的胖客户 服务器计算模式，将大量业务逻辑迁移到客户端运行，并逐渐成为主流。九十年 代，随着因特网上以万维网技术为基础的商业应用的大规模普及和分布计算技术 的成熟，出现了信息技术的第二波大潮，中阀件技术得到广泛应用，胖客户服 务器计算模式逐渐向瘦客户服务器或零客户的浏览器服务器计算模式过渡， 业务逻辑则迁移到中间件中运行。 然而，无论客户服务器两层计算模式还是浏览器服务器多层计算模式， 其共同特性都是服务器仍然必须分布在局域网中。【1 1 现有的分布计算环境往往要 求服务器位置相对固定，网络连接基本稳定，服务资源开放且容易获得，整个环 境采用统一的管理策略，即是一个自治系统。这些要求限制了整个环境的计算能 力，因为每次计算只能使用单一组织的有限资源。由于计算能力不足，现有的分 布计算环境对于许多应用类型，例如巨大挑战问题，往往难以支持。当前解决此 问题的方法有两种，一是在传统的分布计算环境中配备大量固定的计算资源，但 其成本非常高，对大多数应用而言不值得；i 是外包给配置有这些昂贵计算资源 的高性能计算中心进行，但这毕竟很不方便。 目前，信息产业在全球处于低潮，媒体将世界信息产业界2 0 0 0 年开始的这 一波疲软称之为“因特网泡沫破灭”。然而，在美国和欧洲，越来越多的计算机 研究人员、企业和风险投资者拒绝接受这一观点。相反，他们认为目前的低迷实 际上是计算机工业下一个黄金时代的起点，信息产业的第三次浪潮正在孕育中， 以克服目前的分布计算技术的局限性。 第三次浪潮试图克服目前的分布计算技术要求服务资源必须来自于单一组 织的约束，以实现因特网上所有资源的全面联通，包括计算资源、存储资源、通 信资源、软件资源、信息资源、知识资源等等，最终实现网络虚拟环境中的资源 共享和协同工作，消除信息孤岛和资源孤岛。换句话说，相应的分布计算环境不 南京邮电学院硕士学位论文 再要求各种服务资源位于单一组织拥有和管理的同一个自治系统中，参加协作计 算的各方构成一个虚拟组织，可以使用跨越多个自治系统的资源，协同完成工作。 虚拟组织需要的是一个非常富有弹性的共享关系。共享的时间、共享的权限、资 源的数量都会不断地发生变化。而现有的技术，要么在共享配置的灵活性上，要 么在共享资源种类上不能完全满足虚拟组织的需要。 区别于现有的分布计算技术，支持上述虚拟组织的分布计算技术称为网格计 算技术，即分布计算涉及的资源可以跨越大至整个因特网的广域网范围，这些资 源可能分别属于不同的自治系统。网格计算技术的产生和发展必须具备以下三个 基本条件：计算资源的广域分布，网络技术( 特别是因特网技术) 的发展以及不 断增长的对资源共享的需求。目前，因特网技术的飞速发展和普及使得这三个条 件已基本具备，从而使得对网格计算技术的研究成为目前信息技术研究领域中最 重要的课题之一。不仅全球的学术界已开始进行大量相关的研究，最近各国政府 和企业界也已开始介入，以推动网格计算技术普及，进而大规模商用。美国福 布斯杂志的科技版( ( f o r b e sa s a p ) ) 曾在9 1 1 恐怖袭击事件的前一天发表一组 文章，在分析计算机技术的历史和近几年的发展趋势后指出“信息技术的下一波 大浪潮将在2 0 0 4 - 2 0 0 5 年度出现。这个大浪潮将极大地改变我们的工作和生活， 到2 0 2 0 年，由此产生的因特网将成长为一个2 0 万亿美元产值的大工业。” 因此，对网格计算技术进行深入而广泛的探索，无论从技术本身或应用价值 方面都有非常重要的意义。【2 j 首先，在技术方面，服务资源动态分布在多个异质 的自治系统中的网格计算对于现有单一、静态的分布计算环境是一种挑战，其对 动态性、异质性、可伸缩性、多管理域和安全性等的需求将引发若干亟待解决的 新问题。其次，如前所述，研究的相应成果具有最终转化为巨大商业价值的潜力， 可以极大地提高资源利用率，解决许多以现有技术无法解决的问题或无法支持的 应用。 1 1 2 网格的中国发展过程 2 0 0 2 年4 月4 日至5 日，国家科技部在北京召开了“网格战略研讨会”，科 技部马颂德副部长在开幕辞中说：“当前全世界正在兴起的有关计算网格的研究 越来越清楚地使我们感受到。一种信息社会的新的基础设施正在出现。这种新的 基础设施不仅仅可能带来信息资源的获取、分布、传输和有效利用的革命性的、 南京邮电学院硕士学位论文 结构性的巨大变化，而且将根本改变我们的研究方式、教育方式、生活方式和生 产活动的方式。”【3 1 我国的科学研究、国民经济和社会发展也已经对网格技术提出了很大需求， 只是使用了不同的术语。比如，在银行界叫“业务集中”，航空、船舶、汽车行 业叫“广域虚拟设计环境”，资源环境领域口q “单一数据源”，电子商务和电子政 务中则称为“资源共享”与“协同工作”。这些行业都感到目前的互联网技术已 不够用，它们需要新的技术，那就是网格技术。 总之，网格是2 1 世纪信息技术重要的基础设施，对我国的“信息化带动工 业化”、对经济和社会的可持续发展、对提升我国的技术水平都将产生深远的影 响。而服务质量是诸如大规模科学计算、海量数据处理、多媒体应用等网格应用 得以成功的一个保证。因此，本文的研究具有一定的理论价值和应用前景。 1 2 网格和q o s 的研究现状 1 2 1 网格计算的研究现状 作为一种新技术，目前网格的精确含义和内容尚未固定，而是在不断变化， 研究人员对网格研究重点和内容的认识也不尽相同。前述的网格计算概念来源于 美国联邦政府过去十年来资助的高性能计算项目，可称为“正统”的网格计算。 然而，在最近几年中，随着网格计算技术的迅猛发展，其外延已大大延伸，从高 性能计算领域逐渐扩展到商业应用领域，目前已呈现出与万维网服务和对等计算 技术相融合的发展趋势。因此，本文以下部分讨论网格计算时，若未特别说明， 均指广义的网格计算，包括元计算、正统的网格计算、对等计算和万维网服务等， 其共性是资源的共享与协同计算，相应的网格通常称为g g g ( g r e a tg l o b a l g r i d ) 。 从应用领域而言，网格可分为计算网格、数据网格、信息网格和知识网格等 不同类型；也有人把网格看成是未来因特网技术，称之为“下代因特网”， “t n t e r n e t 2 ”，“下一代w e b ”等：还有一类研究的侧重点是智能信息处理，它关 注的是如何消除信息孤岛和知识孤岛，实现信息资源和知识资源的智能共享，常 见的名词包括语义网( s e m a n t i cw e b ) 、知识管理( k n o w l e d g em a n a g e m e n t ) 、知 识本体( o n t o l o g y ) 、智能主体( a g e n t s ) 、一体化智能平台等：企业界的研究则 大多集中在尽量利用现有的i n t e m e t w e b 技术，将因特网上的资源整合成一台 4 南京邮电学院硕士学位论文 超级服务器，以便有效地提供内容服务、计算服务、存储服务、交易服务等，内 容分发( c o m e n t sd e l i v e r y ) 、服务分发( s e r v i c ed e l i v e r y ) 、电子服务( e s e r v i c e ) 和实时企业计算( r e a l t i m ee n t e r p r i s ec o m p u t i n g ，简称r t e c ) 等名词都属于 这一范围。例 1 2 1 1 国外研究现状 在国外，目前网格计算的研究主要集中在美国和欧洲，亚洲的日本和印度也 已经启动了大型网格研究计划。 国外的网格研究项目主要有：一些通用目的网格技术研究和项目有p a c i ( 包 括n c s a 和n p a c i 两个部分) ，n t g ，s t a r t a p ，i g r i d ，d t f ，i p g ，a s c ig r i d ， g i g ，d a t ag r i d ，a c c e s sg r i d ，c o n d o r ，e c o g r i d ，g l o b u s ，l e g i o n ，n m i 计划， s i n r g ，p o l d e r ，m o l ；一些网格应用和库有a p p l e s ，c a c t u s 计算工具包， c a v e r n s o n ，g r a d s 网格应用开发软件，网格协作门户，n e o s ，n e t s o l v e ： 还有一些商业界在网格计算方面的努力，包括p 2 p 工作组，a v a k i ，e n t r o p i a 。亚 洲的网格研究还有项目有日本的n i n f ，印度的i - g r i d 。 关于网格论坛，在欧洲网格论坛e g f ( e u r o p e a ng r i df o m m ) ；更大的论坛 还有全球网格论妖g g f ( g l o b a lg r i df o r u m ) 。 在国外，最著名的网格研究项目是美国衄g o n n e 国家实验室的g l o b u s 项目， g l o b u s 已经被北美、欧洲、亚洲的上百家公司和政府研究计划采用，业界人士 认为g l o b u s 已经成为网格计算的事实上的工业标准。【3 l 目前的应用网格主要有以下几种：美国科学网格( d o es c i e n c eg r i d ) 、远程 分布式计算与通信( d i s t a n c ea n dd i s t r i b u t e dc o m p u t i n ga n dc o m m u n i c a t i o n ， d i s c o m 2 ) 和地球系统网格( e a r t hs y s t e mg r i di i ，e s g ) 、t e r a g r i d 和国家地震 工程仿真网格( n e t w o r kf o re a r t h q u a k ee n g i n e e r i n gs i m u l a t i o ng r i d ，n e e sg r i d ) 、 c r o s s g r i d 、天体物理虚拟天文台( a s t r o n o m i c a lv i r t u a lo b s e r v a t o r v ，a v o ) 、英 幽国家格网( u k n a t i o n a lg r i d ) 、德国的计算资源统接口项i = ：_ j ( u n i f o r m i n t e r f a c et oc o m p u t i n gr e s o u r c e s ，u n i c o r e ) 、亚太地区格网( a p g r i d ) 。 1 2 1 2 国内研究现状 在国内，我国对网格计算的研究起步较晚，相关工作开始于1 9 9 8 年。由于 网格计算是一项刚起步的研究。因此我国在网格计算关键技术的研究方面与国外 南京邮电学院硕士学位论文 差距不大，基本处于相同的起跑线上。目前，我国的网格计算研究主要集中于中 科院计算所、国防科大、江南计算所、清华大学、南京大学、东南大学等几家在 高性能计算方面有较强实力的科研单位。【3 1 国内的网格研究项目主要有：由中科院牵头的“国家高性能计算环境n h p c e ( n a t i o n a lh i g hp e r f o r m a n c ec o m p u t i n ge n v i r o n m e n t ) ”、由清华大学牵头并由教 育部支持的“先进计算基础设施a c i ( a d v a n c e dc o m p u t a t i o n a li n f r a s t r u c t u r e ) 北 京上海试点工程”、8 6 3 信息领域的高性能计算机及其核心软件专项、中科院计 算所的“织女星网格( v e g a g r i d ) ”，此外，全国还有几十所大学和研究机构已经 开展各种网格研究。 1 2 2 服务质量的研究现状 1 2 2 1 国外研究现状 在网格的服务质量研究中，国外的研究工作主要是在g l o b u s 项目的g a r a 之上来研究网格的q o s 问题。h 】 g a r a ( g l o b u sa r c h i t e c t u r ef o rr e s e r v a t i o na n da l l o c a t i o n ) 是在g l o b u st o o l k i t 的技术和概念之上发展起来的，它是一种实现端到端的服务质量保证的资源管理 体系结构。此外，国外还提出g a r a 的许多改进，如：在g a r a 中支持提前预 约和协同分配、在g a r a 中结合资源预约和应用自适应、在g a r a 中支持集成 服务( i n t s e r v ) 、在g a r a 中集成区分服务( d i f f s e r v ) 。 1 2 2 2 国内研究现状 随着国内各个研究组对于网格研究的深入，提出了许多网格q o s 的体系结 构，如g r a m - q o s 等，对于q o s 的研究和发展提出了各自的看法。同时也有相 当多的研究工作围绕i p 协议栈中的q o s 保证机制在网格中的应用来展开。 1 3 课题背景和论文工作 1 3 1 项目背景 本论文的主要工作是在江苏省自然科学基金项目“计算网格安全策略实现模 型研究”( b k 2 0 0 4 2 1 8 ) 和江苏省青蓝工程项目“信息网格安全层次模型及信任 代理技术研究”的支持下，对网格计算技术进行的研究。经过本课题组系统分析， 并总结国内外本领域最新、最实用的研究成果，并考虑课题组及课题组所在单位 6 南京邮电学院硕士学位论文 在网格、分布式计算和信息安全领域相关技术的长期以来的行业背景和科研优 势，对本项目相关的关键理论、技术进行了深入研究并给出完整的解决方案。本 项目共分为以下四个相互关联的子项目：基于场景的网格安全需求分析研究、网 格安全模型研究、网格安全策略分析研究和网格安全系统实现。 1 3 2 本文工作 鉴于网格计算相关的基础技术涉及的范围较为广泛，本文侧重研究其中较为 重要而目前尚未得到足够重视的q o s 问题，具体研究的问题和相应主要工作如 下： 1 、给出一种和安全相结合的网格q o s 体系结构。 2 、在此体系结构之内，对于网格环境内的虚拟组织域内域外的资源管理和 任务调度流程和模型进行了研究。 3 、给出了一种基于分级的网格调度模型。 4 、对于该模型中使用的接纳控制、资源过滤、任务分类和资源选择等算法 进行了研究和性能分析。 1 4 本文的组织结构 本文共分六章，具体组织结构如下： 第一章绪论，包括论文的研究背景、研究的目的意义、国内外的研究现状、 本文的主要工作、本文的组织结构等。 第二章介绍网格的基本概念和基础知识、包括网格内涵、网格需求、网格特 点等；介绍网格的整体框架结构，包括五层沙漏结构、开放网格服务体系结构等 内容。 第三章介绍服务质量技术，包括服务质量体系结构、服务质量模型等内容。 第四章介绍网格q o s 体系结构，包括对网格q o s 体系结构相关要素的分析 和从三种不同角度来划分的g r i dq o s 体系结构。 第五章介绍基于分级的网格调度模型，着重介绍了网格调度中心和任务调度 流程。 第六章介绍该调度模型中使用的平台、算法以及仿真的结果和性能分析。 南京邮电学院硕士学位论文 第二章网格计算技术概述 2 1 概述 网格一词最早出现在2 0 世纪9 0 年代中期，而网格计算的概念在1 9 9 5 年的 i w a y 项目中别提出。网格概念是在问题和应月的推动下不断发展的、丰富和 完善的。 网格计算一开始更多地被称为元计算，目前最著名的网格计算工具g l o b u s 在一开始被称为元计算工具包。可以认为过去对元计算地研究是网格计算的初始 阶段。还有一些和网格计算相关的概念是分布式计算( d i s t r i b u t e dc o m p u t i n g ) 、 对等式计算( p e e r t o p e e rc o m p u t i n g ) 、因特网计算( i n t e m e tc o m p u t i n g ) 、全球计 算( g l o b a lc o m p u t i n g ) 、无缝的可扩展计算( s e a m l e s ss c a l a b l ec o m p u t i n g ) 、基于 w e b 的并行计算( w e b b a s e dp a r a l l e dc o m p u t i n g ) 等。由于对网格以及网格计算 本身还没有公认的定义，比如g g f ( g l o b a lg r i df o r u m ) 认为网格计算就是分布 式计算，对等式计算是工业界对网格计算的另外一种叫法，况且网格和网格计算 本身还在发展之中，因此我们并不去仔细区分这些概念的严格界限，而统称为相 关研究领域。 到目前为止，网格的发展基本上可以划分为以下几个阶段： 萌芽阶段：在2 0 世纪9 0 年代早期，主要是千兆网的测试床，以及一些 元计算的实验。 早期实验阶段：在2 0 世纪9 0 年代中期到晚期，比如i w a y 项目，还 包括一些学术性的软件项目，比如g l o b u s 、l e g i o n ，还有一些应用实验。 迅速发展阶段：2 0 0 2 年以来，出现了大量的网格计算项目，而且工业界 对这一领域也产生了浓厚的兴趣，比如i b m 、p l a t f o r m 、m i c r o s o f t 、s u n 、 c o m p a q 等重要的公司。 2 2 网格的内涵 什么是网格? 下面从基本的概念定义开始，结合网格所希望达到的目的，对 网格应该满足的要求、网格的意义以及目前关于网格概念的各种争议等各个方面 对网格内涵进行论述。 1 l 南京邮电学院硕士学位论文 2 2 1 网格的概念 什么是网格? 网格就是一个集成的计算与资源环境，或者说是一个计算资源 池。网格能够充分吸纳各种计算资源，并将它们转换成一种随处可得的、可靠的、 标准的同时还是经济的计算能力。除了各种类型的计算机，这里的计算资源还包 括网络通信能力、数据资料、仪器设备甚至是人等各种相关的资源。 什么是网格计算? 基于网格的问题求解就是网格计算。 这里给出的网格和网格计算的概念是相对抽象的，而且是广义的定义，其实 网格计算还有狭义的定义。狭义网格定义中的网格资源主要是指分布的计算机资 源，而网格计算就是将分布的计算机组织起来协同解决复杂的科学与工程计算问 题。狭义的网格一般被称为计算网格( c o m p u t a t i o n a lg r i d ) ，即主要用于解决科 学与工程计算问题的网格。1 2 j 根据求解问题的特点，人们又提出了多种名称的网格，比如以数据密集型问 题的处理为核心的数据网格，以解决科学问题为核心的科学网格，以全球地球系 统模型问题求解为主要目的的地球系统网格等等。此外，还有地震网格、军事网 格、n a s a ( n a t i o n a la e r o n a u t i c sa n ds p a c ea d m i n i s t r a t i o n ) 的i p g 等行业网格。 那种认为网格就是仅仅通过网络把计算机、人、仪器、数据等连接起来的观 点是过时的，它过分强调了物理的网格和离散的网格资源，而没有将它们作为一 个有机的统一整体来看待。另外一种观点就是把网格看做是中间件系统，这种观 点也是不全面的。中间件的确在网格中占有很重要的地位，但是网格决不仅仅只 是中间件。这两种观点都存在一定的片面性，只有将两者结合起来才是完整的网 格系统a 物理资源本身和对资源的管理与逻辑上的抽象都是十分重要的，而且两 者也是密不可分的，它们是网格环境的两大核心组成元素，如图2 1 所示： 图2 - 1 网格环境组成图 南京邮屯学院硕士学位论文 2 2 2 网格的目的 网格是借鉴电力网( e l e c t r i cp o w e rg r i d ) 的概念提出来的，网格的最终目的 是希望用户在使用网格计算能力时，就如同现在使用电力一样方便。我们在使用 电力时，不需要知道它是从哪个发电站输送出来的，也不需要知道该电力是通过 什么样的发电站产生的，不管是水力发电，还是通过核电站发电，我们使用的是 一种统一形式的“电能”，网格也希望给最终的使用者提供的是与地理位置无关、 与具体的计算设施无关的通用的计算( 广义的计算、可理解为问题求解) 能力。 网格和电力网都有各自资源的消费者和资源提供者。对于电力网来说，资源 提供者就是发电站，对于网格来说，资源提供者是计算机等；对于电力网来说， 资源消费者就是各种消耗电能的设备，对于网格来说，资源消费者就是使用网格 计算能力求解问题的用户。不管是电力网还是网格，都有范围广泛、组成资源多 样的特点。正如同电力网中需要有大量的变电站等设施对电力网进行调控一样， 网格中也需要大量的管理结点来维护网格的正常运行。与电力网相比，网格的结 构更复杂，需要解决的问题也更多，但是它也会给我们带来更大的便利和帮助。 2 2 3 网格的基本要求 对于网格提供的计算能力，有四个基本的要求，分别是；可靠性要求、标准 化要求、易访问性要求和费用低廉性要求。【2 】 网格的可靠性是指网格提供的计算能力必须保证是持续、稳定和安全的，不 应该因为网格内部个别资源的变化而对网格应用造成影响，即网格内部局部资源 的变动对网格应用应该是透明的。网格应该能够保证提供持续、稳定的计算能力。 网格还应该满足各种形式的安全要求，比如数据传输的加密、权限的认证、避免 非法入侵和非法使用等，如果没有安全性保障，这种先进的计算服务就不能得到 广泛应用。 网格的标准化一方面是指网格资源之间应该有一个统一的可以相互访问的 接口或者协议标准，因为只有这样才能够实现网格资源的相互操作，从而实现充 分的资源共享，标准化是共享的前提；另一方面是指网格对用户提供的计算能力 应该满足一定的标准，有一种比较统一的形式，从而便于以一种统一的方式进行 访问，对于访问者来说，不能因为时间、地点、具体的访问系统等的不同而要求 它不断的改变访问形式，访问形式应该有一致性，当然一致性的前提是网格必须 南京邮电学院硕士学位论文 提供给用户一个相对稳定的标准化接口。 网格的易访问性是指用户可以在任何时间、任何地点，以自己习惯的统一的 形式访问和使用各种网格资源。网格计算能力可以通过网格系统输送到任何角 落，随处可得。换句话说，在网格上没有资源处于任何位置的概念，只有“在网 格上”或者“不在网格上”的区别，无论你在什么地方，网格资源都在你的旁边。 在网格上解决问题时，不应该因为访问者或者资源所在地位置不同而受到限制。 网格的费用低廉性是网格能够普遍接受和推广的前提。不管网格有多少优 点，如果大多数的使用者无法承受其费用，网格就不可能被普及，它的各种优势 也就根本无法得到体现。网格技术通过将资源充分共享，最大限度地发挥资源的 使用价值，不仅可以将原来闲置和浪费的资源收集起来供网格用户使用，而且可 以避免以前由于地理位置限制所带来的各种额外开销，显然网格对使用者存在着 很大的降低开销的潜力。 上述四项要求是网格需要解决的问题，也是网格技术发挥作用的地方。网格 作为一种新型而重要的基础设施，不是一夜之间就能够奇迹般地突然出现的，需 要各个方面联合起来，共同努力才可以实现。 2 2 4 网格的意义 网格概念的提出将从根本上改变人们对“计算”的看法，因为网格提供的是 与以往根本不同的计算方式jr a n d yb r a m l e y 认为网格提供的计算能力是以前所 无法得到的，而且也是不能够通过其他的方式得到的。网格概念的核心就是突破 了以往强加在计算资源之上的种种限制，使人们可以以一种全新的、更自由、更 方便的方式使用计算资源，解决更复杂的问题。 首先是计算能力大小的限制。以前大部分的用户无法得到足够的计算能力， n 止l i l 。多问题的解决是不能够通过计算或者是不能完全靠计算来实现的，对模型 以及算法的化简是最常见的近似方法。而网格所提供的计算能力要远远超过我们 以前所能够想象的程度，对于大多数用户来说，网格提供给他们的计算能力足以 满足其计算需求，在这种计算能力的支持下，人们可以做许多以前无法想象和无 法完成的工作。 其次是地理位置的限制。计算资源是分布在各处的，有些资源是稀缺或不可 复制的，有些资源甚至是无法和特定的地理位置分开的，因此要使用这些资源， 南京邮电学院硕士学位论文 在以前许多情况下必须到相应的地方去，这在很大程度上限制了这些资源的使 用。而网格把“到资源所在地”对资源进行使用的限制打破了，对资源的使用和 使用者所在的位置无关。突破了在使用资源时对位置的限制，是网格具有突出意 义的功能。 最后也是非常重要的一点就是网格打破了传统的共享或协作方面的限制。以 前对资源的共享往往停留在数据文件传输的层次，而网格资源的共享允许直接控 制其他资源，而且共享资源的各方在协作时可以以多种方式更广泛地交流信息， 充分利用网格提供的各种功能。网格使得共享和协作的方式和方法更广泛了，而 且为这种合作提供了各种控制策略和手段，可以根据需要，动态地与不同的组织 或个人建立各种级别的工作关系。 过去人们往往很自然地把计算资源和特定的、有形的计算机等联系起来，而 网格就是在剥去了各种具体的计算资源外在的“形”的基础上，将其内在的“神” 即计算能力抽取出来，形成一种分布在网上的抽象的计算能力，在实现了“形” 和“神”分离的同时，将原来有形的、专用的计算能力转化为一种无形的、更通 用的计算能力，正如同电力网将具体的各种类型的发电机发出的电力转化为一种 我们认为根本没有什么差别的统一的电力一样。 这种观念和使用方式上的改变，是由网格技术支持的，不是凭空产生的。就 如同互联网改变了人们传统的通信方式和通信手段一样，网格将改变人们传统的 计算方式和计算手段，为人们提供更强大、更方便、更高级的问题求解手段。 2 3 网格的应用领域 需要网格的原因，还在于网格可以有非常广泛的应用领域。一旦建立起了网 格，就可以开展许多以前无法进行的工作和研究。 在科学计算领域，网格可以在如下几个方面得到应用： 分柿式超级计算：这和以前的高性能计算的作用非常相似，不同的是以 前的高性能计算大多是集中式的，主要靠一个地方的高性能计算机完成 计算任务。目前遇到的许多科学与工程计算问题是无法在任何一台超级 计算机上解决的，因此需要更多的超级计算机一起来完成，网格可以把 分布式的超级计算机集中起来，协同解决复杂的大规模问题。从几种计 算到分布计算，是网格功能的重要体现。 南京邮电学院硕士学位论文 高吞吐率计算：高吞吐率计算和高性能( 超级) 计算的侧重点是不同的， 高性能计算关心的是每秒能够完成的计算量、度量的时间单位比较大。 之所以会提出这种计算方式，是因为在许多实际的问题求解过程中，人 们关心的是在一段相对较长的时间内( 比如一年) 解决问题的多少，而 对短期内求解问题的多少并不十分关心。对于这样的问题，可以利用c p u 周期窃取的技术，将大量空闲计算机的计算资源集中起来，提供给对时 间不太敏感的问题，作为计算资源的一种重要资源。 数据密集型计算：对于数据密集型问题，数据采集地点、数据处理地点、 数据分析与结果存放地点、可视化设备的地点等往往不在同一个地方， 数据密集型问题的求解往往同时会产生很大的通信和计算需求，需要网 格能力才可以解决。许多高能物理实验、数字化天空扫描、气象预测等 都是数据密集型问题，网格可以在这类问题的求解中发挥巨大作用。 在社会经济生活领域，网格可以在如下领域得到应用：【1 l 基于广泛信息共享的人与人交互。原来的人与人的交互受到地理位置、 交互能力、共享对象等等许多条件的限制。一个国际会议往往需要许多 人在旅途上消耗大量的时间，如果每个人都可以在自己的工作地点，与 参加会议的其他人员在一个虚拟的共享空间中进行交互，共同讨论问题， 可以产生面对面的效果，无疑将会是十分理想的。一个物理上集中的大 会场被网格技术分散在世界各地，但是又不影响开会的效果，一个原来 在物理会场中传递的话筒可以在世界不同地点的人们之间传递，这显然 会对大家的工作方式产生很大的影响。 更广泛的资源贸易：计算能力闲置的机器可以共享出来，通过网络让更 多的人来租用；需要计算能力的人可以不必购买更大的计算机，只要根 据自己计算任务的需求，向网格购买计算能力就可以满足要求。除了计 算资源，包括贵重仪器、程序、数据、信息、文化产品等等各种资源都 可以在贸易的基础上广泛共享。 网格是一种面向问题和应用的技术，随着网格技术的不断完善和应用领域的 不断扩展，网格可以在更多的领域得到应用，发挥更大的作用。 南京邮电学院硕士学位论文 2 4 网格特点 网格有什么值得注意的特点? 下面分别从分布与共享、自相似性、动态性与 多样性以及自治性与管理的多重性等多个方面对网格特点进行论述。【2 1 2 。4 1 分布与共享 分布性是网格的一个最重要的特点。网格的分布性首先是指网格的资源是分 布的。分布的网格一般设计的资源类型复杂，规模较大，跨越的地理范围较广。 因为网格资源是分布的，因此基于网格的计算一定是分布式计算而不是集中 式计算。在网格这一分布式环境下，需要解决资源与任务的分配和调度问题、安 全传输与通信问题、实时性保障问题、人与系统以及人与人之间的交互问题等等。 网格资源虽然是分布的，但是它们却是可以充分共享的。即网格上的任何资 源都可以提供给网格上的任何使用者。共享是网格的目的，没有共享便没有网格， 解决分布资源的共享问题，是网格的核心内容。这里共享的含义是非常广泛的， 不仅指一个地方的计算机可以用来完成其他地方的任务，还可以指中间结构、数 据库、专业模型库以及人才资源等各方面的共享。 分布是网格硬件在物理上的特征，而共享是在网格软件支持下实现的逻辑上 的特征，这两者对于网格来说都是十分重要的。 2 4 2自相似性 分形模型有一个非常重要的特征就是自相似性。网格的局部和整体之间存在 着一定的相似性，局部往往在许多地方具有全局的某些特征，而全局的特征在局 部也有一定的体现。可以认为国家级的网格是在省一级的网格基础之上建造起来 的，除了相似性之外，整体和部分之间必然有不同的地方，这种整体和部分之间 的相似性可以在多个阶段看到，网格的自相似性在网格的建造和研究过程中有重 要的意义。 2 4 3 动态性和多样性 对于网格来说，决不能假设它是一成不变的。网格的动态性包括动态增加和 动念减少两个方面的含义。原来拥有的资源或者功能，在下一时刻可能就会出现 故障或者不可用；而原来没有的资源，可能随着时问的推移会不断地加入进来。 网格资源的动态变化特点要求网格管理必须充分考虑并解决好这一问题，对 南京邮电学院硕士学位论文 于网格资源的动态减少或者资源出现故障的情况，要求网格能够及时采取措施， 实现任务的自动迁移，做到对高层用户透明或者尽可能减少用户的损失。 网格资源的动态增加需要提高网格的扩展性问题，也就是说，在网格设计与 实现时，必须考虑到新的资源能否很自然的加入到网格中来，并且可以和原来的 资源融合在一起，共同发挥作用。网格的扩展性要求体现在规模、能力、兼容性 等几个方面。一开始网格的规模往往不是特别大，不需要也不可能一步到位，但 是网格应该能够允许对它自身进行多种形式的扩展，网格规模扩展后网格的相应 管理软件也应该能够满足将扩展性的要求，网格软件的升级要能够向下兼容。 网格资源是异构和多样的，在网格环境中可以有不同体系结构的计算机系统 和类别不同的资源，因此网格系统必须能够解决这些不同结构、不同类别资源之 间的通信和互操作问题。正是因为异构性或者说资源多样性的存在，为网格软件 的设计提出了更大的挑战，只有解决好这一问题，才会使网格更有吸；r 了。 2 4 4 自治性和管理的多重性 网格上的资源，首先是属于某一个组织或者个人的，因此网格资源的拥有者 对该资源具有最高级别的管理权限，网格应该允许资源拥有者对他的资源有自主 的管理能力，这就是网格的自治性。 但是网格资源也必须接受网格的统一管理，否则，不同的资源就无法建立相 互之间的联系，无法实现共享和互操作，无法作为一个整体为更多的用户提供方 便的服务。 因此网格的管理具有多重性，一方面它允许网格资源的拥有者对网格资源具 有自主性的管理，另一方面又要求网格资源必须接受网格的统一管理。 2 5 网