（管理科学与工程专业论文）网格计算技术在水利信息化平台中的应用研究.pdf

摘要 论文题目：网格计算技术在水利信息化平台中的应用研究 学科专业：管理科学与工程 研究生：何峰 指导教师t 崔俊凯副教授 张永进副教授 摘要 签名： 签名： 签名： 本论文来源于国家8 6 3 项目“面向水利信息化平台建设的应用服务器中间件 及其在国家防汛指挥系统工程中的应用。论文的目的是想利用网格技术在计算 方面的潜在优势解决水情预报决策等水利工作中面临的复杂计算问题，以期在现 有硬件环境下形成堪比大型机甚至超级计算机的运算服务能力，从而改善目前计 算资源匮乏的局面。 网格计算是将地理上分布的、异构的各种计算资源通过高速网络连接起来， 结合并行计算的思想共同完成计算任务。g l o b u st o o l k i t 工具包作为构建网格计 算平台的系统软件，提供了实现网格计算能力所需要的一系列功能模块，使得用 户能够比较容易的开发网格应用程序。同时，并行计算经过多年的发展，已经在 高性能科学计算中获得了广泛的应用，但是主要应用于局域网或者集群环境中。 本文的思路就是将这两者结合起来，在基于网格技术的环境上开发贯彻并行计算 思想的服务，充分发挥二者的优势以期能够解决实际的问题。 本文首先讨论了网格计算的相关概念以及研究现状，并介绍了开放网格服务 结构o g s a 的主要思想，详细分析了网格计算系统软件g l o b u st o o l k i t 的结构及其 服务组件。 其次，给出了构建网格计算平台的总体设计方案，并进行了构建网格计算平 台的具体实现过程，然后在所构建的网格计算平台上实现了一个网格服务 m a t h s e r v e r 的开发。 再次，通过对并行计算理论的研究，分析了并行计算在网格计算中实现所面 临的关键问题，并给出了解决方案。这些问题包括主要的应用策略、任务的划分 与分配、通信方式、并发编程以及安全问题。最后在网格计算环境下实现了决策 服务的部署与调用，验证了系统的可用性。 最后，本文总结了工作中的不足，给出了进一步工作的展望。 a b s t r a c t t i t l e ：g r i dc o m p u t i n gt e c h n o l o g yi n ，a i t e rc o n s e r v a - r l o n i n f o r m a t l o n l z a t l o np l a t f o r ma p p l l e dr e s e a r c h m a j o r ：m a n a g e m e n ts c i e n c ea n de n g i n e e r i n g n a m e = f e n g h e s i g n a t u r e ： 一 s u p e r v i s o r ：a s s o c i a t ep r o lj u n k a ic u is i g n a t u r e ： a s s o c i a t ep r o f - y o n g j i nz h a n g s i g n a t u r e ： a b s t r a c t t h i sp a p e ro r i g i n a t e df r o mn a t i o n a l8 6 3p l a n sp r o j e c t s f a c e dt ow a t e rc o n s e r v a t i o n i n f o r m a t i o n i z a t i o np l a t f o r mc o n s t r u c t i o na p p l i c a t i o ns 烈 v e rm i d d l e w a r ea n di t sa p p l i c a t i o ni n n a t i o n a lf l o o dp r e v e n t i o nc o m m a n ds y s t e me n g i n e e r i n g ”t h ep a p e ru s e dt h e 鲥dt e c h n o l o g yt o s o l v et h ec o m p l e x f o r e c a s t i n gp r o b l e m i nw a t e rc o n s e r v a t i o na n df o r m e d c o m p u t i n g s e r v i c e a b i l i t yc o m p a r e dt ol a r g e - s c a l ec o m p u t e re v e ns u p e rc o m p u t e ru n d e re x i s t i n gh a r d w a r e e n v i r o n m e n t t h u si m p r o v e st h ep r e s e n ta s p e c tw h i c ht h ec o m p u t i n gr e s o u r c ei sd e f i c i e n t g r i dc o m p m i n gu s e se a c hk i n do fc o m p m i n gl s o l l l c e ，d i s t r i b u t e st h eg e o g r a p h y , i s o m e r i s m ，t h r o u g ht h eh i g hs p e e dn e t w o r kc o n n e c t i o n s ，u s i n gp a r a l l e lc o m p u t i n gm e t h o dt o f i n i s ht h ec o m p u t i n gt a s k t h eg l o b u st o o l k i tt o o lb a ga st h es y s t e ms o f t w a r eo fc o n s t r u c t i o n t h eg r i dc o m p u t i n gs y s t e mh a sp r o v i d e das e r i e so fs e r v i c e sm o d u l ew h i c ht h es o l u t i o no f 酣d c o m p u t i n gp r o b l e mn e e d s ，c a u s e st h eu s e rd e v e l o p i n g 面da p p l i c a t i o np r o c e d u r et oc h a n g e q u i t ee a s i l y m e a n w h i l e ，p a r a l l e lc o m p u t i n gh a sb e e nw i d e l ya p p l i e di nh i g l l - p e r f o r m a n c e s c i e n t i f i cc o m p u t i n ga f t e rs e v e r a ly e a r s d e v e l o p m e n t , b u ti t sa l m o s ta p p l i e di nt h el o c a la r e a n e t w o r ko rc l u s t e re n v i r o n m e n t t h ep a p e ri n t e g r a t e st h et w ot e c h n i q u e st od e v e l o pp a r a l l e l c o m p u t i n gs e r v i c ew h i c hi sb a s e d o nt h ee n v i r o n m e n to f g r i dt e c h n i q u e t h ep a p e rf i r s t l yd i s c u s s e dt h er e l a t e dc o n c e p to fg r i dc o m p u t i n ga n dt h ep r e s e n tr e s e a r c h s i t u a t i o n ，i n t r o d u c e dt h em a i ni d e ao fo p e ng r i ds e r v i c e sa r c h i t e c t u r e ( o g s a ) ，a n a l y z e dt h e 鲥dc o m p u t i n gs y s t e ms o f t w a r eg l o b u st o o l k i ta n d i t ss e r v i c em o d u l e i i i 西安理工大学硕士学位论文 s e c o n d l y , t h ep a p e rp r o d u c e dt h es y s t e md e s i g np l a nt oc o n s t r u c tt h eg r i dc o m p u t i n g p l a t f o r m ，c a r r i e do nt h ec o n c r e t er e a l i z a t i o np r o c e s st oc o n s t r u c tt h eg r i dc o m p u t i n gp l a t f o r m ， f i n a l l y , i nt h i sg r i dc o m p u t i n gp l a t f o r m ，t h eg r i da p p l i c a t i o nd e v e l o p m e n to fm a t h s e r v e rh a s b e e nc a r r i e do n n e x t , t h r o u g ht h er e s e a r c ho fp a r a l l e lc o m p u t i n g ，t h ep a p e ra n a l y z e st h ep r o b l e m ，w h i c h w i l lb ef a c ei np a r a l l e lc o m p u t i n gi n 鲥de n v i r o n m e n t ，a n dg i v e st h ep r o j e c t t h e s ep r o b l e m i n c l u d em a j o ra p p l i c a t i o ns t r a t e g y , t h ed i v i s i o na n dd i s t r i b u t i o no ft a s k s ，c o m m u n i c a t i o nm o d e ， c o n c u r r e n tp r o g r a m m i n ga n ds e c u r i t yp r o b l e m m o r e o v e r , t h ep a p e rg i v e st h em a i nc o d eo ft h e i m p l e m e n to fp a r a l l e lc o m p u t i n gi nt h eg r i dc o m p u t i n ge n v i r o n m e n t a n di tg i v e st h er e s u l tb y n q u e e n s e x a m p l ea n dc a r r i e so nt h ep e r f o r m a n c ea n a l y s i st ot h i ss y s t e m f i n a l l y , t h i sa r t i c l es u m m a r i z e st h ew o r ki n a d e q u a t e ，g i v e nt h eo u t l o o kf o rf u r t h e rw o r k k e yw o r d ：o g s a ；g r i d ；g l o b u st o o l k i t ；p a r a l l e lc o m p u t i n g i v 独创性声明 秉承祖国优良道德传统和学校的严谨学风郑重申明本人所呈交的学位论文是我 个人在导师指导下进行的研究工作及取得的成果。枣我所知，一除特别加以标注和致谢 的地方外i 论文中不包含其他入的研究成果i 与我一同工作的同志对本文所研究的工 作和成果的任何贡献均已在论文中作了明确的说明并已致谢? 本论文及其相关资料若有不实之处j 由本入承担_ 切相关责任 本人 论文作者签名：参纠年争月髟日 学位论文使用授权声明 在导师的指导下创作完成毕业论文；l - | 本人皂通过论文的答辩， 并已经在西安理工大学申请博士硕士学位。本人作为学位论文著作权拥有者，、同意 授权西安理工大学拥有学位论文的部分使用权；一即；j ) 已获学位的研究生按学校规定 提交印劂版和电子版学位论文，学校可以采用影印。缩印或其他复制手段保存研究生 上交的学位论文卜可以将学位论文的全部或部分内容编入有关数据库进行检索；2 ) ，为 教学和科研目的，学校可以将公开的学位论文或解密后的学位论文作为资料在图书馆、 资料室等场所或在校园网上供校内师生阅读。浏览。 本人学位论文全部或部分内容的公布( 包括刊登) 授权西安理工大学研究生部办 理。 ( 保密的学位论文在解密后适用本授权说明) 论文作者签名； 导师签名：怨巡勰午月苫目 第一章绪论 1 绪论 1 1 课题的来源 本课题来源于国家8 6 3 项目“面向水利信息化平台建设的应用服务器中间件及其在国 家防汛指挥系统工程中的应用 。课题研究的目的是尝试把网格技术引入到水情预报决策 领域，利用其在计算方面的技术优势服务于水情预报决策工作中面临的海量数据复杂计算 问题，以期在现有硬件环境下形成堪比大型机甚至超级计算机的运算服务能力。 1 2 课题的意义和价值 我国地域辽阔、河流众多、地形复杂、季风性气候特征显著，年降水量十分集中，因 此是一个水旱灾害频繁发生的国家。水旱灾害每年都给人民的生命和财产造成重大的损 失，成为制约国家经济建设和可持续发展的主要因素之一。因而国家在水利行业建设的各 个领域都投入了巨大的人力物力，希望能够提高水害的预报能力，以期在防洪减灾等方面 获得回报以促进国民经济的健康发展。 而要达到这一目的就必须解决存在于水情预报以及水利工程建设等众多领域的大型 复杂计算的求解问题。现实中，由于技术、人员、资金、设备等的匮乏和分布不合理，进 行大型复杂科学计算的“瓶颈 矛盾越来越突出。退一步讲，即便忽略以上问题，面对这 些大型问题的求解，即使对模型和算法进行优化再优化，使用巨型计算机进行一次大型的 复杂计算仍可能需要几小时、几天甚至数十天的时问，致使众多有新意有创造性的理论和 设想都因计算能力的限制而无法及时验证和实施，显著制约了水利行业的发展。 在本文中，我们将崭新的网格技术思想引入到大型复杂计算领域，力图借助网格技术 的技术优势改善目前的困局。 1 3 相关技术介绍 1 3 1 网格技术及其发展历程 网格技术是一种新兴的信息技术。自从上个世纪九十年代网格技术被提出以来，网格 技术得到了迅猛发展。在历经十余年的快速成长之后已经成功走出实验室进入众多的应用 领域。 网格技术的基本思想就是在互联网的基础上，实现所有可用资源的共享和协同工作， 以消除信息孤岛和资源孤岛。广义而言，网格就是一个资源池，一个集成的计算与资源环 境。它以虚拟组织的形式把互联网中所有加入到组织中来的资源整合成一台巨型的虚拟计 西安理工大学硕士学位论文 算机，以随处可得的、可靠的、标准的、经济的方式实现包括软件资源、硬件资源、信息 资源在内的所有资源的全面共享并形成堪与真正的超级计算机相媲美的高性能计算能力。 网格技术的本质不在于它的规模而在于提供了一整套机制实现资源的共享。这一机制 也成为利用闲置的计算资源构建超级计算能力的基础。它为众多的平凡用户提供了一个得 到堪比超级计算机计算能力的途径，并且为需要大量存储空间、内存和处理资源的复杂的 算法提供了强大的计算能力和数据存储能力。 网格计算( g r i dc o m p u t i n g ) 就是基于网格的问题求解。与它相关的技术包括：实时 企业信息系统、网络化虚拟设计环境、因特网技术、知识管理、x m l ( e x t e n s i b l em a r k e d l a n g u a g e ) 技术、a s p ( a c t i v es e r v e rp a g e ) 技术、万维网服务、语义网和高性能计 算等。 网格是借鉴电力网的概念提出来的，网格的最终目的是希望用户在使用网格计算能力 时，就如同现在使用电力一样方便。人们在使用电力时不需要知道它是从哪个发电站输送 出来的，也不需要知道电力是通过什么样的发电机产生的。不管是水力发电还是核反应发 电，人们使用的是一种形式统一的“电能 。网格也希望给最终的使用者提供与地理位置 无关、与具体计算设施无关的通用的计算( 广义的计算，可理解为问题求解) 能力。 网格技术的产生主要有以下几个方面的原因： l 、资源的广域分布。随着人们求解问题难度的增加，局部的资源已经无法满足需求。 与此同时，世界范围内却有大量的可以利用的资源没有得到有效的利用。随着需求的逐步 提高，这一矛盾也越来越突出，越来越明显，如何解决这一矛盾变得非常紧迫。 2 、广域互联技术的发展。互联网技术的迅速发展，网络带宽的极大提高，为跨地域 的资源共享提供了基础和前提。正如g e o r g eg i l d e r 所说的那样，当外部网络的速度和计 算机内部网络的速度一样时，分布在网络上的计算机将形成一种具有特定目的的联盟。 3 、广域范围内资源共享的需求。随着人们求解问题领域的不断拓展，所遇到的问题 越来越复杂，规模也越来越大，解决这些问题所需要的计算能力也越来越高。现有的计算 资源根本无法满足这样的需要，因此必须考虑使用广大的分布式闲置计算资源，将它们集 中起来协同解决问题。 网格的发展大约经历了三个阶段：第一阶段是网格的萌芽阶段，开始于9 0 年代早期， 研究内容是关于千兆网试验床以及一些元计算方面的工作；第二阶段是一些早期的试验， 时间大概从9 0 年代中期到晚期，出现了一些比较重要的开创性和奠基性的研究项目，比 如i w a y ，g l o b u s ，l e g i o n 等；目前是网格的迅速发展阶段，网格的研究和应用项目大量 出现，同时网格计算也不再局限于科学研究领域，工业界与学术界联盟，正致力于使网格 计算在更广泛的领域得到推广和应用。 1 3 2 网格研究现状 a 国外研究现状 第一章绪论 目前，世界范围内对网格的研究开展的如火如荼。通过对国外研究现状的研究，发现 他们具有以下几个特点： ( 1 ) 政府支持。美国政府在十余年前就开始对网格技术进行战略投资。1 9 9 2 年，美 国开始实施高性能计算方面的计划h p c c ，并投入巨资研究解决“巨大挑战问题 的环境、 方法和技术，累计使用的基础研究经费已近五亿美元。美国军方更为积极。美国国防部己 在规划实施一个宏大的计划，称为“全球信息网格 ( g l o b a li n f o r m a t i o ng r i d ) ，预计 在2 0 2 0 年完成。作为这个计划的一部分，美国海军和海军陆战队己先期启动一个1 6 0 亿 美元的八年项目，包括系统的研制、建设维护和升级。美国国家航空和宇宙航行局( n a s a ) 构造了一个网格计算实验床，称为i p g 项目1 7 1 ，它可以将n a s a 分布在各地的资源通过 网络( 包括无线通信手段) 连接起来，以有助于解决n a s a 在科学与工程计算、数据管理 等方面的问题。由美国能源部( d e p a r t m e n to fe n e r g y ) 和三个国家重点实验室s a n d i a ， l i v e r m o r e 与l o sa l a m o s 共同承担的a s c i 计划，是一个主要用于军事目的的高性能计算 发展计划，其目的是在不进行物理核试验的情况下，通过计算模拟来开展核武器的全方位 研究，以维持其在军事领域的核威慑地位。目前d o e 支持的科学网格( s c i e n c eg r i d ) 使 用6 2 2 m b p s 的e s n e t 网格连接了能源部的两台超级计算机，网格计算能力达到每秒5 万亿 次，存储能力达到1 3 千万亿字节。美国国家科学基金( n s f ) 支持的t e r ag r i d 将连接 位于五个不同地点的超级计算机，达到每秒2 0 万亿次的计算能力，并能存储和处理近1 千万亿字节的数据。t e r ag r i d 最大特色是连接网格的专用网络带宽将达到惊人的4 0 g b p 蚤。 美国物理网格g p n ( g r i dp h y s i c sn e t w o r k ) 计划建立每秒千万亿次级别的计算平台， 用于数据密集型计算。 英国政府也已经决定投资l 亿英镑，用来建设英国国家网格( u kn a t i o n a lg r i d ) ： 除此之外，欧洲比较有名的网格项目还有荷兰网格，爱尔兰网格，欧洲网格计算数据库， 俄罗斯科学网格，n o r d u 网格等。 在亚洲，网格的研究和应用也己在多个国家和地区开展起来。日本是亚洲开展网格研 究比较早的国家之一，己经进行了多个项目的研发。n i n f 是日本正在实施的全球计算基 础设施项目。它允许用户访问包括硬件、软件和数据在内，分布在广域网上的资源。b r i c h s 是日本的另一个研究项目，它是一个性能评价系统，允许在典型的高性能全球计算环境上 分析和评价不同调度策略。它能够模拟不同全球计算系统的不同行为，尤其是网络的行为 和资源调度算法的行为。日本n 数据公司联合i n t e l ，s g i 等公司，在2 0 0 2 年中期开展 了为期6 个月的网格计算试验。试验将连接日本家庭、企业和学术机构的1 0 0 万台p c ， 集合处理能力将达到每秒6 5 万亿次浮点运算。2 0 0 2 年1 1 月，日本产业技术综合研究所 网格计算研究中心宣布，在由多台个人电脑通过网络连接组成网格计算的环境下，实现了 日美之间创纪录的7 0 7 m b p s 的数据传输。 韩国政府也已正式宣布建立第三代网络基础之国家网格基本计划，计划在五年内把分 散的高性能电脑通过网络连接起来并加以利用。此外，泰国、印度的国家也积极开展了多 3 西安理工大学硕士学位论文 项网格研究工作。 ( 2 ) 商界支持。主要i t 厂商为获取该领域的控制权也展开了积极的竞争。i b m 公司 立志要做网格技术的先锋。2 0 0 2 年8 月，i b m 宣布投入四十亿美元，启动一个全公司的“网 格计算创新计划 ，研发网格计算，与g l o b u s 组织合作，将网格计算由学术界的科学计算 应用扩展到商业应用。i b m 公司近日宣布，它正在研制一种能被多家科研单位和众多科学 家同时使用的超级计算机网格，这个网格的功能将是目前全球同类系统中最强的。同时， i b m 被英国政府选中，负责提供英国国家网格项目的关键技术，这项预算达2 5 0 0 万美元 的网格项目会把8 所大学的计算机相连。此外，i b m 还宣布了一项名为北卡罗莱纳生物信 息科学网格的项目，涉及6 0 家企业、大学和生物医学研究公司，它的意义在于这是全球 第一个主要由私营行业参与的网格项目。s u n 公司宣布推出新的g r i d e n g i n e 5 3 软件的 b e t a 测试版，该软件使企业内的计算机的连接更为方便。 s u n 目前也己启动了以g r i de n g i n e 分布式资源管理软件为基础的开放源代码战略。 o r a c l e 公司最新的数据库软件o r a c l e l o a 就是采用的是网格系统。2 0 0 3 年9 月，旧金山 召开的o r a c l e w o r l d 大会上，甲骨文发布to r a c l e l o g 和o r a c l eh p p li c a t i o n s e r v e r l o g ， 为其旗舰产品增加网格能力。与其它公司广泛的网格计算计划不同的是，甲骨文公司的网 格计算计划主要是发布支持网格计算技术的数据库、应用服务器以及其它相关软件。美国 微软公司己经决定支援g l o b u s 计划。微软的路线是通过其“n e t 一计划和c 并语言实现万 维网服务；微软还在开发全面支持网格的下一代w i n d o w s 操作系统。 b 国内研究现状 近年来，网格研究在我国也得到了迅速发展，目前主要集中在中科院计算所、国防科 大、江南计算所和清华大学等几家在高性能计算方面有较强实力的研究单位。在网格研究 上的投入连年增长。国家在九五期间就资助了“8 6 3 一重点项目“国家高性能计算环境一。 十五期阎，国家设立了“8 6 3 重大专项“高性能计算及其核心软件 ，在2 0 0 2 年到2 0 0 5 年期间投资8 6 3 计划经费1 亿元，并吸引地方政府、应用部门和产业界2 3 倍的配套 资金。目前，正在进行的比较大的网格项目有如下五个。 中国国家网格专项，由国家8 6 3 高技术研究发展计划资助，旨在建立面向企业、高等 院校、科研机构、政府部门的国家高性能计算坏境。主节点采用自行研制的、面向网格的 高性能计算机。若干工业、服务业、科学研究以及资源环境领域的网格应用投入运行，实 现资源共享、协同工作。 中国教育科研网格c h i n a g r i d 计划，是教育部“十五 2 11 工程公共服务体系建设的 重大专项，受国家高技术研究发展计划( 8 6 3 计划) 项目支持。它是迄今为止由政府推出 的最宏大的网格工程，该项目由1 2 所大学联合推出，它将在教育科研网上把全国1 0 0 所 2 1 l 建设重点大学的资源广泛共享。中国教育科研网格的目标是将广泛分布在中国教育科 研网c e r n e t 和高校中的异构海量资源集成起来，实现c e r n e t 环境下资源的有效共享，消 除资源孤岛，提供有效的服务，形成为国家科研教学服务的大平台。 4 第一章绪论 e - s c i e n c e 网格研究计划，是国家基金委员会投资1 5 0 0 万的大型网格项目。该项目 建设以网络为基础的科学活动环境，目标是利用网络技术将地理上位置不同的计算设施、 存储设备、仪器仪表等集成在一起，建立面向网络服务的通用基础支撑环境，实现 i n t e r n e t 上计算资源、数据资源和服务资源的有效聚合和广泛共享，从而建立一个能够 实现区域或全球合作或协作的虚拟科研和实验环境，支持以大规模计算和数据处理为特征 的科学活动。 中国空间信息网格，是国家投资2 0 0 0 万建立的又一大型网格项目。空间信息网格s j g 是一种汇集和共享地理上分布的海量空间信息资源，对其进行一体化组织与处理，从而具 有按需服务能力的、强大的空间数据管理和信息处理能力的空间信息基础设施。 上海信息网格( s h a n g h a i g r i d ) ，是上海市科委2 0 0 3 年重大科技攻关项目，由上海市 科委投入9 0 0 万元，并带动资金5 0 0 0 万元，为期两年( 2 0 0 3 - 2 0 0 5 ) 。其目标是在两年内， 依托国家8 6 3 、国家自然科学基金、国家教育部和地方重大科研攻关项目的最新研究成果， 研究符合国际标准的信息网格体系结构和关键技术，开发具有自主知识产权和推广价值的 信息网格系统软件、应用开发环境和虚拟研究平台，通过对虚拟组织中的计算、数据、软 件等各种信息的共享和协同，建立具有上海特色的信息网格，并初步实现交通信息网格典 型应用。 1 3 3 并行计算技术的现状 在高性能计算方面，网络并行计算技术已经比较成熟，它所带来的高效率已经得到社 会的认可。但是，国内外研究并行计算大多停留在理论上，即使有实际应用的，也只是针 对某一具体问题的解决，程序的重用性和可移植性有很大局限。尤其是目前并行设计环境 很不完善，表现在通信、负载平衡、调试、同步等。这些缺陷很大程度上限制了并行计算 的发展。主要表现在以下两个方面： 其一、限制了用并行计算来解决问题的用户范围。目前一般情况是，并行计算的用户 就是并行计算程序员，他为了求解某种问题，用并行程序设计语言编写出一个并行程序， 让他在构建好的并行环境中运行，得出结果。而大部分时间，这种计算能力都是处于空闲 状态。而其他的程序可能为了解决同样问题，又需要再次设计并行程序和构建并行环境。 这样无疑造成了很大的浪费。 其二、限制了并行计算的规模，使复杂的并行计一算程序难以达到最佳的加速比。由 于并行设计环境的不完善，并行计算的发展主要是在局域网内，这样就不可避免的限制了 并行计算的计算资源。对于某些复杂的问题，由于参与计算的计算能力过少，所以无法发 挥并行计算的真正效率。 但是并行技术对高性能计算的贡献，以及它的种种优点都是不容置疑的。怎样解决这 一问题成为了首要问题。而网格技术可以很好的解决这些问题。网格计算在某种意义上来 说就是天然的分布式计算，它本身所具有的并行性，为在网格环境下实现并行计算提供了 5 西安理工大学硕士学位论文 天然的条件。网格服务可以看成一种实现某种特定计算的功能，这样，由多个提供网格服 务的计算结点组成虚拟并行机，完成由网格客户端应用提交的并行计算任务。现在的成果 也很多，而怎样进一步的提高计算效率和怎样将网格技术与现有的技术相结合就是问题的 研究的重点所在。解决这个问题有两方面途径： 一个方面是，如果计算能力就是资源，这就是说无论是高性能的超级计算机、并行计 算机还是通过并行虚拟机所构建成的机群系统，都是网格上可以使用的资源。如果能把能 提供高性能计算技术应用到网格环境中去，也就是说，通过将现存的计算能力作为资源提 供给网格用户使用，为网格计算创造出更多更成熟的计算资源，从而提高了网格计算的总 体性能。 另外一方面，如果将网格技术应用到并行计算中去，通过网格环境，为并行计算提供 更多，更高效的计算结点。并行计算的思想是将想解决的复杂问题划分成为，可以并行实 现的子任务，交给不同的计算结点进行计算。如果利用网格环境中分布式异构平台计算资 源来执行并行计算子任务。就可以进一步的实现计算性能的高速处理。 这两方面途径涉及到两方面主要问题： 一方面是，这样将并行技术和网格技术无缝连接，充分利用并行计算创造的高性能计 算能力和网格技术的高通信及完善的安全技术。这个主要涉及到中间件和接口的设计问 题。 另外一方面，实现这些应用无可避免涉及到网格编程，但是使用网格工具箱来开发一 个网格服务，其服务程序的设计过程是比较复杂的，方法也各式各样，而且资料也不齐全。 这样无疑给并行计算程序员编写与部署网格服务带来了很大的阻碍。所以，如何将这一运 行过程自动化、模块化，尽量使程序员无须了解底层的网格平台的具体运作过程，就能提 供或者时使用计算资源的平台就成为了当务之急。 1 4 论文的主要工作和结构图 本论文的主要工作： 1 对于网格计算以及网格服务理论的研究。包括网格计算技术体系结构的研究。理解 什么是网格计算以及网格计算所要达到的目标。探讨这一技术在水利信息化系统中的可用 性。 2 研究o g s a 及其相关技术。阐述了o g s a 的应用价值。 3 使用g 1 0 b u st o o l k i t4 工具包在局域网内构建了初步的网格计算平台并在此平台 上进行了网格服务应用的测试。 4 通过研究并行计算的思想，提出了一个在网格环境下实现并行计算服务的构架以及 面临的主要问题，并通过分析给出解决方案。 5 基于该平台实现了水利决策服务的设计与部署，并进行了测试。 论文结构图如下： 6 第一章绪论 1 5 论文的主要成果 i 第一章绪论 j + l 第二章理论综述 。i + l 第三章水利信患化平台网格计算环境 i 的分析与设计 。 + l 第四章水利信息化平台网格计算环境 i下网格服务的实现 + 第五章结论与展望 j 虽然在目前的环境下网格计算所能实现的功能还比较有限，但是利用o g s a 的具体实 现g t 4i 具包建立的网格计算环境还是具有很大的发展潜力，这也是本文采用它作为研究 基础的主要原因。另一方面就并行计算而言，其自身的发展由于硬件环境的限制也已经到 了一个瓶颈的阶段。在本文的研究中，将网格计算环境和并行计算思想的结合既发挥了网 格的优势又为并行计算思想的发展找到了新的出路，二者的完美结合必将产生重大的影 响。 ：3 为了实现这一并行计算的网格平台，需要实现以下几个目标： l 、启动并行计算任务时，可以屏蔽异构环境。本文通过网格服务数据库来处理这一 问题，对于用户来说，它只需将网格服务作为计算结点来看，无须考虑具体的操作过程。 2 、选择结点间通信方式。本文通过对网格服务的通知接口的设计解决这一问题。 3 、任务的分配问题。本文提出了一个网格服务的动态分配策略，进一步提高了网格 环境中的并行计算的效率。 同时，立足于并行计算更长远的发展，将计算归入“服务一概念，扩展了计算结点的 范围与形式。可以利用更多、更高效的计算功能。通过这一思想建立的并行计算相对于前 人使用的一般的局域网机群而言，具有自己显著的特点：在一定的网络带宽前提下，并行 计算以其低成本特性使得高性能计算更易于普及。 7 西安理工大学硕士学位论文 2 理论综述 2 1 开放式网格服务结构o g s a 2 1 1 网格概述 网格是一门新兴的概念，代表了一种先进的技术和基础设施，是继i n t e r n e t 之后的 又一次重大的科技革命。网格计算的构想来源于另一专业p o w e r g r i d ( 电力供应商) 。 p o w e r g r i d 的原意是电力供应商根据用户的需要供应电力，消费者只需支付自己使用的那 部份电费。网络计算的基本思想由此引申为像人们日常生活中从电网中获取电能一样获取 高性能的计算能力。由于网格计算还在不断的发展和变化中，对于到底什么是网格这一思 想还没有一个统一的定义。 全球网格研究的领军人物i a nf o s t e r 曾在1 9 9 8 年出版“t h eg r i d , b l u e p r i n tf o ra n e wc o m p u t i n gi n f r a s t r u c t u r e 一一书中这样描述网格：“网格是构筑在互联网上的一组 新兴技术，它将高速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一体， 为科技人员和普通老百姓提供更多的资源、功能和交互性。互联阿主要为人们提供电子邮 件、网页浏览等通信功能。而网格功能则更多更强，让人们透明地使用计算、存储等其它 资源。一在2 0 0 0 年，i a nf o s t e 又进一步把网格描述为“在动态变化的多个虚拟机构问共 享资源和协同解决问题 强。 也可以这样说，网格就是一个集成的计算和资源环境，或者是一个计算资源池。网格 能够充分的吸纳各种计算资源，并将它们转化成为一种随处可得的、可靠的、标准的计算 能力。换句话说，网格计算是利用互联网把分散在不同地理位置的计算机组织成一个“虚 拟的超级计算机 ，其中每一台参与计算的计算机就是一个“节点一，而整个计算是由成千 上万个“节点 组成的“一个网格 ，所以这种方式叫网格计算。这样组织起来的“虚拟 的超级计算机 体现了两个优势，一个是数据处理能力超强；另一个是能充分利用网上的 闲置处理能力。这种能力可以给用户或者说是其他的计算系统提供强有力的计算资源。 网格计算就是基于网格的问题求解h 1 。从广义上来说，巨大全球网格不仅包括计算网 格、数据网格、信息网格、知识网格、商业网格，还包括一些已有的网络计算模式，例如 对等计算、寄生计算等啼】。而狭义的网格则专指计算网格，即主要用于解决科学与工程问 题的网格。同理，狭义上的网格资源，即指分布的计算资源。 不管是狭义的还是广义的网格，其目的就是要利用互联网把分散在不同地理位置的电 脑组织成一台“虚拟的超级计算机 ，实现计算资源、存储资源、数据资源、信息资源、 软件资源、通信资源、知识资源、专家资源等的全面共享。传统的互联网实现了计算机硬 件的连通，w e b 实现了网页的连通，w e b 服务实现了程序和程序之间的共享，而网格则试 s 第二章理论综述 图实现互联网上所有资源的全面连通璐1 。 如上所述可知，网格必须有以下两个重要特点，其一是能够在逻辑上共享各种物理资 源。这些网格资源本身就不是指单一的计算机资源，它还包括各种类型的数据库、电子图 书馆以及各种设备，同时这些资源往往分布在世界各个角落。这种共享是一种广义的共享。 其二，由于网格是一个始终处于变化中的网络状态，网格的资源和它拥有的功能会动态地 增加或者动态地减少，所以，网格本身的设计就要具有很好的扩展性。同时，网格系统必 须要能够解决不同结构、不同类别的资源之间的通信和互操作问题，以及不同体系结构的 计算机体系之间的兼容，这也决定了网格具有异构性。 网格体系结构发展到目前为止，比较重要的有两个；一个是i a nf o s t e r 等专家在早 些时候提出的五层沙漏结构；这个的基本思想是基于协议的。另一个是在以i 蹦为代表的 工业界的影响下，i a nf o s t e r 等专家考虑到w e b 技术的发展和影响后，结合w e bs e r v i c e 提出的基于服务开放网格服务体系( o g s a ，o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) 。由于现 在对五层沙漏结构介绍很多，这里就不再赘述。 2 1 2 以服务为中心的思想 开放网格服务结构o g s a ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) 是目前最新的一种 网格体系结构。o g s a 是由g l o b a lg r i df o r u m ( g g f ) 的o p e ng r i ds e r v i c e s i n f r a s t r u c t u r e ( q g s i ) 工作小组于2 0 0 2 年6 月制定的。 相对于五层沙漏以“协议 为中心的“协议结构一，o g s a 是是以服务为中心的“服务 结构 。在o g s a 框架中，将一切都抽象为服务，包括各种计算资源、存储资源、网络、程 序、数据库等等。这种观念，有利于通过统一的标准接口来管理和使用网格。这样相对于 五层沙漏结构，不仅仅在概念上更加包容万象，同时也使得分布式系统管理有了标准的接 口和行为。它把g l o b u s 标准和面向商业应用的万维网服务结合起来，把网格计算从科学 与工程应用扩展到更广泛的以分布式系统服务集成为主要特征的商业应用领域，建立网格 服务的基本概念。o g s a 采用了万维网服务的w s d l 和s o a p 规范。遵循o g s a 标准的系统都 可以连在一块，用户可以很容易的集成、共享各种系统提供的功能嘲。 在o g s a 中，为了使服务的思想更加明确和具体，它定义了“网格服务弋g r i ds e r v i c e ) ， 而w e bs e r v i c e s 是网格服务的基础，也是o g s a 的奠基石。相对于网格服务而言，w e b s e r v i c e 提供了一种基于服务的框架结构，但是，w e bs e r v i c e 面对的一般都是永久服务， 而在网格应用环境中，大量的是临时性的短暂服务，比如一个计算任务的执行等。根据这 种特点，网格服务可以简单地表示为“网格服务= 接口行为+ 服务数据一。网格服务通过定 义接口来完成不同的功能，服务数据是关于网格服务实例的信息。这样将网格定义为可扩 展的网格服务的集合，即网格= 网格服务 ，这个集合不是一成不变的，是可以扩展的， 这反映了网格的动态特性h 钉。 在o g s a 以网格服务为中心的模型中，由于网格环境中所有的组件都是虚拟的，因此 9 西安理工大学硕士学位论文 通过提供一组相对统一的核心接口，所有的网格服务都可以基于这些接口实现，这样在同 一层中若干个低级网格服务就很容易构造出具有层次结构的、更高级别的服务，这些服务 可以跨越不同的抽象层次，以一种统一的方式来看待。同时，当对服务进行组合时，可以 不必考虑具体的实现，只要以底层资源组成为基础，就能在虚拟组织中进行资源管理。这 样，通过网格服务的虚拟化，可以将通用的服务语义和行为，无缝的映射到本地平台的基 础设施之上嗍。 在这种思想下，如果一个用户需要一台指明了需求的计算机资源，网格要为用户寻找 当前可以使用的资源，可以说用户面对的是网格资源、协议和规范的有机结合。其中资源 的实体本身就是协议、规范和策略的基础。把网格上的资源和用户的请求进行匹配，把适 合的可用资源提供给用户使用时网格资源管理的核心。把一个用户或应用程序与所请求的 资源联系起来需要经过资源注册、资源请求、资源发现、资源分配、资源使用、资源回收 等过程。 而这种抽象，将有利于聚集不同的网格服务来满足虚拟组织的需要，刚事虚拟组织本 身也可以定义一些新的有用的服务来扩充相关的网格服务。通过这种思想，网格抽象出的 体系结构如图2 - 1 所示n 幻： 一嵇瞰务 ( g r i ds e r v i c e ) 标准接l 】 参重绑定 多壤安_ 观( j a v a ，c ，) w i n d o w sp l a t f o n a 开放网格服务体系o g s a ( g r i d + w e bs e r v i c e st o o l k i t ) 所存约短暂的或是承久的 服务揶是在网络工具辖下 。面建立 漪息通信 安垒靖息迢信 冈格服务 ( g i i ds e r v i c