（计算机应用技术专业论文）局域网计算化学网格的构建与应用研究.pdf

摘要 随着科学技术的快速发展，越来越多的高性能计算设备被应用到科学与工 程计算领域，但是，由于没有找到合适的应用以及管理不当等原因，这些独立 部署并且耗资巨大的设备大部分并没有得到充分的利用。而另一方面，随着对 高性能计算能力需求的迅猛发展，解决一些超大规模应用问题所需要的计算能 力，很难经由单一的计算机或单一的机群上获得。运用网格技术，可以把分布 在不同地理位置、异构的、动态的各种计算资源通过高速互联网连接并集成起 来，共同完成一些重大科学问题的研究，对外提供大规模的并且可以无限扩展 的计算能力。计算化学网格是计算化学领域的一个新的研究热点，主要解决化 学领域大规模问题的求解与实现更广范围的资源共享。 本文在对网格技术和计算化学网格技术进行深入研究的基础上，提出了基 于局域网的计算化学网格的设计思想。在局域网环境下，采用g l o b u st o o l k i t4 作为网格中间件，将安腾服务器、p c 机群和w i n d o w s 主机作为网格节点，构建 了计算化学网格平台，并以实例测试了网格平台的可用性。在计算化学网格平 台上进行网格服务开发。数据传输是计算化学网格环境中一个基本的数据管理 服务，根据第三方控制数据传输体系结构和传输过程，利用j a v ac o gk i t 开发了 一个图形界面的客户端，实现了安全高效的数据传输服务。然后，成功开发、 部署了一个科学计算网格服务实例，完成了服务器端服务部署、客户端服务实 例的创建及对服务的调用，通过实验验证了应用框架核心部分的实现，即使用 g l o b u st o o l k i t4 实现网格服务动态部署与注册。最后，利用网格服务开发环境 插件g t 4 i d e ，将其集成到e c l i p s e 的开发环境中进行网格服务开发。主要实现对 各种计算程序以及常用计算化学软件的封装，对其提交的作业进行监控管理， 并建立一个统一的网格门户，使用户能通过一个熟悉的用户界面、一致的操作 方式和高效方便的访问机制来获得网格服务和使用网格服务。 基于局域网的计算化学网格的构建，可以获取较高的计算能力，使分布在 局域网内的各种异构的计算资源得到充分利用，并且能够消除信息孤岛和资源 孤岛，为用户提供一个安全、可靠并且可扩展的应用环境。 关键词： 网格，网格计算，计算化学，网格服务 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g y , m o r ea n dm o r e h i g h p e r f o r m a n c ec o m p u t i n ge q u i p m e n t sh a v eb e e na p p l i e dt ot h ef i e l d so fs c i e n c e a n de n g i n e e r i n gc o m p u t i n g h o w e v e r , d u et ot h el a c ko fs u i t a b l ea p p l i c a t i o n sa n d m i s m a n a g e m e n t ，m o s to ft h ei n d e p e n d e n ta n de x p e n s i v ee q u i p m e n t sh a v en o tb e e n f u l l yu t i l i z e d o nt h eo t h e rh a n d ，w i t ht h ei n c r e a s eo fd e m a n df o rt h ec o m p u t i n g p o w e r , i ti sd i f f i c u l tt os o l v et h el a r g e s c a l ec o m p u t i n gw i t hs i n g l ec o m p u t e ro rs i n g l e c l u s t e r t h r o u g ht h eh i g h s p e e dn e t w o r k ，鲥dt e c h n o l o g yc a nb eu s e dt oc o n n e c ta n d i n t e g r a t ea l lk i n d so ft h eh e t e r o g e n e o u sa n dd y n a m i cc o m p u t i n gr e s o u r c e sd i s t r i b u t e d i nt h en e t w o r k ，t oa c h i e v ean u m b e ro fm a j o rs c i e n t i f i cr e s e a r c h e s ，a n dp r o v i d e l a r g e s c a l ea n du n l i m i t e de x p a n s i b l ec o m p u t i n gp o w e r c o m p u t a t i o n a lc h e m i s t r yg r i d p r e s e n t san e wr e s e a r c hf o c u so ft h ef i e l do fc o m p u t a t i o n a lc h e m is t r y , w i t ht h e p u r p o s eo fs o l v i n gt h el a r g e s c a l ep r o b l e m si nt h ec h e m i c a lf i e l da n ds h a r i n gaw i d e r r a n g eo f r e s o u r c e s b a s e do nt h er e s e a r c ho fg r i dt e c h n o l o g ya n dc o m p u t a t i o n a lc h e m i s t r yg r i d ，t h i s p a p e rp r e s e n t e dt h ed e s i g n i n gi d e ao fc o m p u t a t i o n a lc h e m i s t r y 鲥dw i t h i nl a n t h e p l a t f o r mo fc o m p u t a t i o n a lc h e m i s t r yg r i dh a sb e e nc o n s t i t u t e do ft h ei t a n i u ms e r v e r , p cc l u s t e ra n dw i n d o w sh o s t ，i nw h i c hg l o b u st o o l k i t4h a sb e e nu s e da s m i d d l e w a r e t e s tr e s u l t ss h o wt h a tt h eg r i dp l a t f o r mi sa v a i l a b l e s o m eg r i ds e r v i c e s h a v eb e e nd e v e l o p e do nt h ep l a t f o r mo fc o m p u t a t i o n a l c h e m i s t r y 酊d d a t a t r a n s m i s s i o ni sab a s i cd a t am a n a g e m e n ts e r v i c eo ft h ec o m p u t a t i o n a lc h e m i s t r yg r i d a c c o r d i n gt ot h ea r c h i t e c t u r ea n dp r o c e s so f d a t at r a n s m i s s i o no f t h i r dp a r t yc o n t r o l ，a c l i e n tg u ih a sb e e nd e v e l o p e dw h i c hu s e dt h ej a v ac o g k i t s o ，as a f ea n de f f i c i e n t d a t at r a n s m i s s i o ns e r v i c eh a sb e e nr e a l i z e d as c i e n t i f i cc o m p u t i n gg r i ds e r v i c e i n s t a n c eh a sb e e ns u c c e s s f u l l yd e v e l o p e da n dd e p l o y e d ，a c c o m p l i s h e st h es e r v i c e d e p l o yo nb o t hs e r v e ra n dc l i e n t ，i n v o k e st h es e r v i c ei n s t a n c eo nt h ec l i e n t a s c i e n t i f i cc o m p u t i n gg r i ds e r v i c ei n s t a n c eh a sb e e ns u c c e s s f u l l yd e v e l o p e da n d d e p l o y e d ，a c c o m p l i s h e st h es e r v i c ed e p l o yo nb o t hs e r v e ra n dc l i e n t ，i n v o k e st h e s e r v i c ei n s t a n c eo nt h ec l i e n t t h i sp a p e rv e i l f yt h er e a l i z a t i o no fa p p l i c a t i o nf r a m e h c o r e ，t h a ti st or e a l i z eg r i ds e r v i c ed y n a m i cd e p l o ya n dr e g i s t r a t i o nw i t hg l o b u s t o o l k i t4 a tt h ee n do ft h ep a p e r , i n t e g r a t ep l u g g t 4 i d ew i t he c l i p s ed e v e l o p m e n t e n v i r o n m e n tt od e v e l o pg r i ds e r v i c e i te n v e l o p st h ec o m p u t a t i o n a lp r o g r a ma n d c o m p u t a t i o n a lc h e m i s t r ys o f t w a r ea sas e r v i c ea n dm a n a g i n gt h ej o bw h i c hu s e r s s u b m i t ，a n de s t a b l i s h e sau n i f i e d 研dp o r t a l ，w h i c hu s e rc a nu s e 鲥ds e r v i c ea n dg e t 鲥ds e r v i c eb yt h ef a m i l i a ri n t e r f a c e ，a n dt h ec o n s i s t e n to p e r a t em e t h o d ，t h e c o n v e n i e n ta c c e s sm e c h a n i s m t h ec o n s t r u c t i o no fc o m p u t a t i o n a lc h e m i s t r yg 订dw i t h i nl a n ，c a nn o to n l y p r o v i d eh i g h e rc o m p u t i n gp o w e rt om a k eu s eo fm a n yk i n d so fh e t e r o g e n e o u s c o m p u t a t i o n a lr e s o u r c e si nt h el a n ，b u ta l s o e l i m i n a t ei n f o r m a t i o ni s l a n da n d r e s o u r c e si s l a n d ，p r o v i d i n gu s e r sw i t has a f e ，r e l i a b l e ，e x t e n s i b l ew e ba p p l i c a t i o n e n v i r o n m e n t k e yw o r d s ：g r i d ，c o m p u t i n gg r i d ，c o m p u t a t i o n a lc h e m i s t r y , g r i ds e r v i c e i i i 独创性声明 本人声明，所呈交的论文是本人在导帅指导下进行的研究工作及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 武汉理工大学或其它教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。 签名：二至叠亟 日期：兰尊：兰：多 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即： 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位论文的 全部内容编入有关数据库进行检索，可以采用影印、缩印或其他复制 手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家有 关机构或论文数据库使用或收录本学位论文，并向社会公众提供信息 服务。 ( 保密的论文在解密后应遵守此规定) 研究生( 签名) ：三香两 导师( 签名) ：趸f y 窄 日期沙7 s ，吕 武汉理工人学硕l ：学位论文 1 1 研究背景 第1 章绪论 网格技术起源于2 0 世纪9 0 年代初由美国政府资助的分布式超级计算项目 i - w a y 。从1 9 9 3 年开始，高性能计算技术和互联网技术进一步融合，酝酿产生 了继冈特网、w e b ( w w w ) 之后的第三大技术浪潮1 1 1 。 一方面随着计算机网络带宽的增长，网络中接入的计算机数量日益增多。 但冈特网上很多节点的使用效率并不高，大量计算机在多数时间内处于闲置或 休眠状态，或仅仅在完成文字处理这样简单的工作。另一方面，互联网上的内 容每天都在飞速增长，不可能有哪个单一的服务器或搜索引擎能够掌握所有资 源，快捷、便利地为用户提供所需的信息和计算服务。因此，需要一种新的技 术来解决这些问题。网格就是这样一种技术，它把整个i n t e m e t 整合成一台巨大 的超级计算机，实现计算资源、存储资源、信息资源、软件资源、通信资源、 知识资源和专家资源等的全面共享【2 j 。 构建网格的必要性主要体现在以下几个方面，首先计算是一种重要的解决 问题的方法和手段，而目前大量问题的解决，只有网格提供的能力才可以满足 要求，其次，相关技术的发展为网格的出现奠定了基础，可以满足网格的要求； 最后，网格有广泛的应用领域，各种人群都可以利用网格来解决他们所面临的 各种问题，开发网格技术、建设网格、发展网格，已经成为学术、工业界以及 政府部门的共识。 1 计算的重要性 计算与理论和实验并列，已经成为第三种重要的科学研究方式【3 】。并且计算 将理论和实验连接起来，成为二者之间的桥梁。通过计算，可以完成许多单纯 依靠理论或者实验无法进行的科学研究。比如为了研究超高温或者超高压等特 殊条件下材料的性质，很难进行真实的物理实验，而且实验成本往往也特别高， 但是可以通过计算模拟的方法来得到所需要的结果。人们已经用计算的方法创 造了一个又一个的奇迹，比如复杂的科学与工程问题建模与模拟、医疗诊断、 工业设备控制、天气预测、股市管理等，这些都说明，计算已经在各个领域取 得了越来越重要的地位。 武汉理工人学硕士学何论文 不仅在科学研究中，而且在越来越多的社会与经济活动中，“计算”也已经 成为一种重要的甚至是不可替代的解决问题的方法与工具。虽然计算机的发明 一开始最直接的目标是为科学计算服务的，但是，后来计算机最广泛的应用还 是在事务处理等非科学计算领域。现在的银行系统、订票系统、办公系统、电 子政务等等，都需要计算机提供的非数值计算能力。在我们的日常生活中，已 经无法离开计算。 由于计算在问题求解中的重要地位，而网格作为一种计算基础设施，只要 我们需要计算，网格就有其应用价值。 2 问题的需求 随着人们求解问题领域的不断拓展，所遇到的问题也越来越复杂，而且规 模也越来越大，解决这些问题所需要的计算能力也在大幅度提高。比如在天文 学研究中，天文望远镜每年所产生的数据不少于1 0 p 1 4 1 。假设计算机处理1 m 的 数据需要1 秒钟，则处理1 0 p 的数据需要1 0 m 秒，约3 0 0 多年才能够处理完毕， 显然这样的计算机是不能够满足要求的，这里还没有考虑数据的读写所需要的 时间。假设目前一块硬盘的容量为1 0 0 0 g ，则存放1 0 p 的数据需要1 0 4 块硬盘。 在高能和核物理、重力波、与时间有关的三维系统以及天文学、医学、晶 体学、基因组研究、虚拟实验室等的研究中，需要的都是具有超大规模的计算 和数据分析能力【4 】。其它的问题还包括计算密集型分析、大量的数据整理和收集、 地理分布的协作等。在这些新问题的求解过程中，局部的计算资源是无法满足 这样的需求的，因此必须使用广大的分布资源，将它们集中起来协同解决问题。 由于各种因素的限制，有些资源由于成本过高或者其它的原因，往往是不 可复制的，因而为了有效地使用这些资源，打破地域的限制来实现更大粒度和 更大范围的资源共享就成为一种必然的要求。 3 相关技术发展的推动 开始于2 0 世纪7 0 年代初的a r p a n e t ，是i n t e m e t 的前身。它丌发了传输 协议t c p 口，并提出了一些重要的概念，一些后来的产品和研究都是在此基础 上进行的。其中一个重要的网络就是1 9 8 6 年建立的n s f n e t ，带宽为5 6 k b s 的主干网，它连接了美国5 个n s f 超级计算中心。主干网带宽分别在1 9 8 0 年和 19 9 0 年左右提高到1 5 m b s 和4 5 m b s 左右，后来扩展到现在的i n t e r n e t 。 目前主干网的带宽已经从原来的5 6 k b s 发展到百兆、干兆，网络速度的提 高为跨地域的资源共享提供了基础和前提。正如g e o r g eg i l d e r 所说的那样，当 2 武汉理t 大学硕+ 学位论文 外部网络的速度和计算机内部网络的速度一样时，分布在网络上的计算机将形 成一种具有特定目的的联盟。 根据摩尔定理，计算机芯片的集成度或者说计算机c p u 的处理速度大约每 1 8 个月翻一番。目前p c 的速度较之以前有了非常大的提高，而大量的微机在许 多情况下其计算能力是闲置的，因此闲置的计算能力是可以通过共享手段让其 它的计算用户受益的。由于计算机绝对速度的提高，将大量闲置的计算资源充 分利用起来是网格的另外一个重要目的。 4 广泛的应用领域 在科学计算领域，网格在以下几个方面得到应用【5 1 。 分布式超级计算。和以前的高性能计算十分类似，不同的是以前的高性能 计算大多是集中式的，主要靠一个地方的高性能计算机完成计算任务。目前遇 到的许多科学与工程计算问题是无法在任何一台超级计算机上解决的，因此需 要更多的超级计算机联合起来完成，网格可以把分布式的超级计算机集中起来， 协同解决复杂的大规模问题。从集中计算到分布式计算，是网格功能的重要体 现。 高吞吐率计算。高吞吐率计算和高性能计算相比侧重点不同，高性能计算 关心的是几个月、一年甚至是几年完成的计算量，度量的时间单位比较大。高 吞吐率计算关心的是在一段相对较长的时间内解决问题的多少，而对短期内求 解问题的多少并不是十分关心。对于这样的问题，可以利用c p u 周期窃取的技 术，将大量空闲计算机的计算资源集中起来，提供给对时间不太敏感的问题， 作为计算资源的一种重要来源。 数据密集型计算。对于数据密集型问题，数据采集地点、数据处理地点、 数据分析与结果存放地点、可视化设备的地点等往往不在同一个地方，数据密 集型问题的求解往往同时会产生很大的通信和计算需求，需要网格能力才可以 解决。比如许多高能物理实验、数字化天空扫描、气象预测等都是数据密集型 问题，网格可以在这类问题的求解中发挥巨大作用。 另外，在社会经济生活领域，网格可以在基于广泛信息共享的人与人交互、 更广泛的资源贸易等领域得到应用。 网格是一种面向问题和应用的技术，随着网格技术的不断完善和应用领域 的不断扩展，网格可以在更多的领域得到应用，发挥更大的作用。 3 武汉理工人学硕十学位论文 1 2 国内外研究现状 1 2 1 国外研究现状 目前，在国际上影响最大的网格研究项目之一是g l o b u s 6 1 。这个项目的成员 来自美国a r g o n n e 国家实验室数学与计算机分部、南加州大学信息科学学院和 芝加哥大学分布式系统实验室等单位，并与美国国家计算科学联盟、n a s a 信 息能源网格( i p g ) 项目、美国国家先进计算基础设施同盟( n i 纨c i ) 等建立了 伙伴关系。g l o b u s 项目的主要工作是开发并解决建立网格所需要的基本技术。 g l o b u s 项目推出的工具集g l o b u st o o l k i t ( g t ) 【6 7j 版本有2 x ，3 x 及4 x ，目前 最新版本是4 2 。迄今为止，g l o b u s 项目开发的g l o b u st o o l k i t 已经成为事实上 的网格标准。一些重要的公司，包括i b m 、m i c r o s o f t 、c o m p a q 、c r a y 、s g i 、 s u n 、f u j i t s u 、h i t a c h i 、n e c 等已经公开宣布支持g l o b u st o o l k i t 。大多数网格 项目也都是基于g l o b u st o o k i t 所提供的协议及服务建设的，例如美国的物理网 格g r i p h y n 、欧洲的数据网格d a t a g r i d 、荷兰的集群计算机网格d a s 2 、美国能 源部的科学网格和d i s c o m 网格、美国学术界的t e r a g r i d 等等。 美国国家科学基金资助有多家研究机构和大学承担的p e t a 级g r i p h y n 网格， 开发通用的基础设施、工具和服务，集成网格基础设施，通过v d t 提供r & d 和实验室需要的软件和工具集。 其它一些网格技术研究的项目有支持计算密集型负载管理的c o n d o r ，应用 层调度研究项目等。 欧洲最著名的网格项目是欧盟资助的欧洲原子核研究中心的d a t a g r i d ，针对 高能物理应用领域，解决海量数据的分解存储和处理问题，同时将之扩展到地 球观察应用和生物应用，并寻找将其推广的可能。正在开展面向高能物理、地 球观测、生物和医疗图像处理的数据网格技术的研究工作，并推出了国际网格 计划，研究内容主要包括：数据访问、数据副本管理、原数据管理、数据安全 和查询优化等。 欧洲比较有名的网格项目还有荷兰网格、爱尔兰网格、欧洲网格计算数据 库、俄罗斯科学网格、n o r d u 网格等。 同本是亚洲开展网格研究最早的国家，n i n f 是其正在实施的全球计算基础 设旌项目，它允许用户访问广域网范围内的软硬件和数据资源。b r i c h s 是日本的 4 武汉理： 大学硕： 学位论文 另一个网格研究项目，是一个性能评价系统，允许在典型的高性能全球计算环 境下分析和评价不同的调度策略。 1 2 2 国内研究现状 中国的网格研究可以追溯到上世纪9 0 年代未。1 9 9 9 年 - 2 0 0 0 年，国家8 6 3 计划实施了国家高性能计算环境重点项目，建立了由5 个高性能计算中心构成 的国家高性能计算环境，开发了环境软件和一批示范应用，形成了网格的雏形。 进入2 l 世纪，在国家8 6 3 计划中，把高性能计算和网格作为重要的研究方 向，设立了“高性能计算机及其核心软件”重大专项。该项目历时4 年( 2 0 0 2 年 2 0 0 5 年) ，国内有2 3 家单位、7 0 0 多名研究人员参加，在网格环境、网格软件 和网格应用等几个方面，完成了一批重要的研究课题，中国国家网格的建立和 应用是该重大专项研究成果的集中体现。 中国国家网格遵循以网格技术支持多领域应用的思想1 8 ，以行业信息化应用 为突破口，在资源环境、科学研究、服务业和制造业等4 个领域，一期成功研 制了国家地址调查应用网格、航空制造应用网格、中国气象应用网格、科学数 据应用网格、新药发现应用网格、生物信息应用网格、数字林业应用网格、仿 真网格、油气地震勘探应用网格及交通信息服务应用网格等1 0 个重要的行业应 用网格。二期的应用网格有中国气象应用网格、水利应用网格、天体大规模并 行数值计算软件平台、中医药数据网格、高性能计算化学应用系统、药物研发 网格、基于网格的铁路货运信息综合应用系统及科学数据网格。 目前，我国己开展教育科研网格、织女星网格、先进计算基础设施北京上 海试点工程和上海网格等网格项目的研究。 1 2 3 计算化学网格研究现状 近年来许多国家都建立了以化学领域为应用的网格或者网格中问件项目， 美国的c o m p u t a t i o n a lc h e m i s t r yg r i d ( c c g ) 项目1 9 , 1 0 1 ，是一个为期三年的美国 国家科学基金资助的项目，目的是开发一个计算基础设施为科学家进行分子结 构和功能研究提供服务。由肯塔基大学领导，路易斯安那州立大学、俄亥俄州 超级计算中心、德克萨斯先进计算中心和国家超级计算应用中心参与合作。目 前已将大多数常用的计算化学软件如g 0 3 ，g a m e s s ，m o l p r o 等进行封装对外 武汉理工大学硕十学位论文 提供服务。 另外还有欧盟资助的o p e n m o lg r i d t l l 】，英国e p s r c 委员会资助的 c o m b e c h e m l l 2j 项目，以及捷克的c h a r o n 项目等。 国内计算化学网格的相关研究工作刚刚起步，c c g r i d ( c o m p u t a t i o n a l c h e m i s t r yg r i d ) 是由中科院和中科院计算机网络信息中心资助的开发项目【1 3 】， 其主要目标是利用w 曲技术为从事计算化学领域研究的科学家提供直接在个人 电脑上进入计算网格平台进行高性能计算的统一工作界面。目前c n g r i d t 8 it - 已经 有g a u s s i a n 0 3 ，a d f 2 0 0 4 ，g a m e s s 三个计算化学软件可以提供对外服务。 另外，基于中国教育网格公共支撑平台( c g s p ，c h i n ag r i ds u p p o r tp l a t f o r m ) 1 1 4 , 1 5 】，它构建并开发了一个用于计算化学领域科研工作的网格中间件“化学协同 工作环境( c h e m i c a lc o l l a b o r a t i o ne n v i r o n m e n t ，c c e ) 系统 ，使之成为一个基 于现有网格标准的计算化学资源共享、学术研究与交流虚拟平台。 1 3 论文的组织结构 全文共分五章： 第一章，绪论，主要介绍本论文的研究背景和国内外研究现状，分析构建 网格的可行性和必要性，以及论文的组织结构。 第二章，介绍网格计算技术的相关基础知识，包括网格的基本概念、特点、 网格的体系结构以及网格开发工具包g l o u b st o o l k i t4 。 第三章，计算化学网格平台的构建。阐述了计算化学网格的总体设计思想， 并介绍了在局域网环境下，利用g l o u b st o o l k i t4 作为网格中间件对其进行实现 的整个过程。 第四章，计算化学网格应用服务开发。在前一章所构建的计算化学网格平 台上进行了网格服务的开发与实现。 第五章，总结与展望。对本论文的研究工作进行了总结，指出进一步研究 工作的重点和方向。 1 4 本章小结 本章介绍了本课题的研究背景及国内外研究现状，并分析了构建网格的必 要性和可行性，后面的章节将具体讲述计算化学网格的设计及其应用丌发。 6 武汉理丁大学硕士学位论文 2 1 网格概述 2 1 1 网格的概念 第2 章网格计算技术 网格概念产生于9 0 年代中期，是借鉴电力网的概念提出来的。网格的最终 目的是希望用户能够在使用网格计算能力时，就如同现在使用电力一样方便。 网格计算是利用互联网把分散在不同地理位置的计算机组织成一个“虚拟的超 级计算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算是由 成千上万个“节点 组成的“一张网格 ，专门针对复杂的科学计算，所以称这 种计算方式为网格计算。简单地讲，网格是把整个网络整合成一台巨大的超级 计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资 源的全面共享。 将先进计算基础设施( 网格) 与信息高速公路相比较，信息高速公路是信 息传输和获取的信息基础设施；而先进计算基础设施则是信息处理的信息基础 设施。虽然国内外都不断把信息高速公路扩充频带宽度、改进路由器性能，但 是，国外科学家认为：真f 的下一代信息基础设施是先进计算基础设施，它将 使以计算机为主体的信息处理发生根本性的变化【】。 网格不同于国外正在研究的i n t e m e t2 或下一代i n t e m e t ( n g i ) ，网格可以 称作是第三代i n t e m e t ，它不仅仅包括计算机和网页，而且包括各种信息资源， 例如数据库、软件以及各种信息获取设备等，它们都连接成一个整体，整个网 络如同一台巨大无比的计算机，向每个用户提供一体化的服务【1 7 l 。 网格技术要解决的信息共享不是一般的文件交换与信息浏览，而是要把所 有个人与单位连接成一个虚拟组织( v i r t u a lo r g a n i z a t i o n ) ，实现在动态变化环境 中有灵活控制的协作式信息资源共享。网格与w e b 最大的区别是一体化，即用 户看到的不是数不清的门类繁多的网站，而是单一的入口和单一的系统映像。 现有的w e b 信息服务器就好像i n t e m e t 世界上一个个孤立的小岛。虽然这些“小 岛 之问暂时还有充足的带宽资源可用，但大量的信息还是被“锁”在各个小 岛的中央数据库罩，各“孤岛”之间并不能按照用户的指令进行有意义的交流。 解决这一问题的最佳途径是建立跨越w e b 的信息分布和集成应片j 程序逻辑一网 7 武汉理t 大学硕1 ：学位论文 格。 网格的兴起改变了传统的c l i e n t s e r v e r ( c s ) 和c l i e n t c l u s t e r 结构，形成 新的p e r v a s i v e g r i d 体系结构。客户端是各种各样的上网设备，而连在网上的各 种服务器将组成单一的逻辑上的网格。网格的本质特征表现在应用上，网格的 服务包括文件消息、计算、信息内容、事务处理和知识服务等，因此网格可大 致分为数据网格、计算网格、信息网格与知识网格等。 全球网格研究的领军人物、美国a r g o n n e 国家实验室的资深科学家、美国 g l o b u s 项目的领导人i a nf o s t e r ，在1 9 9 8 年这样描述网格：“网格是构筑在互联 网上的一组新兴技术，它将高速互联网、高性能计算机、大型数据库、传感器、 远程设备等融为一体，为科技人员和普通老百姓提供更多的资源、功能和交互 性。互联网主要为人们提供电子邮件、网页浏览等通信功能，而网格功能则更 多更强，让人们透明地使用计算、存储等其他资源【4 】。” 2 0 0 0 年，l a nf o s t e r 把网格进一步描述为“在动态变化的多个虚拟机构问共 享资源和协同解决问题【l8 1 。 2 0 0 2 年7 月，i a nf o s t e r 又将网格限定为必须同时满足三个要求【1 9 】： 1 ) 在非集中控制的环境中协同使用资源； 2 ) 使用标准的、开放的及通用的协议和接口； 3 ) 提供非平凡的服务。 总而言之，网格不外乎是要利用互联网把分散在不同地理位置的电脑组织 成一台“虚拟的超级计算机”，其中每一台参与的计算机就是一个节点，就像摆 放在围棋棋盘上的棋子一样，而棋盘上纵横交错的线条对应于现实世界的网络， 所以整个系统就叫做“网格 。在网格上做计算，就像下围棋一样，不是单个棋 子完成的，而足所有棋子互相配合形成合力完成的。传统互联网实现了计算机 硬件的连通，w e b 实现了网页的连通，而网格试图实现互联网上所有资源的全 面连通。 2 1 2 网格的特点 ( 1 ) 分布与共享 分布性是网格的一个最主要的特点。网格的分布性首先是指网格的资源是 分布的。组成网格的计算能力是不同的计算机、各种类型的数据库乃至电子图 8 武汉理t 大学硕l ：学位论文 书馆，以及其它的各种设备与资源，是分和在地理位置互不相同的多个地方， 而不是集中在一起的。分布的网格般涉及的资源类型复杂，规模较大，跨越 的地理范围较广。 因为网格资源是分布的，因此基于网格的计算一定是分布式计算而不是集 中式计算。在网格这一分布式环境下，需要解决资源与任务的分配和调度问题， 安全传输与通信问题，实时性保障问题，人与系统以及人与人之间的交互问题 等。 网格资源虽然是分布的，但是他们却是可以充分共享的。即网格上的任何 资源都可以提供给网格上的任何使用者。共享是网格的目的，没有共享便没有 网格，解决分布资源的共享问题是网格的核心内容。这里的共享不仅指一个地 方的计算机可以用来完成其它地方的任务，还可以指中间结果、数据库、专业 模型库，以及人才资源等各方面的内容。 分布是网格硬件在物理上的特征，而共享是在网格软件支持下实现的逻辑 上的特征，这两者对于网格来说都是十分重要的。 ( 2 ) 自相似性 自相似性在许多自然和社会现象中大量存在，一些复杂系统都具有这种特 征，网格就是这样，网格的局部和整体之间存在着一定的相似性，局部往往在 许多地方具有全局的某些特征，而全局的特征在局部也有一定的体现。国家级 的网格是在省一级网格的基础建造起来的，国家级网格和省级网格都有各自的 计算中心。网格的自相似性在构造网格和研究过程中有非常重要的意义。 ( 3 ) 动态性与多样性 在网格中，原来拥有的资源或者功能，在下一时刻可能就会出现故障或者 不可用；而原来没有的资源，可能随着时间的推移会不断地加入进来。网格的 动态性包括动态增加和动态减少两个方面的含义。 网格资源的动态增加需要提高网格的扩展性问题，也就是说在网格的设计 与实现时，必须考虑到新的资源能否很自然地加入到网格中来，并且可以和原 来的资源融合在一起，共同发挥作用。网格扩展要求体现在规模、能力、兼容 性等几个方面。一开始网格的规模往往不是特别大，不需要也不可能一步到位， 但是网格应该能够允许对它自身进行多种形式的扩展，网格规模扩展后网格的 相应管理软件也应该能够满足扩展性的要求，网格软件的升级要能够向下兼容。 网格资源是异构和多样的。在网格环境中可以有不同体系结构的计算机系 9 武汉理工大学硕十学位论文 统和类别不同的资源，因此网格系统必须能够解决这些不同结构、不同类别资 源之间的通信和互操作问题。正是因为异构性或者说资源多样性的存在，为网 格软件的设计提出了更大的挑战，只有解决好这一问题，才会使网格更有吸引 力。 ( 4 )自治性与管理的多重性 网格上的资源，首先是属于某一个组织或者个人的，因此网格资源的拥有 者对该资源具有最高级别的管理权限，网格应该允许资源拥有者对他的资源有 自主的管理能力，这就是网格的自治性。 但是网格资源也必须接受网格的统一管理，否则不同的资源就无法建立相 互之间的联系，无法实现共享和互操作，无法作为一个整体为更多的用户提供 方便的服务。 因此网格的管理具有多重性，一方面它允许网格资源的拥有者对网格资源 具有自主性的管理，另一方面又要求网格资源必须接受网格的统一管理。 2 2 网格体系结构 网格的体系结构是关于如何建造网格的技术。它给出了网格的基本组成与 功能，描述了网格各组成部分的关系以及它们集成的方式或方法，刻画了支持 网格有效运转的机制。f o s t e r 将网格体系结构定义为“划分系统基本组件，指定 系统组件的目的与功能，说明组件之间如何相互作用的技术【2 0 】 。 网格计算技术从诞生之日起，其体系架构就在不断更新演化。主要可分为 两个阶段，最初采用了支持元计算的传统的以协议为中心的五层沙漏模型1 2 ， 后来转向了面向服务的开放网格服务体系结构( o p e ng r i ds e r v i c e a r c h i t e c t u r e ， o g s a ) 睇z j 及w e b 服务资源框架( w e bs e r v i c er e s o u r c ef r a m e w o r k ，w s r f ) 。 2 2 1 五层沙漏模型 五层沙漏模型是一种影响十分广泛的体系结构，它的主要特点就是简单， 主要侧重于定性的描述而不是具体的协议定义，因此很容易从整体上进行理解。 其基本思想是以协议为中心，强调服务、a p i 和s d k 的重要性。 五层沙漏模型根据该结构中各组成部分与共享资源的距离，将对共享资源 进行操作、管理和使用的功能分散在五个不同的层次，从下往上分别是：构造 l o 武汉理工人学硕十学位论文 层、连接层、资源层、汇聚层和应用层，如图2 1 所示1 2 3 1 。越向下层就越接近于 物理的共享资源，因此该层与特定资源相关的成分就比较多；越向上层就越感 觉不到共享资源的细节特征，也就是说上层是更加抽象共享资源的表示，因此 就不需要关心与底层资源相关的具体实现问题。 沙漏结构的内在含义就是各部分协议的数量是不同的，对于其最核心的部 分，要能够实现上层各种协议向核心协议的映射，同时实现核心协议向下层各 种协议的映射，核心协议在所有支持网格计算的地点都应该得到支持，因此核 心协议的数量不应该太多，这样核心协议就形成了协议层次结构中的一个瓶颈。 从沙漏形状结构可以看出，在五层结构中，资源层和连接层共同组成了瓶颈部 分。 l 应户日层 1 上 汇聚层 1r 资源层 1 r i连接层 l 工具与应用 嬲。 锱警的 各种资源，如计算机、 传感器、网络等 、 图2 1 五层沙漏模型体系结构 构造层：基本功能足控制局部的资源，向上提供访问资源的接口，构造层 的资源可以是计算资源、存储系统、数据库、网络资源和传感器等。构造层应 该实现的功能是：查询机制( 发现资源的结构和状态等信息) ，控制服务质量等。 连接层：基本功能是实现安全的相互通信，定义了核心的通信和认证协议， 用于网络之间的事务处理。 资源层：主要功能是实现对单个资源的共享，它建立在连接层的通信和认 证协议上，定义了安全初始化、监视、控制单个资源的共享操作、审计以及付 费等。 汇聚层：主要功能是协调多种资源的共享，汇聚层组件是为了满足虚拟组 武汉理t 大学硕士学位论文 织或者应用领域的需求，所以必须提供通用的、更高级协议、a p i 和s d k 。 应用层：存在于虚拟组织环境中，根据任一层上定义的服务来构造应用。 每一层都定义了协议，以提供对相关服务的访问，这些服务包括资源管理、数 据存取、资源发现等。在每一层，可以将a p i 定义为与执行特定活动的服务交 换协议信息的具体实现。 2 2 2 开放网格服务体系结构 开放网格服务体系结构( o g s a ) ，它是在五层沙漏模型的基础上，结合w 曲 s e r v i c e 技术提出来的，w e bs e r v i c e 技术和网格技术是o g s a 的两大关键支撑技 术。 网格服务是一种w 曲服务，该服务提供了一组接口，这些接口的定义明确并 且遵守特定的管理，解决服务发现、动态服务创建、生命周期管理、通知等问 题。网格服务可以以不同的方式聚集起来满足虚拟组织的需要，虚拟组织自身 也可以部分地根据他们操作和共享的服务来定义。简单地说，网格服务= 接e l 行为+ 服务数据。o g s a 以服务为中心【2 4 1 ，其中一切都是服务，通过提供一组相 对统一的核心接口，所有的网格服务都基于这些接口实现，可以很容易地构造 出具有层次结构的、更高级别的服务，这些服务可以跨越不同的抽象层次，以 一种统一的方式来看待。这种观念，有利于通过统一的标准接口来管理和使用 网格。一个网格服务就是一个符合一套约定和接口的显状态w - e b 服务，这些约定 和接口提供了对显状态服务的种可控的、抗错的和安全的管理。从定义可以 看出，网格服务是建立在、b 服务基础上的，是为了网格基础设施和应用的需要 而专门设计的一种特殊w 曲服务，是对w r e b 服务的精练和进化。 与一般的w 曲服务一样，网格服务采用了w s