（计算机应用技术专业论文）基于网格的海洋环境信息可视化服务技术研究.pdf

基于网格的海洋环境信息可视化服务技术研究 摘要 海洋是重要的能源和资源宝库，中国是一个海洋大国，更是人口大国，社会 和经济发展必然越来越多地依赖海洋。为了迎接海洋2 1 世纪，我国从国家发展 战略高度出发，将“数字海洋”列入叫二一五”和国家海洋科学技术发展计划。“数 字海洋”随着“数字地球”战略的提出应运而生，由海量、多分辨率、多时相、多 类型海洋监测监视数据及其分析算法和模型构建而成的海洋信息系统。 网格技术近年来逐渐成为计算机领域的研究热点，其目的是为了在分布、异 构、自治的网络资源环境上构造动态的虚拟组织，并在其内部实现跨自治域的资 源共享与资源协作，有效地满足面向互联网的复杂应用对大规模计算能力和海量 数据处理的需求。网格技术的许多优点，使得网格被称为继传统互联网、w e b 之后的第三代互联网。 本文的工作是8 6 3 计划“基于网格的海洋环境数据共享与信息服务技术的研 究”硝o 2 0 0 6 a a 0 9 2 1 3 9 ) 的重要组成部分，已实现的主要工作如下： 1 、实现了海洋环境信息数据共享网格服务 在分析海洋环境信息数据特点的基础上，采用最新网格中间件o g s a - d a i ( o p e ng r i ds e r v i c ea r c h i t e c t u r ed a t aa c c e s sa n di n t e g r a t i o n ) 作为底层支撑平台，基 于g t 4 ( g l o b u st o o l k i t4 ) 开发数据共享网格服务，将异构分布的海洋环境信息数 据资源集成到网格环境中，屏蔽各个节点结构、运行环境上的差异，实现对这些 多数据库系统的统一访问，为可视化应用提供数据支撑。 2 、实现了海洋跃层分析可视化网格服务 基于g t 4 ，编写可视化服务，将并行可视化方法运用到网格平台上，利用并 行和分布思想，将海洋跃层分析可视化任务分割成多个可以由单机处理的子任 务，有效的实现了海洋跃层分析的并行远程可视化。 关键词：海洋；网格；数据共享；可视化；o g s a - d a i t e c h n oio g ys t u d yo fo c e a ne vir o n m e n t ai in f o r m a tio n vis u aiiz a tio nb a s e do n1 3 rids e r vio e a b s t r a c t t h eo c e a ni sa l li m p o r t a n tt r e a s u r e h o u s eo fe n e r g ya n dr e s o u r c e c h i n ai sa m a j o rm a r i t i m ec o u n t r y t h es o c i a la n de c o n o m i cd e v e l o p m e n ti sd e p e n d e do nt h e o c e a nm o r ea n dm o r e a sas t r a t e g yo fs c i e n c ea n dt e c h n o l o g yd e v e l o p m e n t ，t h e d i g i t a lo c e a n h a sb e e np u ti n t ot h e ll t hf i v e - y e a rp l a n a n dt h es t a t eo c e a n s c i e n c ea n dt e c h n o l o g yd e v e l o p m e n tp r o j e c t ，b yc h i n ag o v e r n m e n tf o r t h e2 1 s to c e a n c e n t u r y t h e d i g i t a lo c e a n i sp r o p o s e d w i t ht h e d i g i t a le a r t h i ti sa n i n f o r m a t i o ns y s t e mc o m p o s e do fl a 唱eo c e a nd a t aw i t hm u l t i r e s o l u t i o n sa n dv a r i o u s t y p e s ，a n da l s om a n ya n a l y s i sa l g o r i t h m sa n dm o d e l s g r i dt e c h n i q u eh a sg r a d u a l l yb e c o m eh o tr e s e a r c hi nt h ec o m p u t e rf i e l di nr e c e n t y e a r s i t sp u r p o s ei st ob u i l d i n gd y n a m i cv i r t u a ls y s t e mi nd i s t r i b u t e d ，h e t e r o g e n e o u s a n da u t o n o m i cg r i dr e s o u r c ee n v i r o n m e n t a n di ni t si n t e m a la u t o n o m yt oa c h i e v e c r o s s d o m a i nr e s o u r c e s h a r i n ga n dr e s o u r c e s - c o o p e r a t i o nt oe f f e c t i v e l ym e e tt h e c o m p l e xa p p l i c a t i o n o r i e n t e di n t e r n e to nl a r g e s c a l ec o m p u t i n gp o w e ra n dm a s s i v e d a t a - p r o c e s s i n gr e q u i r e m e n t s g r i dh a sm a n ya d v a n t a g e s ，s oi ti sc h a r a c t e r i z e da st h e t h i r dg e n e r a t i o no ft h ei n t e r n e ta f t e rt r a d i t i o n a li n t e r n e ta n dt h ew e b t h ew o r ki nt h i sp a p e ri sa ni m p o r t a n tp a r to ft h e “8 6 3 ”p r o j e c t “s t u d yo i l g r i db a s e do no c e a ne n v i r o n m e n td a t a s h a r i n ga n d i n f o r m a t i o ns e r v i c e ”( n o 2 0 0 6 a a 0 9 2 1 3 9 ) t h ef o l l o w i n ga r et h em a i nw o r k s 1 ，r e a l i z e dd a t as h a r i n go ft h eo c e a ne n v i r o n m e n ti n f o r m a t i o n i nt h i s p a p e r ，b a s e d o na n a l y z i n gt h e s p e c i a l t i e so f o c e a ne n v i r o n m e n t i n f o r m a t i o nd a t a , w er e a l i z e dad a t as h a r i n gs y s t e m ，w h i c hr e a l i z e dau n i f i e dd a t a a c c e s so nt h eh e t e r o g e n e o u sa n dd i s t r i b u t e do c e a ne n v i r o n m e n td a t ar e s o u r c e s a n d t h ed a t as h a r i n gs y s t e mi sc o n s t r u c t e dw i t hg t 4 ( g l o b u st o o l k i t4 ) a n do g s a - d a i ( o p e ng r i ds e r v i c ea r c h i t e c t u r ed a t aa c c e s sa n di n t e g r a t i o n ) i i i 2 ，b a s e do ng r i dt e c h n o l o g y ，r e a l i z e dd a t ap a r a l l e lv i s u a l i z a t i o no ft h eo c e a n e n v i r o n m e n ti n f o i r m a t i o n i nt h i sp a p e lg r i dp l a t f o r mi m p l e m e n tp a r a l l e lv i s u a l i z a t i o no fl a r g e s c a l ed a t a s e t s b yd e v e l o p sv i s u a l i z a t i o n s e r v i c eb a s e do ng l o b u st o o l k i t4 0 p a r a l l e l v i s u a l i z a t i o nm e t h o d sw e r e a p p l i e d t ot h e g r i dp l a t f o r m ，a n dl a r g e - s c a l e o f v i s u a l i z a t i o nm i s s i o nw a sd i v i d e di n t oan u m b e ro fs u b m i s s i o nw h i c hc a nb e s t a n d a l o n ed e a lw i t h k e y w o r d s ：o c e a n ；g r i d ；d a t as h a r i n g ；v i s u a l i z a t i o n ；o g s a - d a i i v 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特另, l j j i 以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含未获得 ! 篷! 垫遗直墓丝霞塞缱别直塑的：奎拦互窒2 或其他教育机构的学位或证书使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 学位论文作者签名：茜象 签字日期：沙7 年月日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人 授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国科学技术信息 研究所将本学位论文收录到中国学位论文全文数据库，并通过网络向社会公 众提供信息服务。( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：酋缸 签字日期：伽7 年易月后日 导师粹序渤 签字日期k ( | 年6 月6 日 基子网格的海洋环境信息可视化服务技术研究 1 绪论 1 1 引言 海洋是重要的能源和资源宝库，是维持人类发展的坚强后盾，是一国人民生 存和发展的基础。地球总面积是5 1 亿平方公里，其中海洋3 6 亿平方公里。海 洋是维持人类可持续发展的重要战略空间，蕴藏着丰富的油气资源、动力能源、 矿产资源、生物资源和化学资源。全球海洋专属经济区内蕴藏着世界已探明石油 储量的8 7 ，提供着世界渔业产量的9 4 。海洋还是国际经济交流的主要载体， 国际贸易量的9 5 是由海运完成的。大规模合理有序、可持续开发和利用海洋是 解决人类2 1 世纪陆地资源的逐渐匮乏、人口的膨胀性增长的重要途径。由于国 际社会对陆地空间的分割已基本完毕，各种陆地资源逐渐趋向枯竭，近几十年来， 国际社会已把社会可持续发展的目光和精力转向海洋，新世纪海洋将成为世界经 济和宝贵财富和最后空间。2 1 世纪是人类开发利用海洋的新世纪。 中国是一个海洋大国，更是人口大国，社会和经济发展必然越来越多地依赖 海洋。为了迎接海洋2 1 世纪，我国从国家发展战略的高度出发，将“数字海洋” 列入“十一五”和国家海洋科学技术发展计划。“数字海洋”是随着“数字地球”战略 的提出应运而生的，由海量、多分辨率、多时相、多类型海洋监测监视数据及其 分析算法和模型构建而成的海洋信息系统。随着这一发展目标的确定和实施，运 用数字化手段统一处理和表现海洋过程已成为迫切需要解决的重大课题，迫切需 要开发面向海洋环境信息数据的可视化方法。但随着科学计算可视化技术的不断 发展，对高性能、大容量分布存储和分布处理能力的需求不断增强。大规模数据 的存储和可视化已不可能在单机上完成，而且传统的基于超级并行计算机或者计 算机集群进行并行可视化的方法不具备经济有效、可扩展的特性。 另外，海洋环境信息数据来源有多种不同的方式。不同来源的海洋数据在数 据获取方式上具有数据标准不同、数据精度和分辨率不同、不同海区的数据密度 不同、投影方式和基准面不同等特点。而且海洋环境数据在存储方式上，跨越多 个不同的平台，数据格式和结构各不相同。因此，如何构建高效、可靠的海洋环 境信息数据资源共享系统，提供海量存储技术、快速查询技术和有效的数据访问 基于网格的海洋环境信息可视化服务技术研究 与集成技术，为海洋环境信息数据的可视化提供全面、可靠数据，也成为可视化 服务技术研究的一个关键问题。 九十年代后期国际上兴起了一项重要信息技术网格计算【1 & 3 , 4 1 ，其目标 是消除资源和信息孤岛，实现网络虚拟环境上的资源共享和协同工作。为达到这 一目标，网格技术必须提供大规模网络环境内的资源管理、信息管理、数据管理 以及安全管理等基础设施功能。网格作为一种技术、一种思想甚至是一种公共的 基础设施，它的终极目标就是要将i n t e m e t 上的资源、信息有效的聚集和整合起 来，为最终用户提供各种高效、经济、方便易用的服务。 网格的蓬勃发展为海洋环境信息的可视化研究提供了崭新的思路：使用网格 技术构建可视化网格来聚集和整合大规模网络环境中的存储和计算资源，提供超 级的计算和存储能力，为大规模数据的可视化应用提供强有力的技术支撑平台。 1 2 海洋环境信息可视化服务技术的研究目标与内容 1 2 1 研究目标 海洋环境信息可视化服务技术的研究目标是通过引入网格技术，高效集成网 络上海量异构分布的海洋环境信息数据、高性能计算机群以及可视化工具等多种 资源，利用中间件设计、应用软件部署等技术手段，为用户屏蔽底层异构的物理 资源，形成单一虚拟的数据访问、管理和处理环境，构建面向海洋环境信息的网 格系统： 1 、实现异构、分布海洋环境信息数据的统一访问获取，促进海洋环境 数据的交流与共享，为可视化提供全面的数据支持； 2 、实现海量海洋环境信息数据的远程并行可视化处理，以满足海洋环 境信息数据可视化在时效性、动态性和规模等方面的需求。 1 2 2 研究内容 海洋环境信息可视化服务的研究内容涉及到海洋环境信息异构分布数据共 享、海洋环境信息数据可视化、网格等多个领域，同时其自身的目标和特点又赋 予它很多新的研究内容。通过网格技术构建网格支撑平台，对大规模网络环境中 2 基于网格的海洋环境信息可视化服务技术研究 的资源进行聚集和统一有效的自治管理，为可视化应用提供一个透明、高效、稳 定的运行环境。主要包含以下几方面： 1 、海洋环境信息数据共享服务技术的研究 如前所述，海洋环境信息数据来源主要有：海洋卫星遥感，多波束调查资料， 历次海洋常规调查，台站浮标观测等。这些不同来源的海洋数据在数据获取方式 主要具有以下的特点：数据标准不同、数据精度和分辨率不同、不同海区的数据 密度不同、投影方式和基准面不同。海洋数据的获取方式上的这些特点在任何时 期都存在，它是不可避免的。另一方面，海洋数据在存储方式上，跨越多个不同 的平台，数据格式和结构各不相同，并且数据量大。 因此，数据共享技术需要抽象各种数据存储系统，形成一个抽象模型，将存 储、检索数据集等高层用户的请求映射为异构分布式存储环境中的底层存储访问 操作，为不同的数据存储系统提供统一的数据访问接口，实现广域范围内对数据 有效和统一的访问和管理。 2 、基于网格的远程并行可视化服务技术的研究 随着海洋科学研究的不断深入发展，海洋环境信息数据规模不断增大。大规 模数据的可视化不可能再在单个计算机上完成。另外，传统的基于超级并行计算 机或者计算机集群进行并行可视化研究的方法不具备经济有效、可扩展的特性。 基于网格的远程并行可视化技术，通过聚集和整合大规模网络环境中空闲的计 算、存储和绘制资源，从而为可视化应用提供超级的计算、存储和绘制能力，有 效的利用网络中大量的闲散资源，提高资源的利用率，同时也更加经济。 1 3 海洋环境信息可视化网格研究现状 国内外学术界在利用网格技术管理海洋环境信息的应用研究领域已开展了 大量的初步研究工作。欧洲e s c i e n c e 研究计划在英国国家环境e s c i e n c e 研究中心 ( n i n e s ) 专门设立了g o d w a ( g 耐f o ro c e a nd i a g n o s t i c s ，i n t e r a c t i v ev i s u a l i z a t i o n a n d a n a l y s i s ，海洋数据分析、交互可视化和分析网格) 【5 】研究项目，致力于通过 监测数据和模型求解研究海洋温盐度循环，主要包括：设计数据抽取、处理、分 析和可视化网格服务，通过工作流技术组织分布式网格应用，并和其他e s c i e n c e 研究计划网格项目开展合作。 3 基于网格的海洋环境信息可视化服务技术研究 美国加洲大学圣地亚哥分校的l o o k i n g1 6 , 7 ( t h el a b o r a t o r yf o rt h eo c e a n o b s e r v a t o r yk n o w l e d g ei n t e g r a t i o ng r i d ) 研究课题组主要研究如何通过网格技术 将联合的海洋监测数据整合构造知识网格，包括以下研究行为：全面和定量表现 选择区域的大气、海体和海底地貌的物理特性、流体特性；从相关系统单元中实 时获取信息；识别和观测紧急现象；在物理环境上开展交互式时延；根据事件重 新设置观测取样系统；根据实际数据修订监测模型和监测行为；长期持续开展和 海洋环境的实时交互。 p o s e i d o n 8 】是由m i t 主持的以分布式计算为基础的海洋学研究项目，集成了 建模、可视化和参数计算方法等功能模块，其项目目标为：通过分布式计算环境 融合物理海洋学、生物海洋学和海洋声学等学科手段进行海洋预测；通过可调整 建模和采样实现数据驱动的海洋预测；构建数据分析和可视化以及预测数据模拟 的无缝连接环境，通过面向科学工作者的w e b 界面方便海洋科学工作者对复杂 分布式计算服务的使用。这样，海洋研究者和预测者可以专著于要研究的科学问 题，而从复杂的计算任务管理中解脱出来。 美国能源部资助的e s g i i 驯( e a r t hs y s t e mg r i di i ) 以网格技术为基础协同存 储在全国范围内的气象数据构成了整个气象研究界的共享数据资源。e s g i i 也包 扩了海洋信息数据的共享解决方案。e s g i i 采用了g l o b u st o o l k i t 作为网格中间 件的解决方案，在历时5 年多项目研究中，已取得了重要进展。截止到2 0 0 6 年 7 月，北大西洋的5 t b 海洋数据已经作为测试数据提供到了e s g i i 平台上，并且 未来将有更多的全球海洋数据通过e s g i i 共享和使用。 我国台湾中央研究院与台湾大学大气科学系、中央大学大气科学系、师范大 学大气科学系共同开发大气科学资料网格系统，运用数据网格相关技术来整合分 散的存储资源，并提供一个可扩展的数据存储平台。在该平台上，中央研究院网 格研究项目组开发了一套整合使用者介面，整合现有大气科学相关应用程序所需 的监测资料，实现了海洋数据存储系统( d i s t r i b u t e do c e a nd a t as y s t e m ，d o d s ) 。 利用该使用界面，研究人员可以有效且完整的存取监测数据，共同分享研究资源。 中国科学院开发的科学数据网槲1 0 ，1 1 1 ( s c i e n t i f i cd a t ag r i d ，s d g ) 是在科学数 据库海量数据资源的基础上，利用先进的数据网格技术、连接分布在全国的四十 多个研究所而建设的一个面向大规模分布式异构数据资源的共享平台和应用环 4 基于网格的海洋环境信息可视化服务技术研究 境，在海洋监测数据方面能够提供海洋化学数据子系统、海洋地球物理一重磁数 据库、优选断面数据子系统、波浪波谱数据子系统、a r g o 数据子系统、表层流 数据子系统、大气科学数据库等的统一访问服务。 1 4 本文主要工作和贡献 本文在对异构分布数据共享、海洋数据可视化和网格领域内的已有工作进行 深入研究以及在对海洋环境数据特点深入分析的共同基础之上，结合可视化发展 的趋势和需求，利用网格中间件，实现了大规模海洋数据的共享和远程并行可视 化，并通过网格门户将可视化能力以服务的形式提供给用户使用。本文的主要工 作和贡献如下： 1 、实现了海洋环境信息数据共享 在分析当前海洋环境信息数据特点的基础上，采用最新的网格中间件 o g s a d a i 作为底层支撑平台，基于g t 4 ，利用元数据目录统一管理各种异构 存储资源，将若干个异构分布海洋环境信息数据资源集成到一个特定的环境中， 屏蔽各个节点结构、运行环境上的差异，实现对这些多数据库系统的统一访问。 2 、实现了基于网格的海洋环境信息并行可视化 基于g t 4 ，编写可视化服务，将并行可视化方法运用到网格平台上，利用并 行和分布的思想，将大规模的可视化任务分割成多个可以由单机处理的子任务， 从而有效的实现了大规模数据集的实时可视化，创建了网格上的远程并行可视化 应用。 1 5 本文组织结构 本文将对海洋环境信息可视化网格服务技术的研究背景做系统分析，并对海 洋环境信息可视化网格服务的设计与实现做详细的介绍。本文组织结构如下： 第一章绪论，主要介绍课题的来源，研究目标以及研究内容，并概述本文 主要工作和本文的贡献。 第二章研究背景综述，对课题研究背景进行详细的说明，综述当前网格计 算技术、海洋环境信息可视化技术。 第三章海洋环境信息可视化网格平台体系结构，简要介绍海洋环境信息可 5 基于网格的海洋环境信息可视化服务技术研究 视化网格平台体系结构，详细介绍海洋环境可视化网格中数据共享服务的具体实 现，包括元数据库的设计，各功能模块的实现，并对网格中间件编程方法进行介 绍。 第四章海洋环境信息可视化应用服务实现，介绍海洋环境信息可视化应用 服务的体系结构，以海洋跃层分析为例，介绍海洋环境信息可视化网格中可视化 应用服务的实现，包括程序流程、跃层计算服务和任务分割方法。并展示了可视 化服务运行结果。 第五章总结与展望，对论文工作进行总结，提出下一步的研究方向，对网 格技术的发展进行展望。 6 基于网格的海洋环境信息可视化服务技术研究 2 研究背景综述 2 1 引言 网格概念的提出和网格技术的蓬勃发展为资源量不断增加、资源需求不断提 高的海洋环境信息可视化研究提供了新的思路。那么网格到底是什么，网格具有 什么样的能力和特点，网格能为海洋环境信息数据共享和可视化应用提供什么样 的支持；网格服务是什么，为什么采用网格服务的形式开发；本文为什么采用 g l o b u s 构建网格环境，如何用g l o b u s 开发网格服务；当前网格中的数据共享技 术有哪些方式，o g s a - d a i 是什么，它有什么优点，为什么选择它实现数据共享； 海洋环境信息可视化有哪些技术，构建海洋环境信息可视化网格有哪些难点问题 需要解决，现有的相关工作有哪些? 进行海洋环境信息可视化网格的研究就必须 对这些问题有全面的了解和深入的分析。 因此，本章将对网格的历史、发展、研究现状以及网格服务开发做详细全面 的介绍，另外也将对海洋环境信息可视化技术进行概述，总结当前已有工作。 2 2 网格基础知识 2 2 1 网格的出现 随着人们求解问题领域的不断扩展，所遇到的问题也越来越复杂，而且规模 越来越大，解决这些问题所需要的计算能力也在大幅度提高【1 1 。比如在天文学研 究中，天文望远镜每年所产生的数据不少于1 0p e t a b y t e s ( 1p e t a b y t e s = 1 0 1 y t e s ，1t e r a b y t e s = 1 0 1 2 b y t e s ，1g i g a b y t e s = 1 0 9 b y t e s ，1m e g a b y t e s = 1 0 6 b y t e s ) 。假设计算机处理1 m e g a b y t e s 的数据需要1 秒钟，则处理1 0 p e t a b y t e s 的数据需要1 0 1 0 秒约三百多年才能够处理完毕，显然这样的计算机是不能满足需 求的，这里还没有考虑数据的读写所需要的时间。假设目前一块硬盘的容量为 1 0 0 g i g a b y t e s ，则存放1 0 p e t a b y t e s 的数据需要( 1 0 x 1 0 1 5 ) ( 1 0 0 x 1 0 9 ) = l x l o s 块硬盘。 在高能和核物理研究中，在重力波的研究中，在与时间有关的三维系统研究 7 基于网格的海洋环境信息可视化服务技术研究 中( 地球观测，气候模型，地球物理，地震模型，流体，空气动力设计，污染物 扩散分析) ，天文学，医学，晶体学，基因研究( 人类及其它的物种基因数据库) ， 虚拟实验室等研究中，需要的都是具有超大规模的计算和数据分析能力。其它的 问题还包括计算密集型分析，大量的数据整理和收集，地理分布的协作等等。 在这些新问题的求解过程中，局部的计算资源是无法满足这样的需求的，因 此必须使用广大的分布资源，将他们集中起来协同解决问题。 因而，网格【2 3 ，4 1 这种以更大范围的资源共享为目的的计算方式的出现就具有 一定的必然性。9 0 年代初期和中期一批具有网格思想和雏形的项目相续涌现如： f a f n e r 1 2 1 ，i - w a y ，s e t i h o m e 1 3 1 ，d i s t r i b u t e d m 州1 4 】等，它们的目标就是通 过连接众多超级计算中心或者聚集互联网上大量闲置的计算资源来解决一些计 算量巨大的科学和工程问题。 早期的网格项目取得了巨大的成功，具有重大的意义，并为后来的许多网格 项目奠定了基础，但它们还不能算是真正意义上的网格，进入9 0 年代中后期， 由于学术科研和商业应用领域的需求不断增长，许多新的网格和分布式计算方面 的核心技术出现并迅速发展，如g l o b u s 、l e g i o n 、c o r b a 、d c o m 、j i n n 、j a v a r m i 等等，这些技术为实现大规模的资源共享和多个组织之间的协同工作提供 了便利。人们利用这些技术构建了不少的集成系统应用于科学研究和商业领域， 并向用户提供服务，如c a c t u s 、d a t a g r i d 、u n i c o r e 等，网格概念在这一时期 逐渐形成。 在网格发展的初期，网格的研究基本上还局限在科学界，本世纪以来，凭借 网格研究前期的成功经验，人们感受到了网格技术带来的新的体验，看到了网格 蕴藏的巨大价值，许多科研和商业甚至是政府机构都投入巨大的资金进行网格的 研究。网格研究进入了一个飞速发展的阶段，出现了全球影响全球的全球网格论 坛g g f ( g l o b a lg r i df o r u m ) l x s l 。 2 2 2 网格的概念 对一种新兴事物的命名或定义经常颇费周折，网格也不例外。关于什么是网 格和什么是网格计算，现在还没有一个统一的定义。 8 基于网格的海洋环境信息可视化服务技术研究 人们在对网格的认识上也存在很多分歧，有人认为网格就是下一代的 i n t e r n e t ；也有人认为网格就是方便资源管理，有效支持广域分布的、多领域的 科学和工程问题解决的中间件系统；还有人认为网格是建造分布式科学计算的一 体化的集成环境，这一环境包括计算、数据管理、科学仪器、以及人类的协作。 网格概念存在着分歧并且不停的在发生变化，一方面是因为人们从不同的角 度来理解网格，显示出网格功能的多面性；另一方面说明网格仍处于发展阶段， 随着网格应用领域的不断延伸，网格的内涵就会越来越丰富。在今天，人们对于 网格已经有了更加深刻的认识，在网格概念和技术方面也取得了很大的认同。我 们应该看到，网格应该是面向问题的，随着人们解决问题的重点发生变化，网格 的概念必然还会发生变化。 总的来说，网格就是利用互联网把地理上广泛分布的各种资源( 包括计算资 源、存储资源、带宽资源、软件资源、数据资源、信息资源、知识资源，乃至人 力资源等) 连成一个逻辑整体，就像一台超级计算机一样，为用户提供一体化信 息和应用服务( 计算、存储、访问等) ，虚拟组织最终实现在这个虚拟环境下进 行资源共享和协同工作，彻底消除资源“孤岛”，最充分的实现信息共享。 2 2 3 网格的目的和特点 网格概念产生于9 0 年代中期f 1 6 】，从电力网借鉴过来，目标是像电力一样方 便地使用分布在网络上强大而丰富的计算能力。一方面，计算机网纵横交错，很 像电力网；另一方面，电力网格用高压线路把分散在各地的发电站连接在一起， 向用户提供源源不断的电力。用户只需插上插头、打开开关就能用电，一点都不 需要关心电能是从哪个电站送来的，也不需要知道是水力电、火力电还是核能电。 建设网格的目的也是一样，其最终目的是希望它能够把分布在因特网上数以亿计 的计算机、存储器、贵重设备、数据库等结合起来，形成一个虚拟的、空前强大 的超级计算机，满足不断增长的计算、存储需求，并使信息世界成为一个有机的 整体。 网格作为一种新出现的基础性设施，有其强烈的特点 1 7 , 1 8 j ，了解网格的这些 特点可以帮助我们更好的理解网格，并进行网格的开发和应用。 1 、网格资源具有异构分布性特征。 9 基于网格的海洋环境信息可视化服务技术研究 网格系统由分布在i n t e m e t 上的各类资源组成，大规模范围内的资源必然形 式多样。它们的计算机体系结构、操作系统、网络布局等肯定存在着差异，跨越 的地理范围可能很广，如何实现异构分布机器或机群之间的协作和转换是网格计 算的首要问题 2 、网格的局部和整体之间存在着一定的相似性。 局部拥有整体的许多特征，网格的局部还是一个网格。这体现了网格作为一 种基础设施的特征，全局的网格由众多局部的网格构成，全局网格的整体功能依 靠局部网格的发挥。 3 、动态自适应性。 网格资源可能会动态的加入或者退出，也可能因故障而不可用。在网格计算 中，某个或某些资源出现故障或问题，不应该影响整个服务的质量，因此网格必 须具备可扩展性以适应网格资源动态变化的情况。 4 、可扩展性。 网格计算性能不会因计算规模的不断扩大而降低。 2 2 4 网格的体系结构 网格体系结构【1 9 】是网格的骨架和灵魂，是网格最核心的技术，只有建立合 理的网格体系结构，才能够设计和建造好网格系统，才能够使网格有效地发挥作 用。因此，网格系统的体系结构是我们必须首先解决的问题。 i a nf o s t e r 将网格体系结构定义为“划分系统基本组件，指定系统组件的目的 与功能，说明组件之间如何相互作用的技术”。这一定义强调了在网格体系结构 中组件和组件之间相互作用的重要性。简单来讲，网格体系结构就是关于如何构 建网格的技术和机制，它规定了网格的基本组成和各部分的功能，描述网格各个 组成部分之间的关系以及在它们之间进行交互的方法和机制。 到目前为止，有两个网格体系结构比较重要，一个是i a nf o s t e r 等人在网格 发展的早期提出的五层沙漏结构 2 , 1 8 】，另外一个是i a nf o s t e r 等结合w r e bs e r v i c e l 2 0 1 技术提出的开放网格服务结构o g s a ( o p e ng r i ds e r v i c e a r c h i t e c t u r e ) t a , l s 】。下面 将分别对这两种体系结构作简要的介绍。 ( 1 ) 五层沙漏模型 1 0 基于网格的海洋环境信息可视化服务技术研究 五层沙漏结构是一种影响十分广泛的结构，它的主要特点就是简单，主要侧 重于定性的描述而不是具体的协议定义，因此很容易从整体上进行理解。五层沙 漏结构的一个重要特点是呈现沙漏形状，每一层定义的协议标准的数量是不同 的，最核心的部分要能够实现上层各种协议向核心协议的映射，同时实现核心协 议向下层其他各种协议的映射。核心协议在所有支持网格服务的地点都应该得到 支持，因此核心协议的数量不能太多，从而核心协议层形成了协议层结构中的瓶 颈部分，表现为沙漏形状。 如图2 - 1 是五层沙漏模型，它定义了每一层的运行机制、接口、模式和协议 等。沙漏结构的五层分别是基础结构层、连接层、资源层、汇聚层、应用层。 图2 - 1 五层沙漏模型 结构层：构造层由各种物理资源构成，包括存储资源、计算资源、数据 库、网络资源等，它的基本功能是控制和管理局部资源，向上提供访问 这些资源的接口。 连接层：连接层实现构造层资源间的通信、数据交换，定义核心的通信 和认证协议。 资源层：资源层建立在连接层的通信与认证协议之上，提供数据访问、 计算机访问、状态与性能信息访问等服务。考虑的是单个局部资源。全 基于网格的海洋环境信息可视化服务技术研究 局状态和跨越分布资源集合的原子操作由汇聚层考虑。 汇聚层：汇聚层的主要功能是协调“多种”资源的协同完成任务。汇聚 层在资源基础上，实现更高级的应用。汇聚层可分为通用的汇聚层和面 向特定问题的汇聚层。 应用层：应用层是在虚拟组织环境中存在的，应用可根据上一层上定义 的服务来构造，可以调用资源层的服务，也可以调用汇聚层的服务，满 足应用需求。 协议是五层沙漏结构中的核心部分，每一层与其它层之间都通过定义好的接 口进行互操作，五层沙漏结构还针对每一层提供a p i 和s d k ，将每一层实现的 功能和服务方便的提供给其他层或者是上层的网格应用使用，从而帮助人们方 便、快速的构建网格系统，实现虚拟组织之间的资源共享。 ( 2 ) 开放网格体系结构o g s a 开放网格服务体系结构o g s a 是用于建立面向服务的下一代网格系统的标 准，是g g f 审i 定的重要标准建议，是继五层沙漏结构之后最重要、最新的一种网 格体系结构。它是在原来“五层沙漏结构”的基础上，结合最新的w e bs e r v i c e 技术提出来的。 从层次结构上，o g s a 架构从下到上可分4 层如图2 2 所示：资源层、w e b 服务层、基于o g s a 架构的服务层、网格应用程序层。 i a p p l i e t l i 。n s l o g s 黼；t e e t e dg e 吨瞄 嚣 ： = | o o s i 叫 p e ng r i ds e r v i c e sl n f 苟m a u 峭 i 言 拿 o ! 吕 w e bs c f 、i 协 星 3 咖ll 铫酗泖 i 訾由k 麓ll m f 订t m 唧| l 孙州 - 1 队e f 删| i 3 钿酬 吒 0 1 3 s a 踟曲l e d l 0 0 瓣m o g s ae n a b l e d s e r v e r sn c t w o r k 图2 2o g s a 体系架构 资源层：资源的概念是网格计算的中心部分，构成网格能力的资源包括 物理资源和逻辑资源。物理资源包括服务器、存储器和网络；逻辑资源 1 2 一 m8一芒。s勺口。磊嚣lo工d 一 基于弼格的海洋环境信息可视化服务技术研究 位于物理资源之上，它们通过虚拟化和聚合物理层的资源来提供额外的 功能。 w e b 服务：o g s a 架构第2 层是w e b 服务层，它包括w e b 服务和o g s i 。 o g s a 有一条重要的原则：所有网格资源都被建模为服务。o g s i 规范 定义了网格服务并建立在标准w e b 服务技术之上，它利用x m l 与w e b 服务描述语言( w s d l ) ，为所有网格资源指定标准的接口、行为与交互。 o g s i 进一步扩展了w e b 服务的定义，提供了动态的、有状态的和可管 理的w e b 服务的能力，这些是在对网格资源进行建模时都是必需的。 基于o g s a 架构的网格服务层：w e b 服务及其o g s i 扩展为上层提供了 基础设施基于架构的网格服务。g g f 目前正在致力于在诸如程序 执行、数据服务和核心服务等领域中定义基于网格架构的服务。随着这 些新架构的服务开始出现，o g s a 将变成更加有用的面向服务的架构 ( s o a ) 。 网格应用程序层：随着时间的推移，一组丰富的基于网格架构的服务不 断被开发出来，使用个或多个基于网格架构的服务的新网格应用程序 不断出现。比较有代表性的开发工具有c o gk i t s 、m p i c h - - g 2 、 c o n d o r g 、m y p r o x y 等，这些应用程序构成了0 g s a 架构的第4 层。 0 g s a 己经被广泛的接受为网格的标准框架，得到了众多科研机构、网格学术 团体、以及商业性机构和最终用户的支持和认可。目前这一体系结构已成为网格 开发的默认标准。 2 3 网格服务 2 3 1 网格服务的概念 w e bs e r v i c e 提供了一种基于服务的框架结构，但w e bs e r v i c e 面对的一般都 是永久服务，而在网格应用环境中，大量的是临时性的短暂服务，比如一个计算 任务的执行等。考虑到网格环境的具体特点，o g s a 在原来w e bs e r v i c e 服务概念 的基础上，提出了“网格服务( g r i ds e r v i c e ) 的概念，用于解决服务发现、动态 服务创建、服务生命周期管理等与临时服务有关的问题。 1 3 基于网格的海洋环境信息可视化服务技术研究 网格服务定义了一组接口，这些接口的定义明确并遵守特定的惯例，用于解 决服务器发现，动态服务创建、服务生命周期管理、通知等与服务生命周期有关 的问题。简单的说，网格服务= 接e l 行为+ 服务数据，服务数据是关于网格服务 实例的信息。 o g s a 包括网格技术和w e bs e r v i c e 技术两大关键技术。o g s a 的基本思想是 以服务为中心，在o g s a 中一切都是服务。这里的服务是指具有特定功能的网格 化实体，包括各种计算资源、存储资源、网络资源、数据资源等等。网格服务基 于w e bs e r v i c e ，提供一组接口，这些接口的定义明确并且遵守特定的惯例。在 o g s a 中，把一切都看作是服务，网格就是可扩展的网格服务的集合。网格服务 可以以不同的方式聚集起来满足虚拟组织的需要，虚拟组织自身也可以部分地根 据它们操作和共享的服务来定义。网格服务通过定义接口来完成不同的功能，服 务数据时关于网格服务实例的信息。以网格服务为中心的体系结构具备以下优 势： 1 、通过网格服务将资源抽象化，并提供统一的接口来使用各式各样的异构 资源，能够更好的实现资源的共享； 2 、网格服务虚拟化了网格的资源，因此可以使得多个逻辑资源实例映射到 相同的物理资源上，也可以使得一个逻辑资源映射到多个物理资源上，这种虚拟 化可以对资源进行有效的重新组合； 3 、通过提供一组相对统一的核心接口，所有的网格服务都基于这组接口实 现，就很容易实现服务的重用，并构造出有层次结构的、更高级别的网格服务。 2 3 2g l o b u s 简介 g l o b u s 2 1 , 2 2 i 项目是目前国际上最有影响力的与网格计算相关的项目之一。 它发起于九十年代中期，其最初的目的是希望把美国境内的各个高性能计算中心 通过高性能网络连接起来，方便美国的大学和研究机构使用，提高高性能计算机 的使用效率。当时在美国建立了一个实验环境一w a y ，它把位于美国1 7 个 不同地点的6 0 多个组织的超级计算机和资源通过高性能网络联系起来，进行大 规模科学模拟、协同工程、并行计算等科学研究，这实际上是g l o b u s 项目的前 身。随着g l o b u s 项目研究的深入，针对它的目标也进一步扩展，希望通过g l o b u s 1 4 基于网格的海洋环境信息可视化服务技术研究 项目可以方便地对地理上分布的研究人员建立虚拟组织进行跨学科的虚拟合作。 目前，g l o b u s 项目把在商业计算领域中的w e bs e r v i