（计算机应用技术专业论文）网格环境下数据管理及安全问题研究.pdf

中国科学技术大学硕士论文 摘要 随着网格技术的发展，科学数据呈现爆炸式增长，地理上广泛分布的各网格 结点的用户都希望能够访问和分析这些庞大的数据，但是由于计算复杂、计算量 大，而现有的数据管理体系结构、方法和技术已经不能满足人们对高性能、大容 量分布存储和分布处理能力的要求。同时，网格环境的特殊性引发了很多安全问 题，缺乏有效的安全机制限制了网格技术的进一步发展和网格应用的进一步推 广，因此网格计算系统的安全成为网格计算系统首要解决的重点问题。 本文首先简述了网格的定义和基本特点，网格的体系结构、网格的两大支撑 技术w e bs e r v i c e 和g l o b u s ，以及目前最流行的网格开发工具包g l o b u st o o l k i t 在数据管理上的功能特点，在此基础上，提出了网格中的数据存储模型。采用o g s a 的网格服务实现了文件复制管理。特点是符合o g s a 的网格服务标准，有统一的数 据访问接口，并且与数据传输服务相结合。设计并实现了面向服务的网格p o r t a l ， 并在其中集成上述服务。 在网格安全问题上，首先对网格安全的相关技术进行介绍，着重讲述了网格 5 安全基础设施( g s i ) 的功能和安全策略，指出了g s i 的特点及不足。为保证网格环 境的全面安全，本文探讨了适用于网格环境中的入侵检测技术，提出了基于网格 环境的分层协作式入侵检测模型及部署方案。该方案引用网格数据管理技术来处 理系统的数据管理与传输问题；为促进i d s 组件之间的彼此兼容、数据共享和协 同工作，扩展了入侵检测消息交互格式，增加了对分析器间传输信息描述格式的 设计，有效解决了i d m e f 不能描述分析器与探测器之间控制信息的问题。测试分 析表明该方案部署方便、实用性好、消除了中心控制器引起的瓶颈问题、抗毁性 能好，适用于当前的网格环境；h d m e f 自g 够满足层次化协作式入侵检测系统组件 问交换信息的需要。 关键词：网格，网格计算，网格安全，数据管理，g l o b u s ，入侵检测 中国科学技术大学硕士论文 a b s t r a c t a b s t r a c t w i t ht h ed e v e l o p m e n to fg r i dt e c h n o l o g y ，s c i e n t i f i cd a t ah a v eat e n d e n c yo f e x p l o s i v ei n c r e a s e ，h o w e v e r ，t h e a c c e s st oa n da n a l y s i so ft h e s ed a t a b y g e o g r a p h i c a l l yd i s t r i b u t e du s e r sa r er e s t r i c t e dd u et ot h ec o m p l e x i t ya n di n t e n s i t yo f c o m p u t a t i o n w i t hc u r r e n td a t am a n a g e m e n ta r c h i t e c t u r e s ，s o l u t i o n sa n dt e c h n o l o g y ， s e r v i c ep r o v i d e r sf a i lt om e e tu s e r s r e q u i r e m e n ts u c ha sh i g hp e r f o r m a n c e d i s t r i b u t e d s t o r a g ea n dp r o c e s s w h a ti sm o r e t h eu n i q u ec h a r a c t e r i s t i co fg r i de n v i r o n m e n th a s c a u s e dm a n ys e c u r i t y p r o b l e m s w h i l e i m d e d et h ef u r t h e rd e v e l o p m e n ta n d p o p u l a r i z a t i o no fg r i dt e c h n o l o g y ，t h u sr e n d e rt h es e c u r i t yp r o b l e mt ot h ef o c u so f r e s e a r c h e r s a t t e n t i o ni ng r i dc o m p u t a t i o ns y s t e m m st h e s i s f i r s t l yi n t r o d u c e st h eb a s i cp o i n t s s u c ha st h ed e f i n i t i o na n d c h a r a c t e r i s t i c so fg r i d ，i t sa r c h i t e c t u r ea n dt w os u p p o r t i n gt e c h n o l o g y - - w e bs e r v i c e a n dg l o b u s ，a n dt h em o s tw i d e l yu s e dd e v e l o p i n gt o o l k i tg l o b u st o o l k i t ，b a s i n go n w h i c hi tp r o p o s e st h ed a t as t o r a g em o d e li ng r i d s f o rf i l er e p l i c am a n a g e m e n t ，i t e m p l o y st h eo g s ag r i ds e r v i c e ，w h i c hi sas t a n d a r dg r i ds e r v i c e ，h a su n i f o r l nd a t a a c c e s si n t e r f a c ea n di si n t e g r a t e dw i t hd a t at r a n s f e rs e r v i c e f u r t h e r m o r e t h i sp a 口e r h a sd e s i g n e da n di m p l e m e n t e das e r v i c e o d e n t e dg r i dp o r t a lw h i c hs u c c e s s f u l l y i n t e g r a t e st h ea b o v em e n t i o n e ds e r v i c e s a sf o rg r i ds e c u r i t y , f i r s to fa l l ，s o m er e l e v a n tt e c h n o l o g i e sa r ep r e s e n t e d ，a n d s p e c i a l l yi n t r o d u c e di st h eg s i ，w h o s ef u n c t i o n s ，s e c u r i t ys t r a t e g i e s ，c h a r a c t e r i s t i ca n d d i s a d v a n t a g ea r ed i s c u s s e di n d e t a i l t oe n s u r et h ea l l r o u n d s e c u r i t yo fg r i d e n v i r o n m e n t ，w ea l s oa n a l y z et h ei n t r u s i o nd e t e c t i o nm e t h o d s ，p r o p o s eal a y e r e d c o o p e r a t i o ni n t m s i o nd e t e c t i o nm o d e la n dd i s p o s ei t o t i ts c h e m eu t i l i z e st h eg r i d d a t am a n a g e m e n tt e c h n o l o g yf o rd a t am a n a g e m e n ta n dt r a n s f e r ，e x t e n d st h em e s s a g e e x c h a n g ef o r m a to fi d m e ft or e a l i z et h ec o m p a t i b i l i t y , s h a r i n ga n dc o o p e r a t i o n a m o n gt h es u b a s s e m b l yo fi d s ，a n da d d sad e s i g no ft h em e s s a g ef o r m a tb e t w e e n a n a l y z e r st h u se f f e c t i v e l yh e l p m e ft od e p i c tt h ec o n t r o l l i n gm e s s a g eb e t w e e n a n a l y z e r sa n dd o c t o r s p e r f o r m a n c ea n a l y s e si n d i c a t et h a to u rm o d e li se a s yt od i s p o s e w i d e l ya p p l i c a b l e ，f r e eo fb o t t l e n e c kp r o b l e mc a u s e db yc e n t e r - c o n t r o l l e r , r o b u s t a g a i n s ta t t a c ha n di sq u i t ef i t t i n gt ot h eg r i de n v i r o n m e n t a n de ) m e fp e r f e c t l y m e e t st h ed e s i g nr e q u i r e m e n t so fm e s s a g ee x c h a n g i n gb e t w e e ni n t r u s i o nd e t e c t i o n u n i t si nl a y e r e dc o l l a b o r a t i o n k e y w o r d s ：g r i d ，g r i dc o m p u t i n g ，g r i ds e c u r i t y , d a t am a n a g e m e n t ，g l o b u s ，i d s 中国科学技术大学硕士论文 第章引言 第一章引言 i n t e m e t 的产生与发展，对人们的思维方式、工作模式以及生活理念都产生 了巨大的影响与冲击。第一代i n t e m e t 的作用就是把遍布于世界各地的计算机用 t c p i p 协议连接在一起，其主要应用为e - m a i l ；第二代i n t e r n e t 则通过w e b 信 息浏览及电子商务应用等信息服务，实现了全球网页的连通；第三代i n t e r n e t 将 “试图实现互联网上所有资源的全面连通，包括计算资源、存储资源、通信资源、 软件资源、信息资源、知识资源等”，这就是网格计算( g i r dc o m p u t i n g ) 1 。解决 一些超大规模应用问题所需要的计算能力，已不可能在单一的高性能计算机或单 一的计算机机群上获得，这就需要将地理分布、系统异构、性能各异的各种高性 能计算机、计算机机群、大型服务器、贵重科研设备、大型通信设备、可视化系 统等，通过高速互连网络连接并集成起来，形成对用户相对透明的、虚拟的、高 性能计算环境，即网格计算系统( g f i dc o m p u t i n gs y s t e m ) ，以此来共同解决大 型应用的计算问题 1 - 3 。 1 1 研究背景 在网格环境中，各种科学研究和应用领域中的数据是重要的资源，数据正以 t e r a b y t e 的速度递增。地理上分布的网格结点用户都希望能够访问这些庞大的数 据，但对于它们来说都要面临着大量格式多样，并且是分散的数据，企业间进行 交易，需要经常访问和交换数据，而且，每个网格结点的数据存储经常采用不同 的数据库，比如o r a c l e 、d b 2 、s q l 、s e r v e r 或者x m l 数据库，出于不同的目的， 不同的网格结点也经常使用不同的系统，包括w i n d o w s 、u n i x 和l i n u n 。这些 差异给网格结点间的数据互访带来极大的障碍：同时，许多数据分析处理要求千 亿次或万亿次规模的计算能力。而现有的数据管理体系结构、方法和技术己经不 能满足人们对高性能、大容量分布存储和分布处理能力的要求。因此，为了解决 上述应用所面临的问题，人们正在寻求在网格中进行数据管理的有效方法 4 。 另一方面，网格是通过开放的网络环境向用户提供服务的，因此它不可避免 地要涉及到网络安全问题。并且，与传统网络应用相比，网格的目标是实现更大 范围和更深层次的数据共享，所以它存在更重要的安全问题，并提出了更高的安 全需求。由于网格系统一般规模大、牵涉面广，并且拥有超强的计算能力，因此， 中国科学技术大学硕士论文 第一章r 3 i 言 与传统的网络入侵活动相比，如果网格系统一旦遭到攻击破坏，或者被非法利用， 其潜在的损失更大，潜在的危害更严重。因此网格安全所涉及的范围更广，解决 方案也更加复杂 5 。 1 2 本文主要研究工作 中国科学技术大学计算机系从2 0 0 0 年开始逐渐开展网格方面的研究工作， 并先后与中国科学技术大学网络中心、合肥国家高性能计算中心、中国科学院计 算技术研究所、淮河治理委员会开展合作研究。近期我们承担的国家自然科学基 金项目“基于计算市场模型的安全网格资源管理研究”( 6 0 2 7 3 0 4 1 ) 和国家8 6 3 计划高性能计算机及其核心软件专项“合肥网格节点的建设及若干典型网格应用 的研制”( 2 0 0 2 a a l 0 4 5 6 0 ) 。网格计算系统的资源管理和安全研究是这两个研 究项目的重要研究内容。前期的国家自然科学基金重大研究计划( 编号 9 0 1 0 4 0 3 0 )“面向大规模网络的分布式入侵检测和预警模型”也是对网络安全 方面的研究。本文将对“网格计算系统的数据管理及安全问题”展开论述。 本文的主要工作包括以下几点： 1 ) 对网格和网格计算做了系统性的介绍，包括网格和网格计算的含义，网 格计算系统的组成、特征、关键技术、系统软件、应用和研究等。 2 ) 介绍国内外学术界和工业界重要的网格研究项目，重点介绍对网格技术 具有重大贡献的g l o b u s 项卧6 和g l o b u s 软件 7 】。 3 ) 研究网格环境下数据管理问题，并基于g l o b u s 提出和实现了一个数据副 本管理系统。 4 ) 研究网格计算系统的特殊性及其对安全方面的需要，对现有的网格安全 解决方案g s i 加以分析讨论。 5 ) 在现有网络安全技术和网格计算系统的安全抽象的基础上，提出网格计 算系统的动态安全防护措施一基于网格的入侵检测系统，引用网格计算的数据管 理技术处理入侵检测系统的数据管理与传输问题，描述了入侵检测技术在网格环 境下的应用，并对此安全模型的传输性能进行了分析评估。 1 3 本文的组织结构 第一章引言 首先介绍研究工作的背景和意义，然后介绍本文的主要工作和组织结构。 第二章网格和网格计算系统介绍 中国科学技术大学硕士论文 第章引言 首先介绍网格和网格计算的含义，以及网格计算系统的组成、要求、特征、 目标、关键技术、系统软件和应用：然后介绍网格计算系统的研究阶段，分析网 格计算系统的研究现状，以及未来的研究趋势。 第三章基于g l o b u s 的副本管理的实现 介绍网格研究项目g l o b u s 在数据管理方面所做的工作，并基于g t 3 网格中 间件技术，结合现有的r l s 和i n d e xs e r v i c e 及g f i d f t p 技术，提出并实现了一 种基于g l o b u s 的数据副本管理的方式。 第四章网格计算系统特殊性和安全需要 为了更好地解决网格安全问题，分析和研究网格环境的特殊性和网格环境下 的安全需要。 第五章网格计算系统的安全体系结构 研究网格计算系统的安全管理和安全考虑，分析网格安全架构g s i 的解决方 法和不足。 第六章网格环境下的入侵检测技术 提出网格环境下的分布式入侵检测系统l c i d s 作为g s i 的一种安全防护措 施的补充，引入先进的网格数据管理技术，通过对入侵检测消息交互格式的扩展， 设计了一种分层协作式的入侵监测系统模型，并对其作分析评测。 第七章结束语 总结已经完成的工作，并展望将来要继续开展的工作。 中国科学技术大学硕士论文 第二章刚格和网格计算技术 第二章网格和网格计算技术 网格概念的提出从根本上改变了人们对计算的看法，作为分布式计算的发展 网格将原有的分布式系统大大地向前推进了一步。而计算机应用模式的演变，使 得利用网格来解决诸如高性能计算等难题成为了最有效的解决方案。因为网格突 破了计算能力大小的限制、突破了地理位置的限制、打破了传统的共享或协作方 面的限制，它的核心就是突破了以往强加在计算资源上的种种限制，使人们能够 以一种全新的、更自由、更方便的方式使用计算资源，解决以前无法解决的复杂 问题【8 ，9 。 2 1 网格及网格计算 什么是网格( g r i d ) ? 网格就是一种集成的资源和服务的环境f 8 ，9 ，1 0 。 全球网格研究的领军人物，美国阿岗( a r g o n n e ) 国家实验室的资深科学家、美 国g l o b u s 项目的领导人芝加哥大学教授i a nf o s t e r 和c a r lk e s s e l m a n 曾在1 9 9 9 年出版的网格：2 1 世纪信息技术基础设施的蓝图一书中这样描述网格 1 ： 网格是构筑在互联网上的一组新兴技术，它将高速互联网、高性能计算机、大型 数据库、传感器、远程设备等融为一体，为科技人员和普通老百姓提供更多的资 源、功能和交互性。这里网格集成的东西包括计算能力、数据信息和知识、软件 等各种相关的资源和服务。 火4 9 雅务器 闰2 - 1 网格的组成示例 如图2 - 1 所示，组成网格的计算资源不仅包括高性能计算机、计算机机群、 大型服务器，而且包括贵重科研设备( 电子显微镜、雷达阵列、粒子加速器、天 中国科学技术大学硕士论文 第二章网格和网格计算技术 文望远镜等) 、大型通信设备、可视化设备，连接这些资源的高速互连网络。 基于网格的问题求解就是网格计算。狭义的网格计算就是将分布的计算机资 源组织起来协同解决复杂的科学与工程计算问题，狭义的网格一般称为计算网格 ( c o m p u t a t i o n a lg r i d ) ，主要用于解决科学和工程计算问题 1 ，9 。不同的参考 文献对网格有不同的称谓，见得最多的称谓是：网格、网格系统、网格计算系统、 网格环境、网格计算环境等。不同的称谓在不同的人群中使用，但它们指的是同 一个事物。根据求解问题的特点，人们提出了各种名称的网格 1 1 ：以处理数据 密集型问题为核心的数据网格( d a t ag r i d ) 1 2 ，以提供服务为核心的服务网格 ( s e r v i c eg r i d ) 1 3 1 等等。一般将网格分为计算网格、数据网格和服务网格三大 类。此外人们还提出了信息网格( i n f o r m a t i o ng r i d ) 1 4 1 、知识网格( k n o w l e d g e g r i d ) 1 5 、商业网格( c o m m e r c i a lg r i d ) 【1 6 1 、行业网格( i n d u s t r yg r i d ) 1 7 1 、 军事网格( m i l i t a r yg r i d ) 9 ，l o 、政府网格( g o v e r n m e n tg r i d ) 9 ，1 0 、教育 网格( e d u c a t i o ng r i d ) 9 ，l o 】等概念。 从网格要解决的问题入手，网格的本质表现为：在缺乏中央控制、全局信息 和严格信任关系的情况下，在动态、异构虚拟组织间实现协同的资源共享以及协 同的解决某一问题。该定义体现出网格无论从范围、程度还是功能上与目前 i n t e m e t 的明显的不同 1 ，9 ，主要包括： 1 ) 虚拟组织：网格环境由多个虚拟组织构成。虚拟组织由遵守资源共享规 则的一组个体、机构组成，虚拟组织的典型例子有：应用服务提供商、存储服务 提供商、企业及企业所采用的应用所构成的系统等。虚拟组织具有动态性，异构 性的特点。 2 ) 资源：网格环境下资源的概念很广泛，包括服务、应用软件、数据、信 息、知识以及计算机、天文望远镜、雷达、家用电器等设备和仪器，并具有面向 用户和透明性的特点，用户可以在不考虑资源物理位置的情况下，方便的使用资 源。此外，资源也具有动态演化的特性。 3 ) 共享：网格中的共享与传统概念上的共享已有很大不同，更具目的性。 目的性体现在它已经不再是如i n t e m e t 那样简单的资源互连和单一使用，而是通 过互连、组合、协作解决用户需要解决的问题，产生具有附加值的新服务、数据、 信息等资源，满足用户的新需求。 4 ) 协同性：网格的协同性包括资源共享的协同性和问题解决的协同性。资 中国科学技术大学硕士论文 第二章网格和网格计算技术 源共享的协同性以资源互连为基础，既包括资源使用时不同用户因时间、空间、 权限等差异引起的协商，也包括资源的组合。问题解决的协同性是指虚拟组织之 问通过协作共同解决某一问题，以满足用户的新需求。 5 ) 问题存在的环境：网格问题存在的环境具有异构、分布、动态、演化的 特点，这主要体现在虚拟组织、资源的异构、分布、动态、演化特性以及共享模 式、协同方式的变化上。 一般而言网格计算系统具有以下几个方面的特征( 9 ： 1 ) 扩展性：网格计算系统初期的规模较小，随着各种高性能计算机、计算 机机群、大型服务器、贵重科研设备、大型通信设备、可视化设备的不断加入， 整个系统的规模随之迅速扩大。 2 ) 系统多层次的异构性：构成网格计算系统的计算资源有不同的类型，即 使是高性能计算机也有多种类型，不同类型的高性能计算机在体系结构、操作系 统、应用软件等多个层次上具有不同的结构。 3 ) 结构的不可预测性：网格计算系统由于其地域的分布性和系统的复杂性， 整体结构经常发生变化，随着时间的推移会不断地有新的资源加入网格计算系 统，与此同时原有的资源也会由于出现故障导致不可用。 4 ) 动态和不可预测的系统行为：在传统的高性能计算系统中，计算资源是 独占的，因此系统的行为是可以预测的，在网格计算系统中，由于资源的共享造 成系统行为和系统性能经常发生变化。 5 ) 多级管理域：构成网格计算系统的资源通常属于不同的机构或组织并且 使用不同的安全机制，资源的拥有者对该资源具有最高级别的管理权限，这些资 源同时也接受网格计算系统的统一管理，多个机构或组织共同参与解决多级管理 域的问题。 2 2 网格体系结构 网格体系结构就是关于如何建造网格的技术，它给出了网格的基本组成与功 能，描述了网格组成部分的关系及他们集成的方式或方法，刻画支持网格有效运 转的机制。目前，网格体系结构还没有一个统一的标准，这里我们介绍建立在网 格五层沙漏结构基础t 9 1 ，结合最新的w e bs e r v i c e 技术，被各界广泛认可的是 开放网格服务结构o g s a ( o p e ng r i ds e r v e r sa r c h i t e c t u r e ) 【1 8 ，1 9 1 。 中国科学技术大学硕士论文 第二章网格和网格计算技术 2 2 1o g s a 简介 开放网格服务体系结构o g s a 是g l o b a lg r i df o r u m 的重要标准建议，是继五 层沙漏结构之后最重要，也是目前最新的种网格体系结构，被称为下一代的网 格结构。通过这样一组软件体系结构标准和其它框架倡议来使资源共享的过程标 准化，以便提供更佳的软件互操作性、高级别的安全性、资源定义和发现、策略 和易管理性。 2 0 0 2 年2 月2 0 日，毋m 与美国阿岗( a r g o n n e ) 国家实验室g l o b u s 项目组在多 伦多联合发布了开放性网格服务架构o g s a ，目的在于网格从以科学与工程计算 为中心的学术研究领域，扩展到更广泛的以分布式系统服务集成为主要特征的社 会经济活动领域。从实现的角度晓，o g s a 旨在完成从现在的g l o b u s 至u - - 个基于 网格和w 曲服务概念和技术的网格系统的转变。虽然o g s a 以商业应用为重点， 而不是如以前那样侧重于科学计算应用，但o g s a 的原则和机制可以同时适用于 两种环境【1 9 。 o g s a 是一个有四层的模型：最上面的一层是用户应用层，下面的一层被称 之为集群服务，包括目录处理，诊断和监测；在它下面是和服务器、网络进行连 接的资源和连接协议；最下面一层是构造层，它包括了网络上的所有设备：存储 器、计算机、连接、传感器等等。中间的两层被定义为网格。 如果说沙漏结构是以协议为中心的“协议结构”。则o g s a 就是以服务为中心 的“服务结构”。图2 2 是对网格服务的简单描述。 应用程序层 基于o g s a 架构的网格服务层 o g s i 扩展 w e b 服务层 安全性工作流数据库l 文件系统|目录 消息 服务器存储器 l 网络 图2 - 2o g s a 的服务架构图 在五层沙漏结构中，强调的是被共享的物理资源，实现的是对资源的共享， 而在o g s a 中，服务所致的概念更广，一切都是服务，实现的是对服务的共享， 从资源到服务，这种抽象将资源、信息、数据统一起来，十分有利于灵活的、一 中国科学技术大学硕士论文 第二章网格和网格计算技术 致的、动态的共享机制的实现，使得分布式系统管理有了标准的接口和行为。网 格服务可以用不同的方式聚集起来满足虚拟组织的需要，虚拟组织自身也可以部 分地根据他们操作和共享的服务来定义，简单地说，网格服务= 接口珩为+ 服务 数据。 2 2 2o g s a 两大关键技术 w e bs e r v i c e 和网格技术( 即g l o b u s 软件包) 。w e bs e r v i c e 是一种标准的存取网 络应用的框架，g l o b u s 是已经被科学与工程计算广泛接收的网格技术求解方案。 1 ) w e bs e r v i c e w e bs e r v i c e 是网格服务的基础，也是o g s a 和o g s i 的奠基石，理解w e b s e r v i c e 的构架是编写网格服务的基础。简单的说，w e bs e r v i c e 是另一个分布式 计算技术( 如c o r b a ，r m i ，e j b 等等) ，容许创建客户端朋务器端应用。 w e bs e r v i c e 建立在以下几种技术之上：s o a p 、w s d l 、u d d i 、s o a p ( s i m p l e a c c e s sp r o t o c 0 1 ) ：消息传递协议，它规定了w e bs e r v i c e s 之间是怎样传递信息 的。w s d l ( w e bs e r v i c ed e s c r i p t i o nl a n g u a g e ) ：是w e bs e r v i c e 的定义语言，当 实现某种服务时，为了让别的程序调用，必须告知服务接口。例如：服务名称， 服务所在的机器名称，监听端口号，传递参数的类型，个数和顺序，返回结果的 类型等。w s d l 协议规定了有关w e bs e r v i c e 描述的标准。u d d i ( u n i v e r s a l d e s c r i p t i o nd i s c o v e r ya n di n t e g r a t i o n ) ：用于集中存放和查找w s d l 描述文件， 起着目录服务器的作用。 2 ) g l o b u s 简介 g l o b u s 可被认为是计算网格技术的典型代表和事实上的规范，目前美国 n a s a i p g 、欧洲数据网格、美国国家技术网格n t g 、g f i p h y n 、p p d g 、a s c i g r i d 、 日本的d a t a f a r m 等项目都采用了g l o b u s 系统作为其网格系统平台。 g l o b u s 基于“沙漏结构”原理，并结合了最新的w e bs e r v i c e 技术，它聚焦 于体系结构问题，以提供一些核心服务为基础，构建高层的、特定领域的应用服 务。g l o b u s 的主要工作是建立支持网格计算的通用协议，开发支持网格计算的 服务，实现支持网格计算环境的软件开发工具。g l o b u s 对信息安全、资源管理、 信息服务、数据管理以及应用开发环境等网格计算的关键理论和技术进行了广泛 的研究，开发出了能在多种平台上运行的网格计算工具包软件g l o b u st o o l k i t 。 中国科学技术大学硕士论文 第二章刚格和网格计算技术 g l o b u st o o l k i t 是g l o b u s 项目最重要的研究成果，它的开发借鉴了因特网和u n i x 的开发路线，即不构造一个完整的系统，而只构造一套底层的开发工具，它采用 模块化设计方式，可升级或替换，是一个中间件系统【6 】。目前，美国n a s a i p g 、 欧洲数据网格、美国国家技术网格n t g ，g r i p h y n ，p p d g ，a s c lg r i d 、日本的 d a t af a r n l 等项目都采用了g l o b u s 系统。图2 3 描述了g l o b u s 的五层沙漏体系 结构。 l塑兰竺l 图2 - 3g l o b u s 五层体系结构模型 构造层( f a b r i c ) 构造层使上层能通过网格协议访问共享资源。它根据上层共享 操作的指示，在本地对特定资源执行操作。该层实现的功能越丰富，就能支持越 复杂的共享操作。构造层必须实现“查询”和“资源管理”机制，前者提供对资源结 构、状态和功能信息的发现，后者提供对q o s 的管理。 连接层( c o n n e e t i v i t y ) 连接层定义了网格中网络事务处理的核心通信和验证协 议。通信协议实现了构造层各种资源间的数据交换，包括传输、路由和命名。验 证协议实现了用户、资源的身份验证和安全控制。网格环境下的验证机制应该具 备以下功能：( 1 1 单次登录：用户只需登录( 验证) 一次，就能访问构造层 定义的各种网格资源，无须用户的进一步干预。( 2 ) 委托：用户能委托某一程序 访问用户有权访问的资源，该程序也可以有条件地把一部分权利委托给其他程 序。( 3 ) 与本地安全策略的整合：资源提供者会制定本地安全策略，网格安全机 制必须能与它们互操作。( 4 ) 基于用户的信任关系：当用户需要同时使用来自多 个提供者的资源时，安全机制不能要求资源提供者之间通过交互来进行安全控 制。 资源层( r e s o u r c e ) 资源层在连接层的基础上，定义了如何对单个资源进行共享 操作，包括与可用资源进行安全握手、资源的初始化、监测资源运行状况、统计 中国科学技术大学硕士论文 第二章网格和网格计算技术 与付费有关的资源使用数据。资源层调用构造层的函数来访问、控制本地资源， 它只关心单个资源，而不关心全局状态和分布环境中的原子操作，这些问题由汇 集层负责解决。 汇集层( c o l l e c t i v e ) 汇集层负责协调多个资源的共享访问，它可以提供通用性 的服务，也可以根据虚拟组织或应用领域的需要提供特定服务。汇集层提供的典 型服务有：用于资源发现的目录服务，负责资源分配和任务调度服务，系统监控 和出错诊断服务，优化数据访问性能的数据复制服务等。 应用层( a p p l i c a t i o n s ) 应用层提供了与v o 环境打交道的用户应用程序。图2 显 示了从程序员角度看到的网格体系结构。每一层都有完善定义的协议，并为上层 提供服务。在每一层上，a p i ( 由s d k 来实现) 使用该层的协议与本层服务交换 消息来实现期望的操作。 2 3 网格研究关键技术 2 3 1 资源管理 网格环境包含各种各样的资源，这些资源具有动态变化、地域分布、系统异 构等特性。在网格计算中，首先需要查清网格里所有可用资源，比如哪些主机可 供访问、还空置多少处理能力、数据库里可供使用的数据是什么、共享的应用程 序是否己准备好、共享主机采用何种文件系统等。资源管理的目的就是解决资源 的描述、组织、管理等一系列关键问题 2 1 。 2 3 2 数据传输 网格计算很重要的作用就是有效利用各地的资源，快速准确地进行大数据量 计算。我们所希望的是把有效的时间用于实际的计算上，这样就需要尽可能减少 数据的传输时间。如何对网格环境中的资源进行高速、可靠的传送是其考虑的重 要环节，由于网格环境的动态性，传输过程中如何保持最大程度上的透明是这方 面着重考虑的问题 2 2 。 2 3 3 任务调度 用户提交的任务要由系统来分配资源并控制其运行，包括要将其分配到哪些 主机上运行、调用哪些数据、启动何种应用程序、何时开始运行等。任务调度与 管理的作用就是根据当前系统负载状况，对系统内的任务进行动态调度，其调度 中国科学技术大学硕士论文 第二章网格和网格计算技术 算法及调度过程设计的好坏对系统效率的高低起着至关重要的作用【2 3 。 2 3 4 网格安全技术 与传统网络环境下安全问题相比，网格环境下的先进应用具有下面一些新的 引人注目的特点【5 ，2 4 ： 1 ) 需要同时使用大量的分布式资源。 2 ) 需要同时使用多管理域异构环境中的资源。 3 ) 其资源规模动态可变、资源请求动态发生。 4 ) 需要使用复杂的通信结构。 5 ) 具有严格的性能要求。 6 ) 需要使用高速的广域网络技术。 因此，与传统的网络安全问题相比，网格环境下的安全问题更加复杂，所涉 及的范围更广，它对安全技术的要求也更高。 2 3 s 其它相关技术 为了管理和维护复杂的网格环境，需要提供监视系统资源和系统运行情况的 工具，即网格监测工具。网格系统还应该能提供丰富的用户接口和编程环境，通 过直观、友好的用户访问接口，使用户可以在任何位置、任何平台上方便地使用 系统资源。另外，网格计算的主要领域是科学计算，它往往伴随着海量的数据， 面对浩如烟海的数据想通过人工分析得出正确的判断十分困难。如果把计算结果 转换成直观的图形信息，就能帮助研究人员摆脱理解数据的困难。通信能力的好 坏对网格计算提供的性能影响甚大，要做到计算能力“即连即用”必须要高质量的 宽带高速网络系统支持。用户要获得延迟小、可靠的通信服务离不开对高速的网 络的研究应用。 2 4g l o b u s 相关技术研究现状 g l o b u s 对信息安全、资源管理、信息服务、数据管理以及应用开发环境等网 格计算的关键理论和技术进行了广泛的研究 2 5 ，2 7 ，并开发出能在多种平台上运 行的网格计算工具包软件( g l o b u st o o l k i t ) ，能够用来帮助规划和组建大型的网格 试验和应用平台，开发适合大型网格系统运行的大型应用程序。 中国科学技术大学硕士论文 第二章网格和网格计算技术 2 4 1g l o b n s 核心思想 根据g l o b u s 的观点，在网格计算环境中所有可用共享的主体都是资源，如计 算机、高性能网络设备、大容量的存储设备、各种科学数据、各种软件等是资源， 分布式文件系统、数据库缓冲池等也可以理解为资源。 g l o b u s 实际上关心的不是资源的实体本身，而是如何把资源安全、有效、方 便地提供给用户使用。所以从共享的角度考虑，对g l o b u s 而言，其主要研究的是 资源的访问接口或访问界面。通常的网格计算主要侧重于大型的分布式应用，而 根据g l o b u s 的观点，大型应用项目应该由许多组织协同完成，这些组织通过网格 计算环境形成一个统一的“虚拟组织”( v i g u a lo r g a n i z a t i o n ) ，网格计算环境中的用 户、成员、资源可随时加入虚拟组织。在网格计算环境中，各组织拥有的计算资 源、存储资源等各种资源可以被虚拟组织中的成员共享，并且各成员可方便地协 同完成各种分布式应用和工作。按照这种理念，在网格计算环境中，各成员和组 织之间的存在时间、拥有的权限和资源的数量、种类等都会不断动态地发生变化， 这使得虚拟组织中的实体( 包括用户、成员、资源、组织等) 需要保持一种非常动 态的共享关系。所以如何有效地对虚拟组织和其中的成员进行管理是g l o b u s 研究 的一个重点。 2 4 2g l o b u s 重要组成部分 1 ) 元计算目录服务( m e t ac o m p u t i n g d i r e c t o r ys e r v i c e ，m d s ) 2 8 1 ：m d s 主要 完成对网格计算环境中信息的发现、注册、查询、修改等工作，提供对网格计算 的一个真实、实时的动态反映。它主要基j z l i g h t w e i g h td i r e c t o r ya c c e s sp r o t o c o l ( l d a p ) 协议，其处理的信息主要是网格计算环境中的各种资源( 包括数据资源、 计算资源等) 、服务和其它主体的描述。它是网格计算环境中的信息服务中心。 2 ) 全局二级存储服务( g l o b a la c c e s st os e c o n d a r ys t o r a g e ，g a s s ) 2 9 1 ：g a s s 简化了在g l o b u s 环境下应用程序对远程文件i o 的操作，使得使用i 肘和标准c 语言f o 库的应用程序基本不用改动就可在g l o b u s 环境下执行。它是一个支持网 格计算环境远程f o 访问的中间件。 3 ) 网格f t p 服务( g r i d f t p ) 3 0 ：g r i d f t p 是一个高性能、安全、可靠的数据 传输协议，并针对高带宽的广域网络环境进行了优化，并具有支持第三方传输、 断点续传、并行传输、与g s l 结合的安全认证、缓存等特性。它是网格计算环境 中国科学技术大学硕士论文 第二章网格和网格计算技术 中的数据传输工具。 4 ) 复制管理( r e p l i c a m a n a g e m e n t ) 3 1 ：复制管理是一大类科学应用程序中 需要考虑的重要问题。由于存在对大型远程文件的访问，复制目录( r e p l i c a c a t a l o g ) 3 2 通过把部分相关数据智能地放置在离科学应用程序最近的位置，使得 科学应用程序可快速地对数据进行访问。 5 ) 资源分配管理( r e s o u r c ea l l o c a t i o nm a n a g e rg 咖 3 3 ：g r a m 负责远程 应用的资源请求处理、远程任务调度处理、远程任务管理等工作，另外还负责对 r e s o u r c es p e c i f i c a t i o nl a n g u a g e ( r s l ) 3 4 信息的解析和处理工作。它是网格计算 环境中的任务执行中心。 6 ) n 格安全基础设施( g r i ds e c u r i t yi n f r a s t r u c t u r e ：g s i ) ：g s i 负责在广域网络 下的安全认证和加密通信，提供单点登录功能、远程身份鉴别功能、数据传输加 密功能等，提供了基于g s i 协议的g e n e r i cs e c u r i t ys e r v i c e sa p i ( g s i ) 接口。它是 保证网格计算环境安全性的核心部分。 2 5 中国科大网格研究和网格实验床 中国科学技术大学网格研究团队自2 0 0 0 年起就开展了网格方面的有关研 究，承担了几项科研课题，取得了丰硕的成果。“基于计算市场模型的安全网格 资源管理研究”课题将研究和解决动态环境下的、具有多层次异构的、基于多个 管理域的、安全高效的资源调度、管理、共享和卧作问题 3 5 。“合肥网格节点 的建设及若干典型网格应用的研制”课题的研究内容由三个部分组成，分别是合 肥网格结点基础设施与基本用户环境的建设，“蛋白质折叠模拟”、“基于结构的 分子设计”和“宇宙演化模拟n b o d y 这3 个在当今世界上高性能计算发展方面具 有重要源动力的典型网格应用的研究开发 3 6 。 拥有一个网格实验床是开展各项网格研究的前提，实现一个网格计算环境是 各种技术的集成，规划与搭建一个网格计算环境存在很多具有挑战性的问题。上 述两个课题的研究工作，是建立在中科大网格研究组的网格