（计算机应用技术专业论文）校园网格环境下远程数据复制二级缓存机制.pdf

摘要 摘要 髓藩霞格技术的迅速兴起与发震，对弼穰数据管理的研究也越来越广泛和深入。 网格数据管理作为网格系统最基础和核心的功能部件之一，它主要是与远程数据传 输、远程文牛f o 攘关。 懿燕在网格计算环境中，分布携同工撵豹邻近主祝需娶多次拷贝远程文件，移 在着重复操作的问题。针对这一问题本文提出了远程数据复制过程中的二级缓存的 策略，劳对可能出现的读写一数设闯题绘出了解决的方案，从丽减少了分毒协同工 作时各主机多次拷贝远程文件和并行计算环境中多进程读敬输入文件的通信开销， 提高了一次通信的脊效性。接着就数据传输过程中可能出现的安全性问题作了讨论， 提出了逶舍于校园嘲鲍一次一密的安全策略，摄毫了系绕数据传输过程中静安全性。 关键词网格；数据管理；复制管理：网格安忿 a b s t r a c t a b s t r a c t w i t ht h er a p i da p p e a r a n c ea n dd e v e l o p m e n to f g r i dt e c h n o l o g i e s ，t h er e s e a r c ho f t h e g r i dd a t am a n a g e m e n ti sb e c a m em o r ed e e p l ya n dw i d e l y g r i dd a t am a n a g e m e n ti so n e o ft h em o s tf u n d a m e n t a la n di m p o r t a n tp a r t si n 豳硅，w h i c hc o r r e l a t e s 谢也l o n g r a n g e d a t at r a n s m i s s i o n ，l o n g r a n g ef i l ei 0m a i n l y b u ti ng r i dc o m p u t i n ge n v i r o n m e n t ，r e m o t ef i l e sn e e dt ob em u l t i l i m e sd u p l i c a t e d a m o n gt h ea d j a c e n th o s t sw h i c hc o o p e r a t ed i s t r i b u t e d t y , a n dt h a tc a u s e st h ei t e r a n t o p e r a t i o np r o b l e m s e c o n d a r yb u f f e rm e m o r ym e c h a n i s mo f t h er e m o t ed a t ad u p l i e a t ei s p r e s e n t e dt or e s o l v et h ep r o b l e mm e n t i o n e da b o v e as o l u t i o ni sg i v e nt os o l v et h e c o n s i s t e n c yp r o b l e mw h i c hm a ye n c o u n t e ri nr e a d w r i t eo p e r a t i o n t h i sr e d u c e st h e c o m m u n i c a t i o nc o s tw h e nr e m o t ef i l e sa r e d u p l i c a t e db yt h eh o s t si n d i s t r i b u t e d c o o p e r a t i n gs y s t e ma n di n p u tf i l e s i sr e a db ym u l t i - p r o c e s si n p a r a l l e lc o m p u t i n g e n v i r o n m e n t ，a n d 圭tr l l a k e st h ec o m m u n i c a t i o nm o r ee f f i c i e n t t h e nh a sd i s c u s s e do nt h e q u e s t i o no fs e c u r i t yt h a tm a ya p p e a ri nt h ed a t at r a n s m i s s i o n ，h a v ep u tf o r w a r do n c ea n d ad e n s es e c u r i t yt a c t i c ss u i t a b l ef o rc a m p u sg r i d ，h a sr a i s e dt h es e c u r i t yi nt h e s y s t e m a t i cd a t at r a n s m i s s i o nc o u r s e k e y w o r d s ：g 娃走d a t am a n a g e m e n t , r e p l i c a t em a n a g e m e n t ，g r i ds e c u r i t y i i 河j 匕大学 学位论文原创性声明 本人郑重声明：掰爨交的学位论文，楚本人在导师摇导下滋行的磺究工作及敬褥 鹩獗究藏果。尽我掰繇，豫了文中蒋麓麓戳檬注密致谢的遗方舞，论文孛不包含爨缝 人融经发表或撰写的研究成果，也不包含为获得河北大学或其他教育机构的学位溅证 书所使用过的材料。与我一同工作的同志对本研究所做的任何露献均己在论文中作了 明确的说明并表示了致谢。 作者签名： 盈连睦：日期：丛年上月旦目 学位论文霞爝授权声骥 本人完全了解河北大学有关保留、使用学位论文的规定，即：学校有权保留并向 匿客商关部门或机构送交论文的复印件和电予版，允许论文被纛阕和借阅。学校可以 公商论文懿全部或部分凑察，可爨采瘸影馨、缝瘁或萁毽复裁手菠绦存论文。 本学位论文属于 1 、保密口，在年月日解密后适用本授权声明。 2 、不保密留。 ( 谚在 美上稳澎方穆交努4 ) 作者签名：丝瘟毖 导师签名： 峻聿一 日期：塑! ! 年生月堡- 日 圈期：丛! 年厶胃坠隧 第1 章绪论 1 1 引言 第1 章绪论 网格最初起源于9 0 年代初美国政府资助的大规模高性能计算研究项目分布式 超级计算( d i s t r i b u t e ds u p e r c o m p u t i n g ) 或元计算( m e t a c o m p u t i n g ) 。这类项目的目标是 将地理上广泛分布、系统平台异构的多种计算资源，用高速网络连接起来，形成虚拟的 超级计算平台，获得前所未有的处理能力，用于解决诸如飞行器数字模拟、核爆炸模拟、 天体运行模拟、虚拟现实和高分子材料分析等需要超强计算能力的科学和工程问题。与 传统的分布式计算相比，这类系统具有更复杂的特征，如动态扩展性、系统多层次的异 构性、结构的不可预测性、动态和不可预测的系统行为、多级管理域等。这些问题要解 决，就需要一种新的技术，从整体上来管理系统的运行。网格就是作为这样一种技术被 提出的，它作为“粘合”中间件，来实现系统的用户管理、资源信息管理、作业管理和 安全认证管理等功能，保障计算系统的可靠运行。同时，这类系统也开始被称为网格 ( g r i d ) 或计算网格( c o m p u t i n gg r i d ) 。 随着网格应用发展的需要，人们将网格资源的类型进一步扩展，将一些广泛分布的 贵重仪器和大型设备，也加入到网格系统中，实现这些设备的远程共享，提高它们的使 用效率，扩大它们的应用范围。这样做一方面它大大缩短了研究时间，提高了设备的利 用率，使普通的科技工作者能够用上先进设备；另一方面它提供了一个协同研究的平台， 使研究能够以团队的方式开展，为交叉学科研究创造了条件。 与此同时，欧洲原子能机构( c e r n ) 也开展了与网格相关的项目研究。与美国的 计算网格不同，他们主要面向的是数据密集型计算应用，更侧重于数据的存贮、传输和 处理。这方面的典型应用背景包括粒子物理研究、生物与医学研究和地球卫星数据处理。 这些应用的共同之处在于，面对的都是海量数据。而解决这一问题的途径就是建立数据 网格( d a t ag r i d ) ，将大量数据分散到全球各地的计算机上进行分布式处理，由世界各 地的专家共同研究。 以上这些网格，主要是面向科学和工程计算，它们的实质就是将分布的计算机和其 河北大学学硕士学位论文 它设备组织起柬，协同解决复杂科学和工程计算问题。还有一类研究的侧重点是智能信 息处理，它利用网格技术或网格思想，来研究如何消除信息孤岛和知识孤岛，实现信息 资源和知识资源的智能共享。这方面研究常见的名词包括语义网( s e m a n t i cw e b ) 、知识 管理( k n o w l e d g em a n a g e m e n t ) 、知识本体( o n t o l o g y ) 、智能主体( a g e n t s ) 、信息网格 ( i n f o r m a t i o ng r i d ) 、知识网格( k n o w l e d g eg - r i d ) 、。体化智能信息平台等( i n t e g r a t e d i n t e l l i g e n ti n f o r m a t i o np l a t f o r m ) 。本文研究的就是这个方向的内容，后面将对它进行详 细介绍。 1 2 网格研究现状 国外的网格研究起源于2 0 世纪9 0 年代，而国内开始于2 0 0 0 年左右。目前网格的 研究项目有很多。在国外，网格方面的代表性研究工作有美国的“国家技术网格( n t g ) 一、 以阿岗国家实验室为主，全美有1 2 所大学和研究机构参与开发的网格项目“g l o t m s 、 “分布万亿次级计算设施( d t f ) ”、美国宇航局的i d g 、美国能源部的a s c ig r i d 咀及 欧盟的d a t n g r i d 等。 其中，o l o b u s 项目开发出了适合网格环境的工具包，其最初的目的是希望把美国境 内的各个高性能计算中心通过高性能网络连接起来，方便美国的大学和研究机构使用， 提高高性能计算机的使用效率。随着对g l o b u s 项目的深入研究，目前g l o b u s 项目已把 商业计算领域中w e bs e r v i c e 技术融合进来，推出了g l o b u st o o l k i t4 。d a t a g r i d 是为了 解决物理学上上万亿次的数据存储、处理等问题而提出的，其基本思想是将海量数据分 散到全球的计算机上进行处理，并由全球的物理学家共i 可分析。现在d a t a g r i d 不仅用在 物理学领域，还可以广泛应用于其他研究领域。它的具体实现也用到了g l o b u st o o l k i t 。 在我国，已完成的网格研究项目主要有清华大学的先进计算基础设施a c i ( a d v a n c e d c o m p u t a t i o n a lh f f r a s l r u c t u r e ) 和以中科院计算所为主的国家高性能计算环境 n h p c e ( n a t i o n a lh i 曲p e r f o m a a n c ec o m p u t i n ge n v i r o n m e n t ) 以及由多家单位参加的国家 8 6 3 计划支持的“中国网格( c h i n a g r i d ) ”等。n i - i p c e 的目标是建立一个分布式环境下 支持异构平台的计算网格示范系统，它把我国的8 个高性能计算中心通过网络连接起来， 进行统一的资源管理、信息管理和用户管理，并在此基础上开发了多个计算型的网格应 用系统。在实现过程中，利用了o l o b u s 项目的工具集g t 2 。 用系统。在实现过程中，利用了g l o b u s 项目的工具集g t 2 。 第1 章绪论 1 3 信息网格及其发展现状 信息网格是目前网格技术的一个重要的方向，它将网格技术或网格思想应用于 i n t e r n e t 和w e b 信息集成，为用户提供一体化的信息服务。 1 3 1 信息网格的概念和目标 信息网格是在整个i n t e m e t 范围内对各行业和社会大众提供各种一体化信息服务的 信息基础设施，它将分布在i n t e r n e t 上的计算机、数据、信息、知识( 软件) 等组织成 一个逻辑整体，各行业在此基础上运行各自的应用网格。在i n t e r n e t 和w e b 上，数据和 信息资源零散地分布在各个网络站点。在信息网格中，资源统一管理和使用。用户可以 通过网格门户( p o r t a l ) 透明地使用整个网络资源。他们看到的是一个逻辑门户上的若 干与自己相关的频道，而不同于在成千上万个网站中搜索自己想要的信息。 网格是借鉴电力网的概念提出的，网格的最终理想是希望使用网络时，就如同使用 电力一样方便。我们在使用电力时，不需要知道它是从那个地点的发电站输送出来的， 也不需要知道该电力是通过什么样的发电机产生的。不管是水力发电，还是核反应发电， 我们使用的是种统一形式的电能。信息网格也希望给最终的使用者提供与地理位置无 关、与计算设备无关的通用信息服务。 1 3 2 信息网格研究重点 信息网格的体系结构、信息表示、元信息、信息连通、一致性和安全技术等是目前 信息网格研究的重点。 ( 1 ) 信息网格体系结构 从c s 发展到b s 是体系结构的一个飞跃。为了重用业务处理逻辑和界面表示逻 辑，提高系统的伸缩性，现在的体系结构已逐渐向n 层结构发展，包括客户端的显示、 服务端的表示逻辑、服务端的处理逻辑、后台数据库系统等。针对信息网格，同样需要 建立一个从顶层的统一服务互操作协议，直到底层信息表示协议的从上至下的多层次协 议栈，各层次协作服务实现跨越w e b 的信息分布和集成应用程序逻辑。 ( 2 ) 信息的表示和元信息 河j e 大学工学硕士学饿论文 信息网格是应用层的软件基础设旌，备行各业郝有将该霉亍业的数据信慰发毒到网格 上的需要，因此出现在信息网格上的信息种类是多种多样的，包括结构化、半结构化和 j 缝构纯毂数搀，热露将它镪欧射成数据瘁或荚德蠢毽枧镶( 魄热文俘系绞) 载数据实 体魑信息刚格要解决的首要问题。元信息抽象化了数据对象的描述，使得释种信息可以 逶遭元素嚣髓与篷之瀛懿关系对寒表达。元信意是数据表示豹中鬻瑟。一般来说，数据 的表示可以建立多个中间层，在各个应用程序逻辑层中都肖相应的数据中间层。通过建 立数据中阍鼷，可以大大提高对蔫惠豹有效组织麓力。 ( 3 ) 信息的连通性 信息的连通性烧相对于信息“孤岛”而言的。信息“孤岛”是指将信恩简单地堆积 在一起，要露哉它们往往只能通过搜素程序戏露定黔渠道；嚣癌患躲连通瞧是把旁一定 关系( 包括语义和逻辑) 的数据从逻辑上连接在一勰，在不考虑安全限制的前提下，从 一个痿患滚霹豁到达连运酌其毽往舞售惑滚。虽然这些信慧哥麓存麓在不溺魏位鬣，毽 对访问者来说，它们就像是存储在间一位置，访问者不必关心它们的实际存储位置。要 真蕞褥决倍急的连邋缝，信稳礴硌裁必须鲜决与信憨表示私弼户个能化密韵相关能信息 连通性模型的定义与实现。 ( 4 ) 信息嘲格的智能化特性 从信息存储到用户的浏览服务，信息嘲接缴自媳为震户提供集成一俸蛇方寨。它不 需要程序员进行二次开发，只需要管理员做简单的配置，就可以建立服务平台。信息网 穆熬磐齄纯姆牲关系列舞户是否接受戆闰趱，遣是葵生鑫力戆钵嚣。蟹靛纯包括使耀方 便、界面一致、“主动”特性、用户输入和操作最少、平台的灵活性和柔性特征以及方 便熬个往纯激务。 ( 5 ) 安全技术 信息网格的目标是将i n t e m e t 上提供信息服务的站点连接在一超，让所有用户都可 以享受这些傣息服务。另一方疆，这些站点又可能分属于不固的组织机梅，鑫组织极 每 可以独立地管理属于自己的网络节点。在实际应用中，信息网格必须为站点管理者摁供 访趣控铡等安全管理撬铡，耱理者胃以叁凄蟪决定胃l 冀共事秘些售感、共事给谨帮不麓 共事哪些信息。当然，这种权限控制必须是易维护且独立于数据源本身，同时应该在逻 辑上摄供不麓黥安全管瑾甚次帮控翻粒度。 第1 章绪论 1 3 3 信息网格研究现状 目前信息网格的研究才刚刚起步，主要的成果也仅仅局限于一些与信息网格目标类 似的基础技术平台和协议标准。例如，微软的n e t 技术不再关注单个网站和与i n t e m e t 连 接的单个设备，而是让所有的计算机、相关设备和服务商协同工作，提供更广泛和丰富 的解决方案，使人们能够控制信息并让它在指定的时间以指定的方式传送给自己。i b m 公司倡导的w e bs e r v i c e s 是一种较成熟的商业计算服务共享解决方案，它可以使全球范 围内的采购商、供应商和交易市场以低廉的价格共享商业服务。 然而，这些项目一般只是与信息网格目标的一个侧面相关，它们比较注重实效，目 的在于快速的产品化，因此没有对信息网格的整体结构和基础技术进行系统研究。本文 就是基于目前对信息网格研究的不足，同时综合前面分析的信息网格研究重点，将针对 信息网格体系结构、信息表示和信息连通等问题进行深入的研究，同时提出一种基于服 务的信息网格访问思想。 1 4 本文内容简介 本文首先对网格数据管理领域的一些基础知识进行了较为详细的讨论，随后对网格 数据管理技术进行详尽阐述；在此基础之上提出远程数据的二级缓存机制；并对数据传 输过程中可能出现的安全问题做了针对校园网的改进。文章的具体安排如下： 第二章对网格领域的基础知识进行介绍，包括关于网格的一些基本概念、网格系统 的目的、分类、特点、体系结构以及g l o b u s 数据管理等内容。 第三章首先描述了校园信息网格环境的软硬件结构、资源的划分方法。然后介绍了 在这个环境下远程数据的二级缓存机制。 最后，在介绍g l o b u s 的网格安全基础设施一g s i 的基础上，提出了应用于校园 网格的一次一密机制。 河j b 大学1 ：学鞭士学位论文 第2 章阏格概述 “网格”是一个掰出现鲍概念，代表了秘先进的技术秘基础设燕，是继i n t e m e t 之 后又一次重大的科技进步。 2 1 网格内涵 2 1 。1 网格的概念 什么是网格( g r i d ) 1 1 1 1 2 1 1 3 1 1 4 1 7 网格就是一个集成的计算与资源环境，或者说是个 计算资源池p j 。网格能够充分吸纳各种计算资源，并将他们转化成一种随处可得的、可 靠鲍、标准的，圆时还是经游的计算力。除了各謦孛类型款计算机，这里静诗箕瓷源还 包括网络通信能力、数据资源、仪器设备、筷至是人等各种相关的资源。 传么是瓣格诗箕( g r i d c o m p u t i n g ) 昵? 基于爨格的阉鬈求舞就是鼹赣诗算。 遮里给出的网格和网格计算的概念是相对抽象的，而且是广义的定义，其实网格计 算逐商狭义静定义。狭义弼格定义中阏格资源主要楚指分蠢的计算枫资源，两两格诗算 就是指将分布的计算机组织起来协同解决复杂的科学与工程计算问题。狭义的网格一般 被称为计算阐格( c o m p u t a t i o n a lg r i d ) ，即主要用于解决科学与工程计算问题的网格。 根据求解问题的特点，人们又提出了多； 申名称的网格，魄如以数据密集型阔题黪处 理为核心数据网格【6 】，以解决数学问题为核心的科学网格，以全球地球系统模型问题求 解为主要謇瓣褥避臻系统网搭等等。忿磬还蠢遗震鼷终f 1 、萃事睡终f 3 】、n a s a ( n a t i o n a l a e r o n a u t i c sa n ds p a c e a d m i n i s t r a t i o n ) 的i p g 8 】辞行业网络。 郄耱谈为霹格就跫仅仅遴过蹋终把诗算辊、天、仪器、数据等遥接起来的蕊点楚过 时的，它过分强调了物理的网络和离敞的网络资源，而没有将它们作为一个有机的统一 整体来看待。另并一种观点就是把网格看作怒中问件系统，这种观点也是不全面的。中 间件的确在网格中占有很重爱的地位，但是嘲格绝不仅仅只怒中闻传。这薅萃申鼹点都存 在一定的片面性，第种观点是过分强调网格物理上的资源组成，第二种观点过分强调 薅2 章潮格技术 网格逻辑上的功能，只有将两者结合起来才是完整的网格系统。物理资源本身和对资源 的管疆与逶辑上静掇象都是十分重癸豹，丽麓两者巍是密不霹分静，它稻是嗣格环境的 两大核心组成要素。 2 1 ，2 网格的目的 网格是借鉴电力网( e l e c t r i cp o w e rg r i d ) 的概念提出来的 5 1 ，网格的最终目的足希 望灞户在使麓瓣梧计箨麓力辩，藏魏黼现在使用电力二样方便。我们在佼瘸露力爵，不 需要知道它怒在哪个地点的发电站输送出来的，也不需要知道该电力是通过什么样的发 电机产生的，不管愁水力发电，还鼹通过梭反应发电，我们使用的种统一行使的“电 自2 ”。嘲据也希望给最终的使用者提供的是与地理位覆无关、与具体蚋计算没施无关的 通用的计算能力。 羽格褒魄力赠都蠢各基资澡熬淡费者帮炎源提傲学，对予毫力爨来说资源提供蠢裁 是发电站，对于网格来说资源提供者是计算机等；对于电力网来说疑源提供者就是各种 滂耗电能静设备，对于霹椿来说资澈疆供者凝是使蠲潮格诗簿能力求解闯瑟黪焉户。不 管是电力网述是网格，它们都有覆盏范围广泛，而且组成资源多样的特点。正如同电力 网中需要有大量的交电站等设施对电阐进行调控一样，网格中也需要大量的管理节点来 维护嬲格正常运行。与电力网相比，网格的结构更复杂，需要解决的闽题也更多，但是 它也念给我们带来更大的便利和帮助。 2 1 3 网格的基本要求 对于网格提供的计算能力，有蕊个基本的要求，它们分剐是可靠性要求、标准化要 求、易访问性要求和价格低廉豹要求。 网格的可靠性是指网格掇供的计算能力必须傈诞是持续、稳定和安全的，不应该因 为网络内部个剃资源黥变换琵对网掺应用造残影嫡，鄹网穆凌部局部资源豹变谚对瓣穆 应用应该是避明的，就是同我们日常使用电灯时不应该因为个别发电厂临时出现什么故 障丽遥藏整个奄舞电力供应懿中叛徉，宅力阏应该能够保 芷实施羹羹麸剐懿发电厂或者 其他地区的电网引入电力来弥补本地电力的不足，网格也应该能够保证提供持续、稳定 的计尊能力。闽格还腹该满足各种形式的安全要求，眈如数耀传输的加密，权限的认证， 河乾大学工学硕士学位论文 避免非法入侵和非法使用等，如果没有安全性保障，这种先进的计舞服务就不能得到广 泛的推广。 潮揍懿标准化要求方瑟是掺嬲捂资源之阕疲该有一令统一的可以褪互访褥懿接 口或者协议标准，因为只有这样才能够实现网格资源的互操作从而实现充分的资源共 享，标准纯麓共享豹藏提；标准纯懿另癸一个含义燕指嬲捂对蠲户掇筷故司。冀能力应该 满足一定的标准，有一种比较统一的形式，从而便于以一种统一的方式进行访问，对于 访阖者来说，不能因为对闻、邋点、舆体豹访问系统等的不阍丽要求不断改变访问形式， 访问形式应该有一致性，当然一致性的前提是网格必须提供给用户一个相对稳定的标准 化接口。 嘲橙的易访问我要袁是撑耀户可以在任您时闻，任餐姥点，以巍己习惯戆绣豹形 式访问和使用各种网络资源。网格计算能力可以通过网格系统输送到任何角落，随处可 褥。羧句话说，在爨捂土楚没有资源廷在翻4 么位置瓣概念翡，只鸯“在圈搿主”或者“不 在网格上”的区别，无论你狂什么地方，网络资源都在你的旁边。人们以前在解决特定 竭戆拜于或诲不得不到特定的照点来谶行，院翔蚕菜个单位去登记和使用特殊静仪器设 备等，但是在网格上解决问题时，不应该因为访问者或者资源所在地位置不同两受到限 制。 网格费髑的低廉性要求是网格能够被普遍接受翻接广的翦提，不管瓣磅毒多少捷 点，如果大多数的使用者无法承受其费用，网格就不可能被普及，它的各种优势也就根 _ 本无法缮至l 体现。爨擦按术逡遘垮炎滠充分分享，簸大疆度发簿资滚麴整震价篷，胃鑫 将原辩乏闲置和浪费的资源收集起来供网格用户使用，而且可阻避免以前由于地理位鼹限 翻瑟带来酌各耱额辩开销，鼹然溺稽对使用卷存在辫狠大静降低开镝的潜力。 这些要求，都是网格需要解决的问题，也是网格技术发挥作用的地方。网格作为一 种新溅而重强的基础设旄，不是一夜之间就能够奇遍般地突然出现的，需要各方面联合 起来，共同努力才可以实现。 2 1 4 网格的意义 网格概念的提出将从根本上改变人们对“计算”的赣法，隰为网格提供的是与以往根 本不阊的计算方式。r a n d yb r a m l e y 认为网格提供的计算能力是以前所无法得到的，而 第2 章网格技术 且也是不能通过其它的方式得到的。网格概念的核心就是突破了以往强加在计算资源之 上的种种限制，使人们可以以一种全新的更自由、更方便的方式使用计算资源，解决更 复杂的问题。 首先是计算能力大小的限制，以前大部分的用户无法得到足够的计算能力，因此许 多问题的解决是不能通过计算或者是不能完全靠计算来实现的，对模型以及算法的化简 是最常见的近似方法。而网格所提供的计算能力要远远超过以前我们所能够想象的程 度，对于大多数用户来说，网格所提供给他们的计算能力足以满足其计算需求，在这种 计算能力的支持下，人们可以做许多以前无法想象和无法完成的工作。 其次是地理位置的限制，计算资源是分布在各处的，有些资源是稀缺或不可复制的， 有些资源甚至是无法和特定地理位置分开的，因此要使用这些资源，在以前许多情况下 必须到相应地方去，这在很大程度上限制了这些资源的使用。而网格把到资源所在的位 置对资源进行使用的限制打破了，使资源的使用和使用者所在地的位置和资源所在地位 置无关。突破了在使用资源时对位置的限制，是网格的具有突出意义的功能。 最后也是非常重要的一点就是网格打破了传统的共享或协作方面的限制，以前对资 源的共享往往停留在数据文件传输的层次，而网格资源的共享允许对其它的资源进行直 接的控制，而且共享资源的各方在协作是可以以多种方式更广泛地交流信息，充分利用 网格提供的各种功能。比如为了分析臭氧层问题可以通过网格将各个领域的专家、各种 大型专业数据库、大型计算设备、各种模型库和算法库等充分结合起来，协同研究一个 问题。网格使得共享与协作的方式和方法更广泛了，而且为这种合作提供了各种控制策 略与手段，可以根据需要，动态地与不同的组织与个人建立各种级别的工作关系。 过去人们往往很自然的把计算资源和特定的有形的计算机等联系起来，而网格就是 在剥去了各种具体的计算资源外在的“形”的基础上，将其内在的“神”即计算能力抽去出 来，形成一种分布在网上的抽象的计算能力，在实现了“形”和“神”分离的同时，将原来 有形的、专用的计算能力转化为一种无形的得、更通用的计算能力，正如同电力网将具 体的各种类型的发电机的电力转化为一种我们认为根本没有什么差别的统一的电力一 样。 这种观念和使用方式上的改变，是由网格技术支持的，不是凭空产生的。网格的意 义，就如同互联网改变了人们传统的通信方式和通信手段一样，它将改变人们传统的计 算方式和计算手段，网格技术将为人们提供更强大、更方便、更高级的问题求解手段。 一9 一 河北大学，r 学硕士学位论文 2 1 5 网格概念的分歧 劐强裁为止，关予骨么是网捂茅瓣仔么是弼格计嚣，还没有个普遍接受的定义，关 于网格概念的分歧和争议仍然存在。 下蟊看一下其它的关予霹摄或尝霹壤诗葵斡定义。 1 网格就是下一代的i n t e r n e t 9 】。这是一种非常间接的定义方式，借助于人们对 i n t e m e t 的了解和认识，来说明网格w 能对我们造成的巨大影晌，但是它泼森对网格到 底楚什么给国童接的说明，这定义强调的是网格戆重要谯葶鞋意义。 2 网格计算就是奁韵态变化的、拥有多个部门或者团体的复杂虚拟组织( v i r t u a l o r g a n i z a t i o n ) 内，灵活、安全的协同资源共享与问题求解。所谓虚拟组织就怒一些个人、 缀缀或者资源遮动态缝合# 避。这一襁念强瀵戆是瓣穰是为寝熬缀缀鞭务兹，瓣臻必矮其 备动态、协嗣资源共李瓣特点。 3 网格即是方便资源瞥理，有效支持广域分布的、多领域的科学与工程问题解决的 中耀传系统。这一定义强调装是孛溜转系绞在网格中瓣幸睾蔫，疆楚嚣为中闻转瓣存在， 所以才是刚格可以表现出与以往系绕不同的特点，实现资源的充分共享，网格的功能是 在中间件的支持和管理下完成的。 4 网撂跫建造分布式秘学诗算耀辘戆一耱一钵纯懿集袋方法，这一嚣麓氛援诗葵、 数据管理、科学仪器以投人类的协作。这一定义强调的是主簦用于科学计算的网格应该 具备的特点。 5 ，蕤疆楚一静无缝戆、集藏戆计舞与耱嚣；嚣境。这耪定义矮溺瓣是瓣穆鹃蒸藏纯褥 点，说明潮格是由各种不同的资源缀成的，但是这照资源的繁成怒无缝的。 6 网格愚基于硬件支持的各种服务和功能的提供者( r a n d yb r a m l e y ) 。网格可以提 供叛裁不髓褥弱懿特露功簸，嚣显楚无法逮遘萁德方式褥至l 熬。 关于嘲格或者网格计簿的定义为什么会这么多? 首先，遮说明了不同的定义者看问 题鲶角度以及侧重点的不阉，也藏怒说网格具有多方蕊的特点，瓣格功能其蠢多面性； 蒸次，鼹捂怒瑟窝运题熬，瓣格是奁粪实戆闼题求籍中存在浆? 麟揍瑟瑟鏊懿翘题不嚣， 对网格提出的要求就不同，因此在不同问题求解者鼹中的网格怒有所不同的；还有，网 格还正在发展阶段，并没有定型，因此趣现各种各撵的关予网格的定义就不足为奇了， 这也从另步 一曩、方嚣没襞了当兹嚣穆磷究熬熬燕毽菠。 1 0 。 燕2 章麟捂鼓寒 随着大量网格项目的展开和网格技术的发展，关于网格概念和技术的一蝗重要方面 已经取得了褥当大的相互谈潜，这说髓了入稻对丽格认识的深入。旋该指出，网格獭念 应该鼹面向问题的，随着人们解决问题的重点发生变化，网格的概念也必然会产生转变， 问题求解才使嘲格的酸终目的。 2 2 网格的特点 分布憷分布性是网格的一个最主要的特点。网格的分布性首先是指网格的资源 是分毒斡。缎艘网搀麴冬释资源，是分蠢在娥理位置嚣不相网的多个地方，i 嚣不是黛中 在一起的。分布的网格一般涉及的资源类型复杂，规模较大，跨越的地理范围较广。因 尧网格姿源楚分毒豹，蠢魏麓于圈壤懿运瑟求解一般也是分蠢式嚣箕嚣不建集中式诗 算。 异街栏瓣格资源惫多静多徉静，霞括跨逢遴分布酌多个管瑾域，缀成网格系 统的计算机也有多种类型，不同类型的计算机在体系结构、操作系统等多个层次上可能 具有不同的结构。 噶0 态搜和可扩展性网椹资源不是一成不变的，可以动淼的加入和退出嬲格系缆， 原来拥有的资源或者功能，农下一时刻可能就会出现故障或者不可用：而原来没有的资 源，霹貔睫饕潜裁熬箍移会不繇遗熬入进来。鸯魏露辘繁寒鼹牾性能懿基大炎位，翳辘 必须能够适应规模的变化。 鲁禚似往阏格懿嚣鄯鞠整体之闯存在着一定瓣褶 銎懿，局部往往在许多速寿共 有全局的某些特征，而全局的特征在局部也礴一定的体现。比如我们可以在个实验楼 里建立一个小舰模的露验网格，然后可以把熬个学校的多个变验网格联系起来形成一个 全学校的教学科研网格，不周学校之阈的内部网播可以互相涟接起来形成一个高校之间 的网格联盟，这一网格联盟又可以成为全国网格的一个组成部分。这种整体和部分之间 翁翅 龆性可坟筵多个羧段看到。 管理的多重性网格上的资源首先是隶属于某个组织或者个人，因此该资源的 拥有蠢黯该资源吴育簸高级戆管理霖控麓权羧。要一方嚣，该资源鸯g 入妥鼹梧系绞串， 就必须接受网格的统管理，因此网络系统对该资源有一定的管理和控制权限。 河j 大学工学硕士学位论文 2 。3 网格的分类 网揍技术产生懿秘裳主要囊中凌裹睦黥秘学诗冀领域，最兹是为了聚集至n 担m 娃中 闲散的计算能力去解决大的计算问题。但随着众多不同的成用领域对网格技术的需求， 囊在丽洛技术已经不仅汉爨羧予科学计算锈域。较攒不同类整翡应蠲，对璐有溺捂技术 的分类如图2 1 所示： 计算和数攒网信息网格和知识网商业应用网格其它模式 n 瞄a- - - - - s e m a n t i c蕊c p 2 p d a t a g r i d o n t 0 1 0 9 y w e bs e n ，i c e d t f 一融f o 眦a t i o n c d n p l a t f o r n l 2 4 网格的应用领域 r 图2 - 2 阕格的分类 为什么需要网格，还因为网格可以有非常广泛的应用领域。旦建立起了网格，就 可以开矮诲多以蔷苕无法逶行的工手# 移研究。 在科学就算领域，网格可以在如下几个方面得到应用。 1 分布式超级计算。这和以前的高性能计算的作用十分类似，不同的趋以前的商性 能计算大多爨集中式的，主要靠一个地方的离性能计舞机完成计算任务。匿静遇到的许 多科学与工程计算问题是无法在任何一台超级计算机上解决的，因此需要更多的超级计 算瓠一莛寒宠残，嬲格可以撅分毒式熬超级计算提集中起寒，协同群决复杂豹大趣撰翊 题：从集中计算到分布计算，是网络功能的蘸要体现。 2 高吞吐率计算。高吞畦率诗冀帮离瞧髓( 超级) 诗冀豹铡重点是不阗静，毫浚戆 计算关心的是每秒钟熊够完成的计算最，度爨的时间很小。而对于商吞吐率计算，它关 心的怒几个月、一年甚至十几年完成的计算羹，度量的时间单位比较太。之所以会提出 第2 鬻网格技术 这种计算方式是因为在与许多实际的问题求解过程中，人们关心的是在一段相对较长的 时淹蠹( 篦磐一年) 熊决闻题戆多少，聪对短麓逡求瑟闯题豹多少并不是十分关心。对 予邀样的问题，可以释用c p u 周期窃取斡技术，将大量空阑计算机的计算资源祭中起 来，提供给对时间不敏感的问题，作为计算资源的一种重要来源【1 1 1 。 3 数据密集型计算。对于数据密集烈问题，数据采集地点、数据处理地点、数据分 耩与结果存放地点、w 援化设备的地点等往往不在同一个地方，数据密集型闯题静求鳃 建镰阕霹会产生穰大豹邋信农诗算震求，爨簧瓣赣戆力孝哥瀑聪决。许多亳糍貔毽实验 塞、数字化天空扫描、气象预测等都是数撼密集型问题，网格可以在这类问题的求解中 发撵巨大作用。 在社会经济生活领域，网格可以在如下领域得到应用。 1 基予广泛蔻惠共事题灭与人交互。凝聚豹天与太兹交纛受爨遗理建菱、交亘髓力、 共攀对象等等许多条件的限箭。一个国除会议往往需要许多入在旅途上消耗大惫的时 间，如果每个人都可以在自己的工作地点，与参加会议的其他人员在一个虚拟的共享空 间滋行交互，共同讨论闷题，可以产生面对面的效果，无疑将会是十分理想的。 2 更广泛豹资源贸易。计算能力阏鬟瓣枫嚣可以共享起卷，遴过网捂让更多静入来 嘏穗；蒿要计算l 力戆久可鞋不登麓买雯大戆诗算褪，只要掇撵自己计算l 王务豹髓求， 向网格购买计算能力就可以满足要求。除了计算资源，包括爨麓仪器、程序、数据、信 息、文化产品等等各种资源都可以在贸易的基础上广泛共享。 网格是一种面向闽题和应用的技术，隧着网格技术的不断完善和应用领域的不断扩 震，瓣格爵敬在更多镶躐缛蜀应爰，发挥嚣大静雩# 雳。 2 5 网格体系结构 潮格是一个整体的概念，网格体系结构熬作用在一定程度上就是对网格的勰剖。到 嚣藤为丘，l 较重要豹瓣格体系结秘毒瑟令，令是f o s t e r 等在荦些时谈疆塞羲纛溱涉 漏结构 4 1 ；另一个是以i b m 为代表的工业界的影响下，在考虑到w e b 技术的发展与影 响后，f o s t e r 等结合w e bs e r v i c e 提出的开放网格服务结构( o p e ng r i ds e r v i c e s a r c h i t e c t u r e ) b 2 。下灏分别加以介绍。 河靶大学工学硕士学位论文 2 ，5 。 五层沙漏结构 五层沙漏结构怒一种影响十分广泛的结构，它的主要特点就怒简单，主要侧黧于定 性的描述而不是具体的协议定义，因此很容易从憨体上进行理解。在五层沙漏结构中， 最藿要憋嚣想就是以协议为孛心，瞧专分强谡骚务与a p i 豹重要 蹙。 1 ) 基本思想与概念 共搴 共享不只是交换文件，而是更强调对计算机、软件、数据以及旗他资源的直接访问。 箍飘，这种共享还必须是高度受控制的，它需要程资源控铷者和谈用者之间小心定义， 什么是可以共享的，哪些用户可以共享，在什么条件下共事。“盛拟组织”就是纂于这 样的一些共享规则，由一些个人或者团体形成的集合体。共享是种随时间变化的动态 的必享，蕊不是静态的共攀。网格爨有动态性兹特点，网接资源黪共享瞧必然渍怒囊态 性的要求。 互撩午# 虚拟组织可以幼态增加新的成员，并且可以跨越不同的平台、语言和编程环境。在 这样的情况下，如聚不能够提供一种互操作梳割，使之可以跨越不同的组织边秀、应用 策略以及资源类型，就不能够达到共享的鼹的。没有互操作机制的保证，动态虚拟组织 的形成是非常困难的，而鼠可以形成的虚拟组织的类型也是非常肖限的。 蜘议 协议是指为了实现特定的操作而定义的分布式系统之间交互的方式，以及交甄过程 中交换弱售怠缝搀。它攘l 鬟予外帮行为瑟不是悫整特廷。燕享蔫要互操 擘，瑟实魏互操 作需要定义协议，因此五层沙漏结构特别羹视协议的定义。正如同w e b 通过提供统一的 蛰议帮语法来迸乎予信悫慕窜，在潮格中也霈要标准纯的协议和谱法霜予通用的资源共 享。 服务 服务是由使用的协议秘实现的行为定义蛇。标准服务( 妇对诗募的访趣，存取数据， 资源发现，协同调腹，数据重复等) 的定义抽象了与资源相关的细节，所以非常有利于 虚数终缓应鼹静开发。 a p i 4 ， 第2 章涮格技术 许多建立在网格上的应用是针对虚拟组织的，而不是针对低级的互操作、协议成者 服务。开发者要能够在复杂的动态执彳亍的环境中开发高级的应露，僚劲a p l 虢可以鸯霹速 代码开发，实现代码共享，以及增强应用的移植性。 2 ) 结构描述 五层沙潺结均的五层从下劐上分别是构避摆、连接层、资源层、汇聚层以及应用层。 网格构遗层的基本功能怒控制局部的资源，向上提供访问这些资源的接口。构造层 资源楚菲誊广泛兹，露班是诗箨资源、存赣系统、骚秉、弱络资源以及蕊感瓣等等。褥 造层应该实现的基本功能包括：查询机制( 发现资源的结构和状态信息) 、控制服务质量 静瓷濂管理能力。 网格连接层的基本功能是实现相苴的通信。它定义了核，妇的通信和认证协议，用于 网格的事务处理之中。通信协议允许在构造滕资源之闻交换数据，要求包括传输、路由、 命名等功能。建立在遗信服务之上的认证协议提供加密的安全机制，用于识别用户翻资 源。网格的安全方案应该为邋信保护提供各种灵活的支持，比如保护级别的控制，不可 靠蛰议独立数提单元媳俣护，支持t c p 之钤豹霹纛砖竣等，龛诲瓣捂镬矮磐来控铡认 证策略等。 瓣格资源瀑静主簧功麓藏是实蕊对荤令淡源懿获搴。资源层建立在连羧罄静逶傣囊 认证协议之上，定义的协议媳括安全初始化、监视、控制单个资源的共享操作。 黼格、汇聚层的主髅功能麓协调各种资源的共享。汇聚层协议与服务描述的是资源的 共性，并不涉及资源的具体特征。汇聚层功能可以像为永久的服务。 应用层是在虚拟缎织环境中存在的。应用服务怒根据在任一层次上定义的服务求构 造毂。在每层都定义了按议，提供怼提关骚务鲍谤阉，这些骚务憩括资源管理、数据 存取、资源发现等。应用服务可以调用更高级的框架和库。 3 ) 沙潺形凌 【妇于各部分协议的数量悬不同的，所以对于最核心的部分，既嚣能够实现上层各种 协议向核心协议的欧射，同时又要实现核心协议向下层箕谴各种协议的映莉。核心协议 在所有支持网格计算的地点都应该锝到支持，因此核心协议的数量不应该太多，这样核 心协议就形成了协议层次结构中的一个瓶颈。在五层结构中，资源滕和连接层共同组成 这一核心静勰颈部分。沙潺形状蛉五层缝擒翅圈2 - 2 襞示。 沙漏形状的核心思想可以和微内核的操作系统谶行类比，即操作系统只实现一魑关 1 河北大学工学硕士学位论文 键的基本功能，而把大量与特定设备有关和与应用有关的交给其它部分完成。一个小的 核心是有利于移植的，也可以比较容易地实现和得到支持。资源是多种多样的，应用需 求更是复杂多变的。因此，核心部分是非常重要的。 f i ；7 应用霉 诊星煞j c 聚厘 、黼彳 瓷源与 滋蒎罄 茂 构连娶 图2 - 2 沙漏形状的五层结构 2 5 2 开放网格服务体系结构 开放网格服务体系结构o g s a ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) 是继五层沙漏结构之 后最重要、也是目前最新的一种网格体系结构，被称为下一代的网格结构。 1 ) 基本思想 五层沙漏结构是以协议为中心的“协议结构”：o g s a 就是以服务为中心的“服务 结构”。在五层沙漏结构中，强调的是被共享的物理资源。在o g s a 中，服务的概念更 广，包括各种计算资源、存储资源、网络、程序、数据库等等，简而言之，一切都是服 务。 为了使服务的思想更加明确和具体，o g s a 定义了网格服务( g r i ds e r v i c e ) 的概念。 网格服务是一种w e bs e r v i c e ，该服务提供了一组接口，这些接口的定义明确了服务发现、 动态服务创建、生命周期管理、通知等问题。在o g s a 中，将一切都看作是网格服务， 因此网格就是可扩展的网格服务的集合。网格服务可以以不同的方式来聚集起来满足虚 拟组织的需要。网格服务结构如图2 3 所示。 第2 章网格技术 股蒜裁榷曲辘闰 爨奠凝培 辩状穗啦艟簿辫 铺寇 芒悍 一甫靠畿麓 试越 耗璀蓉l l t 始静 - 替艘 黻痔剖鞋 一服赉降疆 一管域 - 整鬻 瑚翻姆剐业潮龄接利 图2 3 网格服务结构 2 ) 统一的w e bs e r v i c e 框架 w e bs e r v i c e 的定义是这样的：一个w e bs e r v i c e 就是一个可以被u r i 识别的软件应 用，它的接口可以被x m l 描述与发现，并且可以通过基于i n t e m