（计算机应用技术专业论文）校园网格中数据管理的研究和实现.pdf

南京工业大学学位论文独创性声明及使用授权的声明 一、学位论文独创性声观 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得南京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡 献均已在论文中作了明确的说明并表示了谢意。 研究生签名日期：塑! ：! ： 二、关于学位论文使用授权的声明 南京工业大学、中国科学技术信息研究所、国家图书馆、中国学术期刊( 光 盘版) 电子杂志社及清华同方光盘股份有限公司有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文，本人电子文 档的内容和纸质论文的内容相一致。允许论文被查阅和借阅，可以公布f 包括刊 登) 论文的全部或部分内容。论文的公布i 包括刊登) 授权南京三业大学研究生 部办理。 研究生签澶剥嗽：琵馥日期：冱壁! 【 “ 硕士学位论文 摘要 近几年来，有关“网格”的话题越来越热，并且有关网格的研究也越来越多。 可以说传统的互联网实现了计算机硬件的连通，w e b 实现了网页的连通，而网格 则试图实现互联网上所有资源的全面连通，包括计算资源、存储资源、通信资源、 软件资源、信息资源、知识资源等等。 数据网格的概念来自网格，它是网格技术在数据管理方面的应用和实现。数 据网格就是建立个在网格环境下，透明访问异构数据资源的新的体系结构。数 据网格的关键技术主要有元数据管理、目录服务、复制管理、高速数据传输机制、 安全技术等。校园网格系统具有一般网格系统的特性，本文把校园网格作为个 网格的原型系统，对此进行数据管理的研究。 本文首先对数据网格的关键技术进行研究，具体地提出了数据复制的策略， c a c h e 管理的机制以及数据分割的方法等。并对数据复制管理的域间复制创建策 黯进行了j 二较分昕，以及讨论了数据分割对数据传输性能的影响。 在研究数据网格技术基础上，以建立校园网格为背景，设计了一个校园网格 中数据服务的结构，对数据网格的关键技术加以实现。其中着重进行了文件管理 j = r ! _ 眚4 设_ ! 十者如：【肄 称发汁、f i 录结构设汁、文绰疠问接口、数据复制设汁、 文1 牛c a c h e 管理和又件传输等并实现了一个数据管理原型。所做的工怍为今后 建立更全面的校园网格提供了借鉴。 关键词网格数据管理数据复制c a c h e 管理数据分割 a b s t r a c t a b s t r a c t t nr e c e n ty e a r s ，t h et o p i ca b o u tg r i dh a sb e c o m em o r ea n dn l o r ep o p u l a r , a n dt h e r e s e a r c h e sa b o u ti th a v ei n c r e a s e da sw e l l i ti sa d m i t t e dt h a ti n t e r n e tb r i n g sa b o u tt h e c o m m u n i c a t i o no ft h ec o m p u t e rh a r d w a r ea n dt h a tw e br e n d e r st h ec o m m u n i c a t i o no f t h ew e bp a 2 e s t h eg r i da t t e m p t st oa c h i e v et h eo v e r a l lc o m m u n i c a t i o no fa l it h e r e s o u r c e sa v a i l a b l ei nt h ei n t e m e t ：c o m p u t i n gr e s o u r c e ，s t o r a g er e s o u r c e ， c o m m u n i c a t i o nr e s o u r c e ，s o f t w a r er e s o u r c e ，i n f o r m a t i o nr e s o u r c e ，k n o w l e d g e r e s o u r c ea n ds o0 1 1 d e r i v e di t sc o n c e p tf r o mt h eg r i d ，d a t ag r i di st h ea p p l i c a t i o na n dr e a l i z a t i o no f t h eg r i dt e c h n o l o g yi nt h ea r e ao fd a t am a n a g e m e n t ，t h a ti s ，an e ws y s t e mw h i c hc a r l t r a n s p a r e n t l yv i s i tv a r i o u sd a t as o u r c e su n d e rt h eg r i dc i r c u m s t a n c e s ，t h ec r u c i a l t e c h n o l o g yo ft h ed a t ag r i dc o n s i s t so ft h em e t a d a t am a n a g e m e n t ，c a t a l o g u es e r v i c e ： r e p l i c am a n a g e m e n t ，h i g h s p e e dd a t at r a n s f e r a n ds a f e t yt e c h n o l o g y a st h e c a m p u sg r i ds y s t e mh a st h et e a t u r eo ft h ec o m m o ng r i ds y s t e m s - w er e g a r dc a m p u s g r i ds y s t e ma sap r o t o t y p eg r i d3 y s t e ma n dw es t u d yt h ed a t am a n a g e m e n tb a s e do n i t b ym e a n so ft h es t u d yo ft h ec r u c i a lt e c h n o l o g yo ft h ed a t ag r i d ，w en o to n l y p u tf o r w a r dt h ea p p r o a c h t od a t ar e p l i c a t i o n ，t h er e g u l a t i o ns y s t e mo fc a c h e m a n a g e m e n tu n dt h em e t h o do fd a t as e g m e n t a t i o nb u ta l s oa n a l y z ea n dc o m p a r et h e c r e a t i o ns t r a t e g yo fi n t e r d o m a i nr e p l i c a t i o no fd a t ar e p l i c am a n a g e m e n ta n dd i s c u s s t h ei m p a c to nd a t at r a n s m i s s i o nc a p a b i l i t yo ft h ed a t as e g m e n t a t i o n o ns u c hb a s e s ad a t as e r v i c ew i 出t h ec a m p u sg r i da si t sb a c k g r o u n di sc r e a t e d w h i c hi nt u r ne m p l o y s 也? c r u c i a lt e c h n o l o g yo ft h ed a t ag r i d e m p h a s i z i n gt h e d e s i g n so ft h e f i l e m a n a g e m e n ts y s t e m s u c ha s t h ed e s i g no ft h ef i l en a m e s t h e d e s i g no ft h ec a t a l o gs t r u c t u r e ，t h ef i l ea c c e s si n t e r f a c e ，t h ed e s i g no ft h ed a t a r e p l i c a t i o n ，t h ec a c h em a n a g e m e n to ft h ef i l e s ，t h ef i l et r a n s f e r sa n di nw h i c h t h e r e a l i z a t i o no ft h em o d e l si sa l s oi n c l u d e d t h es t u d ya b o v ep a v e st h ew a yf o rt h e f u t u r ee s t a b l i s h m e n to f am o r ec o m p r e h e n s i v ec a m p u sg r i d k e y w o r d s ：g r i d ；d a t am a n a g e m e n t ；d a t ar e p l i c a t i o n ；c a c h em a n a g e m e n t d a t ac u t t e r 硕士学位论文 1 1 引言 第一章绪论 “网格是继网络之后的又一大商机。”i b m 公司网格计算业务总经理t o m h o k e 用如此简单而空洞的词汇来描述网格。当人们习惯使用互联网的各种服务， 技术人员在学习和利用企业分布式计算、w e bs e r v i c e s 、s u no n e 、n e t 等技术 时，“网格”这个新名词义慢慢地浮出水面。2 0 0 2 年，美国能源部的山地亚国家 实验室宣布，它的“先进战略计算创新计划网格( a s c ig r i d ) ”将投入生产性使 用，主要用于核武器研究。 那么什么是“网格”呢? 简单地讲，网格是把整个互联网整合成一台巨大的 超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家 资源的全面共享”。当然，我们也可以构造地区性的网格( 如某大学校园网格) 、 企事业内部网格、局域网网格、甚至家庭网格和个人网格。网格的根本特征并不 一定是它的规模，而是资源共享，消除了资源孤岛。 也有一些人把网格看成是夫来互联网技术。中国科学院计算所所长李国杰院 士认为，网格实际上是继传统互联网、w e b 之后的第三个大浪潮，可以称之为第 三代互联网应用hj 2 1 。简单地讲，传统互联网实现了计算机硬件的连通，w e b 实 现了网页的连通，而网格试图实现互联网上所有资源的全面连通，包括计算资源、 存锗资源、通信资源、软哗资源、信息资源、知识资源等等。 企业界的网格相关研究开发工作由最重要的就是万维网服务( w e b s e r v i c e s ) 。这是因为不仅创业小公司，而且像i b m 这样的大牌公司也在加紧开 发万维网服务产品。这些公司已经就几个底层标准协议达成了共识，包括x m l 、 s o a p 、w s d l 、u d d i 等。 目前，包括i b m 、微软、p l a t f o r m 等2 0 0 个成员的全球网格论坛g g f ( g l o b a l g r i d f o r u m ) 口 中的g l o b u s 组织，已经推出了一组开放源代码的标准协议和标准 中间件g l o b u s 。它提供了一种通用语言去远程访问超级计算机、数据收集设施 和科学计算数据库。g l o b u s 包括一组工具，可以自动定位所需要的软硬件资源、 认证网格用户合法性、把计算任务打包分发给空闲的处理设备。目前，g l o b u s 主要用在科学计算领域。 2 0 0 2 年2 月2 0 日，i b m 与g l o b u s 在多伦多联合发布开放性网格服务架构 o g s a ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) h j ，把g l o b u s 标准与支持商用的w e b s e r v i c e s 的标准结合起来，让网格能够支持w e bs e r v i c e s 。p l a t f o r m 、a v a k i 、 e n t r o p i a 和微软等公司都支持o g s a 。 第一章绪论 由应用需求、技术和标准催生的网格，目前还处在科研应用阶段。由于网格 是一种新技术，它也就具有新技术的两个特征。第一，不同的群体用不同的名词 来称谓它；第二，网格的精确含义和内容还没有固定，而是在不断变化。因此， 本文没有对网格和网格标准进行具体的定义，而是对网格中有关数据管理的具体 技术进行研究，并解决其中的关键技术。 1 2 网格应用研究现状 1 2 1 国外网格研究现状 按照1 a nf o s t e r f 5 1 和g l o b u s 项目组的观点，网格应用领域目前主要有四类： 分布式超级计算、分布式仪器系统、数据密集型计算和远程沉浸洲。 1 分布式超级计算 分布式超级计算( d i s t r i b u t e ds u p e r c o m p u t i n g ) 是指将分布在不同地点的超 级计算机用高速网络连接起来，并用网格中间件软件“粘合”起来，形成比单台 超级计算机强大得多的计算平台。事实上，网格的最初设计目标主要就是要满足 更大规模的计算需求，g l o b u s 正是从这类应用起家的。这里主要有两个典型的 分布式超级计算应用：第一个是军事仿真项目s fe x p r e s s 第二个应用称作数 字相对论c a c t u s 8 1 ，它利用网格求解爱因斯坦相对论方程并模拟出天体的运动规 律。 ：，分布式仪器系统 分币式仪器系统。d i s t r i b u t e di n s t r u m e n t a t i o ns y s t e m j 是指用网格管理分市 | ! ：王各地的贵重仪器系统，提供远程访闻仪器设备的手段，提高仪器的利用率，穴 大方便用户的使用。典型的应用像x p o r t 在线访问科学仪器 9 】。 3 数据密集型计算 相比之下，数据密集型计算( d a t ai n t e n s i v ec o m p u t i n g ) 的应用好像要比计 算密集型应用多得多。它对应的数据网格更侧重于数据的存贮、传输和处理，而 计算网格则更侧重于计算能力的提高，所以它们的侧重点和实现技术是不同的。 在这里一个典型的应用是欧洲原子能研究机构c e r n 所丌展的数据网格 d a t a g r i d 项目u o 。 4 远程沉浸 远程沉浸( t e l e i m m e r s i o n ) 这个术语是在1 9 9 6 年1 0 月，由伊利诺州大学 芝加哥分校的电子可视化实验室e v l ( e l e c t r o n i cv i s u a l i z a t i o nl a b o r a t o r y ) 最早 提出来的。远程沉浸是一种特殊的网络化虚拟现实环境。这个环境可以是对现实 或历史的逼真反映，可以是对高性能计算结果或数据库的可视化，也可以是个纯 硕士学位论文 粹虚构的空间。典型的应用如c a v e 虚拟现实环境。 1 2 2 国内网格研究现状 在我国，已经完成的网格研究项目主要有清华大学的先进计算基础设施a c i ( a d v a n c e dc o m p u t a t i o n a li n f r a s t r u c t u r e ) 和以中科院计算所为主的国家高性能计 算环境n h p c e ( n a t i o n a lh i g hp e r f o r m a n c ec o m p u t i n ge n v i r o n m e n t ) 。 2 0 0 2 年4 月5 日至6 日，科技部召开了“网格战略研讨会”，确认将网格的 研究和应用列为“8 6 3 计划”的一个专项，随即成立了专项专家组。8 6 3 网格专 项投资高达3 个亿，主要任务是研制面向网格的万亿次级高性能计算机、具有数 万亿次聚合计算能力的高性能计算环境：开发具有自主知识产权的网格软件：建 设科学研究、经济建设、社会发展和国防建设急需的重要应用网格；制定若干与 网格相关的国家标准，参与制定国际标准，使一批发明专利和软件获得受理和登 记，形成自主知识产权。 目前正在进行的网格研究项目主要有： l ，中国国家网格( c n g r i d ) 中国国家网格专项由国家8 6 3 高技术研究发展计划资助，旨在建立面向企 业、高等院校、科研机构、政府部门的国家高性能计算环境。主节r 羔采用目行研 制的、面向网格的高性能计算机。若干工业、服务业、科学研究以及资源环境领 域的网格应用投入运行实现资源共享、协同工作。 ：中国教育科研两格( c h i n a o r i d ) 中雪教育科研刚格c h i n a g r i d 计划是教育部“十五”2 1 1 工程公共服务体系 建设的重大专项。中国教育科研网格将充分利用中国国家教育科研网c e r n e t 和高校的大量计算资源和信息资源，开放相应的网络软件，配合网络计算机的使 用，将分布在教育和科研网上自治的分布异构的海量资源集成起来，实现 c e r n e t 环境下资源的有效共享，消除信息孤岛，提供有效的服务，形成高水 平低成本的服务平台，将高性能计算送到教育和科研网用户的桌面上，成为国家 科研教学服务的大平台。 3 织女星网格( v e g ag r i d ) 织女星网格v e g ag r i d 由中科院计算所领衔开发，通过北京织女星网格技术 有限公司( 简称织女星网格公司) ，以国家”8 6 3 ”计划重大成果为基础，以中科院 计算所和国家高性能计算机工程研究中心强大的技术和人才为后盾。v e g a 计划 以元数据、构件框架、智能体、网格公共信息协议和网格计算协议为主要研究突 破点。 4 上海网格( s h a n g m i g r i d ) 第一童绪论 多所上海的大学和科研机构参加，构建具有上海特色的信息网格，初步实现 交通信息网格典型应用。上海市政府与i b m 公司合作建立“城市网格”，整合全 市范围内的政府信息化资源，提高政府的公共服务能力和效率。 另外，全国还有几十所大学和研究机构已经开展各种网格研究。可以看出， 网格研究正在迅速展开。 1 3 课题的研究意义 学校具有实施啜格计算架构的优势，校园内各部门有着对共享数据、计算资 源、存储资源、应用资源等的内在需求；还有对复杂的计算环境和提供更大计算 能力的需求；另外学校中有着充足且对新技术十分敏感的技术力量。 校园网格系统是一个网格的原型系统，是研究网格系统的一个较好的选择环 境。对校园网格进行数据管理的研究具有一般网格系统的特性，同时，校园网格 系统也具有一些自身的特性： 1 规模较小：相对于大型网格系统中的资源动辄以万为单位来计算，校园 网格系统所涉及的计算资源不超过百台，其所涉及资源的数据量并不是非常巨 大： ：资源结构简单：在校园环境下，操作系统主要基于w i n d o w s 和l i n u x ， 数据的跨平台性问题解决起来比较简单；所用到的资源多数以文件或者计算机为 主，资源种类比较少，易于结构化； 3 网络质量高：在大型网格系统中，网络连接可能跨省甚至跨地区因此 涉及到的网络情况异常复杂，为实现数据的有效共享需要考虑非常多的问题。而 组成校园网格的资源基本郡在校园网内，所以我们可以认为，网络的出错率接近 为零。 1 4 本文的主要工作 本文主要是研究和解决校园网格中的数据管理及其关键技术。 1 对网格中数据管理的关键技术加以研究。 针对数据管理系统，主要提出了对数据复制的策略，对c a c h e 管理的机制以 及对数据进行分割的方法等。 2 实现了一个校园刚格数据管理原型。 着重进行文件管理机制设计，诸如文件名称设计、目录结构设计、文件访问 接口、文件c a c h e 管理和文件传输等。 硕士学位论丈 本文内容共分为五章： 第一章介绍了国内外网格研究现状和课题研究的意义，以及本文的主要工 作。 第二章对网格的有关技术作了介绍，分析了研究校园网格的意义和数据网 格的关键技术。 第三章对数据网格相关技术进行了研究，主要是对复制管理、c a c h e 管理、 数据分割等加以研究。 第四章通过校园网格，对数据网格中有关的数据管理功能加以实现。 第五章对本文进行了总结，并提出了以后的进一步工作。 第二章网格技术介绍 第二章网格技术介绍 “网格”是近几年逐渐被人们所关注技术，对其研究也是刚刚起步。本章将 介绍网格的基本概念，网格的体系结构，以及本文引入校园网格进行研究的意义 和实现数据网格的关键技术，并简单介绍了网格程序开发工具g l o b u st o o l k i t3 0 。 2 1 网格基础 对于最终用户或应用程序来说，网格看起来就像是一个运行任务的巨大的虚 拟计算系统。这种想法听起来不错，但怎样才能变为现实呢? 答案是需要标准的、 开放的、通用的协议和接口。网格计算的标准不久就会被定义出来，目前已经渐 露身影。 2 1 1 网格类型 按照网格的客钵分，网格的种类主要有( 1 2 l 1 3 i ： 1 计算网格( c o m p u t a t i o n a lg r i d ) ，重点是具有部分预留资源的计算机，在 这类网格中，大部分机器是高性能服务器，可以处理关键数据，或是为其他负载 较重的计算机分担任务。 2 抬遗网格( s c a v e n g i n gg r i d ) ，一般是针对大量使用的桌面计算机，从空 闶的服务器和桌面计算机中回收c p u 周期和其它资源，用于处理资源消耗量大 的任务， 3 数据网格( d a t a g r i d ) ，数据网格可以被看成一个巨大的数据库，这些数 据被存储在不同的系统中。为同一机构中的所有数据存储提供统一接口，通过这 个接口可以实现对数据的查询、管理和保护。 和i n t e m e t 一样，网格计算电起源于研究和学术领域。现在，企业也开始使 用网格了。网格计算带来了新型的财务和商业模型。以下是一些例子： 在财经服务领域，网格计算被用于加速交易处理、海量数据处理、并为只能 容忍极短停机时间的工作平台提供更稳定的i t 环境。 政府机关使用网格来集中、保护和集成大量数据存储。许多政府和军事机构 都特别要求跨代理机构协作、数据集成和安全，以及跨数千个数据存储库快速获 取信息。 涉足生命科学( 比如基因组研究) 的公司使用并行和网格计算对大量数据执 行处理、净化、交叉制表和比较操作。更快的处理速度意味着更快地占领市场。 在该行业，任何轻微的优势都可能成为决定因素。 硕士学位论文 2 1 ，2 网格功能组成 网格计算主要有下面一些功能模块组成l l 。 1 安全性。在任何网格环境的基础部分，都必须有提供安全性的机制，安 全性包括认证、授权以及数据加密等。因为必须保证只有授权用户才能访问和使 用网格资源。 2 数据管理。如果任何数据( 包括应用程序模块) 都必须移到应用程序作 业执行所在的节点上，或者必须使这些节点可以访问这些数据，那么就需要有安 全而又可靠的方法来将文件和数据移到网格中的各个节点上。因此数据必须被传 输、净化、打包和处理。 3 作业和资源管理。网格资源分配管理器( g r i d r e s o u r c e a l l o c a t i o n m a n a g e r ， g r a m ) 提供了实际启动某个特定资源上的作业、检查其状态并在其完成后检索 其结果的服务。因此网格必须了解哪些任务可以使用哪些资源。 4 信息服务。因为用户和应用程序必须可以高效地查询网格。 2 2 网格体系结构 f 本系结构的英文是“a r c h i t e c t u r e ”，其含义是“建筑艺术”、“结构”【“。网 格体系结构就是关于如何建造网格的技术。它给出了网格的基本组成与功能，描 述了网格各组成部分的关系以及它们集成的方法或方法，刻画了支持网格有效运 转的机制“。 f 面简堕介绍到目前为止比较重要的两种网格( 本系结构：五层沙漏结构和开 放网格服务结构o g s at o p e ng r i ds e r v i c e s a r c h i t e c t u r e ) 。 2 2 1 五层沙漏结构 五层沙漏结构是一种影响十分广泛的结构，它的特点就是简单。它的一个最 重要的思想就是以“协议”为中心，也十分强调服务与a p i 和s d k 的重要性。 五层沙漏结构根据结构中各组成部分与共享资源的距离，将对共享资源进行 操作、管理和使用的功能分散在五个不同的层次。具体分为构造层( f a b r i c ) 、连 通层( c o n n e c t i v i t y ) 、资源层( r e s 0 1 l r c e ) 、汇聚层( c o l l e c t i v e ) 和应用层 ( a p p l i c a t i o n ) 五个层次，如图2 1 。 为了便于理解，此处将网格体系结构和t c p i p 网络协议结构进行粗略对比， 如图2 1 08 1 。 第二章网格技术介绍 i 离 【。1 。1 。1 。1 “一 l 5 9nn 塑兰星 图2 - 1网格体系结构与t c p i p 网络协议的对比 f i g u r e2 - 1 t h el a y e r e dg r i da r c h i t e c t u r ea n di t sr e l a t i o n s h i pt ot h ei n t e r n e tp r o t o c o la r c h i t e c t u r e 1 构造层( f a b r i c ) ：提供一套对局部资源控制的工具和接口。 五层结构中的最底层是构造层，它面对的是一个个具体的物理( 也可以是逻 辑的) 资源，它通过对这些局部资源的管理，向上提供对这些资源的管理和控制 接口。 2 连通层f c o n n e c t i v i t y ) ：安全、简易的通信。 位于构造层的上面，基于i n t e m e t 协议定义了g r i d 网络事务处理的通信和验 证协议，主要是为下层的物理资源提供安全的数据通信能力。 j 资源层r r e s o u r c e ) ：共享单个资源。 连接层的- ! 二面是资源层，定义了一些对单个的资源共享操作协议，它反映的 是抽象的局部资源的特征。可以远程统一的访问和共享操作资源。 4 汇聚层( c o l l e c t i v e ) ：提供多个资源协同工作。 资源层上面的汇聚层是将下面单个资源形式表现出来的资源集中起来，协调 解决多个资源之间的问题。主要是联合资源调度和预约，信息服务，数据复制服 务、资源发现服务、团体授权服务、协作服务和分布记帐服务等。 5 应用层( a p p l i c a t i o n ) ：提供g r i d 的系统开发和应用开发工具、环境。 五层结构的最上面是应用层，该层考虑有什么样的资源可以由下面提供给虚 拟组织以解决不同虚拟组织的具体问题。 五层结构的另外一个重要特点就是沙漏形状。如图2 2 u 。 翟 硕士学位论文 高层功能 向瓶颈部 分的映射 瓶颈部分 瓶颈部分 功能向底 层的映射 ：、 ， 工具与应用 、 目录代理 l 诊断与监控等 资源与服务 的安全访问 撩翘 应用层 汇聚层 资源与 连通层 构造层 图2 - 2 沙漏形状的五层结构 f i g u r e2 - 2 t h el a y e r e da r c h i t e c t u r el i k es a n d g l a s s 核心协议就形成了协议层结构中的一个瓶颈，在五层结构中，资源层和连接 层共同组成这一核心的瓶颈部分。即系统只实现一些关键的基本功能，而把大量 与特定设备有关和与应用有关的部分交给其它部分来完成。 下面通过具体的例子说明建立五层沙漏结构的意义，该例子是针对特定学科 的数据网格应用。如表2 一l ，表示出了每层对应的数据网格功能实现。 表2 - 1 五层结构应用示例 t a b l e 2 1t h ee x a m p l e so f f i v el a y e rs t r u c t u r e sa p p l i c a t i o n 应用层绮定学科的数据网格应用 移植性控制，选择复制，任务管理，虚拟数据目录， j 汇聚层( 面向问题) 虚拟数据代码目录 目录复制，复制管理，协同分配，证书授权， 汇聚层( 通用) 元数据目录 资源层数据访问，计算机访问，网络性能数据访问 连接层通信，服务发现( d n s ) ，认证，授权，代理 构造层存储系统，机群，网络，网络缓存 2 2 2 开放网格服务结构 开放网格服务结构o g s a ( o p e ng r i ds e r v i c e s a r c h i t e c t u r e ) 是继五层沙漏结 构之后最重要，也是目前最新的种网格体系结构，被称为是下一代的网格结构。 如果说五层沙漏结构是以协议为中心的“协议结构”，o g s a 就是以服务为中心 第二章网格技术介绍 的“服务结构”1 4 】【2 ”。 o g s a 是一种开放网格服务框架，是w e bs e r v i c e s 和g r i d 技术结合的产物， 在原来w e bs e r v i c e s 服务概念的基础上，提出了“网格服务( g r i ds e r v i c e s ) ”的 概念。o g s a 已成为网格基础框架的标准，它主要利用了w e bs e r v i c e s 的标准接 口定义机制、多协议绑定、本地与远端的透明性等，以及利用了网格的服务语义、 可靠性和安全模型、生命周期管理、发现和其他服务、以及多主机或运行环境来 构建自己的框架。 图2 - 3 网格服务组成 f i g u r e2 - 3 t h ec o n s t i t u t eo fg r i ds e r v i c e 在目前，o g s a 提供的网格服务接口还比较有限，如表格2 2 所示，o g s a 还在不断的完善过程之中，下一步：肾考虑扩充管理、安全等等方面的内容。 表2 - 2o g s a 网格服务接口 t a b l e2 2t h ei n t e r f a c eo f o g s ag r i ds e r v i c e 接口操作 描述 f i n d s e r v i c e d a t a 查询网格服务实例的各种信息 设置并得到网格服务实例的终止 g r i d s e r v i c es e t t e r m i n a t i o n t m e 时间 d e s t r o y终止网格服务实例 s u b s c f i b e t o n o t i f i c a t i n n t o p i c 向通知发送者进行登记 n o t i f i c a t i o n s o u r c e u n s u b s c r i b e t o n o t i f i c a t i o n t o p i c取消登记 n o t i f i c a t i o n s i n kd e l i v e r n o t i f i c a t i o n 异步发送消息 硕士学位论文 r e g i s t e r s e r v i c e网格服务句柄的软状态注册 r e g i s t r y u n r e g i s l e r s e r v i c e 取消注册的网格服务旬柄 f a c t o r yc r e a t e s e r v i c e创建新的网格服务实例 f i n d b y p r i m a r y k e y 返回根据特定键值创建的网格服 务句柄 p r i m a r y k e y d e s t r o y b y e r i m a r y k e y 撤销特定键值创建的网格服务实 例 返回与网格服务句柄相联系的网 h a n d l e m a d f i n d b y h a n d l e 格服务实例 建造o g s a 目前主要是两大支撑技术，网格技术( 即g l o b u s 软件包) 和 w e bs e r v i c e s 。g l o b u s 是已经被科学计算与工程计算广泛接受的网格技术求解方 案，w e bs e r v i c e s 是一种标准的存取网络应用的框架。 1 g l o b u s 口1 1 2 1 t g l o b u s 项目由a r g o n n en a t i o n a ll a b o r a t o r y sm a t h e m a t i c sa n dc o m p u t e r s c i e n c ed i v i s i o n 以及u n i v e r s i t yo fs o u t h e r nc a l i f o m i a si n f o r m a t i o ns c i e n c e s i n s t i t u t e 等单位承担。项目开始于1 9 9 6 年。g l o b u s 是一个研究性的项目，该项 里对网格技术进行了深入的研究，并歼发了比较成熟的软件g l o b u s t o o l k i t s 。最 近已经开始进行网格的标准化工作。g l o b u s 项目完成了多篇学术论文，其研究 成果在国际上产生了重要的影响，网格技术已经成为高性能计算研究领域中的热 点。 g l o b u st ) o l k i t s 目标是构建一a 网格软件基础设施，它是一种基于社团的、 开放结构、开发源码的工具集，也是支持网格与唰格应用的软件库，该工具包解 决了安全、信息发现、资源管理、数据管理、通信、错误检测以及可移植等问题。 2 w e bs e r v i c e s 2 2 】 w e bs e r v i c e s 表述了一个新的分布式计算的架构，用来解决异构的分布式计 算。w e bs e r v i c e s 定义了发现可访问的软件组件的技术，访问这些组件的方法以 及鉴别相关服务提供者的发现方法。 w e bs e r v i c e s 标准正庄由w 3 c 和其他的标准化组织定义，并且成为当前主 要技术发展方向的基础，例如m i c r o s o r ( n e t ) ，i b m ( 动态电子商务) 和s u n ( s u n o r l e ) 。 w e bs e r v i c e s 中几个比较重要的协议标准是：s o a p ，w s d l 、w s i n s p e c t i o n 和u d d i 。简单对象访问协议s o a p ( s i m p l eo b j e c t a c c e s sp r o t o c 0 1 ) 是消息传递 协议，它规定了w e bs e r v i c e s 之间是怎样传递信息的。w e b 服务描述语言w s d l ( w e bs e r v i c e sd e s c r i p t i o nl a n g u a g e ) 是一个x m l 文档，用于描述服务，包括 第二辛网格技术介绍 接口和访问的方法，它是w e bs e r v i c e s 的接口定义语言。统一描述、发现和集成 u d d i ( u n i v e r s a ld e s c r i p t i o n ，d i s c o v e r ya n di n t e g r a t i e n ) ，是一套基于w e bs e r v i c e s 注册中心的实现规范。定义了w e bs e r v i c e s 的目录结构。 实现一个完整的w e b 服务体系需要有一系列的协议规范来支撑，可以参看 图2 - - 4 2 3 1 ： 待定义的层次待开发的协议 路由、可靠性以及事务待开发的协议 服务工作流w s f l 服 服务发现、集成 u d d i 管 务安 理质全 服务描述 w s d lb e 服务消息 s o a p 传输层 h t t p ，f t p ，s m t p 司络层【p v 4 ，【p v 6 图2 4w e bs e r v i c e s “栈” f i g u r e2 - 4 t h e ”s t a c k ”o f w e bs e r v i c e s 认以上这个技术层：久图我们可以看到，w e b 服务追求的第一目标是简单性。 其中最下面两个部分是先前已经定义好的并且广泛使用的传输层和网络层的标 准：i p 、h t t p 、s m t p 等。而中间四个部分是目前的w e b 服务的相关标准协议， 包括服务调用协议s o a p 、服务描述协议w s d l 和服务发现集成协议u d d i ， 以及服务工作流描述语言w s f l 。而最上面两部分描述的是更高层的待开发的关 于路由、可靠性以及事务等方面的协议。右边三个部分是各个协议层的公用机制， 这些机制一般由外部的正交机制来完成。 2 3 网格关键技术 网格计算系统除了需要仔细研究其体系结构之夕 ，还要特别注意研究资源管 理、任务管理、通信技术、安全机制、用户界面等关键技术【1 5 】。 1 体系结构 网格体系结构必须要能够标识出网格的基本组成成分，要能够清楚地说明网 硕士学位论文 格整体是由哪些关键部分结合在一起形成的，还必须能够对各个部分的功能、目 的、特点等进行清晰地描述，使人们能够了解各个组成部分的作用。 如本文2 2 节“网格体系结构”所述，至目前为止，比较重要的网格体系结 构有两个：一个是f o s t e r 等在早些时候提出的五层沙漏结构；另一个是在以i b m 为代表的工业界的影响下，在考虑到w e b 技术的发展与影响后，f o s t e r 等结合 w e bs e r v i c e s 提出的开放网格服务结构o g s a ( o p e ng r i ds e r v i c e s a r c h i t e c t u r e ) c 6 1 。 2 用户界面 网格计算前湍主要解决最终用户通过统一的界面使用广域网上各类计算资 源的问题，其使用网格的模式应符合简单方便好用的原则。用户界面设计的好坏 直接关系到用户使用系统的效率。如何保证用户管理网格资源、构建问题解决环 境、进行网格程序设计、调用闲置网格资源，使用户界面达到与平台无关、与地 理位置无关、安全、易用等目标，是设计网格用户界面需要仔细考虑的问题。 3 资源管理 网格资源具有种类多且复杂、信息量大等特点，如何有效地管理好网格中的 各种资源是一项十分繁杂的工怍。资源管理包括资源的描述、组织( 注册) 和管 理等关键问题。 要实现高性能汁算和共享异构网格资源，必须提供统一的资源管理机制。统 一资源管理模型负责用户与网格计算环境的交互，提供与网格计算系统的统一出 入口。组织网格计算的资源，通常使用单一映象文件系统来实现。单一映象文件 系统是将地理上分散的异构资源映象成一个单一入口的虚拟机器。 4 任务调度 任务管理是网格计算研究必须解决的另一个关键问题。网格计算的目标是分 解一个应用为几个任务( 或子任务) ，并为每个任务匹配一个最适合执行的机器。 任务管理完成任务提交、查询、为任务指定所需资源、删除任务并监测任务的运 行：佚态。任务调度的作用是根据当前系统的负载情况，对系统内的任务进行动态 调度，提高系统的运行效率，即按照用户提交的任务类型、所需资源、可用资源 等情况安排运行日程和策略。 5 网格安全 网格安全问题主要来自两个方面一是身盼验证的问题，另一个是网格计算 必须要受到有序的控制和管理。 对于网格计算中的身份验证问题，虽然与现在的基于客户机n 务器模式的 身份验证有所不同，但目前各大学和研究机构多是采用安全的t e l n e t 和f 中应用 环境。网格计算的有序管理问题在g l o b u st o o l k i t 中，采用基于公钥的网格安全 第二章网格技术介绍 基础协议( g s d 。在此协议中提供一次登录、委托授权、局域安全方案整合、基 于用户的信任关系等功能。 6 通信技术 通信技术是实现网格计算系统安全可靠地进行资源动态整合、任务分布协同 的保证。要做到“即连即用”，必须要有高质量的宽带网络系统支持。数据加密 传输是保证信息在网络传输时安全可靠韵有效方法。现行网络系统一般使用r s a 或d e s 加密体系进行信息的加密传输。 针对网格的关键技术，本文选择了在校园网格中进行网格数据管理的研究。 下面将介绍研究校园网格的意义及实现数据网格的关键技术。 2 4 研究校园网格的意义 一般来说，目前的校园网具有如下一些特点： 1 覆盖范围小。一般是一个校园，距离较近。校园网覆盖的范围介于局域 网和城域网之间。 2 网络带宽相对较宽，网速较快，网络延迟较小。很多高校带宽达到了 1 0 m 1 0 0 m b p s ，有的则采用了干兆以太网，主干通道则采用了光纤。 3 校固网内资源的逻辑结构简单。校园网在建设时已