（计算机系统结构专业论文）基于教育资源共享网格的数据复制策略研究.pdf

重庆大学硕士学位论文中文摘要 摘要 随着我国教育信息化的深层次推进，互联网中的教育信息资源大量增长。海 量的网络教育资源既为教育带来了强大的助力，也为教育资源的建设与管理带来 了新的挑战。当前我国教育资源的管理和建设存在各自为政、重复建设、质量参 差不齐等问题。如何将现有资源整合起来，更加有效地管理和利用，是当前研究 的一个重点。有专家提出通过建立教育资源共享网格的方式解决上述问题。 网格技术的诞生最初是为了解决高性能计算和数据密集型应用的需求。教育 资源共享网格是数据密集型网格的一种新的应用方式。在这种类型的网格中，如 何有效地管理数据使得位于不同地理位置的用户都能够高效访问是一项巨大的挑 战。数据复制技术为此提供了解决方案采用适当的数据复制策略能够有效降 低访问延迟和带宽消耗，还有助于负载的平衡，提高系统的可靠性。 作者通过查阅大量的文献资料，结合自己的研究分析，发现当前数据网格复 制策略大都是针对普遍意义下的数据网格，对于教育资源共享网格不适用。因此， 本文在对当前数据网格复制策略研究的基础上，对教育资源共享网格的数据复制 技术进行了探索，设计出了适合教育资源共享网格的基于文件内容的数据复制策 略。 本文从网格结构、副本创建、副本替换和副本选择四个方面介绍该策略。 该策略采用了基于p 2 p 结构的域集中管理的网格结构，网格被划分为若干区 域，区域间的网络带宽较小，区域内带宽较大，且每个域中都有一个中心节点用 于记录本域内文件的存储情况以合理分配域中的存储资源。 该策略进行副本创建和副本替换的依据是文件的用户兴趣度，即用户对文件 内容感兴趣的程度。本文引入教育学中的知识点概念来表示文件的内容，并且通 过文件的访问记录预测文件内容的用户兴趣度。对于没有被访问过的文件，则采 用计算文件内容相关度的方式寻找与它内容最接近的被访问过的文件，本文认为 这两个内容最接近的文件具有相同的用户兴趣度。另外，为了达到优化教育资源、 优胜劣汰的目的，本文还设计了用户满意度评价功能，记录用户对访问过的文件 的评分，这些评分记录显示了用户对文件满意度的趋势，是其它网格节点在本地 创建该文件时的参考依据。 该策略在副本选择上采用了投标的方式，使网格节点能够以最小代价获得想 要的数据副本。 为了验证本文所提出的策略的可行性，本文使用网格模拟工具o p t o r s i m 进行 了模拟实验，证明了该策略能够较为准确地预测用户的访问热点，并且比其它复 重庆大学硕士学位论文 中文摘要 制策略更加适合教育资源共享网格。 关键词：数据网格，教育资源共享网格，数据复制 i i 重庆大学硕士学位论文 英文摘要 a b s t r a c t w i t ht h ed e v e l o p m e n to fe d u c a t i o n a li n f o r m a t i z a t i o n ，t h ee d u c a t i o n a lr e s o u r c e sa r e i n c r e a s i n gm o r ea n dm o r er a p i d l y , w h i c hn o to n l yh e l p se d u c a t i o ns e r v i c eal o t ，b u ta l s o b r i n g sn e wc h a l l e n g ef o rc o n s t r u c t i o na n dm a n a g e m e n to fe d u c a t i o nr e s o u r c e n o w a d a y s ，t h ec o n s t r u c t i o na n dm a n a g e m e n to fe d u c a t i o n a lr e s o u r c e si no u rc o u n t r y a r el a c ko fu n i f o r ms u p e r v i s i o na n ds t a n d a r df o rq u a l i t yo fr e s o u r c e s i ti si m p o r t a n tt o a c h i e v er e s o u r c e ss h a r i n ga n dm a k et h es e p e r a t ea n do u t o f - o r d e rr e s o u r c e st ob e c o n f o r m e d s o m ee x p e r t ss u g g e s te d u c a t i o n a lr e s o u r c e ss h a r i n gg r i da st h es o l u t i o nf o r p r o b l e m sm e n t i o n e da b o v e g r i dc o m p u t i n gi san o v e la n de m e r g i n gp a r a d i g m ，w h o s eg o a li sp r o v i d i n gv i r t u a l o r g a n i s a t i o n so fg e o g r a p h i c a l l y , d i s t r i b u t e du s e r sw i lc o m p u t a i o n a la n ds t o r a g e r e s o u r c e e d u c a t i o n a lr e s o u r c e ss h a r i n gg r i di san e wt y p eo f d a t a 鲥d i nd a t ag r i d ，h o w t om a k ea l lt h eu s e r sf r o ma l lo v e rt h ew o r l dt oa c c e s st h ed a t as e te f f e c t i v e l yi sab i g c h a l l a n g e r e p l i c a t i o n ，c r e a t i n gg e o g r a p h i c a l l yd i s p a r a t ei d e n t i c a lc o p i e so fd a t a ，i s r e g a r d e d 嬲o n eo ft h em a j o ro p t i m i z a t i o nt e c h n i q u e s f o rr e s o l u t i o n p r o b a b l e r e p l i c a t i o ns t r a t e g yc a nr e d u c ea c c e s sc o s t sa n db a n d w i t hc o n s u m p t i o n i ta l s oh e l p st o i m p r o v es y s t e mp e f f o m a n c ea n df a u l tt o l a r a n c e b yc o n s u l t i n gal a r g en u m b e ro f r e l e v a n td o c u m e n t sa n da n a l y s i so nc o m b i n i n gm y o w nt h e o r y , ih a v ef o u n dt h a tc u r r e n te x i s t i n gr e p l i c a t i o ns t r a t e g i e sa r ef i tf o rg e n e r a l d a t ag r i d ，a n dn o tf o re d u c a t i o n a lr e s o u r c e ss h a r i n gg r i d s o ，o nt h eb a s i so fs t u d y i n g c u r r e n td a t ag r i dr e p l i c a t i o ns t r a t e g i e s ，t h i st h e s i se x p l o r e sa n dd e s i g n e san e wf i l e c o n t e n t - b a s e dd a t a 鲥dr e p l i c a t i o ns t r a t e g yf o re d u c a t i o n a lr e s o u r c e ss h 撕n g 鲥d t h i s r e p l i c a t i o ns t r a t e g yi n c l u d e s 鲥ds t r u c t u r e , r e p l i c ac r e a t i n g , r e p l i c a r e p l a c e m e n ta n dr e p l i c as e l e c t i n g t h i sr e p l i c a t i o ns t r a t e g ya d a p t sp 2 p - b a s e dr e g i o n - c e n t e r e d 鲥ds t r u c t u r e t h e 鲥d i sd i v i d e di n t os e v e r a lr e g i o n s ，f o rw h i c ht h eb a n d w i t hb e t w e e nr e g i o n si ss m a l la n d b a n d w i t hi nr e g i o ni sl a r g e t h e r ei sac e n t e rs i t ei ne v e r yr e g i o nw h i c hs t o r e sf i l e i n f o r m a t i o no fi t sr e g i o n r e p l i c ac r e a t i n ga n dr e p l i c ar e p l a c e m e n ta r eb a s e do nu s e r s i n t e r e s t i n g n e s si n f i l e s t h er e p l i c a t i o ns t r a t e g yi n t r o d u c e sk n o w l e d g et oe x p r e s sc o n t e n to ff i l ea n du s e s 1 1 1 u s e l a c c e s sh i s t o r yt op r e d i c tt h eh o tc o n t e n ti nt h ef u t u r e f o rt h ef i l e st h a ta l en o t a c c e s s 酣t h i ss t r a t e g yc a l c u l a t e st h ec o n t e n ts i m i l a r i t yo ft h e mw i t ht h ea c c e s s e d f i l e s m o r es i m i l a rt h ec o n t e n t ，c l o s e ru s e ri n t e r e s t i n g n e s s f u r t h e rm o r e ，f o rt h ep u r p o s e o fe d u c a t i o n a lr e s o u l c c so p t i m i z a t i o n ，t h i st h e s i sd e s i g n sau s e rj u d g e m e n tf u n c t i o n ， w h i c h s h o w st h et e n d e n c yo f u s e r s a t t i t u d ef o rf i l e s t h i sr e p l i c a t i o ns t r a t e g ya d a p t sa u c t i o nt o s e l e c tp r o b l er e p l i c a , w h i c hc o s t st h e s h o r t e s tt r a n s m i s s i o nt i m e t oc h e c kt h er e p l i c t i o ns t r a t e g y sp e r f o r m a n c e ，t h i st h i s i su s e so p t o r s i m t h er e s u l t f r o ms i m u l a t i o ni no p t o r s i ms h o w st h a tt h l ss t r a t e g yc a no u t p e r f o r mo t h e ro p t i m i z a t i o n t e c h n i q u e si ne d u c a t i o n a lr c s o b i c e ss h a l i n gg r i d k e yw o r d s ：d a t a 鲥d ，e d u c a t i o n a lr e s o u r c e ss h a r i n g 鲥d ，r e p l i c a t i o ns t r a t e g y 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重废太堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。 学位论文作者签名：余渝 签字日期：z - 戈, 7 年占月雪e t 学位论文版权使用授权书 本学位论文作者完全了解重废太堂有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许 论文被查阅和借阅。本人授权重庆太堂可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 保密() ，在年解密后适用本授权书。 本学位论文属于 不保密( v ) 。 ( 请只在上述一个括号内打“4 ”) 学位论文作者签名：余渝 导师签名： 葱 签字日期：2 7 年占月岁日 签字日期：加7 年多月岁e t 重庆大学硕十学位论文1 绪论 1 绪论 1 1 研究的背景 教育资源是信息化教学的基础，随着教育信息化的深层次推进，互联网中的 教育资源以指数方式增长，这些资源不仅在内容上多种多样，在表现形式上更是 丰富多彩。然而海量的网络教育资源既为教育提供了强大的服务功能，也为资源 的建设与管理带来了新的挑战。由于各类教育机构一直以来都是自己配制硬件设 备，单独建立各自的教学资源库，既造成不必要的资源浪费，也导致海量的教育 资源成为分布在网络上的一座座信息孤岛。如何将这些异地分布、结构各异的教 育资源整合起来，进行更加有效的利用，促进网络教育资源的建设和共享是当前 一个研究的重点。新兴的网格技术为此提供了解决的方案【l l 。 网格是一种先进的计算基础设施结构 2 1 ，它将网络上分散的各种计算机、存储 设备、科学仪器等连接在一起，整合成一台巨大的虚拟超级计算机，实现计算资 源、存储资源、数据资源、知识资源、专家资源的共享。 将网格技术应用于教育资源的共享中，将各种教育资源通过网格“集中”起来， 可以打破信息孤岛的限制，实现教育资源的全面共享，从而避免资源建设的重复 劳动和投资浪费，还可以起到优化资源的作用。 在教育资源共享网格中，要实现不同地理位置的用户都能高效地访问教育资 源的目标，必须对数据管理进行优化。数据复制技术是实现数据管理优化的的技 术之一。数据复制技术是指按照一定的策略在分布的站点上创建数据集的副本， 使数据集更加靠近使用者。采用适当的数据复制策略不但能够有效地降低访问延 迟和带宽消耗，还有助于负载的平衡，提高系统的可靠性【3 】。本文对数据复制技术 在教育资源共享网格中的应用上进行了一些有益的探索。 1 2 研究的内容和意义 本文首先对网格中的数据复制策略进行了研究，侧重点在网格的框架结构、 数据副本的创建、数据副本的删除、数据副本的选择四个方面。其次提出了教育 资源共享网格上的数据数据复制策略，并通过模拟实验验证了该复制策略的可行 性。 数据复制策略可分为静态复制和动态复制。由于静态复制策略不能适应动态 复杂的网格环境【1 3 】。因此，当前主流的研究都认为数据复制技术应该是动态的， 即能够动态地监视、评估应用程序和用户的策略以调整副本的放置等。因此在本 文把研究的重心放在具有动态特征的数据复制策略上。 本文在分析和比较现有的动态的数据复制策略的基础上提出的基于教育资源 重庆大学硕士学位论文i 绪论 共享网格的数据复制策略，对于节省有限带宽和存储容量、平衡教育资源的分布、 满足广大师生用户的需求有着重要的现实意义。 本文讨论的数据复制策略建立在以下前提上：1 、本文中所有的文件请求都是 读请求；2 、文件的内容都可以用知识点的集合表示。 1 3 国内外研究现状 1 3 1 国外 欧洲的l e g e - - w g ( l e a r n i n g g r i d o f e x c e l l e n c e w o r k i n g g r o u p ) 项目最初是 由e u r o p e a nc o m m i s s i o n 资助的，其目的是建立欧洲学习网格基础设施，支持信 息的系统化交换并且能够为不同的用户建立协作机会。该项目集合了技术学科、 教育学以及政府里面对网格计算以及e 1 e a r n i n g 有兴趣的专家学者和学生，促进了 这些团体之间的交互。该项目涉及多项内容，如：研究与e 1 e a r n i n g 应用相关的网 格关键技术，研究如何解决在建立欧洲学习网格基础设施的关键问题等【4 】。 韩国全南大学启用了基于g t 3 的“l i n u x 网格计算教育中心”，这是首家在大 学校园内设立的网格计算教育中心【5 】。 哈佛大学在i b m 公司的帮助下，于2 0 0 4 年4 月开始开发一个名为“深红网格 ( c r i m s o ng r i d ) ”的网格系统，供全校师生及研究人员共享数据以及在生命科学、设 计和应用科学方面展开协作【6 】。 l - 3 2 国内 中国教育科研网格( c h i n a g r i d ) 计划是教育部“十五”2 1 1 - i - 程公共服务体系建设 的重大专项，是中国国家网格的一个重要组成部分。中国教育科研网格c h i n a g r i d ， 承担着将中国教育科研网( c e r n e t 上) 分散、异构、局部自治的海量资源整合起来， 通过有序管理和协同计算，消除信息孤岛，发挥综合效能，实现资源的广泛共享、 有效聚合、充分释放，提供高效的计算服务、数据服务和信息服务等重任。该项 目自2 0 0 3 年1 月进入实施阶段，研发工作长达三年，于2 0 0 6 年7 月通过验收。在网 格公共支撑平台( c g s p ) 的支持下，c h i n a g n d 已建成了覆盖全国1 3 个省市、2 0 多所 高校的网格环境，聚合计算能力超过1 5 万亿次，存储容量达1 5 0 t b ，并成功开发和 部署了生物信息学、图像处理、流体力学、海量信息处理、大学课程在线等典型 的网格应用【刀。 1 4 本文的组织结构 全文共分五章，内容如下： 第一章绪论，介绍了课题背景、意义，论文主要研究内容。 2 重庆大学硕士学位论文1 绪论 第二章介绍了网格基本技术。 第三章研究了网格环境下的数据复制策略，分析了数据复制的基本原理，比 较了网格环境下的不同的数据复制策略。 第四章针对教育资源共享网格的特点，设计了对应的数据复制策略。 第五章在模拟环境下对第四章中提出的复制策略进行了模拟实验，并对实验 结果进行了分析。 第六章对本文所做的工作进行了总结，提出需进一步深入研究的问题。 3 重庆大学硕士学位论文 2 网格技术概述 2 网格技术概述 2 1 网格的定义 由于网格的复杂性和研究角度的不同，现有多种对网格的定义，本文仅收录 两种比较有代表性的定义： 国际知名网格专家i a nf o s t e r 把网格描述为在多个虚拟社团机构之问实现计 算和存储资源的共享以协同解决问题的集合。 i b m 公司定义网格是局域网或广域网上对终端用户或应用有效地作为一个大 的虚拟计算系统的分布计算资源的集合。目标是通过在个人、机构、和资源间建 立安全的、相协调的资源共享。网格能够将i n t e r n e t 提升为一个真正的融合企业计 算服务质量及不同类型分布式资源( 从应用程序、数据、存储到服务的一切) 的共享 计算平台。 2 1 1 网格与电网 网格是借鉴电力网( e l e c t r i c p o w e r g r i d ) 的概念提出来的，网格的最终目的是希 望用户在使用网格时，像我们现在使用电力一样方便不需要知道电力是从哪 个发电站输送过来的，也不需要知道电力是怎样产生的。如图示2 1 【8 】。网格的最 终目的是充分利用现有的资源，提供给使用者通用的服务，而与地理位置无关、 与使用设备无关。 网格和电力网都有各自的资源消费者和资源提供者。对于电力网来说资源提 供者就是发电站，对于网格来说资源提供者是各种i t 资源；对于电力网来说资源 消费者就是各种消耗电能的设备，对于网格来说资源消费者就是使用网格解决问 题的用户和应用程序。电网和网格都有覆盖范围广泛，并且组成成分多样的特点。 正如同电力网需要有大量变电站等设施对电网进行调控一样，网格中也需要大量 的管理模块来维护网格正常运行，与电力网相比，网格的结构更加复杂，需要解 决的问题也更多，但是它也为人们带来更大的便利和帮助。 4 重庆大学硕士学位论文2 网格技术概述 图2 1电力网格与网格的对比图 f i g2 1 p o w e rg r i dv sc o m p u t i n gg r i d 2 1 2 网格与因特网 人们一般认为网格是高性能计算机、数据源、因特网三种技术的有机组合和 发展，它与因特网相比具有高性能、一体化、知识生产、资源共享等技术优点。 清华大学李三立院士认为：i n t e r a c t 只是一个信息传输的基础设施，而网格才 是一个信息处理的基础设施。一方面，当信息传输瓶颈问题得到较好解决之后， 信息处理能力的瓶颈就会显现出来；另一方面，发达的信息传输基础设施也为发 展分布、协同的信息处理基础设施带来了前所未有的机遇。 中科院计算所李国杰院士认为：网格可以称作是第三代i n t e m e t ，其主要特点 是不仅仅包括计算机和网页、而且包括各种信息资源，例如数据库、软件以及各 种信息获取设备等，它们都连接成一个整体，整个网络如同一台巨大无比的计算 机，向每个用户提供一体化的服务。 2 1 3 网格与集群 集群主要关注的是计算资源；网格则对计算、存储、和网络资源进行了集成。 集群通常包含同种处理器和操作系统：网格则可以包含不同供应商提供的运行不 同操作系统的机器。 集群包含的处理器和资源的数量通常都是静态的；而在网格上，资源可以动 态地出现，资源可以根据需要添加到网格中，或者从网格中删除。 集群物理上都在一个位置相同的地方；网格可以分布在任何地方，包括局域 5 电力同构成一不意凰 同格组成示意囝 重庆大学硕士学位论文 2 网格技术概述 网、城域网和广域网。 物理临近和网络延时限制了集群地域分布的能力；由于网格具有动态性，因 此可以提供很好的可扩展性。 集群和网格可以说是互相补充的，有些网格在自己管理的资源中采用了集群。 网格用户可能并不知道他提交的工作是在一个远程的集群上执行的。 2 1 4 网格与分布式系统 按照i b m 公司的观点，网格系统具有分布式系统的特性，但是它“不仅仅是 一个设计用来封装分布式计算众多复杂机制的架构”。网格还定义了数据服务和程 序执行服务，而这两样都是传统的分布式系统所会特别关注的。 2 1 5 网格与p 2 p 系统 网格环境通常都有某种形式的集中管理和安全性；而p 2 p 的特点是缺少集中 管理点，这使得它非常适合提供匿名服务，或者提供一些反跟踪保护机制。 网格与p 2 p 系统的另一个区别是标准的制定：与网格领域中的标准相比，在 p 2 p 中通常缺少标准。 网格与p 2 p 系统具有互补的优点，在如今的部分网格系统的体系结构中，采 用了p 2 p 的设计理念，使得网格系统的优势更加明显。 2 2 网格的特点与分类 2 2 1 网格的特点 分布性 网格的资源是分布的，组成网格的资源，包括计算机、各种类型的数据库、 其他电子设备，可以是分布在地理位置不同的地方。一般说来，分布的网格涉及 的资源类型复杂、规模较大、跨越的地理范围较广。 共享性 网格资源虽然是分布的，但是能够提供给网格上的所有使用者。共享是网格 的目的，没有共享便没有网格，解决分布资源的共享问题，是网格的核心内容。 协同性 随着事务所需要的计算、数据量等资源越来越庞大，单个机器运行显然不能 满足需求，网格的另一大特点就是能够组织多个节点进行协同工作，共同完成用 户提交的一个任务。 动态性 根据科学家们的设想，网格不是一成不变的。原来拥有的资源或功能，在任 何时候都有可能退出网格或不可用；而新的资源或功能，也随时可能加入网格。 这就要求网格的管理必须能够适应网格动态的变化。 多样性 6 重庆大学硕士学位论文 2 网格技术概述 在网格环境中可以有不同体系结构和类别不同的资源，因此网格系统必须能 够有效解决这些异构的、多样的资源之间的通信与互操作问题【8 】。 2 2 2 网格的分类 网格的分类多种多样，这里介绍按照用途的分类方法。 计算网格：高性能计算机系统的共享存取，实现跨地域的超级计算能力，支 持科学计算。代表性例子有：美国国家技术网格( n t g ) ，美国宇航总署的i d g ，美 国能源部的a s c ig r i d 等。 数据网格：数据库和文件系统的共享存取，实现大范围管理、访问、使用和 分配海量数据。代表性的例子有：欧洲数据网格( d a t ag r i d ) ，欧洲空间网格( s p a c e g r i d ) 等。 信息服务网格：应用软件和信息资源的共享存取，提供分布、协同、智能化 的信息处理。代表性的例子有：美国军方的全球信息网格g i g i b m 的网格计算创 新计划等。 2 3 网格的体系结构 网格体系结构是关于如何构建网格的技术，它包括两个层次的内涵。一是要 标示出网格系统由哪些部分组成，清晰地描述出各个部分的功能、目的和特点。 二是要描述网格各个组成部分之间的关系，如何将各个部分有机地结合在一起， 形成完整的网格系统，从而保证网格有效地运转，也就是将各个部分进行集成的 方式或方法。网格技术权威i a nf o s t e r 将网格体系结构定义为“划分系统基本组件， 制定系统组件的目的与功能，说明组件之间如何作用的技术” 2 1 。显然，网格体系 结构是网格的骨架，只有建立合理的网格体系结构，才能设计和构建好网格。 2 3 1 五层沙漏结构 五层沙漏结构f 8 ( f i v e l e v e ls a n d 罾a s sa r c h i t e c t u r e ) 是由i a nf o s t e r 等提出的一 种具有代表性的网格体系结构，其影响十分广泛，它的特点就是简单，主要侧重 于定性的描述而不是具体的协议定义，容易从整体上进行理解。在五层沙漏体系 结构中，最基本的思想就是：以协议为中心，强调服务与a p i 和s d k 的重要性。 五层沙漏结构的设计原则就是要保持参与的开销最小，即作为基础的核心协 议较少，类似于o s 内核，以方便移植。另外，沙漏结构管辖多种资源，允许局部 控制，可用来构建高层的、特定领域的应用服务，支持广泛的适应性。 五层沙漏结构的划分 五层沙漏结构根据该结构中各组成部分与共享资源的距离，将对共享资源进 行操作、管理和使用的功能分散在五个不同的层次，由下至上分别为构造层 ( f a b r i c ) 、连接层( c o n n e c t i v i t y ) 、资源层( r e s o u r c e ) 、汇聚层( c o l l e c t i v e ) 和应用层 7 重庆大学硕士学位论文2 网格技术概述 ( a p p l i c a t i o n ) 。如图2 2 f 8 】所示。 一朋 应用璐 嬲 茫蓑詹 资滠屡 1 豹篓全访阿i j 葶连接臌 亲献 i 涟屡 图2 2 五层沙漏网格体系结构 f i g2 2 f i v e - l e v e js a n d g l a s s a r c h i t e c t u r e 形成沙漏形状的原因是由于各层的协议数量不同，最核心的部分应该完成向 上的协议映射和向下的协议映射，同时由于它的特殊性，核心协议层在网格的任 何地方都应实现，不难想象在网格的应用中资源与连接层是决定网格特点的核心， 所以在这一部分形成沙漏的瓶颈。 各层结构的描述 下面对五层的功能特点进行简单描述： 1 ) 构造层：基木功能是控制局部资源，向上提供访问接口。此外还应有查询 机制( 发现资源的能力) 、控制服务质量、资源管理。其所辖资源很广泛：计算资源、 存储资源、网络资源、代码及目录、设备等。协调内部协议和外部协议的差别。 2 ) 连接层：基本功能是实现相互的通讯，并且是有安全保障的通讯。包括核 心的认证和通讯协议。通讯协议允许在构造层资源之间交换数据，这部分协议大 部分是以t c p i p 协议簇为基础。认证协议提供的是加密的安全机制，用于识别用 户和资源。这一层有如下需求：单一登陆、委托授权( 即代理) 、与本地方案的集成 和基于用户的信任机制。 3 ) 资源层：实现对单个资源的共享( 全局共享在汇聚层) ，建立在连接层之上， 提供两类基础协议：信息协议，用来获得资源的信息和状态；管理协议，用来协 商对共享资源的访问，指定资源请求( 包括预留和服务质量) 和进程创建、数据访问 之类的执行操作。 重庆大学硕+ 学位论文2 网格技术概述 4 ) 汇聚层：协调多种资源的共享，资源层要求是通用的( 因为它是体系结构的 核心) ，而汇聚层并不要求这一点，不同的虚拟组织汇聚层的服务、协议有可能不 同，但必须以资源层为基准。常见的服务有：目录服务、协同分配调度代理服务、 监控诊断服务、数据复制服务、负载管理等。 5 1 应用层：存在于虚拟组织环境中，建立在各层次的服务上。使用a p i 和s d k 环境来建立各种应用。虚拟组织是基于共享下的人、团体、设备、资源等形成的 集合体。 2 3 2 开放网格服务体系结构 o g s a ( o p e ng r i ds e r v i c ea r c h i t e c t u r e 。o g s a ) 8 】包括两大关键技术，即网格技术和 w e bs e r v i c e 技术，它是在五层沙漏结构的基础上，结合w e bs e r v i c e 技术提出来的， 解决了两个重要问题：标准服务接口的定义和协议的识别。以服务为中心是o g s a 的基本思想，在o g s a 中一切都是服务。这一结构的意义就在于它将网格从科学 和工程计算为中，t l , 的学术研究领域，扩展到更广泛的以分布式系统服务集成为主 要特征的社会经济活动领域。 o g s a 的基本思想 o g s a 定义了网格服务( g r i ds e r v i c e ) 的概念，网格服务是一种w e bs e r v i c e ， 该服务提供了一组接口，这些接口的定义明确并且遵守特定的管理，解决服务发 现、动态服务创建、生命周期管理、通知等问题。在o g s a 中，将一切都看作网 格服务，因此网格就是可扩展的网格服务的集合。网格服务可以以不同的方式聚 集起来满足虚拟组织的需要，虚拟组织自身也可以部分地根据他们操作和共享的 服务来定义。网格服务= 接口行为+ 服务数据。图2 3 t 8 】是对网格服务的简单描述。 驻蓥辫撼访辩 显式擞镝 欺拔淼生命恿期 绑定鹰搜 一掰爨獭淆 一认涟 i 端g v i c 蕊蟪箍a 眩缳的) 稠 l l li l i l 殷务数ll 殿落数il 簸务数l i 彗元豢il 整元索il 撵元鬃f l 期 i 图2 3 网格服务示意图 f i g2 3 g r i ds e r v i c e 9 标准按a ： 一暹知 一授戡 一旅菇利建 一驻务滚珊 一营理 一并发 应慝相关接口 重庆大学硕十学位论文 2 网格技术概述 o g s a 以服务为中心，具有如下好处： 网格中一切都是服务，通过提供一组相对统一的核心接口，所有的网格服务都 基于这些接口实现，可以很容易地构造出具有层次结构的、更高级别的服务，这 些服务可以跨越不同的抽象层次，以一种统一的方式来看待。 虚拟化也使得将多个逻辑资源实例映射到相同的物理资源上成为可能，在对 服务进行组合时不必考虑具体的实现，可以以底层资源组成为基础，在虚拟组织 中进行资源管理。通过网格服务的虚拟化，可以将通用的服务语义和行为，无缝 地映射到本地平台的基础设施之上。 o g s a 的两大支撑技术 网格技术( 如g l o b u s 软件包) 和w e bs e r v i c e 是o g s a 的两大支撑技术。 1 ) g l o b u s g l o b u s 是已经被科学和工程计算领域广泛接受的网格技术解决方案。它是一 种基于社团的、开放结构、开放源码的服务的集合，也是支持网格和网格应用的 软件库。该工具包解决了安全、信息发现、资源管理、数据管理、通信、错误监 测以及可移植等问题。 与o g s a 关系密切的g l o b u s 组件是g r a m 网格资源分配与管理协议和门卫 ( g a t e k e e p e r ) 服务，它们提供了安全可靠的服务创建和管理功能，元目录服务通过 软状态注册、数据模型以及局部注册来提供信息发现功能，g s i ( g r i ds e c u r i t y i n f r a s t r u c t u r e 网格安全架构1 支持单一登陆点、代理和信任映射。这些功能提供了 面向服务结构的必要元素，但是比o g s a 中的通用性要小。 2 ) w e bs e r v i c e w e bs e r v i c e 是一种标准的存取网络应用的框架。x m l 协议相关的工作是w e b s e r v i c e 的基础。w e bs e r v i c e 中几个比较重要的协议标准是s o a p ( s i m p l eo b j e c t a c c e s sp r o t o c o l ，简单对象访问协议) 、w s d l ( w e bs e r v i c ed e s c r i p t i o nl a n g u a g e ， w e b 服务描述语言) 、w s i n s p e c t i o n 、u d d l ( u n i v e r s a ld e s c r i p t i o n ，d i s c o v e r y & i n t e g r a t i o n ，统一的描述、发现与集成) 。s o a p 是基于x m l 的r p c ( r e m o t ep r o c e s s c a l l ，远程进程调用) 协议，用于描述通用的w s d l 目标。通过将s o a p 进行扩展 支持w e bs e r v i c e 框架的安全性。w s d l 用于描述服务，包括接口和访问的方法， 复杂的服务可以由几个服务组成，它是w e bs e r v i c e 的接口定义语言。w s i n s p e c t i o n 给出了一种定义服务描述的惯例，包括一种简单的x m l 语言和相关的管理，用于 定位服务提供者公布的服务。而u d d i 则定义了w e bs e r v i c e 的目录结构。 o g s a 的服务接口 o g s a 符合标准的w e bs e r v i c e 框架。w e bs e r v i c e 解决了发现和激活永久服务 的问题，但是在网格中有大量的临时服务，因此o g s a 对w e bs e r v i c e 进行了扩展， 1 0 重庆大学硕七学位论文2 网格技术概述 提出了网格服务( g r i ds e r v i c e ) 的概念，使得它可以支持临时服务实例，并且能够动 态创建和删除。 2 3 3w e b 服务资源框架 w s r f 的提出 在o g s a 刚提出不久，g g f 及时推出了o g s i ( o p e ng r i ds e r v i c e s i n f r a s t r u c t u r e ，开放网格服务基础架构) 草案，并成立了o g s i 工作组，负责该草案 的进一步完善和规范化。o g s i 是作为o g s a 核心规范提出的。o g s i 规范通过扩 展w e b 服务定义语言w s d l 和x m ls c h e m a 的使用，来解决具有状态属性的w e b 服务问题。它提出了网格服务的概念，并针对网格服务定义了一套标准化的接口， 主要包括：服务实例的创建、命名和生命期管理、服务状态数据的声明和查看、 服务数据的异步通知、服务实例集合的表达和管理、以及一般的服务调用错误的 处理等。 o g s i 通过封装资源的状态，将具有状态的资源建模为w e b 服务，这种做法引 起了“w e b 服务没有状态和实例”的争议，同时某些w e b 服务的实现不能满足网格 服务的动态创建和销毁的需求。o g s i 单个规范中的内容太多，所有接口和操作都 与服务数据有关，缺乏通用性，而且o g s i 规范没有对资源和服务进行区分。o g s i 使用目前的w e b 服务和x m l 工具不能良好工作，因为它过多地采用了x m l 模式， 比如x s d ：a n y 基本用法、属性等，这可能带来移植性差的问题。另外，由于o g s i 过分强调网格服务和w e b 服务的差别，导致了两者之间不能更好地融合在一起。 上述原因促使了w s r f ( w e bs e r v i c er e s o u r c ef r a m e w o r k ，w e b 服务资源框架) 的 出现。 w s r f 采用了与网格服务完全不同的定义：资源是有状态的，服务是无状态 的。为了充分兼容现有的w e b 服务，w s r f 使用w s d l1 1 定义o g s i 中的各项能 力，避免对扩展工具的要求，原有的网格服务已经演变成了w e b 服务和资源文档 两部分。w s r f 推出的目的在于，定义出一个通用且开放的架构，利用w e b 服务 对具有状态属性的资源进行存取，并包含描述状态属性的机制，另外也包含如何 将机制延伸至w e b 服务中的方式。 w s r f 的技术规范 w s r f 是一个服务资源的框架，是五个技术规范的集合，这些规范定义了以 下方法： w e b 服务资源可以与销毁请求同步地或者通过提供基于时间的析构( d e s t r u c t ) 机制来销毁，而且指定的资源特性可以被用来检查和检测w e b 服务资源的生存期； w e b 服务资源的类型定义可以由w e b 服务的接口描述和x m l 资源特性文档 来组成，并且可以通过w e b 服务消息交换来查询和更改w e b 服务资源的状态； 重庆大学硕士学何论文 2 网格技术概述 如果w e b 服务内部所包含的寻址或者策略信息变得无效或者过时，w e b 服务端点 引用( w e b 服务寻址) 可以被更新： 可以定义异构的通过引用方式结合在一起的w e b 服务集合，不管这些服务是 否属于w e b 服务资源； 通过使用用于基本错误的x m ls c h e m a 类型以及扩展这个基本错误类型的规 则应用到w e b 服务中，使得w e b 服务中的错误报告可以更加标准化。 w s r f 使w e b 服务体系结构发生了以下两点演变：提供了传输中立机制来定 位w e b 服务；提供获取已发布服务的信息机制集，具体的信息包括w s d l 描述、 x m l 模式定义和使用这项服务的必要信息。 w s r f 的优点及发展 和o g s a 的最初核心规范o g s i 相比，w s r f 具有以下五个方面的优势： 1 ) 融入w e b 服务标准，同时更全面地扩展了现有的x m l 标准，在目前的开 发环境下，使其实现更为简单。 2 ) o g s i 中的术语和结构让w e b 服务的标准组织感到困惑，因为o g s i 错误地 认为w e b 服务一定需要很多支撑的构建。w s r f 通过对消息处理器和状态资源进 行分离来消除上述隐患，明确了其目标是允许w e b 服务操作对状态资源进行管理 和操纵。 3 ) o g s i 中的f a c t o r y 接口提供了较少的可用功能，在w s r f 中定义了更加通 用的w s 。r e s o u r c ef a c t o r y 模式。 4 ) o g s i 中的通知接口不支持通常事件系统中要求的和现存的面向消息的中 间件所支持的各种功能，w s r f 中规范弥补了上述的不足，从广义角度来理解通 知机制，状态改变通知机制正是建立在常规的w e b 服务的需求之上。 5 ) o g s i 规范的规模非常庞大，使读者