（计算机应用技术专业论文）网格环境下基于多replica的数据管理与传输模型的研究.pdf

网格环境下基于多r e p l i c a 的数据管理与传输模型的研究 郭兰图( 计算机应用技术) 指导教师：仝兆岐( 教授) 梁鸿( 副教授) 摘要 数据网格以其良好的数据共享和协同工作能力，满足了诸如高能物 理、气候模拟等数据密集型任务的需求。然而，由于动态复杂的网格环境 中节点失效、网络突变等情况时有发生，使得网格环境中数据传输的速度 和稳定性都无法得到保障，成为制约网格技术应用的“瓶颈”。 r e p l i c a 技术是数据网格中的关键技术，它在本地创建远程数据的副 本，降低了网络延迟及带宽消耗，同时也形成了多副本并存的网格资源共 享方式，这种方式为解决传输问题提供了机遇，于是开展基于多r e p l i c a 的数据传输研究，成为解决网格数据传输速度和稳定性问题的重要途径。 本文以提高网格环境中数据传输速度和稳定性为目标，采用g l o b u s t o o l k i t 中间件，开展将r e p l i c a 技术融入数据传输的研究，主要工作体现在： ( 1 ) 分析了网格数据管理及其r e p l i c a 技术：总结了网格数据管理、 r e p l i c a 技术，并对论文所涉及的r e p l i c a 定位和选择算法进行了分析； ( 2 ) 研究了网格数据传输机制：从资源共享方式和传输协议两方面对 比分析了不同资源共享方式、不同传输协议等对网格数据传输的影响； ( 3 ) 实验分析了g r i d f t p 协议的传输性能：对g r i d f t p 并行传输、条状 传输等进行了实验，通过性能分析，进一步证明了课题研究的重要意义； ( 4 ) 提出了基于多r e p l i c a 的数据传输模型m r t 及其算法：提出了m r t 模型，并定义了模型的组成元素及其间的跌射关系；设计了模型的区域化 多层次副本定位策略；并借鉴概率预测方法，在启发式算法的基础上设计 了启发式动态任务分配算法，最后对策略和算法进行了复杂度分析； ( 5 ) 设计和实现了模型的测试系统：从整体和模块两个方面对系统进 行了设计和实现，并基于测试系统对模型的性能进行了实验。 理论分析和实验结果表明，m r t 模型有效地提高了数据传输的速度和 稳定性，特别是在传输大文件时效果比较明显。 关键词：网格，数据传输，副本，传输协议，任务分配 r e s e a r c ho fd a t am a n a g e m e n ta n dt r a n s f e rm o d e lb a s e d o nm u l t i - r e p l i c ai ng r i de n v i r o n m e n t g u o l a n - t u ( c o m p u t e ra p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db yp r o f e s m rt o n gz h a o - q ia s s o c i a t ep r o f e s s o rl i a n gh o n g a b s t r a c t d a t a 鲥dm e e t st h ed e m a n df o rd a t a - i n t e n s i v et a s k sw i t hg o o dd a t a s h a r i n ga n dc o l l a b o r a t i o nc a p a b i l i t i e s ，s u c ha sh i g h - e n e r g yp h y s i c s ，c l i m a t e m o d e l i n ga n ds oo n h o w e v e r , b e c a u s eo ft h ed y n a m i ca n dc o m p l e x 曲d e n v i r o n m e n t ，n o d ef a i l u r e s a n d u n e x p e c t e dc h a n g e s i nn e t w o r ko c c u r f r e q u e n t l y s ot h es p e e da n ds t a b i l i t yo f 鲥d d a t at r a n s f e rc a n tb eg u a r a n t e e d ， a n di th a sb e c o m et h e “b o t t l e n e c k ”t h a tr e s t r i c t s 鲥da p p l i c a t i o n s r e p l i c ai st h ek e yt e c h n o l o g yo fd a t ag r i d i tc r e a t e sl o c a lc o p i e so ft h e r e m o t e d a t a ， r e d u c e sn e t w o r kd e l a ya n db a n d w i d t hc o n s u m p t i o n ， a n d s i m u l t a n e o u s l yf o r m saw a yo fm u l t i r e p l i c ac o e x i s t i n gg i r dr e s o u r c e ss h a r i n g w h i c hp r o v i d e so p p o r t u n i t yt or e s o l v et r a n s f e rp r o b l e m s s ot h er e s e a r c ho f d a t at r a n s f e rb a s e do nm u l t i r e p l i c ab e c o m e sa ni m p o r t a n ta p p r o a c ht or e s o l v e t h ep r o b l e mo fs p e e da n ds t a b i l i t yo f d a t at r a n s f e ri ng r i de n v i r o n m e n t t h ep u r p o s eo ft h i sp a p e rw a st oi n c r e a s et h ed a t at r a n s f e rs p e e da n d s t a b i l i t yi ng r i de n v k o n m e n t t h eg l o b u st o o l k i tm i d d l e w a r ew a su s e da n d t h er e s e a r c hf o c u s e do nt h ec o m b i n a t i o no fr e p l i c at e c h n o l o g yw i t hd a t a t r a n s f e r t h em a i nw o r k sw e r et h a t ： ( 1 ) g r i dd a t am a n a g e m e n ta n d i t sr e p l i c at e c h n o l o g yw e r ea n a l y z e d ：t h i s p a p e rs u m m a r i z e d 鲥d a t am a n a g e m e n ta n d i t sr e p l i c at e c h n o l o g y , a sw e l la s t h ei n v o l v e dr e p l i c al o c a t i o na n ds e l e c t i o na l g o r i t h m s ； ( 2 ) r e s e a r c ho fd a t at r a n s f e r m e c h a n i s mi ng r i d ：t h ea n a l y s i so ft h e i a f l u e n c et o 鲥dd a t at r a n s f e rb yd i f f e r e n tr e s o u r c es h a r i n gw a y so rd i f f e r e n t t r a n s f e rp r o t o c o l sw a s m a d e ； ( 3 ) t r a n s f e rp e r f o r m a n c ea n a l y s i so fg r i d f t pp r o t o c o lw a sm a d eb y e g p e r i m e n t s ：w ed i de x p e r i m e n t sa b o u to r i d f t pp a r a l l e lt r a n s f e ra n ds t r i p t a m s f e r a n dt h r o u g ht h ea n a l y s i s ，t h ei m p o r t a n c eo ft h i sp a p e r sf u r t h e r r e s e a r c hw a sm u c hd e a r e r ； ( 4 ) ad a m t r a n s f e rm o d e lb a s e do nm u l t i - r e p l i c a ( m g t ) a n di t sa l g o r i t h m s v 帅p r o p o s e d ：t h i sp a p e rp r o p o s e d ad a t at r a n s f e rm o d e lb a s e d0 1 1 m u l t i - r e p l i c a , n a m e dm r t , a n dd e f i n e dt h em o d e l sd e m e n t sa n dm a p p i n g s b e i ：w 啪t h e m ；t h e n t h em o d e l sm u l t i - l e v e lr e p l i c al o c a t i o ns t r a t e g yb a s e do n l o c a l i t yw a sd e s i g n e d ；b e s i d e st h e s e ，ah e u r i s t i cd y n a m i ct a s ka l l o c a t i o n a l g o r i t h mw a sd e s i g n e db a s e do nh e u r i s t i cm e t h o da n dp r o b a b i l i t yf o r e c a s t m e t h o d f i n a l l y , w em a d et h ea n a l y s i so fc o m p l e x i t yo ft h es t r a t e g ya n d a l g o r i t h m ； ( 5 ) d e s i g na n di m p l e m e n t a t i o no fm r t m o d e l st a s ts y s t e m ：t h i sp a p e r d e s i g n e da n di m p l e m e n t e dm r tm o d e l st e s ts y s t e mf r o mt w oa s p e c t s ：t h e w h o l ea n dm o d u l e s a n dt h ee x p e r i m e n t st e s t i n gm o d e l sp e r f o r m a n c ew e r e d o n eb a s e do nt h et e s t i n gs y s t e m t h e o r e t i c a la n a l y s i sa n de x p e r i m e n t a lr e s u l t ss h o w e dt h a tt h em r t m o d e lh a de f f e c t i v e l yi m p r o v a dt h es p e e da n ds t a b i l i t yo f d a t at r a n s f e r , e s p e c i a l l yf o rb u l kd a t at r a n s f e r k e yw o r d s ：g r i d ，d a t at r a n s f e r , r e p l i c a , t r a n s f e rp r o t o c o l ，t a s k a l l o c a t i o n 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取 得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中国石油 大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志 对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 签名： 孙兰! 訇钐卯7 年少月 日 关于论文使用授权的说明 本人完全了解中国石油大学有关保留、使用学位论文的规定，即： 学校有权保留送交论文的复印件及电子版，允许论文被查阅和借阅；学校 可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保 存论文。 ( 保密论文在解密后应遵守此规定) 学生签名： 导师签名： 乙呷年 年月目 厶叼7 年年 月 ， 日 哮国石油大学( 华东) 硕士论文第1 章前言 第l 章前言 1 1 选题背景 随着科技的发展，越来越多的信息被数字化，网络传输能力和存储设 备的容量也以惊人的速度发展，科研和生产涉及的入员和组织越来越多， 使得计算机处理海量分布数据的能力成为驱动科技发展的关键技术之一。 数据网格在原有计算网格的基础上着重加强了数据管理和传输方面的能 力，以其较好的数据共享和协同工作的能力，为处理数据密集型任务提供 了理想的计算平台。 在地震勘探领域，随着三维地震勘探、高分辨率地震勘探和四维地震 勘探等新技术的广泛应用，地震资料采集的数据量比以往大大增加，并且 在处理流程中存在大量的中间数据，使得处理数据量和计算量更加庞大， 传统的地震资料处理和解释平台己无法完全满足地震勘探数据处理的需 求，因此开展大规模分布式数据处理，已成了地震资料处理发展的必由之 路【1 1 。网格技术将广域范围内的计算系统、存储设备互联起来，封装底层 设备的异构性，集成了强大的计算能力，提供安全的远程数据访问、数据 资源的搜索与发现、大数据量的共享与传输等功能【2 】，恰好满足了地震资 料数据处理对强计算力、强交互性的需求。 本课题组研究的“基于网格技术的地震资料处理解释系统”，简称 g s p s ( g r i ds e i s m i cp r o c e s s i n gs y s t e m ) ，是在胜利油田和中国石油大学重 大科技攻关项目“微机机群并行交互地震处理解释系统”的基础上提出的。 为了使地震资料处理高效地利用网格的超强计算力，课题组分为资源调度 与容错、数据管理与传输、地震资料处理算法研究等小组，根据网格技术 的特点，研究设计适合地震勘探数据处理的网格基础设施，为地震资料处 理构建高性能的计算平台，并在此平台上开发地震资料处理解释系统。本 文的研究是g s p s 课题的子课题之一，旨在研究大数据量的数据传输，加 强网格在数据管理与传输方面的能力，为网格技术在地震勘探资料处理领 域中的应用做好基础性工作。 呻国石油大学( 华东) 硕士论文第1 章前言 1 2 相关研究现状 网格技术研究首先是网格中同件的研究，由g l o b u s 联盟开发的 g l o b u st o o l k i t t ”( 1 0 称6 t ) 是目前国际上使用最广泛的网格中间件，它包 括数据管理、执行管理、信息服务、网格安全和公共运行环境等5 部分功 能。开发具体的网格应用时，需要在g t 的基础上进行二次开发。当前许 多网格项目都选择了在g t 的基础上开展网格及其应用的研究，下面就通 过当前最有影响力的网格项目来总结课题有关的研究现状。 作为g t 的创始人，o l o b u s 项目 3 1 在网格方面的研究一直处于领先地 位，也是较早开展数据传输和r e p l i c a 技术研究的项目 4 1 。在数据传输方 面，g t 提供了网格文件传输协议c r d d f t p “，它提供了部分文件传输、 并行传输、条状传输、断点续传和自调节t c p 缓存的功能，比f t p 更好 地适应了网格环境，而且g t 在g r i d f l p 的基础上实现了w 曲s e r v i c e 形 式的传输工具r f t ( r e l i a b l ef i l et r a n s f e r ) ，以供开发w e b 服务时调用；在 r e p l i c a 技术方面，g t 采用了集中式副本目录管理【6 1 ，提供了最简单的副 本定位和选择功能，这种方法实现简单、易于操作，但是没有良好的扩展 性，而且对副本的操作往往受集中式服务器性能的限制，使得系统的可靠 性不强。除此之外，g t 也不具备副本动态创建和一致性维护等功能，而 且虽然g l o b u s 项目组利用g r i d f t p 做过各种测试和性能分析，但并没有 将r e p l i c a 技术引入数据传输，开展基于多r e p l i c a 数据的研究。 欧洲数据网格项目e - d a t a g - r i d ”以g l o b u st o o l k i t 为基础开发了一套 副本管理系统g d m p ( g r i dd a t am i r r o r i n gp a c k a g e ) ，隐藏了g t 中提供 的某些a p i 细节，提供了安全、高效的数据复制、定位与选择等功能恻， 其中数据复制采用了g t 中g r i d f t p 工具。 s r b ( s t o r a g er e s o u t r eb r o k e r ) 唧提供了自动创建副本的异步复制、 同步复制等复蒂模式。在副本失效时，s r b 提供了自动重定位的功能。 但是s r b 并没有实现副本选择以及副本一致性管理功能。 国内，浙江大学开展的m a s s i v e 网格项目o o l ，基于g t 开发了一套集 成h t t p 、f t p 、g r i d f t p 于一体的数据传输工具m f t p ( m a s s i v ef 1 甲) ， 并基于m f t p 展开了基于多数据源数据传输的研究，取得了一定的研究 2 啐国石油大学( 华东) 硕士论文第1 章前言 成果。但是m f t p 在传输之前假定副本已经定位和选择好，并没有将 r e p l i c a 技术融入网格数据传输，且在多个数据源间进行任务分配时， m f t p 为求多数据源的负载均衡，仅考虑了网络性能、节点性能等，而没 有考虑网格节点的历史传输情况、客户端与服务器端的距离等因素，从而 无法对节点的传输性能做出更为全面、客观的评价；传输过程中，m f t p 没有根据网络性能对各r e p l i c a 站点的任务做出动态调整，使得传输的可 靠性仍然无法保证。 其它研究机构的进展有：华中科大基于l d a p ( l i g h t w e i g h td i r e c t o r y a c c e s sp r o t o c 0 1 ) i 匣务器建立了区域化分布式的全局分布式存储系统 ( g l o b a ld i s t r i b u t e ds t o r a g es y s t e m ，g d s s ) n ”，针对在基于f r p 的传统文件 传输系统中，批量小文件和大文件的传输效率很低的问题。研究了不同类 型文件传输任务的优化方法，提出了文件的自适应传输策略：对小文件的 传输采用通道复用技术，对大文件的传输则采用并行传输“；中国科技 大学的杨寿保、刘鹏展等人对g r i d f t p 做了类似g l o b u s 项目组的测试， 测试了不同的t c pb u f f e r 、不同的并行度以及在传输不同大小文件时对传 输的影响；国防科大的数据网格原型系统g r i d d a e n t l 4 l 引入了r e p l i c a 机制，实现了副本的定位和选择功能，但是并没有开展基于多副本的数据 传输研究。 总结当前网格项目的研究进展，可得如下表格： 表1 - 1 课题研究现状总表 网格项目定位选择创建一致性多副本传输 g l o b u s e d a t a g - r i d s r bxx g r i d d a e n m a s s i v e j g d s s 注；有相关研究，x 无相关研究 从上述项目可以看出，当前网格项目都将数据管理和传输列在重要位 置。在r e p l i c a 技术方面，各大网格系统已经成功地将r e p l i c a 机制引入 中国石油大学( 华东) 硕士论文第1 章前言 数据管理中，有针对性地设计了相应的r e p l i c a 管理策略，有集中式、分 布式、基于关系数据库或基于l d a p 协议的等等。在数据传输方面，f t p 协议、g 咖f t p 协议等都有着广泛的应用，其中g r i d f l 甲协议占据了主导 地位，目前美国的g | o b u s 、欧盟的e u 、中国的c h i n a c r r i d ! 弹绝大多数 网格项目都采用g r i d f t p 作为网格底层的数据传输协议。但是，将r e p l i c a 引入数据传输的研究只有少数研究单位在进行，在模型研究和算法设计上 仍然有许多值得研究的问题。 综上所述，基于多r e p l i c a 的数据管理与传输模型的研究在数据网格 领域，对改善网格数据传输性能有重要的意义，具有一定的创新性，有进 一步研究的价值。 1 3 研究目标和内容 本课题旨在将网格环境下的r e p l i c a 技术与数据传输结合，提出基于 多r e p l i c a 的数据传输模型，并对模型的r e p l i c a 定位策略、传输时任务 分配算法等做详细探讨，从而达到提高传输速度、增强传输稳定性的目的。 本文的研究内容如下： ( 1 ) 网格系统的研究：掌握g l o b u st o o l k i t 的体系结构、功能和使用 方法，明确网格数据管理与传输的需求； ( 2 ) 网格环境下r e p l i c a 技术的研究：明确r e p l i c a 技术的涵义，总结 当前r e p l i c a 管理的关键技术，对比分析各种算法的优缺点，特别是与课 题有关的r e p l i c a 定位与选择算法，为课题研究奠定理论基础： ( 3 ) 网格数据传输机制的研究：总结网格环境与普通网络对数据传输 的不同需求，对比分析不同资源共享方式、不同传输协议对网格数据传输 的影响，并对使用最为广泛的网格传输协议g f i d f f p 进行性能测试，发 掘其传输特点； h 1 基于多r e p l i c a 数据传输模型的研究：根据对r e p l i c a 技术和网格 数据传输的分析，提出基于多r e p l i c a 的数据传输模型，并对模型的副本 定位策略和任务分配算法进行深入研究和设计； ( 5 ) 模型测试系统的设计与实现；基于( i t 工具包，对模型测试系统 进行设计与实现，并基于测试系统对模型进行实验和分析。 4 中国石油大学( 华东) 硕士论文第1 章前言 1 4 论文的组织结构 本文共分为六章： 第1 章绪论：阐述课题的选题背景及相关研究现状，明确研究目标 和内容； 第2 章理论基础：首先，明确网格概念并详细介绍课题所采用的网 格中间件g t ；其次，分析网格数据管理的功能和特点，总结有关网格数 据管理的研究成果；最后，阐述r e p l i c a 技术的功能及其在网格系统中的 位置、研究现状等，着重分析与课题相关的r e p l i c a 定位与选择算法的经 典研究成果，为课题的研究打好理论基础； 第3 章网格数据传输机制的研究：明确网格数据传输的需求，分析 了不同资源共享方式对数据传输的影响，详细对比f t p 协议与g r i d f t p 协议，并对g f i d f t p 进行实验测试，发掘其传输特性，确立了依据网格 资源共享方式开展基于多r e p l i c a 数据传输的研究路线； 第4 章基于多r e p l i c a 的数据传输模型m r t ：在前两章分析的基础 上，提出了基于多r e p l i c a 的数据传输模型，并进行定义，阐明了r e p l i c a 查找与定位策略，重点讨论了模型所采用的任务分配算法； 第5 章m r t 模型的测试与分析：结合g l o b u s 中间件，详细设计了 测试系统，并对结果进行了比较和分析； 第6 章结论与展望：总结本文的研究过程及成果，并指出了文章下 步的研究重点。 中国石油大学( 华东) 硕士论文第2 章理论基础 第2 章理论基础 数据网格在原有计算网格的基础上增强了数据管理能力，以其较好的 协同工作和数据共享能力，满足了许多数据密集型任务的需求。r e p l i c a 技术是数据网格的关键技术，对提高数据网格的数据管理能力起到了至关 重要的作用。本章从网格基础理论入手，着重介绍和总结了有关网格数据 管理和r e p l i c a 技术方面的知识。 2 1 网格理论基础 2 1 1 嘲按期捻 网格的概念最初是借鉴电力网的概念提出来的，其目的是让用户在使 用网格时，如同使用电力一样，无需关心电力从何而来，也不必知道该电 力是通过怎样的方式产生的( 水力、火力还是核反应等) ，用户使用的是一 种“统一”的电能i l6 】。文献【1 7 】中将网格定义为一个集成的计算与资源环 境，或者说是一个计算资源池，它是构建在i n t e m e t 上的一项新兴技术， 通过高速的共享网络连接地理上广泛分布的异构资源( 包括高速连接的异 构计算机、数据库、科学仪器、文件和超级计算系统等) ，用它们来协同 解决那些通常需要许多c p u 和存储器来处理、访问的单个问题。 网格希望提供给用户的是地理位置透明、与具体的计算设施无关的通 用的“计算能力”，其主要特征是d s l ：( 1 ) 网格由多个管理域组成，系统 不能干涉现有的各组成单元的管理和自治，不能危及现有的用户和远程站 点的安全，不能替换现有的操作系统和服务；( 2 ) 系统具有动态性，允许 远程节点自由加入和离开计算环境；( 3 ) 在硬件和软件两个层次上提供对 异构组件的支持；( 4 ) 在广域环境下，差错是在所难免的，所以理想的网 格环境必须提供一个可靠的、不存在单点失败的、容错的平台。 根据求解问题的特点，人们将网格划分为不同的釉类，以求解大规模 工程和科研计算为主的计算网格，以处理数据密集型问题为核心的数据网 格，以解决科学问题为核心的科学网格，以求解全球地球系统模型问题的 地球系统网格等等，此外还有地震网格、军事网格、n a s a 的i p g 等行 业网格。 7 中国石油大学( 华东) 硕士论文第2 章理论基础 2 1 2 网格中间件川i o b u st o o i k i t 中间件是介于操作系统( 包括底层通信协议) 和各种分布式应用程序 之间的一个软件层，它建立分布式软件模式之间互操作的机制，屏蔽底层 分布式环境的复杂性和异构性，为分布式应用程序的开发提供支持。【1 9 】 网格中闻件是构建网格系统的重中之重，目前国际上有许多比较成熟 的网格中间件，如g l o b u st o o l k i t 、c o n d o r 、t e r a g r i d 等f 2 0 】，其中g l o b u s t o o l k i t 是当前应用最为广泛的网格中间件。 g l o b u st o o l k i t 来源于g l o b u s 项目，由全球网格论坛( o g f ) 下属g l o b u s 联盟共同开发，是一个开放源码的网格中间件，目的是为构建网格应用提 供中间件服务，被公认为是当前建立网格系统、开发网格软件的标准。目 前，包括i b m 和微软等公司都公开宣布支持g l o b u st o o l k i t ，大多数网格 项目如美国国家技术网格n t g 、欧洲数据网格、日本的d a t a f a r m l 2 l 】等都 是采用g l o b u st o o l k i t 作为网格中间件。 o l o b u st o o l k i t 随着其体系结构从“五层沙漏”到w s r f ( w e bs e r v i c e r e s o u r c ef r a m e w o r k ) 1 2 2 架构的演变，也从版本1 0 发展到4 0 ，功能也逐 渐丰富起来。如今，g t 4 融合了四个版本的功能，成为当前网格系统开 发的主流工具。 从功能上讲，g t 4 包括网格安全( o d ds e c u r i t y ) 、数据管理( d a t a m a n a g e m e n t ) 、执行管理( e x e c u t i o nm a n a g e m e n t ) 、信息服务( i n f o r m a t i o n s e r v i c e s ) 和公共运行环境 c o m m o nr u n t i m e ) 等5 个部分组件集，组件种类 分为w e b 服务组件和非w e b 服务组件两大类，如图2 1 所示。网格安全 组件集负责安全认证、身份鉴别、证书管理、安全委托和单点登录等，有 公共认证c a 、授权认证a a 、代理d e l e g a t i o n 、证书管理c m ，c m 包括 静态的s i m p l ec a 和动态的m yp r o x y ；数据管理组件集负责数据传送和 复制，从底层到高层有阿格文件传输协议g r i d f t p 、可靠定位服务r l s 、 可靠文件传输r f t 和数据复制服务d r s 等；执行管理组件集负责任务调 度，主要有网格资源分配管理g r a m 和远程控制o f f 等；信息服务组件 集负责系统信息数据收集和监控管理，采用监控发现服务m d s 协议，包 括w e b 监控发现服务w e bm d s 、索引i n d e x 、触发器t r i g g e r 等；公共运 行环境组件集是公共基础运行环境，包括p y t h o n 、j a v a 、c 语言的w sc o r e 8 中国石油大学( 华东) 硕士论文第2 章理论基础 和c c l 等。 g c o m m u n i t y 斛 t d e l e g a t i o n s c h e d u l e r s e r v i c e 4 f r a m e w o r k c o m m u n i t y ta u t h o r i z a t i o no g s a - d a i 网格资源发现与监 g s e r v i c c t 资源分配控 w sr c l i a b l e ( w so r a m )( m d s 4 ) 罔t 3 a u t h e n t i c a t i o nf i l e a u t h o r i z a t i o nt r a n s f e r g t p r e - w s 。资源分配 c c o m m o n i 2 a u t m i a h a 0 一d f l ( p r e - w s m d s 2l i b r a r i t 嚣 j g a u t h o r i z a t i o ng r a m ) t r e p l i c a l 3 管理服务 g t广石磊i 订 4 l m a g c m e n t i n 网网网司卜要吾再司 l - - - _ j l - - - - - - - - - - - - j l - - - - - - - - - - - - - - - - j l - - - - - - - - - - - - - - - - jt - - - - - - - - - - - - - - - - _ j 图2 - 1g l o b u st o o l k i t4 体系结构 由上图可以看出，g t 4 提供了丰富的中间件功能，它继承了前期三 个版本的功能，并结合w e bs e r v i c e 技术对部分组件加以升级，实现了 g l o b u s 中间件与w e bs e r v i c e 技术的融合，这是g t 发展的重要趋势。目 前，g t 仅仅提供了构建网格系统最基础、最底层的中间件功能，掌握它 的使用方法，并在此基础上进行二次开发、应用部署等是基于g t 开发网 格应用的必经之路。 2 2 网格数据管理 2 2 1 网格数据管理的功能和特点 数据管理是网格系统中的重要模块，它负责管理底层数据资源的命 名、分布、存储、传输等，为用户提供透明的管理接口，使用户能够方便 地实现数据共享和协同工作 2 4 1 。网格数据管理主要包括如下功能： ( 1 ) 数据存储 数据存储功能涉及到存储资源管理，直接影响着数据的访问。网格数 9 中国石油大学( 华东) 硕士论文第2 章理论基础 据分布存储在不同位置的不同设备中，并具有不同的特点，数据管理模块 为用户提供一个统一的数据视图、统一的访问接口，用户不需要了解数据 对象的具体底层实现机制。 ( 2 ) 数据传输 数据传输将数据从源节点传输到目的节点，这是网格数据管理的基本 功能之一。用户作业所需的输入数据、交换运算过程中的中间数据、应用 程序运行产生的结果数据都需要数据传输的支持。 ( 3 ) 副本管理 副本管理系统一般由副本管理器、副本目录、副本选择器等几个部 分组成【4 】。副本管理器是副本管理系统的核心部件，副本目录是登记和查 找副本的场所，副本选择器负责从多个可用副本中选择一个合适的副本。 网格环境下的数据管理有如下特点嘲： ( 1 ) 数据异构：网格系统中，用户所使用的数据可能来自于不同存储 系统，具有不同的数据类型、访问机制等。因此，在网格数据管理中，既 要能转换不同类型数据，又要有统一的数据访问方式； ( 2 ) 透明访问：用户访问数据是透明的，用户并不知道数据的具体位 置，仅需提供描述数据的特征，所以要求数据管理组件能够提供数据资源 的定位服务； ( 3 ) 自由复制：网格环境中的数据传输和复制是自由的，可以在本地 内、本地与远程甚至由第三方控制两个站点的传输，增加了数据传输和迁 移的难度。 2 2 2 网格数据管理研究 根据数据类型的不同，目前网格系统中的数据管理可以分为基于文 件的数据管理服务和基于数据库的数据管理服务。目前，面向文件的数据 管理服务的典型研究主要包括：全局二级存储服务( g l o b a la c c e s st o s e c o n d a r ys t o r a g e ，g a s s ) 2 4 1 、网格文件传输服务和副本定位服务等；基于 数据库的数据管理服务的主要研究成果有：o g s a - d a i ( d a t aa c c e s sa n d i n t e g r a t i o n ，o g s a - d a i ) 2 6 1 j i 存储资源中介者( s t o r a g er e s o u r o eb r o k e r , s r b ) 9 。 l o 中国石油大学( 华东) 硕士论文第2 章理论基础 ( 1 ) 面向文件的数据管理 a 全局二级存储服务g a s s ：g a s s 服务主要提供远程文件访问功 能，支持网格计算环境下的远程输入输出。g a s s 不追求完善的文件访问 支持，它只支持网格环境下常见的四种输入输出模式【2 4 1 ：只读访问整个文 件模式、共享写访问单个文件模式、只添加访问模式和一个用户无限制读 写访问模式。由于限定了访问模式，一致性问题变得比较简单，通常不需 要考虑全局一致性问题。由于网格计算环境中的带宽有限，且具有动态和 广域分布的特点，所以g a s s 通过提供文件缓存来优化数据传输，其缺省 的数据移动策略刚主要有两个：1 、当本地有多个用户或应用为读操作而 访问同一个远程文件时，只进行一次复制，并在文件的访河过程中进行计 数管理。此策略适合并行计算中多个进程读取文件的情况，采用此策略可 避免多余的通信开销；2 、本地文件被完全关闭时，视文件内容是否被修 改来决定是否把文件传输回原来的位置，判断文件是否完全关闭的方式是 通过计数管理机制实现。这个策略减少了同一位置的多个进程对远程文件 的写操作开销，保证写操作的一致性由本地文件系统完成。 b 网格文件传输协议g r i d f t p 【27 】：g r i d f ”相对于f t p 协议进行了 扩充，首先g r i d f t p 支持g s i 和k e r b e r o s 安全机制，提供灵活可靠的安 全鉴别和完整性检查功能。在数据传输方面，g r i d f t p 提供并行数据传输、 条状数据传输和部分文件传输，满足网格环境下不同的应用对广域范围分 布的、大量数据的传输需求。另外，g r i d f l p 支持第三方控制的数据传输， 并在其实现中增加了g s s - a p i 安全认证，这样可以更可靠、更安全地提 供经过鉴别的第三方控制的数据传输。c r r i d f t p 可自动调整t c p 缓冲区或 窗口的大小，可以针对具体的文件大小和类型，对t c p 缓冲区或窗口的 大小进行自动设置，有效提高数据传输性能。g r i d f t p 还扩展了失败数据 重传协议，这样可以有效地支持可靠传输和容错传输。 c 副本定位服务( r e p l i c al o c a t i o ns e r v i c e ，r l s ) 口s 】：副本的定位是根 据网格中唯一的逻辑标识符确定相应的一个或多个副本的物理位置，这个 逻辑标识符是要访问的数据内容的唯一标识，副本定位服务是维护从逻辑 数据名称到物理数据名称的映射信息，并提供这些信息的查询，它并不是 中国石油大学( 华东) 硕士论文第2 章理论基础 一个完全独立的系统，而是网格数据管理框架中的一个组成部分，它和 g r i d f t p 、元数据服务、文件传输服务及其他数据管理服务一起工作，为 数据管理提供更好的支持，副本定位服务主要提供数据版本管理、主副本 管理、工作流管理和面向应用的数据管理服务。 ( 2 ) 面向数据库的数据管理 a 开放式网格服务结构下的数据访问和集成o g s a d m ：它可以对 分离的数据资源实现数据访问与集成“网格数据服务工厂( c m dd a t a s e r v i c ef a c t o r y , g d s f ) ”是一个永久的服务，客户端不能破坏或终止。它 根据客户端的请求创建网格数据服务( c , r i dd a t as e r v i c e ，g d s ) ，一个g d s f 能创建不同类型的g d s ，满足不同客户的需要，g d s 通过网格数据服务 f g r i ds e r v i c e ) 端口类型提供数据访问、数据集成和数据提供等功能。图2 2 是o g s a 定义的网格数据服务使用过程。 图2 - 2 网格数据服务使用过程 b 存储资源中奔者s r b ；存储资源中介者提供一种基于数据集和资 源属性来访问数据集和资源的途径，而不是根据数据集和资源的名字和物 理位置进行访问。s r b 基于传统的客户朋臣务器模式设计，服务器端由两 个分离服务程序一s r b 主程序和s r b 服务程序组成。s r b 主程序负责监 听来自客户端的连接请求，一旦连接建立并得到授权，就创建并执行s r b 服务程序的一个副本( 即启动一个s r b 代理) 为该连接服务，s r b 代理负 责接收所有的后续请求并提供服务。这个方式适合于分布式网络环境，客 户端和服务器可以运行在不同的节点机上。s r b 与元数据目录系统 ( m e t a d a t ac a t a l o g ，m c a t ) - - 起提供有关数据集的创建与删除，与数据集相 关或与其他对象相关的元数据的操纵和查询，以及数据集上的输入输出 1 2 中国石油大学( 华东) 硕士论文第2 章理论基础 操作。图2 3 示出了s r b 代理结构图。 u n i x h p s s o r a c l ed b 2 l d a p 图2 - 3s r b 代理结构 2 3r e p i - c a 技术 2 3 1r e p l i c a 的引入 r e p l i e a - 副本，是为了避免本地主机频繁地访问远程数据，在本地区 域内创建远程数据的副本，方便本地区域使用 2 9 1 。 副本技术的引入增强了网格数据管理能力，主要体现在如下几方面： ( 1 ) 减少数据访问延迟：数据被复制到本地，从而将对远程文件的访 问转化为对本地文件的操作，一方面程序的运行不会因为缺少数据而停 止，同时也大大减少或避免了网络延迟对程序执行的影响； ( 2 ) 减少网络带宽的消耗：数据被事先拷贝到本地，程序运行时不必 再到远程读取，节省了网络带宽； ( 3 ) 平衡服务器负载：副本技术使得数据更加分散，同时也分散了对 数据的访问请求，有效地减缓了