（电磁场与微波技术专业论文）基于gridftp的网格流量研究与改进.pdf

北京邮电大学硕士学位论文基于g r i d f t p 的网格流量研究与改进 基于g r i d f t p 的网格流量研究与改进 摘要 网格被认为是继传统因特网，w e b 之后的第三代因特网应用。网 格技术的发展以数据的传输技术为基础，几乎所有业务流程都需要对 共享数据进行可靠，快速的访问。g r i d f t p 是由g l o b u s 提出的一种 安全可靠的高性能网格文件传输协议，最大的功能改进之一就是引入 了多t c p 流并行传输，以适应网格网络高带宽，高速率的传输需要。 随着网络技术发展，计算节点的处理能力以及网络带宽越来越大，为 多t c p 流并行数据传输提供了条件。 一 g r i d f t p 作为网格网络的主要传输协议，有关其传输性能和流量 特性方面的研究并不多。并且在高速带宽的网格环境中，网络连接容 量不再是问题，而系统的服务质量，特别是关键业务的性能成为衡量 服务水平的重要指标，如何通过g i i d f t p 的多t c p 并行传输机制， 充分利用有效带宽，保证较高水平的用户端数据吞吐量，做到按需求 分配带宽，这些问题都极具研究价值。 该论文通过大量实验测试对矾d f t p 不同并行度下数据传输的 时间，带宽，吞吐量，数据传输总量等性能参数进行了比较，讨论了 并行度对传输性能的影响，指出了并行传输机制在提高传输性能方面 的局限和值得注意的问题。并对g r i d f t p 流量的自相似特性进行了证 明，通过仿真从网络队列和丢包率方面分析了并行度增大对网络性能 产生的影响。 基于以上对g r i d f t p 传输性能的分析，本文提出了一种自动并行 度调整机制。在这种机制下，g r i d f t p 可根据有效带宽的变化动态选 择最佳t c p 并行数，有效的利用了网络的可用带宽，在达到较高吞 吐量的基础上同时实现流量的拥塞控制，避免了设置并行数过大造成 的对网络资源享用的不公平。 关键词：g r i d f t p 并行数据传输自相似吞吐量g l o b u s 北京邮电大学硕士学位论文 基于g r i d f t p 的网格流量研究与改进 a n a l y s i sa n dn 征r o v e 匝n tr e s e a i 汇h o nf i l et ra n s f e rp r o t o c o lg r i d f t p a b s 仃a c t g r i di sas e c u r ec o l l a b o r a t i o na c r o s sg e o g r a p h i c a l l yd i s t r i b u t e d r e s o u r c e s t h ew i d e l yd i s t r i b u t e dn a t u r eo ft h e s ee n v i r o n m e n t sm a k e st h e p e r f o r m a n c eo fd a t at r a n s f e ri n c r e a s i n g l yi m p o r t a n t a l s o ，a p p l i c a t i o n so f g r i da leb a s e do nt h ed a t at r a n s f e rt e c h n o l o g yb e c a u s ea l lt h es e r v i c e p r o c e s si ng r i dr e q u i r e sf a s ta n ds e c u r ed a t aa c c e s s g r i d f t pt h a tb a s e d u p o n t h ei n t e m e tf t pp r o t o c o l i sa h i g h - p e r f o r m a n c e ，s e c u r e ，r e l i a b l ed a t a t r a n s f e rp r o t o c o lf o rg r i dn e t w o r k g 矗d f t pp r o v i d es i g n i f i c a n ti m p r o v e m e n ti nd a t at r a n s f e rp e r f o r m a n c e d u et ot h ep a r a l l e lt r a n s f e ri nw i d e a r e ae n v i r o n m e n t w i t ht h i sf e a t u r e ，a s i n g l ef i l ec a nb et r a n s f e r r e db e t w e e nap a i ro fh o s t sw i t hm u l t i p l et c p s t r e a m st ou t i l i z et h eh i 曲b a n d w i d t hi ng r i dn e t w o r k h o w e v e r , h o wt oc o n f i g u r et h eo p t i m a lt c pp a r a l l e l i s mi ng r i d f t p t ou t i l i z et h eb a n d w i d t he f f e c t i v e l ya c c o r d i n gt on e e di saq u e s t i o n a b l e p r o b l e ma tp r e s e n ta n dt h eu n f a i ru t i l i z a t i o no ft h en e t w o r kr e s o u r c e c a u s e db yh i g l lp a r a l l e l i s mi sa l s os h o u l db ep a i da t t e n t i o n i nt h i sp a p e r , t h ep e r f o r m a n c eo fg r i d 】了t pi sq u a n t i t a t i v e l ye v a l u a t e da n dt h ep a r a l l e l t r a n s f e ri ng r i d f t pi sp r i m a r i l ya n a l y z e d b yp e r f o r m i n ge x p e r i m e n t so n t e s t i n gt h ep a r a m e t e r ss u c ha sb a n d w i d t h ，t r a n s f e rt i m e ，t h r o u g h p u ta n d s e l f - s i m i l a r i t yi nt r a n s f e r r i n gw i t hd i f f e r e n tp a r a l l e l i s m ，w ed i s c u s st h e p e r f o r m a n c ei m p r o v e m e n tf o rd i f f e r e n tt c pp a r a l l e l i s ma n dt h ed e f e c t i o n a n dl i m i tt h a tn e e dt ob ei m p r o v e d f u r t h e r m o r e ，t h eq u e u ed e l a ya n d p a c k e tl o s tu n d e rd i f f e r e n tp a r a l l e l i s ma r ea l s oa n a l y z e db yp e r f o r m i n g n s 2s i m u l a t i o n b a s e do nt h ep r e v i o u sa n a l y s i s ，t h i sp a p e rp r o m o t e sa na u t o m a t i c p a r a l l e l i s mc o n f i g u r a t i o nm e c h a n i s mf o rg r i d f t pw h i c ho p t i m i z e st h e n u m b e ro fp a r a l l e lt c pc o n n e c t i o n sa c c o r d i n gt ot h ea v a i l a b l eb a n d w i d t h 1 1 北京邮电大学硕士学位论文 基于g r i d f t p 的网格流量研究与改进 t h ep r o p o s e dt e c h n i q u ef i r s tm e a s u r e st h en e t w o r ks t a t u s ( t h et h r o u g h p u t a n dt h er o u n d t r i pt i m e ) a tt h eg r i d f t pc l i e n t t h e n ，b a s e do nt h eg r i d f t p t h r o u g h p u tm o d e l ，t h en u m b e ro fp a r a l l e lt c pc o n n e c t i o n sa r ea d j u s t e d w i t han e wa i m d ( a d d i t i v e i n c r e a s ea n dm u l t i p l i c a t i v ed e c r e a s e ) a l g o r i t h m t h ep e r f o r m a n c eo ft h e p r o p o s e da u t o m a t i cp a r a l l e l i s m c o n f i g u r a t i o nm e c h a n i s mt h r o u g hs i m u l a t i o ne x p e r i m e n t si se v a l u a t e d a n di tc a nb ei n d i c a t e dt h a tt h ea u t o m a t i cp a r a l l e l i s mc o n f i g u r a t i o n m e c h a n i s mc a nt u n et h eg r i d f t pp a r a l l e l i s ma ta no p t i m a ln u m b e r a c c o r d i n gt ot h en e t w o r ks t a t u st om a x i m i z et h et h r o u g h p u t w i t ht h i s f u n c t i o n ，i tc a nh e l pt oa v o i dt h en e t w o r kc o n g e s t i o na n du n f a i rs h a r eo f n e t w o r kr e s o u r c eb ye x c e s s i v ep a r a l l e l i s mi ng r i d f t e k e yw o r d s ：g r i d f t pp a r a l l e l i s m s e l f - s i m i l a r i t yt h r o u g h p u t g l o b u s i i i 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 套笾 日期： 趁芝呈兰：! 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权 保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅 和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印 或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密 论文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： 日期： 塑里墨至：! 三 日期： 2 垒1 2 呈，! ：2 北京邮电大学硕士学位论文基于g 刮f 1 p 的网格流量研究与改进 1 1 研究背景 第一章绪论 网格被认为是继传统因特网，w e b 之后的第三代因特网应用，是解决高能物 理实验如虚拟天文台，生物模拟，地理等这样的数据量极大的科学工程计算问题 的有效途径。网格的一个重要功能，就是把网络上连接的、地理上分布的各类计 算机( 包括机群) ，数据库存储设备等资源整合起来，形成对用户相对透明的虚拟的 高性能计算环境。随着网络技术发展，计算节点的处理能力以及网络带宽越来越 大，这为网格技术的发展和实际应用提供了保障。 对网格的研究始于美国，在上世纪9 0 年代中期，为了支持高级的科学和工程， 网格作为一种高性能分布式计算基础结构而被提出，被定义为“在动态、多站点 和大规模的环境中，协调资源共享和协作解决问题的分布式结构。网格为各种 应用提供了一个高性能、大容量、高速传输的并行分布广域计算平台，是提供对 高端计算能力进行可靠、一致、全面和廉价访问的硬件和软件基础设施。网格计 算作为一种新型的大型分布式计算，一直受到了学术界和工业界极大的关注。在 网格研究中，g l o b u s 是最有影响的网格研究项目，g l o b u s t o o l k i t 是其最重要的成 果，目前最新的版本是g t 4 。g l o b u s 项目旨在为网格创建基本的基础设施以及高 级服务，它提出了开放网格服务体系结构o g s a ( o p e n g r i ds e r v i c e a r c h i t e c t u r e ) 的详细框架，并提交给全球网格论坛g g f ( g l o b a lg r i df o r u m ) 讨论，细化，最终 成为网格标准。 网格技术的发展以数据的传输技术为基础，几乎所有业务流程都需要对共享 数据进行可靠，快速的访问。与其它大多数计算环境一样，网格环境下的数据必 须可以发现、存储抽取、转换、管理、整合、分布、发布和传输，必须是安全的， 可恢复和可查询的。网格资源如此庞大和分散，因此需要一种健壮的传输机制。 g r i d f t p 1 j ( g r i df i l et r a n s f e rp r o t o c 0 1 ) 是目前网格研究中最重要的应用之一。 它是由g l o b u s 提出的一种安全可靠的高性能网格文件传输协议，针对高带宽广域 网进行了优化，它基于标准的f t p 协议，并对其进行了扩展【2 】，增加了新的功能， 如：支持g s i 及k e r b e r o s 安全机制，第三方控制的数据传输，并行数据传输，条 状数据传输，部分文件传输，支持可靠的数据传输及数据重传。g r i d f t p 作为网 北京邮电大学硕士学位论文基于g r i d f t p 的网格流量研究与改进 格的主要传输协议，最大的功能改进之一就是引入了多t c p 并行传输，适应网格 的高带宽，高速率传输需要。目前，对于最佳并行度数的确定仍然是有待研究的 问题。 1 2 研究内容以及目标 基于g r i d f t p 的网格网络流量研究主要是基于g l o b u st o o l k i t4 进行， g r i d f t p 流量特性和并行度对传输性能的影响是研究重点。 本课题的主要目的是通过理论研究来为实际的网络工程提供理论参考依据。 文章通过大量实验测试对g r i d f t p 不同并行度下数据传输的时间，带宽，吞吐量， 数据传输总量等性能参数进行了比较，讨论了并行度对传输性能的影响，指出并 行传输机制在提高传输性能方面的局限和值得注意的问题。并对网格流量的自相 似特性进行了证明，通过仿真从网络队列和丢包率方面分析了并行度增大对网络 性能产生的影响。最后，提出一种自动并行度调整机制，通过测量t c p 连接中 吞吐量值的变化，感知并行度对有效带宽的使用情况以及网络是否发生拥塞，从 而使用递增倍减算法控制g r i d f t p 并行度作相应的改变。在自动并行度调整机制 下，g r i d f t p 可根据有效带宽的变化动态选择最佳并行度数，有效的利用网络带 宽，在达到高吞吐量的基础上同时实现流量的拥塞控制。 研究小组中作者主要负责网格平台的搭建，g r i d f t p 传输测试和流量特性研 究，g r i d f t p 流量源的n s 2 仿真，并在此基础上实现了基于吞吐量和传输时延的 自动并行度调整机制设计。 1 3 研究意义 本课题的研究意义主要体现在两方面，分别针对网格流量的特性分析和在此 基础上的g r i d f t p 并行数据传输的最佳并行度调整。 首先，对网络流量特性的研究是网络规划与性能评价的重要基础，广泛用于 网络规划设计，网络优化，网络性能评价，网络控制( 拥塞控制，带宽分配) 等方 面。g r i d f t p 是网格网络中的主要传输协议，有关其传输性能和流量特性方面的 研究并不多。 近年来的研究显示，网络流量( 包括以太网，局域网，广域网，c c s n s s 7 ， i s d n ) 的自相似性或长程相关性是普遍存在的。流量的分形或自相似特性，即 网络数据在绝大部分时间尺度范围内具有统计相似性( 高度相关) 和重尾特性( 高 变化或突发) 严重影响到网络的传输性能和流量控制策略。i n t e r n e t 网络中流量的 2 北京邮电大学硕士学位论文 基于g r i d f t p 的网格流量研究与改进 自相似分析是目前研究的热点，但对于网格网络流量，特别是对g r i d f t p 多并行 度下的流量自相似估计及对网络性能的影响还没有相关研究。而自相似性对网络 性能能产生意想不到的影响，例如对时延、丢包率、吞吐量等网络性能指标的直 接影响，使网络的设计，控制，分析和管理变得复杂。通过基于自相似业务流量 的网络性能评价，才能掌握在自相似业务下网络所表现出来的特性，减少流量自 相似所带来的不利影响，使网络性能得到优化。 其次，在高速带宽的网格环境中，网络连接容量不再是问题，而系统的服务 质量，特别是关键业务的性能成为衡量服务水平的重要的指标，如何采用有效的 带宽算法，充分利用有效带宽，保证较高水平的用户端数据吞吐量，做到按需求 分配带宽，这些问题都极具研究价值。 g r i d f t p 作为网格的主要传输协议，最大的功能改进之一就是引入了多t c p 并行传输，以适应网格的高带宽，高速率传输需要。g d d f t p 白皮书【l 】中指出 g r i d f t p 最佳并行度依赖于网络状况，如带宽，时延，拥塞等，但没有提出精确 的最佳并行度计算机制。本文基于对g r i d f t p 特性的深入分析，提出了基于吞吐 量的最佳t c p 并行度调整机制，使得g r i d f t p 可实时根据网络状况，选择最佳 的并行度数，有效的利用了网络带宽，并避免了设置并行度数过大造成的网络拥 塞和网络资源享用的不公平。 1 4 论文结构 本文根据其内容分为五章。 第一章是绪论。对课题的研究背景以及当前国内外的研究现状进行了简单的 介绍。提出了所要研究的内容，对论文的结构进行了简要描述。 第二章是网格数据传输机制的研究。对网格的基本概念，体系结构进行了概 述。着重对网格传输协议g r i d f t p 的概念、原理、传输功能以及性能特点进行了 详尽的阐述。并对本论文研究所基于的g l o b u st o o l k i t 4 平台进行了介绍。 第三章围绕网络流量的自相似特性，首先对自相似的定义，长程相关性和重 尾分布等进行了说明，并用r s 方法和方差时间方法对g r i d f t p 流量的自相似性 进行了估计。 第四章通过在广域网和局域网中进行大量的实际流量测试，对g r i d f t p 不同 并行度下的数据传输时间，带宽，吞吐量，数据传输总量等参数进行了比较，讨 论了使用不同并行度对传输性能的影响。同时利用第三章提到的p u s 法和时间方 差方法对不同并行度下的自相似参数进行了估计。在此基础上，通过仿真分析了 g r i d f t p 使用不同并行度时，对网络排队和丢包率的影响。 3 北京邮电大学硕士学位论文基于g r i d f t p 的网格流量研究与改进 第五章提出了一种基于吞吐量的自动并行度调整机制。基于实时的网络状 况，对最佳并行度进行计算和更新，从而有效利用网络的可用带宽，使数据传输 达到最佳吞吐量。本章介绍了该机制的理论依据，算法流程和运行环境，并设计 了三类仿真，针对不同的网络环境，考察自动并行度调整机制对g r i d f t p 传输性 能的改进。 4 北京邮电大学硕士学位论文 基于g r i d f t p 的网格流量研究与改进 第二章网格文件传输协议概述 2 1 网格基本概念 网格是科学家针对当今的一些科学难题于9 0 年代初提出的新概念。它是构 筑在因特网上的一组新兴技术，是继传统互联网、w e b 之后的第三次浪潮，可 以称之为第三代互联网应用。 随着i n t e r n e t 的广泛普及，很多应用领域，特别是计算和数据密集型应用， 对广域网环境下协同问题求解能力和海量信息分析处理能力的要求越来越高。这 些应用要求整合分布在广域网环境中的高性能处理能力、海量数据集合以及多种 可用资源，为地理上分布的用户提供服务。传统的高性能计算、分布式系统以及 相关技术已经无法适应这种高性能分布处理和大容量分布存储能力的需求。为此 人们提出数据网格技术以构建一种分布计算的基础设施，在动态跨组织域的虚拟 组织( v i r t u a lo r g a n i z a t i o n ，v o ) 内实现协同的数据资源共享和问题求解。 网格将分布在不同地理位置的计算资源，包括c p u 、存储器、数据库等， 通过高速的互联网融为一体，组成充分共享的资源集成，从而提供一种高性能计 算、管理及服务的资源能力，为科技人员和老百姓提供更多的资源，功能和交互 性应用。人们用这些资源就像用电源一样，不必计较这些资源的来源和负载情况。 网格就像一台超级计算机一样，为用户提供一体化信息和应用服务( 计算、存储、 访问等) ，虚拟组织最终实现在这个虚拟环境下进行资源共享和协同工作，彻底 消除资源“孤岛”，最充分地实现信息共享【引。 1 9 9 8 年，全球网格研究的领军人物，美国a r g o n n e 国家实验室的资深科学 家，g l o b u s 项目的领导人i a nf o s t e r 在网格：一种新的计算基础设施蓝图一 书这样描述网格：“一个计算网格是一个硬件和软件基础设施，此基础设施提供 对高端计算能力可靠的、一致的、普遍的和不昂贵接入。” 2 0 0 0 年，i a nf o s t e r 在网格剖析这篇论文中进一步精化网格定义为：“在 动态的，多机构的虚拟组织中协调资源共享和协同解决问题”。其核心概念是： 在一组参与节点( 资源提供者和消费者) 中协商资源共享管理的能力，利用协商得 到的资源池共同解决一些问题。 2 0 0 2 年7 月，i a nf o s t e r 在什么是网格? 判断是否网格的三个标准一文中 北京邮电大学硕士学位论文基于g r i d f t p 的网格流量研究与改进 讲述了协议标准化作为使异构系统间交互操作和公共基础设施成为可能的重要 性。规定了是否为网格的三个指标： 1 协调非集中控制资源。 2 使用标准，开放，通用的协议和界面。 3 得到非平凡的服务质量。 与之相对的是一种更为广泛的定义：一切具有分布，共享，协同特征的网络 计算系统均可称为网格。 2 2g l o b u s 项目概要 g l o b u s 项目是目前国际上最有影响的网格计算项目之一。它发起于九十年 中期，它的最初目的是希望把美国境内的高性能计算中心通过高性能网络连接起 来，方便美国的大学和研究机构使用，提高高性能计算机的使用效率【4 1 。 随着对g l o b u s 项目的深入研究，针对它的应用也进一步扩展，希望通过 g l o b u s 项目可方便地对地理上分布的研究人员建立组织，进行跨学科的虚拟合 作。目前，g l o b u s 项目把在商业计算领域中与s e r v i c e 技术融合在一起，希望不 仅仅局限于科学计算领域，而且能够对各行业的应用进行广泛的、基础性的网格 环境支持，实现更方便的信息共享和互操作从而对商业模式、工作方式和生活方 式产生深远的影响。 为了有效的支持网格计算环境，g l o b u s 工具包针对g l o b u s 项目提出了多个 协议，提供了一系列的服务( s e r v i c e ) ，软件库，编程接1 2 1 ( a p i ) 和使用例。从总 体上讲，g l o b u s 工具包的实现主要有四方面的内容【5 】【6 】： ( 1 ) 网格安全。这是网格计算环境正常运行的保证。g l o b u s 主要是结合目前 成熟的分布式安全技术，并进行一定的扩展，以适合网格计算环境的特点： ( 2 ) 网格信息获取与发布。在网格计算环境中如何发布资源信息，如何查询、 检索资源信息是有效使用各种资源的前提条件； ( 3 ) 网格资源管理。由于网格环境中的资源主要分布在广域网环境中，用目 前常采用的局域网资源管理技术不能有效地对其进行管理，为此在g l o b u s 局域 网资源管理之上实现了更高层次的资源管理技术，在信息服务的支持下，可有效 地支持广域范围内的资源管理； ( 4 ) 网格远程数据传输。实现广域网环境下的高速、可靠的数据传输和实现 对应用程序基本透明的远程文件i o 访问是g l o b u s 考虑的重要内容。 上述四方面的技术可以使得开发在网格计算环境下的应用更加方便，而且使 得网格应用程序的执行效率会更好。针对上述四个方面的内容，g l o b u s 项目实 6 北京邮电大学硕士学位论文基于g r i d f t p 的网格流量研究与改进 现的主要组成部分介绍如下，图2 1 形象的说明了g l o b u s 各个模块之间的相互 关系【刀。 图2 - 1 ：g l o b u s 模块关系【7 1 ( 1 ) 网格安全基础设施( g r i ds e c u r i t yi n f r a s t r u c t u r e ，简称g s i ) ：g s i 负责在 广域网环境下的安全认证和加密通信，提供单点登录功能、远地身份鉴别功能， 数据传输加密功能等，提供了基于g s i 协议的g e n e r i cs e c u r i t ys e r v i c e s a p i ( g s s a p i ) 接口。是保证网格计算环境安全性的核心部分。 ( 2 ) g l o b u s 资源分配管理( g l o b u sr e s o u r c ea l l o c a t i o nm a n a g e r ，简称g r a m ) - g r a m 负责远程应用的资源请求处理，远程任务调度处理，远程任务管理等工 作，负责对r e s o u r c es p e c i f i c a t i o nl a n g u a g e ( r s l ) 信息的解析和处理工作，是网格 计算环境中的任务执行中心。 ( 3 ) 元计算目录服务( m e t a c o m p u t i n gd i r e c t o r ys e r v i c e ，简称m d s ) - m d s 主 要完成对网格计算环境中信息的发现、注册、查询、修改等工作，提供对网格计 算坏境的一个真实、实时的动态反映。主要基于l i g l l t w e i g h td i r e c t o r ya c c e s s p r o t o c o l ( l d a p ) 协议，其处理的信息主要是网格计算环境中的各种资源( 包括数 据资源、计算资源等) 、服务和其它主体( e n t i t y ) 的描述。m d s 是网格计算环境中 的信息服务中心。 ( 4 ) 全局二级存储服务( g l o b a la c c e s st os e c o n d a r ys t o r a g e ，简称g a s s ) ： g a s s 简化了在g l o b u s 环境中应用程序对远程文件u o 的操作，使得使用u n i x 和标准c 语言i o 库的应用程序基本不用改动就可在g l o b u s 环境中执行。g a s s 7 北京邮电大学硕士学位论文基于g r i d f l p 的网格流量研究与改进 是一个支持网格计算环境远程i o 访问的中间件。 ( 5 ) 网格f t p 服务( g r i d f t p ) ：g r i d f t p 是一个高性能、安全、可靠的数据传 输协议，并针对高带宽的广域网环境进行了优化。具有支持第三方传输、断点续 传、并行传输、与g s i 结合的安全认证、自适应缓存等特性。是网格计算环境中 的数据传输工具【引。 ( 6 ) g l o b u s 复制管理( g l o b u sr e p l i c am a n a g e m e n t ，简称g r m ) ：复制管理是 一大类科学应用程序中需要考虑的重要问题，由于存在对大型远程文件的访问。 g l o b u sr e p l i c ac a t a l o g 通过把部分相关数据智能地放置在离科学应用程序最近的 位置，使得科学应用程序可快速地对数据进行访问。 2 3g l o b u st o o l k i t 介绍 g l o b u st o o l k i t 工具包来源于g l o b u s 项目。g l o b u st o o l k i t 是一个开放源码的 网格的基础平台，基于开放结构，开放服务资源和软件库，并支持网格和网格应 用，目的是为构建网格应用提供中间件服务和程序库。g l o b u st o o l k i t 具有较为 统一的国际标准，有利于整合现有资源，也易于维护和升级换代。 现在，一些重要的公司，包括i b m 和微软等都公开宣布支持g l o b u st o o l k i t ， 而且目前正在进行中的大多数网格项目都是采用基于g l o b u st o o l k i t 所提供的协 议及服务建设的【9 】。 目前最新的版本是2 0 0 5 年1 月3 1 日发布的g l o b u st o o l k i t 4 ( g t 4 ) ，实现了 w s r f 和w s n 标准。g t 4 提供a p i 来构建有状态的w e b 服务，其目标是建立 分布式异构计算环境。所有知名的g t 3 协议都被重新设计为可以使用w s r f 。 并且g t 4 也在其中增添了一些新的w e b 服务的组件【5 1 。 ， 、 t w 曲 $ e - v i c c o m p o n p r e w 5g r i dr e s o m c e m o l i 矗。血电臣 cc o r r e c t i o n a 1 吐h e n t i c a t i o n g r i 心t p m l o c d 驯td i s c a w r yl 出豳 a u t h o r i z a b n ( g r a m )( m d s ) n 0 1 1 w o o m p o n l o l q s e c u r i t yd m m g m t f 坯e c u f i o ni n 南c b m 瑚n im 弘l s e m c e r 丑n t i 抛 图2 - 2 ：g t 2 组件结构 北京邮电大学硕士学位论文基于g r i d f t p 的网格流量研究与改进 图2 3 ：g t 3 组件结构 图2 _ 4 ：g ，r 4 组件结构 从以上三副图中可以看出，g l o b u st o o l k i t 组件被划分为五种类型，它们是： “s e c u r i t y 、“d a t am a n a g e m e n t ”、“e x e c u t i o nm a n a g e m e n t ”、“i n f os e r v i c e s ”和 9 北京邮电大学硕士学位论文基于g r i d f t p 的网格流量研究与改进 “c o m m o nr u n t i m e 。从g t 2 到g t 4 的发展过程中，这五种类型的组件在不断 的被扩充。下面分别介绍g l o b u st o o l k i t 4 中这五类组件的功能【1 0 】【1 1 1 。 ( 1 ) 安全( s e c u r i t y ) ：网格安全基础设施( g s i ) 采用公钥密码体系作为网格安全 体系的基础，它在消息层和传输层上都提供可靠的安全服务。其安全组件主要包 括证书管理、p r e w s 验证授权、w s 验证授权、证书委托和社区授权服务等。 ( 2 ) 数据管理( d a t am a n a g e m e n t ) ：在网格坏境下的数据管理相当复杂却十分 重要，g t 4 提供了许多组件实现数据移动和副本管理。g r i d f t p 工具和 r f t ( r e l i a b l ef i l et r a n s f e r ) 提供了数据移动服务，r l s ( r e l i a b l el o c a t i o ns e r v i c e ) 提供数据副本管理【幽。 在后面小节我们还将专门针对g r i d f t p 协议进行介绍，g r i d f t p 协议基于目 前使用广泛的f t p 协议，并在它的基础上加入了许多新的特性以满足当前数据 网格的需求：r f t 使用w e b 服务通过g r i d f t p 来提交和管理第三方传输以及删 除文件和目录；r l s 实现对副本的登记和查询，它负责维持和访问数据项的逻辑 名称到实际名称的映射。 ( 3 ) 执行管理( e x e c u t i o nm a n a g e m e n t ) ：o t 4 的执行管理提供了在网格计算资 源上进行作业提交、监控、取消的u n i x 系统套件，它们被称为g r a m ( g l o b u s r e s o u r c ea l l o c a t i o nm a n a g e r ) 。值得注意的是，g r a m 并不是一个资源调度器， 它是一种通过标准的信息格式在不同的本地资源间进行通讯的协议引擎。 ( 4 ) 信息服务( i n f o r m a t i o ns e r v i c e ) ：m d s ( m o n i t o r i n ga n dd i s c o v e r ys y s t e m ) 由一组用来监控和发现网格资源和服务的w e b 服务构成，它可以发现哪些资源 属于虚拟组织( v i r t u a lo r g a n i z a t i o n ) 所有并监控资源的状态【9 1 。 ( 5 ) 公共运行时( c o m m o nr u n t i m e ) ：是g t 4 的基础，它提供了一组程序库和 工具来支持服务的创建和部署，支持最新的w s r f 和w s n o t i f i c a t i o n 规范。 2 4g r i df t p 传输协议及其传输机制 目前正在使用的很多大型存储系统，由于采用了不同的协议和软件进行架 构，因此很多系统之间都不兼容。d p s s ( d i s t r i b u t e dp a r a l l e ls t o r a g es y s t e mf r o m l b n l ) 引，h p s s ( h i g hp e r f o r m a n c es t o r a g ef r o mi b m ) t 1 4 】提供高效的数据传输， 利用并行的数据传输和多结点的s t r i p i n g 来提高传输的性能。其他的一些系统 ( d f s ) 支持大容量逻辑卷和利用数据的r e p l i c a t i o n 、本地c a c h e 来分担和平衡 负载。s r b ( s t o r a g er e s o u r c eb r o k e rf r o ms d s c ) t 1 5 j 支持抽象的数据集合，对于异 构系统提供统一的访问接口，也支持基于元数据的查询。h d f 5 1 6 】主要关注结构 化数据，提供支持访问结构化数据的客户端。如果某个应用系统需要对多个存储 l o 北京邮电大学硕士学位论文基于g r i d f t p 的网格流量研究与改进 系统进行访问，则必须分别采取不同的方法来访问每个存储系统。有一种解决办 法就是为这多个存储系统开发一个中间件，来隐藏各存储系统之间的差异，但这 样会增加数据传输的复杂度，严重影响了数据传输的性能。 网格技术的发展，推动了相关领域内一些新的标准和模型的出台。在数据传 输方面，g l o b u s 项目提出了新的数据传输协议g r i d f t p ( g r i df i l et r a n s f e r p r o t o c 0 1 ) ，使数据传输性能得到了明显的提高。它基于规范的f t p 协议，并对其 进行了全面的扩展，支持安全，高速的数据传输，可以实现对多种存储系统的支 持，并提供统一的用户界面，这样就避免了上面提到的问题。 2 4 1g 矗d f t p 主要功能特点 网格技术的发展与数据的传输技术为基础，几乎所有业务流程都需要对共 享数据进行可靠、快速的访问。与其他大多数计算环境一样，网格环境下的数 据必须可以发现、存储、抽象、转换、管理、整合、分布、发布和传输，必须是 安全的、可恢复和可查询的。网格资源如此庞大和分散，因此需要一种健壮的 传输机制。 网格文件传输协议酬d f t p 是一个独立于底层架构的通用协议。设计 g r i d f t p 协议的g l o b u s 网格项目组在全面考虑了当前可用的协议与技术和己经 实现的一些原理的基础上，确定了g r i d f t p 协议以f t p 协议为基础，并对f t p 协议进行了必要的扩展，增加了一些网格计算必需的功能。之所以选择f t p 协 议作为基础，主要由下列四个方面的考虑【r 飞 1 ) f t p 协议是i n t e m e t 环境中最规范的数据传输协议。易于扩展体系结构， 且支持一些扩展的动态发现。 2 ) f t p 协议有大量的技术基础，有大量成熟的实现且易于理解。 3 ) 目前己有针对f t p 协议的大量扩展及其实现，其中一些对于g r i d 环境的 数据传输很有用。 4 ) 除了客户服务器传输( 如p u t g e t 或者远程r e a d w r i t e ) ，它也支持由第三方 用户控制的两个服务器之间的直接传送。 为了满足网格的需要，g r i d f t p 在f t p 的基础上增加了如下一些新的特征， 其中一些己经成为标准。 1 )自动调整t c p 缓冲窗口大小。手工方式设置t c p 缓冲窗口大小容易出 错，且对用户要求较高。因此g r i d f t p 对标准的f t p 指令集及数据信道 协议进行了扩展。针对具体的文件大小及类型，使g r i d f t p 支持手动或 自动设置大文件以及小文件集合的t c p 缓冲大小。由于使用优化的t c p 北京邮电大学硕士学位论文基于g r i d f l p 的网格流量研究与改进 缓冲窗口大小设置，从而有效地提高了数据传输性能。 2 ) 支持g s i 及k e r b e r o s 安全机制。当用户要求控制不同层次上的数据完整 性及保密性的设定时，g r i d f t p 必须支持g s i 及k e r b e r o s 认证。g s l 支 持用户代理，资源代理，认证机构和协议的实现，是g l o b u s 的安全基础 构件包，也是保证网格计算安全性的核心。 3 ) 第三方控制的数据传输。g r i d f t p 允许经过鉴别的第三方用户或应用程 序启动、监视和控制其他2 个地点的数据传输，为管理许多大型数据集 和使用多个地点的资源提供了保障。 4 ) 并行数据传输。并行数据传输就是在一个数据服务器上，将数据文件分 段后在多种数据连接上传输数据。 5 ) 条状数据传输。条状数据传输是指应用程序使用多个t c p 流来传输分布 在多个服务器上的数据。网格环境中，大规模的数据可分布放置在多个 存储点上，从而提高聚集带宽。 6 ) 部分文件传输。许多应用程序只需要访问某个远程文件的一部分， g r i d f t p 引入新的f t p 指令支持传送文件的某些区域。 7 ) 支持可靠的数据传输及数据重传。是处理短暂的数据传输故障和服务器 故障等是不可缺少的容错手段。 其中，最重要的扩展功能是第三方控制的数据传输，并行数据传输，条状数 据传输，它们在网格网络的数据传输中有着巨大的作用。下面对这三项功能的特 点及原理作简要介绍和分析。 1 第三方数据传输 由于网格中应用和数据都是分布式的