（计算机软件与理论专业论文）基于globus的资源与服务管理研究—gridftp协议的研究与实现.pdf

摘要 学科专业：计算机软件与理论 论文题目：基于g l o b u s 的资源与服务管理研究g r i d f t p 协议的研究与实现 导师姓名：蔡洪斌 硕士生姓名及班学号：刘涌0 2 5 0 8 1 0 0 3 网格是一个稳定的环境，它将分散在一个较大范围内的由不同组织管理的 各种仪器设备、计算资源和信息资源集中在一起，允许应用软件方便地进行访 问。计算机网络的迅速发展和网络信息的爆炸性增长，是网格技术产生并得到 迅速发展的主要原因。 g l o b u st o o l k i t ( 以下简称g l o b u s ) 是目前研究得最为广泛并最具代表性 的开源网格平台。它主要是以资源和服务为中心进行组织的，所有处于底层的 协议和技术都是为了实现对资源的管理和为用户提供完善的服务。 然而，g 1 0 b u s 目前还仅限于提供了一个开发平台，尚需大量开发人员努力 工作，对其进行充分合理的组织，为用户提供满足各种需要的实际应用。但到 目前为止，基于实际应用开发的组织和项目以及可见的成果都太少了。 针对这一现状，本文从开发一个具有代表性的应用文件传输服务 出发，分析了g 1 0 b u s 中的资源和服务管理机制，并着重研究了其底层所使用的 g r i d f t p 协议中的原理与特征。在实际的应用基础上，我们采取了以c o gt o o l k j t 为开发工具、以g r i d s p h e r ep o r t a l 框架为基础开发方案，提出了两个阶段的 开发目标，并对第一个阶段目标结合具体的设计过程进行了具体的设计实现。 对第二个阶段目标，我们从数据网格体系结构出发，深入研究了其实现技术和 工具，提出了实现的框架和规划，但由于设计时间有限，尚有待进一步细化并 实现。 关键词：数据网格、g p j d f t p 协议、0 1 0 b u st o o l k i t 、g r d s p h e r ep o r t a l a b s t r a c t g r i di sas t a b l ee n v i r o n m e n t i tc o m b i n e sa l lk i n d so fi n s t r u m e n t s ，c o m p u t a l r e s o u r c e sa n di n f o r m a t i o nr e s o u r c e sm a n a g e db yd i f f e r e n tv i r t u a lo r g n i z a t i o n si na l a r g es c a l e ，e n a b l i n ga p p l i c a t i o n s a c c e s sc o n v e n i e n c e l y t h er a p i dd e v e l o p m e n to f c o m p u t e rn e t w o r ka n de x p l o d e di n c r e a s e m e n to f t h ei n f o r m a t i o ni nn e t w o r ki st h e m a i nr e a s o no f g r i dt e c h n o l o g ye m e r g e da n dd e v e l o p e dr a p i d l y g l o b u st o o l k i t ( w ew i l lc a l li t “g l o b u s ”b e l o w ) i sa no p e ns o u r c eg r i dp l a t f o r m ， w h i c hi s w i d e l y s t u d i e da n di st h eb e s t r e p r e s e n t a t i o n i t sk e yt e c h n o l o g y i s r e s o u r c e sa n ds e r v i c e s a l l p r o t o c o l s a n d t e c h n o l o g i e s i nt h el o w e r l a y e r a r e o r g a n i z e dt op r o v i d ep e r f e c ts e r v i c e sf o rt h eg r i du s e r s m e a n w h i l e ，g l o b u so n l yp r o v i d e dap l a t f o r mf o rt h eg r i dd e v e l o p e r sn o w i t n e e d sal o to f g r i dd e v e l o p e r st op a y an u m b e ro fe f f o r t st ou t i l i z e ，t op r o v i d ev a r l e t ) 7 o f p r a c t i c a la p p l i c a t i o n sf o rg r i du s e r s b u t ，b yn o w , t h ed e v e l o p m e n to r g a n i z a t i o n s ， p r o j e c t sa n dv i s u a lp r o d u c t i o n s a r et o ol a c k a c c o r d i n gt ot h i ss t a t u s ，w eb e g a no u rr e s e a r c hw i t ha n 印p l i c a t i o n f i l e t r a n s p o r ts e r v i c e f i r s to fa l l ，w ea n a l y s e dt h em e c h a n i s m o fr e s o u r c ea n ds e r v i c e m a n a g e m e n ti ng l o b u s ，a n dh e a v i l ys t u d i e dt h et h e o r i e sa n dt e c h n o l o g i e si nt h e g r i d f t pp r o t o c o ll o c a t e di nt h el o w e rl a y e lb a s e do nt h ea c t u a ln e e d s ，w eb r o u g h t f o r w a r dat w o s t a g e d e v e l o p m e n ta i m ，a n di m p l e m e n t e dt h e mi nd e t a i l f o rt h e s e c o n d s t a g ea i m ，w e r e s e a r c h e dt h e i m p l e m e n tt e c h n o l o g i e s a n dt o o l si ni t a c c o r d i n g t ot h ei n f r a s t r u c t u r eo fd a t a g r i d i n d e e p ，a n db r o u g h tf o r w a r dt h e i m p l e m e n tf r a m e w o r ka n dd e s i g n b e c a u s et h el i m i to ft i m e ，i ts h o u l db ec a r e f u l l y s t u d i e da n di m p l e m e n t e di nd e t a i l i no u rf u r t h e rw o r k k e y w o r d s ：d a t ag r id ，g r i d f t pp r o t o c o l ，g l o b u st o o l k i t 、g r i d s p h e r ep o r t a l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示谢意。 签名：童! i ! 壹 日期：2 。41 2 月1 s 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：扯导师签名：整鲞! 迟 日期：2 0 0 4年1 2 月1 8 日 电子科技大学硕士学位论文 g r id f t p 协议的研究与实现 第一章引言 随着计算机网络的迅速发展和网络信息的爆炸性增长，人们越来越需要一 种方式来整合这些资源和信息，为他们提供简单易用然而功能强大并能满足不 同需要的服务，这正是网格技术产生并得到迅速发展的主要原因。 从对网格技术的支持来看，几乎全球所有的大型企业都将网格作为后网络 时代的新一代技术投入了大量的时间和资金进行开发，在从硬件、网络、操作 系统、数据库和开发框架等各个方面提供了对网格的多层次支持，并且已经提 出了各自的早期支持产品。 纵观目前国内外的网格项目，g l o b u s 是研究得最为广泛并最具代表性的丌 源网格平台。通过对g 1 0 b u s 的体系结构的综合考查发现，它主要是以资源和服 务为中心进行组织的，研究的重点在于如何组织网格资源，通过网格服务将网 格资源集中起来，使它们协调工作，为网格用户提供透明的服务访问。因此， 本文首先从g l o b u s 的体系结构入手，着重分析其资源和服务管理机制，为我们 进步的研究和开发奠定基础。 然而，在深入研究了g l o b u s 的体系结构和实现技术之后，我们发现，它目 前还仅限于提供了一个开发平台，就像只提供了应用编程接口( a p i ) 和一些简 单命令接口的操作系统一样，需要大量开发人员努力工作，对其进行充分合理 的组织，为用户提供满足需要的实际应用。但遗憾的是，到目前为止，基于实 际应用开发的组织和项目，特别是基于实际应用的开发成果真是太少了。 同时，g l o b u s 协议与体系尚处于不断发展之中，还有许多方面需要进一步 完善，部分功能还需要进一步集成，开发人员除了需要了解g l o b u s 的组成、熟 悉g 】o b u s 的开发之外，还需要了解其它相关项目的研究情况，并对这些技术进 行评价与选择。 因此，在对g l o b u s 的资源和服务管理进行分析之后，本文首先以开发一 个具有代表性的应用文件传输服务出发，深入研究了其底层所使用的 协议g r i d f t p 中的原理与特征，及对该协议中目前尚存在的缺陷进行了描述与 分析。 正如我们经常使用网络环境下基于c s 模式的f t p 工具一样，在网格中， 电子科技大学硕士学位论文6 r i d f t p 协议的研究与实现 我们也希望有一个工具，来为网格用户提供文件传输服务。由于网格计算到目 前为止还主要集中在对计算网格的研究上，定义g r i d f t p 协议标准的目的也仅 仅是为了计算的需要传输大量的数据( 包括程序本身或者需要提交运行的数 据) ，因此，它总是与一些其它的管理或者服务例如信患管理、资源管理、 数据管理相结合，并为其提供数据传输功能的。在这个主导思想的指导下， 从g t 2 丌始，g 1 0 b u s 提供了一个基于w u f t p 的服务端工具，为网格客户提供 基于g s 的文件传输服务。同时，为网格客户提供了一个命令行工具 g l o b u s u r l c o p y ，实现文件的传输。然而，为了共享的便利，文件作为网格环 境下的一种资源，也应该作为资源管理的一个方面，单独提供相应的服务。 为了实现这个目标，还需要选择相应的开发工具来进行实际的应用丌发。 g 1 0 b u s 只提供了个服务端和客户端的命令行工具供用户使用，这使网格用户 感到非常不方便，他们需要的是一个集合了网格资源与服务的图形化的工作界 面和方便的操作方式。以此为目标，在考察了与6 r i d f t p 协议相关的组织或项 目实现情况之后，我们提出了以c o gt o o l k i t 为开发工具，以6 r i d s p h e r ep o r t a l 框架为基础的基于b s ( b r o w s e r s e r v e r ) 模式的开发方案，并就具体应用中的 用户需求进行了较为详细的定义和分析。 我们在论文的主要部分提出了一个两阶段的开发目标。在第一阶段，我们 需要定义一种资源管理框架，实现资源的灵活增加，并在此基础上实现对硬件 资源、安全服务资源、证书库资源和文件资源的管理。我们花了大量的篇幅对 第一个阶段目标结合具体的设计过程进行了设计与实现。 。 对第二个阶段目标，我们从数据网格体系结构出发，深入研究了其实现技 术和工具，并从服务注册、服务发现、拷贝管理和元目录管理几个方面出发， 进行了具体的实现的框架和规划研究，提出了一种具有可行性的网格环境下的 文件传输管理技术。第二阶段的具体设计可以在第一阶段的资源管理框架基础 上进行，将m d s 2 作为一种特殊的资源纳入资源管理框架中，为具体的p o r t l e t 提供资源的查找、拷贝管理等相关服务；文件的传输仍然使用第一阶段中的文 件传输服务来完成。但由于时问的关系，我们没有进行具体的实现，留待下一 步完成。 本文的主要内容安排如下： 电子科技大学硕士学位论文g r i d f t p 协议的研究与实现 第二章：g 】o b u s 网格技术基础，主要介绍6 o b u st o o l k i t 的起源与发展现 状，g o b u s 中的资源信息管理机理和g r i d f t p 数据管理机理。 第三章：g r i d f t p 协议原理。介绍g r i d f t p 协议标准的发展历程，深入研究 g r i d f t p 协议的原理、特征和存在的缺陷。 第四章：g rjd f t p 协议在网格文件传输中的应用研究。介绍将g r id f t p 协议 应用于网格文件传输所涉及的工具及技术，包括e o gt o o l k i t 和g r i d s p h e r e p o r t a 。 第五章：系统需求分析。针对具体的需求进行系统设计前的分析工作。 第六章：系统设计与实现。在第一阶段需求分析的基础上，应用具体的工 具及技术进行设计。 第七章：系统第二阶段研究。在深入剖析数据网格体系结构的基础上，提 出了第二阶段目标的设计与涉及到的具体技术，并进行了设计框架的研究。 第八章：总结与展望。总结本课题所做的工作及其意义，并提出进一步工 作的方向。 电子科技大学硕士学位论文g r i d f t p 协议的研究与实现 第二章g i o b u s 网格技术基础 2 1g l o b u st o o lk ；t 的起源与发展现状 由美国a r g o n n e 国家实验室与南加州大学信息科学学院i s i 合作开发的 g l o b u s 项目从1 9 9 6 年研究至今，已有八年历史。它是一种研究网格环境中互操 作的中间件技术，为科学和工程上的网格计算应用程序提供基本的支撑环境。 目前o l o b u s 项目发布软件的最新版本是g l o b u s t o o l k i t v 3 2 ( 以下简称g t 3 ) ， 主要面向大型科学和工程计算。 该开发项目组于2 0 0 2 年初提出了一种框架模型o g s a ( o p e ng r i d s e r v i c e a r c h i t e c t a r e ) ，不仅满足科学计算的需要，而且满足电子商务的需要。其中的许 多基本概念、服务生成、注册及可靠、安全的请求等在g l o b u st o o l k i t2 2 中就 已经存在，o g s a 进一步抽象了这些单元，以便它们能被用于任何级别的虚拟 组织资源中。 g t 3 把原来g t 2 2 中孤立的服务( g r a m 、m d s 、g r i d f t p ) 集成到了容器 框架中，提出了以服务为中心的开发模式，替代了g t 2 中以协议为中心的开发 模式。 g l o b u s 提供了下列主要组件： 单点登录、授权与鉴别组件： 作业提交组件； 数据移动组件。 而且，g l o b u s 工具包( g l o b u st o o l k i t ) 提供了一套用于应用程序开发的a p i 和相应的系统开发工具s d k 。它提供的工具包包括：建立在网格安全基础设施 o s l ( o r i ds e c u r i t yi n f r a s t r u c t u r e ) 之上的网格资源管理( r e s o u r c em a n a g e m e n t ) 、信 息服务( i n f o r m a t i o ns e r v i c e s ) 和数据管n ( d a t am a n a g e m e n t ) 三个主要模块。它们 分别提供以下服务： l 资源管理，提供的功能包括： 资源分配； 作业提交； 4 电子科技大学硕士学位论文g r i d f t p 协议的研究与实现 管理作业的状态与进程。 2 ，信息服务，提供基于轻型目录访问协议( l d a p ) 的网格信息收集与查 询服务： 3 数据管理，为网格下的文件传输与管理提供支持。 对以上每一个模块，g l o b u s 都提供了一个相应的组件来实现它们所要求 的功能，其体说来，g l o b u s 中的g r a m ( g r i dr e s o u r c e a l l o c a t i o nm a n a g e r ) 组 件用于提供资源管理，m d s ( m o n i t o r i n g a n dd i s c o v e r ys e r v i c e ) 组件用于提供 信息服务，g r i d f t p 组件用于提供数据管理服务。由以上组件构成的g l o b u s t o o l k i t 系统结构如图2 1 所示。 g r a mm d s g r i d f t p c l i e n t 图2 ，1g l o b u st o o l k i t 系统结构示意图 2 2 g i o b u s 中的资源信息管理机理 g l o b u s 对资源信息的管理是通过m d s ( m o n i t o r i n g a n dd i s c o v e r ys e r v i c e ) 组件实现的，m d s 提供对网格内各种资源的动态与静态信息的管理。它包含以 下组件： 网格资源信息服务( g r i dr e s o u r c ei n f o r m a t i o ns e r v i c e ，简称g r i s ) 电子科技大学硕士学位论文 6 r id f t p 协议的研究与实现 网格索引信息服务( g r i d i n d e xi n f o r m a t i o ns e r v i c e ，简称g i i s ) 信息提供者( i n f o r m a t i o np r o v i d e r ，简称i p ) m d s 客户 以上组件之间的关系如图2 2 所示。 l d a pb a s e 图2 2m d s 中的组件关系图 由于g l o b u s 的设计目标是为计算网格提供服务，因此它所提供的网格资源 信息主要包含如下两类： 基本组件信息，如用于资源分配的作业管理器名称和当前正在运行的作 业名称等信息： 计算机资源信息，包括网络接口、j p 地址、c p u 、内存、操作系统等信 息。 资源信息提供者( i p ) 是一段提供本机相应资源信息的程序，它要完成的功 能是将本地资源的属性或者状态转换成在s c h e m a 或者配置文件中定义的格式， 供g r i s 调用。针对不同的资源，需要提供不同的资源信息提供者提供相应的 信息。而且，用户还可以针对不同的应用服务编写特定的信息提供者，为g r i s 提供特定的信息。 电子科技大学硕士学位论文g r i d f t p 协议的研究与实现 g r i s 足提供本地资源信息的仓库，它在收到客户请求时，调用相关本地主 机资源信息提供者( 为本地主机提供相应信息的程序) ，并将获取的信息返回给 m d s 客户。同时，g r i s 具有缓存机制，它能将这些客户己经访问过的信息保 存一段时间，在这段时间内如果没有新的客户请求到来，这些信息被抛弃。它 还能将它所收集到的本地主机资源信息注册到本机的g i i s 中，但它本身不接受 任何注册信息。 g i i s 是一个包含本地g r l s 和其它g i i s 已注册资源信息索引的仓库，可以 将它看作提供网格范围内的资源信息的信息服务器。与d n s ( d o m a i nn a m e s y s t e m ) 类似，g i i s 也采用层次结构进行组织，每一个g i i s 都有自己的唯名 称。这就意味着客户可以通过指定具体名称的g 1 1 s 节点搜索其中的资源信息。 2 36 r i d f t p 数据管理机理 在图2 1 中，g r i d f t p 用于在网格节点之间提供安全可靠的数据传输。事实 上，那里所说的g f i d f t p 包含着一个协议g r i df i l et r a n s f e rp r o t o c o l ，一个 服务器g r i d f t ps e r v e r ，以及一套为g r i d f t p 客户定义的工具、库和控制工 具。 2 3 16 r jd f l p 协议 网格文件传输协议g r i d f t p ( g r i df i l et r a n s f e rp r o t o c 0 1 ) 是一个独立于底层架 构的通用协议，它不仅使用g s i 和k e r b e r o s 技术来提供安全保障，而且为实现 高性能、可靠与断点续传等要求提供了各种传输特征。 g f i d f t p 完全兼容f t p 协议，包含了f t p 协议中端对端传输、并行传输、 断点续传等功能，并在安全性、可靠性及性能等方面进行了扩展。在f t p 协议 的基础上，g r i d f t p 实现了控制通道与数据通道上的安全传输保证，并增加了 带状传输( s t r i p e dt r a n s f e r ) 、部分文件传输( p a r t i a l f i l et r a n s f e r ) 、第三方传输 ( t h i r d p a r tt r a n s f e r ) 等传输方式，以及协商双方数据缓冲区大小和数掘完整性 等技术。 有关g r i d f t p 协议的相关原理与技术我们将在第三章进行详细的分析，故 不在此赘述。 电子利技大学硕士学位论文 g r i d f t p 协议的研究与实现 2 2 2g rid f t p 服务器与客户命令 自v 20 开始，g l o b u s 就已经提供了一个g r i d f t ps e r v e r 和一套相应的客户 命令工具，分别称为i n ，f t p d 后台服务器程序和g l o b u s - u r l c o p y 命令。相应地， 它们实现了g r i d f t p 协议中定义的绝大部分特征。 22 3g r i d f t p 工具集 g r i d f t p 工具集包括客户库和控制库两个方面的内容，客户库和控制库为 g r i d f t p 客户端和服务端应用程序的开发提供了基本的开发工具包。 电子科技人学硕士学位论文g r i d f t p 协议的研究与实现 第三章g r id f t p 协议原理与技术 3 1b rid f t p 协议特征及其发展历程 g r i d f t p 协议及其工具集的产生来自于这样一个现实：网格环境需要一种快 速、安全、有效并可靠的传输机制。网格项目在通盘考虑了当前可用的协议与 技术和已经实现的一些原型基础上，确定以f t p 协议为基础，并对f t p 协议进 行了必要的扩展，增加了一些网格计算必要的功能，从而提出了g r i d f t p 协议。 在f t p 协议的基础上，g r i d f t p 协议及基于其上的工具集为网格数据传输 提供了如下特征： 支持网格安全基础设施( g r i ds e c u r i t yi n f r a s t r u c t u r e ，简称g s i ) 和 k e r b e r o s ； 支持第三方控制的数据传输( t h i r d p a r t yc o n t r o lo f d a t at r a n s f e r ) ； 支持并行数据传输( p a r a l l e ld a t at r a n s f e r ) ； 支持带状数据传输( s t r i p e d d a t a t r a n s f e r ) ； 支持部分数据传输( p a r t i a lf i l et r a n s f e r ) ； 支持可靠数据传输( r e l i a b l ed a t at r a n s f e r ) 和可重起数据传输( r e s t a r t a b l e d a t at r a n s f e r ) ； 支持自动协商t c p 缓冲区窗口尺寸； 支持断点续传； 支持完整使用设备。 g r i d f t p 协议的发展经历了以下四个阶段： r f c9 5 9 ：最初的f t p 标准； r f c2 2 2 8 ：对f t p 协议进行安全扩展后的协议标准： r f c 2 3 8 9 ：特征协商及支持命令选项标准： 1 e t f 草案：流模式重起，标准列表草案。 接下来，基于对以上协议标准( 及草案) 的分析与归纳，让我们来详细地 了解g r i d f t p 协议的功能及其采用的技术。 电子科技人学硕士学位论文g r i d f t p 协议的研究与实现 3 2g r i d f t p 模型 在r f c9 5 9 中，定义了f t p 协议的两类传输模型。其中，用于实现f t p 客户与f t p 服务器之问文件传输的模型如图3 】所示，用于实现在f t p 客户控 制下的两个f t p 服务器( 其中一个是f t p 客户所在主机上的f t p 服务器) 之间 文件传输的模型如图3 2 所示。 d a t ac o n n e c t i o n ( a ) p o r t ( b ) 图3 1f t p 协议传输模型( 一) f t pc o m m a n d s f t p r e p l i e s d a t a c o n n e c t i o n s e r v e rf n u s e rf t p 图3 2 f t p 协议传输模型( 二) g r i d f t p 协议也继承了以上传输模型，其工作原理也与f t p 协议的工作原 理类似，只是在g r i d f t p 协议中增加了一类传输方式第三方控制的数据传 输( t h i r d p a i l yc o n t r o lo fd a t al r a n s f e r ) ，能够实现在个f t p 客户控制下的 两个f t p 服务器( 均为远程主机) 之间的文件传输。下面以f t p 协议工作原理 o 电子科技：大学硕十：学何论文 g r id f t p 协议的研究与实现 为例，简要描述g r i d f t p 协议的工作原理。 3 3f t p 协议中的文件传输原理 3 3 1 客户一服务器传输模式原理 首先，我们介绍f t p 协议中的客户一服务器传输原理。 在图3 1 所示的传输模型下，当用户请求数据传输时，各个模块的工作过 程如下： u s e rp i ( u s e rp r o t o c o li n t e r p r e t e r ，用户协议翻译器) 首先初始化控制连接， 控制连接遵从t e l n e t 协议。在用户的初始化阶段，由u s e rp i 产生标准的f t p 命令，并通过控制连接传送到服务器进程。作为服务器进程对用户进程的向应， s e r v e rp i ( s e r v e rp r o t o c o li n t e r p r e t e r ，服务器协议翻译器) 应该通过控制连接返 回标准的响应命令给u s e r p l 。同时，s e r v e r p l 还要完成初始化并启动s e r v e r d t p ( s e r v e rd a t at r a n s f e rp r o c e s s ，服务器数据传输进程) ，监听相应的数据端口， 以等待客户端的数据连接。 在s e r v e r p i 返回给u s e r p i 的f t p 响应命令中，指定了用于数据连接的参 数( 数据端口、传送模式、表示类型和结构) 。u s e rp 1 根据这些数据参数，启 动u s e rd t p ，让它监听指定的数据端口，并根据指定的参数初始化与s e r v e rd t p 的数据连接。 接下来的过程是由u s e rp i 根据u s e ri n t e r f a c e ( 用户接口) 发出的命令， 向s e r v e rp 1 发送文件系统操作( 存储、获取、追加、删除等) 命令，s e r v e rp i 根据这些操作命令，控制s e r v e rd t p 进行相应的操作( 如从自己控制的文件系 统中提取信息，并通过数据通道向u s e rd t p 发送数据；或者接收从u s e rd t p 中传来的数据，在自己的文件系统中进行相应的操作等等) 。 存u s e ri n t e r f a c e 发出结束文件传输操作命令时，u s e rp i 应该通过控制连 接向s e r v e rp 1 发送终止命令，并向自己的u s e rd t p 发出结束信号。相应地， 在服务器端，s e r v e rp i 收到终止命令后，断开与u s e r p l 的控制连接，并向自己 的s e r v e rd t p 发出结束信号。 电子科技大学硕士学位论文g r i d f t p 协议的研究与实现 33 2 第三方控制文件传输( t h i r d p a r tc o n t r o lo fd a t at r a n s f e r ) 模式原理 在另外一种情况下，用户可能想要在两个f t p 服务器之间传送文件，其中 的一个是本地f t p 服务器。 在这种传输模式中，由客户端设置到两个服务器之间的控制连接，并通过发 送f t p 命令控制两个服务嚣，在它们之间建立一个数据连接。因此，在这种传 输模式中，控制信号通过u s e r p i 进行传递，而数据是通过两个服务器中的s e r v e r d t p 进行传递的。 3 46 r j d f i p 协议中的数据传输功能简介 g r i d f t p 协议中的数据传输功能包括从数据的类型、文件结构类型、数据连 接的建立、数据连接管理、传输模式和错误恢复与重起六个部分的内容。数据 连接的建立和数据连接管理部分我们在3 2 节介绍协议传输模型的时候已经进 行了大致的分绍，在此我们分别介绍其它几个方面的内容： 3 4 1 数据的表示与存储 在r f c9 5 9 中，分别对数据的类型和数据的结构进行了详细的定义，在具 体实现g r i d f t p 协议时必须共同遵守这些约定，从而使得所有的实现都可以使 用g r i d f t p 协议进行相互通信。 数据从发送主机的存储设备传输到接收主机的存储设备通常需要进行数据 的转换，因为这两个主机系统上的数据存储表示很可能是不相同的，例如 n v t - a s c i i 编码在不同的主机系统中的存储表示方式有很大的区别，二进制文 件在不同字长( 如一方是3 2 为字长，另一方是6 4 位字长) 的主机系统。正是 基于这个事实，为了使相同的数据类型在不同的系统中进行正确的表示，需要 对传送数据的双方制订统一的数据类型定义，以使它们能够按照自己的数据表 示方式对数据进行具体的存储操作。 定义数据表示的目的是为了统一数据传送双方的数据传递操作，使它们按照 相同的数掘格式发送或接收数据，而在从具体的存储系统中提取数据或者将数 据存储到具体的存储系统中去的时候，进行数据格式的转换操作。 电子科技人学硕十学位论文 g r id f t p 协议的研究与实现 f t p 协议中定义的数据表示类型包括以下几类： a s c i i 类型，文本文件的缺省传输类型； e b c d i c 类型，用于双方都采用e b c d i c 数据表示文本文件时的传输类 型： i m a g e 类型，连续二进制文件的缺省传输类型； l o c a l 类型，按照某种固定长度字( 如3 2 位) 方式进行二进制文件的 传输类型，需要其它参数( 如n o np r i n t 、t e l n e tf o r m a t c o n t r o l s 或者c a r r i a g ec o n t r o l s ) 控制格式的支持。 342 文件结构类型 除了对不同的数据表示类型的支持外，f t p 还允许制定文件的结构。在f t p 中定义了三种文件结构： 文件结构类型文件( 即流式文件) ； 记录结构类型文件； 页结构类型文件。 定义文件结构类型的目的是为了在具有不同文件类型结构的文件系统中( 比 如一端是文件结构类型文件系统，而另一端只支持记录结构类型的文件) 进行 相应的结构转换。 3 4 3 传送模式 为了支持将文件以不同的方式进行传输，以满足文件复制、打印、处理的不 同需要，除了需要数据类型和文件结构类型之井，还必须定义不同的传送模式 与之匹配。 f t p 协议中定义了三种类型的文件传送模式流模式( s t r e a mm o d e ) 、块 模式( b l o c km o d e ) 和压缩模式( c o m p r e s sm o d e ) ，并就其中的逻辑进行了详 细的定义。在o r i d f t p 协议中，为了实现大量数据的传送，提高数据的传送效 率，还定义了一类文件传送模式增强块模式( e x l e n d e db l o c km o d e ) 。 流模式，以数据流的方式传送流式文件或者记录结构类型文件； 块模式，以数掘块的方式传送记录结构文件，支持重起文件传送； 电子科技大学硕士学位论文g r i t l f t p 协议的j 【i f 究与实现 压缩模式，支持文件的压缩传输，提高传输效率： 增强块模式，支持大量记录结构文件的数据传送，提高块模式的传送效 率，更好的适应计算网格的需要。 3 4 4 错误恢复与重起 在块模式、增强块模式或者压缩模式下，为了支持客户或者服务器错误故障 ( 如控制命令传输出错，或者数据传数出错) 的恢复，f t p 和g r i d f t p 协议分 别定义了错误恢复和重起操作过程，以降低数据传输错误对文件传输效率的影 响，使得在出现传输错误之后，能够自动从出错的数据位置重新开始传送数据。 错误的恢复与重起技术主簧是通过在传输模式结构中周期性地插入重起标 记( r e s t a r tm a r k e r ) 的方式，在出现错误后，接收数据方通过检查收到的r e s t a l - t m a r k e r ，从而确定出错的位置，并通过要求发送方从最近收到的r e s t a l lm a r k e r 处重传实现的。 3 5g ri d f t p 协议中的安全技术简介 在r f c2 2 2 8 中，对f t p 协议进行了安全数据传输方面的扩展，通过提供一 些新的可选命令、响应和文件传输编译码，在控制通道和数据通道上都提供了 强健的身份鉴别、数据完整性和机密性。 f t p 安全扩展标准在r f c9 5 9 的基础上，提出了以控制流、数据加密技术解 决用户身份、控制和数据都采用明文传输的缺陷，提供安全协商机制和命令实 现服务器与客户之间的安全关联，从而解决了对客户身份的鉴别、对控制和数 据的完整性和机密性进行保护的问题。 然而，在r f c2 2 2 8 中没有具体使用哪一种安全方案来实现这些命令，它只 是定义了这些命令的实现过程、使用场合及使用方式。但对使用g s s a p l 和 k e r b e r o s 机制实现这些命令提供了规范。具体的安全实现留待协议实现具体的 时候根据应用环境的安全基础设施进行考虑。 在l t e f - 草案( o r i d f t p ：p r o t o c o le x t e n s i o n st of t pf o rt h eg r i d ) 中，根据g r i d f t p 协议使用的网格安全基础设施g s l ，将g s s a p i 和k m b e r o s 进行了综合，共同提 供g r i d f t p 协议的安全实现。 电子科技大学硕士学佗论文g r i d f t p 协议的研究与实现 3 66 r id f t p 协议中的新特征简介 在g r i d f t p 协议中，除了兼容f t p 协议及其安全扩展之外，还定义了包括 扩展块模式、第三方控制传输、并行传输、带状传输、部分数据传输、可重起 传输和缓冲区自动协商功能等适应计算网格下文件( 或数据) 传输的新特征。 除了扩展块模式和第三方控制传输已经在前面进行过介绍之外，下面分别对其 它几个特征进行功能性的简要介绍： 并行传输( p a r a l l e lt r a n s f e r ) 并行传输是指在一个f t p 服务器上通过多个传输进程向多个位于f t p 客户 上的接收进程分别传输一个文件中的数据的传输方式。尽管从理论上讲这种传 输方式能够提高传输速度，但在根掘实际经验，只有当服务器具有多c p u 结构 时，这种传输方式才能够显著提高文件传输速度。否则，只能造成服务器c p u 时间的浪费。 带状传输( t r i p p e d t r a n s f e r ) 带状传输是指通过将同一个文件的不同部分分别存放在不同的f t p 服务器， 同时为同一个f t p 客户请求提供数据。这种传输方式能显著地提高文件传输服 务，但在控制和实现技术方面比较复杂，目前尚存在一些缺陷，在i t e td r a f t 中也只是作为一种需求提出，有待进一步解决。 部分数据传输( p a r t i a ld a t at r o a a s f e r ) 部分数据传输是指在只需要某个服务器文件中指定的部分数据时的一种传 输方式，该方式适用于计算网格中传输部分计算数据的情况。 可重起传输( r e s t a r t a b l ed a t at r a n s f e r ) 可重起传输方式跟前面3 4 4 节中介绍的重起概念不同，它是指当服务器或 者客户遇到不可恢复的故障而断开连接，当f t p 服务器或者f t p 客户重新启动 连接时，即可从以前出现数据中断的位置重新开始数据传输。这种方式能够降 低故障引起的性能和效率的损失，但需要在服务器方设置数据库支持。在技术 上仍然采用设置r e s t a r tm a r k e r 方式实现。 自动缓冲区协商( a u t o - n e g o t i a t i o no f t c p b u f f e r w i n d o ws i z e ) 自动缓冲区协商机制常用于实验环境，在实验进程运行时，能自动协商该进 程所连接的f t p 服务器上的t c p 缓冲区到相同的大小，以提高实验进程的执行 电子科技大学硕士学位论文 g rj d f t p 协议的研究与实现 效率。 3 76 ri d f t p 协议的中存在的缺陷 在实现g r i d f t p 协议的过程中，开发人员发现g r i d f t p 协议还存在一些缺陷 3 86 rid f t p 协议的实现情况简介 尽管在实际的应用中开发人员发现g r i d f t p 协议还存在一些缺陷( 例如只能 实现单向数据传输、带状传输机制尚不健全、缺乏数据一致性校验，以及缺少 对i p v 6 的支持等) 有待提高，但在其它方面对网格文件和数据的传输支持已经 足够完善。因此，在许多项目中都对g r i d f t p 协议寄予了厚望，并提供了部分 功能的实现以支持网格计算。 正如我们在2 2 2 节所介绍的，自v 2 0 开始，g l o b u s 就己经提供了一个 g r i d f t p s e r v e r 和一套相应的客户命令工具，它们实现了g r i d f t p 协议中定义的 绝大部分特征。 电子科技大学硕士学位论文g r i d f t p 协议的研究与实现 第四章g r ；d f t p 协议在网格文件传输中的应用研究 通过第二章对g l o b u s 结构的分析，我们不难看出，g r i d f t p 在g l o b u s 中只 起着次要的地位，它本身不是目的，而是为了实现计算网格的需要提供的一种 辅助手段。 然而，g r i d f t p 本身也是一种资源，需要