（计算机软件与理论专业论文）基于ldap的网格ftp系统研究.pdf

基于l d a p 的网格f t p 系统研究 计算机软件与理论专业 研究生：席军林指导教师：谢汶 在计算机网络发展的短短几十年的时间里，信息共享一直伴随着我们，无 论是最初的美国a p a r n e t ，还是现在的互联网络，信息共享始终是网络中一 个最重要的环节。丽在信息共享的几种方式中，f t p 服务方式无疑是其中最重 要的一种。从最初的大型机提供的f t p 服务，其后的群集系统，以及后来的 远程文件共享，无不是为了给客户方便，快速的访问到自己需要的信息资源而 采取的手段。 本文以传统的f t p 服务方式为基础，分析了f t p 服务的原理和缺点，指 出了使用网格f t p 服务的必要性。对如何利用网格技术实现网格f t p 系统做 了完整的描述。 论文首先介绍了网格f t p 系统的体系结构和它的层次结构，根据它的体 系结构和层次结构，我们设汁出了基于l d a p 的文件目录模型和全局统一的网 格f t p 服务器资源模型，介绍了逻辑文件和物理文件的映射关系以及逻辑服 务器和物理服务器之间的映射关系。在讲述完这些模型和映射关系之后，接着 描述了服务器资源的建立和维护工作，同时花大量篇幅介绍了服务器资源的3 种查找目标和查找过程以及查找的时间复杂度，介绍了网格f t p 系统是如何 实现按照客户访问的性能要求来实现比传统f t p 方式更有效的访问的。 在介绍完了通过查找方式下载文件之后，论文中还介绍了另外一种方式， 即客户在不知道自己要下载的文件的逻辑名称的情况下通过浏览方式查找自 己需要的文件，再由网格管理器将下载请求定位到效率最好的服务器上。为了 获得最好的下载效率，我们需要在整个网格系统中合理布局文件资源，因此需 要进行文件拷贝和移动，同时在文件很久时间未被访问的情况下要进行文件删 除操作。 网络安全是网格环境中最重要的一个组件，因此我们的网格f t p 系统也 采用了网格系统的安全体系结构。 论文的最后简要的介绍了g l o b u s 的系统结构，叙述了如何使用g l o b u s 来 实现我们的网格f t p 系统。并介绍了在g l o b u s 环境中网格f t p 系统的层次结 构以及如何通过g l o b u s t o o l b o x 的各层来实现我们的这个系统的要求。最后论 文介绍了使用c o gk i t s 来实现我们系统中的几个最重要的组件的实例。 关键词：l d a p ，网格，f t p ，g l o b u s r e s e a r c ho ft h eg r i df t ps y s t e mb a s e do nl d a p p r o t o c o l m a j o r ：c o m p u t e rs o f t w a r e & t h e o r y s t u d e n t ：x ij u n l i n a d v i s o r ：x i ew e n w i t ht h ed e v e l o p m e n to fc o m p u t e rn e t w o r k si nt h ep a s td e c a d e s ，r e s o u r c e s h a r i n ga l w a y sg o n ew i t hn s n om a t t e r t h ei n i t i a ln e t w o r ka p a r n e to rt h e i n t e m e tn o w a d a y s ，r e s o l u c es h a r i n gi sa l w a y st h em o s ti m p o r t a n tp a r to ft h e n e t w o r k i n g a m o n gt h e s er e s o u r c es h a r i n gm o d e s ，邱m o d em u s tb et h em o s ti m p o r t a n t o n e f r o mt h et i ps e r v i c e sp r o v i d e db ym a i n f r a m ec o m p u t e r ，c l u s t e rs e r v e r s ，a n d t h el a t e rr e m o t i n gf i l es h a r i n g ，a l la r ef o rt h ee o n v i e n e n c eo fr a p i da c c e s st h e i n f o r m a t i o nf o rt h ec l i e n t s b a s e do nt h et r a d i t i o n a lf t ps e r v i c e ，t h ea r t i c l ea n a l y z + e dt h ep r i n c i p l e sa n d t h ef a u l t so ft h et r a d i t i o n a l 卸s e r v i c e sa n da l s og i v eaf u l ld e s c r i p t i o n so ft h eg i r d 邱s y s t e m t h ea r t i c l ef i r s ti n t r o d u c e dt h ea r c h i t e c t u r ea n dt h el a y e r e ds t r u c t u r e so ft h e 西d 却s y s t e m f r o mt h ea r c h i t e c t u r ea n ds t r u c t u r e so f t h eg r i d 邱s y s t e m t h e nt h e a r t i c l ei n t r o d u c e dt h ed i r e c t o r ya n df i l em o d e lb a s e do nl d a pp r o t o c o la n dt h e u n i f o r m o r g a n i z e d s e r v e rm o d e l l a t e rt h ea r t i c l ei n t r o d u c e dt h em a p p i n g r e l a t i o n s h i p sb e t w e e nl o g i c a lf l i e sa n dp h y s i c a lf i l e sa n d t h em a p p i n gr e l a t i o n s h i p s b e t w e e nl o g i c a ls e r v e r sa n dp h y s i c a ls e r v e r s a f t e ri n t r o d u c i n gt h em o d e la n d m a p p i n gr e l a t i o n s h i p s ，t h ea r t i c l ed e s c r i b l et h ee s t a b l i s h m e n ta n dm a i n t e n a n c eo f t h es e r v e rr e s o u r c e s t h ea r t i c l ea l s ou s e dl a r g ew o r d st oi n t r o d u c et h et h r e e s e a r c h i n ga i m sa n dt h es e a r c h i n gp r o c e s s i n ga n da l s ot h ec o m p l e x i t yd e g r e e s a t e f f j c i e n tt ot h et r a d i t i o n a r yf t pm o d e a f t e r i n t r o d u c i n gt h e d o w n l o a dm e t h o dt h r o u g h s e a r c h i n g ，t h e a r t i c l e i n t r o d u c e da n o t h e rm e t h o d ，t h em e t h o dt h r o u g hb r o w i n gt oa c c e s st h ef i l ea n dt h e n r e d i r e t t i n gt ot h em o s te m c i e n ts e r v e rw h e nt h eb s e r $ d on o tk n o w t h ef i l en b l l l e t b a c h i e v et h eb e s te f f i c i e n c y , t h ed i s t r i b u t i o no ff i l e sm u s tb er e a s o n a b l e b e c a u s eo f t h i s ，t h ef i l em u s tb ec o p i e d ，r e m o v e d ，a n ds o m et i m e sb ed e l e t e d n e t w o r ks a f e t yi sa l s ot h em o s ti m p o r t a n tp a r to ft h eg r i df t ps y s t e m ，s ow e a c h i e v e do l l rs a f e t yt h r o u g hg 1 0 b u st o o l b o x ， k e y w o r d s ：l d a p ，g r i d 。f t p ，g l o b u s 四川大学硕士学位论文 1 绪论 1 1 背景 随着高性能计算应用需求的迅猛发展，解决一些超大规模应用问题所需要 的计算能力，已不可能在单一的计算机上获得。因此，将地理上分布、系统异 构的多种计算资源通过高速网络连接起来，构建成网络虚拟超级计算机，以此 来共同解决大型应用问题，即葛性能的元计算( m e t a e o m p u t i n g ) 技术应运而 生。 与分布式系统类似，网格把位于多个管理域下的超级计算机通过不可靠的 网络进行连接，并且需要对广域分布的动态资源进行集成，但是网格计算系统 对高性能的要求使其编程模型及接口与分布式系统有极大的差别。作为并行系 统，网格计算系统还需要进行超级计算机之间的通信调度以满足应用对性能的 要求，然而由于网格计算系统的异构性以及动态性，现有的并行计算技术不能 够很好地适应这种需求。 1 2 课题来源 本课题是发表论文“基于l d a p 的网格f t p 系统”的延续。 1 3 国内外网格应用研究现状 按照i a i lf o s t e r 和g l o b u s 项目组的观点，网格应用领域目前主要有四类： 分布式超级计算、分布式仪器系统、数据密集型计算和远程沉浸。下面主要介 绍这些应用领域中有代表性的项目。 1 3 1 分布式超级计算 分布式超级计算( d i s t r i b u t e ds u p e r e o m p u t i n g ) 是指将分布在不同地点的超 级计算机用高速网络连接起来，并用网格中间件软件“粘合”起来，形成比单 台超级计算机强大得多的计算平台。事实上，网格的最初设计目标主要就是要 满足更大规模的计算需求，g l o b u s 正是从这类应用起家的。本节主要介绍两 个典型的分布式超级计算应用：第一个是军事仿真项目s fe x p r e s s ，它将大型 军事仿真任务分解到分布式环境中运行，从而在规模上创下了该领域的世界纪 录；第二个应用称作数字相对论，它利用网格求解爱因斯坦相对论方程并模拟 四川大学硕士学位论文 出天体的运动规律。 1 3 1 1 军事仿真 s fe x p r e s s 全称为综合军力表示( s y n t h e t i cf o r c e se x p r e s s ) ，始于1 9 9 6 年， 是由美国国防部下属的国防先进研究计划处d a r p a ( d e f e n s ea d v a n c e d r e s e a r c hp r o j e c t s a g e n e y ) 资助、由加利福尼亚理工学院负责完成的，其目标是 进行规模尽可能大的作战模拟。d a r p a 一直对大规模的军事模拟感兴趣，因 为它对于军事指挥、训练、演习和试验都有先验指导意义。 1 3 1 2 数字相对论 数字相对论的应用是基于c a t s ( 仙人掌) 平台的。为什么不是直接基于 g l o b u s 的呢? 因为g l o b u s 是网格基础设施，其作用相当于网格操作系统，担 负管理网格资源的重任但它离具体应用还比较远。直接基于g l o b u s 编写应 用程序，就像直接使用底层a p i 编写w i n d o w s 程序一样麻烦。c a t s 则弥补 了这个缺陷，成为连接g l o b u s 和应用程序的桥梁。有了c a e m s 的支持，编写 应用程序就不再需要考虑与网格相关的问题，甚至以前在单台并行机上编写的 应用程序可以直接拿来使用，而且有许多针对特定问题的现成解决方案可以直 接调用。c a e t u s 项目是在德国m a xp l a n c k 引力物理研究所( 即阿尔伯特爱 因斯坦研究所) 的带领下，由德国和美国多个研究机构共同完成的。它经过多 年积累，虽系统庞大但应用界面简单，因而受到普遍关注。对黑洞的模拟是 c a c t u s 项目的得意之作。这一个典型的网格问题：一方面。它需要很大的计 算能力。例如，要模拟一大一小两个黑洞的碰撞，其计算量不是单台超级计算 机所能完成的。为此，必须借助网格，把计算任务分解到多台超级计算机上； 另一方面，模拟黑洞是一个系统工程，需要天文学家、物理学家、数学家和计 算机专家的共同参与，而网格平台能够使分布在各地的、有不同专业背景的研 究人员进行紧密协作。黑洞模拟项目在s u p e r c o m p u t i n g2 0 0 1 国际会议上作了 现场演示。该系统一共使用了四台并行计算机，三台位于美国伊利诺斯州 c h a m p a i g n u r b a n a 的国家超级计算应用中心，分别是1 2 8 、1 2 8 和2 5 6 个c p u 的s g io r i g i n2 0 0 0 机，另一台是具有1 0 2 4 个c p u 的i b mp o w e r s p 机，位 于加州的圣地亚哥超级计算中心。两地之间使用o c 一1 2 专线连接。 四川大学硕士学位论文 1 3 1 3 其他计算网格 先进计算基础设施同盟p a c i ( p a r t n e r s h i p sf o ra d v a n c e dc o m p u t a t i o n a l i n f a s t r u c t u r e ) 是一个从1 9 9 7 年就开始建设的网格平台，它针对高端计 算需求，主要为美国学术机构服务。美国自然科学基金会n s f 对这个项目寄 予厚望，期望它能演变成一个连接所有高性能计算系统的“国家网格”，甚至 把它与若干前n s f 资助的n s f n e t 相提并论( n s f n e t 可以说是现代i n t e m e t 的 基础) 。基于p a c i ，n s f 从组织形式上建立了两个研究同盟：国家超级计算 应用中心n c s a 领导的国家计算科学联盟n c s a ( n a t i o n a l c o m p u t a t i o n a l s c i e n c e a i l i a n c e ) 和圣地亚哥超级计算机中心s d s c 领导的国家先进计算基 础设施同盟n p a c i ( n a t i o n a lp a r t n e r s h i pf o r a d v a n c e dc o m p u t a t i o n a l i n f r a s t r u c t u r e ) 。 美国宇航局n a s a 的信息动力网格i p g ( i n f o r m a t i o np o w e rg r i d ) 基于 g l o b u s ，并加入了n c s a 和n p a c i 同盟。其目的是集成分布的计算能力和存 储能力，提供一个无缝的计算环境。i p g 所集成的资源主要来自于各地的 n a s a 中心。d a s 和d a s 2 是荷兰的集群网格项目，由先进计算和成像学 校a s c i ( a d v a n c e ds c h o o l f o rc o m p u t i n ga n di m a g i n g ) 带领五所荷兰大学开 发，是一个由同构集群构成的分布式计算环境。d a s 包括4 台集群计算机， 分布于4 所大学，共有2 0 0 个结点。下一代的d a s 2 将包含5 台s m p 集 群。 1 3 2 分布式仪器系统 分布式仪器系统( d i s t r i b u t e di n s t r u m e n t a t i o ns y s t e m ) 是指用网格管理分 布在各地的贵重仪器系统，该系统提供远程访问仪器设备的手段，提高仪器的 利用率，大大方便用户的使用。在网格出现之前，人们就试图通过网络访问一 些仪器设备或仪器数据，但当时的软硬件环境都不成熟，只能实现一些低要求 应用罢了，而网格将分布式仪器系统变成了一个非常易于管理和有弹性的系 统。 四川大学硕士学位论文 1 3 3 数据密集型计算 并行计算技术往往是由一些计算密集型应用推动着的，特别是一些带有重 大挑战( g r a n dc h a l l e n g e ) 性质的应用，它们大大促进了对高性能并行体系结 构、编程环境、大规模可视化等领域的研究。但是，相比之下，数据密集型计 算( d a t ai n t e n s i v e c o m p u t i n g ) 的应用好像要比计算密集型应用多得多。它对应的 数据网格更侧重于数据的存贮、传输和处理，而计算网格则更侧重于计算能力 的提高，所以它们的侧重点和实现技术是不同的。 1 3 3 1 欧洲d a t a g r i d 目前c e r n 有1 8 0 0 名物理学家正在为下一代加速装置作实验准备。该装 置称为大型强予对撞机l h c ( l a r g eh a d t o nc o l l i d e r ) ，将于2 0 0 5 年投入使用， 这将是人类历史上最强大的粒子加速器。未来在l h c 上进行的实验的参加单 位、人数及产生的数据量也是前所未有的。做个类比，l h c 将要产生的数据 量，将是目前c e r n 所有设备产生的数据量的总和高出一到两个数量级。 l h c 的出现将给计算科技带来全新的挑战，为此，需要有空前的计算能 力来处理这些数据，空前的人类智慧来分析这些数据，以及空前的存贮能力来 保存这些数据。解决这些问题的基本思想是把海量数据分散到全球的计算机上 进行处理，并由全球的物理学家共同分析之。在这个背景下，欧洲的数据网格 d a t a g r i d 应运而生了，它成为实现这个“大科学”目标的基础平台。 d a t a c n i d 对海量数据的分解过程是这样的：粒子检测器产生的原始数据 具有p b s 量级，经过在线系统过游后，并经具有2 0 万亿次处理能力的离线处 理场的处理，最终以大约i o o m b s 的速率永久写入磁带，这个1 0 0 m b s 就是 d a t a g r i d 真正需要处理的数据速率。c e r n 计算机中心负责将这些数据通过 高速网络分配给欧洲、北美、日本等国的区域中心，后者再将任务作进一步分 解，到物理学家的桌面时，数据量只有1 m b s ，已经可以很方便地进行处理了。 d a t a g f i d 除了用于l h c 之外，还可以广泛应用于其他研究领域，例如： ( 1 ) 生物和医学 虽然人类基因组计划在媒体的曝光率很高，相对于人的细胞里每个d n a 所含的3 s 亿对基因而言，科学家们已经完成的基因分析工作只是极少的一部 分。要全部标注这些基因需要很大的数据存贮及处理能力。 四川大学硕士学位论文 d a t a g r i d 将为该类计划提供新的高性能数据库支持、代码管理、数据挖 掘的新方法、交互式图形界面、新的实验手段以及与国际同行共享研究成果的 手段。数据网格在生物、医学领域的另一个应用是处理医学图像，它在实时图 像获取、处理、存贮、共享、检索等多个方面具有独到的优势。 ( 2 ) 地球观察 欧洲空间局管理了几个地球观察卫星。这些卫星每天会下传大约1 0 0 g b 的图像，新卫星e n v i s a t 发射之后，数据量又增大了5 倍。为此，地面站建 立了专用的设施来处理这些数据，目前已经保存了上千万亿字节的数据。 d a t a g r i d 将使处理卫星数据的能力大大提高，它不仅将海量数据分散到 整个欧洲范围内保存，提供更高效的访问方法，还提供了更强的处理能力。在 此基础上，对卫星数据的研究水平将大大提高，例如，目前已经利用大气中臭 氧层的数据建立了一个专用试验床。 1 3 3 2 其他数据网格 网格物理网络g r i p h y n ( g r i dp h y s i c sn e t w o r k ) 是一个由实验物理学家与i t 研究人员共同建立的数据网格，其目标是达到千万亿字节规模的数据存储和处 理能力。 c r r i p h y n 的核心技术平台是p v d g ( p c t a s c a l ev i r t u a ld a t ag r i d s ) ，它能向全 球的科学家提供一个面向数据处理的计算平台。g r i p h y n 先期主要开展四个应 用项目的研究，包括：c m s 和a t l a s ，这两个项目是在c e r n 的大型强子 对撞机上进行的，其目的是探索物质的起源及寻找超微小物质；还有 l i g o ( l a s c ri n t c r f e r o m e t e rg r a v i t a t i o n a l 、张v e o b s e r v a t o r y ) 项目，用于发现脉冲 星的引力波等；以及s d s s ( s l o a nd i g i t a ls k 3 ，s u r v e y ) ，将天空数字化后进行 系统的、自动的研究。 粒子物理数据网格p p d g ( p a r t i c l ep h y s i c sd a t ag r i d ) 研究始于1 9 9 9 年， 其目标是建立一个用于高能物理和原子能实验的数据网格环境。p p d g 目前进 行的项目叫做s c i d a c ( p a r t i c l ep h y s i c sd a t ag r i dc o l l a b o r a t o r yp i l o t ) ，它是一个 持续三年的研究计划。它不仅瞄准一些中短期目标，甚至可用于2 0 0 6 年才开 始的长期物理试验计划。 四川大学硕士学位论文 1 3 4 远程沉浸 远程沉浸( t e l e i m m e r s i o n ) 这个术语是在1 9 9 6 年1 0 月，由伊利诺州大学 芝加哥分校的电子可视化实验室e v l ( e l e c t r o n i cv i s u a l i z a t i o nl a b o r a t o r y ) 最早 提出来的。 远程沉浸是一种特殊的网络化虚拟现实环境。这个环境可以是对现实或历 史的逼真反映，可以是对高性能计算结果或数据库的可视化，也可以是个纯粹 虚构的空间。“沉浸”的意思是人可以完全融入其中：各地的参与者通过网络 聚在同一个虚拟空间里，既可以随意漫游，又可以相互沟通，还可以与虚拟环 境交互，使之发生改变。 ( 1 ) 虚拟历史博物馆 共享的爱奥尼砸；( s h a r e dm i l e t u s ) 项目让2 0 0 0 年前的希腊爱奥尼亚古城复 活，从网络上进入的参观者不仅可以在虚拟的城池中畅游，还可以与从其他地 方进入的网络参观者在同一个虚拟空间中互相交流。为了方便浏览，既可以由 真人担任虚拟环境中的向导，也可以指定一个虚拟的智能向导，“他她”能够 带领大家到不同地点参观，会说多国语言，还可以根据听众的要求将解说简化 或细化。 除了希腊古城外，中国敦煌莫高窟价值连城的壁画也于1 9 9 8 年被数字化， 并成为远程沉浸环境。 ( 2 ) 协同学习环境 ( 3 ) 数据可视化协同分析环境 1 3 5 信息集成 早在网格兴起之前，人们已经意识到了信息集成的重要性，许多公司推出 了相应产品。如微软的n e t 让所有的计算机、相关设备和服务商协同工作， 使信息能够在指定的时间以指定的方式传送到指定的位置：i b m 的w e bs p h e r e 可以使分布在全球的采购商、供应商和交易市场共享其行业信息，实现最低成 本的交易；s u n 基于j a v a 推出了相应的j 2 e e 平台规范，实现跨国企业的跨平 台、跨地域管理；o r a c l e 推出的o r a c l ep o r t a l ，使信息能够方便地在数据库和 用户之间流动。 网格最早以集成异构计算平台的身份出现，接着跨入海量数据的分布处理 四川大学硕士学位论文 领域，自然而然地，网格将在信息集成领域一展身手。所谓的信息网格，就是 要建立一个体系结构并开发相应的中间件，向用户提供“信息在你指尖” ( i n f o r m a t i o na ty o u rf i n g e r t i p ) 式的服务。 信息网格研究的中心问题有：如何描述信息、存储信息、发布信息和查找 信息；如何充分利用现有网络技术，如h t t p 、x m l 、w s d l 、u d d i 、s o a p 等，构成一个完接的服务链；信息的语义表示，即如何赋予信息以内涵，以及 如何避免信息的二义性；如何对信息加密，防止信息泄露，等等。 1 4 本文工作 本文设计并实现了基于l d a p 的网格f t p 系统，主要工作如下： 从理论发展和应用产品方面，分析比较了国内外网格应用的研究现状： 分析了传统f t p 服务的实现方式的原理及其固有缺陷； 分析了目前现有的改进传统f r p 服务的几种实现方式的优缺点，对比 了几种文件共享的方法，提出了基于l d a p 的网格f t p 系统； 阐述了网格f t p 系统的体系结构； 阐述了网格f t p 系统的全局统一的服务器资源模型及知名文件下载的 实现方式； 阐述了网格f t p 系统的基于l d a p 的文件目录模型及未知名文件的下 载的实现方式，实现了网格f t p 系统的文件资源拷贝及换存操作； 建立了网格f t p 系统的安全体系模型； 1 5 论文结构 本文设计并实现了一种基于l d a p 的网格f t p 系统，并介绍了相关的原 理及技术。论文的结构如下： 第一章，( 即本章) 讲述课题背景、来源，国内外研究现状及本文工作。 第二章，介绍了传统f t p 服务的原理和流程，以及几种改进的文件共享 方式。 第三章，阐述了网格f t p 系统的体系结构和层次结构。 第四章，阐述了全局统一的网格f t p 系统的服务器资源模型及实现方式。 第五章，阐述了基于l d a p 的网格f t p 系统的文件资源模型及实现方式。 四川大学硕士学位论文 第六章，阐述并实现了网格f t p 系统的安全体系结构及实现方式。 第七章，对全文总结。 1 6 小结 信息技术的普及，计算机网络的广泛应用，大大地加快了社会进步的脚步。 然而，希j 用计算机网络实现文件共享从2 0 世纪6 0 年代末开始出现，在2 0 世 纪9 0 年代迅速发展，而今，资源共享越来越广泛，越来越深入，因此，有必 要对文件共享技术进行深入的研究和应用。事实也是如此，资源共享在国际、 国内都已经开始了广泛研究，并得到快速发展。 四川大学硕士学位论文 2 传统f t p 服务的方式和缺点 2 1 传统f t p 服务的原理和流程 f t p 是t c p i p 的一种具体应用，它工作在o s i 模型的第七层，t c p 模型 的第四层上，即应用层，使用t c p 传输而不是u d p ，这样f t p 客户在和服务 器建立连接前就要经过一个“三次握手”的过程，它带来的意义在于客户与服 务器之间的连接是可靠的，而且是面向连接，为数据的传输提供了可靠的保证。 一个f t p 客户在和服务器连接是怎么样的一个过程( 以标准的f t p 端口号为 例，下面将要描述一个f t p 客户端和服务器的连接过程) 。 f t p 并不像h t t p 协议那样，只需要一个端口作为连接( h t t p 的默认端 口是8 0 ，f t p 的默认端口是2 1 ) ，f t p 需要2 个端口，一个端口是作为控制连 接端口，也就是2 1 这个端口，用于发送指令给服务器以及等待服务器响应：另 一个端口是数据传输端口，端口号为2 0 ( 仅p o r t 模式) ，是用来建立数据传输 通道的，2 0 端口主要有3 个作用： 1 从客户向服务器发送一个文件： 2 从服务器向客户发送一个文件； 3 从服务器向客户发送文件或目录列表。 f t p 的连接模式有两种，p o r t 和p a s v 。p o r t 模式是一个主动模式，p a s v 是被动模式，这里都是相对于服务器而言的。 2 1 _ 1p o r t 模式 当f t p 客户以p o r t 模式连接服务器时，他动态地选择一个端口号连接服 务器的2 1 端口，注意这个端口号一定是1 0 2 4 以上的，因为1 0 2 4 以前的端口 都已经预先被定义好，被一些典型的服务使用，当然有的还没使用，保留给以 后会用到这些端口的资源服务。当经过t c p 的三次握手后，连接( 控制信道) 被建立。现在客户要列出服务器上的目录结构( 使用l s 或d r 命令) ，那么首先 就要建立一个数据通道，因为只有数据通道才能传输目录和文件列表，此时客 户会发出p o r t 指令告诉服务器连接自己的什么端口来建立一条数据通道( 这 个命令由控制信道发送给服务器) ，当服务器接到这指令时，服务器会使用 2 0 端口连接客户在p o r t 指令中指定的端口号，用以发送目录的列表。当完 成这一操作时，f t p 客户也许要下载一个文件，那么就会发出g e t 指令，请 四川大学硕士学位论文 注意，这时客户会再次发送p o r t 指令，告诉服务器连接他的哪个新- 端口 当这个新的数据传输通道建立后，就开始了文件传输的工作。 2 1 2p a s v 模式 下面的列表描述了p a s s i v e 模式的f t p 的步骤，步骤1 到3 和p o r t 模式f t p 相同，步骤9 到1 1 同样与p o r t 模式f t p 最后三步相同。 1 客户端发送一个t c ps y n ( t c p 同步) 包给服务器的f t p 控制端口2 1 ， 客户端使用暂时的端口作为它的源端口： 2 服务器端发送s y n a c k ( 同步确认) 包给客户端，源端口为2 1 ，目的 端口为客户端上使用的暂时端口； 3 客户端发送一个a c k ( 确认) 包；客户端使用这个连接来发送f t p 命 令，服务器端使用这个连接来发送f t p 应答； 4 当客户请求一个列表( l i s t ) 或者发送或接收文件时候，客户端软件发送 p a s v 命令给服务器端表明客户端希望进入p a s s i v e 模式； 5 服务器端进行应答，应答包括服务器的i p 地址和一个暂时的端口，这 个暂时的端口是客户端在打开数据传输连接时应该使用的端口； 6 客户端发送一个s y n 包，源端口为客户端自己选择的一个暂时端口， 目的端口为服务器在p a s v 应答命令中指定的暂时端口号； 7 服务器端发送s y n a c k 包给客户端。目的端口为客户端自己选择魄暂 时端口，源端口为p a s v 应答中指定的暂时端口号； 8 客户端发送一个a c k 包； 9 发送数据的主机以这个连接来发送数据，数据以t c p 段形式发送( 一 些命令，如s t o r 表示客户端要发送数据，r e t r 表示服务器段发送数据) ， 这些t c p 段都需要对方进行a c k 确认； 1 0 当数据传输完成以后，发送数据的主机以一个f i n 命令来结束数据连 接，这个f i n 命令需要另一台主机以a c k 确认，另一台主机也发送一个f i n 命令，这个f i n 命令同样需要发送数据的主机以a c k 确认； 1 1 客户端能在控制连接上发送更多的命令，这可以打开和关闭另外的数 据连接；有时候客户端结束后，客户端以f i n 命令来关闭一个控制连接，服务 器端以a c k 包来确认客户端的f i n ，服务器同样也发送它的f i n ，客户端用 四川大学硕士学位论文 a c k 来确认。 由此可以看出，传统的f t p 服务的工作方式是：当客户使用f t p 客户端 访问远程服务器时，首先在本地计算机启动f t p 的客户机程序，提交与指定 服务器连接的请求；一旦远程计算机响应并实现连接，就在两台计算机之间建 立起一条临时通路，借以执行会话命令和传输文件；在客户完成文件传送后， 对服务器发出解除连接的请求，结束整个f t p 会话过程。 2 2 传统f t p 服务器模型的缺点 由以上介绍的f t p 服务的原理和流程可以看出，在当前的f t p 服务模型 结构中，存在下面一些结构上的缺点： 受限于服务器性能。在传统的f t p 服务体系结构中，由于f t p 服务器 存储空间的限制，使得f t p 服务器存放文件的容量有限，因此不能提供尽可 能多的文件资源给客户；同时由于服务器性能的限制，限制了同时能够服务的 客户数量，也限制了响应客户的速度。 受限于网络带宽。由于客户可能位于各个不同的主干网络，而不同的 主干网络之间是通过一些中心节点进行互联互通的，如教育网和其他网络( 电 信、网通、铁通) 之间的互连。由于存在网络互联的带宽瓶颈。使得在教育网 的客户要访问其他非教育网f t p 服务器资源的时候，速度非常缓慢。而实际 上很多资源本身在教育网内部就存在，只是客户没有找到。同时，w e b 方式 的资源可以用g o o g l e 搜索引擎搜索出来，而f t p 服务的资源虽然也可以用北 大天网，星空搜索等工具来搜索，但是效果不佳。大量网络中的f t p 服务器 资源无法被发现，造成大量服务器c p u ，存储器空间，网络带宽等资源的严重 浪费。 负载不均衡。某些f t p 服务器的负担过重，而大量的f t p 服务器常常 处于闲置状态。在这种情况下，迫切需要一个智能转换服务，替客户选择访问 效率最高的f t p 服务器。自动将客户文件下载请求重定向到该服务器。 没有良好的访问规则。f t p 服务器经常被大量客户的连接请求耗费资 源而影响其正常的文件传输能力。 由于存在以上一些弊端，迫切需要使用一种新的机制来解决以上一些问 题。下面介绍其他几种f t p 资源共享方式，并对其实现进行比较。 四川大学硕士学位论文 ( 一) 单点单线程模型 图一单点单线程模型 服务器的处理速度为h 服务器的网络上行速度为s 客户端的网络上行速度为u 下行速度为d 客户端的数量为n ；= m i n ( d ，万s ，旁h 特点当客户端数量多时，每个客户端的下载速度与客户端数量成反比。 ( 二) 单点多线程 服务器的处理速度为h 图二单点多线程模型 四川大学硕士学位论文 服务器的网络上行速度为s 客户端的网络上行速度为u ， 下行速度为d 客户端的数量为n 服务器上线程总数为t 分配给某个客户端的线程数量为t ；盈n ：型掌垫叫s 霄hnn 。n 。 特点当客户端数量多时，每个客户端的下载速度与客户端数量成反比。 ( - - ) 静态多点模型 图三静态多点模型 服务器的处理速度为h 服务器的网络上行速度为s 客户端的网络上行速度为u 下行速度为d 客户端的数量为n 当客户端数量多时，每个 ；州。，擎，孥 川 四川大学硕士学位论文 特点客户端的下载速度与客户端数量成反比。 ( 四) 动态多点模型 图四动态多点模型 服务器的处理速度为h 服务器的网络上行速度为s 客户端的网络上行速度为u 下行速度为d 客户端的数量为n ；= m i n ( o ，u + 熹，u + 万h ) 每个客户端的下载速度趋近予客户端的下行速 度或上行速度。 ( 五) 网格f t p 服务模型：既能够创建多个服务实例，每个服务实例又 能够为多个客户端提供连续的服务。在可靠性、安全性和通用性方面比插件 和独立程序要好得多。 对比以上几种f t p 服务方式，本论文提出了一种基于网格的f t p 服务体 系结构，就是为了解决上述问题而进行的尝试。该体系结构保证了资源的完 整性，对资源进行统一管理，高效的组织网络资源、并对客户下载操作进行 了很大的优化，有效的利用了服务器资源和网络带宽。 四川大学硕士学位论文 3 基于网格的f t p 系统模型 3 1 体系结构 基于网格的f t p 服务器体系结构包括一般的f t p 服务器、在f t p 服务器 上的网格( a g e n t ) 代理和一些对由这些f t p 服务器构成的网格进行管理的网 格f t p 服务器资源管理服务器。网格f t p 服务器体系结构的模型如图一所示。 f t p 客户端i f t p 客户端jf t p 客户端l f t p 客户端标准接口 文件目录管理用户管理安全认证管理 网格a g e n t f t p 服务器 f t p 服务器 f t p 服务器 图五网格f t p 服务器体系结构的模型 在网格f t p 服务体系模型中，客户端使用的是遵循标准f t p 客户端协议 的下载工具，网格管理服务器管理f t p 服务器资源并提供给f t p 客户端客户 标准接口。同时，当客户选择要下载的文件( 逻辑文件) 的时候，首先连接至 网格管理服务器，网格管理服务器按照一定的算法将查找工作分配f t p 服务 器上，服务器代理找到下载的的虚拟目录和需要下载的文件之后，网格管理服 务器需要根据一定算法选择出访问效率最好的f t p 服务器，将下载请求重定 向到该服务器上，由该f t p 服务器完成客户的下载操作。 网格f t p 系统支持结构包括：广域分布的f t p 服务器及互联网络( i n t e m e t 或专用网) 组成了网格f t p 服务器管理系统的底层支持结构。底层支持系统 包括了网格f t p 系统中主要的软件资源和硬件资源。 由于网格f t p 系统内计算资源的广域分布，网格f t p 服务器管理系统需 要实现对整个网格f t p 服务器资源的统一管理。从资源信息管理的角度，网 格f t p 服务器管理系统实现了以下的功能： 1 5 四川大学硕士学位论文 1 全网格统一的资源管理。作为网格f t p 系统的实现基础，保证了资源 表示的完整性，并对资源的信息进行集中、统一的管理。 2 全网格统一的客户管理。客户管理模块体现了网格f t p 系统中资源的 共享与独占、资源统一管理和网格结点自治相结合的特点。 3 全网格统一的授权认证管理。通过网格f t p 访问f t p 服务器的授权认 证管理都转移给网格管理系统来实现。 3 2 层次结构 基于上面的网格f t p 服务器体系结构，结合我们实验要采用的实现方法， 总结出了我们这个网格f t p 系统可分为以下3 个层次：网格f t p 资源层、中 间件层( 网格操作系统层) 和应用层。 网格f t p 服务器资源是构成网格系统的基础设施，主要包括网格结点和 整个互联网络通信系统) 网格结点包括各种系统平台上的f t p 资源，如 w i n d o w s ，u n i x ，l i n u x 等带有的f t p 服务器上的f t p 资源，这些服务器资源通 过网络设备连接起来，具有分布和异构特性。在我们的实验环境我们会使用 w i n d o w sn t ，l i n u x 操作系统做为实验平台。而网络通信系统是在网格f t p 系统中提供高性能通信的必要手段。 网格中间件( g r i dm i d d l e w a r e ) 是指一系列协议和服务软件，其功宵邑是屏 蔽网格资源层中资源的分布、异构特性，向网格应用层提供透明、一致的使用 接口。网格中间件层也称为网格操作系统( g r i do p e r a t i o ns y s t e m ) ，其核心 服务包括：网格资源的管理分配、信息优化、任务调度、存储访问、安全控制、 质量服务等。还需提供a p i 和相应的环境，以支持网格应用开发。在我们的实 验环境中我们会使用g l o b u s 平台作为我们网格f t p 系统的中间件，来完成我 们的实验。 应用层就是网格f t p 系统，该系统包括网格f t p 服务器管理系统和f t p 服务器端上的网格代理。 根据以上分层结构，我们对网格f t p 系统实现中的各个关键部分做一些 详细分析。 四川大学硕士学位论文 4 全局统一的网格f t p 服务器资源模型描述 4 1 服务器资源模型概述 在简单的f t p 服务访问中，我们访问资源只需要根据资源的物理名称直 接定位到该资源的物理地址，就可以访问到我们需要的资源，但是在网格f t p 系统中，由于资源的分散性，我们在访问资源的时候，需要根据我们要访问的 资源名称( 逻辑名称) 根据客户的访问性能需求自动定位到满足客户要求的合 理的物理服务器上的资源( 物理名称) ，因此需要一个全局统一的f t