已阅读5页,还剩46页未读, 继续免费阅读
(计算机应用技术专业论文)基于gt4的批量数据传输的研究与实现.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
摘要 随着网格技术的快速发展,数据传输技术越来越凸显出它的重要性,因为它不仅在 处理海量数据的数据网格中占据着不可撼动的位置,在计算网格、服务网格等领域也起 着至关重要的作用。数据高效、可靠、方便的移动和复制关系到整个系统的效率。g r i d f t p 作为网格计算的一种底层数据传输协议,主要是为上层服务提供数据传输功能支持。 g l o b u s 在g r i d f t p 的基础上,提出了可靠文件传输服务r f t ( r e l i a b l ef i l et r a n s f e r ) 。 r f t 服务是基于w s r f ( w - e bs e r v i c e sr e s o u r c ef r a m e w o r k ) 的一个网格服务,它提供 一个永久、易调用、可靠的文件传输服务。 本文主要研究了g l o b u s 中关于可靠文件传输的理论知识,如铆d f t p ,可靠文件传 输服务,网格安全基础设施,w e b 服务通知等,并且针对g l o b u s 项目提供的数据管理 模块中的r f t 客户端工具功能不完善的问题,在r f t 工具的基础之上创建一个增强型 的r f t 工具e r f t ( e n h a n c e dr e l i a b l ef i l et r a n s f e r ) ,通过选择文件g u i ( g r a p h i c a lu s e r i n t e r f a c e ) 或者x m l ( e x t c n s i b l em a r k u pl a n g u a g e ) 配置文件解析,完成批量数据的传 输与删除操作。 关键词:g r i d f t p ;可靠文件传输;网格安全基础设施:w e b 服务通知 r e s e a r c ha n d i m p l e m e n t a t i o no f b a t c hd a t at r a n s f e ri ng t 4 c h e r tw e n j t m ( c o m p u t e rs c i e n c ea n dt e c h n o l o g y ) d i r e c t e db ya s s o c i a t ep r o f l i a n gh o n g a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fg r i dt e c h n o l o g y , d a t at r a n s f e rt e c h n o l o g yh a si n c r e a s i n g l yh i g h l i g h t e d i t si m p o r t a n c e b e c a u s ei tn o to n l yo c c u p i e sa l li m p o r t a n tp o s i t i o ni nd e a l i n gw i 廿1m a s s i v ed a t ai nd a t a g r i d , b u ta l s oi nc o m p u t i n gg r i d ,s e r v i c e 鲥d ,a n do t h e rf i e l d sp l a y sac r i t i c a lr o l e d a t a se f f i c i e n t l y , r e l i a b l y , c o n v e n i e n t l yt r a n s f e r r i n ga n dc o p y i n gr e l a t e st ot h ee f f i c i e n c yo ft h ew h o l es y s t e m o r i d f t pa sab o t t o m l a y e ro f 鲥dc o m p u t i n gd a t at r a n s f e rp r o t o c o l ,m a i n l yp r o v i d ed a t at r a n s f e rs u p p o r tf o rt h eu p p e r s e r v i c e s b a s e do i lg r i d f l p , g l o b u sp r o p o s e sar e l i a b l ef i l et r a n s f e rs e r v i c en a m e dr e l i a b l ef i l et r a n s f e r ( r f r ) 叮i sag r i ds e r v i c eb a s e do nw s r fs e r v i c e ,w h i c hp r o v i d e sap e r m a n e n t ,e a s yc a l l e d ,r e l i a b l ef i l e i r a n s f e rs e r v i c e im a k ear e s e a r c ho nt h et h e o r yk n o w l e d g ea b o u tr e l i a b l ef i l et r a n s f e r i ng l o b u si nt h i sa r t i c l e ,s u c ha s c m d f r p , r e l i a b l ef i l et r a n s f e rs e r v i c e s ,g r i ds e c u r i t yi n f r a s t r u c t u r e ,w e bs e r v i c e sn o t i f i c a t i o n ,a n df o rt h e i m p e r f e c t i o no fr f tc l i e n tt o o l st h a tg l o b u sp r o v i d e si nd a t am a n a g e m e n tm o d u l e ,c r e a t eae n h a n c e dt h e r f tt o o ln a m e de r f t ( e n h a n c e dr e l i a b l ef i l et r a n s f e r ) b a s e do nt h eg l o b u sr f rc l i e n tt o o l , t of i n i s h c o m p l e xd a t at r a n s f e ra n dd e l e t i o n ,b ys e l e c t i n gf i l ei nf i l eg u io rp a r s i n gax m lc o n f i g u r a t i o nf i l e k e y w o r d s :g r i d f t p ;r e l i a b l e f i l e t r a n s f e r ( r f t ) ;g r i ds e c u r i t y i n f r a s t r u c t u r e ( g s i ) ;w e bs e r v i c e sn o t i f i c a t i o n ( w s n ) 关于学位论文的独创性声明 本人郑重声明:所呈交的论文是本人在指导教师指导下独立进行研究工作所取得的 成果,论文中有关资料和数据是实事求是的。尽我所知,除文中已经加以标注和致谢外, 本论文不包含其他入已经发表或撰写的研究成果,也不包含本人或他人为获得中国石油 大学( 华东) 或其它教育机构的学位或学历证书而使用过的材料。与我一同工作的同志 对研究所做的 壬何贡献均已在论文中作出了明确的说明。 若有不实之处,本人愿意承担相关法律责任。 学镶论文作者签名:二j 獬 b 期:唧年t 月乡le t , 学位论文使用授权书 本入完全同意中国石油大学( 华东) 有权使用本学位论文( 包括但不限于其印 刷版和电子版) ,使用方式包括但不限于:保留学位论文,按规定向国家有关部门( 机 构) 送交学位论文,以学术交流为目的赠送和交换学位论文,允许学彼论文被查阅、 借阅和复印,将学位论文的全部或部分内容编入有关数据库进行检索,采用影印、 缩印或其他复制手段保存学位论文。 保密学位论文在解密后的使用授权同上。 学雠文储魏理馥 指导教师签名:髦z 之之 中国石油大学( 华东) 硕士学位论文 1 研究背景 第一章绪论弟一早珀t 匕 随着高性能计算应用需求的迅猛发展,解决一些超大规模应用问题所需要的计算能 力,单一的计算机或机群系统已不能胜任,这就需要将地理上分布、系统上异构的各种 高性能计算机、数据服务器、大型检索存储系统和可视化虚拟现实系统等通过高速互连 网络连接并集成起来,形成对用户相对透明的、虚拟的高性能计算环境,即计算网格系 统,以此来解决大型应用的计算问题。 而在网格系统中,往往存储和传输海量数据,像天气预报的计算、飞机模型的计算、 地震资料分析等领域,数据的可靠性传输无疑成为网格环境中至关重要的一部分。 本文“基于g t 4 的批量数据传输的研究与实现 是中石油创新基金“基于地震资料 数据处理的应用网格研究( 0 7 e 1 0 2 4 ) 的子课题,旨在完成研究如何对网格环境中大量 的、多种类型的、动态变化的文件进行快速可靠地传输和对g t 4 中可靠传输工具的改进, 为网格计算在各个领域打下坚实的基础。 2 研究的内容、目的和意义 网格作为下一代互联网的发展前景已经在网络研究群体中达成了一致共识。目前, 国内外各类研究机构在网格项目上的研究进行得如火如荼,对其实现技术的研究也已经 形成了一些成熟的标准,基于网格的应用也不断涌现。网格技术的发展总是以数据的传 输技术为基础的,几乎所有业务流程都需要对共享数据进行可靠、快速的访问。在网格 环境下( 与其他大多数计算环境一样) ,数据必须可以发现、存储、抽象、转换、管理、 整合、分布、发布和传输,且必须是安全的、可恢复的和可查询的。g r i d f t p 作为网格 计算的一种底层数据传输协议,主要是为上层服务提供数据传输功能支持,并提出了基 于g r i d f t p 的可靠文件传输服务r f t 。 r f t 服务是基于w s r f ( w e bs e r v i c e sr e s o u r c ef r a m e w o r k ) 的一个网格服务,它 提供一个永久、易调用、可靠的文件传输服务,支持g r i d f t p 的第三方数据传输和部分 文件管理,对外提供控制和监控g r i d f t p 服务器进行第三方数据传输的接口,可以监测 传输动态及性能,且具各自动恢复传输等功能。 但g l o b u s 项目提供的数据管理模块中的r f t 工具功能还有待完善,如工具比较简 第一章绪论 单,配置文件不支持x m l ,也不支持窗口界面的选择文件和设置参数;在执行一次数 据传输管理任务时,不能针对特殊的传输对其进行优化配置,并且不能同时完成文件的 删除和传输。本课题的主要目的,就是在g l o b u s 的r f t - 1 - _ 具的基础之上创建一个增强 型的r f t 工具( e n h a n c e dr e l i a b l ef i l et r a n s f e r ,以下简称e r f t ) ,通过选择文件g u i 或者x m l 配置文件,完成批量数据的传输与删除操作。 为了完成本开题,需要研究以下内容: 1 ) 掌握g l o b u s 的网络架构、组件和基本原理,完成g l o b u s 的安装和部署。 2 ) 学习g l o b u s 中的w e bs e r v i c e + r e s o u r c e 编程( w s d l 接口,j a v a 实现,部署,客 户端) 。 3 ) 研究g r i d f t p 、r f ts e r v i c e 和d e l e g a t i o ns e r v i c e 的实现原理和应用方法。 4 ) 改进现有的r f t 客户端工具,创建一个增强型的r f t 工具e r f t ( e n h a n c e d r e l i a b l ef i l et r a n s f e r ) ,通过选择文件g u i 或者x m l 配置文件,完成批量数据的传输 与删除操作。 3 国内外研究现状 3 1 国外研究状况 网格计算源于美国和欧洲( 英国、德国等) 的研究计划,作为一种新兴的计算机技 术,网格计算正在迅速的从美国和欧洲向世界上的其他国家和地区迅速传播。各国政府、 相应的国际组织以及大的企业财团已经在网格研究领域投入了大量的资金。全球网格论 坛、地区和国家的网格论坛正在迅速的发展,其学术交流活动也正在积极地展开。其中 全球网格论坛( g l o b a lg r i df o r u m ,g g f ) 已经成为网格标准制定与发布的主要机构。 g g f 坚信标准是网格技术发展的决定性因素。 在世界范围内已有多种国际性的网格项目,其中集成的网格系统有n e t s o l v e ,n i n f , u n i c o r e ;网格中间件有g l o b u s ,g r i d b u s ,c g s p ,g r i d s i m ,l e g i o n 等;用户级中间件 有a p p l e s ,c o n d o r o g ,n i m r o d g ,c a c t u s ,g r a d s ,g r i d p o r t 等:网格应用有e u r o p e a n d a t a g r i d ,g r i p h y n ,n e e s g r i d ,g e o d i s e ,i p g 等。此外还有很多规模不一的各种各 样的网格项目和实验床。下面具体介绍一下网格目前主要的研究现状及其应用。 美国是网格技术的倡导者,也是目前网格技术的引领者。美国的网格发展是从大学 和科研机构开始的,随后企业界的参与加快了网格技术的发展。先后出现了l e g i o n , g l o b u s ,c o n d o r - g ,t e r a g r i d ,p l a n e t l a b 等。 2 中国石油大学( 华东) 硕士学位论文 g l o b u s 是目前网格技术的旗舰产品,是g l o b u s 联盟的网格产品。g l o b u s 联盟推 动了网格技术的不断发展,是网格技术发展的主要力量之一。g l o b u s 联盟是网格计算 的领导团队,以发展网格的基础技术为己任,先后推出了g t 2 ( g l o b u st o o l k i t v e r s i o n2 ) 、 g t 3 和g t 4 ,g t 3 是第一个基于o g s a ( o p e ng r i ds e r v i c e sa r c h i t e c t u r e ) 体系结构的 网格平台,目前稳定的运行版本是v 3 2 1 。该团队于2 0 0 5 年4 月推出了g t 4 的正式版 本。 总之,不论是在网格的理论研究、平台建设,还是在实际应用等诸方面,美国均走 在了世界的前列。 欧洲的网格研究起步也很早,已经启动了很多研究计划。尤其是英国和德国在网格 研究方面已走在了欧洲的前列。英国的e - s c i e n c e 计划开始于2 0 0 1 年,主要解决大规模 科学计算、数据可视化、信息资源共享等问题,提供端到端的计算、数据和信息服务。 c a c t u s 项目是在德国m a xp l a n c k 引力物理研究所( 即阿尔伯特爱因斯坦研究所) 的 带领下,由德国和美国多个研究机构共同完成的。x t r e m w e b 是法国的一个为科研和全 球计算的应用项目提供计算平台的桌面网格中间件。它基于周期窃取技术,利用i n t e m e t 上汇集的计算机的c p u 空闲时间来进行高性能计算。目前它部署运行在3 0 0 多台机器 上,其中1 4 是集群。欧洲的其他国家,如西班牙、挪威、丹麦、瑞典、芬兰、俄罗斯、 爱尔兰、苏格兰等,也在积极开展网格方面的研究工作,在网格的应用领域方面各有特 色。 韩国、日本、印度、泰国、马来西亚和新加坡等亚洲国家在各国政府及相关企业的 大力支持下,也积极的开展了网格技术的研究和应用,并积极与国际上的其它网格计划 进行合作研究。总之,亚洲的网格研究正在逐步兴起,随着与国际研究的不断接轨,亚 洲在网格的发展中将会扮演越来越重要的角色。 3 2 国内研究状况 目前,我国的网格研究正在迅速展开,主要有8 6 3 计划资助的中国国家网格( c h i n a n a t i o n a lg r i d ,c n g r i d ) ,中科院牵头的“国家高性能计算环境n h p c e ( n a t i o n a lh i g h p e r f o r m a n c ec o m p u t i n ge n v i r o n m e n t ) 项目、国家自然科学基金委网格( n s f cg r i d ) 、 教育部支持的重点项目“先进计算基础设施北京试点工程 、“上海教育科研网格、航 天二院和清华大学共同开展的“仿真网格”的研究、中科院计算所领衔开发的“织女星 网格项目等。 3 第一章绪论 4 论文的组织结构 本文共分六章,详细的组织结构如下: 第一章绪论:阐述论文的研究背景,分析国内外相关工作的研究现状,明确论文 的研究目标和内容,给出论文的组织结构。 第二章网格基本理论研究:介绍网格的基本概念和体系结构,并总结网格技术的 研究现状。 第三章网格数据传输理论研究:介绍关于数据传输理论方面的知识,如g r i d f t p , r f t ,网络传输安全方面的知识和w e bs e r v i c en o t i f i c a t i o n ( w s n ) 等。 第四章批量文件传输e r f t i 具的设计:主要讨论关于r f t 工具的缺点及不足, e r f t i 具的设计思想和目标,总体的模块设计和详细模块设计。 第五章批量文件传输e r f t i 具的实现:主要介绍了e r f t i 具开发环境,数据结 构,主要模块的实现和用户界面。 第六章总结及展望:得出结论,总结主要工作和学习心得,及对下一步工作的展 望。 4 中国石油大学( 华东) 硕士学位论文 第二章网格基本理论研究 网格是继万维网之后出现的一种新型网络计算平台,目的是为用户提供一种全面共 享包括网页在内的各种资源的基础设施。网格建立在i n t e m e t 的可访问性基础之上,允许 用户有效地使用地理上分布的资源n 1 。因此,网格也被看作是下代血e m e t 嘲。 1 网格技术 1 1 网格的概念 什么是网格( g r i d ) ? 网格就是一个集成的计算与资源环境,或者说是一个计算资 源池。网格能够充分吸纳各种计算资源,并将它们转化成一种随处可得的、可靠的、 标准的,同时还是经济的计算能力。 网格的目的和根本特征是广泛的资源共享及协同工作,因此我们可以把网格定义为 将地理位置上分散的软件和硬件资源集合成一个有机整体的基础设施。它既是分散的资 源,又是一个统一的整体。网格技术就是一种力图把整个i n t e m e t 整合成一台超级虚拟计 算机的新型通用基础支撑技术,为方便用户使用而提供了一个平台。网格计算便是基于 这个网格平台进行问题求解。 1 2 网格的特点 网格作为一种新出现的重要基础性设施,和其它的系统相比有着许多不同之处,具 有以下几个重要特点啪: 分布与共享:分布性是网格的一个最主要的特点。网格的分布性首先是指网格的资 源是分布的。组成网格的计算能力不同的计算机,各种类型的数据库乃至电子图书馆, 以及其它的各种设备与资源,是分布在地理位置互不相同的多个地方,而不是集中在一 起的。虽然如此,但是资源却是可以充分共享的。即网格上的任何资源都可以提供给网 格上的人和使用者。共享是网格的目的,解决部分资源的共享问题,是网格的核心内容。 分布是网格硬件在物理上的特征,而共享是网格软件支持下实现的逻辑上的特征,这两 者对于网格来说都是十分重要的。 自相似性:网格的局部和整体之间存在着一定的相似性,局部往往在许多地方具有 全局的某些特征,而全局的特征在局部也有一定的表现。上级网格和下级网格的关系, 正如树和它的子树存在着一定的相似性,如都有管理节点,都要有计算中心等。 动态性与多样性:网格的动态性是指可以动态地添加或者减少网格的节点。多样性 5 第二章网格基本理论研究 是指在网格环境中可以有不同体系结构的计算机系统和类别不同的资源。 自治性与管理的多重性:网格资源,首先是属于某一人或组织的,因此网格资源的 拥有者对该资源具有最高级别的管理权限,网格应该允许资源所有者对他的资源有自主 的管理能力,这就是网格的自治性。但是网格资源也必须接受网格的统一管理,否则不 同的资源就无法建立相互之间的联系,无法实现共享和互操作,无法作为一个整体为更 多的用户提供方便的服务。因此网格的管理具有多重性,一方面它允许网格资源的拥有 者对网格资源具有自主性的管理,另一方面又要求网格资源必须接受网格的统一管理。 2 网格体系结构 网格体系结构就是关于如何建造网格的技术,它给出了网格的基本组成与功能,描 述了网格各组成部分的关系以及它们集成的方式或方法,刻画了支持网格有效运转的机 制。 到目前为止,比较重要的网格体系结构有两个:一个是f o s t e r 等人在早些时候提出 来的五层沙漏结构;另一个是在m m 为代表的工业界的影响下,考虑到w e b 技术的发 展与影响,f o s t e r 等人结合w e bs e r v i c e 提出的开放网格服务体系结构o g s a ( o p e ng r i d s e r v i c ea r c h i t e c t u r e ) 。 2 1 五层沙漏结构 五层沙漏结构是一种影响十分广泛的结构,该结构的一个最重要的思想就是以“协 议 为中心,它主要侧重于定性的描述而不是具体的协议定义。图2 1 描述了网格的五 层沙漏结构模型晦1 。 如图2 1 所示,沙漏模型自底向上分别是构造层、连接层、资源层、汇聚层和应用 层。构造层连接底层的本地资源和上层,主要是用来为上层访问本地资源提供统一接口, 屏蔽各地资源的异构性;连接层定义了核心网格事务处理所需的通信和认证协议,提供 了加密的安全机制,用于识别用户和资源;资源层的协议调用构造层的功能以访问和控 制本地资源;汇聚层建立在资源层和连接层形成的协议瓶颈之上,主要负责多种资源的 共享;应用层存在于虚拟组织中,是根据任一层次定义的服务构造的。每一层的a p i 都 可以看作是与特定服务交换协议信息的实现,应用可以调用更高层的框架和a p i 库。 五层沙漏结构的一个重要特性就是沙漏形状,形成原因在于各层协议的数量不同。 对于其最核心的部分沙漏的瓶颈,定义成核心协议的一个小集合。许多不同的高层 ( 沙漏的顶部) 行为映射到它们的上面,它们自身也能被映射到不同的基本技术之上( 沙 6 中国油大学( 华东) 硕学位论立 工具与应用 h 录代理 哮断与监控辞 资源与服务 的安全访问 应用层 礼聚层 资源与 连接层 备种资源 比如计算机,存储构造层 介质,网络传葛器肄 图2 - i 五层沙漏结构模型 漏的底部) 。核心协议需要得到普遍的支持,所以核心协议的数量必须是较少的。较少 的核心协议有利于移植。 22 开放网格服务结构0 g s a 服数据* 目 显示擞销 软状卷生命周期 斗( b 镕) # t 口 # b 口 ( w m ) a - - ” 正三 卜i 【网 困网 r 1 # 现 j一 蚓22 阿格服务示意图 o g s a ( o p e ng r i ds e r v i c ea r c h i t e c t u r e ) 是在“五层沙漏结构”的基础上,结合最 新的w e bs e r v i c e 技术提出来的。以服务为中一i l , 是o g s a 的基本思想1 ,在o g s a 中一切都 是服务,包括训算机、程序、数据、仪器设备等。这种观念有利于通过统一的标准接口 来管理和使用网格。这一结构的意义,就在于它将网格从以科学和工程计算为中心的学 术研究领域,扩展到以分布式系统服务集成为主要特征的社会经济领域。考虑到网格环 境的具体特点,o g s a e 原来w e bs e r v i e e j 务概念的基础上,提出了“州格服务( g r i d s e r v i c e ) ”的概念,片j 于解决服务发现、动态服务创建、服务生命周期管理等与临时服 一 第二章网格基本理论研究 务有关的问题。图2 2 是对网格服务的简单描述。 以网格服务为中心的模型具有以下优点:首先,由于网格环境中所有的组件都是虚 拟的,因此,通过提供同一组相对统一的核心接口,使得所有的网格服务都基于这些接 口来实现,这样可以较容易地构造出具有层次结构的、更高级别的服务。其次,虚拟化 使得多个逻辑资源映射到相同物理资源上成为可能,在对服务进行组合时不必考虑具体 的实现,可以将底层资源的组成作为基础,在虚拟组织中进行资源管理。 3 g l o b u s 工具包 g l o b u s 工具包( g l o b u st o o l k i t ,简称g t ) ,是g l o b u s 联盟开发的一套软件工具。 利用这套工具可以建立网格环境,并可以进行网格应用的开发。目前g t 在世界上广泛 使用,成为事实上构建网格的标准。现在g t 最新版本是g t 4 0 。它主要由五个组件构 成力( 图2 3 ) : 图2 3g l o b u st o o l k i t 体系结构 1 ) 公共运行环境( c o m m o nr u n t i m e ) :它是g l o b u s t o o l l 【i t i 具包的基础,它为开发 w s r e s o u r c e 和非w s r e s o u r c e 程序提供了一系列的基础类库,支持g l o b u s 的系统服务 ( 如g r a m ,聃t ,d e l e g a t i o n 等) 以及用户自己开发的服务。在g t 4 q b ,它已经被重新 设计以增强整个g l o b u st o o l k i t 工具包的可扩展性、模块性、通用性及性能。它不但对已 8 中国石油大学( 华东) 硕士学位论文 经存在的w s d l ( w e bs e r v i c e sd e s c r i p t i o nl a n g u a g e ) 、s o a p ( s i m p l eo b j e c ta c c e s s p r o t o c 0 1 ) 、w s s e c u r i t y 、w s a d d r e s s i n g 等标准起到了杠杆作用,而且还增加了对于新 兴w 曲服务标准( w s r f ,w s - n o t i f i c a t i o n 等) 的支持,同时也提供了一个使用j a v a 、p y t h o n 或c 语言开发的网格服务的宿主运行环境。 2 ) 信息服务( i n f o r m a t i o ns e r v i c e s ) :一般也称为m d s ( m o n i t o r i n ga n dd i s c o v e r y s e r v i c e s ) ,它包含一系列的组件用来在一个虚拟组织内发现和监控w s r e s o u r c e ,同时 为了保持对遗留版本的兼容性,它也包含一个非w s r e s o u r c e 版本的m d s ( 肋s 2 ) , 但这个组件在以后将发布的版本中肯定会消失。在g t 4 中的每一个w s r e s o u r c e 都可以 使用公共的机制被监控和被发现,这些机制由w s r f 及w s n 标准提供支持。m d s 服务 由索引服务( i n d e xs e r v i c e ) 、触发器服务( t r i g g e rs e r v i c e ) 、聚合器框架 ( a g g r e g a t o r f r a m e w o r k ) 、w e b 界面的m d s 服务( w 曲m d s ) 组成。 3 ) 执行管理( e x e c u t i o nm a n a g e m e n t ) :该组件涉及到作业的初始化、监控、管理、 调度以及协调。g t 4 提供了网格资源分配和管理( g r i dr e s o u r c ea l l o c a t i o na n d m a n a g e m e n t ,g r a m ) 接口作为实现以上用途的基本机制。g t 4 的g ra m 服务器典型地 被配置成与委托服务和r f t 服务一起,以一种集成的方式来寻址分段传输的数据、代理 凭证的委托以及进行计算监控和管理。它提供了一个公共的w s 接口来实现对u n i x 、 c o n d o r 、l s f 、p b s 、s g e 、n q e 等资源的调度。 4 _ ) 数据管理( d a t am a n a g e m e n t ) :该组件允许我们在虚拟组织中管理大批量的数据。 通过数据管理组件提供的副本定位服务( r e p l i c al o c a t i o ns e r v i c e ,r l s ) 、可靠文件传 输( r e l i a b l ef i l et r a n s f e r ,r f t ) 、网格文件传输协议( g r i d f t p ) 可以找到访问或移动 指定的数据,g r i d f t p 对标准的f t p 协议进行扩充,在其上可以提供网格环境下安全传输、 高效移动数据块的功能,满足了对网格计算环境需求下不同的应用,对广域范围分布的、 大量的数据需求。r l s 服务维护从逻辑数据名字到目标数据名字的映射信息,并对外提 供这些信息。g t 4 中的r l s 版本更加强了可伸缩性和稳定性,以及对网格环境中文件量 日益增大的支持r f t 服务,且对外提供控制和监控用g 打d f t p 服务器进行第三方数据传 输的接口。 5 ) 安全性( s e c u r i t y ) :使用安全性组件可以使我们的通信得到安全的保证。在g t 4 中用新的基于w s 标准的w 曲服务授权鉴定( w sa u t h e n t i c a t i o na u t h o r i z a t i o n ) 组件代替 了原来的g s i ( g r i ds e c u r i t yi n f r a s t r u c t u r e ) 结构。同时被再细分为消息( m e s s a g e ) 级安 全性和授权框架( a u t h o r i z a t o nf r a m e w o r k ) 。消息级安全性又实现了两个新标准: 9 第二章网格基本理论研究 w s s e c u r i t y 和w s s e e u r e c o n v e r s a t i o n 。这两个标准提供s o a p ( 简单对象访问协议s i m p l e o b j e c t a c c e s sp r o t o c 0 1 ) 消息加密、完整性和重放保护。g s i 是g l o b u s 项目中的网格安全 设施,它主要集中在网络的传输层和应用层,强调了与现有的分布式安全技术的融合。 g s i 基于公钥加密体系,采用x 5 0 9 证书体系和s s l ( s e c u r es o c k , sl a y e r ,s s l ) 安全 套接层通信协议,并根据需要在此基础上进行了扩展,以支持单点登录和委托机制,为 网格计算环境提供了一系列的安全协议、安全服务、安全s d 姘口命令行程序,如安全应 用编程接口,相互安全身份鉴别技术、单点登录等。通过使用这些安全技术,有效地保 证了网格计算环境的安全和方便。 l o 中国石油大学( 华东) 硕士学位论文 第三章网格数据传输理论研究 本章主要介绍关于数据传输理论方面的知识,如g r i d f t p ,r f t ,网络传输安全方 面的知识和w e bs e r v i c en o t i f i c a t i o n ( w s n ) 等。 1 g r i d f t p 网格文件传输协议g r i d f t p ( g r i df i l et r a n s f e rp r o t o c 0 1 ) 是一个独立于底层架构的 通用协议,它不仅使用g s i 和k e r b e r o s 技术来提供安全保障,而且为实现高性能、可 靠与断点续传等要求提供了各种传输特征。 1 1g ri d f t p 协议功能及特点 g r i d f t p 基于标准的f t p 协议。这是因为f t p 协议是目前因特网上使用最普遍的 数据传输协议1 。它具有如下特点: 1 ) f t p 协议有大量的技术基础,且易于理解。 2 ) f t p 协议是数据传输的标准协议之一,易于扩展体系结构,且支持一些扩展的 动态发现。 3 ) 目前已有针对f t p 协议的大量扩展及其实现,其中一些对于g r i d 环境的数据 传输很有用。 4 ) 除了客户服务器传输( 如p u t g e t 或者远程r e a d w r i t e ) ,它也支持由第三方用户 控制的两个服务器之间的直接传送。 5 l 由于数据及控制信道在不同套接字上相分离,这使并行及条状传输等特征更容 易扩展。 在f t p 协议( r f c9 6 9 ) 及其扩展所定义的特征中,标准的f t p 实现一般只支持其 中一个子集。为了使网格数据传输协议具有更好的适应性,g r i d f t p 除了应具有普遍使 用的数据传输协议所提供的基本功能外,还必须是可扩展的。为了满足网格的需要, g r i d f t p 在f t p 的基础上增加了如下一些新的特征,其中一些已经成为标准: 1 ) 自动调整t c p 缓冲窗口大小。手工方式设置t c p 缓冲窗口大小容易出错,且 对用户要求较高。因此g r i d f t p 对标准的f t p 指令集及数据信道协议进行了扩展。针 对具体的文件大小及类型,使g r i d f t p 支持手动或自动设置大文件以及小文件集合的 t c p 缓冲大小。由于使用优化的t c p 缓冲窗口大小设置,从而有效地提高了数据传输 性能。 第三章网格数据传输理论研究 2 ) 支持g s i 及k c r b c r o s 安全机制。传输或存取文件时,灵活可靠的安全鉴别、完 整性检查、健壮性及保密性都非常重要。当用户要求控制不同层次上的数据完整性及保 密性的设定时,g r i d f t p 必须支持g s i ( g r i ds e c u r i t yh f f 枷c t u r e ) 及k e r b e r o s 认证。 g s l 支持用户代理、资源代理、认证机构和协议的实现,是g l o b u s 的安全基础构件包, 是保证网格计算安全性的核心。 3 ) 第三方控制的数据传输。为了管理许多大型数据集,g r i d f t p 提供了经过鉴别 的由第三方控制的数据传输功能。这种功能允许用户或应用程序启动、监视和控制其他 2 个地点的数据传输,为使用多个地点的资源提供了保障。g r i d f t p 在保留f t p 的第三 方数据传输功能上增加了g s s a p i ( g e n e r i cs e c u r i t ys e r v i c e a p i ) 安全认证。 4 ) 并行数据传输。并行数据传输就是在一个数据服务器上,将数据文件分段后在 多种数据连接上传输数据。在广域网中,客户端及服务器之间或2 个服务器之间需要高 带宽。使用多个并行的t c p 流与使用单一的t c p 流相比能有效地提高数据传输的总带 宽。g r i d f t p 通过指令及数据信道的扩展支持并行数据传输。 5 ) 条状数据传输。条状数据传输是指应用程序使用多个t c p 流来传输分布在多个 服务器上的数据。在网格环境中,大规模的数据可分布放置在多个存储点上。嘶d f t p 能启动条状传输,条状传输可以在并行传输的基础上进一步提高总带宽及数据传输速 度。 6 ) 部分文件传输。许多应用程序只需要访问某个远程文件的一部分。而标准的f t p 只能传输整个文件或从文件某个特殊位置开始的剩余部分,因此需要特定的数据传输支 持。g r i d f t p 引入新的f t p 指令以支持从一个文件的任意位置开始传输数据。 7 ) 支持可靠的数据传输及数据重传。对于许多处理数据的应用程序来说,保证数 据传输的可靠性很重要。处理短暂的数据传输故障和服务器故障等是不可缺少的容错手 段。g r i d f t p 支持可靠的数据传输及数据重传,并把它扩展到新的数据通道协议中。 1 2g rid f t p 实现及应用 g l o b u s 项目是美国多个组织共同对计算网格的构建进行的研究。目前的g l o b u s 可 被视为计算网格技术的典型代表和事实上的规范。 为了实现g r i d f t p 协议,g l o b u s 项目主要实现了例d f t p 函数库 ( g l o b u s _ f f p _ c o n t r o l _ l i b r a r y 及g l o b u s _ f t p _ c l i e n t _ l i b r a r y ) 、g r i d f t p 客户端、g n d f t p 服 务器端及一系列的相关工具。g r i d f t p 服务器端主要是通过对自由软件w u f l p d 进行改 写及扩展来实现的。g r i d f t p 客户端则通过对n c 邱改写及扩展实现。 1 2 中国石油大学( 华东) 硕士学位论文 函数库g l o b u sr pc o n t r o l _ l i b r a r y 实现了控制通道a p i ,主要提供了管理g r i d f t p 连接( 包括相互鉴别、创建控制及数据通道、在数据通道上读写数据) 的功能,并且支 持并行数据传输、条状数据传输及第三方数据传输等。 函数库g l o b u s _ f l p _ c l i e n t _ l i b r a r y 主要实现g r i d f t p 客户端a p i ,提供高层客户端数 据传输功能,包括完整文件g 戗操作及p u t 操作、对并行数据传输进行控制及设置、部 分文件传输操作和设置t c p 缓冲大小等。 2 r f t 2 1 r f t 简介 g l o b u s 的网址拷贝和g r i d f t p 是非常强大的工具集,但是有些方面却需要优化四1 。 首先,g r i d f t p 协议不是一个w e b 服务协议( 没有使用s o a p 和w s d l 等) 。第二,在 整个传输期间,g r i d f t p 要求客户端始终维持一个开放的套接字连接到服务器。对于长 期传输的话,这未必方便,例如,如果始终从您的笔记本电脑上运行,对于笔记本,它 有时候不可能长时间都能工作的。第三,g l o b u s 的网址复制使用了g r i d f t p ,可以从远 距离的失败中恢复( 网络中断,服务器故障等) ,但是如果客户端主机出现了故障,那 这种失败就是不可恢复的。因为恢复所需要的信息存储在客户端。要解决这些问题,必 须实现一个w e bs e r v i c e s 的协议,来可靠地存储传输的状态。 g l o b u s 为进一步提高数据传输的可靠性,在g t 3 中为g r i d f t p 的上层引入了r f t 服务和后台数据库的支持。r f t 服务是基于w s r f ( w 曲s e r v i c e sr e s o u r c ef r a m e w o r k ) 的一个网格服务,它提供一个永久、易调用、可靠的文件传输服务,支持g r i d f t p 的第 三方数据传输和部分文件管理,对外提供控制和监控用g r i d f t p 服务器进行第三方数据 传输的接口,可以监测传输状态、自动恢复传输。 可靠文件传输服务建立在g r i d f t p 的客户端库上,所以它集成了g r i d f t p 的特点, 避免了原来出现故障之后需要从头开始重新传输的缺点,它将传输状态以永久方式存 储,当出现故障时,可以从存储中获取传输状态,并从故障中断的地方继续开始传输。 2 2r f t 服务构架 r f t 服务的整体架构如图3 一l 所示。包括客户控制g u i 、直接控制g u i 、性能g u i 、 可靠文件传输服务、g r i d f t p 传输客户端、网络记录器和传输数据库等几个部分。可靠 文件传输服务接收来自客户端g u i 的传输请求;客户控制g u i 用来给服务提交传输服 务;直接控制g u i 用来调整一个活动传输的并行流数目及t c p 缓冲区大小:性能g u i 1 3 第三章网格数据传输理论研究 用来显示吞吐量和时间之间的性能图:网络记录器存档来自传输客户端的性能标记,并 把这些信息提供给性能g u i ;传输数据库中存储所有的传输状态并在出现故障之后把这 些状态信息提供给传输服务使用。r f t 服务接收来自客户端g u i 的传输请求,r f t 服 务的客户端( g l o b u s 中分别为g r i d f t p 和r f t 服务提供了各自的客户端) 向创建r f t 服务实例的r f t 工厂提出请求,r f t 工厂创建一个r f t 服务实例。r f t 服务实例调用 传输客户
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025届广西壮族崇左市天等县四下数学期末综合测试模拟试题含解析
- 2025届山西省朔州市平鲁区四下数学期末质量检测模拟试题含答案
- 2026年初级新能源汽车检测报告基础识读考试试卷及答案
- 2026年中药调剂技术考试真题及答案
- 2026年中小学消防安全知识测试考试试题及答案
- 2026年初级新能源汽车 ESP 车身稳定系统基础考试试卷及答案
- 从0到1破局 2026年广东省户外运动装备种子轮融资加盟扩张方案
- 汽车产业涂装车间项目实施方案2026年新版
- 汽车产业汽车检测站项目实施方案(完整版)
- 男士理发店项目实施方案怎么写
- 2026中国邮政联合校园招聘笔试参考题库(含答案解析)
- 宁夏吴忠市盐池县2026年社区工作者招聘考试试卷-含答案解析
- (一模)嘉兴市2026-2027学年第一学期高三教学质量检测语文试卷(含答案)
- 2026中国洗衣干衣行业市场现状需求分析投资布局发展策略研究文献
- 2027年湖北交通投资集团有限公司秋季校园招聘131人笔试备考题库及答案解析
- 2026山东青岛水务集团有限公司招聘笔试历年参考题库附带答案详解
- 2026年党支部基层总结报告
- 特香型白酒的讲解
- 中国电信理工综合类笔试题库
- T∕CCEAS008-2026 建设工程造价咨询成果文件质量标准
- 2018 机械通风冷却塔 第1部分:中小型开式冷却塔
评论
0/150
提交评论