（计算机应用技术专业论文）基于目录服务的分布式文件传输模式的研究与实现.pdf

摘要 论文题目： 专业： 硕士生： 指导教师： 基于目录服务的分布式文件传输模式的研究与实现 计算机应用技术 温新清 郭清顺高级工程师 摘要 随着分布式运算架构在交通、银行、邮政等企业领域应用的不断发展，为实 现处于分布环境下不同平台资源共享，企业越发需要一个统一系统管理和传输这 些数据资源。数据交换系统为企业提供这样一个传输资源的渠道和平台，实现数 据收集与分析的无缝连接。然而随着企业应用要求不断提高，其原有设计技术渐 渐无法完全满足需求，现有实现与需求间落差逐渐变大。数据交换系统已成为所 有企业级应用软件必不可少的关键组成部分，针对企业应用中数据传输进行独立 研究的重要性和必要性越发显现。 基于i c c s 系统文件传输系统为研究背景，本文分析了企业级文件传输应用 主要问题与需求。在探讨借鉴了当前主流文件传输设计模式和包括目录服务、移 动代理在内的分布式运算技术后，提出p f t s 文件传输模式体系。 p f t s 系统通过对传输任务的元信息和具体实现分离存储，分离传输的决策与 执行过程，实现先对传输任务进行集中管理调度、再具体实现的传输模式，使中 央服务器对传输管理获得更大主动性和灵活性，很好解决传输拥塞问题。任务调 度基于目录服务实现，传输执行利用移动代理技术的自主性和动态定制能力。在 目录服务中还加入相应数据管理信息，传输管理与资源管理相结合，能实现访问 控制和数据维护等功能。使用移动代理实现控制流与数据流分离、瘦客户端，改 善平台无关性和升级性等性能。依此开发模式，系统同时具有较强功能扩展能力。 本文对p f t s 系统的整体架构、各个功能模块作了详细的分析与设计，给出 了程序设计类图，并最后实现原型系统。通过测试与分析，本文证明p f t s 系统 满足i c c s 系统需求，提供部分功能优于现有文件传输系统。 关键词：文件传输、目录服务、分布式、移动代理 一幽 1 i t i e ：r e s e a r c ho f d j s t 劢u t e dn i e i h n s f e 州n gs y s t 哪 b a 鸵do n 咒c t o r ys e r v i c e s m 砌o i = c o m p u t e r a p p u c a t i o n n a m e ：w e nh l q g s u p e r v j s o r ：g u oq i n g s h u ns e n j o re n g i n 脯r w i t hi h er a p i dd e v e l o p m e mo fd i s t r i b u t e dc o m p u t i n ga p p l i c a t i o n so nt h ev a r i o u s e n t e r p 打s e f i e l d so f t r a i l s p o r t ， b a n ka n d p o s t ， c o r p o r a t i o n sh a v e m o r e u r g e n t r c q u j r e m e n t so fau n 主t e da d m i i l i s t f a t i o ns y s t e m ，t os h a r er e s o u r c e su n d e rd i f f c r e n i p l a t f o r m si nad i s t r 渤u t e d 弓n v 蚰n m e n lt k d a 毛ae x c h a n g i n gs y s e mbs hap c f f e c t p l a t f o 珊，w h i c h r e a l i z e st h es e a m l e s su n i o no fd a t ac o l l e c i i n ga n da n a l y z i n g h o w e v c r ， t h e o i 毽i n a ld e s i g n o ft h e e x c h a n g i n gs y s t e mc d u l d n d tm e e tn c w r e q u i r e m e n t s t h eg a pb e t w e e nc u r r e n ts y s t e m sa n dr e q u i r e m e n t sj sl 盯g e r w h j l ct h i s d a t ae x c t l a n g i n gs y s t e mi sb c c o l l l i n go n eo ft h er n o s t 王t 1 1 p o r t a n t0 0 m p o n e n t si nt h e e n t e r p r i s es o f l w a r es y s t e m i ti sl a r g e rt h a tt h en e e do fi n d e p e n d e n tr e s e a r c h e so nd a t a t 阳n s f e r r j n gi i lt h ee m e r p r i s es o f l w a r e 印p l i c a t i o nb e c o m e s b a s e do nt h ei c c sp r o j c c t ，m a i l lp r o b l e m sa r ea n a l y z c d 加t h ed a t at f a n s f e r r i n gi na n e n v i f o n m e n to fe n t e r p 血es o f t w a r ea p p l i c 融i o 珏s an e wk i n do fd a t a 订a n s f e ri n o d ei n p f t ss y s t e mi sr a i s e d ，a f t e ra u t h o r s r e s e a r c h i i l g o nc u 玎e n tm a i n s t r e a md a t a t r a n s f e f f i n gs y s t e m sa n dd 妇t i b u t e dt e c h n o l o g y i i l c l u d i n gt h ed i f e c t o r ys e r v j o ea n d t h em o b i l ea g e n t i nt h ep f r ss y s t e 皿w h i c hs c h e d u l c st h et r a n s f e r t a s k sf i r s ta n dt h e n 曲p l e m e n t s t 阳n s f e r r i i l g ，d a t at r a l l s f e i i 唱缸d j v i d e d i n t ot w op a n sa n dt w o p f o c e s s e s ：t h e m e t a - d a t a ( d e s c r i p t i o n ) p a r t 越dt h et a s ki m p l e m e n t a t i o np a n ，t h es c k d 鞋l h gp o c e s s a n dt h ep e r f o r m i n gp r o c e s s h e f et h ec e m r a ls e r v e rh a sm o r ep o w e r sa n dn e x j b i i j t yt o 一一 a b s t r a c t c o n t r o l t h et r a n s f e r w h i c hr e s o l v e st h ec o n g e s t i o np m b l e mv e r yw e u t h es c h e d u l i f l g i sr e a l i z e db yt h ed i r e c t o r ys e r v i c e ，w h i c hm a n a g e st h ed a t ar e s o u r c e sa i l dr e s o l v e s t h ea c c e s s i n gc o n t r o lp r o b l e ma sw e l l m o b j l ea g e n t sa r eu s e dt oi m p 】e m e n h et a s k t r a n s f e r r i n g ， w h j c hm a k e st r a n s f e r i n d 印e n d e n to fp l a t f o r m sa n dr c a l i z e st h e t h i n c l i e n ti nt h ep f r ss y s t e m t h ew h o l ea r c h i t e c t u r ea n df u n c t i o n sa r ea n a l y z e da n dd e s i g n e dc a r e f u l l y a n ds e v e r a l c l a s s 。d i a g r a m sa r eg i v e nt oi n d i c a t eap r o t o t y p es y s t e m t b s l sp f o v et h ef e a s i b j l i t y a n dj m p r o v e m e n t so ft h es y s t e m a n ds o m ea d v i c e sa r cg i v e na ci h ce n d ，h e l p f u lo f t h es y s t e m sd e v e l o p m e n t k e yw o r d s ： d a t at r a n s f e r f i n g ，d 打e c t o r ys e r v i c e ，d j s t r i b u t e dc o m p u t i n g ， m o b i l ea g e n t 第1 章引言 1 1 项目背景 第1 章引言 广州市轨道交通综合中央计算机系统清分中心项目是指广州市及珠江三角 洲城际轨道交通自动售检票系统综合中央计算机系统( i n t e g r a t e dc e n lr a l c o m p u t e rs y s t e m ，简称i c c s ) 项目【l j o 主要作用于广州市轨道交通各条线路之阃，与公交系统、银行系统及其他相 关系统之间的清算分帐、车票交易数据的处理及统计分析，同时具备对线路自动 售检票机( a u t o m a t i cf a r ee o n e c t i o n ，简称a f c ) 系统设备运营管理的功能。 广州地铁公司一、二号线建设及营运的的成功使广州地铁公司对a f c 的技术 及功能有了较深刻的认识。广州地铁公司的长期规划是发展1 5 条覆盖大广州地 区的地铁线路。为配合这一前景，a f c 系统必须有一个长期、综合的考虑与设计。 但由于各种原因，现有系统在统一性、灵活性、经济性、技术支持等各方面尚未 能完全满足广州地铁长期发展的要求导致目前一条线路个集成商、一条线路 个数据处理中心，这种互相不能完全兼容的计算机处理技术并存的局面。 广州地铁决定，为解决广州市及珠江三角泓 城际轨道交通高速、连续与可向 前兼容的发展，有必要建设一个适合广州轨道交通线网的安全的、全面的、整体 的、可扩展的和前后兼容的综合中央计算机系统i c c s 。i c c s 远期定位于整个广 州市及珠江三角洲城际轨道交通系统的清分中心和a f c 运营管理中心。 1 2i c c s 系统分析 1 2 1 系统功能架构 i c e s 系统包括i c c s 服务器、站点计算机s c 、自动售检票机a f c ，三者为主 从关系，通过高速局域网连接。i c c s 系统，定位为数据处理中心和运营管理中 r f l 山大学硕+ 学位论文 心，处于中心地位；站点计算机( s t a t i o nc o m p u t e r ，简称s c ) 与a f c 处于从属 地位，受i c c s 系统管理支配。处于从属地位的s c 、a f c 系统具有供货商和运行 软硬件平台多样性等特点，系统要求有较高的灵活性和适应性。 i c c s 服务器 斗 t j r s c 服务器 t0 a f c 售检票机 幽1 1i c c s 系统层次架构图 为统一处理各站点清分数据，i c c s 系统定时从各线路站点的a f c 服务器中采 集票务、客流、财务等原始运营数据。 面，i c c s 负责调度管理a f c 运行状态。 i c c s 系统功能模块包括中央清分、 理、通信与数据交换、查询等子系统。 1 2 2 运行环境 出s c 经过预处理后传给l c c s ，另一方 清分规则维护、i c 卡发行管理、设备管 i c c s 系统运行环境的复杂性，包括功能要求、系统架构运行设备、以及系统 运算能力需求的多样性，决定了系统需求较强兼容性、灵活性和可扩展性。 1 系统功能要求多样性，除了数据传输外，还要对资源有效管理。 最主要目标是在轨道交通线路范围内实现票款收益的清分功能，实现与公交 系统、银行系统及其他相关系统之间的清算。其次，实现对轨道交通自动售检票 系统的运营管理：对a f c 系统集中采集运营管理数据，进行统计、处理；或统一 下发运营线路共同票务和系统参数等。具备对数据备份、迁移、恢复等管理能力。 2 i c c s 运行软硬件环境复杂多样，整合将成为系统建设重大难题。 系统建设阶段性，分为两期。当前首期工程仅实现一到四号线各条线路a f c 系统接入，并为后续工程各系统的接入提供条件。一、二号线使用原已建好的中 央计算机系统( c c s ) ，其中使用的a f c 系统由不同国外厂家提供。三号线将新设 贮p 大 第1 章引吉 一套不同的中央计算机系统。二期工程实现广佛线、和五到八号线相关系统的接 入，并最终覆盖9 条轨道交通线，满对2 0 0 个车站进行清分的能力要求。 3 系统负荷较高。 目前广州地铁已投入营运的两条线路( 一、二号线) ，长远的设计容量分别 为同客流量1 2 0 万人次和1 0 2 万人次。而根据规划，至2 0 1 0 年，初步预计日客 流将增至3 0 2 力j 人次，只交易量达l o o o 万。 1 3 研究价值 文件传输系统是指在多个端点、多台计算机间，实现文件数据传输和管理的 系统、架构、机制的集合与统称，i n t e r n e t 最初的设计目标就是让网络上的计 算机互相之间不需中间媒介，可以直接通信。数据共享是互连网的核心需求之一， 其实现基于完善的传输机制。 企业级应用系统，是指根据企业应用需求的功能开发出的软件程序。网络技 术具有巨大发展前景，它超越信息传输的空问概念与时间概念。随着高速网络在 管理、银行、商务等企业领域的应用不断扩大，文件传输数据交换系统为企业提 供共享网络资源文件渠道和平台，实现信息收集与分析的无缝连接，是所有企业 级应用软件必不可少的关键组成部分。 企业级传输应用的研究发展较慢，主要原因是企业需求不足。但另一方面也 是由于过去操作系统、文件系统中传输功能，已有效覆盖较为褥单的传输应用需 求。然而随着软件设计分层化、模块化的发展趋势，和企业应用需求的不断提高， 要求更复杂强大的传输控制管理能力，原有系统机制功能性制约和弱点逐步暴 露。需求与现有系统能力的较大落差，使对数据传输进行独立的深入研究的重要 性和必要性越发显现。 新的分布式概念、环境的提出后，基于其技术应用巨大优势越发明显。当前 文件传输，包括众多企业级和个人应用系统，均具有明显的分布式特性，因此， 开发基于分布环境的文件传输系统将有广泛的应用前景。另一方面，额技术的出 现对分布式文件传输应用发展有极大推动作用，如p 2 p 技术、目录服务技术和移 动代理技术等，为实现提供充分的技术准备。如何更有效利用新技术于传输系统 、设计，值得深入思考。 !。生查兰堡主兰垡笙苎 i c c s 系统中信息与数据传输予系统，是i c c s 系统功能实现的基础与重要保 证。其处于分布式环境，要求实现稳健的系统互连，高效的数据传输，具有较强 可扩展性与设计灵活性。本文系统设计以它为背景进行研究，同时考虑许多大型 企业级应用，它们与i c c s 清分系统具有相同点，面临相似需求。本文设计的传 输模型和控制机制，在有效解决在分布式环境下文件和数据资料进行传输、管理 及同步等关键问题基础上，立足于满足企业应用需求。 1 4 研究工作 本文将首先研究了i c c s 系统文件传输系统具有的特点，同时分析了其他企 业领域，同类文件传输应用主要问题与特点，归纳出其基本需求的发展趋势，同 时得到本文系统应满足的应用需求。 之后通过分析当翦文件传输环境和比较主流模式，尤其探讨较具代表性的 p 2 p 传输系统，本文发现当前传输模式并不能满足本文系统所有的设计需求。当 前主要传输模式中，对数据管理考虑不足，系统也无法解决平台无关性和瘦客户 端等问题。 在进一步研究后，本文注意到当前分布式运算环境中，目录服务被广泛运用 于资源管理，文献嘲表明，它能很好解决资源管理问题。因此，试图将之同样应 用于传输管理。同时引入面向对象设计思想，提出面向传输任务概念，作为整合 资源管理与传输管理的基础。 在借鉴现有成熟技术后，本文对之前分析所得的问题和需求做出整体考虑， 提出一种新的基于目录服务的分布式文件传输模型。此系统包括对现有模式的创 新与发展，希望通过目录服务技术，基于对数据源和传输任务信息的集中管理， 实现对具体传输实现的管理，以提高系统效率和传输的有序性。并运用移动代理 技术，一定程度上实现瘦客户端、平台无关性和多点分布传输能力，使系统具备 较强的普遍使用性、兼容性和多种传输方式选择能力。 本文给出系统模型总体设计，系统分为三部分，并提出相关概念模型。通过 初步实现原型系统，本文探讨了系统设计中遇到的各种问题与解决方案，并对系 统模型的运用与发展做出展望。 4 第1 章引青 1 5 主要贡献 1 ) 对建设分布式文件传输管理系统相关问题进行研究。分析企业应用中普 遍需求，整体考虑对传输中多数据源多传输结点引起的相关问题。基于 面向传输任务的系统设计思想，模块化定义设计系统功能，系统模型具 有架构开放，结构稳健，功能清晰、可扩展性较强等优点。 2 ) 基于目录服务，通过传输任务的元信息和具体实现分离处理( 存储与管 理) ，分离传输的决策与执行过程，实现对传输任务进行集中管理调度、 再具体实现的传输模式。有效解决了实现中拥塞控制、访问控制等阀题。 并通过信息管理整合数据管理与传输管理，提高了文件管理自动化程度 与文件访闷安全性。 3 ) 应用面向对象思想，基于移动代理技术，配合目录服务对传输信息的管 理，有效解决数据传输应用中瘦客户端的实现，平台无关、系统扩展等 问题。 1 6 本文组织架构 本文余下部分主要架构为： 第二章进一步分析i c c s 文件传输系统特点，并探讨相关同类系统异同，归 纳出企业级文件传输应用急需解决的闷题与主要需求。 第三章根据问题的特点，分析现有技术。概述了当前主要文件传输，并比对 其技术优缺点。了解了目录服务概念定义以及其特点和技术应用现状，并探讨面 向对象数据传输。这些研究为本文探讨满足本文需求的可行方案打下坚实基础。 第四、五、六章是全文的重点。第四章提出系统设计目标与构想，给出解决 方案- 包括新模型的整体架构、系统分工、概念模型等，并分析其应用技术特点。 第五章在前一章基础上，进一步阐述系统具体思路和设计。 第六章为原型系统部分，分析研究实现中关键问题，并给出具体实现方案。 第七章中，文章对原型系统作出评价，得出关键结论，体现模型的核心价值。 第八章对全文研究工作做出总结，并对原型系统的发展改善作出展望。 5 ! ! ! 坐查兰竺主兰垡堡奎 第2 章数据交换系统 2 1i c c s 数据交换系统 2 1 1 功能需求 通信与数据交换系统是i c c s 重要组成部分，主要负责实现i c c s 与各线路a f c 系统及相关系统( 包括羊城通、电信运营系统、银行系统和票卡其它小额应用系 统等) 问数据交换，并能对i c c s 与各互联系统之间的数据进行有效隔离。 传输文件信息主体为各种原始数据文件，服务器收集包括各运营线路的h 客 流量、收款等统计值、与各种票卡的交易等各种数据，构成报表，支撑对客流、 财务、收益状况进行统计、分析；和系统参数文件，服务器统一处理和下发票务 和系统参数文件到各运营线路。 线路自动售检票系统在每天指定时间内自动上传交易数据，时问间隔为i j 分钟。在i c c s 设置需即时生效的参数，在3 分钟内下达到相连的系统设备；由 i c c s 设置的非即时生效、预设参数，在2 4 小时内下达到相连的系统设备。 系统要求建立安全稳健互连机制，实现对文件资源的自动化管理和访问控 制，具有较强兼容性与普遍适用能力。 功能需求； 数据多模式分发，分实时、准实时或按预定时间三种方式，系统灵活选 用不同方式，向指定的目的点发送数据； 网绍监听，系统应能2 4 小时监听各通信线路，对各个数据传输点发起的 通信请求进行及时的回应和处理； 面向文件的访问控制，基于对数据隔离、安全性要求，系统能确定不同 用户对系统文件访问权限； 对不同通信流程或协议支持的扩展能力，支持至少两种以上的通信流程 或协议，与内部系统通信同时，与外部系统进行数据交流； 支持多数据源。 第2 章数据变换系统 2 1 2 架构分析 软件架构：i c c s 系统软件采用b s 方式，通信与数据交换子系统模块设计于 事务逻辑层，为各子系统提供数据传输支持服务。 图2 1 软什架构图 架构特点与影响： 子系统包括根节点服务器与客户端两部分。服务器位于根节点，负责数 据库资源管理；客户端程序，负责连接根节点和访问本地。 子系统为独立模块，内部功能需封装在模块内。 硬件架构：i c c s 系统物理架构对其通信与数据交换子系统有重大影响。 图2 2 系统架构示意图1 星形拓扑结构中，中央服务器是关注的焦点。a f c 工作站向s c 服务器构成多 对一的数据传输，数据流不断从叶节点汇聚到中间节点( s c ) 。各个s c 再以同样 7 ! ! ：些2 苎竺! 兰堡丝三 一一 方式连接到i c c s 服务器，传输予系统客户端实际位于s c 服务计算机，其与i c c s 直接通信。在节点树中，信息流越向高层数据流越集中，最后所有信息汇聚到顶 端根节点i c c s 系统。 如系统需求中提到，i c c s 系统首先要整合原一、二号线的e c s 系统，在地铁 三号线完成后加入三号线系统，最后再逐步加入四到八号线，以及广佛线的系统。 这些系统以s c 服务器为主体，与i c c s 系统连接，s c 数量庞大，达2 0 0 个。 i c c s 系统同时实现与外部系统( 羊城通、电信运营系统等) 交换数据。外部 系统内部结构无法得知，视为s c 服务器处于同等地位与作用。 飞； s c ； ! 统服务器： 三号线站点s c其他线站点s c 图2 3 系统架构示意图2 架构特点与影响： 连接层次简单，原始数据上传下载只经s c 一层，即直接传输到i c c s 。 星形拓扑，中央服务器与s c 站点直接连接，易于集中管理控制。 系统平台分布多样，中央服务器位于内部局域网，叶节点分布于内外系 统网，内外网数据需隔离，叶节点安全性要求高。 根节点中央服务器能力有限，但节点存在大幅扩展可能，扩展能力差。 s c 站点数目众多，传输数据量大，数据交换频繁。根节点的中央服务器 存在大数据流并发突发问题。 中央系统必须即时对所有s c 叶节点访问作出响应，否则造成信息丢失。 但出于节点众多，大量请求同时到达，易造成中央系统网络堵塞、负载过大。 如地铁系统每个站点每次数据包大小将近2 0 m b ，短时间内向中央服务器发 出的话，不考虑其他任何服务，就将在短时间内造成巨大的带宽要求。同时， 第2 章数据交换系统 子节点小数据流具有突发性，在根节点将汇聚成大的突发数据流。因此，考 虑到系统有扩展需求，根节点系统必须有足够且冗余处理能力。 叶节点系统平台多样复杂，兼容性和可升级能力较弱。 叶节点包括内外部系统多种接口；供货商不同，运行软硬件平台多样， 服务性能不同，系统不能为客户端提供单一服务程序。叶节点数量庞大，运 行状况各异，保养状态不同，运营性能不同。因此客户端程序设计需多样化。 对等互连：s c 站点和外部系统，使用具有相当能力服务器，同样通过高速网 互连，共享丰富系统资源与强大数据处理能力。 o 他站点计算 图2 - 4 系统架构示意图3 随着网络服务的发展，当前不少网络运作不再依赖专用集中服务器，网络中 每一台计算机能共享各自提供资源与服务，包括存储空闯资源与计算资源，如缓 存、共事磁盘空间，和c p u 的共享使用等1 3 ) 。 架构特点与影晌： 叶结点问高速网连接，数据传输高速可靠。 叶节点有相当共享资源和能力，地位对等。 每个计算节点是服务请求者，也是对其他计算机服务的提供者。 充分利用叶节点共享计算能力与资源，可解决系统扩展性和传输效率问题。 9 2 1 3 整体需求 除了满足基本传输管理功能需求外，由于复杂的应用背景，软硬件机构特点 影响，i c c s 数据传输孑系统有以下较明显要求： 实现集中资源管理，支持多数据源，并实现一定程度负载均衡： 要求有访问控制机制，提供文件数据隔离功能，较强安全性要求； 保持连接层次简单、传输高效同时，解决大数据流突发并发问题； 支持多种通讯流程和协议，支持灵活多种传输模式，能充分利用叶节点 系统运算资源； 提高系统可扩展性、可升级能力、平台无关性和普遍兼容性； 2 2 企业系统数据交换应用现状 当前企业数据传输应用的发展中，数据交换系统占据重要地位，与其他文件 系统共同为企业数据管理提供关键支持。为更准确地归纳企业应用中数据交换的 特点，本文再对两个当前已运行的应用案例进行分析： 1 ) 企业管理的数据交换 巨化集团公司是一个大型化工联合企业，集团公司有涉及多个相关产业，包 括多个生产环节子厂，随着各厂问相互影响程度和关联度高。集团建立了生产调 度信息系统和生产优化管理系统【4 】。 系统利用集团公司内部已建成的主干网络等基础平台，构建车间级、厂级、 公司级三层生产管理信息系统。使用两级服务器分稚式结构【4 1 ：装器级缓存服务 器、工厂级主服务器和集团级主服务器，三者通过接口交互数据。数据库通过设 在总部的主服务器，频繁对各分厂采集数据。 系统功能需求为：( 1 ) 定时、及时、可信地统一收集集团范围内原始数据： ( 2 ) 分析统计原始数据，协助决策；( 3 ) 具有数据存档及归档数据恢复功能等。 设计核心解决问题包括：实现了数据资源统一管理，系统可调节和控制参数， 通过组态信息条件进行查询；同时系统采集数据无点数限制：具有较高管理自主 性，强调了数据安全，具有数据自动重新采样功能。 2 ) 银行系统中数据传输 l o 第2 章数据交换系统 建设银行作为中国主要金融机构，开拓新的营销渠道和新业务过程中，大量 利用信息科技手段开发新业务产品。为了满足快速增加的数据传输需求，加强数 据存储环境，它们建设了基于s o f t e ks t o r a g em a n a g e 的数据存储管理系统f 5 j ， 建立统一平台实现跨平台的数据自动存储报告及执行。 系统建立在3 0 多台来自不同厂商的服务器上，使用不同平台与系统协议。 系统主要需求为：( 1 ) 集中管理大型机和开放系统存储系统，能在统一控制台上 集中地监视、报告和管理整个企业存储的数据；( 2 ) 提高资源管理的自动化程度； ( 3 ) 要求通过一个解决方案管理多厂商的、异构的存储平台；( 4 ) 能自动实现 存储调配，给需要更多空间的应用程序提供更大服务：( 5 ) 增强管理安全性。 其中核心问题是如何对传输数据的管理，以及实现跨平台统一系统问题。 2 2 1 比对分析 与i c c s 的数据交换系统相比，两系统采用相似网络物理架构和传输模式， 具有相近系统需求，同时具有以下几个桶同点。 采用两层星形架构，设置中央服务器，为其他客户平台提供服务。 资源、传输数据自主集中管理，部分要求负载平衡功能； 数据交互频繁，要求较高传输效率，和较强安全性： 巨化集团公司信息系统中，更侧重于数据管理，连接的各分厂系统统一搭建 开发，和系统扩展能力( 无节点数限制) 。系统架构更类似i c c s 系统，分厂计算 机从底层采集数据后，经处理再发往中央服务器；中央服务器核心为主数据库， 负载数据采集与分析统计，同时能向分厂计算机发稚控制信息。 建设银行的数据存储管理系统，重点则包括解决平台异构问题，网络连接主 体为不同平台的服务器，系统能实现文件无缝共享传输，以强化对资源的管理。 即无需考虑设各平台的差异，充分共享数据。 但两案例面临的某些问题，没有i c c s 数据交换系统复杂。 系统建设期较短，架构多样性较小。不需考虑长阶段性建设与不同系统 整台扩展问题。两案例均为内部集团系统应用，可统一同时建设。而i c c s 不涉及分期建设系统，以及外部公司系统的互连。 一1 1 尘些查兰堡主堂堡笙苎一 系统规模相对固定，无较大资源扩展需求。 案例1 中，分厂计算机受分厂数目影响，案例2 中银行的服务器不会短 期增加太多，两者节点数目均不会太大。但i c c s 系统覆盖范围广( 整个广 州地区) ，现已包含大量站点。丽一旦增加新线路，需要增加的站点计算机 数、中央服务器资源和系统访问压力均将迅速增大。 数据交换单向性，不需考虑大量数据的统一发布。 两案例系统强调子节点数据采集，向叶节点发布数据需求不迫切。而i c c s 数据交换系统收集数掘同时，强调将参数按不同方式分发到不同子站点。 安全性要求较低。 两案例建设不涉及外部系统，所有叶节点服务器均为系统内部节点，只 需基本传输保密安全，差异性可控。i c c s 系统需涉及外部系统( 如银行、羊 城通) ，数据种类复杂，不同数据有序管理与访问隔离需求更高。 2 3 企业应用数据交换系统发展趋势 i c c s 系统为广州轨道交通系统服务，为交通领域大型企业。以上两具体案例， 前者为大型制造企业，后者属大型银行事业单位。三者均为行业领域大中型企业， 企业规模较大，架构完善，提供行业领域服务也较全面，因此，其对整行业具有 相当影响力，其发展具一定领导示范意义。 本文同时调查其他同类应用，如邮局业务中，趋势显示越来越多的顾客，正 打算利用像因特网这样的工具来接收、交寄帐单和结算单【1 2 】。许多邮政部门也已 开始采取把他们现有的文件印制系统以升级改造方式，加入电子文件与数据信息 传输功能。系统具有对文档全程跟踪，个性化文档传送，简化手续能力。 总结以上案例，可见除了要求提供基本数据传输服务外，当前数据传输应用 还对传输可靠性、有序性，管理自动化，平台应用能力、安全性，功能可扩展性 等各方面问题的解决有进一步要求。需求核心是在稳定、高效的传输基础上，并 实现更为主动、智能的传输管理。这些问题的解决，随着应用的发展而越发急迫。 另外，在个人应用领域，数据交换应用也有进一步的发展。尽管个人资源存 储般较为分散，这并不符台集中管理模式。但这种情况正在发生变化，随着小 区局域网、校园教育网的建立，不论出于商业还是教育目的，开始出现建立于高 1 2 第2 章数据交换系统 速局域网，以小区为单位的资源共享开始出现。实际上这也是一种企业级数据传 输应用，与其他应用一样，要求较强集中资源自主管理能力，数据访问隔离能力， 高速率，高带宽利用率，能根据不同情况改变传输模式。 以上所举例子尽管应用领域不同，有各自特殊要求，对数据交换传输领域开 发侧重点也各有不同，但出于传输动作目的性质一致，系统基于网络，资源分布 情况相似，同时具有相似物理和逻辑架构，其特点、功能和设计基本需求是大致 相近的。因此它们对传输、管理等功能整体发展的要求、趋势也是大致相同的。 数据交换应用、文件传输系统应用领域广泛，应以长远全面的观点进行考虑。 以上对此类系统特点、问题与需求的归纳，对其应用发展将其一定借鉴意义。 2 。4 企业文件传输系统特点需求 物理架构特点：i c c s 中央服务器为根节点服务端，s e 站点计算机为叶节点 客户端，两者使用c s 模式，星形架构连接。叶节点互连，使用不同平台，其下 连接扩展节点。系统整体基于高速互联网连接，有较大传输带宽。 对以上案例分析归纳，新的数据交换系统模型应具有以下系统性能特点： 分层体系结构和模块化设计。 子系统为独立模块，功能封装在模块内。中央服务器集中管理数掘，提 供对多数据源数据库访问。 安全可靠性，结合数据传输管理，提供多层次面向文件的访闯管理能力。 能实现传输管理与数据管理统一 针对文件提供不同的传输策略，和不 同的访问权限管理；能实现文件隔离，增强数据管理安全往。 稳定性，保持高效、直接、简单的传输方式与连接架构。 系统能充分利用网络直接连接的架构优势，尽量减少传输过程中的额外 资源消耗，保持根节点与s c 叶节点问的直接控制、信息快速交换能力。 传输有序性，具有传输调度功能，解决大数据流突发与并发问题。 系统保证对每个服务申请做出响应，解决好数据并发问题，对有限时段 中服务申请做出动态调度。具有异步传输和同步传输能力。 灵活性，支持多种通讯协议与传输模式，提高扩展能力。 根据资源利用情况，采用不同传输策略。充分利用节点计算能力，共享 ! ! 坐查兰堡兰堡堡兰 节点资源，解决中央服务器带宽不足问题，支持更多传输节点。 系统兼容性，平台无关性，解决瘦客户端问题a 解决s c 叶节点平台具有较大不一致性问题。系统对所有平台保证统一服 务性能，同时因应不同的需求提供不同程度服务。真正实现瘦客户段，资源 存储、管理、传输与客户端无关， 2 5 当前发展面临问题 显然，之前两案例中系统殴计不能完全满足i c c s 数据交换系统需求。当前 主要，f 发模式也不能完全满足本文数据交换系统开发需求。暂时也较缺乏对同类 问题相关模型的研究分析。 当前大型公司的数据传输系统，较多使用商业产品；而中小型公司则根据不 同项目需求个别开发程序。商业产品稳定性较好，适合大型公司安全性高要求。 但由于技术保密，二次开发能力和兼容性较差。同时，系统升级成本较高，一旦 安装软件，功能将于固定，除非全面升级，否则难以增加新功能。 而且一般文件管理系统，包括分布式文件系统，如n f s 、d f s i ”、r n f s 嘲和c o d a f 9 l 等，主要为整个系统提供统一资源管理，文件共享，持续的数据服务【j o j 。文件传 输是必要解决问题，但不是主要考虑模块，较少考虑传输控制问题。 而中小型应用系统的开发，较为缺乏对数据管理、系统兼容性、可扩展性等 问题的整体思考。对问题由于缺乏整体深入研究，经常使用的是头痛医头、脚痛 医脚的解决方式，难免影响系统开发效率，系统可持续发展能力不足。 1 4 第3 章技术现状与发展分析 第3 章技术现状与发展分析 本章通过分析现有文件传输模式，试图找出有效解决方案，实现传输系统。 随着分布式运算技术发展，文件传输系统的模式与实现技术有长足发展。适应分 布式环境新特点，应用分稚式新技术也将成为未来数据传输系统发展趋势。 3 1 分布式环境 随着计算机技术的发展，大型组织中计算机环境发生很大变化，从集中式计 算机环境发展至网络计算环境，至今又发展成为分布式计算环境。基于网络应用 的文件传输和文件系统应用同样不断变化，逐步朝分布式计算环境方向发展。 网络计算环境与分布式计算环境有许多共同点，分布式计算环境是前者进一 步的发展。两者均处于计算机网络互连环境中，允许用户共享设备、数据，允许 用户通过访问信息、或电子邮件等多种方式实现用户间通信。但网络计算环境缺 少系统管理，不能为运行在不同平台上的各种应用提供一体化的基础结构。同时 在网络计算环境中，信息的存储位置对用户是不透明的，用户找到所需信息| ； 必 须知道信息存放的位置。 而分布式计算环境，则克服了前者缺点。它能对网络资源具有统一的管理系 统，能为不同平台上的各种应用提供分布式服务，包括名字服务、安全服务、分 布式文件服务等，如p 2 p 文件传输系统和d f s 、n f s 等分布式文件系统。名字服 务实现信息透明性，使用户在分布式环境中能透明地使用资源。透明的含义阱1 是指：用户在使用异地信息时，并不需要知道信息存储的位置，可以像使用本地 信息一样使用异地信息。正是这种统一性、透明性为分布式计算系统带来高效率 和安全性，使其拥有巨大发展前景。 3 2 文件传输系统瑰状研究 s o c k e t 是网络通信的基础。基于s o c k e t 的f t p 技术，一直是实现文件传输 应用的主流技术。直至分布式计算技术和p 2 p 技术在文件传输应用中进一步发 中山大学烦十学位论文 展，这种情况才开始有所改变。现在，文件传输与共享己成为在p 2 p 技术应用 中发展最快、最成功的领域之一【2 5 l 。 3 2 1s o c k e t 技术 s o c k e t ( 套接字) 最早是出b e r k e l e y 大学提出的在u n i x 操作系统下实现 t c p l p 通信协议的开发接口。随着i n t e r n e t 在全球范围内的使用，它也被广 泛应用到其他系统领域。 t k e t 是刚，f p 的网络应用编程界面，其实质是通信端点的一种抽象，它 提供科z 乏送和接收数据的机制。t c p i p 协议使用以下概念来描述s o c k e t ，以 解决网间通信中，系统平台不同和协议不同问题。 端口，是一种抽象的软件结构。应用程序( 即进程) 通过系统调用与某端口 建立连接后，传输层才能通过该端口与相应进程交换数据：地址，不同的机器在 网络中所处位置的标示，主机地址由网络i d 和主机i d 组成。 网络中使用三元组在全局唯一标志进程间通信进程( 协议，本地地址，本地 端口号) ，称为半相关( h a l f a s s o c i a t i o n ) 。每个连接( 一个完整的网问通信) 由两个协议相同的半相关组成，由五元组描述( 协议，本地地址，本地端口号， 远地地址。远地端口号) ，称为一个相关( a s s o e i a t i o n ) 。 s o c k e t 服务方式分为：s t r e a ms o c k e t s ( 流式) 和d a t a _ g r a ms o c k e t s ( 数据 报) 。前者提供无差错的、面向连接的、无长度限制的双向字节流按顺序传输。 后者定义一种无连接的服务，数据通过互相独立的报文无序传输，传输过程中不 保证可靠性和无差错性。在t c p i p 网络数据传输应用中，进程使用主要模式是 客户服务器( c s ) 模式，包括f t p 服务和p 2 p 系统，底层数据传输多基于 s t r ea i i l s o c k e t 实现。 3 2 2 传输模式 文件传输对象是数据文件。每次传输的对象数据只有个。一个传输连接中 同一时间传输的数据文件只能有一个。若把一个连接中数据提供方称为数据源， 接收方作为服务客户，本文认为当前文件传输模式逻辑上可分为两种：一对一， 1 6 第3 章技术现状与发展分析 是指每次传输只有一个数据源和服务客户的数据传输模式；一对多，是指每次有 一个数据源和同时多个服务客户参与的数据传输模式。 这种服务模式较为简单，数据源与服务客户建立一对一的通信连接，在两者 存在的情况下，数据流使用s o c k e t 接口，直接从数据源发送到服务客户。这旱 的存在，可以是数据源与服务客户的同时存在，即同步通信，这也是过去大部分 操作系统中文件传输和f u r p 服务使用的模式；也可以是非同时存在，即异步传输 的，较有代表性的技术有j a v a 中j m s 机制。 同步传输虽有简单快速的优点，但参与双方同步建立过程必须互相等待，连 接中断时必须重新连接，传输双方限制和等待中消耗时间较多。而异步传输有效 解决这个问题，传输双发无需同时存在，甚至两者问不一定有连接。使用共享缓 冲空阍使双方有更大自由度，但需要额外的存储空间和控制机制。 1 ) f t p 服务机制 文件传输协议f t p ( f i l et r a n s f e rp r o t o c 0 1 ) 是一种快速、高效、可靠的 信息传输方法，它是最早成为运行在t c p i p 协议上两个主要的网络应用之。 它基于t c p 安全可靠的虚电路连接方法而实现文件传送。f t p 技术发展成熟，被 广泛应用于文件传输领域。各种编程语言提供完善的f t p 接口，如”v a 语言中， 可使用c o m o n s n e t 包中完整a p i 接口。 图3 一l m 传输机制示意图 f t p 基于c s 模型设计，数据源需要服务程序管理传输连接，而每次连接都 会与服务器建立两个连接，包括控制连接和数据传输连接。一旦控制连接建立成 1 7 巾山大学硕+ 学位沧文 功，双方进入交互式会话状念，协调文件传输工作。 f t p 文件传输服务有相当优点：包括协议机制使用与实现简单，使用广泛； 传输速度快，支持任意长文件传输，传输效率高；提供一定的服务器端文件信息 服务和有限的传输安全服务；还有提供一定质量保证服务。 2 ) j m s 技术方案 j a v a 消息服务( 朋s ) 【“】由一套接u 和有关联的语义组成，这些语义定义了 j m s 怎样接入企业消息产品中去，它用的a p i 方法实现应用程序发送、接受和处 理相应消息的功能。消息( m e s s a g e ) 是指组件或应用程序间通讯的信息。j m s