一种基于云存储的同步网络存储系统的设计与实现

1、哂 j、 砖一。 ;f碡-毋一描F分类号密级单位代码 10422学 号固,71 未力; 硕士学位论文 Shandong UniversityMaster's Thesis 论文题目:,甜参丁丢店馅彩同步旧缮彩碣糍融蔷-多够坨作专导合作导者垒墼垒业益丝垒塑垒垒师 :监!兰师3-4,勺 年 岁月 ,啦日一 7。 , . 警 ; 芗 【 /、 , 原创性声明 Y179j|ii。l:ji岑攀本人郑重声明:所呈蓟挣挚擞,是本人在导师的指导下,独立蝴 究所邛【j|拍褓。除溲:中已经注明引用的内容外,本论文不准昭泊卧磅凇人 或集体已经发泰刻癸歌曲锛牺稠课。对本文的啡出重要弱渐人和集 体,均己杏玟中以

2、明畹方式标明。本声明的法律责任由本人承担。关于学位论文使用授权的声明本完金了解山东大学确;褓留、便用学往磁浊琦gj多啶,同意学校保留或 向国家有关部门或机构送交论文的复日州.和电子J诧允销镑瑶友查阅和借阅:本人鼯陂山东大学可以:际掣荆立论文的全部或部分内容编入.有关数据库进f亍检 索,可炯影印、缩印或典箍发匍睁段屎甬衄辑吼编本学位论文。(保密论史甜释劫磁铜比觇翘:壹呈皇垒导燃:虱撕:型呈竺,y 少 - 山东大学硕士学位论文目 录摘要I 第一章绪论.1 1.1研究背景l 1.2国内外研究概况2 1.3论文的主要工作3 1.4论文内容安排4第二章网络备份存储系统概述.6 2.1云存储简介.6 2.

3、2网络数据备份8 2.3网络存储技术8 2.3.1直接附加存储8 2.3.2网络附加存储9 2.3.3存储区域网络9 2.4网络存储的发展方向l O 2.5SSL及AES介绍11 2.6radius和LDAP协议简介.1l 2.7国外主流网络备份存储产品测试和分析13 2.8本章总结.15第三章基于Amazon S3网络存储系统中几点关键技术研究17 3.1快速远程文件快速同步算法的研究17 3.1.1Rsync算法17 3.1.2Basic sliding window chunking算法25 3.1.3TTTD理论(Two Thresholds,Two Divisors Algorith

4、m27 3.1.4本系统文件同步算法实现.28 3.2系统安全问题探讨29 3.2.1数据存储安全及传输安全方式一29 3.2.2系统认证方式策略.29 3.3文件存储方法探讨30 3.4垃圾数据回收策略32山东大学硕士学位论文3.5元数据格式32 3.6本章总结.33第四章基于Amazon s3网络存储系统总体设计。34 4.1系统总体框架.344.2Service logic模块分解图。35 4.2.1用户认证模块。35 4.2.2用户管理模块.35 4.2.3file管理模块37 4.2.4chunk管理模块38 4.2.5连接管理模块。39 4.2.6同步处理模块.40 4.2.7网页

5、处理模块40 4.2.8文件传输处理模块一40 4.3主要数据表的关系和组织结构.4l 4.4系统架构和网络结构.42 4.5本章总结.43第五章实现44 5.1传输服务程序的设计(transmit44 5.2Connect服务设计.47 5.3keep.1ive server服务器设计.52 5.4存储客户端程序设计.53 5.5本章小结.60第六章实验结果6l 6.1系统性能测试总结62第七章结束语63 7.1论文工作总结63 7.2下一步工作64参考文献.65致谢67 o 山东大学硕士学位论文CONTENTAbstracti Chapter 1Exordium.1 1.1The back

6、ground of the research1 1.2The current search at home and abroad2 1.3The main work of this paper.3 1.4The structure of and content of this paper.4 Chapter 2network backup storage system.6 2.1cloud storage.6 2.2network data backup.8 2.3network data storage technique8 2.3.1direct Attached Storage8 2.3

7、.2network attached storage9 2.3.4storage area network.9 2.4the future direction of network storage.10 2.5Introduction to SSL and AES.11 2.6Introduction to Radi us and LDAP.11 2.7the analysis and test of popular equipment.13 2.8The conclusion15 Chapter 3The key technique ofAmazon S317 3.1fast format

8、file synchronization algorithm17 3.1.1Rsync algorithm17 3.1.2T丌D theory.25 3.1.3Basic sliding window chunking algorithm.27 3.1.4the realization ofthe system.28 3.2The research ofthe security problem ofthis system29 3.2.1Data storage security and transmission security一29 3.2.3The system authenticatio

9、n29 3.3The way of file storage.30 3.4The trash data recycle.32山东大学硕士学位论文一 -_一 3.5The atom data.32 3.6The conclusion33 Chapter 4The design of network storage system34 4.1The structure of the system.34 4.2Service logic model”35 4.2.1The user authentication model。35 4.2.2The user management model.35 4.

10、2.3The file management model37 4.2.4The chunk management model.38 4.2.5The connection management model.39 4.2.6The synchronization processing model.40 4.2.7The web processing model”40 4.2.8The structure ofdata form40 4.3The s缸uctIII.e ofthe data table.41 4.4The structure of the system and network.42

11、 4.5The conclusion43 Chapter 5The realization.44 5.1The design oftransmit44 5.2The design of Connect service47 5.3The design of keeplive server52 5.4The design of storage client53 5.3The conclusion60Chapter 6 Theexperiment”616.1The resuIt of the test.62 Chapter 7The conclusion63 7.1The COnclusion63

12、7.2The future work一64 References.65 Acknowledgements674 山东大学硕士学位论文摘要数据安全越来越被用户所重视,其中数据备份是一种最直接,最高效的数据 安全的策略,而远程备份所具有的独特的优势,运用越来越广泛,而目前提供该 服务的产品价格昂贵,而且数据安全不能得到绝对的保证,然而用户自己部署存 储花费太高,因此,研制一个性能高,花费低,的远程备份存储系统具有重要的 理论意义和实用价值。随着云存储的快速发展和目前Amazon S3的良好性能,在过去一年多的时间 里,本文致力于在当前的云存储环境下开发出一个能够为广大用户提供高性能, 实用性强的同

13、步网络存储系统,本文首先对国外相关的产品做出深入的研究和分 析,并总结其在安全,性能方面的优势和不足,接下来对存储系统的相关技术做 出介绍和分析,最后在结合本人在北京borqs通讯技术有限公司云存储部门半年 多的实习经验的基础上提出一种新型高性能同步网络存储系统结构,提出独特的 控制信息和数据信息分开处理策略,并对系统各个模块给出详细的介绍和具体的 实现。本文主要的工作是对远程文件同步算法做出深入分析的基础上,根据同步网 络存储系统自身的特点,提出一种高性能的远程文件快速同步方法,并在数据存 储方面提出高效的存储方案,为了保证系统数据和用户信息的安全,提出合适的 解决方案,同时针对目前许多用户

14、经常在多台主机办公的情况下,设计和实现了 多台主机之间的数据同步策略和文件共享功能,并针对系统提出自动备份功能, 使系统能够自动监测相应文件的改变,使自动与远程同步,最后给出该系统的总 体实现架构图和具体的实现。关键词:网络备份,云存储,网络存储山东大学硕士学位论文AbstractData security become more and more important nowadays,data backup is the most direct and effective data security strategy,and remote backup is more securitytha

15、n local backup,which is used widely nowadays.Theproducts which provide the remote backup service is not only expensive at present,but also the data security is not guaranteed.The users deploy the backup service by themselves costing too much. Therefore,the development of a high-performance,low cost

16、remote backup system has the important theory significance and application value.With the rapid development of cloudstorage and the current outstanding performance of Amazon S3,in the past year,the paper is committed tO develop a synchronous network storage systems tO satisfy user needs,first,this p

17、aper makes a in-depth research and analysis for the foreign related products and summarizes advantages and disadvantages in security and performance,Second with a deep research about the related technology and seven months internship experience in the department of cloud storage in borqs company,I d

18、evise a new synchronous networkstorage system structure with the control information and data informationprocessdifferently,and gives detailed descriptions of the various parts and detailed implementation.This dissertation makes a deep analysis for remote file synchronization algorithm, and put forw

19、ard new fast remote file synchronization methods.In storage,the dissertation devises an efficient storage solutions and appropriate solutions for guarantying the security of data and user information.Nowadays,many people usually work on multiple hosts,the dissertation designee a new solution which m

20、ultiplies host can synchronization automatically.The user Can share the file according their needs.The system cans automatically monitoring the changes in file, and then automatically makes synchronization with server and other hosts.Keywords:network backup storage,cloud storage,network storage. 山东大

21、学硕士学位论文1.1研究背景第一章绪论计算能力,存储和传输是计算机发展史上永恒的三大主题,数据备份和存储 一直是企业和学术界关注的热点,随着网络和存储的发展也不断推动着新的技术 和相关产品的产生【1,2,34j,67,81,随着数据量的急速增长,存储系统在当前信息设 施投资中比例以超过50%【9】。而对个人及中小型企业来说,部署大规模的存储设 备是一件很费力的事情,而目前,使用第三方提供的存储服务依然价格不菲,比 如Connected TLM公司为用户提供网络存储服务,但是价格在160"255美元每 年(4GB。Norton公司提供的在线备份服务为60.11美元每年(大小为25GB.

22、 但是随着近些年来云计算和云存储的迅速发展,在计算方面和存储方面迎来 了新的变革,云存储是在云计算概念上延伸和发展出来的一个新的概念,它是指 通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型 的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问 功能的一个系统。云存储概念一经提出后,就受到大多数企业的关注和支持,目 前Amazon推出弹性计算云(EC2和简单存储服务【lo】(S3为企业提供计算和 存储服纠11】,微软也随后推出了网络存储移动硬盘服务(windows live skydrive, 云存储具有相对较低的价格,同时具有可扩展性,灵活性,厂商选择

23、多样性等优 势,比如目前企业建立存储区域网所需要的建设费用为每GB需要20美元,然 后,云存储设备每GB仅仅需要1美元,极大的减少了存储方面的资金投入。 数据备份作为保证数据安全的一种重要措施,而远程备份所具有的独特的优 势,使得其运用越来越广泛,也是众多企业研发的热点,而目前为用户提供备份 存储的产品要么价格昂贵,比如Symantec Protection Network为每个用户提供 10GB的备份存储服务其费用为￥9.99每月,而EMCS MozyPro费用为 ￥3.95+￥0.50/GB每月,要么需要自己部署存储设备。而采用Amazon s3提供的存 储服务,其费用大大降低,目前Ama

24、zon S3在50TB数据以下的时候,征收的费 用为0.155每月,要么需要自己部署存储系统,这对个人和中小企业来说是一件 非常费力的事情。所以当今研制出一个易使用,费用合适,同时保证数据的安全山东大学硕士学位论文的存储备份服务系统具有巨大的市场潜力和应用前景。针对目前存在的需求,本文以Amazon提供的S3云存储服务为基础,总结 分析当今相关产品的特点,开发出一个能够为广大用户提供存储备份服务的自动 同步网络存储系统。1.2国内外研究概况数据备份分为本地备份和远程备份,而远程备份随着网络带宽的增加和其本 身所具有的优点使得远程备份越来越重要,使用的也越来越多,相关产品也出现的越来越多,目前主

25、要的产品有Linux下应用较广泛的rsync11,该产品最初的版 本由Andrew Tridgcll开发,是首次使用较成功的使用增量传输来节省带宽的备 份产品,具体算法见【12'13】,依然是目前用的比较广和性能较优的产品,但是其 安全性能较差,使用复杂,基本上只有专业人士使用,且该产品只有一个备份点, 即只能还原最近的一个备份点,同时用户必须自己部署备份存储的磁盘,对于个 人用户保存数据不太合适,数据存储方面也没有采取节省优化措施。Rsnapshot3J 是rsync的改进版,在rsync基础上增加了快照服务,即文件有多个镜像点,该 产品充分利用硬链接,因此一定程度上也节约了磁盘空间

26、,Box Backup4l在客 户端传输前对数据进行了加密处理,在安全上得到了加强,保存多个镜像 点,但是目前该软件还不是很稳定,性能也不是很好,用户量不多, Duplicity51,该网络备份软件也使用rsync类似的算法来实现增量存储,使 用GNUPG加密保证数据的安全,最重要的一个特色是client把多个小文 件打包在一起,再经过压缩来存储,这样比起前面提到的产品更能减少服 务端的存储空间。但是该软件还没有实现良好的空间回收策略,每次增量 备份的文件又依赖前一版本的文件,这样如果不定期实行一下全备份的话, 以前老的文件占用的空间永远得不到释放,造成空间的浪费。Jungle Disk8】

27、是第一个基于Amazon S3的网络备份存储系统,该系统最大的特色能够在多台 主机自动同步。但是他的价格依然不菲,可见对存储利用方面做的不是很好,对 于需要比较大的存储服务来说,该软件并不是很理想。Brackup5J也是近期出 现的一个基于Amazon S3的一个网络备份软件,该系统采用多个备份点镜 像服务,使用加密保证数据安全,采用chunk级别对文件进行存储,同时2 山东大学硕士学位论文把数据与元数据分离开来,这样可以有限实现旧的备份文件空间回收,但 是该系统没有对小文件进行分别处理,不能最大的利用存储。总的来说,目前各类网络备份存储软件,各有各的优缺点,而随着云存储的 发展,开发出新的高

28、性能网络存储系统是目前企业界和学术界的热点,本文在对 目前国外相关产品深入分析的基础上,立足于目前Amazon提供的S3云存储服 务的基础上,致力于开发出一种能够为用户提供网络存储备份服务的新型的高性 能网络存储备份系统。该系统具有以下特点:在线备份该系统能够自动监测备份目录中文件的改变,然后自动与远程服务端文件的 同步。同时能够监测到多台主机之间的差异,做到多台主机间文件的同步, 对每次修改的文件,再次传送只传输文件改变前改动的部分。对数据存储部 分,我们采用粒度chunk(2M存储,且使用良好的数据压缩技术来减少存 储空间,采用合理的数据回收策略,做到最大程度上利用存储空间,节约成 本。文

29、件共享我们能够通过web来管理和查看我们备份存储的文件,还可以根据需要把文 件共享给自己的好友,当不需要共享时,我们可以取消共享。安全我们备份过程中传输的数据采用SSl_frLS安全传输,同时对备份存储的文件 采用AES(256位加密处理,对于用户的认证采用专门的radius+ldap服务 器方法进行认证,能够保证每个用户的数据安全。价格便宜系统使用Amazon提供的云存储服务S3为基础,使用S3除开具有良好的数 据安全性外,其价格也非常便宜,目前根据存储的大小不同,价格为￥o.15GB/月￥O.55GB/月之间。1.3论文的主要工作本文以当前热门的云存储服务为存储服务基础,在深入分析当前相关

30、产品特 点的前提下,设计并实现了基于云存储服务(Amazon s3的同步网络备份山东大学硕士学位论文存储系统,主要工作如下:1.深入分析总结了目前国外主流的存储备份系统,并对他们做出深入的分析。2.深入研究分析了目前主要的远程文件同步算法及实现原理,在以rsync算法的基础上,结合系统的特点,提出一种性能更好的远程文件同步算法。 . 3.提出一种基于Amazon S3存储服务的新型网络存储系统结构,该结构不 仅能够提供高性能的备份存储服务,而且能够保证多台机器之间的文件能够自动同步。4.为了更好的利用存储空间,在总结目前主流软件的优点前提下,提出优 秀的存储解决方案和对该系统一些相关技术做出探

31、讨,并提出相关的解决方案。5.完成了本系统初始版本的编码工作,但是由于工作量比较大和时间的关系,一部分功能没有得到完善。1.4论文内容安排论文深入分析研究了网络存储系统的远程文件同步算法,提出了基于Amazon S3的网络存储备份服务的新的系统结构,并设计与实现了该系统。本论文主要分为五部分,详细讲解了该网络存储系统的体系结构,实现原理,并重点描述其中快速文件同步算法部分和用户数据存储解决方案、对系统需要的数据加密技术,身份认证技术等内容做出探讨和相应的解决方案,最后给出系统各个部分详细的设计方案。论文的第一部分主要说明和介绍了网络备份存储系统中一些概念和技术,分析网络存储的发展概况和基本原理

32、,总结当前该软件的发展情况,并对当前主要的几种流行的软件做出分析。并且描述其部署的基本结构,总结当前优秀的在线存储系统所涉及几个重点问题,并对本论文所涉及的这几个知识点做出简单介绍,为论文的进一步展开奠定了基础。论文的第二部分,对在线备份存储系统中几个关键技术做出详细的分析和研究,重点是远程文件快速同步算法(该算法也是一款优秀网存的灵魂,在深入分析目前流行的算法的基础上(rsync算法【12,131,及其该进算法【14,15,16,17,18,sliding4 山东大学硕士学位论文window chunking算法【201,和T1Hr D【211算法以rsync算法为原型的基础上, 结合TTT

33、D算法和根据系统的实际需要,提出一种改进后的快速同步算法, 同时对系统的安全方面,文件存储方面,空间回收方面,元数据等问题做 出分析并对系统制定合适的解决方案,并对认证提出LDAP和radius认证 模型,这一部分是下面系统的详细设计的基石。论文的第三部分和第四部分是系统的实现部分,第三部分提出系统的整体架 构和逻辑图,对各部分的功能做出详细的介绍,同时对系统的一些关键数据结构 做出描述。论文的第四部分对该系统各部分做出详细设计和具体的代码实现。 论文的第五部分对系统做出测试并对本文所做的工作做出总结。并对在线存 储的发展前景做出评价和展望。5山东大学硕士学位论文第二章网络备份存储系统概述一款

34、优秀的网络备份存储系统的构建需要考虑很多方面,比如系统的安全, 存储方案,文件同步算法,消息交互流程等等,本文将为这些部分做出详细的介 绍,为论文的进一步展开奠定了基础。2.1云存储简介云存储是在云计算(cloud computing概念上延伸和发展出来的一个新的概 念。云计算是是分布式处理(Distributed Computing、并行处理(Parallel Computing 和网格计算(Grid Computing的发展,是透过网络将庞大的计算处理程序自动分 拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经计算分析之后 将处理结果回传给用户。通过云计算技术,网络服务提供者可以

35、在数秒之内,处 理数以千万计甚至亿计的信息,达到和”超级计算机”同样强大的网络服务,对云 计算和云存储比较详细的介绍见参考文献【221【23】【加。云存储的概念与云计算类似,它是指通过集群应用、网格技术或分布式文件 系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同 工作,共同对外提供数据存储和业务访问功能的一个系统企业总是尽力的在满足 性能的条件下尽量减少成本,所以许多都是刚开始巩同基本操作,后来引进虚拟 化技术。而云计算/存储使得这个步骤一步到位,而且可以减少管理和基础建设 成本,其具体架构图如2-1图所示【251。使用云存储服务具有明显的优点。1.几乎为零的基础设施成

36、本,如果自己部署存储,我们需要大量的硬件投 入,且需要人来维护其服务,其成本比较高。而采用云存储服务基本上可 以把这个费用减少到零。2.根据实际使用情况来收费。使用云存储服务使个人或者企业不必要为硬 件升级改造或者资源浪费而担心。3.处理时间。由于云存储平台具有极高的并行性处理,使得处理速度非常 快。6 4.更加有效的资源利用。系统管理员经常担心硬件采购(当硬件不能满足需 要时和资源合理化使用(资源浪费时,而云体系结构能够更加有效的管理资 源,能够合理有效的请求资源和不需要时回收利用资源。云存储包括了Google文件系统所具有的功能和SAN(storage area network 存储优势,

37、他有效的把研发人员担心怎样存储数据中解放出来,也不用再担心其 存储空间够不够用,减少了建设成本和维护管理成本。而且保证数据随时可用, 这样就可以使用户专注于数据的许多创新,不用再担心数据如何存储。但是使用第三方的云存储服务也有许多顾虑,由于我们的数据存储在第三方 那里,数据安全是不是能够得到保证,而且是不是可以提供稳定的服务,收费是 不是合理。因此我们在选取该服务时,应该选取实力强的公司,例如现在这方面 做的比较成功的Amazon,在安全方面,对存储数据我们尽量选取强度较高的密 码算法对数据进行加密存储,同时根据自己所需选择价格成本最合适的存储服 务。访阀层应用接口层纂磁管理层存储层F 存储虐

38、拟纯、存铭撬巾管理、状态勉控、维妒B缀蛰JI 荐锗设答撇s、Fc、tscst簿, ! 图2-1云存储架构图72.2网络数据备份数据备份是一种数据安全策略,是将需要备份的数据保存在异地,在原始数 据遭遇毁坏的条件下,利用备份数据恢复出原始数据。数据备份分为完全备份, 增量备份和差分备份,按需备份。目前数据备份的主要技术分为四种。1快照技术,快照即对预先定义的数据的逻辑单元号建立一个快照逻辑单元 号和快照cache,然后利用快照逻辑单元号和cache实现对元数据的一个完 全拷贝。2镜像技术,镜像是多个磁盘存储同一个数据镜像的信息存储过程,其中一 个叫主镜像系统,另外的叫从镜像系统。3磁带虚拟化备份

39、技术,该技术通过磁带库,应用虚拟化技术而创造的一个 抽象化磁带设备的方法。4基于网络的SAN远程备份技术,即通过光纤把两个SAN连接起来,其中 一个为主存储池,另外一个为从存储池,但是这种存储方式实现成本高, 跨越距离短,使得这项技术没有得到很好的运用。2.3网络存储技术随着网络技术的发展和处理能力的不管提高,传统的单机数据处理方 式被以网络数据为中心的处理方式所取代,目前成熟的网络存储系统结构 包含三种方式,分别是直接附加存储,网络附加存储,和存储区域网络。2.3.1直接附加存储直接附加存储(direct Attached Storage 是指将存储设备通过SCSI 接口或者光纤通道直接连在

40、一台计算机上,该存储方式使用的情况有以下 几点:1.存储服务器地理分散,通过NAS连接起来比较困难。2.许多数据库运用或者应用服务器程序,要求直接连接存储设备。想邮 件服务器等。8 3.企业本身网络资源不足,在不影响原有的网络资源环境下,该存储方 式是最好的选择。但是,数据请求和传送都需要文件服务器的参与,当大规模的数据访问 时,会给服务器的存储转发带来非常大的开销,使得文件服务器成为整个 系统中的性能瓶颈。2.3.2网络附加存储网络附加存储(network attached storage,是指存储设备通过以太网 及其他标准的网络拓扑结构,连接到许多计算机上,建立专用于数据存储 的存储内部网

41、络,随着千兆以太网,Vlan虚拟局域网的出现和投入商用, 为NAS带来质的飞跃的广泛认可,这种方法从两个方面改善了数据的可用 性。第一,即使相对应的服务器不再工作了,用户依然可以读出数据,第 二,存储设备(即硬盘驱动器阵列或可移动的存储介质等集成在一起的简 易服务器不会崩溃,即没有软件问题引起的崩溃。该存储方式需要消耗一定的文件服务器带宽消耗,该存储方式使用网 络进行备份与恢复,这就要求一定的带宽要求。2.3.3存储区域网络存储区域网络(storage area network是通过光纤通道连接到一群计 算机上,建立专用于数据存储的区域网络,该存储技术经过10多年的技术 发展,已经相当成熟,S

42、AN存储采用的带宽从100M/S,200M/S,发展到目前 的1Gbps,2Gbps。因为SAN是从基本功能中把存储功能剥离出来,这样 在备光纤接口份的时候就不会对网络整体性能造成很大的影响,而且,光 纤结构提供了10公里的连接长度,这使得物理上分离的存储变得简单,该 适用范围主要是要求的存储范围大,如银行等,但是由于成本高,需求量 不大影响了使用。总体来说,对网络存储系统来说,DAS系统因为存在着先天性的架构设计 缺陷,所以市场已经逐渐地被新兴的网络存储系统NAS及SAN所取代,并 开始进入到了衰退阶段。在1998年的时候,DAS系统仍然占据着实时资料存储9山东大学硕士学位论文设备产值的96

43、.8%;不过到2000年的时候,DAS系统的市场比重已经快速下 降N T 78.6%。根据Gartner Dataquest的调查资料显示,网络存储系统的产值 在2003年内将直逼DAS系统,在实时资料存储设备总产值中的比重将进一步 地提高到46.7%。到2004年的时候网络存储系统的产值甚至将会超越DAS系 统,占实时资料存储设备总产值的58.3%。应用服务程序文件系统DAS2.4网络存储的发展方向 NAS SAN 图2_2三种存储方式Internet和网络技术的快速发展大大的推动了网络存储技术的进步,目 前,网络存储技术主要的发展趋势和研究重点主要如下:高性能cluster文件系统随着当今

44、数据存储量的激增,繁重的数据存储任务严重的降低了服 务器的性能,通常为了改善其网络服务的性能,我们加快处理器速度, 增加I/O吞吐量来改善性能,但是由于价格和技术的因素,往往此方法 很受限,cluster文件系统可以连接大量的存储节点来提供高性能的存储 服务。其重点研究研究热点是数据存储和标准访问接口。lP存储【261lP存储指在IP网络中实现类似SAN光纤通道块数据处理,他在千兆以 上以太网上构建网络存储,在传输距离,管理成本,及性能方面超过光 t0山东大学硕士学位论文纤通道技术,目前主要研究的相关技术为FClP,iFCP,mFCP等技术。 InfiniBandl27这是一个实现网络存储的新

45、技术,他采用了基于通道的方案,沿通 信链路分配I/O工作负荷,该技术采用消息传送模式,适配器负责处理 传输协议,InfiniBand交换机负责确保数据包到达预定目的地。他的这 种独特的思想使得网络存储更加具有优势2.5SSL及AES介绍安全套接层协议(SSL是网景公司于1994年10月为其产品Netscape Navigator而设计的数据传输安全标准。主要在互联网环境下为主机提供点 对点的通信安全,因为TCP/IP协议只负责连接两台计算机传送数据流,而 SSL为网络收发双方提供一个安全及可靠的传输服务。SSL协议可分为两 层:SSL记录协议(SSL Record Protoc01:它建立在可

46、靠的传输协议(如 TCP之上,为高层协议提供数据封装、压缩、加密等基本功能的支持。SSL 握手协议(SSL Handshake Protoc01:它建立在SSL记录协议之上,用 于在实际的数据传输开始前,通讯双方进行身份认证、协商加密算法、交 换加密密钥等。AES(Advanced Encryption Standard又称Rijndael加密法,是美国 联邦政府采用的一种区块对称加密标准。这个标准用来替代原先的DES,? 该算法强度与三重DES差不多,但是比三重DES更有效。该算法是具有分组长度和密钥长度均可变的分组密码。密钥和分组长 度可以独立的指定为128位,192位和256位。加上和可

47、变的密钥及可变 的数据分组长度为各种应用要求提供了大范围可选的安全强度,且该算法 能偶快速的实现且能偶抵抗定时分析攻击。2.6rad i US和LDAP协议简介Radius(Remote Authentication Dial In User Service,远程用户拨号 认证系统由RFC2865,RFC2866定义,是目前应用最广泛的 AAA(Authentication,Authorization and Accounting协议,是一种C/S结山东大学硕士学位论文构的协议,它的客户端最初就是NAS(Net Access Server服务器,现在 任何运行RADIUS客户端软件的计算机都可

48、以成为RADIUS的客户端。 RADIUS协议认证机制灵活,可以采用PAP、 CHAP或者Unix登录认证 等多种方式。RADIUS是一种可扩展的协议,它进行的全部工作都是基于 Attribute-Length-Value的向量进行的。NAS和RADIUS之间信息的交互是通过将信息承载在UDP报文中来完 成的。在这个过程中,交互双方将使用密钥对报文进行加密,以保证用户 的配置信息(如密码被加密后才在网络上传递,从而避免它们被侦听、 窃取。LDAP是轻量目录访问协议,英文全称是Lightweight Directory Access Protocol,一般都简称为LDAP。它是基于X.500标准

49、的,但是简单多了并 且可以根据需要定制。与X.500不同,LDAP支持TCP/IP,这对访问Internet 是必须的,简单说来,LDAP是一个得到关于人或者资源的集中、静态数据 的快速方式。LDAP最大的优势是:可以在任何计算机平台上,用很容易获得的而且 数目不断增加的LDAP的客户端程序访问LDAP目录。而且也很容易定制 应用程序为它加上LDAP的支持,且LDAP协议是跨平台的和标准的协议, 因此应用程序就不用为LDAP目录放在什么样的服务器上操心了。实际上, LDAP得到了业界的广泛认可,因为它是Internet的标准。产商都很愿意在 产品中加入对LDAP的支持,因为他们根本不用考虑另一端(客户端或服 务端是怎么样的。LDAP服务器可以是任何一个开发源代码或商用的LDAP 目录服务器(或者还可能是具有LDAP界面的关系型数据库,因为可以 用同样的协议、客户端连接软件包和查询命令与LDAP服务器进行交互。 与LDAP不同的是,如果软件产商想在软件产品中集成对DBMS的支持, 那么通常都要对每一个数据库服务器单独定制,同时比起很多商用的关系 型数据库,你不必为LDAP的每一个客户端连接或许可协议付费,而且大 多数的LDAP服务器安装起来很简单,易维护和优化。LDAP服务器可以用”推”或”拉”的方法复制