（系统分析与集成专业论文）一种基于云存储的同步网络存储系统的设计与实现.pdf

、_ii- ， 原创性声明 y 1 7 9 j | | i i 。l ：j i 岑攀 本人郑重声明：所呈蓟挣挚擞，是本人在导师的指导下，独立蝴 究所邛【j | 拍褓。除溲：中已经注明引用的内容外，本论文不准昭泊卧磅凇人 或集体已经发泰刻癸歌曲锛牺稠课。对本文的啡出重要弱渐人和集 体，均己杏玟中以明畹方式标明。本声明的法律责任由本人承担。 关于学位论文使用授权的声明 本 完金了解山东大学确；褓留、便用学往磁浊琦g j 多啶，同意学校保留或 向国家有关部门或机构送交论文的复日州和电子j 诧允 销镑瑶友查阅和借阅： 本人鼯陂山东大学可以：际掣荆立论文的全部或部分内容编入有关数据库进f 亍检 索，可炯影印、缩印或典箍发匍睁段屎甬衄辑吼编本学位论文。 ( 保密论史甜释劫磁铜比觇翘 ：壹呈皇垒导燃：虱撕：型呈竺，y 少 - 山东大学硕士学位论文 目录 摘要i 第一章绪论1 1 1 研究背景l 1 2 国内外研究概况2 1 3 论文的主要工作3 1 4 论文内容安排4 第二章网络备份存储系统概述6 2 1 云存储简介6 2 2 网络数据备份8 2 3 网络存储技术8 2 3 1 直接附加存储8 2 3 2 网络附加存储9 2 3 3 存储区域网络9 2 4 网络存储的发展方向lo 2 5s s l 及a e s 介绍11 2 6r a d i u s 和l d a p 协议简介1 l 2 7 国外主流网络备份存储产品测试和分析1 3 2 8 本章总结1 5 第三章基于a m a z o ns 3 网络存储系统中几点关键技术研究1 7 3 1 快速远程文件快速同步算法的研究1 7 3 1 1r s y n c 算法1 7 3 1 2b a s i cs l i d i n gw i n d o wc h u n k i n g 算法2 5 3 1 3t t t d 理论( t w ot h r e s h o l d s ，t w od i v i s o r sa l g o r i t h m ) 2 7 3 1 4 本系统文件同步算法实现2 8 3 2 系统安全问题探讨2 9 3 2 1 数据存储安全及传输安全方式一2 9 3 2 2 系统认证方式策略2 9 3 3 文件存储方法探讨3 0 3 4 垃圾数据回收策略3 2 山东大学硕士学位论文 3 5 元数据格式3 2 3 6 本章总结3 3 第四章基于a m a z o ns 3 网络存储系统总体设计。3 4 4 1 系统总体框架3 4 4 2s e r v i c el o g i c 模块分解图。3 5 4 2 1 用户认证模块。3 5 4 2 2 用户管理模块3 5 4 2 3f i l e 管理模块3 7 4 2 4c h u n k 管理模块3 8 4 2 5 连接管理模块。3 9 4 2 6 同步处理模块4 0 4 2 7 网页处理模块4 0 4 2 8 文件传输处理模块一4 0 4 3 主要数据表的关系和组织结构4 l 4 4 系统架构和网络结构4 2 4 5 本章总结4 3 第五章实现4 4 5 1 传输服务程序的设计( t r a n s m i t ) 4 4 5 2c o n n e c t 服务设计4 7 5 3k e e p 1 i v es e r v e r 服务器设计5 2 5 4 存储客户端程序设计5 3 5 5 本章小结6 0 第六章实验结果6 l 6 1 系统性能测试总结6 2 第七章结束语6 3 7 1 论文工作总结6 3 7 2 下一步工作6 4 参考文献6 5 致谢6 7 o 山东大学硕士学位论文 c o n t e n t a b s t r a c t i c h a p t e r1 e x o r d i u m 1 1 1t h eb a c k g r o u n do ft h er e s e a r c h 1 1 2t h ec u r r e n ts e a r c ha th o m ea n da b r o a d 2 1 3t h em a i nw o r ko ft h i sp a p e r 3 1 4t h es t r u c t u r eo fa n dc o n t e n to ft h i sp a p e r 4 c h a p t e r2n e t w o r kb a c k u ps t o r a g es y s t e m 6 2 1c l o u ds t o r a g e 6 2 2n e t w o r kd a t ab a c k u p 8 2 3n e t w o r kd a t as t o r a g et e c h n i q u e 8 2 3 1d i r e c ta t t a c h e ds t o r a g e 8 2 3 2n e t w o r ka t t a c h e ds t o r a g e 9 2 3 4 s t o r a g ea r e an e t w o r k 9 2 4t h ef u t u r ed i r e c t i o no fn e t w o r ks t o r a g e 10 2 5i n t r o d u c t i o nt os s la n da e s 11 2 6i n t r o d u c t i o nt or a d iu sa n dl d a p 11 2 7t h ea n a l y s i sa n dt e s to fp o p u l a re q u i p m e n t 13 2 8t h ec o n c l u s i o n 15 c h a p t e r3t h ek e yt e c h n i q u eo f a m a z o ns 3 1 7 3 1f a s tf o r m a tf i l es y n c h r o n i z a t i o na l g o r i t h m 1 7 3 1 1r s y n ca l g o r i t h m 17 3 1 2t 丌dt h e o r y 2 5 3 1 3b a s i cs l i d i n gw i n d o wc h u n k i n ga l g o r i t h m 2 7 3 1 4t h er e a l i z a t i o no f t h es y s t e m 2 8 3 2t h er e s e a r c ho f t h es e c u r i t yp r o b l e mo f t h i ss y s t e m 2 9 3 2 1d a t as t o r a g es e c u r i t ya n dt r a n s m i s s i o ns e c u r i t y 一2 9 3 2 3t h es y s t e ma u t h e n t i c a t i o n 2 9 3 3t h ew a yo ff i l es t o r a g e 3 0 3 4t h et r a s hd a t ar e c y c l e 3 2 山东大学硕士学位论文 一- _ _ 一 3 5t h ea t o md a t a 3 2 3 6t h ec o n c l u s i o n 3 3 c h a p t e r4t h ed e s i g no f n e t w o r ks t o r a g es y s t e m 3 4 4 1t h es t r u c t u r eo ft h es y s t e m 3 4 4 2s e r v i c el o g i cm o d e l ”3 5 4 2 1t h eu s e ra u t h e n t i c a t i o nm o d e l 。3 5 4 2 2t h eu s e rm a n a g e m e n tm o d e l 3 5 4 2 3t h ef i l em a n a g e m e n tm o d e l 3 7 4 2 4t h ec h u n km a n a g e m e n tm o d e l 3 8 4 2 5t h ec o n n e c t i o nm a n a g e m e n tm o d e l 3 9 4 2 6t h es y n c h r o n i z a t i o np r o c e s s i n gm o d e l 4 0 4 2 7t h ew e bp r o c e s s i n gm o d e l ”4 0 4 2 8t h es t r u c t u r eo f d a t af o r m 4 0 4 3t h es 缸u c t i i i eo f t h ed a t at a b l e 4 1 4 4t h es t r u c t u r eo ft h es y s t e ma n dn e t w o r k 4 2 4 5t h ec o n c l u s i o n 4 3 c h a p t e r5t h e r e a l i z a t i o n 4 4 5 1t h ed e s i g no f t r a n s m i t 4 4 5 2t h ed e s i g no fc o n n e c ts e r v i c e 4 7 5 3t h ed e s i g no fk e e p l i v es e r v e r 5 2 5 4t h ed e s i g no fs t o r a g ec l i e n t 5 3 5 3t h ec o n c l u s i o n 6 0 c h a p t e r6t h ee x p e r i m e n t ”6 1 6 1t h er e s u i to ft h et e s t 6 2 c h a p t e r7t h ec o n c l u s i o n 6 3 7 1t h ec o n c l u s i o n 6 3 7 2t h ef u t u r ew o r k 一6 4 r e f e r e n c e s 6 5 a c k n o w l e d g e m e n t s 6 7 4 山东大学硕士学位论文 摘要 数据安全越来越被用户所重视，其中数据备份是一种最直接，最高效的数据 安全的策略，而远程备份所具有的独特的优势，运用越来越广泛，而目前提供该 服务的产品价格昂贵，而且数据安全不能得到绝对的保证，然而用户自己部署存 储花费太高，因此，研制一个性能高，花费低，的远程备份存储系统具有重要的 理论意义和实用价值。 随着云存储的快速发展和目前a m a z o ns 3 的良好性能，在过去一年多的时间 里，本文致力于在当前的云存储环境下开发出一个能够为广大用户提供高性能， 实用性强的同步网络存储系统，本文首先对国外相关的产品做出深入的研究和分 析，并总结其在安全，性能方面的优势和不足，接下来对存储系统的相关技术做 出介绍和分析，最后在结合本人在北京b o r q s 通讯技术有限公司云存储部门半年 多的实习经验的基础上提出一种新型高性能同步网络存储系统结构，提出独特的 控制信息和数据信息分开处理策略，并对系统各个模块给出详细的介绍和具体的 实现。 本文主要的工作是对远程文件同步算法做出深入分析的基础上，根据同步网 络存储系统自身的特点，提出一种高性能的远程文件快速同步方法，并在数据存 储方面提出高效的存储方案，为了保证系统数据和用户信息的安全，提出合适的 解决方案，同时针对目前许多用户经常在多台主机办公的情况下，设计和实现了 多台主机之间的数据同步策略和文件共享功能，并针对系统提出自动备份功能， 使系统能够自动监测相应文件的改变，使自动与远程同步，最后给出该系统的总 体实现架构图和具体的实现。 关键词：网络备份，云存储，网络存储 山东大学硕士学位论文 a b s t r a c t d a t as e c u r i t yb e c o m em o r ea n dm o r ei m p o r t a n tn o w a d a y s ，d a t ab a c k u pi st h e m o s td i r e c ta n de f f e c t i v ed a t as e c u r i t ys t r a t e g y , a n dr e m o t eb a c k u pi sm o r es e c u r i t y t h a nl o c a lb a c k u p ，w h i c hi su s e dw i d e l yn o w a d a y s t h ep r o d u c t sw h i c hp r o v i d et h e r e m o t eb a c k u ps e r v i c ei sn o to n l ye x p e n s i v ea tp r e s e n t ，b u ta l s ot h ed a t as e c u r i t yi s n o tg u a r a n t e e d t h eu s e r sd e p l o yt h eb a c k u ps e r v i c eb yt h e m s e l v e sc o s t i n gt o om u c h t h e r e f o r e ，t h ed e v e l o p m e n to fah i g h - p e r f o r m a n c e ，l o wc o s tr e m o t eb a c k u ps y s t e m h a st h ei m p o r t a n tt h e o r ys i g n i f i c a n c ea n d a p p l i c a t i o nv a l u e w i t ht h er a p i dd e v e l o p m e n to fc l o u ds t o r a g ea n dt h ec u r r e n t o u t s t a n d i n g p e r f o r m a n c eo fa m a z o ns 3 ，i nt h ep a s ty e a r , t h ep a p e ri sc o m m i t t e dt od e v e l o pa s y n c h r o n o u sn e t w o r ks t o r a g es y s t e m st os a t i s f yu s e rn e e d s ，f i r s t ，t h i sp a p e rm a k e sa i n - d e p t hr e s e a r c ha n da n a l y s i sf o rt h ef o r e i g nr e l a t e dp r o d u c t sa n ds u m m a r i z e s a d v a n t a g e sa n dd i s a d v a n t a g e si ns e c u r i t ya n dp e r f o r m a n c e ，s e c o n dw i t had e e p r e s e a r c ha b o u tt h er e l a t e dt e c h n o l o g ya n ds e v e nm o n t h si n t e r n s h i pe x p e r i e n c ei nt h e d e p a r t m e n to fc l o u ds t o r a g ei n b o r q sc o m p a n y , id e v i s ean e ws y n c h r o n o u sn e t w o r k s t o r a g es y s t e ms t r u c t u r ew i t ht h ec o n t r o li n f o r m a t i o na n dd a t ai n f o r m a t i o np r o c e s s d i f f e r e n t l y , a n dg i v e sd e t a i l e dd e s c r i p t i o n so ft h ev a r i o u sp a r t sa n dd e t a i l e d i m p l e m e n t a t i o n t h i sd i s s e r t a t i o nm a k e sad e e pa n a l y s i sf o rr e m o t ef i l es y n c h r o n i z a t i o na l g o r i t h m , a n dp u tf o r w a r dn e wf a s tr e m o t ef i l es y n c h r o n i z a t i o nm e t h o d s i ns t o r a g e ，t h e d i s s e r t a t i o nd e v i s e sa ne f f i c i e n t s t o r a g es o l u t i o n sa n da p p r o p r i a t es o l u t i o n sf o r g u a r a n t y i n gt h es e c u r i t yo fd a t aa n du s e ri n f o r m a t i o n n o w a d a y s ，m a n yp e o p l e u s u a l l yw o r ko nm u l t i p l eh o s t s ，t h ed i s s e r t a t i o nd e s i g n e ean e ws o l u t i o nw h i c h m u l t i p l i e sh o s tc a ns y n c h r o n i z a t i o na u t o m a t i c a l l y t h eu s e rc a ns h a r et h ef i l e a c c o r d i n gt h e i rn e e d s t h es y s t e mc a n sa u t o m a t i c a l l ym o n i t o r i n gt h ec h a n g e si nf i l e ， a n dt h e na u t o m a t i c a l l ym a k e s s y n c h r o n i z a t i o nw i t hs e r v e ra n do t h e rh o s t s k e y w o r d s ：n e t w o r kb a c k u ps t o r a g e ，c l o u ds t o r a g e ，n e t w o r ks t o r a g e 山东大学硕士学位论文 1 1 研究背景 第一章绪论 计算能力，存储和传输是计算机发展史上永恒的三大主题，数据备份和存储 一直是企业和学术界关注的热点，随着网络和存储的发展也不断推动着新的技术 和相关产品的产生【1 ，2 ，3 4 j ，6 7 , 8 1 ，随着数据量的急速增长，存储系统在当前信息设 施投资中比例以超过5 0 【9 】。而对个人及中小型企业来说，部署大规模的存储设 备是一件很费力的事情，而目前，使用第三方提供的存储服务依然价格不菲，比 如c o n n e c t e dt l m 公司为用户提供网络存储服务，但是价格在1 6 0 2 5 5 美元每 年( 4 g b ) 。n o r t o n 公司提供的在线备份服务为6 0 1 1 美元每年( 大小为2 5 g b ) 但是随着近些年来云计算和云存储的迅速发展，在计算方面和存储方面迎来 了新的变革，云存储是在云计算概念上延伸和发展出来的一个新的概念，它是指 通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型 的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问 功能的一个系统。云存储概念一经提出后，就受到大多数企业的关注和支持，目 前a m a z o n 推出弹性计算云( e c 2 ) 和简单存储服务【l o 】( s 3 ) 为企业提供计算和 存储服纠1 1 】，微软也随后推出了网络存储移动硬盘服务( w i n d o w sl i v es k y d r i v e ) ， 云存储具有相对较低的价格，同时具有可扩展性，灵活性，厂商选择多样性等优 势，比如目前企业建立存储区域网所需要的建设费用为每g b 需要2 0 美元，然 后，云存储设备每g b 仅仅需要1 美元，极大的减少了存储方面的资金投入。 数据备份作为保证数据安全的一种重要措施，而远程备份所具有的独特的优 势，使得其运用越来越广泛，也是众多企业研发的热点，而目前为用户提供备份 存储的产品要么价格昂贵，比如s y m a n t e cp r o t e c t i o nn e t w o r k 为每个用户提供 1 0 g b 的备份存储服务其费用为$ 9 9 9 每月，而e m c sm o z y p r o 费用为 $ 3 9 5 + $ 0 5 0 g b 每月，要么需要自己部署存储设备。而采用a m a z o ns 3 提供的存 储服务，其费用大大降低，目前a m a z o ns 3 在5 0 t b 数据以下的时候，征收的费 用为0 1 5 5 每月，要么需要自己部署存储系统，这对个人和中小企业来说是一件 非常费力的事情。所以当今研制出一个易使用，费用合适，同时保证数据的安全 山东大学硕士学位论文 的存储备份服务系统具有巨大的市场潜力和应用前景。 针对目前存在的需求，本文以a m a z o n 提供的s 3 云存储服务为基础，总结 分析当今相关产品的特点，开发出一个能够为广大用户提供存储备份服务的自动 同步网络存储系统。 1 2 国内外研究概况 数据备份分为本地备份和远程备份，而远程备份随着网络带宽的增加和其本 身所具有的优点使得远程备份越来越重要，使用的也越来越多，相关产品也出现 的越来越多，目前主要的产品有l i n u x 下应用较广泛的r s y n c 1 1 ，该产品最初的版 本由a n d r e wt r i d g c l l 开发，是首次使用较成功的使用增量传输来节省带宽的备 份产品，具体算法见【1 2 1 3 】，依然是目前用的比较广和性能较优的产品，但是其 安全性能较差，使用复杂，基本上只有专业人士使用，且该产品只有一个备份点， 即只能还原最近的一个备份点，同时用户必须自己部署备份存储的磁盘，对于个 人用户保存数据不太合适，数据存储方面也没有采取节省优化措施。r s n a p s h o t 3 j 是r s y n c 的改进版，在r s y n c 基础上增加了快照服务，即文件有多个镜像点，该 产品充分利用硬链接，因此一定程度上也节约了磁盘空间，b o xb a c k u p 4 l 在客 户端传输前对数据进行了加密处理，在安全上得到了加强，保存多个镜像 点，但是目前该软件还不是很稳定，性能也不是很好，用户量不多， d u p l i c i t y 5 1 ，该网络备份软件也使用r s y n c 类似的算法来实现增量存储，使 用g n u p g 加密保证数据的安全，最重要的一个特色是c l i e n t 把多个小文 件打包在一起，再经过压缩来存储，这样比起前面提到的产品更能减少服 务端的存储空间。但是该软件还没有实现良好的空间回收策略，每次增量 备份的文件又依赖前一版本的文件，这样如果不定期实行一下全备份的话， 以前老的文件占用的空间永远得不到释放，造成空间的浪费。j u n g l ed i s k 8 】 是第一个基于a m a z o ns 3 的网络备份存储系统，该系统最大的特色能够在多台 主机自动同步。但是他的价格依然不菲，可见对存储利用方面做的不是很好，对 于需要比较大的存储服务来说，该软件并不是很理想。b r a c k u p 5 j 也是近期出 现的一个基于a m a z o ns 3 的一个网络备份软件，该系统采用多个备份点镜 像服务，使用加密保证数据安全，采用c h u n k 级别对文件进行存储，同时 2 山东大学硕士学位论文 把数据与元数据分离开来，这样可以有限实现旧的备份文件空间回收，但 是该系统没有对小文件进行分别处理，不能最大的利用存储。 总的来说，目前各类网络备份存储软件，各有各的优缺点，而随着云存储的 发展，开发出新的高性能网络存储系统是目前企业界和学术界的热点，本文在对 目前国外相关产品深入分析的基础上，立足于目前a m a z o n 提供的s 3 云存储服 务的基础上，致力于开发出一种能够为用户提供网络存储备份服务的新型的高性 能网络存储备份系统。该系统具有以下特点： 在线备份 该系统能够自动监测备份目录中文件的改变，然后自动与远程服务端文件的 同步。同时能够监测到多台主机之间的差异，做到多台主机间文件的同步， 对每次修改的文件，再次传送只传输文件改变前改动的部分。对数据存储部 分，我们采用粒度c h u n k ( 2 m ) 存储，且使用良好的数据压缩技术来减少存 储空间，采用合理的数据回收策略，做到最大程度上利用存储空间，节约成 本。 文件共享 我们能够通过w e b 来管理和查看我们备份存储的文件，还可以根据需要把文 件共享给自己的好友，当不需要共享时，我们可以取消共享。 安全 我们备份过程中传输的数据采用s s l _ f r l s 安全传输，同时对备份存储的文件 采用a e s ( 2 5 6 位) 加密处理，对于用户的认证采用专门的r a d i u s + l d a p 服务 器方法进行认证，能够保证每个用户的数据安全。 价格便宜 系统使用a m a z o n 提供的云存储服务s 3 为基础，使用s 3 除开具有良好的数 据安全性外，其价格也非常便宜，目前根据存储的大小不同，价格为$ o 1 5 g b 月$ o 5 5 g b 月之间。 1 3 论文的主要工作 本文以当前热门的云存储服务为存储服务基础，在深入分析当前相关产品特 点的前提下，设计并实现了基于云存储服务( a m a z o ns 3 ) 的同步网络备份 山东大学硕士学位论文 存储系统，主要工作如下： 1 深入分析总结了目前国外主流的存储备份系统，并对他们做出深入的分 析。 2 深入研究分析了目前主要的远程文件同步算法及实现原理，在以r s y n c 算 法的基础上，结合系统的特点，提出一种性能更好的远程文件同步算法。 3 提出一种基于a m a z o ns 3 存储服务的新型网络存储系统结构，该结构不 仅能够提供高性能的备份存储服务，而且能够保证多台机器之间的文件 能够自动同步。 4 为了更好的利用存储空间，在总结目前主流软件的优点前提下，提出优 秀的存储解决方案和对该系统一些相关技术做出探讨，并提出相关的解 决方案。 5 完成了本系统初始版本的编码工作，但是由于工作量比较大和时间的关 系，一部分功能没有得到完善。 1 4 论文内容安排 论文深入分析研究了网络存储系统的远程文件同步算法，提出了基于 a m a z o ns 3 的网络存储备份服务的新的系统结构，并设计与实现了该系统。本 论文主要分为五部分，详细讲解了该网络存储系统的体系结构，实现原理，并重 点描述其中快速文件同步算法部分和用户数据存储解决方案、对系统需要的数据 加密技术，身份认证技术等内容做出探讨和相应的解决方案，最后给出系统各个 部分详细的设计方案。 论文的第一部分主要说明和介绍了网络备份存储系统中一些概念和技术，分 析网络存储的发展概况和基本原理，总结当前该软件的发展情况，并对当前主要 的几种流行的软件做出分析。并且描述其部署的基本结构，总结当前优秀的在线 存储系统所涉及几个重点问题，并对本论文所涉及的这几个知识点做出简单介 绍，为论文的进一步展开奠定了基础。 论文的第二部分，对在线备份存储系统中几个关键技术做出详细的分析和研 究，重点是远程文件快速同步算法( 该算法也是一款优秀网存的灵魂) ，在深入 分析目前流行的算法的基础上( r s y n c 算法【1 2 , 1 3 1 ，及其该进算法【1 4 , 1 5 , 1 6 , 1 7 , 1 8 ，s l i d i n g 4 山东大学硕士学位论文 w i n d o wc h u n k i n g 算法【2 0 1 ，和t 1 h rd 【2 1 1 算法) 以r s y n c 算法为原型的基础上， 结合t t t d 算法和根据系统的实际需要，提出一种改进后的快速同步算法， 同时对系统的安全方面，文件存储方面，空间回收方面，元数据等问题做 出分析并对系统制定合适的解决方案，并对认证提出l d a p 和r a d i u s 认证 模型，这一部分是下面系统的详细设计的基石。 论文的第三部分和第四部分是系统的实现部分，第三部分提出系统的整体架 构和逻辑图，对各部分的功能做出详细的介绍，同时对系统的一些关键数据结构 做出描述。论文的第四部分对该系统各部分做出详细设计和具体的代码实现。 论文的第五部分对系统做出测试并对本文所做的工作做出总结。并对在线存 储的发展前景做出评价和展望。 5 山东大学硕士学位论文 第二章网络备份存储系统概述 一款优秀的网络备份存储系统的构建需要考虑很多方面，比如系统的安全， 存储方案，文件同步算法，消息交互流程等等，本文将为这些部分做出详细的介 绍，为论文的进一步展开奠定了基础。 2 1 云存储简介 云存储是在云计算( c l o u dc o m p u t i n g ) 概念上延伸和发展出来的一个新的概 念。云计算是是分布式处理( d i s t r i b u t e dc o m p u t i n g ) 、并行处理( p a r a l l e lc o m p u t i n g ) 和网格计算( g r i dc o m p u t i n g ) 的发展，是透过网络将庞大的计算处理程序自动分 拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后 将处理结果回传给用户。通过云计算技术，网络服务提供者可以在数秒之内，处 理数以千万计甚至亿计的信息，达到和”超级计算机”同样强大的网络服务，对云 计算和云存储比较详细的介绍见参考文献【2 2 1 【2 3 】【加。 云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件 系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同 工作，共同对外提供数据存储和业务访问功能的一个系统企业总是尽力的在满足 性能的条件下尽量减少成本，所以许多都是刚开始巩同基本操作，后来引进虚拟 化技术。而云计算存储使得这个步骤一步到位，而且可以减少管理和基础建设 成本，其具体架构图如2 - 1 图所示【2 5 1 。 使用云存储服务具有明显的优点。 1 几乎为零的基础设施成本，如果自己部署存储，我们需要大量的硬件投 入，且需要人来维护其服务，其成本比较高。而采用云存储服务基本上可 以把这个费用减少到零。 2 根据实际使用情况来收费。使用云存储服务使个人或者企业不必要为硬 件升级改造或者资源浪费而担心。 3 处理时间。由于云存储平台具有极高的并行性处理，使得处理速度非常 快。 6 山东大学硕士学位论文 4 更加有效的资源利用。系统管理员经常担心硬件采购( 当硬件不能满足需 要时) 和资源合理化使用( 资源浪费时) ，而云体系结构能够更加有效的管理资 源，能够合理有效的请求资源和不需要时回收利用资源。 云存储包括了g o o g l e 文件系统所具有的功能和s a n ( s t o r a g ea r e an e t w o r k ) 存储优势，他有效的把研发人员担心怎样存储数据中解放出来，也不用再担心其 存储空间够不够用，减少了建设成本和维护管理成本。而且保证数据随时可用， 这样就可以使用户专注于数据的许多创新，不用再担心数据如何存储。 但是使用第三方的云存储服务也有许多顾虑，由于我们的数据存储在第三方 那里，数据安全是不是能够得到保证，而且是不是可以提供稳定的服务，收费是 不是合理。因此我们在选取该服务时，应该选取实力强的公司，例如现在这方面 做的比较成功的a m a z o n ，在安全方面，对存储数据我们尽量选取强度较高的密 码算法对数据进行加密存储，同时根据自己所需选择价格成本最合适的存储服 务。 访阀层 应用接口层 纂磁管理层 存储层 f 存储虐拟纯、存铭撬巾管理、状态勉控、维妒b 缀蛰 j i 荐锗设答撇s 、f c 、t s c s t 簿， ! 图2 - 1 云存储架构图 7 山东大学硕士学位论文 2 2 网络数据备份 数据备份是一种数据安全策略，是将需要备份的数据保存在异地，在原始数 据遭遇毁坏的条件下，利用备份数据恢复出原始数据。数据备份分为完全备份， 增量备份和差分备份，按需备份。目前数据备份的主要技术分为四种。 1 ) 快照技术，快照即对预先定义的数据的逻辑单元号建立一个快照逻辑单元 号和快照c a c h e ，然后利用快照逻辑单元号和c a c h e 实现对元数据的一个完 全拷贝。 2 ) 镜像技术，镜像是多个磁盘存储同一个数据镜像的信息存储过程，其中一 个叫主镜像系统，另外的叫从镜像系统。 3 ) 磁带虚拟化备份技术，该技术通过磁带库，应用虚拟化技术而创造的一个 抽象化磁带设备的方法。 4 ) 基于网络的s a n 远程备份技术，即通过光纤把两个s a n 连接起来，其中 一个为主存储池，另外一个为从存储池，但是这种存储方式实现成本高， 跨越距离短，使得这项技术没有得到很好的运用。 2 3 网络存储技术 随着网络技术的发展和处理能力的不管提高，传统的单机数据处理方 式被以网络数据为中心的处理方式所取代，目前成熟的网络存储系统结构 包含三种方式，分别是直接附加存储，网络附加存储，和存储区域网络。 2 3 1 直接附加存储 直接附加存储( d i r e c ta t t a c h e ds t o r a g e )是指将存储设备通过s c s i 接口或者光纤通道直接连在一台计算机上，该存储方式使用的情况有以下 几点： 1 存储服务器地理分散，通过n a s 连接起来比较困难。 2 许多数据库运用或者应用服务器程序，要求直接连接存储设备。想邮 件服务器等。 8 山东大学硕士学位论文 3 企业本身网络资源不足，在不影响原有的网络资源环境下，该存储方 式是最好的选择。 但是，数据请求和传送都需要文件服务器的参与，当大规模的数据访问 时，会给服务器的存储转发带来非常大的开销，使得文件服务器成为整个 系统中的性能瓶颈。 2 3 2 网络附加存储 网络附加存储( n e t w o r ka t t a c h e ds t o r a g e ) ，是指存储设备通过以太网 及其他标准的网络拓扑结构，连接到许多计算机上，建立专用于数据存储 的存储内部网络，随着千兆以太网，v l a n 虚拟局域网的出现和投入商用， 为n a s 带来