（计算机软件与理论专业论文）一种基于linux的同步网络备份系统的设计与实现.pdf

y6 5 4 7 86 一种基于l i n u x 的同步网络备份系统的 设计与实现 专业计算机软件与理论 研究生李敏榆指导教师李涛 灾难备份对于重要系统具有不可替代的重要性。在9 1i 事件后，世贸大厦 中约有4 0 的公司倒闭，原因就是支撑其赖以生存的重要数据发生了丢失。然 而由于国内尚无自己的容灾产品，并且国外灾难备份技术及其相关产品价格异 常昂贵，以致我国党政机关、军队、企事业单位的网络系统几乎没有灾难备份 系统。一旦发生灾难，后果不蜞设想。我国在备份技术方面的研究才刚刚起步， 政府也正在加大对灾备产业的投入。因此，研制具有自主知识产权的备份技术 及其相关产品具有重大的政治意义以及广阔的应用前景。 对于已有的备份技术，从备份策略上看，可以分为完全备份和增量备份： 从备份的实现层次看，可以分为逻辑层备份和物理层备份；从备份的时间上看， 可以分为同步备份和异步备份。 本文提出了同步网络备份系统( s n b ) ，其属于物理层次的同步备份。s n b 系统工作在l i n u x 内核的设备驱动层入口处，对应用程序透明。其首先将每一个 要写入设备的记录块通过网络传送到远程进行备份，然后才将记录块写入本地 设备，从而实现了数据的同步备份。 实验结果表明，当带宽达到1 0 0 m b p s 时，s n b 系统可获得较高的备份效率。 在存储时间上，同步网络备份与同步本地存储相比只有较小的延时。在启用同 步备份功能后，用户在应用层存储文件时，几乎感觉不到太大的差别，而数据 已经备份到了远程。 具体来说，本文的主要工作有： 分析了国内外备份技术的研究现状。 深入分析了l i n u x 2 4 内核源码，对内核的存储机制做出了整理。本文将 l i n u x 内核的存储过程归纳为3 个阶段：第1 阶段，数据写入记录块缓 冲区；第2 阶段，内核线程b d f l u s h 将“脏”记录块提交给磁盘：第3 阶段，磁盘完成写入工作后向内核发出中断。 基于l i n u x 内核，实现了一种工作在物理层次的同步网络备份系统s n b 。 默认情况下，用户进程完成存储过程第l 阶段后即返回用户空间，而第 2 、3 阶段均为异步的操作。本文针对内核的e x t 2 文件系统层做出修改， 使得备份数据在完成第l 阶段的写入工作后并不立即返回，而是再进入 第2 阶段以触发底层对记录块的网络传输。 s n b 系统在l i n u x 操作系统内核中运行，对应用程序透明。 s n b 系统对内核的改动不影响内核的原有功能，特别是不影响非备份数 据的存储效率。 s n b 系统实现了高效的备份性能和高的系统吞吐率。 关键词：同步备份，l i n u x 内核，容灾系统 d e s i g na n di m p l e m e n t o f s y n c h r o n o u s n e t w o r k b a c k u ps y s t e mb a s e d o nl i n u x m a j o rc o m p u t e rs o f t w a r e & t h e o r y s t u d e n tl im i ny ua d v i s o rl it a o d a t ab a c k u pa n dd i s a s t e rt o l e r a n c ei s v e r yi m p o r t a n tf o rp i v o t a ls y s t e m s a t i e r “9 11 a c c i d e n t n e a r l y4 0 c o m p a n i e s1 nt h ew o r l dt r a d ec e n t e ra r ec l o s ed o w n b e c a u s et h ei m p o r t a n td a t ao ft h e s ec o m p a n i e sh a sl o s t h o w e v e b e c a u s eo f t h e1 a c k o fd o m e s t i cd i s a s t e rt o l e r a n c e p r o d u c t sa n dt h ee x p e n s i v e n e s so ft h ei n t e r n a t i o n a l p r o d u c t s ，m a n yo r g a n i z a t i o n s s u c ha s g o v e r n m e n td e p a r t m e n t ，m i l i t a r yu n i t s ， c o m p a n i e sa n df a c t o r i e s ，h a v en o td i s a s t e rt o l e r a n c es y s t e m i fd i s a s t e r sh a p p e n ，t h e i m p o r t a n ti n f o r m a t i o no f 出e s eo r g a n i z a t i o n sw i t i 1 0 s et h ed o m e s t i cr e s e a r c h0 1 2 b a c k u pt e c h n o l o g yi si nt h ep h a s eo fb e g i n n i n g ，a n dt h eg o v e r n m e n ti si m p r o v i n gt h e i n v e s t m e n to ft h ed o m a i no fd a t ab a c k u pa n dd i s a s t e rt o l e r a n c e a sar e s u l t ，t h e r e s e a r c ho fb a c k u pt e c h n o l o g y 埘t hi n d e p e n d e n tp r o p e r t ya n dp r o d u c t i o no fr e l a t e p r o d u c t sw i l lh a v ei m p o r t a n tp o l i t i c a lm e a n i n ga n dw i d ea p p l i c a t i o n t h ec u r r e n t b a c k u ps t r a t e g yc o u l db e c l a s s i f i e di ns e v e r a l a s p e c t s ：c o m p l e t e b a c k u pa n di n c r e m e n t a lb a c k u p ；l o g i c a lb a c k u pa n dp h y s i c a lb a c k u p ；s y n c h r o n o u s b a c k u pa n da s y n c h r o n o u sb a c k u p a s y n c h r o n o u sn e t w o r kb a c k u ps y s t e m ( s n b ) i sp r e s e n t e d ，a n di t i m p l e m e n t s y n c h r o n o u sb a c k u pi np h y s i c a ll a y e r s n bs y s t e mi sw o r k i n ga tt h ei n t e r f a c eo ff i l e s y s t e ml a y e rt od e v i c ed r i v e rl a y e ri nl i n u xk e r n e l s oi t i st r a n s p a r e n tt ou s e r f o r e a c hb l o c kt h a tn e e d st ob eb a c k u p s n bs y s t e mt r a n s m i ti tt ot h er e m o t eb a c k u p s e r v e rf i r s t a n dt h e ns u b m i ti tt ol o c a ld i s kd e v i c ei ft h et r a n s m i s s i o ni ss u c c e s s 1h e r e f o r et h ep r o c e d u r eo f b a c k u pi ss y n c h r o n o u s 。 e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ee f t i c j e n c yo fs n bs y s t e mi ss a t i s f i e dw h e n b a n d w i d t hi s10 0m b p s t h es t o r a g es p e n d i n go fs y n c h r o n o u sb a c k u pi sl i u l em o r e t h a nt h a to fl o c a l s t o r a g e w h e ns t o r i n gf i l e s u s e rw o u l dn o tf e e l a n yd i f i e r e n c e b e t w e e no r i g i n a ls y s t e m a n dt h ed a t ah a sa l r e a d yb e e nb a c k u pt or e m o t es e r v e r s p e c i f i c a l l y 、t h ec o n t r i b u t i o no f t h ep a d e rl n c l u d e s ： h a sd i s c u s s e dt h ec u r r e n td o m e s t i ca n di n t e r n a t i o n a lb a c k u pm e t h o d s h a sa n a l v z e dl i n u x2 4k e m e i t h ep r o c e d u r eo fl i n u xk e r n e is t o r a g ec o u l d b ed i v i d e di n t o3 p a r t s ：f i r s t d a t ai sc o p i e dt ot h eb l o c kb u 般r s s e c o n d k e m e lt h r c a db d f l u s hs u b m i tt h ed i r t yb l o c k st od i s kd e v i c e t h i r d d i s k d e v i c ew i l ls e n da l li n t e r r u p tt ok e m e lw h e n w r i t e p r o c e d u r ei sf i n i s h e d h a sp r e s e n t e dt h es v n c h r o n o u sn e t w o r kb a c k u ps y s t e m r s n b ) w h i c h i m p l e m e n ts y n c h r o n o u sb a c k u pi np h y s i c a ll a y e r b yd e t ：a u l t ，u s e rp r o c e s s m a y r e t u r nt ou s e rm o d ea f t e rt h ef i r s tp r o c e d u r ei sf i n i s h e d h o w e v e r t h e s e c o n da n dt h i r dp r o c e d u r ew i l lb ef i n i s h e da s y n c h r o n o u s l y t h ee x t 2f i l e s y s t e mo fl i n u xk e m e li sm o d i f i e da l s oi nt h ep a p e r t h a tm a k ep r o c e s sd o n o tr e t u r ni m m e d i a t e l va f t e rf i r s tp r o c e d u r e ，b u tg ot h r o u g hw i t ht h es e c o n d p r o c e d u r et os t a r t u pt h et r a n s m i s s i o no f b l o c k s n bs y s t e mi si m p l e m e n t e db a s e do nl i n u xk e m e l a n di ti st r a n s p a r e n tt o u s e t t h em o d i f i c a t i o ni nl i n u xk e m e lw o u l d n tr e d u c et h ee f f i c i e n c yo ft h e o r i g i n a lf u n c t i o n ，e s p e c i a l l y t h en o n b a c k u pd a t a s n b s y s t e ma c h i e v e sh i g hb a c k u p e f f i c i e n c y a n dt h r o u g h p u t k e p v o r d s ：s y n c h r o n o u sb a c k u p ，l i n u xk e r n e l ，d i s a s t e rt o l e r a n c es y s t e m i v 一! ! 川苎兰。1 型：兰些丝兰 1 绪论 1 1 背景 随着社会信息化的不断发展，现代企业对于信息的需求也不断增加，具有 大量的信息资源才能抓住瞬间即逝的机会、在激烈的竞争中生存和发展。企业 发展需要积累所需豹信息，还必须将这些信息进 亍有效的管理，使其便于检索 和查找。 然而，如果信息发生丢失将对企业造成不堪设想的后果。比如误操作、供 电故障、硬件故障、自然灾害、病毒入侵等，都可能导致企业信息系统的瘫痪。 其中最具代表性的例子是“9 1 1 ”事件后，世贸大厦中约有4 0 的公司倒闭， 原凶就是支撑其赖以生存的重要数据发生了丢失。 因此，企业信息系统必须具有适当的灾难备份及恢复机制，对重要的数据 进行备份。通常将一切引起系统服务非正常停止的事件都被认为是灾难。据统 计，导致系统灾难的原因很多，包括以下一些因素：自然灾害、电源故障、硬 件敝障、软件故障、病毒、火灾和认为错误等。 数据备份是为了增强数据的可用性和安全性，防止数据失效而进行的周期 性工作。目前的存储管理和备份方案主要采取主机内置或外置的磁带机对数据 进行冷备份，这种方式在数据量不大，操作系统种类单，服务器数量有限的 情况下，不失为种既经济又简明的备份手段。但随着企业计算机规模的扩大， 数据量按几何级数增长以及分布式网络环境的兴起，企业将越来越多的业务分 布在不同的机器、不同的操作平台上，这种单机的人工冷备份方式越来越不适 应当今分布式网络环境，存在以下种种弊端【1 4 j ： 数据分散在不同的系统、不同的应用上，数据管理、备份复杂、备份效 率低下。 不能保证数据的热备份，难以实现应j = | = | 系统的2 4 7 的服务。不能适应 电子商务发展，不利丁+ 提高企业自身竞争力。 运行着的系统使得维护人员寸步难离，业务人员工作效率下降，i t 管理 成本高。 叫川人学坝i 学位论义 使用大量的离线介质，不利于对企业数掘的分析与再利用，不能及时对 各种管理决策提供支持。 对于自然灾害的预防比较差，灾难后的系统重建和业务数据蚓复困难。 为了解决传统备份方法所引起的种种弊端，更加实用高效的备汾方法已成 为了一个热门的研究方向。 理想的备份系统应该是全方位、多层次的。要使用硬件备份来防止硬件故 障，同时使用可靠性高的备份软件。这种软硬件结合的方式构成了对系统的多 级防护，不仅能够有效地防止物理损坏，还能够彻底防止逻辑损坏。 在网络系统安全建设中必不可少的一个环节就是数据的常规备份和保存 档。一般在生产本地备份的目的主要有两个：是生产系统的业务数据，由于 系统或人为误操作造成损坏或丢失后，可及时在生产本地实现数据的恢复；另 一个目的是在发生地域性灾难( 地震、火灾、机器毁坏等) 时，可及时在本地 或异地实现数据及整个系统的灾难恢复。 考虑到生产本地环境安全性原因，常规数据备份般要求一份数据至少应 有两个拷贝，一份放在生产中心，以保证数据的正常恢复和数据查询恢复：另 一份则要移到异地保存，以保证在生产本地出现灾难后最低限度的数据恢复。 此外，更应建立归档数据的异地存放制度，从而确保对历史! 世务数据的可靠恢 复。 综上所述，对网络备份系统的研究主要集中在以下几个方面： 集中式管理 使用备份管理系统对整个网络的数据进行管理。利用集中式管理工具的 帮助，系统管理员可对全网的备份策略进行统一管理，备份服务器可以监控 所有机器的备份作业，也可以修改备份策略，并可即时浏览所有目录。所有 数据可以备份到同备份服务器或应用服务器相连的备份服务器上。 全自动的备份 对于大多数机房管理人员来说，备份是一项繁重的任务。每天都要小心 翼翼，不敢有半点闪失，生怕失足成千古恨。网络备份能够实现定时自动 备份，大大减轻管理员的压力。 备份系统能根据用户的实际需求，定义需要备份的数据，然后以图形界 面方式根据需要设置备份时间表，备份系统将自动启动备份作业，无需人工 干预。这个自动备份作业是可自定的，包括一次备份作业、每周的某几闩、 一2 一 每月的第几天等项目。设定好计划后，备份作、世就会按计划自动进行。 数据库备份和恢复 在许多人的观念卑，数据库和文件还是一个概念。当然，如果数据库系 统是基十文件系统的，当然可以用备份文件的方法备份数据库。但发展至今， 数据库系统已经相当复杂和庞大，再用文件的备份方式来备份数据库己不适 用。是否能够将需要的数据从庞大的数据库文件中抽取出来进行备份，是网 络备份系统是否先进的标志之一。 系统灾难恢复 网络备份的最终目的是保障网络系统的顺利运行。所以优秀的网络备份 方案应能够备份系统的关键数据，在网络出现故障甚至损坏时，能够迅速地 恢复网络系统。从发现故障到完全恢复系统，理想的备份方案耗时不应超过 半个工作日。 满足系统不断扩充的需求 备份软件必须能支持多平台系统，当网络上连接上其它的应用服务器 时，对于系统管理系统来晚，只需在其上安装支持这种服务器的客户端软件 即可将数据备盼到磁带库或光盘库中。 1 2课题来源 本课题是李涛教授主持的四川大学计算机网络与安全研究所州i s e c ) 的众多 课题之一。n i s e c 长期致力于计算机网络与安全、电子商务、电子政务、智能信 息系统等领域的理论与技术的研究，研制成功c a 认证中心、新型智能防火墙、 i d s 、安全v p n 、安全电子邮件系统、安全w e b 服务器、灾难紧急救援系统、 多功能网络安全服务器、国库直接支付系统、政府采购系统等八大系列1 0 多个 产品，应用范围遍及全省各地市州县乡镇。 这些产品的研发成功标志着我们在网络安全理论以及应用的研究上都取得 r 罩要的进展，如专家所评“不仅具有大的理论意义，同时具有广阔的应用前 景”， 3 一 阳川人学顺士学位论文 1 3 国内外研究现状 数据备份有多种不同的方法，从不同的角度可以将备份方法进行不同的分 类。从备份策略上看，可阻分为完全备份和增量备份；从备份的实现层次看， 可以分为逻辑层备份和物理层备份；从备份的时间上看，可以分为同步备份和 异步备份。 早期的系统管理员通常采用完全备份的方式对系统或重要数据进行备份， 这种方法的不足之处在于将耗费大量的时间和更多的存储介质，并且当灾难发 生时系统只能恢复到最近一次备份的状态，而中间产生的数据将会丢失。 目前通常的做法是在系统建立之初进行一次完全备份，然后在系统运行时 进行增量备份。q i a nc u n h u af 11 进步将备份策略划分为增量备份( i n c r e m e n t a l b a c k u p ) 、累积备份( c u m u t a t i v eb a c k u p ) 和完全备份( c o m p l e t eb a c k u p ) ，并利 用公式推导的方法证明了增量备份和积累备份的效率优势，同时提出了实际应 用中对增量备份和积累备份的选择方法。 n o r m a nc h u t c h i n s o n 2 从备份的实现层次分析了逻辑层和物理层备份各自 的优缺点。该文认为逻辑层备份可以只备份文件系统的一个子集( s u b s e to ff i l e s y s t e m ) 或特定的文件从而节约时间和存储的空间，但是由于文件系统的预读等 机制会带来些附加的开销( 预读些不必要的磁盘信息) ，并且备份时会对其 它的用户造成影啊；物理层的备份可以实现更高的吞吐率和更少的c p u 消耗，但 是其只能针对特定的文件系统进行备份，在备份时文件系统的属性不能更改， 并且不能进行增量备份或特定文件的备份。 h u g op a t t e r s o n 3 提出了一种基于物理层次的异步备份系统，其在设备层 ( d e v i c el e v e l ) 定期将需要备份的数据发往远程备份主机，并且采用比较校验和 ( c h e c k s u m s ) 的办法来决定哪些记录块( b l o c k ) 需要进行备份，同时将这些索 引信息集中存储以提高读取效率。该文指出每1 5 分钟做一次镜像可以减少3 0 到8 0 的数据传输，并且认为同步备份会带来较高的系统开销( 写延时) 。 对于数据库的备份，大部分商用数据库都有备份的功能，比如o r a c l e 的备 份功能就包括了逻辑备份( 比如对数据的导入导出功能) 和物理备份( 比如离 线备份和在线备份) 。另外，l a r sf r a n k 4 】、r i c h a r dp 1 5 还将数据库的备份分为 不同的安垒级别进行，其安全级别包括l 级( 1 一s a f e ) 、2 级( 2 - s a f e ) 和高级( o - s a f e ) 。 一 塑型查兰堡! 兰垡堕兰 但是这些方法都不能实现实时的数据备份，数据管理员( d b a ) 必须决定执行 备份的时机和频率，某些数据库备份的功能还必须由d b a 手工进行。 此外，随着存储区域网( s a n ) 【6 】的发展，基于s a n 的备份技术也得到了 一定的应用，比如上海交通大学的s a n 网络备份模型f 7 】，西北工业大学的统一 数据备份恢复系统i 。由于光纤通道的高效传输，这些应用都可达到很高的性能。 但是s a n 备份软硬件设备的造价十分昂贵，这类方法往往无法得到广泛的应用。 本文提出的同步网络备份系统( s n b ) 属于物理层的同步备份。s n b 系统 在l i n u x 内核的设备驱动层入口处将系统的写操作截获并备份到远程( 详见第5 章：系统设计) ，这实际上可以认为是种增量备份，因为当系统产生写操作时 即表示数据将有变化发生，这一方法解决了文献 2 提出的物理层备份不能进行 增量备份的问题。另外，j a n g s e u n g - j u 9 提出在内核底层进行设备到设备( d e v i c e t od e v i c e ) 的备份将有效的提高备份的效率，s n b 系统在内核中实现设备到设备 的同步备份，以期解决文献【3 i 指出的同步备份会造成较大系统开销的闯题。 笔者注意到文献 1 0 1 和 1 l 】所做的工作与本文类似。 l l o y d ，s c o t tj 【1 0 】提出了一种实时远程备份系统_ r o i u b ，r o r i b 在内核 的文件系统层和设备驱动层之间实现对写请求( r e q u e s t ) 的备份，因此支持各种 不同的文件系统和存储介质。与本文不同的是r o r i b 系统将写请求的远程传输 和本地存储2 项操作并行( p a r a l l e l ) 地进行，这样当传输失败时将不能保证两 端数据的同步。而本文将记录块( b l o c k ) 的远程传输和本地存储串行的进行( 详 见第5 章) ，在传输成功后才进行本地的存储，从而保证了两端数据的同步。另 外，r o r i b 针对每一个写请求( r e q u e s t ) 都建立一个t c p 连接，这样由于协议 本身的开销( 建立连接时的3 次握手) ，当大量数据写入时系统性能将会有所下 降，而本文中所有的记录块传输都共用一个已经建立好的t c p 连接，从而降低 了系统的开销。 文献【1 1 在l i n u x 内核底层截获r e q u e s t 队列将其备份到远程，实现了个异 步的备份系统。r e q u e s t 队列在生成时都和系统当时的状态有关，通常根据当时 磁头的位置和移动方向根据“电梯算法”对队列中的请求进行一定的排序，而 适合本地主机的排序方法不一定适合备份主机，这样就有可能对系统的磁盘性 能造成一定的影响。而本文对记录块的截获是在生成r e q u e s t 队列之前进行的， 这样本地主机和备份主机都珂生成适合自己情况的r e q u e s t 队列，从而达到更好 的磁盘性能。 一s 一 四川夫学颤l 学位论文 1 4 论文的主要工作 本文设计并实现了一种基于l i n u x 内核的同步网络备份系统( s y n cn e t w o r k b a c k u p ) ，主要工作如下： 1 分析了国内外备份技术的研究现状。 2 深入分析了l i n u x 2 4 内核源码，对内核的存储机制做出了整理。 3 基于l i n u x 内核，实现了一种工作在物理层次的同步网络备份系统s n b 。 4 s n b 系统在l i n u x 操作系统内核中运行，对应用程序透明。 5s n b 系统对内核的改动不影响内核的原有功能，特别是不影响非备份数 据的存储效率。 6 s n b 系统实现了高效的备份性能和高的系统吞吐率。 1 5 论文结构 本文设计并实现了一个同步的网络备份系统( s n b ) ，并介绍了相关的原理 及技术。论文的结构如下： 第一章，( 即本章) 讲述课题背景、来源，国内外研究现状及本文工作。 第二章，针对l i m m 2 4 内核分析了内核的存储机制。将l i n u x 内核的存储过 程归纳为3 个阶段：第l 阶段，数据写入记录块缓冲区：第2 阶段， 内核线程b d f l u s h 将“脏”记录块提交给磁盘；第3 阶段，磁盘完 成写入工作后向内核发出中断。 第三章，介绍了内核中一些其它相关的部分。包括系统调用、进程调度，内 存管理等。 第四章，阐述了s n b 系统的设计，包括名词解释、设计目标、总体设计， 详细设计等。 第五章，对系统进行了存储和备份的性能做出测试，并对结果加以分析。实 验表明s n b 系统具有较高的备份效率。 第六章，对全文进行总结，并指出优待解决和改善的问题。 四川i 大学硕 学位论文 1 6小结 9 l l 事件发生以后，人们对数据备份和灾难恢复的重要性有了更深的认识， 备份和容灾技术已成为了一个热门的研究方向。我国在备份技术方面的研究才 刚刚起步，政府也正在加大对灾备产业的投入。备份技术在灾难备份和恢复系 统中占有至关重要的地位，安全高效的备份技术可以有效提高容灾系统的性能， 减小灾难给用户带来的损失，因此对备份技术的研究具有重要的理论意义和现 实意义。 一7 一 四川大学硕士学位论文 2 备份系统概述 备份系统的构建需要考虑多方面的因素，本章将介绍数据的完整性、数据 备份、容灾等级和容灾系统的组成等几个方面。 2 1数据完整性 数据完整性这一术语用来泛指与损坏和丢失相对的数据状态，即数据处于 一种未受损的状态，它通常表明数据在可靠和准确性上是可信赖的。 使用该定义，数据完整性的目的就是保证计算机系统上的数据和信息处于 一种完整的和未受损的状态。这意味着数据不会由于有意或无意的事件而被改 变或丢失。数据完整性的丧失意味着发生了导致数据丢失或改变的事件灾 难。 灾难的发生有可能导致系统重要数据的丢失，具第三方咨询公司统计，导 致系统灾难的原因如下 1 3 1 ： 自然灾害( 占2 9 ) ：如雷击、地震等，一旦发生自然灾害则会造成灾 难性的后果。 电源故障( 占2 4 ) ：电源故障包括供电系统故障、u p s 故障和系统电 源故障等，电源故障会导致系统不可用，严重的甚至导致数据不完整或 者数据破坏或丢失。 硬件故障( 占1 8 ) ：主要的硬件故障是磁盘( 包括其适配卡、接线) 和电源( 包括电缆、插座) 。 软件故障( 占1 2 ) ：最为复杂和多样化的故障原因，如系统参数设置 不当；或由于应用程序没有优化，造成运行时系统资源没有合理分配； 或数据库参数设置不当等，都有可能导致系统性能严重下降，设置停机。 病毒( 占1 0 ) ：目前国内u n i x 系统受病毒影响的情况并不多见，但一 些w i n d o w 服务器较容易收到病毒的侵害。 火灾( 占3 ) ：机房火灾导致系统硬件损坏，数据丢失。 人为错误f 占2 ) ：这是最容易被忽略的故障原因。如对一些关键系统 配置文件的不当操作，会导致系统不能正常启动。 8 些型丕兰堡主兰篁笙苎 为了防止数据完整性的丧失，通常采用备份、归档、分级存储管理、镜像 技术、廉价冗余磁盘阵列和制订容灾计划等技术。 备份 备份系统是用来恢复系统错误的最常用方法。假如一个系统丢失了数据， 就可以用备份系统将最近一次的系统各份恢复到受损机器上去。当然，备份系 统也有缺点，它不能保证备份数据和故障前的数据百分之百的一致，因为备份 只保存上一次备份时数据状态，它对于备份后到故障前这段时间内变化的数据 无能为力。因此，提高备份系统的实时性尤为重要。 归档 归档是指将文件从网络的在线存储嚣上删除并将它们拷贝到磁带或光学介 质上以便于长期保存的过程。尽管归档的主要目的可能是通过删除旧文件使得 网络上的剩余存储空间变得大一些，但是该方法也能通过从在线存储器删除文 件并将其转入永久介质上的措施加强对文件系统的保护，因为归档文件不会像 在线文件那样受到网络上可能发生的事故的干扰。同时，它也可以成为灾难恢 复计划的一个组成部分，储存在永久介质上的数据可以送到异地存救，这样在 本地系统遭到灾难袭击时仍然有数据备份保存在异地。 分级存储管理 分级存储管理h s m ( 1 1 i e r a r c m c a ls t o r a g em a n a g e m e n t ) 是一种能将数据从在 线存储器上迁移到近在线存储器上或者从近在线存储器上迁移到离线存储器上 的系统。它也可以进行相反的过程。分级存储管理和归档很相似。但对数据完 整性而言，该方法有更多的好处，也有更大的风险。 镜像技术 镜像技术是指将数据从一台机器上拷贝到另外一台机器上。镜像技术的具 体应用中，可以将机器中的文件系统拷贝到网络上的其他地方，也可以严格地 在物理层次上进行，比如说建立磁盘镜像，i o 驱动子系统镜像或整个操作系统 的镜像。 廉价冗余磁盘阵列( r a i d ) r a i d ( r e d u n d a n t a r r a yo f i n e x p e n s i v ed i s k s ) 技术能够提高数据的可用性。 型型奎兰! 三兰兰竺丝兰 它将多个硬盘构成一个同步化的磁盘阵列，作为一个虚拟的存储设备，数据展 开存储在多台磁盘上，并以冗余技术提高存储系统的可靠性。r a i d 能够在一个 或多个硬盘失效时有效地防止数据的丢失，并且保证系统的正常运行。同时， r a i d 技术大大提高了数据的存储速度。 容灾计划 客灾计划是能够在灾难发生后重建系统的指导性文件。容灾计划不仅规定 了灾难前如何进行数据的备份、存储，还制定了如何在废墟上如何一步一步地 重建系统，恢复数据和服务。虽然灾难并不经常发生，但是容灾计划仍然必不 可少，它可以使系统在遭受毁灭性破坏后仍然能够恢复到灾难发生前的正常状 态。 2 2 数据备份 如上节所述，计算机系统会由于许多原因而出错。这对于依赖计算机系统 的机构而言意味着在的确需要的时候必须要有办法重建计算机系统。被毁坏的 硬件可以购买新的设备来代替，但却无法买到所需的数据。将数据重新恢复到 机器中的唯一办法是从以前准备好的一些存储设备或介质上恢复数据。这使得 数据备份系统必不可少。 2 2 1 备份系统的数据流量 在建立备份系统前，先分析备份系统的数据流量是非常重要的，这对备份 系统的性能和可维护性有直接的影响。 1 应用流量：建立计算机系统的根本目的就是应用，与实际应用有关的流 量叫应用流量。从另一个角度上来说，备份系统只是为提高原来应用系 统的可靠性而附加的软硬件系统，因此应用流量也就是没有备份系统时 应用系统的流量。 2 备份流量：把原数据拷贝到备份设备而产生的流量叫备份流量，也就是 在应用系统上因附加备份系统而新增加的这部分数据流量。 3备份系统接口：原数据宿主计算机与备份设备的连接界面。 1 0 四川大学硕i 一学位论文 2 2 2 备份系统结构 备份系统按其接口可分为总线备份系统和网络备份系统。 总线备份系统 图2 _ 2 2 一l 显示了一个总线备份系统。该系统从需要备份的服务器上用一根 数据总线把备份设备连接起来。常用的总线包括s c s i 总线，光纤通道等。 图2 2 2 1总线备份系统，服务器与备份设备之间通过总线连接 这种备份系统结构简单，可靠性高 并且备份设备与服务器的距离十分有限 网络备份系统 易维护，但增加备份设备的容量困难 比如s c s i 总线的长度只有6 2 5 米。 图2 2 2 2网络备份系统，服务器与备份设备之间通过网络连接 图2 2 2 2 显示了一个网络备份系统。服务器与备份设备通过网络连接起来。 由于网络的开放性，因此这种系统很容易添加新的备份设备，并且服务器与备 份设备的距离可以从几米到数千公里。 备份系统按其应用流量与备份流量是否分开，可分为混合流量备份系统和 独立流量备份系统。 叫川人掌坝士掌位沦义 混合流量备份系统 应用流量和备份流量通过同一个总线或者网络进行传输，备份流量和应用 流量相互干扰，相互争竞。为了保证实际应用，备份操作和管理往往选在应用 系统不太忙时进行。 独立流量备份系统 应用流量和备份流量通过不同的网络进行传输，备份操作和管理可随时进 行，对应用系统的影响不大。图2 2 2 3 是独立流量备份系统的示意图。 。 应用流量网络 备份流量网络 图2 2 2 3 独立流量备份系统，应用流量和备份流量分开 2 2 3 设备和介质 2 2 3 1 磁带介质 磁带是所有存储媒体中单位存储信息成本最低、容量最大、标准化程度最 高、技术最成熟的常用存储介质之一。它互换性好、易于保存，近年来由于采 用了具有高纠错能力的编码技术和即写即读的通道技术，大大提高了磁带存储 的可靠性和读写速度。一盒磁带可存储高达4 0 0 g b 以上的数据，而一个磁带机 传输速度可达本机3 0m b s 、压缩6 0m b s 。但是磁带只能顺序存取，这是磁带 备份的最大不足。根据读写磁带的工作原理可分为螺旋扫描技术、线性记录( 数 据流) 技术、d l tf d i g i t a ll i n e a rt a p e ) 技术以及比较先进的l t o ( l i n et a p eo p e n ) 技术。 姻门j ，学倾卜学位跄卫 2 2 3 2 磁盘介质 磁盘介质存储数据是根据电、磁转换原理实现的。磁盘工作时，盘片以设 计转速高速旋转，设置在盘片表面的磁头则在电路控制下径向移动到指定位置 然后将数据存储或读取出来。当系统向磁盘写入数据时，磁头中“写数据”电 流产生磁场使盘片表面磁性物质状态发生改变，并在写电流磁场消失后仍能保 持，这样数据就存储下来了；当系统从磁盘中读数据时，磁头经过盘片指定区 域，盘片表面磁场使磁头产生感应电流或线圈阻抗产生变化，经相关电路处理 后还原成数据。 常见的磁盘有软盘和硬盘两种：软盘的容量有3 6 0 k b 、7 2 0 k b 、1 4 4 m 和 2 8 8 m 等几种。由于软盘很容易损坏，因此软盘不适于作长期存储的介质。硬盘 由一个或几个表面镀有磁性物质的金属或玻璃等物质盘片以及盘片两面所安装 的磁头和相应的控制电路组成，其中盘片和磁头密封在无尘的金属壳中。硬盘 中的磁头在盘片表面读、写数据时所形成的若干个同心圆轨迹叫磁道，磁道从 最外圈向内依次编为“0 ”道、“l ”道等等。将硬盘中的所有盘片每面的任一磁 道如0 道重合起来就形成一个空心圆柱体，这个空心圆柱体在磁盘技术中就 被称为柱面。盘片上每条磁道平均分为若干段，则每一段就是一个扇区。硬盘 的容量比软盘大得多，目前已有容量高达2 0 0 g b 的硬盘面市。存取速度也比软 盘快很多，目前最快的硬盘最短平均寻道时间仅为3 2 毫秒，内部数据率达 8 6 0 m b s ，持续传输率达7 5 m b s 。 2 2 。3 3 光学介质 光学介质技术是将从介质表面反射回来的激光信号识别成信息。光学介质 上的0 和l 以不同的方式反射激光，这样光驱就可以向光轨上发射一束激光并 检测反射光的不同。总的来说，光学介质比磁带牢靠得多，因为这种介质是静 态的，也就是说它不用在磁带传输机构中运动并既很高的速度绕在卷轴上。另 外，这种介质也不产生自身脏物。但另一方面，往光学介质上写数据的挑战性 比在磁带中写要大得多。 磁光介质 磁光技术是基于磁技术和激光技术的。简单地说，磁光技术的工作原理是 一1 3 型型尘堂堡主兰丝堡苎 这样的：升高盘片上材料的温度，然后快速地改变其上的磁排列方式。该介质 的磁特性在常温下不能被改变，这就是要长期保存的数据可以写在磁光介质上 的一个原因。磁光盘，或简称m o ( m a g n e t o o p t i c 扪，在所有的现有介质中具有 最好的持久性和耐磨性。m o 介质的容量主流产品有1 3 g b 、6 4 0 m b 、2 3 0 m b 等多种，尺寸有3 5 英寸和5 2 5 英寸两种，容量从1 3 8 m b 到9 1 g b ，使用最多 的是3 5 英寸容量为6 4 0 m b 的m o 。 可刻录光盘 可记录c d ( c d - - r e c o r d a b l e ，c d r ) 介质的表面光滑、透明，下面有一种染 料衬底材料自够改变，用不同的特性代表数据位。写激光束能改变染料而将数 据写入c d 。c d r 被看成w o r m ( w r i t e o n c e ，r e a d m a n y ，一次写，多次读) 设备。 c d r w 盘是指可以多次写入、多次读取的可擦写光盘。c d r w 的工作原理是 使用了一种所谓的“相变”( f a c e c h a n g e ) 技术，同样也是利用激光的大功率辐 射，对光盘本身的感光物质进行瞬间的加温。与c d r 不同的是还要进行相位的 转换，用来记录资料，由此可以制造成能够提供读取的反射点，而且这些类似 小“泡”的反射点也是可以重复烧制的。刻录光盘的容量在6 5 0 m 左右。容量更高 的d v d r 、d v d r w 、d v d r a w 刻录光盘容量可达3 9 5 g b 至9 4 g b 。 2 2 4 提高设备的性能 肖有大量数据需要备份时，系统的性能就显得尤为重要。本节将介绍一些 能用来提高备份性能的技术。 r a i d p , a i d 是r e d u n d a n t a r r a yo f i n e x p e n s i v ed i s k s ( 廉价磁盘冗余阵列) 的缩写。 r a i d 控制器通过磁盘阵列的并行数据读写技术克服了磁盘机电设计的限制，大 大提高了存取速度并运用校验技术来提高数据的可靠性。当r a i d 控制器在磁盘 上写数据时，它还会记录下相应的校验冗余数据，如果某一磁盘失效，这个检 验信息可使r a i d 控制器重新计算从而找回丢失的数据。r a i d 系统分成七个等 级( o 6 ) ，每个等级按照不同的安全要求、可靠要求和所需花费而设计。目前 对r a i d 级别的定义获得业界广泛认同的有四种：r a i d 0 、r a i dl 、r a i d3 和 r a i d5 。r a i d 的实现也分为硬件实现和软件实现。 r a i d0 无数据冗余，磁盘进行条带化分割，具有成本低、读写性能高、存 剀川大学琐t 学位论文 储空间利用率高等特点，但因为没有数据冗余，如果阵列中的一个磁盘坏了， 则整个阵列无法使用。r a i d0 可用一个磁盘实现。 r a i d1 通过把数据写到一个主磁盘和镜像集来实现磁盘镜像和双磁盘，安 全性好，技术简单，管理方便，读写性能均好。如果一个磁盘坏了，数据可用 镜像磁盘恢复。r a i d1 至少需要两个磁盘，并且1 0 0 冗余，磁盘空间利用率 低。 r a i d3 综合了r a i d0 和r a i d1 的特点，独立磁盘配置成r a i d0 ，两套 完整的r