（计算机软件与理论专业论文）基于存储系统的异步远程镜像数据容灾研究.pdf

基于存储系统的异步远程镜像数据容灾研究 摘要 计算机信息技术围绕着信息的载体数据展开，企业业务更是2 4 小时离不开数据。如 果由于系统故障或灾难原因造成企业的重要数据丢失，将会给企业带来重大经济损失。 为确保企业关键数据的完整性和持续可用性，各种数据容灾技术将变得越为重要起来。 传统的数据保护方案如r a ，备份，快照等已经不能满足需要，远程镜像数据容灾 技术应运而生。现在，要恢复一个遭受灾难的系统，可能仅需几分钟，而不再是传统方 式下的数十个小时了。 在远程镜像系统中，若生产中心和容灾中心相距较远，同步远程复制的效率急剧下 降，此时如果能够承受少量数据安全性损失，往往获得的效率提高和经济收益却是巨大 的，因此异步远程复制也有其广阔的应用空间。 在现今大多数容灾系统中，用户往往面临两个极端的选择：要么利用成本低廉的磁 带备份而冒丢失大量数据和花费大量时间进行恢复的风险，要么利用同步复制防止数据 丢失而为复制延迟和网络带宽付出昂贵代价。本文在对已知产品的同步异步远程复制技 术设计进行了综合分析的基础上，自行设计了一套异步远程镜像系统方案，同时，为了 提高网络带宽利用率和降低网络传输成本，又设计了一种自适应的异步模式，使网络中 的数据传输量能够根据实际网络带宽和实际应用程序写数据率的变化而自动进行动态调 整，达到最优，既减缓了应用程序的写延迟而提高了性能，又通过延迟远程复制操作而 避免传输已被删除或覆盖的旧数据块。系统因此能够在数据滞后量和网络带宽占用率之 间找到一个最佳的动态平衡点。 最后，本文为所设计的远程镜像系统方案做了简单的代码实现，并进行了系统仿真 测试，比较了同步复制、异步复制以及自适应异步复制三种模式的运行性能差异，并对 此做出简略分析与总结。 关键字： b m d ，主存储系统，从存储系统，生产中心，容灾中心，写顺序一致性，快照，自适应 异步模式 基于存储系统的异步远程镜像数据容灾研究 d i s a s t e rt o l e r a n c er e s e a r c ho f a y s n c h o r o u sr e m o t em i r r o r i n g s y s t e m b a s e do n s t o r a g es y s t e m a b s 仃a c t i n f o r m a t i o nt e c h n o l o g yi sb a s e do nd a t aw h i c hc a r r yi n f o r m a t i o n m a n yc o m p a n i e sa r e o p e r a t i n go nd a t a2 4 h o u r sp e rd a y , a n dt h e s ek e yd a t aa r es oi m p o r t a n tt h a tw h e nl o s tt h e c o m p a n ym a yg e to u to fo p e m t i o m i no r d e rt oi n s u r et h e c o n s i s t e n c ya n dc o n t i n u o u s a v a i l a b i l i t y , d i s a s t e rt o l c r a n c y f o rd a t ai sn e e d e d t h eo u t d a t e dd a t ap r o t e c t i o na p p r o a c h e ss u c ha sb a e h u p s n a p s h o ta n dr a i dc a nn o l o n g e rm e e tt h en e e d so f r e a lt i m er e c o v e r yw h e nd i s a s t e r sh a p p e n , w h i c hl e dt or e m o t e m i r r o r i n gt e c h n o l o g y t oa p p e a r a f t e rt h a t , as y s t e mc a nb er e c o v e r e di ns e v e r a lm i n u t s ，n o ti n t e n so f h o u r s 。 i nt h er e m o t em i r r o r i n gs y s t e m , w h e np h i s c a ld i s t a n c eb e t w e e np r i m a r ya n ds e c o n d a r y s i t eg e tt o ol o n g , t h ee f f i c i e n c yo f s y n c h r o n o u sr e m o t ed u p l i c a t i o nm a y g e t t o ob a dt ot o l e r a t e , a sar e s u l t , w h e nal i t t l ea m o u to fd a t al o s i n gi sa c c e p t a b l ea s y n c h r o n o u sr e m o t ed u p l i c a t i o n m a y b ew i d e l yu s e dw h i c hi m p r o v e st h ee f f i c i e n c yg r e a t l y , a n ds a v i n gal o to f m o n e yf o r c o m p a n y b u tc u r r e n tm e c h a n i s m so f f e rn s e t sas t a r kc h o i c e ：r e l yo na f f o r d a b l e t a p eb u t r i s kt h el o s s o faf u l ld a yo fd a t aa n df a c em a n yh o u r so re v e nd a y st or e c o v e r , o rh a v et h eb e n e f i t so fa f u l l ys y n c h r o n i z e do n - l i n er e m o t em i r r o r , b u tp a ys t e e pc o s t s i nb o t hw r i t el a t e n c ya n d n e t w o r kb a n d w i d t ht om a i n t a i nt h en l i n - o r t 1 】i sp a p e ri n t r o d u c e sa na d a p t i v ea s y n c h r o n o u s m i r r o r i n gi nw h i c h b a t c h e so f u p d a t e sa r e p e r i o d i c a l l ys e n tt ot h er e m o t e f i l l _ t r o ti na n a d a p t i v e m e t h o d ，a n dw h i c hc a nl e td a t ad i s a s t e rs y s t e mf i n dab a l a n c eb e t w e e nt h e s ee x 仃e m e s f i r s t , b ye l i m i n a t i n gt h ew r i t el a t e n c yi s s u e ，a s y n c h r o n yg r e a t l yr e d u c e st h ep e r f o r m a n c ec o s to fa r e m o t em i r r o r s e c o n d , b ys t o r i n gu pb a t c h e so f w r i t e s ，a s y n c h r o n o u sm i r r o r i n gc a na v o i d s e n d i n gd e l e t e do ro v e r w r i t t e n d a t aa n d t h e r e b yr e d u c en e t w o r kb a n d w i d t hr e q u i r e m e n t s t h e s y s t e m c a nt u n et h eu p d a t e 在e i 畔y t ot r a d en e t w o r kb a n d w i d t h a g a i n s tt h ep o t e n t i a ll o s so f m o r ed a t a f i n a l l y , t h i sp a p e ri m p l e m e n t st h ed e s i g n e ds y s t e mb y c o d i n g i nac u r tw a y , a n d c o m p a r e s t h ed i f f e r e n c e so fe f f i c i e n c y a m o n gs y n c h r o n o u sm o d e ，a s y n c h r o u sm o d ea n da d a p t i v e a s y n c h r o u sm o d eb yt e s t s a r e rt h et e s t s ，ac o n c l u s i o nc a nb ed r a wt h a tt h e a d a p t i v e a s y n c h r o u sm o d e c a l li m p r o v et h ee f f i c i e n c yal o t k e y w o r d s ： r a i d ，p r i m a r ys t o r a g es y s t e m ，s e c o n d a r ys t o r a g es y s t e m ，p r i m a r ys i t e , s e c o n d a r ys i t e , w r i t i n go r d e rc o n s i s t e n c y , s n a p s h o t , a d a p t i v ea s y n c h r o n sm o d e d i s a s t e r t o l n m u e e r e s e a r c h o f a y s n c h o u s r c a i a o t o m i r r o r i n g s y s t e m b a s e d o r s t o r a g e s y s t e m i i 绪论 绪论 在当今信息时代，信息技术对数据的使用量呈几何级数增长。企业的业务2 4 小时都 离不开数据。如果由于系统维护、调整、升级，或者是自然灾害、人为故障等原因造成 企业的重要数据无法访问，给企业带来重大经济损失，甚至关系到企业的生死存亡。所 以，当今现代化企业所使用的高可用性计算机系统，最重要的一点就是要确保企业业务 数据的完整性和持续可用性。 保持企业数据持续可用性面i 临多方面的挑战，最主要的有：自然灾害或人为故障、 数据中心迁移，以及软硬件系统变更或升级等。多年以来，为确保关键任务型系统的高 可用性及其所处理数据的持续可用性，人们想出了很多解决方案，比如镜像或备份等等。 就传统镜像方案来说，各种制约因素致使主服务器与存储系统往往同处一地，如果 服务器发生软硬件故障而存储系统未遭破坏，则服务往往可以快速恢复。但是如果发生 了自然灾害( 水灾、火灾和地震等) ，将会影响到整个数据中心，这时将无法保证所有主 服务器和存储系统都是可用的了。 传统备份方案大多使用磁带进行数据备份。完成备份后的磁带被存放到一个相对比 较独立的磁带库中。为保证备份数据不受数据中心现场所发生的意外事故影响，通常要 将磁带库安置在远离数据中心的地点。这种方案虽然能够确保数据的安全，但却存在着 较严重的数据滞后现象。很明显，对于当前企业的某些关键应用来说，这种滞后是难以 忍受的。 进入2 0 世纪9 0 年代后，磁盘阵列技术发展十分迅速。磁盘阵列技术正在将磁盘镜 像功能和负荷从处理器转移到智能磁盘控制器上，这种技术不但保证了能够在灾难发生 的同时实现应用处理过程的实时恢复，而且解决了在数据恢复过程中一直困扰人们的费 时费力的磁带倒带操作。此外，通信技术的发展使异地闻高速数据交换成为了可能。现 在，恢复一个系统可能仅需几分钟，而不再是传统方式下的数十个小时了。 数据容灾研究背景： 对于很多企业来说，时间就是金钱，业务每停止一分钟就会造成成千上万美元的经 济损失，如果企业的整个中央数据丢失，则会面临破产命运。因此，企业对关键数据进 行保护势在必行，于是出现了很多实现数据保护与数据容灾的技术，从磁带数据备份到 r a d ，到快照，再到当今的远程镜像数据容灾，一批从事数据保护技术产品开发的企业 与部门应运而生。在这些公司产品中，比较有代表性的有e m c 的s r d f ，毋m 的x r c ， h p 的x pa r r a y s 、c o n t i n u o u sa c c e s ss t o r a g ea p p l i a n c e ( c a s a ) ，v c r i t a s 的v o l u m e r e p l i c a t o r ( v v r ) ，n e t w o r ka p p l i a n c e 的s n a p m i r r o r 等。 在当今远程镜像系统产品中，有基于存储系统实现的( 如e m c ，i b m ) ，即镜像操 作从主机系统中剥离出来，由存储系统通过自己特有的控制设备来完成，在硬件上与主 机系统无关，在软件上与操作系统及应用无关，从而做到对上层的操作系统和主机系统 基于存储系统的异步远程镜像数据容灾研究1 绪论 透明，减轻了主机系统的负担，该结构中硬件造价较高，适用于高端应用；有非基于存 储系统实现的( 如v e r i t a s ) ，即镜像操作与主机系统往往集成在一起，由主机系统控制 完成远程镜像，该结构中硬件造价较低，适用于低端应用。 本文所做工作： 首先，本文介绍了计算机体系结构中i o 存储设备的构造情况，并介绍了备份，r a i d ， 快照等数据保护技术，然后着重分析了当今数据容灾业界内一些著名公司产品的异步远 程镜像技术设计情况：在e m c ，i b m 公司开发的远程容灾产品中，远程复制都是基于 存储系统的基础上实现的，即数据的复制主要是通过存储系统设备来控制完成，而与主 机系统无关，这种体系结构降低了主机系统的负载，使主机能够更高效地运行企业的各 种应用程序；n e t a p p 公司的s n a p m i r r o r 是基于快照技术实现的，通过对增量快照进行 远程复制来实现数据容灾，它很好的降低了网络中的数据传输量，有效地利用了网络带 宽。 在远程镜像系统中，当生产中心和容灾中心的距离超过1 0 0 公里时，同步远程复制 的性能急剧下降，此时可以采用异步复制来提高效率，不过这是以一定的数据安全性为 代价的，也就是说，一旦生产中心出现灾难，则还没来得及传输到容灾中心的数据可能 会丢失。在通常情况下，异步远程复制丢失的数据量相对于企业的整个数据量来说是极 少的，如果能够忍受这样的数据丢失量，则异步远程复制带来的效率提高和成本收益将 是巨大的，因此有其广阔的应用空间。本文针对异步模式下的远程复制技术进行了研究 与分析。 本文在对已知产品的技术设计进行了综合分析的基础上，自行设计了一套基于存储 系统的异步远程镜像系统方案，同时，为了提高网络带宽利用率和降低网络传输成本， 亦设计了一种自适应的异步模式，使得网络中的数据传输量能够根据实际网络带宽和实 际应用程序写数据率的变化而自动进行动态调整，达到最优，以便更高效地实现远程数 据容灾。 最后，本文为所设计的远程镜像系统方案做了简单的代码实现，并利用代码进行了 系统的仿真测试，比较了同步复制、异步复制以及自适应异步复制三种模式的运行性能 差异，并对此做出简略的分析与总结。 基于存储系统的异步远程镜像数据容灾研究2 第一章数据容灾综述 第一章数据容灾综述 1 11 1 0 设备路径 对于单机系统而言，c p u ( 或d m a 操作中的内存) 与磁盘等i ，o 设备进行数据通信 时，由于i o 设备的速度与c p u 及内存的速度差异很大，为了提高性能，通常使用桥接 芯片将慢速i o 设备与系统内存分开，使慢速i o 设备( 包括磁盘驱动器，网络适配器 等) 运行在主机i 0 总线上。如下图所示： 系统内存总线 主机i o 总线 至硬盘控制器至网络适配器 圈1 1 单机系统中c p u 与磁盘等i ，0 设备的数据通路 对于大型数据中心，f o 存储设备则和c p u 系统脱离开来，单独组成一个性能强大 的存储系统，并通过s c s i 或s a n 网络等与主机系统相连，完成主机系统的存储任务。 如下图所示： i缓存通道导向器 ( c a c h em e m o r y ) ( c h a n n e l d i r e c t o r ) ff 篙! 降f 篷：p j ( 。 鐾电 统 图1 2 大型数据系统中的i o 存储设备 对于主机系统而言，图中方框内的部分实际上等同于主机系统的一个i o 存储设备， 即一个高速外设。图中的通道导向器( c h a n n e ld i r e c t o r ) 作为主机系统的一个外部存储控 制器，通过通信链路或者s a n 和主机系统连接。缓存( c a c h e m e m o r y ) 作为数据存储系 统的缓存区域而非主机系统的系统内存。磁盘导向器( d i s kd i r e c t o r ) 管理着物理磁盘和 缓存之间的数据移动。 当通道导向器收到主机系统发出的写命令时，把接收到的数据直接写入缓存中，然 后向主机系统发送i o 操作成功的确认信息。此后，缓存中的数据在适当的时刻被磁盘 基于存储系统的异步远程镜像数据容灾研究3 苎二兰墼塑窒壅堡望 导向器写入磁盘子系统中。读操作的处理类似。 1 2数据保护技术 数据保护一般所采用的技术有r a i d 、快照( s n a p s h o t ) 、备份( b a c k u p ) 等。 1 2 1r a i d 技术介绍 r a i d 级别中最基本的分类为r a i d 0 r a i d 5 ，如下图所示 o i 2 3 d i s k 0d i 矗1d i s k 2d i s k 3d i 呔4d i s k 5 d i s k 0d i s k ld i s k 2 d i s k3d i d 0 4d i s k5 r a i dl e v e l2 ：h a m m i a g - c o d ee c c o 2 3 r a i dl e v e l3 ：b y t e - i n t e d e a v e dp 打i i y d i s k 0 斑妇ld i s k 2d i s k 3d i s k 4 d i 尊k5 百n 厂酮厂两同厂五订i ! p 0 - 4 ； 斟斟尉尉崮匿 o d i 置k 0d i s k1d i $ k 2d i s k 3d i s k 4d i s k 5 d od ld 2d 3 d 4：p 0 4 d 6d 7d bd 9p 5 - 9 1 1d 5 d 1 2d 1 3d 1 4p lo ；_ - 1 ：茸d 1 0d 1 1 d 1 8d l9p i 孓1 9d 1 5 d 1 6d 1 7 d 2 4p 锄渤d 2 0d 2 ld 2 2d 2 3 彰蚴d 2 s d 2 6d 2 70 2 3d 2 9 r a i dk w l5 ：r 舳t e db k x k - l m e r l e m , e dp a r i t y ( l e f t - s y m m e t r i c ) 图1 3r a i d r a i d 5 r a i d 的两个基本原则：通过数据分条( s t r i p e ) 来提高性能，通过冗余来提高可靠性。 n o u - r e d u n d a n t ( r a m l e v e l0 1 不含冗余信息。 写性能最好。 读性能不如r a i d l 。 单磁盘故障会导致数据丢失，不具备容错能力。 适用于对磁盘性能和空间利用率需求较高而对数据可靠性要求不高的场合。 m i r r o r e d 田a m l e v e l1 ) 基于存储系统的异步远程镜像数据容灾研究4 目目一虱朗一|圈她|圈国=圈=目目=目=圉目ii圈=目目一目一目 第一章数据容灾综述 使用的磁盘数量是r a 0 的两倍，因此空间利用率为5 0 ，数据在写一个磁盘的同时 也要写镜像盘，需写两次。 读数据的时候性能提高，响应时间为两个磁盘的响应时间最小值。 若有磁盘出现故障，则处于同一镜像对中的另一个磁盘继续响应服务。 适用于数据库运用，这些运用的数据可靠性和数据传输率比存储空间利用率更重要。 f , l 狮t l t - f 悖r e 。唧茹”掣唿字 企喜 血血由囟由圆 圈1 4r a i d i 中的读写操作 m e m o r y - s t y l ee c c ( r a m l e v e l2 1 需要的冗余磁盘数比r a i d l 少。冗余磁盘数目与阵列中磁盘总数的对数成正比。当阵 列中磁盘数增加时，磁盘空间利用率会提高，冗余磁盘所占比重会下降。 由于单个硬盘内部在数据读写时一般都带有海明码纠错机制，r a i d 2 的海明码纠错就 显得重复而多余了，因此这种结构在实际应用当中很少出现。 b i t - i n t e r l e a v e dp a r i t y ( r a ml e v e l3 ) 当出现磁盘故障对，由于硬盘控制器很容易查找出故障磁盘，因此只用一个校验盘就 可以恢复单磁盘错误而不至于丢失数据。 r a i d 3 中数据交叉以位为单位进行。数据的各个位被轮流地放在每个数据盘上，最后 在加上一个校验盘。 对于每个读请求，不管大小，都要求所有的数据盘同时提供服务。而每个写请求也同 样如此，但是还要同时更新校验盘。因此，在任意时刻只有一个请求能被处理。 由于校验盘不含数据信息，在读数据的时候它处于空闲状态，导致r a d 3 的读效率不 如r a i d 5 。r a i d 5 把校验信息散布在每个盘上，这样，在读数据时，可能所有的磁盘 都在响应服务。 r a i d 3 适用于带宽需求较高而i o 率需求不高的场合。 基于存储系统的异步远程镜像数据容灾研究5 第一章数据容灾综述 f a u l t - f r e e w 痂e f a u l t f r r e a d 盛硫田 蕊蕊 图1 - 5r a i d 3 中的读写操作 b l o c k - i n t e r l e a v e dp a r i t y0 1 a wl e v e l4 1 r a i d 4 与r a i d 3 类似，但不同之处在于它的数据交叉宽度是以块( b l o c k ) 而不是以位 ( b i t ) 为单位。交叉的块大小称作条文单元( s t r i p m g u n i t ) 。 当读请求小于一个条纹单元时，只需访问一个数据盘，与r a i d 3 不同。写请求必须更 新数据单元和校验单元。 写请求分为三种：大写( f u l l s t r i p ew r i t e ) ，重构写( r e c o n s t r u c t w r i t e ) ，小写 ( r e a d - m o d i 母- w r i t e ) 。小写需4 次i o 操作，大写同时写所有盘( 包括校验盘) ，效率 最高，重构写类似大写，但校验块需要通过其它数据盘上的数据块计算出来。 当写请求较多时，校验盘会成为瓶颈。因此可以把校验信息均匀分布到多个磁盘上以 实现校验信息更新的负载平衡，避免这种瓶颈，从而得到r a d 5 。 b l o c k - l u t e r l e a v e dd i s t r i b u t e d - p a r i t y ( r a l l ) l e v e l5 1 r a i d 5 消除了校验盘在处理写请求时的瓶颈。 与r a i d 3 、r a i d 4 都有专有的校验磁盘不同，r a i d 5 把校验信息和数据信息散布到所 有的盘上。在处理读请求时，r a i d 5 有可能使得所有的磁盘都在工作，因此读性能比 r a i d 3 、r a i d 4 好。 在各种r a i d 结构中，r a i d 5 的小读大读大写的性能都非常好。但小写性能很低。 r a i d 5 也有三种写方式：大写，重构写，小写。 r a i d 5 中有几种演变的布局方式：左对称，左不对称，右对称，右不对称，扩展左对 称等。其中左对称校验布局方式的性能较好也较简单。 基于存储系统的异步远程镜像数据容灾研究6 第一章数据容灾综述 f a u l t - f r e e r 删o d i f 卜w r i t e 咄酝静 f a u l t - f r 睫 f a u l t - f r e e 鼬c o n s t r t 戚- w r i t e f 跚l t f 氐 r e a d 下 一1 广_ 1 ul 叫日曰 赢缸 图1 6r a i d 5 中的读写操作 容单错r a i d 可用性评价 r a i d 0 不具备容错能力，任何一个磁盘坏数据丢失。 r a i d l b r a i d s 等单容错磁盘阵列的可用性为： 爿i l a b i 协；婴 m z 了z 强l 函+ m t z 冠髓四 f 刀r 。：塑笪堕型： w 口 j w ( m 【l l 一1 5 口一1 ) 膨刀， 脚t d i v k ：m e a nt i m e t of a i l u r e ，即磁盘到发生故障为止的平均正常运行时间。 。，：磁盘阵列中事件概率相互独立的组数目，每个组包含了。却。曙。个磁盘。 m 陧乳b ：m e a nt i m e t or e p a i r ，即修复磁盘故障所需期望时间，从故障被发现到故障 被排除为止。 r e d u n d a n c y ( r a m l e v e l 6 ) 当阵列中的磁盘数增大时，有必要引入双容错的机制来防止两个磁盘出现故障时所造 成的数据丢失。而且，当一个磁盘出错而使系统处于恢复阶段时，另外一个磁盘又出现故 障的概率也是较高的，在这种情况下也需要实现双容错。 r a i d 6 是一种双容错的阵列结构。它使用两种不同的校验码和两个冗余磁盘来实现。 校验码可以用r s 码也可以用水平垂直校验来代替。 基于存储系统的异步远程镜像数据容灾研究 第一章数据容灾综述 小写性能很差，需要6 次磁盘访问。 原理：一个能容n 个错误的磁盘系统要完成某个信息块的更新时，必须要更新n + 1 个块， 其中n 个为冗余信息块，另一个为数据块。 可用性： 胁= 瓦石而( m 石 z f 丽d s k ) 面3 赢了 n 为磁盘阵列中总磁盘数，g 为校验组大小。 1 2 2 快照技术介绍 快照( p o i n t - i n - t i m ec o p y ) 就是对一个处于连续变化状态中的数据集而言，要获得 这个数据集在某个时刻的一个瞬间拷贝，这个拷贝能够准确反映出数据集在该时刻的数 据内容。快照技术的难点在于数据集处在不断变化的情况下，如何在瞬间完成对数据集 的所有拷贝。 在存储系统中获得快照有三种实现技术： 1 b r e a k a m i r r o r 在所要求产生快照的时间点( p o i n t - i n - l i m e ) 到来之前，预先创建一个对源数据的完 整的物理镜像拷贝。在断开镜像之前，需要时时刻刻维持源数据和镜像之间的同步，因 此，任何对源数据的更新都会在后台提交到镜像拷贝中去。当需要创建快照的时刻到来 则立即断开镜像，从而通过镜像拷贝获得一份数据快照。由于这种快照是对源数据的一 份完全的物理拷贝，创建速度可能较慢，因为更新操作所需时间与需要同步的数据量大 致成正比。e m c 的t i m e f i a d e f 采用这种技术。 囝囝巨卜 8 t e a k 伽em i r r o r 曰囝囝 m a s t e rj r r o r 3 r dm l m o r m a s t e r m i r r o r s e p a r e t e c l f a 自r m r 图1 7 通过b m a l 【a 胁r 方式获得快照 2 c o p yo nd e m a n d 在所要求产生快照的时间点到来之后，才开始创建一份对源数据的完整的物理拷贝， 此时，拷贝过程开始在后台运行。在这个后台拷贝过程中，一旦有新的写命令要求写源 卷，就会导致源卷中的数据块先被拷贝到镜像卷中，然后新数据才会被写入源卷，这样 就保证了快照时刻的数据被保存到了镜像卷中。另外，当有一个读命令要求读一个还没 基于存储系统的异步远程镜像数据容灾研究8 第一章数据容灾综述 有被镜像的数据块时，也会导致这个数据块先被拷贝到镜像卷中，然后再响应读命令。 当快照时刻前源卷所保存的所有旧数据块都被拷贝到镜像卷中后，这个快照所要求的操 作才算彻底完成，此时，镜像卷成为源卷在所求时间点的一个完整的物理拷贝。i b m 的 f l a s h c o p y 采用了这种技术。 b e 妇螂 蕾d u r i n g 妇c o p y u p d a t e s 产m mu p d a t e sf r o m p r i m a r ya p i c a o np d m a r ya p p l l c a u 白豆v o l u m e 白j 禽。 a t e r a n d q 翟：翟1 d r y v o l u m ec o r n e n 印 8 睨o l r 鼎u l s k 翟罾k k bc a n ma m u 强k o r a i d p r o t e c - t e di g n o l r i n gn wr l t a s t e t u p d a t e s 图1 8 通过c o p yo rd e m a n d 方式获得快照 3 v u t u a lv i e w 在所要求产生快照的时间点到来时刻，开始创建一份对源数据的虚拟的而不是物理 的拷贝。前两种方式所得的快照都是在所求时间点上对源数据的一个完整的物理拷贝。 而v i n i l a iv i e w 方式中，在快照时间点之后没有被修改的数据会被源卷和镜像卷共享， 只存在一份物理拷贝，因此镜像卷在物理上会对源卷有一定的依赖关系。只有那些在快 照时间点之后被修改的数据才会被存放在单独的物理磁盘区域中。这种方式减少了对磁 盘空间的占用率，因为对于镜像卷来说，未被修改的数据实际上是映射到源卷的物理数 据块上的。v h - t u a l v i e w 方式大多采用c o p y o d w r i t e 技术来实现，因此需要拷贝的数据量 主要取决于源数据的更新频率和所求快照的生命期长短，而与源数据的总容量无关。另 外，快照的占用空间和源数据更新量大致成正比。利用c o p y o n w r i t e 技术产生快照通常 是非常迅速的，即使是针对大量的数据，也可以在几分钟内完成。n e t a p p 的s n a p m i r r o r 采用的这种技术。 獭螺块当曹活动主件纛麓蘸哦为 c 聍将其存擅在射赴 当前活动文件系统由教据鼬，b c 组成 快照由数据蜘 ，b ，c 组成 图1 9 通过v l r t m a v i e w 方式获得快照。( a ) 快照生成时 基于存储系统的异步远程镜像数据容灾研究9 数据块 当前活动文件系统由嬲暑；吼，b ，c 组成 快照由数据撬 ，b ，c 组成 图1 9 通过咖mv i e w 蔓y 式获得快照。快照生成后源数据被更新 1 2 3 备份技术介绍 全量备份： 常规的备份方式是把存储系统中的所有文件和数据都备份起来，这就是全量备份。为 提高安全性，备份程序还可以对备份介质上的数据进行克隆，以防止备份介质损害时数据 丢失。在一个备份周期中，全量备份需要拷贝所有的文件而不论这些文件是否被更新过， 因此耗时耗力。全量备份通常每周进行一次，这意味着那些在最近一周内新被改变或创建 的文件还来不及受到保护，安全性较低。另外，普通用户在系统进行备份或恢复期间将不 能对数据进行访问，造成业务延误。 图1 1 0 全量备份 增量备份： 为了在连续两次全量备份的间隙中也能够对数据进行保护，就要用到增量备份。在增 量备份方式中，只有在最近一次全量完成备份之后新被改变或创建的文件才会被拷贝到备 份介质中去。这样就可以更高效地对新创建或更改的文件进行保护而不再需要频繁的全量 备份。增量备份通常每天进行一次，而且是在系统相对空闲的时候进行。每做一次增量备 份要创建新的恢复点，并要记录下新创建或更新的文件。在利用网络进行的企业级备份中， 增量备份还能够减少网络中的数据流量，因为只有更新过的文件才需要在备份网络中传 输。 基于存储系统的异步远程镜像数据容灾研究 l o 第一章数据容灾综述 图1 u 增量备份 全量各份与增量备份的比较： 全量备份有两个缺点，一是读写整个文件系统非常耗时，二是存放整个源文件系统的 拷贝需要耗费大量的存储空间。而在增量备份中只需拷贝自前一次备份以来才被更新或创 建的文件，因此减少了备份量，但在进行恢复数据时则需用到一连串的增量备份，也就是 从最近的一次全量备份开始恢复，然后按时间顺序从一连串的增量备份进行恢复，直到获 得最新的数据状态为止。为了对两种备份方式进行扬长避短，通常的备份方案是在做一次 全量备份( 仍j 如每周一次) 之后，结合使用多次增量备份( 例如每天一次) 对数据进行高 效的保护。 基于文件级和设备级的备份方式比较： 文件由逻辑块组成，这些逻辑块通常都有固定的大小，每个逻辑块对应于一个物理块， 但是一个文件中相邻的逻辑块有可能会映射到不相邻的物理块中，例如，u n i x 使用了i n o d e 结构将逻辑块映射到物理块，i n o d e 结构中含有指向各个物理块的指针( 包括间接指针和三 级指针) ，这些连续存放在i n o d e 中的指针通常指向了不连续的物理块。 备份操作既可以在文件系统级别上也可以在设各级别上进行。基于文件级的备份系统 能够很好地利用文件系统中的控制信息来获知文件的结构并对所需的文件和目录进行拷 贝。这种备份方式利用了诸如i n o d e 中的指针找到对应的物理块对其进行备份，因此，备份 软件可以将某个特定文件的所有物理块查找出来并连续写入备份设备中，使得对单个文件 的备份与恢复操作变得非常迅速。但是，以文件为单位进行各份有时也会降低备份速度， 因为当一个文件的物理块在磁盘中不是连续存放时就会导致磁盘的寻道操作大量增加，从 而增加了磁盘操作的总开销，降低了磁盘的数据吞吐率。另一个缺点是在基于文件级的增 量备份中，即使是对个文件只做了很小的改动，也会涉及整个文件的拷贝。u n i x 下的t a r 使用了这种备份方式。 相比之下，基于设备级的备份则忽略文件结构信息，而直接对物理块进行连续拷贝， 从而降低了磁盘的寻道操作量，提高了备份效率。但这种方式却降低了对某个特定文件的 备份与恢复速度，因为文件的物理块可能不会连续存放在备份设备中，读写效率较低。另 外，这种方式的可移植性稍差。 备份技术的不足： 企业之所以要对数据进行备份，是因为必要的时候需要对数据进行恢复，但这是一个 相当耗时的过程。由于企业数据量的急剧增长，对当前数据进行简单的全量或增量各份已 经不能满足数据容灾的要求，因为数据恢复过程中必须首先恢复全量备份，然后按顺序恢 复一系列的增量备份，直到恢复到所需的数据状态为止，这通常是一个极其费时费力的过 基于存储系统的异步远程镜像数据容灾研究1 1 第一章数据容灾综述 程，在这个过程中用户将无法对所需的数据进行访问，导致业务延误，从而直接或间接造 成巨大经济损失，这对于大多数企业来说都是无法忍受的。 1 2 4 数据镜像技术介绍 为了对关键数据提供及时保护与恢复，需要把写往源磁盘上的数据再拷贝一份存放在 别的磁盘上，这些磁盘通常与源磁盘的读写性能相近，与源磁盘处于相同或不同的存储 系统中，这种把数据既写入源磁盘又写入镜像盘的操作就称为数据镜像。镜像操作可适 用于数据迁移、各种数据应用的测试与开发，以及对源磁盘的数据保护等。镜像分为本 地镜像( 剐西o ) 和远程镜像( r e m o t em i r r o r i n g ) 。本地镜像不具备数据容灾功能，而远 程镜像具备数据容灾功能。 磁带备份的不足： 企业中传统的数据保护方案是在数据中心定期地把数据备份到磁带上，然后把磁带 运送到一定距离以外的安全地点加以保存，当数据中心的数据损坏时再取回磁带进行恢 复。但这个恢复过程一般需要几个小时甚至是数天的时间( 数据越多、运送距离越远则 所需时间越长) ，恢复期间，有数据读写请求的所有应用业务都处于停滞状态，这对于企 业来说是难以容忍的，因为片刻的停工也意味着重大的经济损失。因此，传统的磁带备 份等容灾方案已经不能满足要求。下表列举了部分公司企业在出现停工时的损失情况： t h ec o s to fi n t e m e tc o m m e r c e d o w n t i m e ( s o u r c e ：f o r r e s t e rr e s e a r c h ) w e b s i t e d a i l yl a t e r n e tc o m m e r c e l o s tr e v e n u ep e rh o u ro f r e v e n u e o f1 1 1 5 9 9 邢s s )d o w n t i m e o f1 1 1 5 9 9 ( u s s ) w w w t e c h d a t a c o m $ l ，0 0 0 ，0 0 0$ 1 8 ，2 8 0 w w w a m a z o n c o m $ 2 ，7 0 0 ，0 0 0$ 2 2 ，s 0 0 w w w d e l l c o r n $ 1 0 ，0 0 0 ，0 0 0$ 9 1 ，3 2 0 w w w c i s c o c o r n $ 2 0 ，0 0 0 ，0 0 0$ 1 8 2 ，6 4 0 w w w i n t e l c o m $ 3 3 ，0 0 0 ，0 0 0$ 2 7 4 ，9 8 0 表1 1 部分企业在停工期间假设有2 0 的交易丢失的情况下的收入损失 本地镜像的优点： 在r a i d 中，r a i d 0 除了对存储容量利用率较低之外，通常的读写性能都优于 r a i d 4 ，r a i d 5 等磁盘阵列：( 1 ) 对于一个小写操作，r a i d 0 只有两次磁盘操作，而 r a i d 5 有四次磁盘操作；( 2 ) 对于个小读操作，r a i d 0 可以选择两个磁盘读操作中的 最快者，而r a i d 5 只有一个选择。 因此，在o l t p 等存在大量小读小写( 即高i o 率) 的应用( 例如银行) 中适合采用 r a i d 0 。 基于存储系统的异步远程镜像数据容灾研究1 2 第一章数据容灾综述 裔舌回 图1 1 2r a d 0 中的读写操作 写数据块d 时需写两个磁盘。读数据块d 时最先完成读请求的磁盘做出响应。 n w d a t a 图1 1 3r a i d 5 中的小写操作 新数据块d o 一写往磁盘d 口时，需先读出d o 和p 0 1 中的旧数据块d d 和p 0 1 d ，计算 p 0 1 2 3 。= p o l 2 3 0 hx o rd o , t nx o rd m 。，然后写d o 。到d o ，写p 0 1 m 。到p o l 共有四次磁盘操作。 远程镜像的优点： 1 容灾性能高。 如果只采用本地镜像r a i d 0 对数据进行保护，由于两个磁盘的故障概率事件在火灾 地震等灾难情况下一般不独立，通常会同时损坏造成数据丢失，因此容灾性能不高。而 远程镜像能较好地使数据磁盘和冗余磁盘之间的故障概率事件独立，从而极大地提高了 容灾性能。 2 灾难恢复迅速。 由于镜像设备与源设备的读写性能相近，一旦源设备出现故障，镜像设备中的数据 可以在短时间内投入使用，使得生产活动不受间断。同时，从镜像设备把数据恢复到源 设备的过程也较为迅速。 3 磁盘单位容量的价格大幅度下降，有利于降低镜像方案的成本。 单个磁盘驱动器的容量以每年6 0 的速度递增，但价格几乎不变，这使得磁盘单位 容量价格也相应地大幅度下降，即使镜像技术中磁盘空间利用率较低，但成本问题得以 缓解。 4 光纤通信技术的使用，使得远程镜像的远距离高速通信成为可能。 例如t 3 、o c 3 等一些基于光通信的链路的带宽已经达到1 5 5 m b s 左右，o c 9 ( 4 6 7 m b s ) 、o c l 8 ( 9 3 3 m b s ) 、o c 3 6 ( 1 8 6 6 m b s ) 等链路也逐渐开始投入使用。 远程镜像的必要性： 1 - 当需要保证业务的持续性时，数据的及时保护与恢复就显得尤为重要，以防企业由于 数据故障停机时造