（计算机系统结构专业论文）基于lvm2和nbd的远程复制系统设计与性能优化.pdf

摘要 摘要 远程镜像又叫远程复制，是容灾备份的核心技术，同时也是保持远程数据 同步和实现灾难恢复的基础。它通过网络将物理位置上分离的存储设备相连接， 在远程维护数据镜像，一旦灾难发生时，分布在异地存储器上的数据备份并不 会受到波及。远程镜像按主机端请求的执行是否需要远程镜像站点的确认信息， 又可分为同步远程镜像和异步远程镜像。 本文讨论了基于l i n u x 逻辑卷管理裂1 i l v m 2 ( l o g i c a lv o l u m em a n a g e r 2 ) 和 网络块设备 2 1 ( n e t w o r kb l o c kd e v i c e ) 的高性能、高安全性远程复制系统设计 与实现中的一些问题。 我们将远程复制机制嵌入到l i n u x 系统的l v m 2 组件d e v i c em a p p e r 目标设 备d m r e m o t e c o p y 模块中，利用l v m 2 便捷的磁盘空间管理性能，屏蔽了因物理 存储设备的差异而导致的系统设计的复杂性和实现的难度。该远程复制系统基 本工作原理是：生产中心在d m r e m o t e c o p y 模块中截获用户的写操作请求，通过 i o 逻辑重映射将请求发送到本地设备的i o 操作队列，即本地设备写操作完成； 同时将写操作数据副本和i o 请求按照本地设备( 即生产中心) 的写操作顺序记 录到远程复制i o 请求队列中。n b d 从远程复制请求队列中提取写操作请求， 同样按照本地数据的写操作顺序，通过n b d 协议将写请求及相应的数据副本发 送到容灾中心，完成生产中心向容灾中心数据的更新。 在异步传输的基础上，我们设计了自适应网络传输机制，可根据网络传输 的情况，动态的调节每次发送的请求量，从而达到网络条件动态变化情况下的 高效传输。为了在较低网络带宽条件下获得较好性能，我们设计实现了数据压 缩功能，在同等带宽条件下可传输更多用户数据。同时为了加强网络传输的安 全，我们引入了分组密码加密机制，使数据在广域网环境里传输更加安全可靠。 我们在高速局域刚和模拟广域网环境中对远程复制系统进行了较为全面的 压力测试。实验结果表明，系统运行稳定，效能良好。 关键词：远程复制，l v m 2 ，n b d ，批次传输，数据压缩，数据加密 a b s t r a c t _ 、 一i ab s t r a c t r e m o t em i r r o ri sa l s oc a l l e dr e m o t e r e p l i c a t i o n ；i ti st h ec e n t r a lt e c h n o l o g yf o r d a t ad i s a s t e rt o l e r a n c eb a c k u p i ti sa l s ot h eb a s eo f m a i n t a i n i n gr e m o t ed a c a c o n s i s t e n c ya n dd i s a s t e rr e c o v e r y s e p a r a t es t o r a g es y s t e mc o n n e c t e df r o mn e t 、o r k i nd i f f e r e n tp l a c e si su s e dt om a i n t a i nad a t ai m a g e w h e n d i s a s t e ro c c u n e d t h ed a c a d i s t r i b u t e di nd i f f e r e n tp l a c e sw i l lb en o ta f f e c t e d r e m o t er e p l i c a t i o n s y s t e mi s d i v i d e di n t os y n c h r o n o u sr e m o t er e p l i c a t i o na n d a s y n c h r o n o u sr e m o t er e p l i c a t i o n a c c o r d i n gt ow h e t h e rt h er e p l yf r o mr e m o t es t a t i o ni sn e e d e db yt h er e q u e s ts e r v e r a r e m o t er e p l i c a t i o ns y s t e mb a s e do n l v m 2 ( l o g i c a lv o l u m em a n a g e r ) a n d n b d ( n e t w o r kb l o c kd e v i c e ) i sd e s i g n e da n dd e v e l o p e db yt h i sp a p e r ，a n ds o m e p r o b l e m si nt h ed e s i g ni sd i s c u s s e d w ee m b e dt h er e m o t er e p l i c a t i o nm e c h a n i s mi n t ot h el v m 2 t a r g e td e v i c e d m 。r e m o t e c o p ym o d u l eo fl i n u xo s ，u s et h es u p e r i o rd i s km a n a g e m e n tc a p a b i l i t yo f l v m 2t os h i e l dt h e d e s i g nc o m p l e x i t ya n dt h ed i f f i c u l t i e sc a u s e db yt h ed i s c r e p a n c y m p h y s i c a ls t o r a g ed e v i c e t h eb a s i co p e r a t i o n p r i n c i p l ei s ：t h ep r o d u c t i o nc e n t e r i n t e r c e p t st h eu p d a t er e q u e s t si nl v m 2t a r g e td e v i c ed m r e m o t e c o p yl a y e r , s e i l dt h e m t ot h ev oo p e r a t i o nq u e u e t h r o u g ht h ei ol o g i c a lr e m a p p i n gi nl v m 2t a r g e td e v i c e s ot h eu p d a t ef o rd o m e s t i ci sd o n e m e a n w h i l e ，t h er e p l i c a t i o n sa n d r e q u e s t sa r es e n t t ot n er e m o t er e p l i c a t i o nr e q u e s tq u e u e i np r e v i o u so r d e r t h er e q u e s t ss h o u l db es e n t t ot h ed i s a s t e rt o l e r a n c ec e n t e rb yn b d p r o t o c o la n dt h eu p d a t e sw i l lb ec o m p l e t e d f r o mp r o d u c t i o nc e n t e rt od i s a s t e rt o l e r a n c ec e n t e r b a s e do na s y n c h r o n o u sr e m o t er e p l i c a t i o n , w ei m p l e m e n t e ds e l f - a d a p t i n g 。b a t c h 。t r a n s m i s s i o no nt h es y s t e m ，t h i sm e c h a n i s mc a n a c c o m m o d a t ei or e q u e s t n u m b e rt ot r a n s m i t si t s e l fa c c o r d i n gt on e t w o r kc o n d i t i o n ，i no r d e rt oi m p r o v e d p e r t o r m a n c eo fs y s t e mw h e nn e t w o r kc o n d i t i o nc h a n g ed y n a m i c a l l y w ea l s o i m p l e m e n t e dd a t ac o m p r e s s i o nf u n c t i o no nt h es y s t e mi no r d e rt og e tg o o d p e r f o r m a n c ei nt h eb a dn e t w o r kc o n d i t i o n t h i sw o u l di n c r e a s et h ep e r f l o n 呦c eo f s y s t e mg r e a t l yb e c a u s ei tc a nt r a n s m i tm o r ed a t au n d e rs a m en e t w o r kc o n d “i o n a t a b s t r a c t t h es a m et i m e ，w ea d d e dd a t ae n c r y p t i o nm e c h a n i s mi n t os y s t e mf o r t h es a k eo fd a t a s e c u r i t yw h i l et r a n s m i t so nw a n a f t e rs t r i c tt e s to i lt h el a na n dw a n ，w ef m dt h a tt h er e m o t ed a t ar e p l i c a t i o n r u n sw e l l k e y w o r d s ：r e m o t er e p l i c a t i o n ，n b d ，l v m 2 ，b a t c ht r a n s m i s s i o n ，d a t a c o m p r e s s i o n ， d a t ae n c r y p t i o n i i i 图目录 图目录 图2 1 定时复制示意图5 图3 1l v m 2 组织结构图1 2 图3 2d e v i c em a p p e r 框架结构1 4 图3 3l 、，m 2 内核通信流程15 图3 4n b d 示意图l6 图3 5n b d 模块流程图l7 图3 6n b d 报文格式1 9 图4 1 远程复制系统框架图2 2 图4 2 远程复制层次图2 4 图4 3 请求处理流程2 5 图4 5 数据不一致示意图2 9 图4 6 加密轮数与密钥长度关系3 7 图4 7a e s 加解密流程3 8 图4 8p r o v i d e r 获取信息结构图4 1 图4 9 网络延迟4 2 图5 1 不同请求大小时顺序写性能对比4 4 图5 2 不同请求下与异步传输顺序写性能对比4 5 图5 3 口因子对复制系统的影响4 6 图5 4 一段时间内时间间隔和分组变化4 6 图5 5 内存大小对性能影响4 7 图5 6i o m e t e r 测试不同请求大小的随机写性能4 8 图5 7r c t 测试实时随机写性能4 8 图5 8w a n e m 工作原理图4 9 图5 1 1 网络延迟对远程复制性能的影响一5 1 图5 1 2 丢包率对远程复制性能的影响。5 2 图5 1 3 缓冲区限制对远程复制性能的影响5 3 图5 1 4 压缩前后的性能对比5 4 图目录 图5 15 压缩比5 4 图5 1 6 加密后性能对比5 5 图5 1 7 内存大小对加密影响5 6 南开大学学位论文使用授权书 根据南开大学关于研究生学位论文收藏和利用管理办法，我校的博士、硕士学位获 得者均须向南开大学提交本人的学位论文纸质本及相应电子版。 本人完全了解南开大学有关研究生学位论文收藏和利用的管理规定。南开大学拥有在 著作权法规定范围内的学位论文使用权，即：( 1 ) 学位获得者必须按规定提交学位论文( 包 括纸质印刷本及电子版) ，学校可以采用影印、缩印或其他复制手段保存研究生学位论文， 并编入南开大学博硕士学位论文全文数据库；( 2 ) 为教学和科研目的，学校可以将公开 的学位论文作为资料在图书馆等场所提供校内师生阅读，在校园网上提供论文目录检索、文 摘以及论文全文浏览、下载等免费信息服务；( 3 ) 根据教育部有关规定，南开大学向教育部 指定单位提交公开的学位论文；( 4 ) 学位论文作者授权学校向中国科技信息研究所和中国学 术期刊( 光盘) 电子出版社提交规定范围的学位论文及其电子版并收入相应学位论文数据库， 通过其相关网站对外进行信息服务。同时本人保留在其他媒体发表论文的权利。 非公开学位论文，保密期限内不向外提交和提供服务，解密后提交和服务同公开论文 论文电子版提交至校图书馆网站：h t t p ：h 2 0 2 1 1 3 2 0 1 6 1 ：8 0 0 1 i n d e x h t m 本人承诺：本人的学位论文是在南开大学学习期间创作完成的作品，并已通过论文答辩； 提交的学位论文电子版与纸质本论文的内容一致，如因不同造成不良后果由本人自负。 本人同意遵守上述规定。本授权书签署一式两份，由研究生院和图书馆留存。 作者暨授权人签字： 2 0 年月日 南开大学研究生学位论文作者信息 注：本授权书适用我校授予的所有博士、硕士的学位论文。由作者填写( 一式两份) 签字后交校图书 馆，非公开学位论文须附南开大学研究生申请非公开学位论文审批表。 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外j 本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名： 年月 日 第一章绪论 第一章绪论 第一节远程复制应用背景 随着企业信息系统的普及和整个社会电子商务的发展，现代企业的运作日 益依赖于信息技术。越来越多的关键数据被存储在计算机系统中，这些数据的 丢失和损坏将对企业造成难以估量的损失，同时企业对于数据可用性的要求也 大为提高，因为短时间的系统停机也将造成业务停顿和经济损失。 虽然传统的数据备份技术和服务器集群技术，可以避免软硬件故障、人为 操作失误和病毒侵袭带来的破坏，有效的保护数据安全。但是，面对大范围的 灾害性突发事件，如地震、火灾、恐怖袭击时，上述技术就无能为力。若想迅 速恢复应用系统的数据，保持系统的正常运行，就必须建立异地的灾难备份系 统( 即容灾系统) ； 根据美国劳工部的统计数据，9 3 的有严重数据丢失的公司在5 年之内破 产。美国威斯康星大学的统计结果也显示，4 3 的美国公司在数据灾难后关门， 而2 9 的公司在两年之内破产。这些统计数字表明，提供可靠的数据存储保证 是至关重要的。在“9 1 1 ”恐怖事件造成世贸大楼倒塌后，名列财富5 0 0 强的 金融机构摩根斯坦利公司在新泽西州灾难备份中心立刻切换运行，从而保障了 公司全球业务的不间断运行，有效降低了灾难对于整个企业发展的影响，而很 多没有建立数据容灾系统的企业却没有这样幸运。这一事例再次唤起了人们对 容灾技术的重视。 在所有的数据容灾方案中，数据复制系统是其重要的组成部分。数据复制 系统不等同于一般意义上的业务数据备份与恢复，数据备份恢复只是数据复制 系统中涵盖的一个方面。数据复制系统还包括最大范围地容灾、最大限度地减 少数据丢失、实时切换、短时间恢复等多项内容。可以说，数据复制系统正在 成为保护企业关键数据的一种有效手段。 数据复制系统除了能有效防止企业、部门由于重要数据丢失所造成的不可 弥补的损失以外，还能使企业从繁琐的数据备份和恢复工作中解放出来，大幅 度提高工作效率。目前国内大部分企业对于重要数据都采用手工备份的方式， 这种备份需要维护人员手工、定期进行，其工作繁琐，并且容易因为操作失误 第一章绪论 产生问题。使用了数据复制系统后，只要进行简单的配置，就可以实现动态、 自动复制，达到安全备份的目的。在意外发生时，可以利用数据恢复系统的恢 复功能进行自动恢复或者把应用程序迁移到从服务器上运行。 第二节本论文的工作与结构 本文主要描述基于l v m 2 和n b d 的远程复制系统，主要完成工作如下： l 、了解当前国内外远程复制技术的研究现状。 2 、对逻辑卷管理器( l v m 2 ) 进行深入分析并了解l v m 2 的架构。 3 、对网络块设备( n b d ) 进行深入分析并了解其整体架构。 4 、设计并实现基于l v m 2 和n b d 的远程复制系统。 5 、在异步远程复制的基础上增加自适应组传输功能。 6 、实现传输过程中的数据压缩和数据加密。 7 、对远程复制系统进行测试，讨论了当前工作的不足和下一步改进。 各章节组织如下： 第一章介绍数据复制技术的应用背景和本文的组织结构。 第二章介绍数据复制技术的基本原理，指出数据复制技术的必要性和现在 主要复制技术的优点和缺点。 第三章介绍逻辑卷管理器( l v m 2 ) 和网络块设备( n b d ) 的组织结构和功 能。 第四章介绍基于l v m 2 和n b d 的远程复制系统的详细设计以及组传输、压 缩、加密功能的原理和实现。 第五章介绍远程复制系统的测试性能和讨论分析。 第六章总结了本文工作并对下一步工作进行展望。 2 第二章数据复制技术 第二章数据复制技术 2 1 1 容灾系统组成结构 第一节基本原理 容灾技术是通过在异地建立和维护一个备份系统，利用地理上分散性来保 证数据对于灾难性事件的抵御能力。一个完整的容灾系统应该具有以下几个组 成部分： 本地的高可用系统确保本地发生局部故障或单点故障时的系统安全 数据备份系统用于抵御用户误操作、病毒入侵、黑客攻击等威胁 数据远程复制系统保证本地数据中心和远程备份中心的数据一致 远程的高可用管理系统实现远程广域范围的数据管理，基于本地的高 可用系统之上，远程实现故障的诊断、分类和相应的故障处理。 数据的远程复制技术是容灾系统的核心技术，是保持远程数据同步和实现 灾难恢复的基础。数据复制技术存在两种主流模式：硬件数据复制技术和软件 数据复制技术。硬件数据复制技术是指通过专线实现硬盘存储设备之间的数据 交换，由存储系统的专用硬件控制实现，复制时主机开销较小，但磁盘开销大， 传输距离有限；软件的数据复制技术是指通过备份软件进行系统逻辑卷的复制， 它可以通过广域网络基于i p 实现。 2 1 2 远程复制技术 数据复制【3j 就是将数据从一个源设备复制到一个或多个目标设备的技术，目 标设备可以是本地设备或者是远程设备。这里的设备是一个比较宽泛的概念， 可以是块设备，也可以是文件系统或其它对象等。 数据复制有两个方面的含义： 数据的传播：通过将数据传播到多个设备，这样不同的地方都可以拥有该 数据，并可以利用该数据进行进一步的工作。 第二苹数据复制技术 数据的统一：虽然在多个设备上都拥有该数据，但是其它设备上的数据都 必须与源设备保持一致。 数据传播的途径有很多种，可以通过主机数据线、微波、光纤通道或以太 网络等媒介来进行。目前比较多的是通过光纤通道和以太网络来进行数据的传 输。数据传播的方式也有很多种，常用的是通过主从式来进行传播，主从式就 是指有源设备作为主端，目标设备作为从端与主端进行连接并获取数据，这种 方式当目标设备较多时，主端性能会有一定的影响。当然还有p 2 p 的数据传播 方式，多个目标设备之间可以交换得到的数据，像类似b t 一样，数据可以得到 很快的大规模传播，这种方式有效的减小了主端的负担，但是如果要复制的数 据是不断的产生的，而不是固定的数据，则传播的效率反而很低。 数据统一重要的意义就是目标设备上的数据可以直接被上层应用使用，而 不需要进行其它额外的纠正，就好像是源设备上的数据在某个时刻的一个快照 一样。它的重点在于目标设备上的数据要与源设备上的数据保持数据的一致性。 保持数据一致性的方法有许多，但是最常用的也是最有效的方法是在进行 数据复制的过程中保持源设备数据的写顺序。即按照在源设备上的更新顺序， 将请求依次发送到目标设备，目标设备上的数据更新顺序要与源设备保持完全 相同。当然仅仅是保持写顺序还远远不够，当系统在运行过程中遇到一些意外 情况时，就需要一些其它的机制来维持数据一致性，这些技术包括原子操作， d m c 机制和状态维护机制等。 第二节目前的发展 由于在容灾，数据备份和数据镜像方面的需求日益增多，许多研究机构提 出了很多方案，系统厂商、数据库、存储设备和软件厂商也开发了许多系统， 实现了数据复制技术，来帮助用户管理数据。 从数据复制的时间来看，数据复制技术可分为两大类：定时复制、实时复 制。 1 、定时复制 定时复制顾名思义就是在按照设定的复制计划来复制数据。图2 1 就是一个 典型的定时复制的例子，在图中，定时复制可以分为三个步骤：( a ) 找到要复制 的设备的列表；( b ) 得到源设备数据和目标设备数据之间的差异；( c ) 将数据的 4 第二章数据复制技术 差异拷贝到目标设备上。 定时复制虽然提供了一定程度上的数据保护，但是它还是有很多不足之处。 它没有为企业在最大可能的程度上对数据进行保护，不能满足商业上对数据持 续地保护的要求。如果在两次数据复制时间之间发生了灾难，则在第一次数据 复制后的所有更新都会丢失，这会给企业和政府机构带来无法估计的损失。 总的来说定时复制只适用于用户对恢复时间和容忍数据丢失要求不高的情 况。 图2 1 定时复制示意图 2 、实时复制 在实时复制技术中，数据的复制发生在数据发生改变的时候，无论数据什 么时候发生了改变，更新都会传播到目标设备上去。实时复制可以通过纯软件 来实现，也可以通过硬件和软件相结合的方法来实现。由于数据的丢失仅仅限 于当请求提交后还没来得及写到磁盘上的数据，实时复制能提供给数据更好的 保护。 实时数据复制可以通过同步和异步方式来进行数据的传播1 4 ，5 】。 当采用同步数据复制方式时，源设备和目标设备之间数据互为镜像，保持 完全一致。这种方式实时性强，当灾难发生时目标设备数据与源设备数据完全 相同，保证高度的完整性和一致性。源设备所在主机的i o 操作一直等待，直到 数据被传送到目标设备并安全地存储完成后，才回复主机i 0 完成。在一些实现 方法中，目标设备数据必须真正写到目标磁盘上后，源设备所在主机的i o 操作 才认为更新己完成；在另外一些实现方法中，数据被存储在缓存中，不同的实 现方法导致对应用系统的响应时间明显不同。采用同步数据复制会对主机工作 效率有一些影响。从传输距离上说，同步复制对网络延迟有严格的要求，数据 传输距离较短，源设备和目标设备的距离一般最多只能是几十公里。 在使用异步数据复制方式时，目标设备的数据和源设备的数据相比存在一 些差异。异步数据复制是将本地生产数据通过后台同步的方式复制到异地。这 第二章数据复制技术 种方式可能有分钟级的短时间数据丢失，很难达到零数据丢失。异步复制的原 理是对源设备的写操作完成后，不必等待目标设备的写完成，主机立即可处理 下一个i 0 。因此，对本地主机性能影响很小。 对于许多对i 0 响应时间敏感的应用系统来说，异步远程数据镜像技术不失 为一种实用技术，若此类应用采用同步技术，远程数据存储的响应时间可能对 用户来说会变得无法容忍。从传输距离上说，异步数据复制的传输距离较长， 能够达到几千公里。 采用异步远程数据备份需要考虑在响应时间得到改进的同时，备份数据中 心与主数据中心间数据状态的一致性问题，采用异步方式复制数据，很难确定 哪些更新己在备份中心执行，哪些还没有执行，虽然可恢复的文件系统和数据 库系统通常可以在失败后恢复数据的一致性，但这些功能将增加恢复的时间， 且不能保证恢复所有的数据。所以异步方式的数据恢复功能只适用于允许部分 数据丢失的应用场合，同时能够容忍文件系统和数据库恢复工具恢复数据所需 要的时间。 从数据复制实现的层次的角度来看，主要有基于磁盘阵列的远程复制系统， 基于文件系统或者应用程序的远程复制系统和基于块设备的远程复制系统。 1 、基于磁盘阵列的远程复制系统 基于磁盘阵列的数据复制系统可复制特定磁盘阵列上任意数据，通用性较 强，而且复制速度非常快，但是通常需要购买高端磁盘阵列并且需要建立专门 的c f 网络【6 1 ，仅购买两个支持远程复制高端磁盘至少需要1 0 0 多万元，因此投 资巨大，只有少数企业才有能力建立这种容灾系统。另外，由于目前不同磁盘 阵列厂商生产的系统互不兼容，基于磁盘阵列的远程复制一般只能在同一厂家 的同一类型的磁盘阵列间进行，这使得其扩展性较差。 2 、基于文件系统或者应用程序的远程复制系统 基于文件系统或者应用程序的数据复制系统能够理解上层语意，这样它就 可以针对应用做出相应的优化，通常系统需要复制的数据量比较小。但是它有 个很大的缺点在于通用性较差，只能复制特定文件系统的文件或者应用程序的 数据，而不能对任意组织格式的数据进行复制，如果用户有多种数据需要进行 远程复制，则需要购买多个复制系统。 3 、基于块设备的远程复制系统 基于块设备的数据复制系统有非常好的通用性，可以用于各种类型用户数 6 第二章数据复制技术 据的复制，对于上层应用是透明的。系统中的块设备可以是一个实际的设备， 也可以是由其它驱动提供的虚拟设备。但是它无法理解上层的数据语意，无法 对数据进行优化，复制的数据量可能比较大。 第三节主要产品和解决方案 l 、i b ms 3 9 0 业务恢复存储解决方案 i b m 地理分散并行系统( g e o g r a p h i c a l l yd i s p e r s e dp a r a l l e ls y s p l e x ，g d p s ) 【7 1 的s 3 9 0 多站点应用可用性解决方案，将s 3 9 0 并行s y s p l e x 技术【引与远程拷贝 技术集成在一起，提高了系统的可用性和灾难恢复能力。g d p s 具有管理远程拷 贝配置和存储子系统、自动执行并行s y s p l e x 操作任务，从单一控制点执行故障 恢复等功能，从而达到提高可用性的目的。 i b m 推出两种远程拷贝功能，一种为对等远程拷贝( p e e r - t o p e e rc o p y , p p r c ) ，远程备份距离可达1 0 3 公里；另一种为扩展远程拷贝( e x t e n d e dr e m o t e c o p y , x r c ) ，提供广域网范围的数据备份。通过g d p s 和p p r c ，i b m 使灾难 恢复时间缩减到分钟级。 2 、v e r i t a s 异地备份容灾方案 v e r i t a s 公司的v e r i t a s t 9 】容灾系统分成三部分：备份中心主机网络存储系统； 数据同步传输系统；基于广域网的集群系统。数据复制软件采用v e r i t a s 的v o l u m e r e p l i e a t o r ( v v r ) ，v v r 采用可靠的连接和监听协议，支持广域网节点间数据 的同步和异步复制，支持多点到多点的复制。一份数据最多可同时复制到3 2 个 节点。 v e r i t a s 的g l o b a lc l u s t e rm a n a g e r ( g c m ) 软件可实现广域网的集群管理。 g c m 软件可与v e r i t a sc l u s t e rs e r v e r 有机集成，从单控制台管理多达3 2 个地域 的v c s 集群系统，实时检测运行状态，根据用户应用要求制定多种切换策略。 3 、e m cs r d f 远程数据备份系统 e m c 的远程数据备份软件( s y m m e t r i xr e m o t ed a t af a c i l i t y ，s r d f ) 1 0 j ，是 一个在线的数据镜像存储解决方案，可在1 6 个本地或远程的s y m m e t r i x 系统问 提供完整的数据备份。在数据中心操作发生故障时，系统管理人员可以迅速的 从源系统切换到目标系统。当主节点故障排除后，通信线路被重新建立，s r d f 能够自动的在节点间进行数据同步，从而使正常工作得以恢复。 7 第二章数据复制技术 s r d f 提供三种工作模式： 同步模式：在源系统和远程目标系统之间提供实时数据镜像，在i o 结束之 前，数据被实时同步的写入两个系统的高速缓存中，从而确保数据的最高可靠 性。 半同步模式：数据写入源系统，完成输入输出，然后使目标系统中的数据 同步化，在目标系统实现同步化前，对本地相关数据的第二个写操作不被接受 自适应拷贝模式：数据从源数据传到目标系统的过程中不需要等待确认。 4 、c ab r i 殍h t s t o r 系统 c a 的备份和容灾系统通过简单明了的管理界面，实现自动、智能、跨平台 的备份和恢复。产品包括b r i g h t s t o re n t e r p r i s eb a c k u p 以及相应的管理模块 b a c k u pa g e n t f o ru n i x 、b a c k u pa g e n tf o rd a t a b a s e l o t u s e x c h a n g e s a p 等，支持 s a n 和基于裸机的灾难恢复，通过该功能可以使企业在数据灾难后，最简洁而 快速地将系统恢复到灾难之前的状态。 5 、耶容灾方案 h p 的方案由主数据中心和备份中心组成，主数据中心系统配置主机包括两 台或多台h p u n i x 服务器，通过h pm c s e r v i c e g u a r d 软件组成，数据存储在磁 盘阵列x p 4 8 或x p 5 1 2 中，备份中心采用相同的配置。距离小于4 3 公里时，通 过e s c o n 光纤连接，较远时使用电信的e l e 3 信道。通过惠普的灾难恢复软件 ( h pc o n t i n h o l i sa c c e s sx p ) 可以自动实现实时完全备份。 6 、康柏d r m 灾难恢复方案 康柏d r m 解决方案利用数据复制管理器d r m 进行硬盘镜像，可在1 0 公 里或者更远的远程备份中心进行备份，每次进行事物处理时，数据均同步更新。 康柏还提供基于硬件的异地容灾方案，数据复制由光纤通道存储阵列控制器完 成，不占用服务器内存和操作系统资源。 第四节当前技术主要问题 由于国外企业对于数据存储的安全性和可靠性的重视，目前国外已有了一 些远程容灾系统软件，然而大多数系统都是在一些昂贵的硬件设备的基础上实 现的，而且其地理距离也不可能达到i n t e r n e t 网的广度。而国内的许多企业对于 数据没有给予应有的重视，也还没有相应的系统。而且现在己有的许多系统都 8 第二章数据复制技术 存在着以下的问题： 基于磁盘阵列的远程复制系统通常需要购买高端磁盘阵列并且需要建立专 门的f c 网络，仅购买两个支持远程复制高端磁盘至少需要1 0 0 多万元，因此投 资巨大，只有少数企业才有能力建立这种容灾系统。另外，由于目前不同磁盘 阵列厂商生产的产品互不兼容，基于磁盘阵列的远程复制一般只能在同一厂家 的同一类型的磁盘阵列间进行，这使得其扩展性较差。 基于文件系统或者应用程序的远程复制软件只能复制特定文件系统的文件 或者应用程序的数据，而不能对任意组织格式的数据进行复制，通用性较差， 如果用户有多种数据需要进行远程复制，则需要购买多个复制系统，变相增加 了用户的投资额。另外，由于该类系统一般不是采用块设备操作，操作的效 率较低，因此对应用程序的性能影响较大。 已有的其他平台( 例如惠普的h p u x t7 j 或者s u n 的s o l a r i s t 8 】) 上的远程卷 复制系统建立费用普遍较高，建立费用包括主机购买费用、操作系统购买费用 和卷管理系统购买费用等。例如卷管理系统和远程卷复制系统一般就需要三十 万元以上。另外，已有的其他平台远程卷复制系统不支持以跨卷组的复制卷组 为单位进行复制。由于许多己经在运行的大型应用程序可能使用了多个卷组的 多个不同的卷，为了进行远程复制不得不停止应用程序并重新进行配置，这种 限制是许多用户不愿意接受的。 而基于l i n u x 的远程卷复制系统作为一种综合利用操作系统技术、存储管理 技术和网络技术的系统。在国外，只有美国的v e r i t a t 9 j 公司的l i n u x 平台远程 卷复制产品不需要专门的网络，也不需要购买其他设备，用户在两台以上l i n u x 服务器和t c p i p 网络的基础上，即可轻松建立数据容灾系统。 9 第三章l v m 2 和n b d 简介 第三章l v m 2 和n b d 简介 第一节l v m 2 简介 l v m 是逻辑盘卷管理( l o g i c a lv o l u m em a n a g e r ) 的简称，l v m 2 为第二版， 是一个新的用户空间工具集，它为l i n u x 提供逻辑卷管理功能，完全向后兼容原 来的l v m 工具集。它是l i n u x 环境下对存储设备进行管理的种机制，l v m 2 是建立在硬盘和分区之上的一个逻辑层，来提高磁盘分区管理的灵活性。通过 l v m 2 系统管理员可以轻松管理大量物理设备，如：将若干个磁盘分区组合为一 个整体的卷组( v o l u m eg r o u p ) ，形成一个存储池。管理员可以在卷组上随意创 建逻辑卷组( l o g i c a lv o l u m e s ) ，并进一步在逻辑卷组上创建文件系统。管理员 通过l v m 2 可以方便的调整存储卷组的大小，并且可以对磁盘存储按照组的方 式进行命名、管理和分配，例如按照使用用途进行定义：“d e v e l o p m e n t ”和“s a l e s ”， 而不是使用物理磁盘名“s d a ”和“s d b ”。而且，当系统添加了新的磁盘，管理员不 必将磁盘的文件移动到新的磁盘上，而是直接扩展文件系统跨越磁盘即可，以 充分利用新的存储空间。 逻辑卷管理器本质上是一个虚拟设备驱动【l 】，是在内核中块设备和主机系统 中实际物理设备之间添加的一个新的抽象层次。它可以将若干磁盘( 物理卷， p h y s i c a lv o l u m e ) 组合起来形成一个存储池或者卷组。l v m 2 可以每次从卷组中 划分出不同大小的逻辑卷创建新的逻辑设备。底层的原始的磁盘不再由内核直 接控制，而由l v m 2 层来控制。相对于上层应用来说卷组替代了磁盘块成为数 据存储的基本单元。l v m 2 管理着所有物理卷的物理盘区，维护着逻辑盘区和物 理盘区之间的映射。l v m 2 逻辑设备向上层应用提供了和物理磁盘相同的功能， 如文件系统的创建和数据的访问等。但l v m 2 逻辑设备不受物理约束的限制， 逻辑卷不必是连续的空间，它可以跨越许多物理卷，并且可以在任何时候任意 的调整大小。相比物理磁盘来说，更易于磁盘空间的管理。 正因为l v m 2 逻辑卷从用户态上层应用来看就相当于一个普通的块设备， 对其读写操作和普通块设备的读写操作相同。另一方面，从物理设备底层来看， l v m 2 独立于并且管理着底层的物理设备，从上层屏蔽了不同物理设备之间的差 1 0 第三章l v m 2 和n b d 简介 异。因而在l v m 2 层上考虑数据的远程复制问题，可以不需要单独考虑每一种 具体的物理设备，在很大程度上简化了远程复制因物理设备之间的差异而产生 的难度。 3 1 1l v m 2 基本术语 物理存储介质( t h ep h y s i c a lm e d i a ) 这里指系统的存储设备：硬盘，如：d e v h d a l 、d e v s d a 等等，是存储系统 最低层的存储单元。 物理卷( p h y s i c a lv o l u m e ) 物理卷就是指硬盘分区或逻辑上与磁盘分区具有同样功能的设备( 如 r a i d ) ，是l v m 2 的基本存储逻辑块，但和基本的物理存储介质( 如分区、磁 盘等) 比较，却包含有与l v m 2 相关的管理参数。 卷组( v o l u m eg r o u p ) l v m 2 卷组类似于非l v m 2 系统中的物理硬盘，其由物理卷组成。可以在 卷组上创建一个或多个“l v m 2 分区( 逻辑卷) ，l v m 2 卷组由一个或多个物理 卷组成。 逻辑卷( l o g i c a lv o l u m e ) l v m 2 的逻辑卷类似于非l v m 2 系统中的硬盘分区，在逻辑卷之上可以建 立文件系统( 比如i l o m e 或者u s r 等) 。 p e ( p h y s i c a le x t e n t ) 每一个物理卷被划分为称为p e ( p h y s i c a le x t e n t s ) 的基本单元，具有唯一 编号的p e 是可以被l v m 2 寻址的最小单元。p e 的大小是可配置的，默认为4 m b 。 l e ( l o g i c a le x t e n t ) 逻辑卷也被划分为被称为l e ( l o g i c a le x t e n t s ) 的可被寻址的基本单位。在 同一个卷组中，l e 的大小和p e 是相同的，并且一一对应。 具体如图3 1 所示： 筇二章l v m 2 和n b d 简介 牢压芒呷 j ? 平 毫西! 工0 西真! e o ：e o ：童i 叵：3 陶3 1l v m 2 组织结构图 3 12l v m 2 的内部组织 其实每个p v 部被分成了相同太小的p e ，在每个v g 巾，所有的p v 的p e 的大小都是一样的。存每个p v 中，所有的p e 都有自己的唯一编号。一个p e 足l v m 2 在物理存储上的寻址的最小单位。 在用户创建l v 时，l v m 2 将自动从存储池中找到一些p e 分配给l v ，对应 的每个l v 被分成了一些l e ，l e 与该v g 的每个p e 的大小是一致的。每个l e 都被映射到某个p v 上的某个确定的p e 。每个l v 上的所有的l e 也有自己的唯 编号，这样用户不需要考虑具体的物理位置，只需给出逻辑的位置l v m 2 就 会通过映射得到物理的位置来进行真正的i 0 操作。 l v m 2 足独立于物理存储设备的对于文件系统或者数据库来说，数据存放 的具体物理位置是透明的，印l v m 2 把卷和物理存储设备隔离开来。l v m 2 主 要有以下优点： l 动态数据迁移 l v m 2 支持数据的动态转移比如用户对存储在某个l v 上的h o m e 目录在 读写时，数据完全有可能存储存另个物理设备上。 孑基一 第三章l v m 2 和n b d 简介 2 动态扩展 对一个正在使用的l v ，用户可以动态的扩展l v 的大小，不需要停止任何 应用，就能获得充足的额外空间。 3 提供访问性能 l v m 2 支持s t r i p p i n g 等功能，可以把卷分布到多个物理磁盘上，通过并行访 问提高性能。 4 支持s n a p s h o t 功能 利用l v m 2 的s n a p s h o t 功能，可以进行数据的热备份，即可以获得卷在某 一个时刻一致的数据备份而无需停止使用该卷的应用程序。 5 磁盘位置无关性 由于磁盘的i d 与系统启动时识别磁盘的顺序有关，如果有新的磁盘加入或 者有磁盘被卸下，则可能改变其他磁盘的i d 。而磁盘的设备名称由磁盘i d 决定