（计算机软件与理论专业论文）数据容灾技术研究.pdf

摘要 数据容灾技术研究 摘要 随着企业信息系统的普及和整个社会电子商务的发展，现代企业的运作日益 依赖于信息技术。数据的高可用性、安全性对企业来说至关重要。同时许多企业 和机构要求保证业务的连续性，即应用程序每天2 4 小时每周七天都是可用的， 即使是短时间的系统停机也将造成业务停顿和经济损失。因此数据的容灾问题就 显得尤为重要。 本文主要研究快照技术和远程复制技术这两种数据容灾的核心技术。 本文绪论部分从容灾的重要性，容灾系统的分类、级别和组成结构等方面对 容灾技术进行了简要的综述。 本文的前一部分主要研究快照技术。首先简要介绍了快照的原理和特点，接 着对目前实现快照的三类技术进行了较详细的描述和分析。在此基础上，本文对 这三类实现技术进行了对比分析，指出了各自的优缺点。接着介绍了当前快照技 术的新发展。 在研究现有的快照技术的基础上，本文设计并实现了一个快照系统 s n a p c o p y 。该系统是实现在l i n u x 块设备驱动层上的快照系统，支持全量快照和 增量快照，s n a p c o p y 基于c o p y o nd e m a n d 技术实现，但是可对一个源卷在不问 时刻点生成多个快照卷。本文随后对该系统进行了性能测试和分析。 本文的后一部分主要研究远程复制技术。首先对远程复制的四个实现层次进 行了对比分析，指出了影响远程复制的一些关键因素。然后介绍了远程复制的数 据复制方式，并对其进行了理论上的性能对比分析。接着对远程异步复制的数据 一致性问题及其解决方案进行了较深入的探讨，将这些解决方案归结为两大类， 并对其进行了对比分析。随后探讨了容灾系统的故障处理和灾难恢复的方法。 最后，在远程复制技术的研究的基础上，本文提出了一种基于快照技术来实 现远程异步复制的解决方案。该方案可以大大减少传输到从站的数据传输量，同 时可以自我调节增量快照的传输时间间隔，有效地利用网络带宽，从而降低成本。 关键字： 容灾，灾难恢复，快照，远程复制，同步复制，异步复制，数据一致性 一些皇堕 t h er e s e a r c ho fd a t ad i s a s t e rr e c o v e r yt e c h n i q u e s a b s t r a c t a s c o m p a n i e si n c r e a s i n g l yn e e dac o m p e t i t i v ee d g e t om a l m a i np r o f i t a b i l i t ya n d s t a ymb u s i n e s s ，i m p r o v e da v a l i a b i l i t y a n do u t a g ea v o i d a n c eb e c o m ev i t a lt ot h e i r s u c c e s s m o r ea n dm o r ef i r m so p e r a t e i na2 4 + 7 e n v i r o n m e n t ，e s p e c i a l l yl a r g e e n t e r p r i s e s , w h e r eg l o b a lo p e r a t i o n sa l et h en o f n q n eg r o w i n g h i g h l yc o m p e t i t i v e w o r l do fe - c o m m e r c eo n l ye x a c e r b a t e st h ep r o b l e m i nt h i se n v i r o n m e n t ，w e l l p l a n n e d b u s i n e s sc o n t i n u i t yo rd i s a s t e rr e c o v e r ys o l u t i o n sb e c o m ec r i t i c a lt oa no r g a n i z a t i o n t h i sp a p e rm a i n l ys t u d i e st w od a t ad i s a s t e rr e c o v e r yt e c h n i q u e s ：s n a p s h o ta n d r e m o t ec o p y 1 1 h s p a p e rf i r s t l y m a k e sas u m m a r ya b o u td i s a s t e r r e c o v e r yt e c h n i q u e s w e d i s c u s st h ei m p o r t a n c eo f d i s a s t e rr e c o v e r y , t h es y s t e m so f d i s a s t e rr e c o v e r y ，t i e r so f d i s a s t e rr e c o v e r ya n ds oo n a tt h eb e g i n n i n go ft h i sp a p e r ，s n a p s h o tt e c h n i q u e sa r ed i s c u s s e d f i r s t l y , t h i s p a p e rb r i e f l y r e v i e w st h et h e o r ya n dc h a r a c t e r i s f i co fs n a p s h o t t h e ni n t r o d u c e s a n a l y s e s ，a n dc o n t r a s t se x i s t i n gt h r e ep r i n c i p l et e c h n i q u e sf o rc r e a t i n gs n a p s h o tr a t h e r d e t a i l e dt h e np c i n t so u tt h ea d v a n t a g e sa n dd i s a d v a n t a g e so f t h e m t h e ni n t r o d u c e st h e d e v e l o p m e n t o f s n a p s h o tt e c h n i q u e s t h i s p a p e r d i s c u s s e st h e d e s i g n a n di m p l e m e n t a t i o no fa s n a p s h o ts y s t e m ： s n a p c o p y s n a p c o p y i si m p l e m e n t e db ya l a y e r e dd e v i c ed r i v e ri nl i n u x ，i ts u p p o r t s i n c r e m e n ts n a p s h o ta n di ti sa b l et oc r e a t em u l t i p l ec o m p l e t ei n d e p e n d e n tc o p i e so f t h em a s t e rd a t a n l el a t t e rp a r to ft h i sp a p e rs t u d i e sr e m o t ec o p yt e c h n i q u e s f i r s t l y , t h i sp a p e r c o n s t r a c t sa n da n a l y s e sf o u rt i e r so ft h ei m p l e m e n t a t i o no fr e m o t ec o p y , a n dp o i n t s o u tt h ek e yf a c t o r so fr e m o t ec o p y t h e nd i s c u s s e st h et y p e so fr e m o t ec o p ya n d a n a l y s e st h ep e r f o r m a n c e o ft h e mi n t h e o r y t h ep a p e r d i s c u s s e sd a t ac o n s i s t e n c ya n d t h ea s y n c h r o n o u sr e m o t ec o p ys o l u t i o n s ，t h e s es o l u t i o n sa r eb r o a d l yc h a r a c t e r i z e d i n t ot w ot y p e si nt h i sp a p e r w ec o n t r a s ta n da n a l y s et h e s es o l u t i o n s t m sp a p e rt h e n d i s c u s s e st h es o l u t i o n sf o rs y s t e mo u t a g e s i nt h ee n d p a r to f t h ep a p e r , w ep r e s e n t ad e w a s y n c h r o n o u sr e m o t ec o p ys o l u t i o n b a s e do ns n a p s h o t t e c h n i q u e s t h es o l u t i o n i sa b l et or e d u c eg r e a t l yd a t at r a n s f e r sa n d r e d u c e t h e p e r f o r m a n c e a n d n e t w o r k c o s t s o f m a i n t a i n i n g a r e m o t e m i r r o r k e y w o r d s ： d i s a s t e r r e c o v e r y , s n a p s h o t ，r e m o t ec o p y ，a s y n c h r o n o u sc o p y d a t ac o n s i s t e n c y 2 数据容灾技术研究 第一章容灾技术综述 1 1 数据容灾的重要性 我们先来讲这样一个真实的故事：g r a n df o r k s 是美国西北部的一座城市，四 年前，一场洪水使这个城市三分之二的企业遭到巨大损失。这些企业中的大多数 从此一蹶不振，甚至最终倒闭。然而一家名为e c o l a b 的公司却奇迹般的未受到 任何影响。到底原因何在呢? 其实很简单：e c o l a b 每天都对自己的数据进行备 份。在洪水发生的前一天，e c o l a b 按惯例进行了备份，并把备份磁带存放在安全 的地方。这样，在洪水退去后第二天，当其它公司正为丢失的客户资料和财务帐 目一筹莫展时，e c o l a b 准时开始营业，并且生意越来越红火。 随着企业信息系统的普及和整个社会电子商务的发展，现代企业的运作日益 依赖于信息技术。越来越多的关键数据被存储在计算机系统中，这些数据的丢失 和损坏将对企业造成难以估量的损失。同时企业对于数据可用性的要求也大为提 高，因为即使是短时间的系统停机也将造成业务停顿和经济损失。 对于一个计算机系统而言，所有引起系统非正常停机的因素都可称为灾难。 例如，远离数据中心的地区发生地震会导致发电厂的瘫痪，从而间接地影响远离 电厂的数据中心计算机系统，计算机系统本身也可导致灾难的发生，如系统升级 时发生差错、严重的操作错误和系统管理员的恶意操作都可能导致重要数据的丢 失，这些都会引发数据中心的灾难。灾难大致可分为三类：一、不可预知的自然 灾难，包括：飓风、龙卷风、地震、洪水、火灾等；二、基础设旌的坏损，包括： c p u 、硬盘等损坏、建筑物倒塌、电源中断等；三、操作系统失误，包括：计算 机病毒、误操作、人为破坏等。据统计，各种导致灾难的因素比重排序为：硬件 故障占4 4 、人为错误占3 2 、软件故障占1 4 、病毒影响占7 、自然灾害占 3 。 如果我们把上述灾难看作小概率事件而掉以轻心，则当灾难真正来临时，将 面临无法估量的损失。据美国的一项研究报告表明，各行业最长可忍受的信息系 统停机的时间分别为：金融业2 天、销售业3 3 天、制造业4 9 天、保险业5 6 天。平均来看，一般行业忍受的信息系统停机的时间为4 8 天。如果以营业收入 的损失看，金融业最为严重，高达每日营业收入的5 0 。另据i d c 的一项统计 数字显示：2 0 0 0 年以前的1 0 年间，在美国遭受过灾难的公司中，有5 5 当时倒 闭，在其余的4 5 中，因为数据丢失，有2 9 也在两年之内倒闭，最终能够存 活下来的仅占1 6 。随着企业对数据处理的依赖程度的加大，此比例还有上升的 趋势。 第一章容灾技术综述 如果说“数据就是一切”还有一点夸张的话，那对于计算机系统而言“没有数据 就没有一切点都不夸张。所以面对灾难，容灾系统称得上居功至伟。下面的 例子说明了这点。2 0 0 1 年9 月1 1 日，美国世贸中心顷刻问灰飞烟灭，在这伟 大的建筑物里的不少国际大公司，都因这场世纪梦魇受到了致命打击。灾难爆发 时，著名的财经咨询公司一摩根斯坦利( m o r g a ns t a n l e y ) 在世贸中心有近4 0 0 0 名员工，可以说损失巨大。但第二天摩根斯坦利却奇迹般地恢复了正常运转。 后来人们才知道，是先前建立的数据备份和远程容灾系统保护了重要的数据，挽 救了m o r g a ns t a n l e y ，同时也在一定程度上挽救了全球的金融业。这一事例再次 唤起了人们对容灾技术的重视。 保护数据安全和提高数据的持续可用性，是存储系统不断追求的最高目标。 为了迎接这个挑战，我们在构建存储网络和选择存储产品时，要从r a i d 保护、 冗余结构、数据备份、故障予警等多方面考虑。对于关键业务应用，如电信计费 系统、银行营业系统等，则要采用异地容灾的保护措施。容灾是数据安全性和业 务连续性的最高保护级别。 1 2 传统数据保护技术的不足 传统的数据系统的安全体系主要有数据备份系统和高可用系统两个方面。备 份系统提供应用系统的数据后援，确保在任意情况下数据具有完整的恢复能力。 高可用系统确保本地应用系统在多祝环境下具有抗御任何单点故障的能力，一旦 系统发生局部的意外( 如操作系统故障、掉电、网络故障等) ，高可用系统可以 在最短的时间迅速确保系统的应用继续运行( 热备份) 。 几年前我们主要采用主机内置或外置的磁带机对数据进行冷备份。这种方式 在数据量不大，操作系统种类单一，服务器数量有限的情况下，不失为一种既经 济又简明的备份手段。但随着企业计算机规模的扩大，数据量几何级数增长以 及i n t e m e t 分布式网络环境的兴起，企业将越来越多的业务分布在不同的枫器、 不同的操作平台上，这种单机的人工冷备份方式越来越不适应当今i n t e m e t 及分 布式网络的发展，存在以下种种弊端： 1 难以实现数据的高效在线备份。无法满足企业2 4 * 7 的业务连续性的要求。 2 运行着的系统使得维护人员寸步难离，业务人员工作效率下降。 3 存储媒体管理困难，如今，用来存储数据的介质越来越多，各种不同 系统下存储产生的软盘、磁带、光盘将给管理带来很大的困难。 4 来自非计算机系统因素的隐患，如火灾、地震等灾难后的系统重建业务 数据困难。 数据容灾技术研究 从上面的分析可知，传统的数据备份技术和服务器集群技术足以避免由于各 种软硬件故障、人为操作失误和病毒侵袭所造成的破坏，保障数据安全；但当面 临大范围灾难性突发事件，如地震、火灾、恐怖袭击时，上述技术就无能为力了。 此时若想迅速恢复应用系统的数据，保持企业的正常运行，就必须建立远程容灾 系统。 由于容灾主要是保护数据安全，或者说对数据进行维护。因此，以前常规采 用的数据备份容易造成备份的数据与数据库中的数据不一致，使数据库很难恢 复；而且，恢复通过磁带备份的数据，需要3 天到一个星期的时间，这阶段，企 业业务将处在停滞状态。同时，由于备份介质与生产系统( o n l a n d ) 之间的在线 交易在物理上不好分开，所以当机房发生危险，如火灾、水灾以及其他的灾难性 事件发生时，企业对数据的依赖性变强。数据丢失将导致企业的业务瘫痪，以至 破产。因而对业界来说，追切需要解决的问题是：对那些关键应用来说，如何能 傈证书数据的安全性，以便能抵御灾难性的能力。因为，随着环境的变化，灾难 事件的增多，企业不能将对数据的依赖建立在可能不会出现灾难这样的赌注上， 关键业务需要容灾。 早先，传统业务对系统的高可靠性没有现在强。传统的很多业务，比如手工 业，甚至是证卷行业，宕机几个小时，损失投资只要几百万。随着现在电子商务 的出现，使很多行业( 尤其是金融领域) 的业务出现了新的变化，从前固定的上 班时间完成存取业务，现在，有了网上银行，可以通过网络，实现2 4 小时银行， 这无形之中对系统的可用性要求提高了很多。因而，同样是宕机一个小时，可损 失却在增加。不仅是银行，证券业同样也如此，很多行业现在都有这样的趋势， 古老的业务前面加了个e ，意味着宕机- - d 时，损失在增加，有的些行业是几倍、 几十倍、甚至是上百倍地增加，这其中的附加损失难以度量。因而，对金融、证 券、电信等对可靠性要求高的企业，迫切地需要进行容灾，以保证数据的完整性， 保证业务的正常运行。 1 3 容灾系统的分类 从广义上讲，任何提高系统可用性的努力，都可称之为容灾。现在业界常说 的本地容灾，就是主机集群，当某台主机出现故障，不能正常工作时，其他的主 机可以替代该主机，继续进行正常的工作。平时讲到容灾，尤其是值得重视的容 灾，一般来说都是远程容灾。 所谓远程容灾，是指在企业的i t 系统( 不管是银行也好，电信也好) ，系统 中必然有一部分( 尤其核心部分) 是非常重要的，我们叫它生产中心，人们往往 给生产中心配备一个备份中心，该备份中心是远程的。在生产中心内部，已经实 第一章容灾技术综述 施了各种各样的数据保护。但不管怎么保护，当火灾、地震这种灾难发生时， 旦生产中心瘫痪了，备份中心会接管生产，继续提供网络服务。比如，全国铁路 调度中心网络系统，当发生火灾、地震等灾难性事件时，该系统仍要保证正常进 行，不能说当北京发生地震了，全国的铁路就不能调度，处于瘫痪状态，让灾难 不合理地蔓延。因此实际上，我国的铁路调度中心除了在北京有一个生产中心外， 在香山还有一个远程的备份中心。在生产中心和备份中心之间，有一个同步的数 据对应关系，以保证生产中心有的信息，备份中心也有。因此，一般讲到容灾方 案，对技术人员而言，9 0 都是指远程容灾。 容灾系统的实现可以采用不同的技术，而容灾系统的划分，刚由其最终要达 到的效果来决定。以其对系统的保护程度，可将容灾系统分为数据容灾和应用容 灾。 ( 1 ) 数据容灾 数据容灾是指建立一个异她的数据系统，该系统是本地关键应用数据的个 实时复制，当本地数据及整个应用系统出现灾难时，系统至少在异地保存有份 可用的关键业务的数据。该数据可以是与本地数据的完全实时复制，也可以比本 地数据略微滞后，但一定是可用的( 保证数据的完整性) 。 ( 2 ) 应用容灾 应用容灾是在数据容灾的基础上，在异地建立一套完整的、与本地生产系统 耜当的备份应用系统( 可以是互为备份) ，在灾难情况下，远程系统迅速接管业 务运行。 数据容灾是容灾系统的基本要求，也是容灾系统能够正常工作的保障；应用 容灾则是容灾系统的建设目标，它必须建立在可靠的数据容灾的基础之上，通过 应用系统、网络系统等各种资源之间的良好协调来实现。本文主要讨论数据容灾 的实现技术。 1 4 容灾系统的七个级别 设计个容灾系统需要考虑多方面的因素，包括备份、恢复的数据量大小、 应用数据中心和备份中心之间的距离和连接方法、灾难发生时所要求的恢复速 度、备份中心的管理和经营方法，以及可投入豹资金多少等。i b m 公司的s h a r e 7 8 标准( 1 9 9 2 年) 根据这些因素将容灾系统解决方案分为7 个等级，分别适用 于不同的规模和应用场合。 ( 1 ) 第。级一无异地数据备份( n oo f f - s i t ed a t a ) 第0 级被定义为没有信息存储的需求，没有建立备份硬件平台的需求，也没 有发展应急计划的需求，数据仅在本地进行备份恢复，没有数据送往异地。这 数据容灾技术研究 种方式是最为低成本的灾难备份解决方案，但事实上这种灾难备份并没有真正灾 难备份的能力，因为它的数据并没有被送往远离本地的地方，而数据的恢复也仅 是利用本地的记录。 ( 2 ) 第1 级p t 龇垤车辆转送方式( p i c k u p t r u c k a c c e s sm e t h o d ) l _ r | 目 一嗣矿 图1 1 第l 级的访问方式 作为第1 级的灾难备份方案需要设计一个应急方案，能够备份所需要的信息 并将它存储在异地，然后根据灾难备份的具体需求，有选择地建立备份平台，但 事先并不提供数据处理的硬件平台。p t a m 是一种用于许多中心备份的标准方 式，数据在完成写操作之后，将会被送到远离本地的地方，同时具备有数据恢复 的程序。在灾难发生后，一整套系统和应用安装动作需要在一台未启动的计算机 上重新完成。系统和数据将被恢复并重新与网络相连。这种灾难备份方案相对来 说成本较低( 仅仅需要传输工具的消耗以及存储设备的消耗) 。但同时有难于管 理的问题，即很难知道什么样的数据在什么样的地方。一旦系统可以工作，标准 的做法是首先恢复关键应用，其余的应用根据需要恢复。这样的情况下，恢复是 可能的，但需要一定的时间，同时依赖于什么时候硬件平台能够被提供准备好。 当备份系统开始工作后，首先应及时恢复关键应用，非关键应用可根据需要 慢慢恢复。因为p t a m 的备份地点事先往往只有很少的硬件设备，因此我们将 其称为冷备份站点。它的恢复时间往往较长，如一星期甚至更久。 ( 3 ) 第2 级一p 1 1 f 蝴卡车转送方式+ 热备份中心( p t a m + h o ts i t e ) 第2 级相当于是第1 级再加上具有热备份能力中心的灾难备份。热备份中心 拥有足够的硬件和网络设备去支持关键应用的安装需求。对于十分关键的应用， 在灾难发生的同时，必须在异地有正运行着的硬件平台提供支持。这种灾难备份 的方式依赖于用p t a m 的方法去将日常数据放在异地存储，当灾难发生的时候， 数据再被移动到一个热备份的中心。虽然移动数据到一个热备份中心增加了成 本，但却明显降低了灾难备份的时间，一般在一天左右。 9 第一章容灾技术综述 数措巾心蔷绗数据仓岸糌鲁侪站点 用盯 圆 ii l 噶a 旷? 圆 圆 圆 图1 2 第2 级的访问方式 ( 4 ) 第3 级一电子传送l e c t r o n i cv a u l t i n g ) 第3 级是在第2 级的基础上用电子链路取代了卡车进行备份数据传送的容 灾系统。热备份站点和主数据中心在地理上必须远离，备份数据通过网络传输。 由于热备份站点要持续运行，因此系统成本高于第2 级，但进一步提高了灾难 恢复的速度，典型的在一天以内。 主技据中心热备份站点 皿匿皿 d _ 。o 口 图t 3 第3 级的访问方式 ( 5 ) 第4 级一活动状态的备份中心( a c t i v es e c o n d a r ys i t e ) 图1 4 第4 级的访问方式 第4 级要求地理上分开的两个站点同时处于工作状态并相互管理彼此的备 份数据。另一项重大的改进就是两个站点之间可以相互分担工作负载，站点一可 以成为站点二的备份；反之亦然，备份活动可以在任何一个方向发生。关键的在 线数据不停地在两个站点之间复制和传送着，在灾难发生时，另一站点可通过网 络迅速切换用于支持关键应用。但是该系统自最近一次数据复制以来的业务数据 将会丢失，其它非关键应用也将需要手工恢复。第4 级容灾系统把关键应用的 灾难恢复时间降低到了小时级或分钟级。 ( 6 ) 第5 级一两中心两阶段确认( t w o s i t e t w o p h a s ec o m m i t ) 第5 级与第4 级的结构类似，在满足第4 级所有功能要求的基础上，进一步提 供了两个站点间的数据互为镜像( 如数据库的一次提交过程会同时更新本地和远 1 0 数据容灾技术研究 程数据库中的数据。数据库的两步提交方法保证了任何一项事务在被接受以前， 两个站点间的数据都必须同时被更新。) 在备份站点中需要配备一些专用硬件设 备，以保证在两个站点之间自动分担工作负载和两步提交的正确执行。因为采用 了两步提交来同步数据在两个站点间互作镜像，所以当灾难发生时，仅仅只有传送 中尚未完成提交的数据被丢失，恢复的时间被降低到了分钟级。 ( 7 ) 第6 级一零数据丢失( z e r od a t al o s s ) 第6 级是灾难恢复的最高级别，可以实现零数据丢失。只要用户按下e n t e r 键向系统提交了数据，那么不管发生了什么灾难性事件，系统都能保证该数据的安 全。所有的数据都将在本地和远程数据库之间同步更新，当发生灾难事件时，备份 站点能通过网络侦测故障并立即自动切换，负担起关键应用。第6 级是容灾系统 中最昂贵的方式，但也是速度最快的恢复方式。 第4 级、第5 级和第6 级容灾系统具有类似的系统框架结构，区别在于数据 备份管理软件的差异和备份站点内硬件配置的不同，进而导致了系统成本和性能 的差异。第4 级的容灾系统只需要配置远程系统备份软件即可工作：第5 级容灾 系统依赖于数据库系统的两步提交来保持数据的同步；第6 级容灾系统则需要配 置复杂的数据管理软件和专用的硬件设备，以保证灾难发生时的零数据丢失和备 份站点的即时切换。 1 5 容灾系统组成结构 真正的容灾必须满足三个要素：首先是系统中的部件、数据都具有冗余性， 即一个系统发生故障，另一个系统能够保持数据传送的顺畅；其次，具有长距离 性，因为灾害总是在一定范围内发生，因而充分的长距离才能够保证数据不会被 一个灾害全部破坏；第三，容灾系统要追求快速的数据恢复，也就是说事先做好 数据复制。这三条也被称为容灾的“3 r ( r e d u n d a n c e 、r e m o t e 、r e p l i e a t i o n ) 。 我们可以发现一个完整的容灾系统应该具有以下几个组成部分： 数据备份系统。用于抗御用户误操作、病毒入侵、黑客攻击等的威胁。 数据远程复制系统。保证本地数据中心和远程备份中心的数据一致。 本地的高可用系统。确保本地发生局部故障或单点故障时的系统安全。 远程的高可用系统。实现远程广域范围的数据管n ( o l o b a lc l u s t e r 、。它 基于本地的高可用系统之上，在远程实现故障的判断、分类并及时采取相应的故 障处理措施，应用在前述的第5 级和第6 级容灾系统中。 第一章容灾技术综述 i p 嗣络廑 勤雠 备善层 图1 5 容灾系统示意图 容灾系统的建设在以上几个方面均不可或缺。比如，缺乏数据备份系统，则 系统在抗御误操作、黑客攻击等方面就会十分脆弱；没有远程的数据复制系统， 则远程的数据一致性得不到保障；没有远程赢可用系统，就不能实现系统整个系 统意义上的故障接管。 本文主要研究用于数据备份系统的快照技术和远程数据复制系统的远程复 制技术这两种容灾系统的核心技术。 1 6 容灾是个系统工程 容灾是一个系统工程。像其他系统工程样，订制一份好的容灾策略是成功 实现企业容灾的第一步。首先，让我们鼓起勇气面对今天现有系统中的几大特点： 第一，不停出现的新应用和新工具，带来了数不清的管理对象和极度复杂的数据 库关系：第二，关键性业务应用，要求在如此复杂的系统中实现7 x 2 4 小时的高 可用；第三，各种软硬件平台之间诡异无常的关系，使系统资源难以发挥应有的 效率；第四，留给系统维护的时间越来越少。 面对这样一个已经让我们足够头痛的系统，还要建立什么容灾? 是的，我们 必须以此为基础，在这样的环境中建立企业容灾系统。认清企业i t 系统的现状， 只是能帮助我们在建立容灾系统之前，更认真缅致的检查现有的管理漏洞。否则， 辛辛苦苦建立起来的”木桶”上又会有”短木板n 了。 下面是e m a ( e n t e r p r i s em a n a g e m e n t a s s o c i a t e s ) 关于企业容灾策略的建议， 它把成功地建立企业容灾系统分为七个步骤： ! ，定义方法一外包给专业公司当然省时省力，但是谁能比自己更了解自己的 业务模式和业务结构。如果企业业务十分庞大而复杂，还是以自己为主，专业公 数据容灾技术研究 司作为技术补充的方式为好。 2 确定服务级别一系统如此纷繁复杂，究竟对哪些部分，保护到什么程度， 这些都是必须首先考虑的问题。 3 建立计算工具一作为巨额投入项目，容灾系统没有任何产出，当然就无法 计算投入产出比。那又如何计算呢? 通常情况，我们需要计算因回避了灾害而减 少的损失与投入量之比。别忘了，把恢复过程所需费用计算在内。 4 明确资产和费用一这是一个相对复杂些的问题，简而言之就是，以1 0 0 万 的投入换回5 0 万的损失，当然不是企业需要的容灾系统。以5 0 万的投入可以换 回1 0 0 万的损失，这样的容灾系统企业是需要的，但是，有没有更好的呢? 5 确定方案一提出或评价一个具体的容灾解决方案，是一项颇具专业性的工 作。需要由有丰富经验的专业人员或公司完成。 6 与产品供应商交易一这一环节也许是令企业用户最兴奋( 也可能是最头 痛) 的部分。用户可以在供应商那里了解许多新技术和新产品，当然也有吸引人 的新构思。但是，切忌跟着厂商走，模糊了自己的初衷。 7 管理一这是个永远的话题，相信所有的用户都知道，它是围住”木桶”的” 铁圈”。没有好的管理，任何努力最终都会前功尽弃。 图1 6 建立企业容灾系统的七个步骤 这七个步骤之间不是简单的线性关系，而是互相影响渗透，如果用流程图表 示出来的话，是一条永远没有终点的曲线。就像容灾技术的发展过程一样，不停 的在发展和实践中往复，永远不会有终点。 数据容灾技术研究 第二章快照技术研究 2 1 快照概述 今天，许多企业和机构要求他们的应用程序每天2 4 小时每周七天都是可用 的。他们要求应用程序高可用同时用于维护和备份的关机时间极短，有些甚至不 允许业务处理中断。然而传统的数据备份方式需要很长的时间并且要求应用程序 停止写操作。为了满足这些机构的2 4 7 的业务联系性的需要，就需要进行在线 备份。快照( s n a p s h o t ) 技术能够产生数据的瞬间的拷贝，能够很好的满足这种 需要。 s n a p s h o t 是s t k ( s t o r a g e t e k ) 为其s v a ( s h a r e d v i r t u a la r r a y ) 系列磁盘开发的一 项技术，后其存储技术领域的其他公司也在其产品中添加了类似的设计。目前个 公司新开发的存储系统几乎都声称具有快照功能，只是名称和具体的实行方法不 同。比较有名的产品有以下几种： i b m ：f l a s h c o p y s s ) e m c ：t i m e f i n d e r ( s y m r n e t r i x ) h d s ：s h a d o w i m a g e ( t h u n d e r , l i g h t i n g ) v e r i t a s ：v o l u m e m a n a g e rs n a p s h o t ，f i l es y s t e ms n a p s h o t ( c h e c kp o i n t ) n e t a p p ：s n a p s h o t ( f a s f i l e r ) h p ：v s n a p s ，s n a p c l o n e ( e v a ) 存储系统中的快照功能，指将某个与数据存储相关的源对象( 文件，数据库， 数据卷) 在某一时间点的全部数据信息进行某种方式的保留，形成一个快照对象； 并使得在这个快照时间点之后对源对象的数据更新不会破坏快照对象所保存的 快照时刻源对象数据信息的完整性。快照功能提供一个指定时刻数据的瞬间的拷 贝，p o i n t i n - t i m ec o p y 。通常从建立快照的指令发出到快照对象的建立通常只需 要很短的时间，通常在几秒之内，并不会影响源对象的业务连续性，因此快照也 叫做t o ( t i m e z e r 0 1c o p y 。 一旦快照对象创建完成后，即可用于源对象在快照时刻的数据信息进行在线 数据分析，数据挖掘，测试和备份等目的的操作，而不会影响源对象的当前读写 操作。 s n a p s h o t 可以用磁盘阵列控制器内的f m n w a r e 实现，例如e m c 的t i m e f i n e r ， i b m 的f l a s h c o p y ，h d s 的s h a d o w i m a g e ；h d s 的s h a d o w i m a g e ；h p 的 v s n a p s ，s n a p c l o n e ；这些磁盘阵列内的s n a p s h o t 一般是基于数据卷v o l u m e 的( 块 设备级) 。( 一般是逻辑卷) 1 4 第二章快照技术研究 也可以在操作系统级利用v o l u m em a n a g e r 软件或f i l es y s t e m 的技术实现，如 v e p d t a s 的v o l u m em a n a g e rs n a p s h o t 和f i l es y s t e ms n a p s h o t ；n e t a p p 的s n 印s h o t ( 用于n a s 文件服务器的文件系统和数据库快照) 。 s n a p s h o t 产生的数据形式有两种： 一种是镜像型，也就是将快照时刻的源对象的所有数据c o p y 一份( 也叫 c l o n e ) ； 另一种是更新数据型，此时只保存从快照时刻开始源对象被更新数据的信息 ( 被认为是真正的s n a p s h o t ) 。 一般认为镜像型( c l o n e ) 是创建长期保存数据的一个副本或一系列副本的最佳 工具，而更新数据型s n a p s h o t 更适合于创建备份等应用的短期固定映像。 在存储系统中获得快照( p o i n t - i n - t i m ec o p y ) 有三种实现技术： 1 ，b r e a kam i r r o r 在所要求的时间点( p o i n t i n - t i m e ) 到来之前，先创建并维护一个对源数据的 完整的物理镜像拷贝。在所要求的时间点到来的时候断开镜像，获得一份数据快 照。 2 c o p y o nd e m a n d 在所要求的时间点到来之后，才创建一份对源数据的完整的物理拷贝。 3 v i r t u a lv i e w 在所要求的时间点到来之时，创建一份对源数据的虚拟的而不是物理的拷 贝。 下面对这三种实现技术进行深入的研究。 2 2 快照的实现技术 2 2 1b r e a ki tm i r r o r 这种方法在所要求的时间点( p o i n t - i n t i m e ) 到来之前，先创建并维护一个对 源数据卷的完整的物理镜像拷贝( 源卷常常采用r a i d l 镜像方式，故此附加的 镜像卷常被称为 t r i p l em i r r o r ”) 。 采用b r e a kam i r r o r 技术实现快照的典型步骤如下： 1 创建数据的附加镜像 在创建快照之前，首先为源卷准备一个不小于源卷的新的镜像卷。然后在后 台将源卷的数据复制到新的镜像卷，复制完成后新卷和源卷的到达同步状态。此 后新的镜像卷也接收对源卷的更新，以保持继续同步。 数据容灾技术研究 2 将源卷和附加的镜像卷分离 为了获得一个能被其他应用程序存取的数据的瞬间快照，附加的卷必须停止 接收对源卷数据的更新。即是说，断开附加卷和源卷的镜像关系，从而获得一个 p o i n t i n - t i m e 的分离的数据拷贝。 分离镜像后，附加的卷上的数据即是源卷数据在分离镜像的时刻点的快照。 厂t j 厂- 1 _ - 南吉卣 b r e a k t h e m i r r o r 图2 1b r e a ka m i n o r 示意图 3 重新同步源卷与分离的卷 当分离镜像后，源卷和附加的卷数据变得不一致。当备份、数据分析等操作 完成后，可以将源卷和分离的附加卷进行重新同步，为下一次快照作准备。 进行重新同步和初始化比较类似，有以下几种方式： a 完全重新同步 完全重新同步实际上就是将卷上的数据进行完全复制。常用于初始化或 者不知道要进行同步的目标卷的状态。 b 快速同步 为了减少产生快照后重新同步的时间，常用以下两种方法： 1 采用日志记录每次更新的操作。 2 采用位图记录更新的数据块的位置。 j o u m a - 图2 2 日志法和位图法 e 譬售盥饕；篙篇3 1 6 第二章快照技术研究 采用日志可以记录数据更新的顺序，但是需要比较多的空间来保存日志。而 位图法用- - n 几个b i t 来表示一个数据块，需要的空间较少，但无法记录数据更 新的顺序。 e m c 的t i m e f i n d e r 介绍 采用b r e a kam i r r o r 技术实现快照的典型实现是e m ct m a e f i n d e r 。它是为主 机、开放式系统、w i n d o w sn t 和a s ，4 0 0 等操作平台设计的软件。它能在后台 状态下为主机和开放系统的信息存储建刨可独立寻址的连续性业务数据体，称为 b c v ( b u s i n e s sc o n t i n u a n c ev o l u m e s ) 。b c v 是可以从生产数据中分离出来的动 态生产数据的镜像，分离数据时不会对正在运行的应用产生任何影响。通过使用 b c v ，原先可能对生产能力产生严重影响的操作均可以顺利运行。一旦b c v 的 任务完成，b c v 设备就可以与生产数据重新同步，重新指定给另一个生产数据 体。 t i m e f i n d e r 的多b c v 功能允许在个标准的数据体上建立多达8 个独立的 b c v 。这使得恢复操作可以从8 个b c v 数据体中的任何一个进行，从而加快了 恢复操作的速度。b c v 数据的多个拷贝也可以用于其它功能，例如测试，备份， 数据挖掘和加载数据仓库等。当t i m e f i n d e r 结合s r d f 使用时，b c v 可以同时 存储于本地s y m m e t r i x 系统和远程s y n m a e t r i x 系统中。能够通过s r d f 链路传输 的t i m e f i n d e r 批处理工具命令可以实现对b c v 的远程管理，使得从中心位置建 立和操作b c v 更加方便快捷。 t i m e f i n d e r 的s l i p 功能通过使b c v 的数据对主机系统而言立即可用，改善 了系统性能。一旦执行了s l i p 命令，主机系统就可以立即使用b c v 数据。 t i m e f i n d e r 提供了快照功能，可以在本地s y m m e t r i x 环境下用于在任何时间点上 复制数据。并且可以数据同时建立多个拷贝。 在创建一个b c v 的时候，t i m e f i n d e r 还能在后台动态地为任何一个标准磁 盘卷创建镜像。被创建的b c v 拥有独立的编址，可以被其它应用程序所访问。 使用t i m e f i n d e r 时，可以通过b c v 的建立( e s t a b l i s h ) 操作和断开( s p l i t ) 操作， 在任一时刻为每一生产卷创建个b c v 卷，从而获得多个b c v 卷。 t i m e f i n d e r 创建b c v 镜像的情况如下图所示： 数据容灾技术研究 鋈翕薯鋈篌蠡薯琵妒 栗藩尊藩耋斋菱磐卷产生 立刻产生快腺卷日c v 卟f - j 盯州意明日c v 图2 3t i m e f i n d e r 创建b c v 镜像 2 2 2c o p yo nd e m a n d c o p y o n d e m a n d 在所要求的时间点到来之后，才创建一份对源数据的完整的 物理拷贝。快照卷的容量不小于源卷的容量大小。快照开始对侠熙卷没有数据， 当源卷的某个数据块被更新时，如果该数据块的原有数据没有复制到快照卷( 一 般使用位图来记录) ，就需要先将源数耀复制到侠照卷，然后才麓更新，这就是 c o p y o n - w r i t e 技术。随后对此块的更新则可直接更新，不需要再复制到快照卷。 采用c o p y - o n w r i t e 技术的同时一般还启动个后台进翟，将源卷的数据复制到 快照卷。全部复制完成后，就可得到一个物理的独立的快照卷。 c 口蛐ib i t r a a p ”o ”谰哿的数据尚未复翻到快隐且标毪 ”i “漆誊辨嚣叠己控曩铆到辨厦旦拓静 ，、厂、 陛之二爿隧= 兰爿 i 口口口i 口团口口 l 口口li 团囫口口l 口一口一ji 口囹口囫i l 口口一口l 口口囱口 谰巷 快匣鱼标姑 冒嚣耋萎蔷羹二釜耋童嚣蔷 幽且辑诗敏恬块已经曩钏 l 】巨杯枯粳培块尚未爱钾i 图2 4c o p