（计算机科学与技术专业论文）基于检查点的容灾恢复技术研究与实现.pdf

国防科学技术大学研究生院硕十学位论文 摘要 随着信息系统的快速发展和普遍应用，信息系统容灾问题受到越来越多的重 视，容灾技术成为保持业务连续性的关键支撑技术。特别是在信息化战争中，军 事业务信息系统面临着次数更多，强度更高的空袭、破坏等威胁，如何保障军事 业务系统在恶劣战场环境中的业务连续性是当前容灾研究领域的重点之一。 本文对容灾恢复技术做了深入的研究和分析，总结了容灾恢复的关键要素， 对应用进行了分类，重点研究了长时间应用的容灾恢复问题，主要工作如下： 提出了一种基于检查点的容灾恢复框架，大幅度降低了长时间应用的r t o 容 灾恢复指标，提出了应用进程检查点实现容灾恢复时，保证进程检查点上的进程 状态与数据库和文件系统的状态一致性的方法，设计了一种面向容灾的自适应检 查点间隔设定算法。 针对含有数据库访问的长时间应用程序，设计和实现了一种基于进程检查点 的容灾恢复方法，解决了现有的进程检查点技术面临的两大难题：( 1 ) 数据库连 接的自动恢复问题( 2 ) 进程检查点的进程状态和数据库状态的一致性问题。这个 方法具有用户透明、适应多种数据库等特点。 针对进程检查点技术应用于含有文件系统访问的长时间应用程序时所面临的 进程状态和文件状态不一致性问题，提出了一种能解决容灾环境下进程检查点的 进程状态和文件状态不一致的低开销文件恢复算法o d u c 算法，并从理论上证明 了算法的正确性。 设计和实现了容灾恢复原型系统，在n + m 容灾结构下，实现了基于进程检查 点技术的容灾恢复模块，验证了基于进程检查点的容灾恢复方法对业务连续性的 支持，验证了基于检查点的含有数据库访问的长时间应用程序容灾恢复方法的正 确性和性能。 主题词：容灾，业务连续性，进程检查点，文件状态，o i ) u c 算法 第i 页 国防科学技术大学研究生院硕+ 学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n ta n dw i d e s p r e a du s eo ft h ei n f o r m a t i o ns y s t e m ，t h e d i s a s t e rr e c o v e r yo ft h ei n f o r m a t i o ns y s t e mi sp a i dm o r ea n dm o r ea t t e n t i o n 1 1 1 e t e c h n o l o g yo ft h ed i s a s t e rr e c o v e r yh a sb e e nt h ek e ym e t h o dt om a i n t a i nt h eb u s i n e s s c o n t i n u i t y e s p e c i a l l yi nt h ee n v i r o n m e n to ft h ew a r ，t h em i l i t a r yi n f o r m a t i o ns y s t e m w i l lb ec o n f r o n t e dm o r ed r a s t i ca n df r e q u e n td e s t r u c t i o n , s oh o wt om a i n t a i nt h e b u s i n e s sc o n t i n u i t yi nt h ee x e c r a b l ew a re n v i r o n m e n ti sa ni m p o r t a n tr e s e a r c hi s s u ei n t h ef i e l do ft h ed i s a s t e rr e c o v e r y 1 1 1 i sp a p e rd e e p l yr e s e a r c h e st h et e c h n o l o g i e so ft h ed i s a s t e rr e c o v e r y , s u m m a r i z e s t h ek e yf a c t o r so ft h ed i s a s t e rr e c o v e r y ，s o r t st h ea p p l i c a t i o n ，a n dp a y sm o r ea t t e n t i o no n t h ed i s a s t e rr e c o v e r yo ft h el o n gt i m er u n n i n ga p p l i c a t i o n t h em a i nw o r ki s 嬲f o l l o w ： ad i s a s t e rr e c o v e r yf r a m e w o r kb a s e do nc h e c k p o i n tt e c h n o l o g yi si s s u e d ，w h i c h l a r g e l yl o w e r st h er t ot a r g e to f t h ed i s a s t e rr e c o v e r y ，p u t sf o r w a r dar e s o l u t i o nw h i c h e n s u r e st h ec o n s i s t e n c ea m o n gp r o c e s sc h e c k p o i n t ，d a t a b a s ea n df i l es y s t e m a n a d a p t i n ga l g o r i t h mo fs e t t i n gi n t e r v a lo fc h e c k p o i n t i n gi sg i v e nu n d e rt h ee n v i r o n m e n t o fd i s a s t e rr e c o v e r y t h i sp a p e ra l s o p r o p o s e s ad i s a s t e r r e c o v e r ym e t h o db a s e do nc h e c k p o i n t t e c h n o l o g y ，w h i c hi st oa i ma tl o n gt i m er u n n i n ga p p l i c a t i o nt h a ti n c l u d e sd a t a b a s e a c c e s s t l i sm e t h o dr e s o l v e st h et w od i f f i c u l t i e so fc h e c k p o i n t i n gf o rt h ef i r s t t i m e ：( 1 ) t h ep r o b l e mo fr e c o v e r ya b o u tt h ed a t a b a s ec o n n e c t i o n ；( 2 ) t h ec o n s i s t e n c e b e t w e e np r o c e s sc h e c k p o i n ts t a t ea n dd a t a b a s es t a t e i ti sc o m p l e t e l yt r a n s p a r e n tt o a p p l i c a t i o n sa n da d a p t e d t om a n yk i n d so fd a t a b a s e d i r e c t e dt o w a r d st h ed i s c o r db e t w e e np r o c e s sc h e c k p o i n ts t a t ea n df i l es y s t e m s t a t ew h e nt h et e c h n o l o g yo fc h e c k p o i n ti su s e di nl o n gt i m er u n n i n ga p p l i c a t i o nt h a t i n c l u d e sf i l e s y s t e ma c c e s s t h i sp a p e ri s s u e s al o wo v e r h c a df i l er e s t o r a t i o n a l g o r i t h m o d u ca l g o r i t h m ，w h i c hc a ns o l v et h ed i s c o r db e t w e e np r o c e s ss t a t ea n df i l e s t a t ei nd i s a s t e rr e c o v e r y ，t h ea l g o r i t h mi sp r o v e dt ob er i g h t t h ep r o t o t y p es y s t e mi si m p l e m e n t e d a n dt h ed i s a s t e rr e c o v e r ym o d u l eb a s e do n c h e c k p o i n ti si m p l e m e n t e du n d e rt h en + mf r a m e w o r k w h i c hv e r i f i e saf a c tt h a tt h e d i s a s t e rr e c o v e r yb a s e do nc h e c k p o i n t i n gs u p p o r t st h eb u s i n e s sc o n t i n u i t y i ta l s o v e r i f i e st h ef e a s i b i l i t yo ft h er e s t o r a t i o na l g o r i t h md e s i g n e dt os o l v et h ed i s c o r da m o n g p r o c e s sc h e c k p o i n t i n gs t a t e ，d a t a b a s es t a t ea n df i l es y s t e ms t a t e k e y w o r d s ：d i s a s t e r r e c o v e r y ， b u s i n e s sc o n t i n u i t y ，p r o c e s s c h e c k p o i n t ，f i l es y s t e ms t a t e s ，o d u ca l g o r i t h m 第i i 页 国防科学技术大学研究生院硕十学位论文 表目录 表2 1 长时间应用容灾方法比较1 4 表2 2 不同应用类型的容灾恢复方法1 4 表2 3 检查点时间间隔设定算法计算结果示例2 7 表5 1 山b 4 程序，俑- 3 0 s 的测试结果5 2 表5 2 盯b 4 程序，碥隔- 4 0 s 的测试结果5 3 表s - 3b t b 4 程序，隔= 5 0 s 的测试结果5 3 表5 4 程序无故障运行测试结果5 4 表5 5 程序分别在不同检查点位置发生故障并重启运行测试结果5 5 第1 i l 页 国防科学技术大学研究生院硕+ 学位论文 图 图 图 图 图2 3 图2 4 图2 5 图2 6 图 图 图 图 图3 3 图3 4 图4 1 图4 2 图4 3 图4 4 图4 5 图4 6 图4 7 图5 1 图5 2 图目录 r p o 和r t o 概念示意刚4 1 3 恢复目标与恢复代价关系【4 l 3 容灾恢复关键要素1 1 基于检查点的容灾恢复软件结构1 9 基于检查点的容灾恢复功能模块1 9 检查点文件正在生成。2 1 1 + 1 次检查点文件生成完毕。2 1 i + 1 次检查点文件正在传输。2 1 基于检查点的容灾过程示意图2 4 多节点并行失效。2 6 进程状态转换关系3 1 支持数据应用的扩展检查点系统3 2 支持数据应用的扩展检查点库实现3 3 应用和数据同步回退3 6 f a r w 故l 璋4 0 f a d 故i 璋4 0 基于虚拟文件操作的文件检查点策略4 3 文件修改写和空白写示意图4 5 空白写( b l a n k _ w r i t e ) 操作时文件状态变化4 6 修改写( r e p a i rw r i t e ) 前没有读操作的文件状态变化4 6 修改写( r e p a i r w r i t e ) 前有读操作文件状态变化4 7 容灾系统原型总体结构图5 1 无故障和一次故障恢复情况下歼销比较5 5 第1 v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：基王拴查点鲍窒塞送复技盔珏究量塞理 学雠文作者始藿“i 吼岬仙心日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印，缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书。) 学位论文作者签名：幸主至壶 作者指导教师张f 丝缁 帆岬年二月场 日期矽步年瑚移日 国防科学技术人学研究生院硕十学位论文 第一章绪论 1 1 研究背景 现代社会已经步入信息时代。随着信息技术的快速发展和不断进步，信息系 统越来越广泛的应用地应用于金融、政务、交通、电力、军事等重要领域，已成 为影响国家发展和安全的重要基础设施。对于应用部门来说，一方面计算机信息 系统为这些部门提供了比以往任何时候更实时快捷的信息服务，实现了信息的存 储、处理和管理的自动化，提高了效率，节省了大量的人力资源。另一方面，这 些信息系统的大量应用所带来的风险隐患也是巨大的。一旦它们遭到灾难性破 坏，将会导致巨大的经济损失，甚至影响到社会的稳定、国家的安全。自然灾害、 恶意破坏、恐怖袭击、军事打击等都可能造成信息系统的崩溃，灾后如果信息系 统不能得到快速有效的恢复，将会带来严重威胁。据i d c 和g a r t n e rg r o u p 的统 计数据表明，在经历大型灾难而导致系统停运的公司中有2 5 再也没有恢复运营， 其余的公司中也有1 3 在两年内破产【l 】。在现代战争环境中，信息技术作为一种 核心技术运用于作战的指挥、武器装备的控制等方面，军事领域对信息技术和信 息系统的依赖性越来越强，信息化战争已成为未来战争的主要形态。在信息化战 争环境中，军事打击的一体化和精确性给复杂的军事业务容灾系统带来了巨大的 挑战。如果军事业务系统遭受打击和破坏后不能及时的恢复运行，将给战争带来 极为不利影响，甚至导致战争的失败。因此，为提高军用业务信息系统的抗毁性， 保证军事业务的连续性，研究军事业务容灾关键技术，建立军事业务容灾备份系 统，具有重要的意义。 军事业务的复杂性和战争环境的特殊性对容灾建设有着更高的要求。民用业 务系统一般采用1 + 1 ( 一主一备) 或n + i ( n 主一备) 的容灾系统结构，在普通 的自然灾难情况下，这可以满足业务连续性的要求。但是战场环境下很可能会出 现多点同时遭受打击的情况，而且军事业务信息系统对业务的连续性有着更严 格的需求。因此只有一个备份系统的容灾系统结构无法满足军用业务系统的容灾 需求，需要提出新的能够支持多点失效的更高级别的容灾系统结构。 容灾恢复是容灾系统的核心模块。容灾系统一般由业务部署、容灾监控、容 灾备份、容灾恢复、容灾管理等模块组成，其中容灾恢复是业务容灾系统的核心 部分。容灾系统的目的是保障业务连续性，灾难发生后，只有通过快速的容灾恢 复才能让业务系统重新恢复运行，提供不问断的服务。军事业务系统对容灾恢复 的恢复时间和恢复程度提出了更高级别的要求，这就需要针对军事业务的特点， 研究新的容灾恢复技术以适应军事业务系统的需求。 第1 页 国防科学技术大学研究生院硕+ 学位论文 1 2 容灾研究现状 1 2 1 容灾相关概念 灾难 从计算机系统的角度讲，一切引起系统非正常停机的事件都可以称为灾难。 灾难大致可以分成以下四个类型： 自然灾害：包括地震、暴风、火灾、洪水等。 社会灾难：包括战争、恐怖袭击等。 设备故障：包括主机的c p u 、硬盘损坏，电源中断以及网络故障等。 人为破坏或误操作：包括病毒、网络攻击、操作人员的误操作等。 容灾 容灾是在灾难发生时，保证数据能够尽量少的丢失，业务能够不问断地运行， 或者尽量快地恢复正常运行的过程。容灾的方法概括起来说就是建立和维护大量 的软、硬件冗余资源，利用地理的分散性来保证数据和业务应用对于灾难性事件 的抵御能力【2 】。 业务 业务是由多个应用共同组成的一个综合服务。比如银行业务，它由自动取款 应用、柜台存取款应用等多个应用组成。 业务连续性 业务连续性是指一个业务应对风险自动调整和快速反应以保证业务连续运 转的能力。为重要应用和流程提供业务连续性的途径主要包括以下三个方面【3 】： 高可用性( h i g ha v a i l a b i l i t y ) ：是指提供在本地故障情况下，能继续访问应 用的能力，无论这个故障是业务流程、物理设施，还是软硬件方面的故障。 连续操作( c o n t i n u o u so p e r a t i o n s ) ：是指当所有设备无故障时保持业务连续 运行的能力，不需要仅仅因为正常的备份或维护而停止应用。 灾难恢复( d i s a s t e rr e c o v e r y ) ：是指当灾难破坏主中心时在其它地点恢复 应用和数据的能力。灾难恢复的特点是在不同的地点不同的硬件设备上进行恢 复。 这三种途径不是相互孤立的，是相互关联、有交叉的。高可用可以用具有容 错能力和抗故障的基础结构和集群技术解决，而灾难恢复是一个复杂的系统工 程，严格的来说，灾难恢复是恢复数据和应用的能力，是业务连续性计划的一部 分。 容灾恢复评价标准【1 2 】【1 3 】【1 4 l 恢复时间目标r t o ( r e c o v e r yt i m eo b j e c t ) 指灾难发生后，业务从停顿状 第2 页 国防科学技术大学研究生院硕十学位论文 态到恢复正常运行所需要的时间。r t o 给出了一个单位能容忍的灾难恢复时间。 恢复点目标r p o ( r e c o v e r yp o i n to b j e c t ) 指灾难发生后，容灾系统能把数 据恢复到灾难发生前的时间点，它是衡量一个单位在灾难发生后会丢失多长时间 业务数据的指标。 如图1 1 所示，r t o 是指灾难发生后，业务恢复到正常运行所需要的最短时 间； r p o 是指灾难发生后，业务数据可以恢复的时间点。 o i s a s t e r r p or t o lil li l a s te h e e k o t ) i n ts e r v i c er t o l e t 图1 1r p o 和r t o 概念示意图1 4 l 二者的结合( r t o + r p o ) 描述了一个容灾系统的恢复能力，它与容灾恢复 代价是相互影响、相互制约的关系，如图1 2 所示： 图1 2 恢复目标与恢复代价关系1 4 1 1 2 2 容灾分类 从容灾的地域范围讲，容灾可以分成本地容灾、近距离容灾和远距离容灾【5 】。 这三种容灾能容忍的灾难是不相同的，采用的容灾技术也是不同的。本地容灾与 本地局域网相对应，近距离容灾与城域网相对应，远距离容灾与广域网相对应。 从容灾的层次级别讲，容灾可以分为数据容灾、应用容灾和业务容灾。数据 容灾是指建立一个备用的数据系统，该备用系统对业务系统的数据进行备份。数 据容灾没有备份应用系统，容灾恢复时需要临时建立新的应用系统或修复原应用 系统。 应用容灾则是在数据容灾之上，建立一套与业务系统相当的备份应用系统。 在灾难发生后，将应用迅速切换到备份应用系统，备份系统承担业务系统的业务 运行。数据容灾是应用容灾的基础，应用容灾是数据容灾的目标。 业务系统是由多个应用组成的复杂应用系统，业务容灾建立在应用容灾的基 第3 页 国防科学技术人学研究生院硕十学位论文 础之上，实现一个单位的业务系统的容灾。业务容灾是最高级别的容灾，它不仅 要恢复业务系统中的每个应用，还要恢复这些应用之间可能存在的关系。 1 2 3 容灾关键技术 容灾是一个复杂的系统工程。为了保证信息系统的业务连续性，对其进行容 灾，必须采取一定的技术手段来实现。容灾技术主要包括容灾系统结构、容灾业 务部署技术，容灾监控技术，容灾备份技术和容灾恢复技术。 1 容灾系统结构 最简单的容灾系统就是i + 1 的一主一备结构。随着容灾环境的变化和容灾需 求的增强，对容灾系统的可靠性要求更高，出现了1 + n 的一主多备容灾系统结 构；因为多个主节点不一定同时遭遇灾难，为节约备份资源，又提出了n + i 的 n 主一备容灾系统结构，n 个主节点同时提供服务，当其中的一个节点遭遇灾难 后，剩下n 1 个主节点能继续提供服务，只需要将1 个备份节点启动，替代失效 节点成为主节点；n + i 的系统中只有一个备份节点，在多个主节点发生灾难的情 况下，无法满足容灾需求。 对于军事业务系统而言，其面临的军事打击通常会造成军事业务系统的多点 同时遭遇灾难。为了满足军事业务系统的容灾需求，我们课题组提出了n + m 容 灾系统结构1 0 】【1 1 1 。它是指业务被部署到n + m 个节点上，其中n 个主节点同时 提供服务，当其中的n 个节点( n n ) 因遭受灾难而失效时，从m 个备份节点 中选出n 个，启动服务，取代失效的n 个节点。 为了进一步提高军事业务系统的容灾能力，克服多点连续失效的问题，课题 组在n + m 的容灾系统结构的基础上提出了应用与数据分离的n + m 方案。这个 方案将业务的应用部分和数据部分分离，分别部署在不同地理位置的不同节点 上，进一步减少灾难的影响。应用和数据分离后，n + m 容灾结构可以进一步细 化为( n a + m 。，n d + m d ) 。一个业务被部署到n + m ( n a + m 。，n d + m d ) 容灾结构 上是指该业务的应用被部署到n a + m 。个应用节点上，其中有n 。个主应用节点， m a 个备份应用节点；该业务的数据被部署到n d + m d 个数据节点上，其中n d 个 主数据节点，m d 个备份数据节点。在实际容灾部署中，n 。和m 。的大小可根据 业务系统容灾需求确定，通常要考虑能够同时容忍的灾难数量和业务的重要性等 因素。由于n d 个主数据节点与m d 个备份数据节点之间的同步更新开销较大， 通常m d 的大小不宜过大，取1 - 4 之间一般就足够了。 2 容灾业务部署技术 容灾系统的业务部署的实质是一个资源分配优化问题。可以将它描述为：容 灾系统拥有n 个节点的资源集合r ，一个业务a 准备在其中选择若干节点进行 部署，使得业务系统的容灾能力较高，而占用的资源较少。从n 个节点中选取 第4 页 国防科学技术大学研究生院硕十学位论文 部分节点作为部署方案中所需的节点，可以有多种分配方案，这可以归结为数学 中的组合问题。要从这许多种方案中选出较优的方案就必须有一套评估方案优劣 的容灾评估标准，因此容灾评估是业务部署的一部分。部署方案生成后，将业务 部署到各个节点上提供服务。 3 容灾监控技术 当灾难发生时，容灾系统必须能够准确、及时地检测到节点的失效，才能尽 快地按照预定的策略实施灾难恢复，减少因灾难而造成的损失，最大限度的保证 业务的连续性。因此准确性好、实时性强、自适应的监控结构和失效检测算法就 成为容灾监控研究的关键技术。现有的监控结构一般分为集中式监控结构、分布 式监控结构、层次式监控结构、环拓扑监控结构和混合式监控结构等。失效检测 算法是实现失效检测的核心，心跳机制是失效检测最为常见的失效检测技术。失 效检测方法按心跳的实现方式可以分为“监控( m o n i t o r i n g ) 1 1 7 】 和“流言 ( g o s s i p i n g ) 两种。监控方法是监控节点定期主动向被监控节点发送检测消息， 等待被监控节点在超时时限前的应答消息，否则就被认为被监控节点失效；流言 方法是被监控节点定期主动向监控节点发送消息，表明其状态正常。比较经典的 失效检测算法有c h e n l 8 】提出的自适应网络状况变化的失效检测和扩展的检测指 标；陈诚【4 8 】在此基础上又提出了一种自适应的容灾系统心跳检测算法；b e r t i e r t 9 1 对c h e n 的方法进行了改进，结合j a c o b s o n 预测算法实现了一种自适应算法。 4 容灾备份技术 从计算机技术的角度来看，信息系统主要包括计算机硬件和软件两部分，软 件又可分为应用软件和数据。应用软件用来提供业务所需要的操作处理功能，数 据是以某种合理的模式存储的业务数据文件或数据库。容灾备份包括计算机硬件 的冗余和软件的备份。硬件的冗余是容灾系统建立的备份硬件系统。软件备份包 括应用软件备份和数据软件备份两部分。 应用软件的备份包括在备份节点配置与主节点结构相同或相似的可替代主 节点提供服务的软件，这些静态配置一般在容灾业务部署时完成。同时，对一些 关键性应用可能还要备份应用软件运行的运行状态，以便在主节点失效后，不是 简单地在备份节点重启备份应用软件运行，而是让备份应用软件从灾难发生前主 应用软件的某个中间状态继续运行。这样可以缩短r t o ，减少灾难带来的损失。 数据备份【6 】是数据容灾的基础。根据连续备份过程中业务数据和备份结果之 间的关系，备份模式可分为同步备份、异步备份、半同步备份和自适应备份几种 模式。 同步备份模式是指在主数据中心和备份中心之间保持完全一致的数据镜像 关系。同步备份模式要求数据只有在同时提交给主节点和备份节点后，才能确认 数据，表示本次磁盘v o 操作的完成，主机才可以继续下一次磁盘i o 操作。同 第5 页 国防科学技术人学研究生院硕十学位论文 步备份模式优点是能保证数据的r p o 几乎为零，灾难发生时只有在传输中的数 据丢失，数据丢失量小，实时性好。缺点是当主备数据中心距离较远时，对系统 的性能产生较大的影响，数据写性能低，而且对网络带宽要求较高，整体投资较 大，运营成本较高。 异步备份模式不要求数据在主备节点同时提交，数据首先在主节点提交，然 后系统可处理后续服务，然后才在备份节点提交。异步数据备份模式典型的i 冲o 在分钟的级别，异步数据备份对带宽要求较低，支持的距离通常不受限制，但会 造成一定的数据丢失，不能保证数据的完全恢复。 半同步备份模式假定大多数应用程序在写数据之前会做一些读操作。在对主 数据中心的第一次写操作结束到与异地容灾中心数据同步完成以前，主机可以对 本地的存储设备进行读操作但不允许写操作。只有备份中心的存储系统数据更新 完成后，主数据中心才可以进行下一次写磁盘操作。 自适应备份模式是同步备份模式和异步备份模式的一种折中。主数据中心与 备份数据中心之间的数据备份模式先采用异步备份模式。允许在主数据中心和备 份数据中心之间相差一定数量的i o 操作( 设为n ) 。当两数据中心问i o 差值 超过n 时，异步状态中断，转换为( 半) 同步模式。这种模式一直持续到未同 步的i o 数据低于n 值时然后再转换到异步备份模式。 5 容灾恢复技术 容灾恢复技术是指当监测到节点失效时，首先将服务从主服务节点透明地切 换到备份节点，要解决的问题包括i p 地址的切换，服务运行中间状态的备份等， 服务切换技术的最高要求是实现无缝切换，即让用户感觉不到业务系统发生了转 移。对于实时性要求不高的服务，比如w e b 服务、e m a i l 服务等可以基于d n s 服务引导或者i p 地址的修改来实现系统的切换，而对实时性要求较高的服务， 服务运行的中间状态也需要切换，就需要采取其他的技术，比如基于检查点定期 保存服务的中间状态等。备份节点接替损坏的主节点后要恢复服务的状态，包括 应用程序的状态和数据状态。应用状态的恢复主要就是恢复进程状态，可以采用 基于消息日志和检查点的方法。 目前容灾恢复技术已经得到广泛而深入的研究，当前集中比较成熟的容灾恢 复技术实现方法包括：d n s 轮转法1 4 4 1 ，h t t p 报文重定向法，i p 报文重定向法， i p 欺骗法和连接漂移技术等。 d n s 轮转( r o u n d r o b i n ) 法利用了d n s 服务器软件b i n d 提供的一个特性，使 多个i p 地址绑定到同一个域名上。域名服务器按轮转机制将到达该域名的请求解 析到不同的服务器上。当其中的一个服务器因灾难而失效时，该域名就不再被解 析到失效节点上。这节点失效后，新的用户请求是没有问题的，但它不能解决已 经和这台故障服务器进行连接的用户得不到后续服务的问题。 第6 页 国防科学技术火学研究生院硕十学位论文 h t t p 报文重定向需要一个前端调度器( 可能是一个硬件路由器或集群服务器 中配置专用软件的结点) ，该调度器采用单一的虚拟i p 地址，这个i p 地址是公众 所知的站点地址，而节点服务器的真实地址对用户是透明的。这种方法提供了比 d n s 轮转法更细粒度的控制策略。 i p 报文重定向法是通过改写i p 报文以达到转移服务节点为目的的动态漂移技 术。i p 欺骗法的基本思想是：一组服务器节点使用公共的虚拟i p 地址对外提供服 务，任何时候都只能有一个主服务节点对外提供服务。一旦主服务节点由于某些 原因而发生故障，则备份节点就通过发送修改过的a r p 报文，将主服务节点的i p 映射到自己的硬件地址( m a c 地址) 上，从而实现服务的连续性。 连接漂移技术主要是针对网络环境的服务模式下，比如c s 和b s 模式等，用 来解决用户与服务器端t c p 连接状态的透明迁移。主要是通过修改协议来实现， 比较著名的支持t c p 连接迁移的修改后的协议有f t - t c p 瞄刳，h y d r a n e t 嗍1 ， m - t c p 矧，s c t p 和s t t c p 等。 1 2 4 容灾备份解决方案 随着容灾受到越来越多的重视，国内外对容灾进行了大量的研究。为了指导 并规范容灾系统建设，相关国家和国际组织制定并颁布了不同层次的法规、规章 和指南。比较著名的标准和规范主要有i s o i e c l 7 7 9 9 信息安全管理实施细则， 国际灾难恢复协会d r i i ( d i s a s t e rr e c o v e r yi n s t i t u t ei n t e r n a t i o n a l ) 的业务连续性 计划制定人专业实务( p r o f e s s i o n a lp r a c t i c e sf o rb u s i n e s sc o m i n u i 够 p r o f e s s i o n a l s ) ，它们主要从业务连续性规划和管理等角度进行了规范。我国容灾 技术研究和容灾工程应用正在不断加强，2 0 0 5 年4 月国务院信息化工作办公室 发布了重要信息系统灾难恢复规划指南，为灾难恢复工作提供了操作性较强 的指导意见。 根据容灾恢复的需求，i b m 公司1 9 9 2 年提出了容灾恢复的国际标准 s h a r e 7 8 t ，将灾难恢复系统划分为7 个等级。在该标准的基础上，文献1 47 j 从 业务连续性的角度，将信息系统的灾难备份与恢复分为数据级、系统级和应用级 三个容灾层次，根据这些层次重新定义了9 个容灾恢复等级。 目前国际上大公司已有很多种容灾备份产品，下面是列举比较著名的几种。 i b m 公司的跨域并行系统耦合技术( g d p s ) 【4 9 1 ，是目前大型计算机系统灾 难恢复的主要解决方案。g d p s 有两种远程数据复制功能：( 1 ) 基于同步数据 复制方式的端到端远程复制技术( p p r c ) ；( 2 ) 扩展远程拷贝( x r c ) ，采用 异步方式提供广域网范围内的数据备份。i b m 的h a c m p 解决了本地集群内的 单点失效问题，实现了本地高可用性；i b m 的h a g e o ( h i g ha v a i l a b i l i t y g e o g r a p h i cc l u s t e r ) 异地集群，将高可用技术扩展到广域网，实现异地容灾。 第7 页 国防科学技术大学研究生院硕十学位论文 e m c 公司的远程数据备份软件s r d f t 5 0 l 、m i r r o rv i e w 和o p e nr e p l i c a t o rf o r s y m m e t r i x 等产品使用在线、独立于主机的数据镜像解决方案，可以同时在多个 磁盘s y m m e t r i x 系统间提供数据备份。s r d f 可以提供同步、半同步和自适应拷 贝三种模式的数据备份。 v e r i t a s i ”】公司也有很多集成的容灾恢复软件产品。v e r i t a s 的数据管理软件 v v r 支持广域范围内同步和异步，多对多的数据备份。v e r i t a s 的广域网集群管 理软件g c m ( g l o b a lc l u s t e rm a n a g e r ) 可以实现集群间的自动和手动切换。v e r i t a s n e t b a c k u p 软件是一个企业级数据备份管理软件，可以在多种操作系统环境下提 供数据保护。业界最新提出的持续性数据保护( c d p ) 技术是数据备份和连续复 制技术结合产生的一种新技术，是一种实时的数据备份技术，是快速恢复和任意 时间点恢复称为可能。国内的容灾备份产品还比较少。中科院的蓝鲸数据备份系 统能提供数据全量、增量和差量等多种级别的数据备份。 1 3 论文的主要工作和贡献 容灾恢复技术是容灾系统的核心的模块之一。针对具体业务的特点和对业务 连续性的要求，设计合理的容灾恢复方法，是实现业务容灾，保障业务连续性的 重要环节。本文对容灾恢复技术做了深入的研究和分析，主要做了以下几个方面 工作： 1 从容灾的角度分析了影响业务连续性的主要因素，分析了容灾恢复的关 键要素，对应用进行了分类，根据不同种类型应用的特点，提出了支持应用 连续性的容灾恢复方法。 2 提出了基于进程检查点的容灾恢复框架，大幅度降低了长时间应用的 r t o 容灾恢复指标，提出了应用进程检查点实现容灾恢复时，保证进程检查 点状态与数据库和文件系统的状态一致性的方法，设计了一种面向容灾的自 适应检查点间隔设定算法。 3 针对含有数据库访问的长时间应用程序，提出一种基于检查点的容灾恢 复方法，解决了现有的进程检查点技术面临的两大难题：( 1 ) 数据库连接的 自动恢复问题( 2 ) 进程检查点的进程状态和数据库状态的不一致问题。具有 用户透明、适应多种数据库等特点。 4 针对检查点技术应用于含有文件系统访问的应用程序时所面临的进程状 态和文件状态不一致性问题，对比了现有的几种文件恢复算法，分析了各自 的优缺点。提出了能解决容灾环境下进程检查点状态和文件状态不一致的文 件恢复算法o d u c 算法，给出了算法正确性的证明。该算法具有很低的丌销， 能解决容灾环境下的进程检查点状态和文件状态不一致的问题。 第8 页 国防科学技术大学研究生院硕+ 学位论文 5 完成了应用与数据分离的n + m 容灾恢复系统原型的实现，在n + m 容灾 结构下，实现了基于进程检查点的容灾恢复原型模块，验证了基于进程检查 点容灾恢复方法对业务连续性的支持。 1 4 论文结构 全文共分为六章，结构安排如下： 第一章阐述了课题研究背景，明确了容灾技术的相关术语，对容灾技术进行 了分类，分析了容灾相关的关键技术。 第二章首先分析了支持业务连续性的容灾恢复的相关问题，对应用进行了合 理的分类，针对每种类型应用的特点，提出了较优的容灾恢复方法。研究了容灾 恢复的关键要素。然后分析了进程检查点技术研究现状，设计了基于检查点容灾 恢复的框架。最后设计了容灾环境下自适应的检查点时间间隔设定算法。 第三章针对现有检查点对含数据库访问的长时间应用卷回恢复时面临的两 大问题：( 1 ) 数据库连接的自动恢复问题( 2 ) 进程检查点和数据库状态的一致 性问题，通过扩展现有检查点库，设计了保存、重建连接和设置数据库检查点的 解决方案，并进行了实现。 第四章针对检查点对文件系统的长时间应用卷回恢复时面临的进程检查点 状态和文件状态不一致的问题，对比了经典的支持检查点的文件状态恢复算法， 分析了其优缺点，设计了适应容灾环境的低开销的文件状态恢复算法o d u c 算法，并对其正确性进行了证明。 第五章为容灾恢复的原型系统设计与实现。实现了基于现有检查点对简单长 时间应用的容灾恢复，对含数据库访问的复杂长时间应用，利用本文设计的策略 进行了实现，并分别测试了结果，验证了方案的可行性和系统开销。 第六章对全文进行了总结，指出在本文的基础上下一步的研究方向。 第9 页 国防科学技术大学研究生院硕十学何论文 第二章容灾恢复结构设计 2 1 支持业务连续性的容灾恢复 通常情况下，一个业务由多个有一定逻辑关系的应用组成。要保障整个业务 系统的连续运行，首先必须保障每个应用的连续性。本节重点研究保证单个应用 连续性的容灾恢复问题。 2 1 1 应用的分类 没有一种通用的恢复方案可以适用于所有类型应用的容灾恢复。因此，需要 根据应用的特点和容灾需求对应用进行分类，然后根据不同种类型的应用对连续 性需求的不同，结合应用本身的特点，设计合理的恢复方案。 根据应用运行的时间特点，可将应用划分为短服务流程应用和长服务流程应 用。短服务流程的应用的特点是用户访问源源不断，但单次服务时间通常为分钟 级别以下，例如网页访问、信息搜索服务、存取款等短事务应用。长服务流程应 用的特点是用户提交任务然后等待运行结果，单个任务需要经过复杂的计算或者 搜索过程，单次服务时间通常为分钟或者小时级别以上，例如气象预报应用、军 事部署方案生成、部队综合作战能力评估等。 根据应用程序运行过程中所涉及的数据读写模式，可将应用分为简单数据访 问应用和复杂数据访问应用。简单数据访问应用可能只是简单数据查询，然后进 行运算，给出计算结果。有的应用即使需要长时间运行，但是如果运算的过程中 对数据只进行读操作，这里也将其归为简单应用。如果应用在运行的过程中需要 对大量数据不断的进行读写，把这样的应用叫做复杂数据访问应用，有的短流程 应用也可能是复杂应用。 这样应用就有四种类型：简单短时间应用，简单长时间应用，复杂短时间应 用，复杂长时问应用。 2 1 2 容灾恢复关键要素 虽然没有一种通用的容灾恢复方法可以适用于所有类型应用的恢复，但所有 的容灾恢复都存在一些共同点。如图2 1 所示，容灾恢复的关键要素主要包括以 下几个方面：硬件冗余，软件恢复，服务运行中间状态恢复，数据恢复和i p 地 址切换。这些关键要素可以分为两大类，第一类是静态要素。静态要素不需要动 态恢复，可以在业务部署后在备份节点配置完毕，主要包括硬件冗余、操作系统 配置、应用软件和数据服务软件的配置等；第二类是动态要素。是指与服务的运 第1 0 页 国防科学技术大学研究生院硕十学何论文 行状态相关信息的恢复。动态要素需要动态恢复，主要包括i p 地址切换、数据 恢复、应用程序运行状态恢复等。 图2 1容灾恢复关键要素 硬件系统 要在备份节点进行容灾恢复，备份节点必须具备与主节点相同的计算机硬件 设施，而且硬件性能必须相似，比如主节点的硬件可能是性能较高的多核处理器 的服务集群，而如果备份节点是单核或者低版本的硬件设施，就可能会出现无法 兼容运行的问题。主备节点的主节点和备份节点必须在计算机体系结构上能够兼 容，否则可能会出现在主节点上运行的服务软件在备份节点无法运行的情况。比 如硬盘的接口，老式硬盘的并行接口和新技术s a t a 结构就有很大的区别，在安装 操作系统时有时就会导致不兼容。 操作系统配置 操作系统兼容性。服务软件程序在主节点可能是在较高版本的操作系统上运 行，而在备份节点上恢复软件运行时，如果备份节点操作系统版本较