（计算机软件与理论专业论文）linux平台数据容灾系统的研究与实现.pdf

西北工业大学硕士学位论文 摘要 面对当前许多企业和部门 缺乏数据保护机制的现状， 本文在研究现有容灾系 统和相关技术的基础上，提出一个l i n u x 平台数据容灾系统 ( d a t a d i s a s t e r t o l e r a n c e s y s te m o n l in u x ， 简 称 d d t ) ， 探 讨了 d d t 系 统 的 基 本 概念、 系 统 结 构 与工作流程， 重点阐 述了 远程复制机制、 灾难恢复机制与s n a p s h o t 备份机制等关 键技术，并从理论和实验两方面对d d t 系统进行了综合评价。 d d t 系统研究并实现的技术要点概括为四个方面: 首先，模块嵌入技术:在现有l i n u x 内核逻辑卷管理系统 ( l v m)中嵌入远 程复制模块，构建逻辑卷复制系统 ( l v r ) ，通过截获和复制逻辑卷上所有的写 请求实现数据的远程复制，同时嵌入灾难恢复模块，构建完整的数据容灾系统 ( d d t ) ，实现灾难的高效处理。 其次， 远程复制机制: 为了维护主从数据数据一致性和卷组范围内数据一致 性以 及适应不用的应用环境， 支持并提供了同步、 异步、 软同步等多种复制模式， 设计了相应的传输协议和日志机制，确保了远程复制的正常运行。 再次，灾难恢复机制: 为了实现系统的高可用性，在系统发生故障或者遭受 灾难时， 实施了 灾难后迁移策略， 选择可用的从系统接管主系统为用户提供服务， 同时提出了f u l l / f a s t 两种灾难后回迁策略，在适当时刻根据从系统对原主系统 进行数据恢复，并由原主系统重新为用户提供服务。 最后， s n a p s h o t 备份机制: 利用逻辑卷管理系统提供的 s n a p s h o t 技术， 可以 进行从系统数据的在线/ 离线备份， 并可以作为远程备份的补充， 提高d d t 系统的 整体可靠性。 d d t 系统属于高可靠性和高可用性系统软件， 通过在l i n u x 操作系统内 核中 嵌入远程复制机制和灾难恢复机制， 并结合s n a p s h o t 备份机制， 提高计算机系统 的数据容灾能力。它可广泛适用于各行业l i n u x 系统之间的远程数据备份、灾难 恢复等，为广大用户提供了一种经济、适用、可靠的容灾系统解决方案。 【 关键字】 :数据容灾;逻辑卷;远程复制;数据一致性;日 志;灾难恢复; 高可用性:快照;恢复时间;数据损失率:管理开销 西北工业大学硕士学位论文 a b s tr a c t c o n s id e r in g t h e c u r r e n t s it u a t io n o f m o s t c o m p a n ie s a n d min is t r ie s w it h o u t d a t a - p r o t e c t in g m e c h a n is m, t h is t h e s is p r e s e n t s t h e d a t a d is a s t e r t o le r a n c e s y s t e m o n l in u x , a b b r e v ia t e d t o d d t , b a s e d o n r e s e a r c h i n g t h e c u r r e n t d is a s t e r t o le r a n c e s y s t e m s a n d r e la t e d t e c h n o l o g ie s . t h e t h e s is i n t r o d u c e s a n d d is c u s s e s t h e b a s ic c o n c e p t s , a r c h it e c t u r e a n d w o r k f lo w o f d d t s y s t e m, a n d f o c u s e s o n d e s c r ib i n g k e y t e c h n o lo g ie s i n c lu d i n g r e m o t e r e p l ic a t io n m e c h a n is m , d is a s t e r r e c o v e ry m e c h a n is m a n d s n a p s h o t b a c k u p m e c h a n is m. i n a d d it io n , t h e t h e s is e v a l u a t e s d d t s y s t e m in t h e o ry a n d w it h e x p e r i me n t s . t h e k e y t e c h n o lo g ie s w h i c h a r e r e s e a r c h e d a n d im p le m e n t e d i n d d t s y s t e m c a n b e s u m m a r iz e d a s f o l lo w in g : f i r s t , m o d u le - e m b e d d in g t e c h n o lo g y : d d t s y s t e m e m b e d s t h e r e m o t e r e p lic a t io n m o d u le i n t o l o g ic a l v o l u m e m a n a g e r i n l i n u x k e r n e l t o b u i ld l o g ic a l v o lu m e r e p l ic a t o r w h ic h c a n in t e r c e p t t h e w r it in g r e q u ir e m e n t s a n d r e p lic a t e t h e m t o t h e s e c o n d a ry s y s t e m . it a ls o e m b e d s t h e d is a s t e r r e c o v e ry m o d u le in t o l v r t o b u ild d a t a d is a s t e r t o le r a n c e s y s t e m w h ic h c a n d e a l w it h d is a s t e r s e ff e c t iv e ly . s e c o n d a ry , r e m o t e r e p l ic a t io n m e c h a n is m : i n o r d e r t o k e e p t h e d a t a c o n s is t e n c y b e t w e e n p r im a ry s y s t e m a n d s e c o n d a ry s y s t e m a n d t h a t in r e p lic a t io n v o l u m e g r o u p a n d a p p ly in d iff e r e n t e n v i r o n m e n t s , d d t s y s t e m s u p p lie s u s e r s w it h t h r e e r e p l ic a t io n m o d e ls o f s y n c , a s y n c , a n d s o f t - s y n c , a n d d e s ig n s r e le v a n t t r a n s p o r t a t io n p r o t o c o l a n d j o u n a l m e c h a n is m t o e n s u r e t h a t r e m o t e r e p ic a t io n c a n w o r k n o r m a lly . t h i r d , d is a s t e r r e c o v e ry m e c h a n is m : s y s t e m im p le m e n t s i n o r d e r t o imp r o v e t h e h ig h - a v a ila b i lit y , d d t d is a s t e r - o v e r s t r a t e g y w h ic h s e le c t s o n e a v a il a b le s e c o n d a ry s y s t e m t o f a ilu r e s o r d is a s t e r s o c c u r t o t h e s y s t e m. f u ll/ f a s t d is a s t e r - b a c k s t r a t e g y w h ic h c a n t a k e o v e r p r im a ry s y s t e m w h e n d d t s y s t e m a ls o p u t s f o rw a r d r e c o v e r o r ig i n a l p r im a ry s y s t e m a c c o r d in g t o s e c o n d a ry s y s t e m a n d r e u s e p r im a ry s y s t e m t o s e rv e t h e u s e r s . f o u rt h , s n a p s h o t b a c k u p m e c h a n is m : d d t s y s t e m c a n b a c k u p d a t a o f s e c o n d a ry s y s t e m o n lin e o r o ff - lin e b a s e d o n t h e s n a p s h o t t e c h n o lo g y o f l v m, w h ic h is t h e s u p p le m e n t o f r e m o t e d d t s y s t e m b a c k u p a n d c a n im p r o v e t h e r e lia b ilit y o f 西北工业大学硕士学位论文 d d t s y s t e m is a h ig h - r e lia b il ity a n d h ig h - a v a ila b il it y s y s t e m s o f tw a r e , w h ic h e mb e d s r e mo t e r e p lic a t i o n m e c h a n is m a n d d is a s t e r r e c o v e r y m e c h a n is m in t h e l o g ic a l v o l u m e m a n a g e r , a n d c o m b in e s t h e m w it h s n a p s h o t b a c k u p m e c h a n is m t o i n c r e a s e t h e a b i lity o f d a t a d is a s t e r t o le r a n c e o f c o m p u t e r s y s t e m s . i t c a n b e a p p l ie d in r e m o t e d a t a b a c k u p , d is a s t e r r e c o v e ry a n d s o o n , a n d it s u p p lie s u s e r s w it h a n e c o n o m i c a l, a p p lic a b le a n d r e l ia b le k in d o f s o lu t io n f o r b u i ld i n g d is a s t e r t o le r a n c e s y s t e m k e y w o r d : d a t a d is a s t e r t o le r a n c e ; r e m o t e r e p lic a t io n ; d a t a c o n s is t e n c y ; j o u r n a l; d is a s t e r r e c o v e ry ; h ig h - a v a ila b il it y ; s n a p s h o t ; r t o; r p o; c o s t i i i 西北工业大学硕 上 学位论文 第一章 绪论 1 . 1研究背景 随着计算机系统和互联网在各个领域的广泛应用， 通信、 金融、能源等行业 以及政府、 教育、 科研、 军事等部门的工作都离不开计算机系统提供的服务， 对 计算机数据资料的依赖性越来越强， 数据资料己经成为开展业务不可缺少的基础， 是企业、部门的重要财富。当计算机信息系统遭受诸如火灾、水灾、地震、战争 或人为破坏等灾难时， 计算机系统的硬件、 数据、 系统和服务都会受到不同程度 的破坏， 而数据的损坏或者丢失必然会给企业、 部门造成不可弥补的损失。 特别 是当通信、金融或军事部门的计算机系统发生灾难，如果不能够及时应对处理， j恢复系统功能，将造成不可估计的损失。 由于每个计算机系统运行的业务数据都是千差万别， 各个系统间的数据不能 相互替代， 而许多计算机系统之间的硬件设备、 软件等其它计算资源则有很大的 相似性和可替代性。 例如， 硬件设备损坏后很容易用其它设备替代， 但是如果用 户数据丢失， 则往往是无法恢复的， 尤其是对于银行、 电信等关键业务来说损失 更是无法估量。 用户数据的重要性要远远大于其它计算资源的重要性， 是现代计 算的核心。 考虑到大范围内故障或者灾难发生的可能性， 用户需要把数据资料备份到数 十公里以 外或者更远的地方， 保证在各种情况下， 例如大范围停电、 地震或者洪 水等发生的情况下， 都能够恢复数据资料， 这就必须要具有远程容灾能力的系统， 称为容灾 ( d i s a s t e r t o l e r a n c e )系统，简称d t 系统。 容灾系统就是通过特定的容灾机制，能够在各种灾难损害发生后，最大限度 地保障计 一算机信息系统不间断提供正常应用服务。 对于容灾系统， 在实现中可以 分为数据容灾和应用容灾两个层次， 前者指建立一个异地的数据系统， 作为本地 关键应用数据的一个备份: 后者则是在数据容灾的基础上， 在异地建立一套完整 的与本地生产系统相当的备份应用系统 ( 可以互为备份) ，在灾难情况下，远程 系统迅速接管业务运行。 开展容灾系统研究，实施正确的容灾方案具有重要的社会意义: ( l ) 可以有效防止企业、部门山于重要数据丢失所造成的不可弥补的损失 根据美国劳工部的统计数据，9 3 % 的有严重数据丢失的公司在5 年之内破产。 西北工业大学硕 上 学位论文 第一章 绪论 1 . 1研究背景 随着计算机系统和互联网在各个领域的广泛应用， 通信、 金融、能源等行业 以及政府、 教育、 科研、 军事等部门的工作都离不开计算机系统提供的服务， 对 计算机数据资料的依赖性越来越强， 数据资料己经成为开展业务不可缺少的基础， 是企业、部门的重要财富。当计算机信息系统遭受诸如火灾、水灾、地震、战争 或人为破坏等灾难时， 计算机系统的硬件、 数据、 系统和服务都会受到不同程度 的破坏， 而数据的损坏或者丢失必然会给企业、 部门造成不可弥补的损失。 特别 是当通信、金融或军事部门的计算机系统发生灾难，如果不能够及时应对处理， j恢复系统功能，将造成不可估计的损失。 由于每个计算机系统运行的业务数据都是千差万别， 各个系统间的数据不能 相互替代， 而许多计算机系统之间的硬件设备、 软件等其它计算资源则有很大的 相似性和可替代性。 例如， 硬件设备损坏后很容易用其它设备替代， 但是如果用 户数据丢失， 则往往是无法恢复的， 尤其是对于银行、 电信等关键业务来说损失 更是无法估量。 用户数据的重要性要远远大于其它计算资源的重要性， 是现代计 算的核心。 考虑到大范围内故障或者灾难发生的可能性， 用户需要把数据资料备份到数 十公里以 外或者更远的地方， 保证在各种情况下， 例如大范围停电、 地震或者洪 水等发生的情况下， 都能够恢复数据资料， 这就必须要具有远程容灾能力的系统， 称为容灾 ( d i s a s t e r t o l e r a n c e )系统，简称d t 系统。 容灾系统就是通过特定的容灾机制，能够在各种灾难损害发生后，最大限度 地保障计 一算机信息系统不间断提供正常应用服务。 对于容灾系统， 在实现中可以 分为数据容灾和应用容灾两个层次， 前者指建立一个异地的数据系统， 作为本地 关键应用数据的一个备份: 后者则是在数据容灾的基础上， 在异地建立一套完整 的与本地生产系统相当的备份应用系统 ( 可以互为备份) ，在灾难情况下，远程 系统迅速接管业务运行。 开展容灾系统研究，实施正确的容灾方案具有重要的社会意义: ( l ) 可以有效防止企业、部门山于重要数据丢失所造成的不可弥补的损失 根据美国劳工部的统计数据，9 3 % 的有严重数据丢失的公司在5 年之内破产。 西北工业大学硕士学位论文 维斯康星大学的统计结果也显示， 4 3 % 的美国公司在数据灾难后关门; 而2 9 % 的公 司在两年之内破产。 这些统计数字表明， 提供可靠的数据存储保证是至关重要的， 而最有效的手段就是数据备份。 欧美发达国家非常重视数据备份技术， 与备份设备连接的服务器已经达到服 务器总量6 0 %以上。 而国内只有不到1 5 %的服务器连有备份设备， 这就意味着我 国8 5 %以上的服务器中的数据面临着随时遭到破坏的潜在危险。 通过开展容灾系 统研究， 实施正确容灾方案， 用户可以构建可靠的数据备份系统， 可以 轻松地实 现数据保护，从而保证企业的正常运转。 ( 2 ) 可以大幅度提高企业、部门的计算机系统维护人员的工作效率 目 前我国的各类企业和部门 都建立了计算机系统， 构建了网络环境， 但大部 分企业、 部门对于重要数据都采用手工备份的方式， 这种备份需要维护人员手工、 定期进行， 其工作繁琐， 并且容易因为误操作产生问 题。 通过开展容灾系统研究， 实施正确容灾方案， 用户可以实现数据的动态、 自 动复制， 达到安全备份的目 的。 在意外发生时，可以进行系统的自 动恢复或者把应用程序迁移到从服务器上运 行， 从而把维护人员从繁琐的数据备份和恢复工作中解放出来。 夸 1 . 2研究现状 传统的数据容灾方式一般采用静态、 离线方式， 实施备份时一般需要停止应 用程序的运行， 备份过程持续的时间也比 较长， 并且需要维护人员手工、 定期实 施， 其工作繁琐， 并且容易因为误操作而产生问题。 近年来，由于很多应用系统 需要以2 4 x 7 方式运行， 并且数据容灾系统也逐渐成为中、 低端用户的需求， 操 作复杂的静态、 离线数据备份已 经不能满足应用的需求， 这对传统的数据容灾方 式提出了巨大挑战。 常见的高可用集群系统都是基于共享存储系统实现的， 业务服务器和待机服 务器通过物理的( 光纤通道网络) 连接， 同时连接到共享存储系统上。 当业务服务 器出现故障时， 可以自 动把待机服务器切换成业务服务器， 从而保证系统的高可 用性。 基于共享存储系统的高可用集群系统有几个主要问 题:( 1 ) 由 于数据集中 式存储在同一地点，抗毁容灾能力比较差;( 2 ) 山于目前的共享存储系统基木 l 几 都是采用光纤通道协议， 从经济和技术上都限制了业务服务器和待机服务器之间 的距离;( 3 ) 目前的共享存储系统及光纤通道网络非常昂贵， 不适合大规模推) 一 。 为了在灾难和故障发生时保障数据的安全可用， 避免对企业和部门造成小可 弥补的损失， 国内外众多研究部门、大学和制造厂商投入大量人力物力开展容灾 西北工业大学硕士学位论文 维斯康星大学的统计结果也显示， 4 3 % 的美国公司在数据灾难后关门; 而2 9 % 的公 司在两年之内破产。 这些统计数字表明， 提供可靠的数据存储保证是至关重要的， 而最有效的手段就是数据备份。 欧美发达国家非常重视数据备份技术， 与备份设备连接的服务器已经达到服 务器总量6 0 %以上。 而国内只有不到1 5 %的服务器连有备份设备， 这就意味着我 国8 5 %以上的服务器中的数据面临着随时遭到破坏的潜在危险。 通过开展容灾系 统研究， 实施正确容灾方案， 用户可以构建可靠的数据备份系统， 可以 轻松地实 现数据保护，从而保证企业的正常运转。 ( 2 ) 可以大幅度提高企业、部门的计算机系统维护人员的工作效率 目 前我国的各类企业和部门 都建立了计算机系统， 构建了网络环境， 但大部 分企业、 部门对于重要数据都采用手工备份的方式， 这种备份需要维护人员手工、 定期进行， 其工作繁琐， 并且容易因为误操作产生问 题。 通过开展容灾系统研究， 实施正确容灾方案， 用户可以实现数据的动态、 自 动复制， 达到安全备份的目 的。 在意外发生时，可以进行系统的自 动恢复或者把应用程序迁移到从服务器上运 行， 从而把维护人员从繁琐的数据备份和恢复工作中解放出来。 夸 1 . 2研究现状 传统的数据容灾方式一般采用静态、 离线方式， 实施备份时一般需要停止应 用程序的运行， 备份过程持续的时间也比 较长， 并且需要维护人员手工、 定期实 施， 其工作繁琐， 并且容易因为误操作而产生问题。 近年来，由于很多应用系统 需要以2 4 x 7 方式运行， 并且数据容灾系统也逐渐成为中、 低端用户的需求， 操 作复杂的静态、 离线数据备份已 经不能满足应用的需求， 这对传统的数据容灾方 式提出了巨大挑战。 常见的高可用集群系统都是基于共享存储系统实现的， 业务服务器和待机服 务器通过物理的( 光纤通道网络) 连接， 同时连接到共享存储系统上。 当业务服务 器出现故障时， 可以自 动把待机服务器切换成业务服务器， 从而保证系统的高可 用性。 基于共享存储系统的高可用集群系统有几个主要问 题:( 1 ) 由 于数据集中 式存储在同一地点，抗毁容灾能力比较差;( 2 ) 山于目前的共享存储系统基木 l 几 都是采用光纤通道协议， 从经济和技术上都限制了业务服务器和待机服务器之间 的距离;( 3 ) 目前的共享存储系统及光纤通道网络非常昂贵， 不适合大规模推) 一 。 为了在灾难和故障发生时保障数据的安全可用， 避免对企业和部门造成小可 弥补的损失， 国内外众多研究部门、大学和制造厂商投入大量人力物力开展容灾 西北工业大学硕 f : 学位论文 系统软件的研究与开发， 取得了不少研究成果， 并有一批比较成熟的产品投放市 场。 国内外所进行的数据容灾系统相关技术研究重点围绕网络实时数据备份、 瞬 间备份、传输协议等方面展开。 网络实时数据备份技术和瞬间数据备份技术是两种相辅相成的技术， 将是数 据容灾的主要发展方向。 网络实时数据备份可以有效地保证业务服务器端发生设 备故障或其它一些非传播性灾害时备份数据非常接近故障发生前的业务数据， 并 且可以与集群系统结合提高系统的可用性; 但是为了保证在发生病毒侵袭或者人 为误操作这种具有传播性的灾害( r o l l i n g d i s a s t e r ) 后数据仍然可用， 必须采用 瞬间实时备份技术， 及时创建物理上隔离的副本。 随着研究的深入， 国内外许多 著名 i t公司都开发出一系列的相关产品，它们在某一方面取得了好的效果，但 又存在诸多的不足。 在实时数据备份方面，美国e m c 公司开发的t i m e f i n d e r 是一个在磁盘阵列 的固 件上实现的实时数 据复 制系统， 数据通过专用的 光纤网 络传输; 美国n e t a p p 公司的s n a p m i r r o r 是一个文件系统实时复制系统， 但是只能用于l f s 和w a f l 文 件系统的数据备份， 通用性较差; 美国 v e r i t a s公司的 v v r ( v e r i t a s v o l u m e r e p l i c a t o r ) 是一种嵌入在主机逻辑卷管理系统中以 逻辑卷为单位的实时网 络数 据备份系统， 虽然此系统不依赖于物理设备并且对应用程序透明， 但是却依赖于 逻辑卷管理系统。 在瞬k 数 据备 份方 面， h i t a c h i d a t a s y s t e m的n a n o c o p y和 s t k公司 的 s n a p s h o t 等提供了 基于硬件的产品， 而v e r 工 t a s 的v x v m 提供了一种基于卷管理 系统的瞬间备份方案。这些产品都在一定程度上解决了部分应用环境下的问题， 但是由于这些产品本身对于硬件或者软件系统的依赖性，不适合普通用户使用。 而在实时数据备份的数据传输和更新协议方面， 目 前己 有的协议基本上都是 严格保证业务服务器和备份服务器上数据更新的顺序严格相同， 这种方式虽然能 够保证双方的数据一致性， 但是由于每个用户数据更新请求都会出发一次数据传 输， 而应用程序可能在很短的间隔内对同一区域的进行多次提交， 这种协议的工 作方式造成很大的网络带宽浪费， 在网络带宽比较小的情况下会增加网络拥塞从 而也会引起应用系统的性能下降。 但是在现有研究成果基础上推出的容灾系统存在许多不足，主要问题包括: ( 1 ) 成木过高:目前国际流行的容灾系统，如 e m c 2 , h p , s u n等公司力所 推的系统，多是面向大型用户的软硬件相结合的一整套解决方案，投 资巨大。例如基于磁盘阵列远程复制的容灾系统通常需要购买高端磁 盘阵列和建立专门的f c 网络， 仅购买两个支 持远程复制高端磁盘不少 x北t业大学硕士学位论文 需要1 0 0 多万元。同时现有容灾所构建的平台 如h p - l ix , s o l a r i s ) 要 求较高，费用较大，包括购买主机、操作系统和卷管理系统等多种费 用， 例如v e r l t a s 的卷管理系统和远程卷复制系统一般在3 0 万元以上。 ( 2 ) 通用性差:目前不同磁盘阵列厂商生产的产品互不兼容，基于磁盘阵 列的远程复制一般只能在同一厂家的同一类型的磁盘阵列间进行，这 使得其扩展性较差。同时，基于文件系统或者应用程序的远程复制软 件只能复制特定文件系统的文件或者应用程序的数据，而不能对任意 组织格式的数据进行复制，通用性较差，如果用户有多种数据需要进 行远程复制，则需要购买多个复制系统，变相增加了用户的投资额。 ( 3 ) 灵活性低:现有平台的容灾系统不支持以跨卷组的复制卷组为单位进 行复制。由于许多已 经在运行的大型应用程序可能使用了多个卷组的 多个不同的卷，为了进行远程复制不得不停止应用程序并重新进行配 置，对用户造成限制。 ( h ) 性能较低: 由于目 前的容灾系统一般不是采用块设备操作， t / 0 操作的 效率较低，因此对应用程序的性能影响较大。 总之，目 前已有的系统在成木、 通用性、 灵活性、 性能等方面都存在许多问 题，本文提出的l i n u x 平台数据容灾系统 ( d d t )融合了网络实时数据备份系统 和瞬间数据备份技术，不依赖于任何硬件设备或者第三方软件，可以用于l i n u x 平台任何设备上任意格式应用数据的保护。 并且通过设计新的协议在保证数据一 致性的前提下提高系统的性能，还具有性能比高、易操作等特点。 1 . 3研究内容 从2 0 0 3 年起，作者所在项目 组开始着手研究与开发l i n u x 平台数据容灾系 统。 该系统在l i n u x 系统的逻辑卷管理系统中嵌入远程复制和灾难恢复机制， 实 现了对本地数据的动态、 远程复制和灾难的有效处理， 在不间断上层应用的基础 上为用户提供服务，确保系统的高可靠性和高可用性。 d d t 系统将一组逻辑卷组成复制卷组， 在复制卷组内的数据卷上可以创建文 件系统 ( f i l e s v s t e m )、数据库系统 ( d a t a b a s e s y s t e m )以 及其他应用程序， 在对应用程序操作时， 所有更新操作可以动态复制到远程备 份端， 而传输协议与 日志机制为实现远程复制提供了保障; d d t 系统保证本地系统数据卷在遭受灾难 的情况下， 可以被远程各份系统进行接管， 并在适当时候根据远程数据卷实现本 地数据的有效恢焚， 极大提高了数据保护能力， 3 1= 在一定程度_ t : 降低了f 理开销; x北t业大学硕士学位论文 需要1 0 0 多万元。同时现有容灾所构建的平台 如h p - l ix , s o l a r i s ) 要 求较高，费用较大，包括购买主机、操作系统和卷管理系统等多种费 用， 例如v e r l t a s 的卷管理系统和远程卷复制系统一般在3 0 万元以上。 ( 2 ) 通用性差:目前不同磁盘阵列厂商生产的产品互不兼容，基于磁盘阵 列的远程复制一般只能在同一厂家的同一类型的磁盘阵列间进行，这 使得其扩展性较差。同时，基于文件系统或者应用程序的远程复制软 件只能复制特定文件系统的文件或者应用程序的数据，而不能对任意 组织格式的数据进行复制，通用性较差，如果用户有多种数据需要进 行远程复制，则需要购买多个复制系统，变相增加了用户的投资额。 ( 3 ) 灵活性低:现有平台的容灾系统不支持以跨卷组的复制卷组为单位进 行复制。由于许多已 经在运行的大型应用程序可能使用了多个卷组的 多个不同的卷，为了进行远程复制不得不停止应用程序并重新进行配 置，对用户造成限制。 ( h ) 性能较低: 由于目 前的容灾系统一般不是采用块设备操作， t / 0 操作的 效率较低，因此对应用程序的性能影响较大。 总之，目 前已有的系统在成木、 通用性、 灵活性、 性能等方面都存在许多问 题，本文提出的l i n u x 平台数据容灾系统 ( d d t )融合了网络实时数据备份系统 和瞬间数据备份技术，不依赖于任何硬件设备或者第三方软件，可以用于l i n u x 平台任何设备上任意格式应用数据的保护。 并且通过设计新的协议在保证数据一 致性的前提下提高系统的性能，还具有性能比高、易操作等特点。 1 . 3研究内容 从2 0 0 3 年起，作者所在项目 组开始着手研究与开发l i n u x 平台数据容灾系 统。 该系统在l i n u x 系统的逻辑卷管理系统中嵌入远程复制和灾难恢复机制， 实 现了对本地数据的动态、 远程复制和灾难的有效处理， 在不间断上层应用的基础 上为用户提供服务，确保系统的高可靠性和高可用性。 d d t 系统将一组逻辑卷组成复制卷组， 在复制卷组内的数据卷上可以创建文 件系统 ( f i l e s v s t e m )、数据库系统 ( d a t a b a s e s y s t e m )以 及其他应用程序， 在对应用程序操作时， 所有更新操作可以动态复制到远程备 份端， 而传输协议与 日志机制为实现远程复制提供了保障; d d t 系统保证本地系统数据卷在遭受灾难 的情况下， 可以被远程各份系统进行接管， 并在适当时候根据远程数据卷实现本 地数据的有效恢焚， 极大提高了数据保护能力， 3 1= 在一定程度_ t : 降低了f 理开销; 西北工 业大学硕 卜 学位论文 d d t系统还通过基于s n a p s h o t 技术的备份机制，在不中断复制操作的情况下实 现远程备份端数据卷的静态备份， 可以在备份端数据出问题时进行替换， 也可以 有效避免由于管理员误操作和病毒引起的从端失效。 在整个项目的研究、设计与开发过程中，作者主要承担了下列工作: . 系统结构、工作流程的研究与设计 . 远程复制机制中日志机制的研究、设计与开发 . 远程复制机制中传输协议的研究与设计 . 灾难恢复机制的研究、设计与开发 . s n a p s h o t 备份机制的 研究与设计 . 用户命令及其处理模块的设计与开发 同时，作者参与了d d t 系统的前期调研、基本设计、功能设计、详细设计、 编码、 单元测试、 功能测试、 系统测试的全部过程， 并作为d d t 系统二期开发的 项目 组长， 参与了 项目的过程控制和品质管理。 作者的工作在d d t 系统中有非常 重要的意义。 妇. 4本文组织结构 本文对l i n u x 平台数据容灾系统进行了较为全面的研究， 并重点阐述了构建 d d t 系统的远程数据复制机制、灾难恢复机制、s n a p s h o t 备份机制等关键技术。 全文按如下章节组织: 第一章:绪论，综述论文的研究背景、研究现状、研究内容和组织结构; 第二章:l i n u x 平台数据容灾系统概述， 介绍容灾系统的基本概念和分类， 并重点介绍d d t 系统的基本概念、 系统结构、 工作流程和关键技术; 第三章:d d t 系统远程复制机制， 介绍远程复制的数据一致性概念和复制模 式，并重点介绍了日志机制和传输协议: 第四章:d d t 系统灾难恢复机制， 介绍高可用性的概念，并重点介绍了灾难 后迁移策略和灾难后回迁策略; 第五章:d d t 系统s n a p s h o t 备份机制，介绍s n a p s h o t 的概念，并在研究不 分析l v n 系统s n a p s h o t 技术的基础上介绍s n a p s h o t 备 份机制; 第六章:d d t 系统评价，介绍容灾系统的评价因素，并从理论和实验两个方 面给出对d d t 系统的综合评价; 第 匕 章:结束语， 总结了本文所取得的一些) j丈 果， 并指出系统需要完善的地 方和下 一 步的研究 上 作。 西北工 业大学硕 卜 学位论文 d d t系统还通过基于s n a p s h o t 技术的备份机制，在不中断复制操作的情况下实 现远程备份端数据卷的静态备份， 可以在备份端数据出问题时进行替换， 也可以 有效避免由于管理员误操作和病毒引起的从端失效。 在整个项目的研究、设计与开发过程中，作者主要承担了下列工作: . 系统结构、工作流程的研究与设计 . 远程复制机制中日志机制的研究、设计与开发 . 远程复制机制中传输协议的研究与设计 . 灾难恢复机制的研究、设计与开发 . s n a p s h o t 备份机制的 研究与设计 . 用户命令及其处理模块的设计与开发 同时，作者参与了d d t 系统的前期调研、基本设计、功能设计、详细设计、 编码、 单元测试、 功能测试、 系统测试的全部过程， 并作为d d t 系统二期开发的 项目 组长， 参与了 项目的过程控制和品质管理。 作者的工作在d d t 系统中有非常 重要的意义。 妇. 4本文组织结构 本文对l i n u x 平台数据容灾系统进行了较为全面的研究， 并重点阐述了构建 d d t 系统的远程数据复制机制、灾难恢复机制、s n a p s h o t 备份机制等关键技术。 全文按如下章节组织: 第一章:绪论，综述论文的研究背景、研究现状、研究内容和组织结构; 第二章:l i n u x 平台数据容灾系统概述， 介绍容灾系统的基本概念和分类， 并重点介绍d d t 系统的基本概念、 系统结构、 工作流程和关键技术; 第三章:d d t 系统远程复制机制， 介绍远程复制的数据一致性概念和复制模 式，并重点介绍了日志机制和传输协议: 第四章:d d t 系统灾难恢复机制， 介绍高可用性的概念，并重点介绍了灾难 后迁移策略和灾难后回迁策略; 第五章:d d t 系统s n a p s h o t 备份机制，介绍s n a p s h o t 的概念，并在研究不 分析l v n 系统s n a p s h o t 技术的基础上介绍s n a p s h o t 备 份机制; 第六章:d d t 系统评价，介绍容灾系统的评价因素，并从理论和实验两个方 面给出对d d t 系统的综合评价; 第 匕 章:结束语， 总结了本文所取得的一些) j丈 果， 并指出系统需要完善的地 方和下 一 步的研究 上 作。 两北工业大学硕 十 学位论文 第二章 l i n u x 平台数据容灾系统概述 2 . 1容灾重要性 随着计算机和网络应用的日 益普及，信息系统的安全儿乎己 经成为了企业、 部门生死存亡的关键。 然而，由于对保护这些信息缺乏相应的理解， 于是造成了 由于系统功能不正常、 人为错误、 计算机病毒和其它不可预测的因素所带来的系 统间断、数据丢失等等灾难性事故。 1 9 9 3 年，世贸中心大楼发生爆炸。 爆炸前，约有3 5 0 家企业在该楼中工作， 一 年后， 回到世贸大楼的公司变成了1 5 0 家， 有2 0 0 家企业由于无法恢复重要的 信息系统而倒闭、消失。 1 9 9 5 年1 月，日 本神户地区大地震，摧毁了1 7 0 0 余部电脑及其数据系统， 造成 1 千多亿美元的损失。 1 9 9 9 年6 月， 美国一家著名的商业交易网站的主 机宕机， 由于2 4 小时内 未 能恢复访问，两个星期后，该公司的股票市值下跌了3 6 9 6 0 2 0 0 1 年9 月1 1 日 上午美国纽约世贸中心大楼遭受恐怖袭击，大楼坍塌数。 据联合国报告， 9 1 1 恐怖事件使2 0 0 1 年世界经济降低一个百分点，经济损失 达3 5 0 0 亿美元。不把人身损失计算在内， 恐怖事件给美国带来的直接财产损失 达4 0 0 亿美元， 恐怖袭击不仅破坏了 美国的航空、 保险、 旅游和金融领域赖以 生 存的网络系统、 数据系统， 各领域的经济活动几乎全部停止，而且其破坏性还在 不断向制造业、零售业、技术产业等领域蔓延。 目前，信息系统中数据丢失的原因可以归结为四个方面，参见表 1 : 表 1 数据丢失原因表 原因 示例 自 然灾害 地震、火灾、雷电、洪水、咫风 犯罪 盗窃、故意破坏、病毒 软硬件故障 硬盘划伤 人为因素 误操作、误删除 据丢失是山人的错误操作造成的， 病毒和自然灾害造成的数据丢失不到 1 5 96 e硬 件，a ik fl, .软件错误、人的误操作是数据丢失的最主要原因。 两北工业大学硕 十 学位论文 第二章 l i n u x 平台数据容灾系统概述 2 . 1容灾重要性 随着计算机和网络应用的日 益普及，信息系统的安全儿乎己 经成为了企业、 部门生死存亡的关键。 然而，由于对保护这些信息缺乏相应的理解， 于是造成了 由于系统功能不正常、 人为错误、 计算机病毒和其它不可预测的因素所带来的系 统间断、数据丢失等等灾难性事故。 1 9 9 3 年，世贸中心大楼发生爆炸。 爆炸前，约有3 5 0 家企业在该楼中工作， 一 年后， 回到世贸大楼的公司变成了1 5 0 家， 有2 0 0 家企业由于无法恢复重要的 信息系统而倒闭、消失。 1 9 9 5 年1 月，日 本神户地区大地震，摧毁了1 7 0 0 余部电脑及其数据系统， 造成 1 千多亿美元的损失。 1 9 9 9 年6 月， 美国一家著名的商业交易网站的主 机宕机， 由于2 4 小时内 未 能恢复访问，两个星期后，该公司的股票市值下跌了3 6 9 6 0 2 0 0 1 年9 月1 1 日 上午美国纽约世贸中心大楼遭受恐怖袭击，大楼坍塌数。 据联合国报告， 9 1 1 恐怖事件使2 0 0 1 年世界经济降低一个百分点，经济损失 达3 5 0 0 亿美元。不把人身损失计算在内， 恐怖事件给美国带来的直接财产损失 达4 0 0 亿美元， 恐怖袭击不仅破坏了 美国的航空、 保险、 旅游和金融领域赖以 生 存的网络系统、 数据系统， 各领域的经济活动几乎全部停止，而且其破坏性还在 不断向制造业、零售业、技术产业等领域蔓延。 目前，信息系统中数据丢失的原因可以归结为四个方面，参见表 1 : 表 1 数据丢失原因表 原因 示例 自 然灾害 地震、火灾、雷电、洪水、咫风 犯罪 盗窃、故意破坏、病毒 软硬件故障 硬盘划伤 人为因素 误操作、误删除 据丢失是山人的错误操作造成的， 病毒和自然灾害造成的数据丢失不到 1 5 96 e硬 件，a ik fl, .软件错误、人的误操作是数据丢失的最主要原因。 d 4 北工业 弋 学硕 士 学位论文 社会对于信息系统的依赖性， 以及信息系统在人为攻击和自然灾害面前的脆 弱性日益引起企业和政府的重视，特别是美国世贸大厦发生的 “ 9 . 1 1 事件”再 次为我们敲响了警钟。 面对各种造成数据损失的各种可能， 容灾成为了维护数据 安全、确保高可靠性和高可用性的一道重要防线。根据美国 权威i t f ij 物 工 n f o w o r l d 所列2 0 0 4 年最关注的问题排行，容灾成为排名第二的关注焦点: ( 1 ) 系统安全 ( 2 ) 容灾/ 业务连续性 ( 3 ) p c等硬件设备的升级 ( 4 ) 现在应用软件的升级 目 前， 我国政府、 军队部门以及许多企业都建立了计算机系统