（计算机软件与理论专业论文）基于san的数据备份系统的研究.pdf

摘要 信息化的发展步伐日益加快，而数据是信息化的生命线，必然要求对数据实 施有效的保护措施。由于存储区域网络( s a n ) 具有管理方便、扩展性强、容错能 力好、高可靠性、配置灵活、支持异构服务器等优点，s a n 技术的出现，在数据 爆炸的年代较好地解决了数据的高可用性、安全性以及存储性能方面的问题。 数据备份是数据保护最通用的方式。数据备份是数据高可用的最后一道防 线，无论是采用哪种容灾方案，数据备份还是最基础的，没有备份的数据，任何 容灾方案都没有现实意义。数据备份是用户进行容灾系统建设的第一步，也是最 终容灾恢复系统的基础。随着数据量的目益增加，用户在安全性、灵活性、兼容 性、扩展性等方面对备份系统提出了新的要求。因此本论文以数据备份为研究内 容，展开了分析与讨论。 存储作为一个正在迅速发展的应用技术，其市场前景非常广阔。笔者参与了 s a n 环境下备份软件的设计与开发工作，从而对存储网络技术进行了研究。 论文论述了s a n 环境下备份系统的设计，有以下突出的设计特点： l 备份功能实现于磁盘阵列级，使得服务器端可以使用任意的操作系 统和文件系统，增强了系统的灵活性，便于优秀操作系统和第三方 软件的使用； 2 提供多种备份方案，不仅有镜像备份和快照备份，而且支持镜像备 份和快照备份的组合使用和链接使用，提高了灵活性，满足多种用 户的应用要求； 3 在大型的业务系统中，通常都要同时使用多个磁盘，而这些磁盘上 的数据存在着一定的联系，如果这多个磁盘的备份时间不完全相同， 则备份数据的正确性无法保证。原子组备份为需要数据一致性和完 整性的大型数据库备份提供了有力支持。 4 在v x f s 文件系统下，采用冻结功能，实现业务不停机的备份服务； 5 支持常用的服务器软件，提高备份操作的易用性。 关键词 存储区域网镜像，快照，原子组，磁箍组，冻结文件系统 a b s t r a c t w i t ht h ed e v e l o p m e n to fi n f o r m a t i o n ，a n dd a t aa r et h ek e yt ot h ei n f o r m a t i o n ，i t l e a d st op r o t e c t i o n sf o rd a t a s t o r a g ea r e an e t ( s a n ) i sf a c i l i t yt om a n a g e ，h a sg o o d e x p a n s i b i l i t y , s t r o n gf a u l t t o l e r a n c ea b i l i t y , h a sh i g hd e p e n d a b i l i t y , i sa g i l i t yt oc o n f i g ， a n ds u p p o r t si s o m e r i s ms e r v e r s f o rt h e s ea d v a n t a g e s ，s a nr e s o l v e sm a n yp r o b l e m s a td a t au s a b i l i t y , s e c u r i t y , a n ds t o r a g ep e r f o r m a n c e ，i nt h ea g eo fd a t ab u r s t b a c k u pj st h em o s tp o p u l a rm e t h o do fd a t ap r o t e c t i o n d a t ab a c k u pi st h el a s tl i n e o fd e f e n c ef o rh i g ha v a i l a b i l i t y n om a t t e rw h a td i s a s t e rr e c o v e r yp r o j e c tu s e d ，d a t a b a c k u pi st h eb a s i c r e c o v e r yp r o j e c ti su s e l e s sw i t h o u tb a c k u p d a t ab a c k u pi st h e b a s i cf o re s t a b l i s h i n gd i s a s t e rr e c o v e r ys y s t e m ，a n di st h eb a s i cf o rr e s t o r e w i t ht h e i n c r e a s e o f d a t a c a p a c i t y , u s e r sh a v en e wr e q u i r e m e n ta ts e c u r i t y , f l e x i b i l i t y , c o m p a t i b i l i t ya n de x p a n s i b i l i t y s ot h i se s s a yc o n c e n t r a t e so nd a t ab a c k u pa n dd o e s s o m ea n a l y s e sa n dd i s c u s s i o n s a sa r a p i d l yd e v e l o p i n gt e c h n o l o g y , s t o r a g ea n d b a c k u pw i l l h a v ew i d e d e v e l o p m e n t t h ea u t h o rj o i n e dt h ed e s i g na n dd e v e l o p m e n to fs a n _ b a s e ds o f t w a r e ， a n dd i ds o m er e s e a r c ha b o u ts a n t e c h n o l o g y t h i se s s a yd i s c u s s e st h ed e s i g no fb a c k u ps y s t e mi ns a n a n dt h i ss y s t e mh a st h e f o l l o w i n gs p e c i a l t i e s 1 r e a l i z i n gb a c k u pf u n c t i o ni n d i s ka r r a yl e v e la n ds u p p o r tm a n yk i n d so f f i l e 。s y s t e m sa n do p e r a t i o n s y s t e m s i tm a k e st h es y s t e mm o r ea g i l i t ya n di ti s e a s yt ou s ee x c e l l e n c eo p e r a t i o n s y s t e m sa n dt h i r dp a r t ys o f tw a r e s u p p o r t m a n yk i n d so ff i l e - s y s t e m sa n do p e r a t i o n s y s t e m s i ti se a s yt ou s ee x c e l l e n c e o p e r a t i o n s y s t e m sa n dt h i r dp a r t ys o f tw a r e 2 s u p p o r t i n gm u l t ib a c k u pd e s i g n s n o to n l ys u p p o r t i n gm i r r o ri m a g ea n d s n a p s h o t ，b u ta l s ot h ec o m b i n a t i o na n dc h a i no fm i r r o ri m a g ea n ds n a p s h o t g i v i n gh i g hf l e x i b i l i t y , a n dm e e t i n gt h em u l t i u s eo fc o n s u m e r 3i n l a r g eb u s i n e s ss y s t e m ，o r d i n a r i l y , s o m ed i s k sa r eu s e ds i m u l t a n e i t y a n d t h e s e d i s k sh a v es o m er e l a t i o n s h i pa b o u td a t a t h e s ed i s k sm u s th a v ea n e x a c t l ys i m u l t a n e o u sb a c k u pt i m et ok e e pt h ee x a c t n e s so ft h eb a c k u pd a t a a t o m i cg r o u pb a c k u pg i v e ss u p p o r tt ol a r g ed a t a _ b a s eb a c k u pf o rc o h e r e n c e a n di n t e g r a l i t y 4o nv x f sf i l e s y s t e m ，g e t t i n gt h es e r v i c en o n s t o pb a c k u pb yu s i n gf r e e z e f u n c t i o n 5 s u p p o r t i n gf r e q u e n t l yu s e ds e r v e rs o f t w a r e s ，a n de n h a n c i n gt h ef a c i l i t y k e yw o r d s s t o r a g ea r e an e t w o r k ( s a n ) ，m i r r o ri m a g e ，s n a p s h o t ，a t o m i cg r o u p ( a g ) ， d i s kg r o u p ( d g ) ，f r e e z ef i l es y s t e m u 西北r 业大学硕士学位论文 研究背景 月u 蚕 随着计算机技术和通讯技术的高速发展，计算机在各行各业的应用越来越普 遍。大量重要的数据通过计算机系统保存，对计算机系统的依赖性越来越强。“1 2 0 0 1 年9 月1 1 日，美国世贸中心双子大厦遭受了谁也无法预料的恐怖打击。 灾难发生前，约有3 5 0 家企业在世贸大厦中工作。事故发生一年后，重返世贸大 厦的企业变成了1 5 0 家，有2 0 0 家企业由于重要信息系统的破坏，关键数掘的丢 失而永远的关闭、消失了。 2 0 0 3 年，国内某电信运营商的计费存储系统仅发生了两个小时的故障，就 造成4 0 0 多万元的损失。这些尚不包括对公司声誉的影响所导致的无形资产流 失。 在一些重要的系统中，对数据安全性的要求越来越高，要求实现真正的数据 容灾保护。因为一旦出现异常情况，如火灾、爆炸、地震、水灾、雷击或某个方 向线路故障等自然原因以及电源机器故障、人为破坏等非自然原因引起的灾难， 导致重要数据的丢失、破坏，造成的损失将不可估量。因此，要求业务系统可以 保证数据的安全，在发生上述灾难时快速恢复数据，将损失降到最低点。而数据 备份是目前最常用的一种数据保护方法。 而且随着企业数据的增长，传统的存储系统( d a s ) 已经不能满足企业对存储 系统高可靠性，可扩展性和安全性的要求传统的企业存储方法是将一台服务器 与一台本地存储子系统直接连接，每台主机都配备有其专用的存储磁盘或磁带系 统，主机中的数据备份到位于本地的专用磁带驱动器或资源库中。这种模式的问 题显而易见：即使一台磁带驱动器处于空闲状态，另一台主机也不能使用它进行 备份工作，因而造成磁带资源利用率的低下。另外，不同的操作系统平台使用的 备份恢复程序一般也不相同，这使得备份工作和对资源的总体管理变得更加复 杂。这种方法具有速度慢，无法扩展，管理复杂和费用昂贵等诸多缺点。 于是，新的存储系统s a n 便应运而生，它是一个集中式管理的高速存储网 络，为存储环境提供了一个真正的网络模式。存储区域网( s a n ) 的硬件包括存储 设备、网络设备和各种s e r v e r 组成一般使用硬件冗余，r a i d 以及热备份等技术提 高存储数据的安全性它以磁盘阵列为存储介质，具有高容量、可扩展等特点可以 满足目前企业级的数据存储要求存储区域网( s a n ) 的出现，较好的解决了数 据的高可用性、安全性以及存储性能方面的问题。由于s a n 具有管理方便、扩 第1 页拱6 9 页 晒，i p , - j2 业人学硕士学位论文 展性强、容错能力好、高可靠性、配置灵活、支持异构服务器等优点，已经被越 来越多的使用在存储系统的建构中。而且s , m n 使得远程数据的备份易于实现。 研究内容 本文讨论的是基于s a n 的数据备份系统，基于作者所在的课题组与国外某 企业共同开发的项目。内容包括s a n 环境下的备份系统的设计、业务不停机备 份机能的实现以及通过对常用软件的支持提高易用性。作者主要负责业务不停机 备份功能的设计和实现，目前已经在多个操作系统平台上实现。 论文的组织方式 第一章绪论 目前存储的技术现状，包括磁盘阵列存储和数据保护功能的简要介绍，以及 s a n 的优势。 第二章数据备份功能的设计 镜像备份，数据快照备份，以及原子组技术的详细设计。以及镜像备份与数 据快照的结合使用。 第三章业务不停机备份功能的设计 在备份技术的基础上增加以冻结功能为主的其它功能，实现业务不停机备份 功能并使操作更加简便。 第四章业务不停机备份功能的实现 业务不停机备份功能的具体实现细节，包括核心数据结构，以及各个模块的 设计。 第五章系统评价与完善 本系统己实现，对本系统进行测试，确定系统是否符合预期的要求。并对系 统不足之处提出改善。 第2 页共6 9 页 西北j ：业大学硕士学位论文 第一章绪论 1 1s a n 简介 第一章绪论 目前存储市场主要有三种方式：d a s ( d i r e c ta t t a c h e ds t o r a g e ) 、 n a s ( n e t w o r ka t t a c h e ds t o r a g e ，网络附加存储) 、s a n ( s t o r a g ea r e an e t w o r k ， 存储区域网) 。”1 d a s 也称为s a s ( s e r v e ra t t a c h e ds t o r a g e ，服务器连接存储) ，是指将存 储设备通过s c s i 接口或光纤通道直接连接到一台计算机上。d a s 产品包括存储 器件和集成在一起的简易服务器，可用于实现涉及文件存取及管理的所有功能， 它实际上是传统c s 架构中的文件服务器存储方式。存储资源被一台服务器所独 占，同l a n 上的其它工作站或服务器必须通过这台服务器才能访问存储设备上 的数据。不同类型的计算机间要想实现数据共享，必须通过n f s ( n e t w o r kf i l e s y s t e m ) c i f s ( c o m m o ni n t e r n e t f i l es y s t e m ) 等协议来进行。 n a s 将存储设备通过标准的网络拓扑结构( 例如以太网) ，连接到一群计算 机上。n a s 是部件级的存储方法，它的重点在于帮助工作组和部门级机构解决迅 速增加存储容量的需求。n a s 是一个大容量存储设备，它通过集线器( h u b ) 或 交换机( s w i t c h ) 直接连在数据网络上，使磁盘空间的扩展如同在网络上添加打 印机一样的简单方便，并且，n a s 设备上集成了一个“瘦”文件服务器，可提供 高速的数据访问能力。n a s 通常在一个l a n 上占有自己的节点，其物理位置灵活， 它基本上是一种结合了网络与容错的即插即用存储技术。 s a n 是使用基于光纤通道技术( f i b e rc h a n n e l ) 的电缆、交换机和集线器，将 很多存储设备和不同的服务器连接起来，形成的专用于存储数据传输的后端网 络。s a n 专注于企业级存储的特有问题，主要用于存储量大的工作环境。 s a n 在最基本的层次上定义为互连存储设备和服务器的专用光纤通道网络， 它在这些设备之间提供端到端的通讯，并允许多台服务器独立地访问同一个存储 设备。 通过s a n 的存储设备网络，大量用户可以通过多个冗余通道同时访问存储予 系统。这种连接架构极大的减少了数据传输对l a n 和主机资源的占用。s a n 存储 设备包括网络连接设备，磁盘阵列，磁带库，或者光盘库。在s a n 中，存储子系 统不专属于特定的服务器，区别于它们在直连存储( d a s ) 架构巾的连接方式。 第3 页共6 9 页 两北工业大学硕十学位论文 第一章绪论 光纤通道是一个连接异构系统和外设的可扩展数据通道，它支持几乎不限量 的设备互相连接，并允许基于不同协议的传输操作同时进行。光纤通道支持的速 度最大可以达到当前协议的h 倍，系统与夕 设之间的距离最大达到l o 公里一而 s c s l 只支持2 5 米。 与局域网( l a n ) 非常类似，s a n 提高了计算机存储资源的可扩展性和可靠性， 使实施的成本更低、管理更轻松。与存储子系统直接连接服务器( 称为直连存储 或d a s ) 不同，专用存储网络介于服务器与存储子系统之间。 s a n 结构示意图如图卜1 所示。 f c 交换机 存储设备 图卜1s a n 结构示意图 与其它存储方式比较，s a n 存在着以下优点： 虚拟化：虚拟化通过创建一个或多个磁盘或存储系统池，并根据需要从存储 池中分配给主机，使容量管理的复杂性降至最低。 可扩展性：s a n 改变了服务器与存储设备的单一连接方式，可以无缝添加更 多的存绪设备和服务器，这些工作可以通过管理软件进行管理。 高可用：s a n 消除了单点故障，可以在不停机的情况下扩展存储设备和服务 器，从而确保高可用性。在s a n 环境中，原有的应用服务器和故障冗余服务器之 间一对一的关系转变为多对一的关系，即多台应用服务器可共享一台故障冗余服 务器，减少了所需设备，进而大大节省了成本。 高效率：s a n 通过整合和提高磁带或磁盘设备的利用率( 多达8 0 ) ，显著提 高的存储使用率。 开放的连接：s a n 可以将多操作系统和多，一商存储设螽作为统- - f l 3 存储池进 第4 页共6 9 页 硝匕工业大学硕士学位论文第一章绪论 行管理，客户可以继续使用其原有设备，避免更换现有的所有存储设备。 当今的存储要求包括：支持各种操作系统、平台、连接和存储架构的能力； 通用的数据访问：无缝的可扩展性；集中的管理，以提高性能和正常运行时间。 s a n 很好地满足了这些要求，极大地提高了企业数据备份和恢复操作的可靠性和 可扩展性。基于s a n 的操作能显著减少备份和恢复的时间，同时减少企业网络上 的信息流量。s a n 还可以与远程设备无缝地连接，从而提高容灾的能力。由于s a n 的这些优点，本文所讨论的系统即基于s a n 。”1 1 2 磁盘阵列功能简介 磁盘阵列是一种把若干硬磁盘驱动器按照一定要求组成一个整体，整个磁盘 阵列由阵列控制器管理，使多个硬盘的读写同步，减少错误，增加效率和可靠度 的系统。通常的物理形式就是一个长方体内容纳了若干个硬盘等设备。磁盘阵列 通常都使用冗余磁盘阵列r a i d ( r e d u n d a n t a r r a yo f i n d e p e n d e n td i s k s ) 技术。 磁盘阵列有许多优点：首先，提高了存储容量，阵列磁盘阵列模式是把几个 磁盘的存储空间整合起来，形成一个大的单一连续的存储空间，磁盘阵列是通过 硬件或管理软件将两个或更多的硬盘结合在一起，对于服务器而言是一个或多个 逻辑硬盘。计算机所能看到就是存储空间和剩余的可用空间，不能看到存储空间 是如何在磁盘上存放；其次，多台磁盘驱动器可并行工作，提高了数据传输率， r a i d 解决方案缓解了i 0 的c p u 性能瓶颈问题。 1 1 1r a i d 、热交换和热备用功能 现在的磁盘阵列通常都具有具有r a i d 5 、r a i d 6 和热交换、热备用功能，下 面简单介绍这些功能。“1 r a i d 是一种把多块独立的硬盘( 物理硬盘) 按不同的方式组合起来形成一 个硬盘组( 逻辑硬盘) ，从而提供比单个硬盘更高的存储性能和提供数据备份的 技术。组成磁盘阵列的不同方式成为r a i d 级别( r a i dl e v e l s ) 。磁盘阵列在创 建时，可以选择r a i d 的类型。r a i d 技术的两大特点，一是速度、二是安全。本 系统的目的是提高数据的安全，同时保证系统的速度，所以，一般选择的是r a i d 5 或r a i d 6 。 r a i d5 ( 条带技术+ 分布式校验) ： r a i d5 为分散奇偶校验冗余，没有单独指定的奇偶盘，而是把数据和相对 应的奇偶校验信息存储到组成r a i d 5 的各个磁盘上，并且奇偶校验信息和相对应 第5 页共6 9 页 西北工业大学硕士学位论文 第一章绪论 的数据分别存储于不同的磁盘上，它的一个阵列中至少需要三个物理驱动器。当 某块硬盘出现故障时，其它硬盘可以通过校验数据将故障的硬盘的数据重新恢复 l 来，由于所有校验数据要使用一块硬盘的容量作为校验使用，所以实际可以使 用的硬盘容量为n 一1 。但在r a i d 5 中有“写损失”，每一次写操作，将产生四个 实际的读写操作，其中两次读旧的数据及奇偶信息，两次写新的数据及奇偶信 息。 r a i d6 ( 条带技术+ 分布式双校验) ： r a i d 6 是r a i d 家族中的新技术，是在r a i d 5 基础上扩展而来的。同r a i d 5 一样，数据和校验码都是被分成数据块然后分别存储到磁盘阵列的各个硬盘上。 r a i d6 与r a i d5 相比，增加了第二个独立的奇偶校验信息块，采用双重奇偶校 验技术，提供两级冗余，确保足够的冗余度。搭建一个r a i d 6 磁盘阵列最少需要 4 块硬盘，r a i d 6 磁盘阵列允许两个磁盘同时出现故障，这对于数据安全要求很 高的应用场合是非常必要的。因为是两级冗余，所以需要分配给奇偶校验信息更 大的磁盘空间，因此r a i d 6 并没有改善r a i d 5 写入性能不佳的情况，相反，相对 于r a i d5 有更大的”写损失”。 应该说，无论选择r a i d 5 还是r a i d 6 ，数据都是很安全的。差别在于r a i d 5 的写性能比r a i d 6 高，而r a i d 6 的容错能力要高于r a i d 5 。对于银行等对数据容 错能力有极其苛刻要求的行业来说，r a i d 6 是首选；如果对数据容错能力的要求 没有这么高的话，r a i d 5 是不错的选择。 在r a i d 系统中一般都具有热交换能力。热交换允许在不关闭系统或电源的 前提下更换故障硬盘，当然更换上的新硬盘也可以被系统动态的识别出来并且正 确的配置和添加，而这些都不需要重新启动计算机。这样做的好处是勿庸置疑的， 对于维护人员来说非常的简单，而对于很多应用场合，比如w e b 服务器等，用户 并不希望服务器停机，这样造成的损失将是不可估量的。 当一个正在使用的磁盘发生故障后，一个空闲、加电并待机的磁盘将马上 代替此故障盘，此方法就是热备用。热备用磁盘上不存储任何的用户数据，而在 某个特定的阵列中，只能有一个热备用磁盘。一个热备用磁盘可以专属于一个单 一的冗余阵列或者它也可阻是整个阵列热备用磁盘池中的一部分。 r a i d 5 、r a i d 6 和热交换、热备用功能在磁盘阵列级大大提高了系统长期稳 定运行的能力，能保护关键的用户数据，从而实现了更高的可用性和可靠性。 1 1 2 从物理磁盘到逻辑磁盘 磁盘阵列通常的物理形式就是一个长方体内容纳了若干个硬盘和一块集成 第6 页共6 9 页 西北工业大学硕十学位论文 第一章绪论 了控制功能的电路板。磁盘阵列将这些物理的硬盘整合成一个大的单一连续的存 储空间p o o l ，在p o o l 上再划分出逻辑磁盘。如图卜2 所示。 日日日日 t j 二二? 、 i j 物理磁盘 p o o l 空问 p o o l 空间内的逻辑磁盘 图卜2 从物理磁盘到逻辑磁盘 4 个物理磁盘，组成一个具有r a i d 6 功能的p o o l 存储空间。当硬盘连接到 阵列卡( r a i d ) 上时，通过s a n 连接到磁盘阵列的主机操作系统将不能直接看到 物理的硬盘，需要先将物理磁盘创建成p o o l 空间，然后在p o o l 池上创建逻辑磁 盘，这样系统才能够正确识别。 p o o l 池将物理磁盘连接成了连续的空间，而在p o o l 池连续的空间内可以创 建指定大小的逻辑磁盘，因此，一个逻辑盘实际上跨越了多个物理磁盘。在本例 中，为了保持r a i d 功能，逻辑磁盘必须分布在阵列中的所有磁盘上。对于通过 s a n 连接到磁盘阵列的主机来说，所连接的逻辑磁盘是具有连续空间的物理磁 盘，处理这些磁盘和处理本地物理磁盘没有什么区别，而且主机也不能区分逻辑 磁盘和物理磁盘。 在本系统中，将所有的磁盘系统组成一个统一的存储池，按照应用的需要， 分配出虚拟磁盘给服务器，虚拟磁盘的名字、容量、性能和功能都可动态改变。 第7 页共6 9 页 西北l 业大学硕士学位论文 第一章绪论 磁盘阵列 图卜3 对逻辑磁盘的访问控制 服务器a 服务器b s a n 中的每台服务器可对其中的任意存储系统进行访问，这是s a n 相对于传 统存储模型的一个优点。但通常出于安全性的考虑，需要限制某些服务器所能访 问的存储系统，访问控制功能提供了这样一种机制。管理机能以逻辑磁盘为单位 来限制服务器所能访问到的存储系统。 服务器的每个h b a ( h o s tb u sa d a p t e r ) 都有一个唯一的序列号，该序列号称 为w w n ( w o r l dw i d en a m e ) 。对于每个逻辑磁盘，可以通过指定能对其访问的w w n 来实现访问控制。如图卜3 ，在本例中，服务器a 只能看到逻辑磁盘x ，而不能 看到逻辑磁盘y 、z 。同样，服务器b 只能看到逻辑磁盘y 、z ，面不能看到逻辑 磁盘x 。 1 3 备份系统现状以及系统设计目标 1 3 1 现状 目前市场一t 存在着大量的备份方案，很多公司都推出了自己的备份产品，但 大部分商用备份系统都对操作系统或文件系统有特殊的要求，缺乏灵活性。维尔 公司的数据管理软件v x v m 提供了数据镜像和快照功能，但只能使用其独有的 v x f s 文件系统；基于i 。i n u x 系统实现快照功能的软件s n a p f s ，就只能运行在 第8 页共6 9 页 臣 西北：1 ：业大学硕士学位论文第一章绪论 l i n t l x 系统上；n e t a p p 公司的快照方案就使用其特有的w a f l 文件系统。这样就 使得这些备份功能缺乏通用性，无法使用于其它操作系统。而很多优秀的系统和 软件都使用其特有的文件系统，如s u n 最新推出的s o l a r i s l o 系统，使用其最新 的z f s 文件系统，z f s 文件系统具有自我修复，跨平台作业等特殊功能：如v e r i t a s 公司的v x v m 软件，具有极强的磁盘管理功能，但是运行在其特有的v x f s 或c f s 文件系统上。这种情况使得用户在选定一种备份方案时，也失去了选择操作系统 或文件系统的自由。如果备份的实现不依赖于操作系统与文件系统，则可以很好 地解决这种矛盾。 在复制业务数据时，特别是镜像复制时，现有的这些备份系统需要通过前台 业务停止来保证备份数据的一致性。这对需要2 4 小时对外提供服务的用户来说， 是不能满足其要求的。有一些技术，比如i b m 的f l a s h c o p y ，将业务停止的时间 缩短到几秒，但是仍然无法做到使业务完全不停止。 1 3 2 设计目标 本系统采用基于磁盘阵列的数据备份技术，在磁盘阵列一级实现备份功能， 通过服务器上的软件向磁盘阵列发送操作命令，在磁盘阵列上执行数据备份操 作。使备份不受服务器端操作系统以及所使用的文件系统的限制。可以使用任意 的操作系统和文件系统，这样就可以充分使用这些系统既有的功能，也使得第三 方优秀软件的使用变得更为方便。 由于系统不限定使用何种文件系统，在用户使用v x f s 文件系统的情况下， 可实现文件系统的冻结，从而达到备份时业务不停止的目的。 目前有一些软件，由于其强大的功能，而被服务器用户普遍地使用于磁盘管 理或者系统加强。本系统的服务器端软件配合这些常用的第三方软件，为用户提 供更高的易用性。 同时实现后的系统必须满足以下几个要求：能正确地完成备份要求；服务器 系统资源占用量少，不影响服务器的稳定运行；不使用冻结功能的情况下，备份 窗口时间短；数据写入速度受备份系统影响少，或不受影响。 1 4 小结 本系统使用的是s a n 的存储方式，因此本章简要介绍了所涉及的s a n 的基本 概念，并对本系统中磁盘阵列的功能作了介绍。最后针对目前商用备份系统存在 的不足，提出了设训。目标。 第9 页共6 9 页 曲北：业大学硕士学位论文第二章数据备份功能的设计 第二章数据备份功能的设计 2 1 逻辑磁盘的备份属性 本系统中，逻辑磁盘不仅是存储设备，而且是备份系统的重要组成部分。也 就是说，在磁盘阵列中的逻辑磁盘不仅有磁盘的基本属性，如容量，磁盘名等， 还具有在备份意义上的属性，即在备份系统中所处的位置。按其在备份系统中所 处的位置，将逻辑磁盘分为、r d 、i d 、b d 、s d 、v d 几种。下面简单介绍一下。 i d ( i s o l a t e dd i s k ) ：独立磁盘，只有存储功能，还没有处于备份关系中， 可以通过设置成为备份关系中的员。 m d ( m a s t e rd is k ) ：镜像备份的源数据端磁盘。 r d ( r e p l i c a r ed i s k ) ：镜像备份的备份端磁盘。 b d ( b a s i cd i s k ) ：快照备份的源数据端磁盘。 s d ( s n a p s h o td i s k ) ：快照备份的备份端磁盘，与具有阻上几种属性的磁盘 不同，s d 磁盘没有独立的数据存储功能，只能作为b d 磁盘的备份端磁盘存在。 v d ( v i r t u a ld i s k ) ：用于快照备份备份端的读写，没有实际存储空间，只具 有一个设备文件名( s f n ) 。 这些逻辑磁盘对磁盘阵列来说是逻辑的磁盘，但对连接到磁盘阵列的服务器 来说却是物理磁盘。 2 2 数据镜像技术 镜像( m i r r o ri m a g e ) 是在两个或多个磁盘或磁盘子系统上生成同一个数据的 镜像视图的信息存储过程，一个叫主镜像系统，另一个叫从镜像系统。按主从镜 像存储系统所处的位置可分为本地镜像和远程镜像。本地镜像的主从镜像存储系 统是处于同一个磁盘阵列内，而远程镜像的主从镜像存储系统分布在不同的磁盘 阵列中。嘲 2 2 1 磁盘逻辑关系 磁盘阵列中，与镜像技术相关盼逻辑磁盘有三种：m d ( m a i nd i s k ) r d 第l o 页共6 9 页 两北l ：业大学硕士学位论文第二章数据备份功能的设计 ( r e p l i c a t i o nd i s k ) s 1 i d ( i s o l a t e dd i s k ) 。m d 是源数据方，也是进行业务数据读写 的磁盘；r d 是备份数据方；i d 是独立的逻辑磁盘，不属于镜像系统，但可以被 设置为m d 或r d ，进入镜像系统。 r d 和m d 容量相等，而且文件系统相同，当m d 和r d 处于镜像复制状态 时，r d 与m d 的数据保持一致，当m d 的数据发生变化时，这些差异变化也被 r d 接收，使得r d 具有和m d 相同的数据。当m d 和r d 的镜像复制状态在某 一时刻停止时，r d 就保存了m d 那一时刻的数据，因此r d 可以作为m d 的数 据备份，当m d 的数据被破坏时，可以利用r d 进行数据的恢复。r d 也可以用 作其他的用途。 在本系统中，将数据作为裸磁盘块( 而不是单个文件) 集合来进行备份，使用这 种方法是为了避免备份的系统开销，用这种方法可以充分利用存储的最大i o 吞吐 能力，它是一种非常有效的备份和恢复的方法，并且极大地减少备份对主机的影 响。 一般来说，一个公司使用一个磁盘阵列，所以在本系统中，当m d 和r d 处 于同一个磁盘阵列时，认为是本地镜像( d y n a m i c d a t a r e p l i c a t i o n ，d d r ) ；当m d 和r d 处于不同磁盘阵列时，认为是远程镜像( r e m o t e d a t a r e p l i c a t i o n ，r d r ) 。 2 2 2 各项操作和状态转换 与镜像技术相关的操作主要包括建立镜像关系，镜像复制操作，镜像复制断 开，镜像数据恢复r e s t o r e 。 建立镜像关系，就是在独立的磁盘( i s o l a t e dd i s k ) 上创建配对关系，使其成为 镜像复制的主盘或从盘，它们可以在同一个磁盘阵列上，也可以在不同的磁盘阵 列上。当m d 和r d 刚创建配对关系时，两者处于断开状态。 1 p a i r 操作i i 妙 介 l lu n p a i r 操作 匡翌 两个独立的i d 建立镜像从属关系 处于s e p a r a t e d 状态 图2 - 1 配对操作、状态图 第1 l 页共6 9 页 西北j ：业大学硕一 ：学位论文 第二章数据备份功能的设计 配对关系创建后，就可以执行镜像复制的各项操作。 如图2 - 1 所示，对应的还有解除操作( u n p a i r ) ，将处于s e p a r a t e d 状态的m d 和r d 解除配对关系，使其成为独立的磁盘( i s o l a t e dd i s k ) ，独立后的磁盘将不具 有镜像的功能，但对原镜像关系中的磁盘上的数据没有任何影响。 镜像复制操作，就是将m d 中的数据传送到r d 中，复制操作使r d 处于不 停接收数据差异的状态，在镜像复制操作时r d 是不可被其它程序访问的。m d 和r d 的先期状态是s e p a r a t e 状态才可以进行镜像复制操作( r e p l i c a t e ) 。 镜像断开操作终止n i d 和r d 之间的数据同步，使得r d 成为分裂时刻m d 的一个数据备份。m d 和r d 的先期状态是复制状态才可以进行断开操作。 r e p l i c a t e 状态分为两个子状态：r p l s y n c 状态和r p l e x e c 状态。r p l e x e c 状态 表示m d 和r d 之间处于数据同步状态，正在进行数据的移动，来达到两者数据 的一致。r p l s y n c 状态表示m d 和r d 之间处于数据同步状态，但此时没有数据 的移动。当镜像对收到r e p l i c a t e 命令后，如果m d 和r d 存在数据差异，则会经 过r p l e x e c 状态，使两者数据达到一致，然后进入r p l s y n c 状态；如果m d 和r d 不存在数据差异，则直接进入r p l s y n c 状态。不管是r p l s y n c 状态还是r p l e x e c 状态，接收到s e p a r a t e 操作命令都会进入s e p a r a t e 状态。 s e p a r a t e 状态分为两个子状态：s e p a r a t e d 状态和s e p e x e c 状态。s e p e x e c 状 态表示断开正在进行而没有完成的状态，m d 上存在着一些没有及时移动到r d 上的数据差异，此时m d 和r d 之间正在进行数据的移动，以达到两者数据的一 致。s e p a r a t e d 状态表示断开完成的状态，此时m d 和r d 的连接断开，两者之间 没有数据移动，此时该时刻的数据备份完成。r d 成为断开时刻m d 的数据备份， r d 处于可读写状态。当镜像对收到s e p a r a t e 命令后，如果m d 和r d 存在数据 差异，则会经过s e p e x e c 状态，使两者数据达到一致，然后进入s e p a r a t e d 状态； 如果m d 和r d 不存在数据差异，则直接进入s e p a r a t e d 状态。不管是s e p a r a t e d 状态还是s e p e x e c 状态，接收到r e p l i c a t e 操作命令都会进入r e p l i c a t e 状态。转换 关系如图2 2 所示。 第1 2 页共6 9 页 酊北工业大学硕士学位论文第二章数据备份功能的设计 r e s t o r e 操作将r d 的数据恢复到m d 中。当m d 的数据发生错误，要用r d 恢复m d 的数据时，使用此操作。m d 和r d 的先期状态是s e p a r a t e d 状态才可 以进行r e s t o r e 操作。此时m d 不可进行读写操作。转换关系如图2 3 所示。 1 r e s t o r e 操作| | u s e p a r a t e d 状态 图2 3 恢复操作状态图 第1 3 页共6 9 页 蹦北j ：业犬学硕士学位论文第二章数据备份功能的设计 在s e p a r a t e d 状态下，当镜像对接收到r e s t o r e 操作命令后，镜像对进入r s t e x e c 状态，进行r e s t o r e 操作，m d 的数据与r d 保持一致，数据差异从r d 移动到 m d 。当两者数据一致后，m d 和r d 处于s e p a r a t e d 状态。 2 2 3 拷贝模式和拷贝范围 本系统提供了三种拷贝模式，在进行镜像复制操作的时候，可以根据使用情 况选择合适的拷贝模式。三神拷贝模式是同期拷贝、半同期拷贝、后台拷贝。 在同期拷贝模式中，在向m d 写入数据的处理时间内，向r d 的拷贝处理也 同时被完成。这种拷贝模式i o 负载最重、剩余拷贝差分最少。 在半同期拷贝模式中，在向m d 的写入命令终了后再向r d 进行拷贝处理， 向m d 写入的命令不需要等待向r d 的写入完毕就可以终了。在半同期拷贝模式 中存在着一个数据差异的阀值，当m d 和r d 存在数据差异而差异量没有超过阀 值时，m d 和r d 间没有数据的移动，如果数据差异量随着积累超过闽值，则将 导致m d 和r d 问数据的移动。半同期拷贝模式不支持d d r 连接。当向m d 写 入的命令比较分散的情况下，i o 负载较小，根据阈值可调节残留的数据差异量。 后台拷贝模式只在系统空闲的时候，进行m d 和r d 间差异数据的移动，在 系统忙碌的时候，数据差异量将被积累。这种拷贝模式i o 负载最轻、但剩余拷 贝差分可能会很大。 拷贝范围的选择有两种，全域拷贝模式和差分谤贝模式。全域拷贝模式将 m d 的数据全部原样复制到r d ；差分拷贝模式只将m d 和r d 的差异部分数据 复制到r d 。 2 2 。4 异常处理 镜像操作时，异常主要来自磁盘阵列内部和磁盘阵列间的连接两个方面。 磁盘阵列内部异常可能是由于磁盘的物理故障或者内部程序错误；磁盘阵列 问的连接异常主要是由于磁盘阵列间线路故障。本地镜像操作时的异常来源于磁 盘阵列内部的异常，而远程镜像操作时的异常来源于磁盘阵列内部的异常以及磁 盘阵列间线路故障。 无论是哪种异常，当镜像操作时出现错误，无论是本地镜像复制时的错误， 还是远程复制时的错误，m d 和r d 都进入s e p f a u l t 状态。在这种状态下，排除 故障因素后，可以进行r e p l i c a t e 操作，使m d 和r d 进入r e p l i c a t e 状态。 第1 4 页共6 9 页 两北工业大学硕十学位论文第二章数据备份功能的殴计 2 3 数据快照技术 快照( s n a p s h 0 0 是静态映像( f r o z e i r n a g e ) 的备份技术，是种保留某一时刻 文件系统映像的技术，其核心是对备份和恢复过程采取“即时”( p o i n t i n t i m e ) 数据拷贝的方式。s n a p s h o t 可以很快的产生多个当前数据的快照。这些快照可用 于数据备份，数据分析，数据恢复，以及提供给其它程序数据等。与镜像技术相 比，它具有自己的特色：如可以避免大数据量备份时长时间无法提供服务的问题， 可以实现数据的即时恢复，实时数据分析等特有功能。”“ 镜像技术和快照技术，各有特点，各有适合使用的应用场合，也可以同时使 用，对于中间过程的备份或经常性的备份利用快照，对于阶段性的备份利用镜像 技术，这样结合使用可以实现更加灵活的备份策略。 2 3 1 快照原理 数据快照是保留某一时刻数据影像的技术，保留的影像称为快照 ( s n a p s h o t ) 。 快照系统的基本磁盘关系如图2 - 4 所示。 眨= 习 圃0 一 匿卜固l 。曼，r _ 飞鋈燮塑 图2 4 快照关系图 b d 是业务磁盘，s d 是快照备份磁盘， s d 不是真实存在