（计算机科学与技术专业论文）基于文件级快照的容灾框架的研究与设计.pdf

国防科学技术大学研究生院学位论文 摘要 信息系统的普及与电子商务的发展，给人类社会带来了巨大的便利，然而，在这便利 之中也隐藏着巨大的安全隐患。信息资源的重要性和脆弱性使容灾成为企业必须首要解决 的问题，可是在事实上i 大多数企业在投入与回报的权衡之下忽视了容灾，特别是中小型 企业。研究一种通用、低成本的容灾框架，对于企业的可持续性发展具有重大的意义。 本文在分析了企业在容灾上面临的困境以及容灾技术的发展现状的基础上，提出了一 种能够满足大多数企业容灾需求的容灾框架，在该框架下，企业可以灵活地部署本地备份 系统和异地备份系统，对关键业务数据进行容灾。本文完成的主要工作和取得的主要研究 成果包括： 首先，设计和实现了一个堆栈式快照文件系统。文件级快照技术使企业可以对关键业 务数据进行灵活的在线备份，而堆栈式文件系统的框架为用户提供了良好的应用接i z l ，具 备很好的通用性。该堆栈式快照文件系统以其高度的通用性、灵活性和良好的性能，成为 容灾框架的基础。 其次，设计和实现了一个基于堆栈式快照文件系统的容灾框架。主要介绍在该框架下 企业如何部署本地备份系统和异地备份系统。为了降低容灾系统对网络带宽的要求，对文 件级快照进行了优化，实现了文件级增量快照技术。 再次，本文针对特定的分布式应用环境，对该框架进行了扩展，同时提出了该框架扩 展时分布式环境必须满足的条件。 最后，本文总结了全文的工作，并对下一步的工作做了展望。 关键词：容灾框架，堆栈式文件系统，文件级快照，增量快照技术 国防科学技术大学研究生院学位论文 a b s t r a c t 1 1 l ep o p u l a r i z a t i o no fi n f o r m a t i o ns y s t e ma n dt h ed e v e l o p m e n to fe - b u s i n e s sh a v et a k e n g r e a tc o n v e n i e n c ef o rh u m a ns o c i e t y h o w e v e r ，t h e r ea r ee n o r m o u sp o t e n t i a ls a f e t yp r o b l e m s h i d d e ni nt h ec o n v e n i e n c e d i s a s t e rt o l e r a n c eb e c o m e sap r i m a r yi s s u ew h i c he n t e r p r i s e ss h o u l d r e s o l v ef o rt h ei m p o r t a n c ea n df r a n g i b i l i t yo fi n f o r m a t i o nr e s o u r c e ，b u tm o s to ft h ee n t e r p r i s e s i g n o r ed i s a s t e rt o l e r a n c ea f t e rw e i g h i n gt h ed e v o t i o na n dr e t u mi nf a c t ，e s p e c i a l l ys m a l lm e d i u m e n t e r p r i s e s i ti sm e a n i n g f u lf o rt h ec o n t i n u a b l ed e v e l o p m e n to fe n t e r p r i s e st h a tr e s e a r c h i n ga g e n e r a l ，c o s t - e f f e c t i v ed i s a s t e rt o l e r a n c ef r a m e w o r k w i t l la n a l y z i n gt h ep u z z l ed o mw h i c he n t e r p r i s e sa r ef a c i n gi nd i s a s t e rt o l e r a n c ea n dt h e d e v e l o p m e n to f d i s a s t e rt o l e r a n c et e c h n o l o g y ，t h ep a p e rp r e s e n t sad i s a s t e rt o l e r a n c ef r a m e w o r k w h i c hc a nm e e tt h ed i s a s t e rt o l e r a n c er e q u i r e m e n to fm o s to ft h ee n t e r p r i s e s t h ee n t e r p r i s e sc a n d e p l o yt h el o c a lb a c k u ps y s t e ma n dt h er e m o t eb a c k u ps y s t e mf o rp r o t e c t i n gt h ek e yb u s i n e s s d a t au n d e rt h ed i s a s t e rt o l e r a n c ef r a m e w o r k o u rm a i nw o r ka n d a c q u i r e dp r o d u c t i o n i n c l u d e ： f i r s t l y ，w ed e s i g na n di m p l e m e n tas t a c k a b l cs n a p s h o tf i l es y s t e m e n t e r p r i s e sc a nb a c k u p t h ek c yb u s i n e s sd a t af l e x i b l yu s i n gf i l el e v e ls n a p s h o t , a n dt h ef r a m e w o r ko ft h es t a c k a b l ef i l e s y s t e mp r o v i d e s9 0 0 da p p l i c a t i o ni n t e r f a c ea n dh a st h ec h a r a c t e r i s t i co fg e n e r a l - u t i l i t y m s t a c k a b l cs n a p s h o tf i l es y s t e mi st h e b a s i so ft h ed i s a s t e rt o l e r a n c ef r a m e w o r kd u et oi t s g e n e r a l u t i l i t y ，f l e x i b i l i t ya n dh i g hp e r f o r m a n c e s e c o n d l y ，w ed e s i g na n di m p l e m e n tad i s a s t e rt o l e r a n c ef r a m e w o r kb a s e dt h es t a c k a b l e s n a p s h o tf i l es y s t e m w ei n t r o d u c eh o we n t e r p r i s e sc a nd e p l o yt h el o c a lb a c k u ps y s t e ma n dt h e r e m o t eb a c k u ps y s t e mu n d e rt h ef r a n l e w o r k , a n dt h e nw eo p t i m i z et h ef i l el e v e ls n a p s h o ta n d i m p l e m e n tf i l el e v e li n c r e m e n ts n a p s h o tt e c h n o l o g y t h i r d l y ，w ee x p a n dt h ef r a m e w o r kt oag i v e nd i s t r i b u t e da p p l i c a t i o ne n v i r o n m e n t f u r t h e r m o r e ，w ep r e s e n tt h es u f f i c i e n tc o n d i t i o nt h a tt h ed i s t r i b u t e da p p l i c a t i o ne n v i r o n m e n t w h i c ht h ef r a m e w o r kc a ne x p a n dt om u s tm e e t a tl a s t ，t h ep r i m a r yw o r ki ss u m m a r i z e d ，a n ds o m ef u t u r ew o r k sa r es t a t e d k e yw o r d s ：d i s a s t e rt o l e r a n c ef r a m e w o r k , s t a c k a b l ef i l es y s t e m ，f i l el e v e ls n a p s h o t , i n c r e m e n ts n a p s h o tt e c h n o l o g y u 国防科学技术大学研究生院学位论文 表目录 表2 1v f s 对象的私有数据字段1 9 表2 2 快照卷超级块s n a p结构23super b l o c k 表2 3 底层超级块s s f ss n a p s h o t 结构2 4 表快照节点bloc结k24s s f s 构24snapshotinode 表2 5 快照卷目录项s s f ss n a p s h o t结构2 5 表2 6 快照卷的访问接口d i r 2 7 表2 7s n a p s h o t 结构28_superblock 表2 8s n a p s h o ti n o d e 结构2 8 表2 9s s f s 执行快照的接口2 9 表2 1 0s s f s 的测试环境3 2 表3 1 增量快照中快照卷的目录项结构4 3 表3 2 快照节点s s f ss n a p s h o ti n o d e 结构中增加的两个字段4 3 国防科学技术大学研究生院学位论文 图 图 图 图 图 图 图 图 图2 9 图2 1 0 图2 1 1 图2 1 2 图2 1 3 图2 1 4 图3 1 图3 2 图3 3 图3 4 图3 5 图 图 图 图 1 2 3 4 图4 5 图5 1 图5 2 图目录 l i n u x 文件系统的层次结构图1 3 堆栈式文件系统在l i n u x 内核中所处的层次1 4 f i s t 的工作流程15 在物理文件系统中实现文件级快照1 6 在v f s 层中实现文件级快照16 s s f s 中文件级快照的工作原理1 7 s s f s 的体系结构1 7 s s f s 的v f s 对象与底层文件的v f s 对象的关联2 0 快照卷的逻辑结构图2 2 s n a p s h o t的管理25superblocktable 快照卷的访问接口2 6 s s f s 文件写操作流程3 0 对1 个1g 的文件顺序覆盖写3 3 对1 0 0 0 0 个1 m 的文件顺序覆盖写3 3 容灾框架的整体结构3 6 主机之间共享快照卷的逻辑结构3 7 传统的数据备份方式4 0 容灾框架中的数据备份方式4 0 增量快照中快照卷的逻辑结构4 3 s 砧盯s 文件系统的系统结构。4 9 s 砧盯s 文件系统的数据流程4 9 s 砧师s 文件系统的读写流程5 0 s a n f s 上容灾框架的整体结构一5l s s f s 读写操作经过的路径5 2 容灾能力断层式跨越5 6 容灾能力可持续性跨越5 6 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文题目： 基王塞住级迭题鲍空塞框袈的盟窥生遮进 学位论文储挠毒雄 魄却拇，月r 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目： 基王塞佳熟迭憨鳗窒塞捱苤笠叠窥量遮让 1 - 一 ， 学位论文作者签名： 枣：生：! l 兰日期：押捭，月f 日 作者指导教师签名：豸望 日期：炒挣月，日 国防科学技术大学研究生院学位论文 第一章绪论 信息系统的普及与电子商务的发展，给人类社会带来了巨大的便利，然而，在这便利 之中也隐藏着巨大的安全隐患。信息安全是当前学术界和工业界研究的热点，其中，容灾 作为信息安全的一个重要方面，成为近年来发展最迅速、最受人们关注的研究领域之一。 本章将从课题的背景出发，重点介绍当前企业在容灾上面临的问题，以及相应技术的发展 现状，最后，提出本课题的主要研究内容及目标，以及当前已经取得的研究成果。 1 1 研究背景 随着社会信息化的发展，通信、金融、能源等行业以及政府、教育、科研、军事等部 门的工作都离不开计算机系统提供的服务，信息资源成为这些行业、部门宝贵的财富，是 它们开展业务不可或缺的基础。然而，这些宝贵财富往往面临着巨大的安全隐患，一次自 然或人为的灾难就可能使它们毁于一旦。9 1 1 事件就是一次典型的例子，随着双子星大楼 的倒塌，大楼中所有数据资料顿时灰飞烟灭，对于其中某些企业而言，这可能就是一次致 命的打击，将导致企业破产，或者一蹶不振。 除了9 1 l ，这样惨痛的教训举不胜举。在1 9 9 3 年，双子星大楼就发生过爆炸，爆炸 前约有3 5 0 家企业在该楼中工作，一年后再回到世贸大楼的公司变成了1 5 0 家，有2 0 0 家 企业由于无法存取原有重要的信息系统而倒闭。2 0 0 3 年国内某电信运营商的计费存储系统 发生两个小时的故障，造成4 0 0 多万元的损失，这些还不包括导致的无形资产损失。 据i d c 的统计数字表明，美国在2 0 0 0 年以前的十年间发生过灾难的公司中，有5 5 当时倒闭，剩下的4 5 中，因为数据丢失，有2 9 在两年之内倒闭，生存下来的仅占 1 6 。g a r t n e rg r o u p 的数据也表明，在经历大型灾难而导致系统停运的公司中有2 5 再也 没有恢复运营，剩下的公司中也有1 3 在两年内破产j 在这种情形下，容灾成为企业的一道安全防线，企业纷纷着手建立自己的容灾系统。 其中，一些大型企业凭借雄厚的资金和技术实力，建立了性能优良，但也造价高昂的容灾 体系，如i b m 、联想等。然而，对于大多数中小型企业来说，怎么建立自己的容灾系统仍 然是一道难以决定的问题，以建立异地容灾系统为例，大多数中小型企业都面临着一些困 惑： 1 对于我们这样的企业，数据在本地已经备份好了，遭遇天灾人祸几乎不可能，有 必要建立异地容灾系统吗? 2 对于我们这样的企业，建立异地容灾系统是否需要高昂的费用? 这些费用是否在 企业的承受范围之内? 3 对于我们这样的企业，我们不希望改变现有的硬件设施与软件设施，容灾系统能 满足这个要求吗? 4 企业建立了异地容灾系统后，如果本地数据遭到破坏，它能够及时发挥作用吗? 第1 页 国防科学技术大学研究生院学位论文 这些困惑，也就是功效与代价之间的困惑。现有的容灾系统构建方法往往需要在硬件 和软件上有很大的投入，这些投入，对于一个中小型企业可能是一笔难以承受的预算。还 有，即使建立了一个性能优良、完备的容灾系统，这些中小型企业可能在企业的生命期内 都无法见到该系统发挥真正的功效。因此，大多数中小型企业更愿意把这些预算放到眼前 急需资金的地方，而不愿意投入到潜在的安全隐患上面。 所以，在容灾上，一方面，某些大型企业已经建立了相当完善的容灾系统，这些系统 可以作为容灾的经典案例分析，另一方面，却是大多数中小型企业在容灾上几乎上没有任 何投入，面临着巨大的安全隐患，当灾难发生时，这些企业往往无法避免倒闭的命运。 针对这种情形，本课题的目的在于研究一种造价低廉、性能良好，能够满足大多数企 业容灾需求的框架，这种框架，既要能够满足企业当前的容灾需求，也要具备良好的扩展 性，能够满足企业未来发展中需求的变化。 因此，本文首先设计和实现了一种基于堆栈式快照文件系统的容灾框架，该框架面向 的是中小型企业的容灾需求，然后，把该框架进行扩展，以满足大型企业的容灾需求和企 业长远的容灾需要，最后总结本文设计思想和设计方法，对下一步的工作进行展望。 1 2 研究现状 容灾( d i s a s t e rt o l e r a n c e ) 系统，简称d t 系统。容灾系统就是通过特定的容灾机制，能 够在各种灾难损害发生后，最大限度地保障计一算机信息系统不问断提供正常应用服务。 在容灾系统分类上，按地域可以分为本地容灾系统和异地容灾系统，按所保障的内容分类， 可以分为数据容灾系统和应用容灾系统。本文所研究的是企业如何构建一套适合企业自身 状况，基于关键业务数据的容灾系统，因此，在地域上，既包括本地容灾系统，又包括异 地容灾系统，在保障内容上，以数据容灾系统为主，同时也包括应用容灾系统的探讨。下 面简要介绍国内外当前容灾技术的发展现状。 1 2 1 容灾系统中使用的关键技术 在建立容灾系统时会涉及到多种技术，如：镜像技术、快照技术、互连技术、虚拟存 储等等。 1 镜像技术 镜像是在两个或多个磁盘或磁盘子系统上产生同一个数据的镜像视图的信息存储过 程，一个叫主镜像系统，另一个叫从镜像系统。按主从镜像存储系统所处的位置可分为本 地镜像和远程镜像。 远程镜像又叫远程复制，是容灾备份的核心技术，同时也是保持远程数据同步和实现 灾难恢复的基础。远程镜像按请求镜像的主机是否需要远程镜像站点的确认信息，又可分 为同步远程镜像和异步远程镜像。 同步远程镜像( 同步复制技术) 是指通过远程镜像软件，将本地数据以完全同步的方 第2 页 国防科学技术大学研究生院学位论文 式复制到异地，每一本地的f o 事务均需等待远程复制的完成确认信息，方予以释放。同 步镜像使远程拷贝总能与本地机要求复制的内容相匹配。当主站点出现故障时，用户的应 用程序切换到备份的替代站点后，被镜像的远程副本可以保证业务继续执行而没有数据的 丢失。但它存在往返传播造成延时较长的缺点，只限于在相对较近的距离上应用。 异步远程镜像( 异步复制技术) 保证在更新远程存储视图前完成向本地存储系统的基 本v o 操作，而由本地存储系统提供给请求镜像主机的f o 操作完成确认信息。远程的数 据复制是以后台同步的方式进行的，这使本地系统性能受到的影响很小，传输距离长( 可 达1 0 0 0 公里以上) ，对网络带宽要求小。但是，许多远程的从属存储子系统的写没有得 到确认，当某种因素造成数据传输失败，可能出现数据一致性问题。为了解决这个问题， 目前大多采用延迟复制的技术( 本地数据复制均在后台日志区进行) ，即在确保本地数据 完好无损后进行远程数据更新。 2 快照技术 存储网络工业协会( s n l ) 对快照的定义为：快照为一个数据对象产生完全可用的副 本，它包含该数据对象在某一时间点的映像；快照在快照时间点对数据对象进行逻辑复制 操作，产生数据对象在该时间点的一致性数据副本，但实际的部分或全部物理复制过程可 能在复制时间点之外的某些时间进行。 远程镜像技术往往同快照技术结合起来实现远程备份，即通过镜像把数据备份到远程 存储系统中，再用快照技术把远程存储系统中的信息备份到远程的磁带库、光盘库中。 快照是通过软件对要备份的磁盘子系统的数据快速扫描，建立一个要备份数据的快照 逻辑单元号l u n 和快照c a c h e 。在快速扫描时，把备份过程中即将要修改的数据块同时快 速拷贝到快照c a c h e 中。快照l u n 是一组指针，它指向快照c a c h e 和磁盘子系统中不变的 数据块( 在备份过程中) 。在正常业务处理的同时，利用快照l u n 实现对原始数据的一 个完全的备份。它可使用户在正常业务不受影响的情况下( 主要指容灾备份系统) ，实时 提取当前在线业务数据。其“备份窗口”接近于零，可大大增加系统业务的连续性，为实现 系统真正的7 x 2 4 运转提供了保证。 关于快照技术，在下面章节中还有详细介绍。 3 互连技术 早期的主数据中心和备援数据中心之间的数据备份，主要是基于s a n 的远程复制( 镜 像) ，即通过光纤通道f c ，把两个s a n 连接起来，进行远程镜像( 复制) 。当灾难发生 时，由备援数据中心替代主数据中心保证系统工作的连续性。这种远程容灾备份方式存在 一些缺陷，如：实现成本高、设备的互操作性差、跨越的地理距离短( 1 0 公里) 等，这些 因素阻碍了它的进一步推广和应用。 - ? 目前，出现了多种基于p 的s a n 的远程数据容灾备份技术。它们是利用基于m 的 s a n 的互连协议，将主数据中心s a n 中的信息通过现有的t c p i p 网络，远程复制到备援 中心s a n 中。当备援中心存储的数据量过大时，可利用快照技术将其备份到磁带库或光 盘库中。这种基于p 的s a n 的远程容灾备份，可以跨越l a n 、m a n 和w a n j 成本低、 第3 页 国防科学技术大学研究生院学位论文 可扩展性好，具有广阔的发展前景。基于p 的互连协议包括：f c i p 、i f c p 、i n f m i b a n d 、 i s c s 等。 4 虚拟存储 在有些容灾方案产品中，还采取了虚拟存储技术，如西瑞异地容灾方案。虚拟化存储 技术在系统弹性和可扩展性上开创了新的局面。它将几个i d e 或s c s i 驱动器等不同的存 储设备串联为一个存储池。存储集群的整个存储容量可以分为多个逻辑卷，并作为虚拟分 区进行管理。存储由此成为一种功能而非物理属性，而这正是基于服务器的存储结构存在 的主要限制，像i b m 的a i x 操作系统的逻辑卷管理器就是采用了虚拟存储技术。 虚拟存储系统还提供了动态改变逻辑卷大小的功能。事实上，存储卷的容量可以在线 随意增加或减少。可以通过在系统中增加或减少物理磁盘的数量来改变集群中逻辑卷的大 小。这一功能允许卷的容量随用户的即时要求动态改变。另外，存储卷能够很容易的改变 容量，移动和替换。安装系统时，只需为每个逻辑卷分配最小的容量，并在磁盘上留出剩 余的空间。随着业务的发展，可以用剩余空间根据需要扩展逻辑卷。也可以将数据在线从 旧驱动器转移到新的驱动器上，而不中断服务的运行。 总之，大多数的企业和组织都是依靠“冗余”来进行数据和系统的灾难恢复的。“冗 余 使得次要的数据或者是系统资源在主要的资源由于灾难情况失效的情况下能够代替主 要资源进行工作。而我们通常所说的数据备份技术正是一种采用“冗余 来进行灾难恢复 的经典技术。所谓数据备份，就是使用较低廉的存储介质，定期将系统业务数据备份下来， 以保证数据意外丢失时能尽快恢复，将用户的损失降到最低点。 备份技术是灾难恢复技术的一个基础，没有使用备份技术进行全面、及时、准确的备 份的数据在灾难发生时就无法进行灾难恢复。当前，主要存在有如下的备份技术： 全备份：备份计算机上的每一个文件。 增量备份：仅仅备份在文件系统中的那些特定时间和日期后已经被修改了的部分。 零时间备份：制作计算机系统的原始备份。当系统第一次安装时，在开始使用它 之前，为系统上的每一个文件和程序制作备份。 双机热备份：它是计算机应用系统稳定、可靠、有效、持续运行的重要保证。它 通过系统冗余的方法解决计算机应用系统的可靠性问题，并具有安装维护简单、 稳定可靠、监测直观等优点。 服务器集群：服务器集群堪称是最具价值的系统级技术之一。一个服务器群是通 过将多台服务器互联在一起而形成的。它以松散的成对配置共享资源。集群具有 一定的自我修正能力，它可以保证系统2 4 小时x7 天的不间断运行，把非计划和 计划的停机时间降到最低。 1 2 2 容灾方法的分层 为便于描述和量化分析各种不同的灾难恢复方法和技术组合，工程上通常将不同的容 灾恢复方法进行分层。分层提供了一种方法用以定义当前的服务级别、当前的风险，以及 第4 页 国防科学技术大学研究生院学位论文 定义期望的目标服务级别和目标环境。最有影响的分层标准是由( s h a r eu s e rg r o u p ) 和i b m 公司联合制定的标准【3 2 】。它将灾难恢复分为7 层，定义了每层的恢复时间目标和 恢复点目标，以及采用的相关技术和投资情况。 ( 1 ) 层次卜本地数据的备份与恢复 层次0 被定义为没有信息存储和建立备份服务平台的需求，也没有发展应急计划的要 求，数据仅在本地进行备份恢复，没有数据送往异地。 ( 2 ) 层次1 批量存取访问方式 层次1 的灾难恢复计划需要设计一个应急方案，能够备份所需要的信息，并将它存储 在另外的备份介质上，然后根据灾难恢复的具体需求，有选择地建立备份平台，进行系统 信息和数据的恢复。 ( 3 ) 层次2 批量存取访问方式+ 热备份地点 层次2 相当于是层次1 再加上具有热备份能力考核成绩的地点组成的灾难恢复系统。 热备份地点拥有足够的硬件和网络设备去支持关键应用的安装需求。 ( 4 ) 层次3 电子链接 层次3 是在层次2 的基础上用电子链路取代了批量存取方式进行数据传送的一种灾难 恢复方案。接收方的设备必须与热备份的物理地点分开，在灾难发生后，存储的数据用于 灾难恢复。 ( 5 ) 层次4 - 工作状态的备份地点 层次4 这种灾难恢复要求两个地点同时处于下作状态并彼此管理着对方的备份数据， 允许备份行动在任何一个方向发生。 ( 6 ) 层次5 双重在线存储 层次5 在层次4 的基础上加上镜像管理被选择数据，也就是说，在更新请求被认为是 满意之前，层次5 需要应用地点与各份地点的数据都被更新。 ( 7 ) 层次6 - - - - 零数据丢失 层次6 可以实现零数据丢失率，同时保证数据立即自动地被传输到备份地点。层次6 被认为是灾难恢复的最高级别。 这7 种层次，从技术的角度对容灾系统进行了分类，层次越高，容灾能力越强，但实 现起来越复杂。 1 2 3 容灾技术的应用现状 下面介绍一下国内外比较典型的容灾系统，以使我们对当前容灾技术的应用有一个大 概的了解。 联想集团的异地容灾系统是一个两地四级的备份和容灾系统【l 】：包括备份客户端，介 质服务器，备份主服务器和磁带库。北京和深圳两地的备份局域网将采用1 0 0 0 m 以太网， 两地之间通过8 m 专线连接。各级之间的分布情况如下： 备份客户端：包括北京的e r p 系统电子商务系- 0 畦s c m 系缃c r m 系统p d m 系统上 第5 页 国防科学技术大学研究生院学位论文 安装的备份客户端程序，实现l a n 中数据备份和恢复的基本功能。另外包括深圳的电子 商务系统s c m 系统上安装的备份客户端程序。 介质服务器：深圳的e r p 系统c r m 系统直接连接到s a n 中，并安装m e d i as e r v e r ( 介质服务器) ，实现l a n f r e e 的备份。 备份主服务器：安装在北京，是备份系统的核心，可以实现对磁带库的配置管理，备 份环境的核心数据应用库、备份策略和设备配置均存放在这台服务器上。 磁带库：电子商务、s c m 系统、p d m 系统通过网络进行系统全备份，其它两套系统 e r p 、c r m 系统全备份通过v e r i t a sn e t b a c k u pv a u l t 功能将磁带通过交通工具每周运送 到深圳，而其每天的增量备份可以通过网络完成。磁带运送到深圳后，通过指令备份系统 进行重新导入磁带信息，然后再通过磁带恢复系统。北京和深圳需要配置兼容同一格式磁 带的磁带驱动器。北京需要一个磁带库，其中至少两个驱动器。 在该容灾系统中，联想根据对集团信息系统备份容灾需求的分析，充分考虑了在当前 的业务需求和将来的业务发展，各级备份容灾系统的关键任务是实现对企业数据的在线、 快速、有效的数据备份，同时还实现了在深圳备份中心的快速恢复和容灾能力。然而，这 一切首先要求服务器和存储器具有极高可靠性、丰富的管理性能、强大的数据处理能力及 扩展性、适用于多种网络操作系统等特性。以服务器为例，联想推荐的联想万全r 6 3 0 服 务器的配置如下： 处理器：四颗i n t e lx e o n1 4 1 6 g h z 处理器 内存：配置4 8 ge c cd d r 内存 硬盘：配置5 块3 6 gs c s i 热插拔硬盘 r a i d 卡：u l t r a1 6 0s c s i 双通道r a i d 卡 除此之外，该容灾系统的预算还要包括专用网络、磁带库、管理系统以及其他硬件和 软件的开销，还要包括人力资源上的预算。这套异地容灾备份系统提供了充分与高性能的 容灾功能，然而，对企业而言这也是一笔不菲的预算。 h p 公司将容灾恢复软件技术集成到其中端产品e v a 虚拟存储整理服务器之上，推出 的业务连续性软件解决方案，可以对包括服务器集群和存储设备在内的整个站点进行复制 和失效切换。该产品集成了操作系统集群服务功能和基于磁盘阵列的容灾技术【1 3 】( 即e v a c o n t i n u o u sa c c e s s ，e v a 连续访问) ，必要时能够在节点间实现站点的失效切换。目前， h p 公司也提出了多种容灾方案，其中最具代表性的容灾方案是由主数据中心和备份中心 组成。两者之间通过光纤或电信网相连接。数据存储在主中心存储磁盘阵列中，同时在异 地备份中心配置相同结构的存储磁盘阵列。通过恢复软件h pc o n t i n u o u sa c c e s sx p 可以自 动实现主中心数据和备分中心数据的实时完全备份。这种基于i - i p 的专用存储设备的方案 有着灵活性较差，用户投资成本高等缺点。 i b m 给出了基于企业存储服务器的点到点远程复制技术的数据容灾方案。它通过 e s c o n ( e n t e r p r i s es y s t e m sc o n n e c t i o n s ，企业管理系统连接) 通道实现配对的逻辑卷容灾 u 引，可以实现相互远程备份。该方案使用纯硬件方法，具有很好的数据传输性能，而且适 第6 页 国防科学技术大学研究生院学位论文 用于几乎所有的主流操作平台和i b m 的硬件服务器平台。i b m 的基于b m r s 6 0 0 0 服务器 的h a g e o ( h i g ha v a i l a b i l i t yg e o g r a p h i cc l u s t e r ) 异地群集技术的应用级容灾方案则主要通 过软件实现。它采用两台m m 服务器组成一个双机热备环境，可以为客户的数据和应用提 供同步镜像，其中增强型同步( m w c ) 模式可以提供数据的原始性和一致性，同时也提 供异步模式。上述产品都是为m ma i x 服务器专门开发，无法整合其他厂商的设备，投 资成本高，灵活性较差。 综合国内外典型容灾系统的特点，可以得出当前企业容灾的不足之处如下： ( 1 ) 成本过高：目前国际流行的容灾系统，如e m c 2 、h p 、s u n 等公司所推出的系 统，多是面向大型用户的软硬件相结合的一整套解决方案，投资巨大。例如，基于磁盘阵 列远程复制的容灾系统通常需要购买高端磁盘阵列和建立专门的光纤网络，仅购买两个支 持远程复制高端磁盘至少需要1 0 0 多万元。同时，现有容灾所构建的平台( 如h p l i x ， s o l a r i s ) 要求较高，费用较大，包括购买主机、操作系统和卷管理系统等多种费用，例如 v e r l t a s 的卷管理系统和远程卷复制系统一般在3 0 万元以上。 ( 2 ) 通用性差：现有的容灾系统通常是针对某个特定企业或某个特定应用环境定制 的，这使得容灾系统的通用性较差，同时，不同厂商生产的产品大多互不兼容，比如，基 于磁盘阵列的远程复制一般只能在同厂家的同一类型的磁盘阵列间进行，这使得容灾系 统不易扩展，当企业的应用环境发生变化，企业往往要对容灾系统进行升级或者是彻底的 更换。 ( 3 ) 灵活性低：目前国际流行的容灾系统大多是面向大型用户的软硬件相结合的一 整套解决方案，这使企业无论是在容灾系统的部署上，还是在容灾的管理上都缺乏灵活性， 企业的容灾模式取决于容灾系统的功能，而不能根据企业的特点进行灵活地配置。 1 2 4 容灾系统中快照技术的应用 容灾系统通常使用快照技术来实现在线、高效的数据备份。使用快照时，系统需要建 立一个完整的一致的映像，为了保证这一点，必须在某个特定的时刻完成全部数据的复制， 通常这种复制不可能在一瞬间完成。实际上在进行快照操作的时候并不是对所有数据进行 完全复制，而是使用写时复制技术( c o w ，c o p y o n - w r i t e ) ，或者采用分割映射的方式， 建立一个快照只需要极少的工作，在很短的时间内即可完成。 在写时复制技术中，数据并不是立即被复制，而是仅仅当数据块发生改变时，才对这 些块进行复制，因此并不是所有的数据都有一个完整的复制，只有那些发生改变的数据才 需要消耗额外的磁盘空间，从而使得实际用于保存快照所需要的空间大大减少。 在分割映射技术中，使用一个与工作的主存储系统完全一致的快照存储系统，系统使 用类似于磁盘镜像的方式，数据被同时写入主文件系统和快照文件系统，当进行备份操作 时，只需将快照文件系统写下分离即可。这样实际上建立一个快照映像几乎不需要时间。 这两种方式都有各自的优缺点。写时复制使用纯软件方法，不需要额外的硬件投资， 而且由于只对需要修改的数据块进行复制，使得磁盘空间利用率较高，其缺点是在创建快 第7 页 国防科学技术大学研究生院学位论文 照后，系统的性能会因为需要复制而收到一定程度的影响，将快照映像上的数据备份到磁 盘等介质时，系统的性能也会下降。分割映射正好相反，它需要额外的硬件，这使得其磁 盘利用率仅为一半，快照映像的建立是实时的，由于使用特殊的硬件，系统的性能几乎不 会受到影响。 根据快照的对象分类，快照的实现可以分为两种：设备级快照与文件级快照。前者对 整个磁盘、虚拟卷等设备进行快照，每次快照记录设备上的所有数据。这种快照方式，往 往在设备驱动层实现【3 引，文件系统无须对快照进行管理。设备级快照具备良好的通用性和 移植能力，然而，正因为它是在设备驱动层实现的，无法感知文件系统的结构，只能把设 备作为快照的基本单元，灵活性较差，在这个意义上，它是一种“粗粒度 的快照。现在， 很多操作系统都提供了设备级快照的功能，如l i n u xm d 机制下的块设备快照工具、 w i n d o w sx p 中的w i n d o w sv o l u m es h a d o wc o p ys e r v i c e ( v s s ) 。 相对于设备级快照，文件级快照是一种“细粒度的快照，它提供了对文件或目录的 快照功能，每次快照记录了文件快照时刻的内容。文件级快照的实现方法常见的是在物理 文件系统中增加快照的功能，如e x t 3 c 渊尸、e l e p h a n t 3 】等文件系统，这种方法可以在文件 系统中同时保留文件多个时刻的版本【4 1 ，能够避免用户误操作对数据的破坏。这种“细粒 度 的快照可以根据用户的策略，在任意时刻对任意文件执行快照，增加了灵活性，然而， 却降低了通用性，对于大多数企业正在使用的文件系统，都不具有这种功能。 除了在底层物理文件系统中增加快照，文件级快照还有一种实现方法，这种方法结合 虚拟文件系统v f s ( v i r t u a lf i l es y s t e m ) 1 5 】的特点，在v f s 系统调用的路径上增加快照的 功能，这种实现方法典型的例子有s n a p - - ，o “1 6 。s n a p f s 相当于一个重定向器，它根据来自 v f s 层的请求来判断是对当前文件系统( s n a p)的访问还是对复制文件系统,current ( s n a p ，也就是映像) 的访问。 使用技术进行快照，它是一c l o n e s n a p s h o ts n a p f s c o w 个纯软件层，可以在不改变现有文件系统的情况下为系统增加快照功能。然而，s n a p f s 的 结构很简单，是在l i n u x 的2 1 和2 2 的版本上实现的，移植性较差。 1 3 本文的主要研究内容 本文的目的在于研究一种造价低廉、性能良好、能够满足大多数企业容灾需求的框架， 在该框架下，企业可以灵活地部署本地容灾系统以及异地容灾系统，对关键业务数据进行 容灾。基于该目的，本文首先设计了一种满足当前中小型企业容灾需求的容灾框架，然后 对该框架进行扩展，使它适用于分布式的集群环境，最后，总结本文的设计思想与设计方 法。因此，本文主要的研究内容包括下面三个方面： 堆栈式快照文件系统s s f s 设计与实现：针对当前企业数据备份的特点，选择高效、 灵活的文件级快照技术作为该框架的基础，设计和实现了一个堆栈式的快照文件 系统s s f s 。s s f s 能够对文件或目录执行快照，因此，它可以作为l i n u x 下在线 的备份工具，或者档案管理工具使用，使企业可以快速地在本地建立信息资源管 理库。s s f s 设计与实现是整个容灾框架的基础，也是本文的重点。 第8 页 国防科学技术大学研究生院学位论文 基于s s f s 的容灾框架的设计与实现：在s s f s 的基础上，本文设计与实现了一个 容灾框架。这个方面的内容包括本地信息资源库的搭建，数据传输的优化，以及 异地容灾系统的实现。其中，为了减少网络传输的数据量，降低异地容灾对网络 带宽的要求，本文采用了增量备份的方式，在s s f s 文件级增量快照技术的基础上， 可以很方便地实现这种远程备份方式。 容灾框架在分布式集群环境中的扩展：本文针对s a n ( s t o m g ea r e an e t w o r k ) 的 存储环境，在一种分布式集群文件系统s a n f s 上对该容灾框架进行了扩展。其中， 包括s s f s 在s a n f s 的元数据服务器m d s ( m e t ad a ms e r v e r ) 上的扩展。除此 之外，本文还提出了该容灾框架扩展时分布式环境必须满足的条件。 1 4 本文的主要研究成果 本文取得的研究成果和创新点包括以下几个方面： 设计和实现一个堆栈式快照文件系统s s f s ，s s f s 该文件系统不仅可以在本文研 究的容灾框架使用，还可以作为l m u x 下一个独立的细粒度快照工具使用。其中， s s f s 模块化、通用、性能良好的特点使它具有较为广泛的商用前景。 设计和实现了一个基于s s f s 的容灾框架，该框架搭建简便j 只需要少量的投入就 能获得良好容灾功能。当前已经实现的框架对于中小型企业来说，无论是在性能， 还是在可用性和可扩展性上，都具有较大的应用前景。同时，本文针对特定的分 布式应用环境，对该框架进行了扩展。 对本文的设计思想和设计方法进行了总结，得出了可持续容灾的概念，以探讨企 业最优的容灾模式。 1 5 本文的结构 本文共分为六章，各章的组织结构如下： 第一章：绪论。该章从课题的背景出发，重点介绍当前企业在容灾上面临的问题，以 及相应技术的发展现状，最后i 提出本课题的主要研究内容及目标，以及当前已经取得的 成果。 一 第二章：堆栈式快照文件系统s s f s 的设计与实现。该