（计算机软件与理论专业论文）高校数据中心远程数据复制技术研究与实现.pdf

第二章以我校的数字校园建设为例，介绍数字校园的发展现状，数据中心的 组成架构，在当今数字校园的容灾建设中尚存在的问题。 第三章针对我校数字校园的容灾建设，对现有的数据复制算法进行进一步分 析，针对其不足对其进行改进。 第四章对本文的实验所用到的仿真工具o p n e t 的特点和优点进行简单介绍。 并使用o p n e t 仿真工具对本文提出的改进协议进行建模仿真。 第五章分析实验结果，验证算法的有效性o 第六章对整个论文研究的工作进行总结，指出工作中存在的问题以及进一步 研究的工作方向。 关键字：容灾备份；数据远程复制；数字校园；o p n e t i i a b s t r a c t r e s e a r c ha n dim p l e m e n t a tio n0 fc o l l e g e l o n g - dls t a n c ed a t ar e p lic a tl0 n m a j o r ：c o m p u t e rs o f t w a r ea n dt h e o r y n a m e ：l iy a n s u p e r v i s o r ：n i er u i h u a w i t ht h ep o p u l a r i t yo ft h en e t w o r ka n dt h ec o n t i n u o u s d e v e l o p m e n to f i n f o r m a t i o nt e c h n o l o g y , c o m p u t e ra p p l i c a t i o n se x p a n d ，c o v e r i n ga l m o s ta l lw a l k so f l i f e t h ed e p e n d e n c eo fc o m p u t e rs y s t e m so nt h ed a t aa r ec o n s t a n t l yi m p r o v i n g ， p e o p l eh a v ei n c r e a s i n g l yd e m a n df o rt h es e r v i c e sp r o v i d i n gb yt h es y s t e m s i n a d d i t i o nt or e q u i r et h er e l i a b i l i t ya n dt i m e l i n e s so fs y s t e ms e r v i c e s ，m o r ei m p o r t a n t l y , t h e d i s a s t e rt o l e r a n c eo fs y s t e mt h a tw h e t h e ri tc a nr e c o v e rs e r v i c e si nat i m e l y m a n n e ra f t e rt h ed i s a s t e r i nac o m p m e rs y s t e m ，t h ev a l u eo fd a t ai sm u c hh i g h e rt h a n t h ev a l u eo fh a r d w a r ed e v i c e s s t a t i s t i c ss h o wt h a tm a n yb u s i n e s s e sb e c o m e u n s u s t a i n a b l ea f t e rad i s a s t e rb e c a u s eo fl o s so fd a t a ，a n dd a t ad i s a s t e rr e c o v e r y t e c h n o l o g yt h e r e f o r eh a sb e e nw i d e l yc o n c e r n e d t h em s e a r c ho fs y s t e md i s a s t e r r e c o v e r yh a si m p o r t a n tt h e o r e t i c a ls i g n i f i c a n c ea n da p p l i c a t i o nv a l u e d i g i t a lc a m p u sb u i l d i n gi no u rs c h o o lh a sb e e nb a s i c a l l yc o m p l e t e d e a c h s y s t e mm o d u l eh a sa l s ob e e np u ti n t ou s e b yt h ee s t a b l i s h m e n to ft h el o c a ls e r v e r b a c k u p s ，ac e r t a i nr e c o v e r ya b i l i t yo fd a t al o s sc a u s e db yg e n e r a lv i r u s e s ，s y s t e m d o w n t i m ea n ds oo n ，h a sb e e nb u i l t t h ed a t ac e n t e rs h o u l d e rt h ew o r ko fd a t a c l e a n s i n g ，w o r kd i s t r i b u t i n g i nt h ee n t i r ed i g i t a lc a m p u s ，a n di st h e a u t h o r i t a t i v e g u a r a n t e eo fd a t ai nt h es y s t e m ，s t o r i n gal o t o fi m p o r t a n td a t a f o c u so nt h e c o n s t r u c t i o no ft h i ss t a g ei st os e tu pr e m o t eb a c k u pd a t ac e n t e rt oe n s u r es e c u r i t yo f d a t a t h es y s t e ms t i l lc a nr u nd a t ar e c o v e r yi nr e m o t ed i s a s t e rr e c o v e r yc e n t e re v e ni f i i i s u d d e nd e v a s t a t i n gd i s a s t e ro c c u r s t h i sa r t i c l ew a sp r o p o s e di m p r o v et h ep r e v i o u sb a c k u pa l g o r i t h m ，a n dm a d e s y s t e ms i m u l a t i o nb yu s i n gt h eo p n e t s i m u l a t i o nt o o l s ，u n d e rt h ep r e m i s eo fd e p t h u n d e r s t a n d i n go ft h ep r i n c i p l e so fd i s a s t e rr e c o v e r yt e c h n o l o g ya n dr e s e a r c hs t a t u sa t h o m ea n da b r o a d ，t ov e r i f yt h ev a l i d i t yo ft h ea l g o r i t h m a r t i c l ew a sd i v i d e di n t os i x c h a p t e r s c h a p t e ro n ei n t r o d u c e dt h er e s e a r c hb a c k g r o u n d ，r e s e a r c hs t a t u sa th o m ea n d a b r o a do ft h es u b j e c t ，t h em a i nt h e o r i e sa n dp r a c t i c a ls i g n i f i c a n c e i na d d i t i o n , t h e m a j o rr e s e a r c hw o r ka n dt h eo r g a n i z a t i o no ft h ep a p e rw e r ea l s om e n t i o n e di nt h i s c h a p t e r t h ea r t i c l ei n t r o d u c e dt h e d i s a s t e rr e c o v e r yc o n c e p t ，p r i n c i p l e ，m e t h o d i n v o l v e di nt h i sa r t i c l e s e v e r a le x i s t i n gr e m o t ed a t ar e p l i c a t i o nt e c h n o l o g yw a sa l s o b r i e f l yp r e s e n t c h a p t e rt w od e s c r i b e d t h e d e v e l o p m e n t o fd i g i t a lc a m p u ss i t u a t i o n , t h e c o m p o s i t i o no ft h ed a t ac e n t e r , t h es t i l lp r o b l e m so fd i s a s t e rr e c o v e r yc o n s t r u c t i o ni n t o d a y sd i g i t a lc a m p u s ，b yu s i n gt h ec a s eo f t h ed i g i t a lc a m p u sb u i l d i n gi no u rs c h 0 0 1 c h a p t e rt h r e em a d ef u r t h e ra n a l y s i st ot h ee x i s t i n gd a t ar e p l i c a t i o na l g o r i t h m s u s e di nt h ed i s a s t e rr e c o v e r yc o n s t r u c t i o no fo u rd i g i t a lc a m p u s ，a n di m p r o v e di tf o r i t ss h o r t c o m i n g s c h a p t e rf o u rs i m p l yd e s c r i b e dt h e c h a r a c t e r i s t i c sa n da d v a n t a g e so fo p n e t s i m u l a t i o nt o o lw h i c hi su s e di n t h ea u t h o r se x p e r i m e n t ，a n du s e dt h eo p n e t s i m u l a t i o nt o o li nt h i si m p r o v e dp r o t o c o lm o d e l i n ga n ds i m u l a t i o np r o p o s e di nt h e a r t i c l e c h a p t e rf i v ea n a l y z e dt h ee x p e r i m e n t a lr e s u l t s ，a n dv e r i f i e dt h ev a l i d i t yo f t h e a l g o r i t h m c h a p t e rs i xs u m m a r i z e dt h ew h o l ew o r ko ft h et h e s i sr e s e a r c h ，c o n c l u d e dt h e e x i s t i n gp r o b l e m sa n df u r t h e rr e s e a r c hd i r e c t i o n k e yw o r d s ：d i s a s t e rr e c o v e r ya n db a c k u p ；r e m o t ed a t ar e p l i c a t i o n ；d i g i t a lc a m p u s ； o p n e t i v 目录 摘要i a b s t r a c l i i i 目录v 第1 章绪论1 1 1研究背景1 1 2 容灾备份的意义、原理、方法简介1 1 3 国内外的研究概况3 1 4 本论文研究的主要内容5 1 5 论文结构6 第2 章我校数字化校园建设介绍7 2 1高校信息化建设的发展历程简介7 2 2 数据中心的建设8 2 2 1 高校信息化建设中存在问题8 2 2 2 我校数据中心的总体概况9 2 3 数据容灾备份系统建设的几个阶段1 0 2 4 我校容灾备份系统建设的背景和目标1 1 第3 章基于日志的数据远程异步复制协议设计1 3 3 1 复制技术简介1 3 3 2 一种基于日志的适应i o 速率的数据远程异步复制协议1 4 3 2 1 异步复制协议需要考虑的问题1 4 3 2 2 协议描述1 5 3 2 3 关键技术1 6 3 2 4 算法小结2 2 3 3 本章小结2 4 第4 章基于仿真工具o p n e t 的实验介绍2 5 4 1 网络技术的研究方法j 2 5 4 2 o p n e t 简介2 6 4 3 o p n e t 的仿真机制以及建模的主要步骤2 7 4 3 1 建模的主要步骤2 7 4 3 2 通信仿真机制2 7 v 4 3 3 离散事件仿真机制2 8 4 3 4 核心函数2 9 4 4 基于o p n e t 的实验介绍2 9 4 4 1自底向上的开发方法2 9 4 4 2 实验的详细实现3 0 4 4 3 实验中需要注意的问题3 5 4 5 本章小结3 6 第5 章实验及结果介绍3 7 5 1 实验结果3 7 5 2 实验小结4 0 第6 章总结与展望4 l 6 1 本文总结4 1 6 2 研究展望4 2 参考文献4 3 致谢4 6 攻读硕士学位期间参与的科研项目和公开发表的论文4 7 v i 高校数据中心远程数据复制技术研究与实现 1 1 研究背景 第1 章绪论 计算机和网络的发展推动了社会的信息化进程，随着计算机网络的不断深 入，企业的生存和发展越来越依赖于i t 系统，健全的信息系统是维持企业运 转的必要条件，信息丢失也会给企业带来不可估量的损失。而越来越多的企业、 政府、高校等机关部门采用先进的信息系统处理日常事务，这势必对系统的连 续性、可用性提出了更高的要求。但是，人们无法预测和避免信息系统故障甚 至是灾难的发生，如果没有采取有效的措施，各种病毒、硬件故障或者灾难会 导致系统瘫痪，这将严重影响到人们的日常工作和生活。 大量信息数据表明，如果没有计算机环境的连续性运行保障，企业的生存 发展都将面临极大的挑战，即使能在灾难过后进行重建，暂且不提需要耗费大 量的人力财力，丢失的许多宝贵数据也会给重建工作带来种种困难，使得重建 工作举步维艰甚至难以持续。1 9 9 3 年初纽约世界贸易中心发生爆炸，造成该中 心3 5 0 家公司中的1 5 0 家因失去了所需的重要信息系统而退出市场。2 0 0 0 年9 月7 日9 时中国银行收付系统计算机突然宕机，每小时近千笔国外汇款业务开 始积压，1 6 时启动手工处理，2 3 时系统才得以恢复。2 0 0 1 年“9 1 l 事件”中， 位于世贸中心大厦的n e wy o r km e r c a n t i l e 的业务一直没有间断。 国外权威机构的研究表明，对企业而言，灾难发生对计算机系统的破坏所 造成的影响己远远超出其他财物损失。而系统强大的容灾备份能力已经成为企 业灾后重建最重要的基础。 1 2 容灾备份的意义、原理、方法简介 对计算机系统而言，灾难指的是一切能引起系统非正常停机的事件，具体 原因包括计算机硬件故障、计算机病毒、自然灾害、基础设施如光纤电缆等突 发性事故等各种不可抗外界因素以及黑客入侵等各种人为因素。 高校数据中心远程数据复制技术研究与实现+ 灾难恢复与灾难备份是密切相关的。灾难备份和灾难恢复能极大地降低灾 难造成的损失，帮助计算机系统能在事故发生后尽快投入工作，保证服务的连 续性。灾难备份是指为了减少灾难发生的概率，以及减少灾难发生时或发生后 造成的损失而采取的各种防范措施。灾难恢复是指发生计算机系统灾难后，在 远离灾难现场的地方重新组织系统运行和恢复营业的整个过程【1 1 。对计算机系 统进行灾难备份建设的目的之一就是在事故未发生之前对重要数据进行备份 存储，保护数据的完整性和可用性。灾难恢复主要目标是快速恢复业务，在已 经进行数据备份的前提下，确保灾难发生时能够在短时间内恢复系统的运行， 提供连续的服务。 目前的系统备份主要通过冗余来实现。冗余指重复配置系统的一些部件， 当系统发生故障时，冗余配置的部件介入并承担故障部件的工作，由此减少系 统的故障时问。由于灾难的发生使得主要的数据( 或系统) 资源不可用的情况 下，采用冗余技术次要资源能够代替主要资源进行工作。所谓数据备份，就是 使用较低廉的存储介质，定期将系统业务数据备份下来，以保证数据意外丢失 时能尽快恢复，将用户的损失降到最低点，通常所说的数据备份技术是一种采 用“冗余 来进行数据恢复的经典技术【1 1 。当前存在的比较成熟的备份技术有 以下几种1 】f 2 l ： 1 磁带备份：就是按一定的时间间隔( 如一天) 用磁带备份数据，异地存 放，并在磁带存放地点配置一套完整的备用计算机设备、网络通信设备 和电源设备。当备份系统未启动时，与生产设备、终端用户之间没有通 信线路。一旦发生灾难，在备份机上恢复数据，在备份系统与终端用户 之间建立通信线路，然后启用备份系统恢复终端服务。 2 磁盘阵歹i j ( r a i d ) ：磁盘阵列是由一个硬盘控制器来控制多个类型、容量、 接口甚至品牌一致的专用硬磁盘或普通硬磁盘的相互连接，使多个硬盘 的读写同步，减少错误，增加效率和可靠度的技术。使其能以某种快速、 准确和安全的方式来读写磁盘数据，从而达到提高数据读取速度和安全 性。其原理是利用数组方式来做磁盘组，配合数据分散排列的设计，提 升数据的安全性。磁盘阵列读写方式的基本要求是，在尽可能提高磁盘 数据读写速度的前提下，必须确保在一张或多张磁盘失效时，阵列能够 2 高校数据中心远程数据复制技术研究与实现 有效地防止数据丢失。r a i d 技术主要包含p , a i d 0 - 7 等数个规范。 3 磁盘镜像：磁盘镜像是指在同一磁盘通道中安装两个硬盘，相同的数据 被同时存放在两个硬盘中以提供对数据的备份与保护。利用通信线路和 特殊的磁盘控制技术自动把整个磁盘复制到另一个磁盘上。镜像磁盘的 数据与主磁盘数据以实时同步或实时异步方式保持一致。一旦生产磁盘 或主磁盘出现故障，备份机可接替生产机运行，快速恢复终端用户服务。 磁盘镜像可备份所有类型的数据。 4 双机热备份：指的是两台服务器运行相同的操作系统和应用软件( 如数 据库软件) ，并且共享一个磁盘阵列，采用磁盘镜像，将应用数据建立在 磁盘阵列上，实现双机容错。双机热备的工作原理就是利用故障点转移 的方式来保证业务的连续性，使运行着的业务不至于因为系统的单点故 障中断，实现系统的高可用性。按工作中的切换方式可以分为：主。备方 式和双主机方式。 5 服务器集群：服务器集群就是指将很多服务器集中起来一起进行同一种 服务，在客户端看来就像是只有一个服务器。集群可以利用多个计算机 进行并行计算从而获得很高的计算速度，也可以用多个服务器做备份， 集群中的任何一台服务器发生故障，整个系统还是能正常运行。群集化 操作可以减少单点故障数量，并且实现了群集化资源的高可用性，它可 以保证系统2 4 7 的不问断运行，把非计划和计划的停机时间降到最低。 1 3 国内外的研究概况 随着计算机网络应用在人们日常生活中的不断深入，用户对应用系统的容灾 能力提出了更高的要求。用户希望应用系统能够提供7 * 2 4 小时的不间断服务， 同时希望应用服务器遭受到的灾害对用户的应用体验造成的不便缩减到最小。这 就要求系统能在服务器宕机或者遭到病毒侵害，甚至遭受到火灾地震等自然灾害 时能够保持服务的连续性，在最短的时间内恢复服务。基于这样的原因，数据的 容灾备份受到极大的关注，国内外的公司高校纷纷对数据容灾备份技术提出研究 并推出了各自的容灾系统。其中包括h p 、v e r i t a s 、i b m 、国内的浪潮软件等公 司以及西北工业大学、华中科技大学和四川大学等高校。 3 高校数据中心远程数据复制技术研究与实现 h p 公司开发了名为o p e n v m s 的高可用集群系统，具有高可用性、可扩展性 和灵活的计算环境，可以支持9 8 个节点，覆盖范围可达5 0 0 公里，能够提供不 问断的服务，可以容忍火灾、地震等不可抗的自然灾害。在一些应用软件的支持 下，可以为金融、制造业、政府等提供一个灵活的容灾系统，保证服务的连续可 用性。口1 v e r i t a s 公司的v o l u m er e p l i c a t o r 系统提供了同步和异步两种远程数据复 制方式，通过i p 网络进行传输，不需要复杂的硬件构造和专用的传输线路，复 制过程基于主机，使用f l a s hs n a p 技术检查远程数据，与距离无关，独立于磁 盘阵列，与v c s g c m 集成，构成了完整的灾难恢复解决方案，即应用系统灾难恢 复。3 3 i b m 公司提出了基于e s s 企业存储服务器的p p r c ( p e e rt op e e rr e m o t ec o p y ) 复制技术的容灾方案，以及基于i b mr s 6 0 0 0 服务器的h a g e o ( h i g ha v a il a b i li t y g e o g r a p h i cc l u s t e r ) 异地集群技术的应用级容灾方案。p p r c 的数据远程镜像 功能具有以存储为基础的、实时的、同步的、与应用无关的特点。h 1 在国内，北京装甲兵工程学院、上海欣方智能网有限公司以及北京邮电大学 计算机学院合作完成了基于主从异步复制技术的容灾系统h 3 ，该系统采用严格的 主从异步复制技术和多线程技术，不仅满足容灾系统的设计准则，还能通过数据 库底层函数层屏蔽不同数据库产品和版本之间的差异，实现不同数据库产品和版 本之间的数据复制，大大提高了系统的应用范围。 浪潮软件公司实现了基于海量实时数据库的h l r 容灾系统臼1 ，该系统通过将 生产中心数据库中的每一个更新操作异步的传送到备份中心的数据库，从而实现 数据容灾。 另外，西北工业大学实现了一个基于l i n u x 平台的数据容灾系统一一d d t 系 统。华中科技大学实现了一个基于统一存储网的网络文件备份系统。四川大学实 现了一种基于i n t e r n e t 的跨平台、跨地域的容灾系统，同时提出了一种基于 i n t e r n e t 的大型文件镜像模型。 在本文的参考文献中，文献 4 首先构建了一个基于i s c s i 协议的虚拟化存 储模型，并针对该模型中的安全数据传输，多容错数据布局，异构系统数据布局 以及针对不同应用领域的数据容灾技术进行了研究分析。 4 高校数据中心远程数据复制技术研究与实现 文献 5 提出了将o r a c l e 数据备份技术和e m c 公司的b c v ( b u s i n e s s c o n t i n u a n c ev o l u m e ) 技术相结合，针对银行系统对数据的较高要求，研究如何 能保证每天的数据能够及时、有效的备份。 文献 6 研究了面向对象的复制技术，同时提出广州消防通信指挥系统中数 据复制的解决方案。 文献 1 和文献 7 提出了对0 2 - s a f e 算法的优化办法，其中文献 7 还对 c 1 i e n t s e r v e r 数据库管理系统的恢复技术进行了研究，提出了一种新的算法 p 2 p b c c 并进行了系统模拟测试。 文献 8 研究了分布式并行数据库基础上的海量数据的备份和恢复策略以及 系统维护技术，针对通用的海量数据库应用系统，设计数据备份与恢复方案。 文献 9 研究了网络存储系统数据的冗余容错技术，提出了基于纠删码的数 据冗余分布方法。 1 4 本论文研究的主要内容 本文研究了用于灾难恢复的数据远程复制系统，结合高校数据中心的实际情 况，在基于日志备份方法的基础上，提出了一种优化的日志备份方法。 本文的主要工作包括： 1 概括叙述容灾的概念、原理等基本情况。对数据远程备份技术进行研究， 了解各种数据复制技术，描述国内外的研究现状。 2 以我校为例子，深入研究分析高校数据中心的组成架构，工作原理，运 行维护等各方面情况。 3 针对高校数据中心的远程数据备份提出解决方案，在研究基于日志的数 据远程备份方法的基础上进行改进，使得系统能够使用i o 速率的变化 进行及时调整备份传输频率，提高协议的数据传输准确率以及系统的吞 吐量。改进了数据复制算法在系统描述了它在正常情况下的处理过程， 以及使得系统在链路失效时可以及时反馈，方便使用者做出下一步判断 分析。 4 使用当今流行的仿真软件o p n e t 对系统及网络进行仿真建模，得出实验 结果并进行协议性能分析，验证算法改进的有效性。 高校数据中心远程数据复制技术研究与实现 1 5 论文结构 本文共分六章： 第1 章绪论，主要介绍课题的研究背景和国内外的研究现状，主要的理论 和实际意义，本文主要的研究工作以及论文的组织结构。对本文涉及到 的关于容灾的概念、原理、方法进行介绍，还将简单介绍现有的几种远 程数据复制技术。 第2 章以我校的数字校园建设为例，介绍数字校园的发展现状，数据中心 的组成架构，在当今数字校园的容灾建设中尚存在的问题。 第3 章针对我校数字校园的容灾建设，对现有的数据复制算法进行进一步 分析，针对其不足对其进行一定的改进，在原有的基础上增加一个日志 缓冲区，实现多日志多缓冲，提高i o 操作频繁的情况下系统的吞吐量； 在传输部分，使用时间和日志缓冲区容量两个参数对何时开始日志远程 备份进行控制，使得备份过程与i o 速率相适应；同时，主从服务器的 交互部分借鉴三次握手协议，在传输数据之前进行连接确认，保证双方 对数据传输一致性的认可。并在模拟网络环境中对上述协议改进进行实 现，验证是否达到提高数据备份的准确率以及系统的吞吐量的目的。 第4 章对本文的实验所用到的仿真工具o p n e t 的特点和优点进行简单介 绍。并使用o p n e t 仿真工具对本文提出的改进协议进行建模仿真。 第5 章分析实验结果，验证算法的有效性。 第6 章对整个论文研究的工作进行总结，指出工作中有待改进的问题以及 进一步的研究工作的方向。 6 围扩展到教学、生活的更大范围，使得全体师生可以在数字空间内实现知识共享， 最终达到无所不在的信息服务“任何人、任何时间、在任何地点都可以获得 他有权限的任何信息服务 的服务目标。至今为止，我校信息化建设历经了以下 四个发展阶段，数字校园是其中第四阶段的发展产物： 1 数据管理，以网络建设为中心，实现各部门系统联网互通是第一代数字 校园建设的目标，这一时期的建设主要为管理人员提供服务，建成后主 要完成网站信息实时发布，在各个子系统的帮助下，大大提高了教务信 息系统的工作效率，但却存在信息孤岛的问题。 2 数据共享，第二代数字校园建设以应用建设为核心，同样以管理人员为 服务主体，建立了统一的数据标准，强调的是数据协同、交换、门户认 证和数据集成的功能实现。 3 信息协同，与第二代数字校园相比，第三代数字校园的建设中心从面向 硬件和应用的建设转而以服务建设为中心，统一了技术支持标准，强调 流程和服务的整合，旨在为学生、教室、管理人员提供全面可用的服务。 4 知识共享，知识共享是第四代数字校园建设的目标，前三代的建设为此 阶段打下了坚实的硬件基础和软件设施，第四代建设更加强调了服务的 核心地位，进行s o a 整合，提高信息集成度，为用户提供信息分析和辅 助决策，深化了多维交叉式一体化的服务支持，把业务扩展到了更多的 教学和校园生活领域，全面扩大了数字校园的服务面。 7 高校数据中心远程数据复制技术研究与实现 数字校园的发展符合“诺兰模型”提出的变化阶段，所谓的“诺兰模型是由 美国哈佛大学教授查理诺兰提出的，指出了一个地区、一个行业及一个企业计算 机应用发展的客观道路及规律。对照诺兰模型，数字校园的建设就是集成阶段的 内容，这个阶段存在一个从数据存储向信息应用的“飞跃点 ，也就是说，通过 将分散的信息集成在一起，实现信息的高效应用，并为整体决策分析提供依据。 2 2 数据中心的建设 2 2 1高校信息化建设中存在问题 我校的信息化建设经过十余年的发展，基础设施已经趋于完善，同时，我校 也逐渐意识到内容应用发面的欠缺，目前我国高校的信息化建设基本上处于“控 制阶段 ，普遍存在着“重硬件，轻软件；重采购，轻应用 等问题，特别是在 信息管理方面，突出表现为：信息资源分散、应用系统众多、缺乏统一管理，也 就是“信息孤岛”现象。从总体上来说，由于缺乏整体规划，在信息化建设方面 中存在着一些不足之处： 1 缺乏统一建设的基础平台，应用系统的建设主要是处理具体业务或者解 决局部问题，信息资源分散，对整个数字空间的高度考虑不足，很少根 据业务逻辑设计跨部门的系统。 2 提供的信息服务不能按照用户需要来组织，重视采购信息系统及基础设 施，而忽视了系统的使用主体用户，也就是对教职工和学生需要什 么信息、如何组织信息、如何提供信息等考虑不足。 3 重视对环境和资源的数字化，忽视了过程的数字化。例如，在多媒体机 房建设、教务管理系统、电子图书等方面投入较多，对教学过程、科研 管理等的支持相对较少。 4 重视对管理活动实施信息化，而对教、学、科研这些主体活动的信息化 支持不够。 5 信息的集成仍然停留在数据整合的层次，主要是通过后台的数据库手段 进行数据交换与共享，很少根据信息资源的综合应用层次看待信息的整 合问题，未能实现信息资源的有效应用和合理流动。 8 高校数据中心远程数据复制技术研究与实现 6 重视信息系统的开发和建设，忽视系统运行维护问题，致使信息系统的 使用效率和故障响应速度不高。 解决这些问题的核心就是：基于整体规划、利用信息集成的技术手段，建立 面向用户的符合各项标准规范的信息服务模式，这也正是“数字校园 工程的核 心内容。我校“数字校园”的总体建设目标是：在总体建设规划的指导下，经过 未来几年的建设，在高性能的网络安全体系的支撑下，在传统校园中构建一个集 合信息资源、教学、科研、管理、工作、生活的全数字空间，最终形成教育过程 全面信息化，实现教育的信息化和现代化。 2 2 2 我校数据中心的总体概况 基于以上提到的各种问题，针对我校现存系统中存在的信息孤岛现象，建设 一个数据共享中心，有利于进行信息资源的统一规划，帮助解决各个子系统数据 不一致，结构不兼容等问题。 我校共享数据中心是收集、处理和存储各类共享数据，并为全校提供信息共 享服务的平台。共享数据中心作为校内基本数据的共享平台，将各个业务部门的 基本数据进行集中整理，保证数据的权威和准确。在用以存放大量数据的同时有 效地将数据管理起来，并提供数据访问的手段，为系统集成和各个系统之间的数 据共享提供平台，保证数据的及时性、完整性和一致性。共享数据中心承担着数 字校园中的大量数据、信息、流程以及处理结果的责任n 1 3 。 共享数据中心在整体规划上需要完成两部分功能，一部分是实现各个系统之 间的数据交互，另外一部分功能则是实现数据服务【1 2 1 。数据交互功能主要针对各 个系统间的公用数据进行存储、整理，当某个系统数据更新之后，由数据共享中 心完成各个系统之间的数据转发和同步，保证各个系统中所使用的数据的唯一性 和有效性。而数据服务功能则是针对客户的需要，通过各个系统进行数据展示， 使得用户能够更好地使用各个系统提供的各项功能，如数据报表等。 现有的数据存储涵盖了s q ls e f v c f 、o r a c l e 、d b 2 等不同的数据库管理系统， 基于这种情况，需要对已有的数据进行整合，按照统一的信息标准进行规范化管 理，解决数据的唯一性，标准化和准确性等问题。需要建设统一的数据访问平台， 实现统一的数据访问和修改，消除应用对不同数据源的复杂调用，这一功能主要 9 高校数据中心远程数据复制技术研究与实现 由数据共享中心来完成。 由于数据中心功能的特殊性使其在数字校园建设中具有举足轻重的地位，为 整个数字校园顺利运行提供数据支持，其中存储的数据资源也是独一无二的，一 旦发生数据丢失将会严重影响到数字校园的整体运行甚至造成系统瘫痪。 2 3 数据容灾备份系统建设的几个阶段 我校数字化校园建设至今已经经历了从研究到开发的阶段并且已经正常投 入使用了。由于共享中心数据的特殊性和唯一性，若发生故障造成数据丢失，后 果是极其严重的，故必须对其中存储的数据进行容灾备份。 容灾系统是指在相隔较远的异地，建立两套或多套功能相同的i t 系统，互 相之间可以进行健康状态监视和功能切换，当一处系统因意外( 如火灾、地震等) 停止工作时，整个应用系统可以切换到另一处，使得该系统功能可以继续正常工 作。如图2 1 所示，容灾系统的建设包含了四个阶段，可以归纳为本地容灾系统 建设和异地容灾备份两个方面。其中，本地数据保护和实现本地应用的高可用性 阶段都是在本地服务器对系统数据进行定时备份，使系统能够抵御单点故障的威 胁，即使在某一个或某几个服务域发生故障时能够利用备份数据及时恢复使用。 异地数据保护阶段则是通过网络把本地数据传输到异地进行备份，以便灾难过后 能够及时利用异地的存储备份恢复系统服务，属于异地备份的范畴，对突发事件 如本地服务器受到攻击、宕机、火灾等有一定的抵御能力。第四阶段的目标是保 证应用的连续性，主要工作是建立异地数据备份中心，把本地服务器的数据和应 用资源完全备份至异地的备份服务器并进行切换设置，使得在本地服务器发生破 坏性灾难的时候，主服务器和备份服务器能够及时进行服务切换，保证服务的连 续性，实现灾难对用户的o 影响。 1 0 高校数据中心远程数据复制技术研究与实现 灾备级别 | i 一 图2 1 容灾系统建设的四个阶段 我校的数据共享中心在容灾备份方面已经做到了本地的数据备份，在s u n e 2 5 k 服务器上开辟专门的数据备份域d b b a c k 提供数据备用，使得系统能够抵御 如病毒入侵、服务器宕机等本地故障，但备份级别仅限于本服务器，实现起来会 有部署结构混乱，涉及较多配置修改，迁移风险大等问题，同时，因为其他的各 个域上都有应用在运行，不能进行灾难备份过程的演练。 为了提供更高级的备份服务，使系统不但能够抵御本地灾难而且对某些自然 灾害也具有一定的抵御能力，能在事故发生后及时恢复服务，必须对系统数据进 行远程备份。 2 4 我校容灾备份系统建设的背景和目标 我校目前有石牌校区、大学城校区、南海校区三个校区。石牌校区与大学城 校区通过三条光纤互连，其中一条为备用专用链路；石牌校区与南海校区通过租 用电路实现千兆互联。 学校共享数据中心机房包容了学校各主要应用信息系统，也是本次异地容灾 备份系统的数据生产中心。数据中心内的主要服务器设备包括：s u nf i r ee 2 5 k 小型机系统、h p4 4 4 0 小型机系统、若干套h p 刀片服务器系统。 容灾备份机房也是本次异地容灾备份系统的数据备份中心，与数据生产中心 位于不同的两个校区。该机房目前有一套h p 刀片服务器系统( 含8 片h p 4 6 0 c 高校数据中心远程数据复制技术研究与实现 刀片服务器) 。 本异地容灾备份系统项目希望通过在石牌校区网络中心( 容灾备份中心) 现 有的刀片服务器设备和s p a r c 架构服务器通过对操作系统和环境参数的等同配 置，实现对生产中心中的信息系统操作系统环境进行系统备份；把生产中心中原 存储设备的数据文件和数据库迁移到备份中心的存储阵列，备份中心存储阵列在 项目实施后成为生产中心的主存储设备和远程数据复制源；结合备份中心存储阵 列和数据异地备份软件，用数据镜像和数据复制等技术，把生产中心存储阵列的 关键数据文件和数据库远程数据实时复制到备份中心。系统容灾备份目标图如下 图2 2 所示g 图2 - 2 异地容灾备份系统项目目标简图 通过对数据的备份使得生产中心发生故障或灾难时，启动容灾备份中心的主 机备份和数据备份可以在目标时间内完成关键应用服务的接管。 1 2 高校数据中心远程数据复制技术研究与实现 第3 章基于日志的数据远程异步复制协议设计 3 1 复制技术简介 正如前面介绍的，当今比较流行的容灾系统主要依靠数据冗余来实现，一个 典型的容灾系统包括主服务器，通信链路，备份服务器三部分组成，其中数据的 远程复制技术是容灾系统的核心技术，保证了数据的远程备份和灾后数据恢复。 远程数据复制，指的是把系统数据从本地存储设备( 服务器) 发送到异地备 份存储设备( 服务器) 进行副本保存，具体有同步复制和异步复制两种方式。顾 名思义，同步复制就是指在本地服务器发生一个写i o 请求的同时，后台的复制 程序实施地转发写请求至异地服务器，当本地和异地服务器都响应请求后才进行 下一步的i o 操作。由此可知，理论上，同步复制具有极高的实时性，能够保证 在任意时刻备份数据都与主服务器的数据保持一致，而不会造成任何数据的丢 失。但实际应用中，由于带宽的限制、传输链路时延以及用户对服务器处理速度 的要求等因素的限制，完全实时的同步复制会严重影响i o 速度，导致服务器效 率低下，而要保证链路畅通，减少时延，增加带宽，需要付出昂贵的代价。事实 上，在日常的应用系统中，对系统数据复制的实时性要求并不是非常高，所以也 就出现了数据复制的另一种方式数据异步复制。数据异步复制方式指的是当 本地系统收到一个写请求时，并不需要立即转发此请求至异地，而只是暂存起来， 只要本地执行完成就可以继续响应下一个服务请求，异步方式只要求在某一时段 把“累积 的写请求一次性传输至异地，实现本地和异地数据同步。与同步复制 方式相比，异地数据复制的实时性显然比较低，但却把本地服务器从漫长的等待 中解放出来，使其能够以最快的速度响应用户的请求，减少用户等待时间，提高 服务器的工作效率。 高校数据中心远程数据复制技术研究与实现 3 2 一种基于日志的适应i o 速率的数据远程异步复制协议 3 2 1 异步复制协议需要考虑的问题 在异步数据复制方式中，本地的写操作并没有立即提交至异地备份服务器 中，而是进行短暂存储，等待某一触发条件发生，再进行批量传输。异步传输方 式的这种特性保证了服务器对请求的快速响应，允许本地数据与异地数据存在一 定数量的滞后操作。异步数据复制协议需要考虑以下几个问题【4 1 1 1 3 】： 首先是可恢复性：可恢复性是指在任意时刻t ，异地存储设备的数据视图为 本地存储设备在过去某一时刻t l 的数据视图，可以通过传输完整地恢复到时刻t l 的数据，那么就认为系统的数据是可恢复的。 其次是收敛性：在异步数据复制系统中，收敛性指的是在任意时刻，如果本 地存储设备停止写操作，而复制系统的其它组件正常运行，那么系统必须能够在 有限的时间内把已经发生了的数据更新反映到异地存储设备上，从而使本地和异 地存储设备中的数据保持一致。 第三是数据的丢失量：由于在进行数据