（计算机应用技术专业论文）协同化网络安全事故恢复技术研究.pdf

两北l 。业人学硕 “学位论文 摘要 摘要 本文的选题来源于国家高技术研究发展计划资助项目“网络协同安全技术研 究”( 国家8 6 3 计划，课题编号：2 0 0 3 a a l 4 2 0 6 0 ) 和西北工业大学研究g i 创新基 金“i p v 6 下的入侵检测系统”( 课题编号：z 2 0 0 4 0 0 5 4 ，本文作者申请) 。通过对 课题中协同化事故恢复技术深入的研究与分析，结合相关国内外发展现状、关键 技术和现有理论成果，完成了协同化事故恢复子系统( c o o p e r a t i v ed i s a s t e r r e c o v e r ys y s t e m ，c d r s ) 的设计与实现。 容灾恢复系统是当前网络安全领域研究的热点问题。协同化网络安全事故恢 复技术的研究目标是实现一个高性能、低成本、能与其他网络安全设备协同工作 的异地多备份容灾恢复系统。对容灾恢复的性能影响比较大的是备份和恢复的速 度、原文件和备份之间的同步程度以及容灾系统自身的可靠性。对于这几点，本 文进行了相关的研究，并提出了一个的容灾系统实现方案。本文的主要内容和研 究成果如下： ( 1 ) 设计了协同化事故恢复系统的总体结构和工作流程。提出了事故恢复 系统联盟的概念，联盟内多台主机地位对等、互为备份，实现了一个异地多备份 的容灾恢复系统。 ( 2 ) 对于大型数据文件，使用多源数据备份恢复传输算法( m u l t i s o u r c e b a c k u pa n dr e c o v e r yq t l i c kt r a n s m i s s i o na l g o r i t h m ，m s b & r t 算法) ，实现了 海量数据的多点快速备份和快速恢复。 ( 3 ) 使用高效远程数据同步算法( e f f i e i e n t r e m o t ed a t a s y n c h r o n i z a l i o na 】g o r i t h m ， e r d s 算法) ，实现了重要数据的实时恢复和备份 文件的更新维护。 ( 4 ) 使用事故恢复系统联盟成员和副本管理方案，包括联盟成员和副本的 检查、副本节点的选择和副本文件更新，实现了联盟成员和副本的自主管理，保 证了系统高效、可靠的运行。 ( 5 ) 使用线性纠错码技术( l i n e a re r r o rc o r r e c t i o nc o d e ，l e c c ) ，解决 了备份和恢复过程中数据传输的差错控制问题。 以1 2 成果分别应用于“网络协同安全技术研究”和“i p v 6 一f 的入侵检测系统”。 其中“网络协同安全技术研究”已于2 0 0 5 年1 1 月顺利通过“8 6 3 ”专家组验收， 验收评价为优秀；“i p v 6 下的入侵检测系统”已于2 0 0 5 年5 月顺利通过验收。本系 统曾经在陕西省财政厅、陕西省招生办等多家单位试用，取得较为满意的效果。 关键词：容灾系统 协同化多源数据传输远程同步副本管理线性纠 错码 a b s t r a c t t h i s p a p e r i s s u p p o r t e db y “n e t w o r kc o o p e r a t i v es e c u r i t yt e c h n o l o g y r e s e a r c h ”，t h en a t i o n a lh i g ht e c h n o l o g yr e s e a r c ha n dd e v e l o p m e n tp r o g r a mo f c h i n a ( 8 6 3p r o g r a m ) u n d e l c o n t r a c tn o2 0 0 3 a a l 4 2 0 6 0 ，a n d “i n t r u s i o nd e t e c t i o n s y s t e mb a s e d0 1 1i p v 6 ”，t h eh m o v a t i v er e s e a r c hf u n do fn o r t h w e s tp o l y t e c h l - d c u n i v e r s i t yu n d e rc o n t r a c tn o z 2 0 0 4 0 0 5 4a u t h o rs p e n tm u c ht i m eo nt h er e s e a r c h a n da n a l y s i so ft h et e c h n o l o g yo fc o o p e r a t i v ed i s a s t e rr e c o v e r yi nt h ep r o j e c t ，a n d s t u d i e dt h el a t e s tn a t i o n a la n di n t e r n a t i o n a lt e c h n o l o g yi nt h i sf i e l d ，f i n a l l yf i n i s h e d t h ec o o p e r a t i v ed i s a s t e rr e c o v e r ys y s t e m ( c d r s ) n o w a d a y s ，d i s a s t e rr e c o v e r yi so n eo fh o t s p o t si nd o m a i no fn e t w o r ks e c u r i t y t h eo b j e c t i v eo fc d r si sa ne f f i c i e n ta n dl o wc o s ts y s t e mw h i c hs a v em u l t i - r e p l i c ai n r e m o t eh o s ta n dc o o p e r a t ew i t ho t h e rn e t w o r ks e c u r i t ys y s t e m t h ep e r f o r m a n c eo f d i s a s t e rr e c o v e r ym a n i f e s t si ns p e e do fb a c k u p r e s t o r e ，t h es y n c h r o n i z a t i o nb e t w e e n o r i g i n a ld a t e a n di t s r e p l i c aa n ds e c u r i t y i t s e l f t h e s ea s p e c t sh a v eb e e nf u l l y c o n s i d e r e d ，a n dap l a no fd i s a s t e rr e c o v e r ys y s t e mi sp r o p o s e dt h em a i nc o n t e n t a n dw o r k so ft h i sr e s e a r c ha r es h o w na sf o l l o w s ( 1 ) c o l l e c t i v i t yf r a m e w o r ka n dp r o c e s so fc d r si sd e s i g n e d ，a n dc o n c e p to f a l l i a n c eo fc d r si sp r e s e n t e dt h eh o s t so ft h ea l l i a n c ea 1 ep e e rt op e e ra n ds t o r e r e p l i c ae a c ho t h e r ( 2 ) a na l g o r i t h mo fm u l t i - s o u r c eb a c k u pa n dr e c o v e r yq u i c k7 f r a n s m i s s i o n ( m s b & r 1 1 ) i sp r e s e n t e da n du s e di nt r a n s m i t i o no fv a s ts c a l ef i l e s ，w h i c hc a r r yo u t t h ef a s tm u l t i r e p l i c a t ea n dt h ef a s tr e s t o r a t i o no fm a s sd a t a ， ( 3 ) a na l g o r i t h mo fe f f i c i e n tr e m o t ed a t as y n c h r o n i z a t i o n ( e r d s ) i sp r e s e n t e d ， w h i c hi m p l e m e n tr e a l - t i m er e s t o r eo f c r u c i a ld a t aa n dm a i n t e n a n c eo f r e p l i c a ( 4 ) as c h e m eo fm a n a g e m e n to fc d r s a l l i a n c ea n dr e p l i c ai sp r o p o s e d ，c h e c k u p o fa l l i a n c em e m b e r , s e l e c t i o no fr e p l i c an o d ea n du p d a t eo fr e p l i c ai n c l u d e d t h e s e l f - a c t i n gm a n a g e m e n to fd i s a s t e rr e c o v e r ys y s t e mc a nb er e a l i z e dv i at h es c h e m e s e c u r i t ya n de f f e c t i v i t yo ft h es y s t e mi sg u a r a n t e e d f 5 1l i n e a re r r o rc o r r e c t i o nc o d e ( l e c c ) i su s e dt or e s o l v et h ep r o b l e mo fe r r o r c o r r e c t i o ni nt h ep r o c e s so fb a c k u pa n dr e s t o r e t h ea b o v es t u d i e sh a v eb e e na p p l i e dr e s p e c t i v e l yi n “n e t w o r kc o o p e r a t i v e s e c u r i t y ”a n d “i n t r u s i o nd e t e c t i o ns y s t e mb a s e do ni p v 6 ”t h ef o r m e rp r o j e c th a s b e e na p p r o v e db y “8 6 3 e x p e r tg r o u pi n2 4 “n o v2 0 0 5 a n dt h el a t e ro n eh a sb e e n a p p r o v e db ye x p e r tg r o u p i nm a y2 0 0 5 t h es y s t e ma p p l i e di nf i n a n c ed e p a r t m e n to f s h a a n x ia n de x a m i n a t i o n sd e p a r t m e n to fs h a a n x i t h ee f f e c ti ss a t i s f y i n g k e y w o r d ：d i s a s t e rr e c o v e r ys y s t e m ，c o o p e r a t i v e ，m u l t i s o u r c et r a n s m i s s i o n ， r e m o t ed a t as y n c h r o n i z a t i o n ，r e p l i c am a n a g e m e n t ，l i n e a re r r o rc o r r e c t i o nc o d e i i 塑! 坠些叁耄堡圭童堡篁兰篁：三童丝丝 1 1 课题选题背景及意义 1 1 1 课题研究背景 第一章绪论 本论文的选题来源于国家高技术研究发展计划资助项目“网络协同安全技术 研究”( 国家8 6 3 计划，课题编号：2 0 0 3 a a l 4 2 0 6 0 ) 和西北：j ：业大学研究生创新 基金“i p v 6 下的入侵检测系统”( 课题编号：z 2 0 0 4 0 0 5 4 ，本文作者申请) ，其中 “网络协同安全技术研究”己于2 0 0 5 年儿月2 4 日顺利通过8 6 3 专家组验收， 验收评价为优秀。本课题在前期8 6 3 项目“黑客监控技术研究”( 2 0 0 1 年立项， 2 0 0 3 年验收，2 0 0 4 年获陕西省科技成果二等奖) 的基础上深入开展，是“集成化 网络安全防卫系统”( 课题编号：2 0 0 3 a a l 4 2 0 6 0 ) 的分项目之一。 本文的研究内容协同化网络安全事故恢复技术研究，属于“删络协同 安全技术系统”( n c s s ，n e t w o r kc o o p e r a t i v es e c u r i t ys y s t e m ) 和“黑客监控 系统”( h m s ，h a c k e rm o n i l 。o r i n gs y s t e m ) 的协同化事故恢复子系统，主要进行 容灾和数据恢复的研究。 1 1 2 本文研究的意义 信息和数据作为企业宝贵的资源，其重要性已经得到了人们的充分认识，对 于信息时代的企业而苦，健全的信息和数据往往是维持其运转所必须的基本条 件。如何保护信息数据资源，已经成为整个社会所必须考虑的重大问题。 随着网络速度的进一步提高以及高速存储设备的降价，高速信息交换、大容 量存储等困扰科研人员多年的问题基本得到了解决。出于分布式的应用和数据所 带来的维护和运营费用非常昂贵，已经给大型企业的发展带来了束缚。于是，数 据大集中已经成了一个热门的话题。中国工商银行在2 0 0 0 年就前瞻性地启动了 数据大集中工程，并在2 0 0 2 年完成了全部工程的建设。同时，其它银行和大型 证券公司也纷纷迎头赶上。大集中已经成为包括银行、证券、保险等行业在内的 整个金融信息化发展的大趋势。 数据大集中所带来的信息基础设施整合有其定的好处，但是也造成了很大 的隐患，旦数据损坏后果将不堪设想。 2 0 0 1 年9 月1 1 日，美国世贸中心双子大厦遭受了谁电无法预料的恐怖打击。 阿北工业人学硕i ：学位论文 第一章绪论 灾难发生前，约有3 5 0 家企业在世贸大厦中工作。事故发生一年后，重返世百 大厦的企业变成了1 5 0 家，有2 0 0 家企业由于重要信息系统的破坏，关键数掘 的丢失而关闭。其中的一家公司称，要恢复到灾难前的状态需要5 0 年的时问。 2 0 0 3 年，a t & t 试图对s i e b e l 客户关系管理( c r m ) 软件进行升级，但是 却因为员工的误操作导致了数据丢失的重大灾难。这使a 1 1 t 损失了一亿多美 元，仅增加的用户欠款、员工加班费和承包商的佣金就高达7 5 0 0 万美元。此外， 技术故障也导致该公司去年第州季度的新增用，、数急降8 2 。 2 0 0 3 年，国内某电信运营商的计费存储系统仅发生了两个小时的故障，就 造成4 0 0 多万元的损失。这尚不包括对公司声誉的影n 向所导致的无形资产流失。 据i d c 的统计数字表明，美国在2 0 0 0 年以前的十年问发生过数据丢失等 灾难的公司中，有5 5 当时倒闭。剩下的4 5 中，有2 9 在两年之内也将倒闭， 生存下来的仅占1 6 。国际调查机构g a r t n e rg r o u p 的数据表明，在由于经历灾 难而导致系统停运的公司中，有2 1 5 雨也没有恢复运营剩下的公司中也有l 3 在两年内破产。 美国德克萨斯州大学的调查显示：“只有6 的公司可以在数据丢失后生存下 来，4 3 的公司会彻底关门，5 i 的公司会在两年之内消失”。另一份研究报告 也显示：在灾难之后，如果无法在1 4 天内恢复信息作业，有7 5 的公司业务会 完全停顿，4 3 的公司再也无法重新开业，2 0 的企业在两年之内被迫宣告破产。 而随着企业对数据处理依赖程度的递增，此比例还有上升的趋势。 同样是“9 1 1 ”世贸大厦倒塌后，金融界巨头摩根斯坦利公司在事发几个 小时后就宣布：全球营：l k 音g 可以在第二天照常工作。这都是因为该公司建立的数 据备份和远程容灾系统，它们保护了公司的重要数据，在关键时刻挽救了摩根斯 坦利，同时也在定程度上挽救了全球的金融行业。 这就说明，建立一个行之有效的远程容灾和事故快速恢复系统是极为重要 的，即使是在突如其来的覆巢之灾下，亦可以保存完卵。虽然不能控制、防止或 预见灾难的发生，但如果灾难发生时已做好了相应的准备，就可以保护重要数据， 应对各种可能的灾难“3 。 1 1 3 国内外发展现状 从手工备份方式发展到自动备份模式，从磁带备份到磁盘备份，从磁盘备份 到远程备份，容灾备份过程已经发生了很大的变化，自“9 1 l ”事件以后，异地 网络备份f 1 益显示出其强大的吸引力。针对许多重大灾难，如机房破坏、磁盘数 据丢失等，远程容灾系统应运而生。当应用系统的环境因灾难性事件遭到破坏时， 要迅速恢复应用系统的数据、环境，立即恢复应用系统的运行，保证系统的可用 性，没有异地的数据备份和容灾恢复系统是不可能完成的。在技术上，近年来容 些! 塑；些叁竺：至! 苎耋堡丝苎 塑主堑丝 灾方面的技术发展非常快，已经由单纯的磁盘阵列等海量存储发展到l a n 零带宽 占用( l a n f r e e ) 备份和零服务器资源占用备份技术的应用。在建立容灾系统时会 涉及到多种技术，如：s a n 或n a s 技术、远程镜像技术、基) 二】p 的s a n 的互连 技术、快照技术等。这些技术基本上采用专线网络，建设成本很高，中小企业无 力支付。另外，容灾系统由于其“投入高、概率小；建设易、维持难”的特点， 也是一些企业可望而不可及的”“。 当前，新兴的容火外包服务f l 勺出现，解决了部分容灾的问题。中小企业的 容灾外包逐渐成为未来发展趋势。越来越多的企业认识到，自建数据备份中心不 但前期投入大，而且维护运营也需要投入比较大的人力。因此。除了敏感部门外， 外包业务越来越受到企业的青睐。但是灾难备份外包还面临一系列的新问题，目 前国内可供选择的服务公司太少，而且相关的法律规范和技术标准尚不健全，还 不能完全通过法律或者合同把企业和服务商的权利和义务界定清楚。另外，商业 信用体系在中国还不完善，如何保证数据安全也是企业担心的问题。 因此，研究一种全新的灾难恢复系统，减少企业在容灾方面的投入，进一步 提高数据的安全性及司1 靠性，具有重大意义及实用推广价值。本文研究的协同化 网络安全事故恢复系统，在企业现有网络基础h ，通过研究大型数据备份恢复传 输的几个关键技术，无须添加昂贵的设备，就可以构建一个高性能、低成本、异 地多备份的容灾系统，实现异地普通存储设备的可靠数据备份、快速的甚至实时 的数据恢复。 1 2 基本概念和关键技术 1 2 1 灾难的概念 从广义上讲，对于一个计算机系统而言，一切引起系统非正常停机和数据丢 失破坏的事件都可以称为灾难。这些事件大致上可以分为以下四种类型： 自然灾难：包括地震、台风、水灾、雷电、火灾等，这种灾难破坏性很大， 影响面比较广，对计算机系统的打击一般是毁灭性的，短时间内不易恢复数据。 硬件故障：包括c p u 、硬盘损坏等硬件故障、电源中断、网络故障等，这类 灾难影响范围较自然灾害小，破坏性也稍小，但因为涉及硬件因素，般需要人 为参与恢复。 软件故障：系统不稳定造成的宕机、软件b u g 造成的数据破坏等，这些灾难 影响范阐小，不对计算机的硬件造成损坏，可以在短时间内恢复。 人为因素：包括操作人员误操作、黑客攻击造成的宕机、黑客对数据的蓄意 破坏等，这些灾难一般针对计算机中的数据，影u 向范围最小，可以进行在线的实 时恢复。 容灾就是在灾难发生时，能够保证数据尽量少或没有丢失，系统能够不问断 地运行，或者尽量快地恢复系统f 常运行。容灾一般是通过数据或者硬件的冗余 来实现的，在灾难发生时，可以利用备用数据和备用系统来迅速t 恢复正常运行， 将损失降到最低l 。 容灾是一个范畴比较广泛的概念，广义上，可以把所有与业务连续性相笑的 内容都纳入容灾。容灾系统对于i t 业而言，就是一个能防止提供给用户胁务遭 受各种灾难影响破坏的计算机系统。它更多的表现为一种未商绸缪的主动性，以 及在灾难发生后的迫不得已而又非常及时的“亡羊补牢”。 从狭义的角度，平常所讲的容灾是指，除了主系统以外，用户另外备份兀余 数据，建立的冗余系统：当灾难发生，主站点的数据、系统或主机硬件受到破坏， 冗余数据和系统可以恢复主系统的数据或者接管主站点提供的业务，达到提供不 i 断业务的目的。容灾系统的核心就在于将灾难化解，一是保证数据的安全，二 是保证业务的连续性。 1 2 3 容灾的分类 灾难所包含的内容较广，容灾所涉及的内容也较多，所以可以从多个角度对 容灾进行分类。 从距离角度可以分为本地容灾，近距离容灾，远距离容灾。这三种类型所能 容忍的灾难也不尽相同，它与主系统和冗余系统的距离是密切棚关的。 从应用角度，可以分为数据级容灾、应用级容灾和业务级容灾。数据容灾和 应用容灾不能分丌，数据容灾是应用容灾的基础，没有数据安全，应用的连续性 是无法保证的，应用容灾也就无法实现；而业务级容灾是建立在两者之上的更高 层次的容灾系统，它对业务提供综合性的全面的容灾保护措施。 数据容灾是指建立一一个备用的冗余数据系统，该系统是对主系统关键应用数 据的备份。当出现灾难时，可由备用系统对主系统的数据进行恢复。数据容灾的 关注点在于数据，即灾难发生后可以确保用户原有的数据不会丢失或者遭到破 坏。应用容灾是在数据容灾的基础上建立起来的，它比数据容灾层次高，即建立 一套完整的、与主系统相当的冗余系统可以为主系统提供备份保障，也可与 主系统共同工作互为备份把执行应用处理能力也复制一份。在灾难出现后， 冗余系统迅速接管或承担主系统的业务运行。 对于一个容灾系统来说，所涉及技术可能多种多样，但其芙键技术主要有数 据存储管理、数据复制、灾难检测等几个方面。 j 数据存储管理技术 数据存储管理是指与计算机系统数据存储相关的系列操作进行的统一管 理，是计算机系统管理的一个重要组成部分，也是建立一个容灾系统的重要组成 部分。当今的数据存储管理工作已经超出早期的数据备份1 ：作的范畴，包括了数 据备份、数据恢复、备份索引和备份设备等与数据备份相关的所有管理，成为容 灾系统管理的一个重要组成部分。 数据备份是数据存储管殚中的一个重要部分。数据备份的评价标准包括备份 速度、恢复速度以及数据恢复点个数。提高数据备份管理的透明性和自动化，管 理好各种存储设备，足需要解决的一个重要问题。另外随着网络技术的不断发展， 网络带宽的不断提高，出现了通过因特网进行远程备份的技术，并提供压缩和加 密的功能，以保i 正传输的可靠性和及时性，这也涉及到数据传输技术，是建立大 规模的数据灾难备份中心的基础。 2 数据复制技术 数据复制是容灾系统的核心技术。数据复制，就是将一个地点的数据拷贝到 另外个不i 司的物理点上的过程。按照地域划分，可分为本机复制、不同主机问 的复制和异地远程复制。按照同步方式划分，可分为同步复制和异步复制。根据 复制数据的层次进行细化，又可以分为硬件级的复制、操作系统级的复制、数掘 库级的复制和业务数据流级的复制。 容灾数据复制的性能和网络带宽、复制距离、数据传输方式、数据块打包方 式、系统处理能力有关，其中数据传输方式是影响远程复制效率的最关键因素。 数据的传输方式有多种多样，比如对于海量数据，可以使用多线程多点的传输方 式，在保证数据完整性的同时，能大幅度提高数据传输效率，提高备份数据的同 步性；对于更改较少的数据，可以使用差量数据传输的方式，在多次的数据备份 中减少数据传输量，从而降低数据复制时间。 3 检测技术 检测技术是容灾系统的前提。只要发生灾难，要么系统便崩溃，要么数据遭 到破坏。对于火灾、地震、网络故障、停电等灾难，可以依靠人为确定，但是对 于软件毁坏、黑客攻击和数据破坏等很难觉察到的灾难就不能仅仅依靠人去发 现。现在对灾难的发现方法一般是通过心跳技术、检查点技术和审计技术。 矍丛竖；娑会! 笺譬罢善堡兰鋈兰：。彳一一 篓：耋丝堕 1 3 论文研究内容与组织结构 1 3 1 论文研究内容 协同化网络安全事故恢复技术研究实现了个协同化事故恢复系统。事故恢 复系统首先将重要的数据文件备份剑异地的多个备份点，然后剥这些重要的数据 文件进行实时监控，当数据文件遭到破坏时，可以立即得到这一事件的消息，而 且还能在很短的时间内恢复被破坏的数据。另外，它还实现了和其他些网络安 全系统如仂、同化事件审计系统和电了取证系统的联动工作。 协同化事故恢复技术使用l e c c 编码技术，解决了备份和恢复过程中数据传 输的差错控制问题；使用多源数据传输算法，完成了海量数据多点的快速备份和 快速恢复；使用高效远程数据同步算法，实现了实时的关键数据恢复和备份更新 维护；使用事故恢复系统联盟成员和副本管理方案，实现了联盟成员和副本文件 的自主管珲。具体研究内容包括： i l e c c 编码传输技术：当遭受灾难明，数据传输的可靠性将变得很差， 而传统的t c p i p 协议处理丢包的应答重传机制耗时长、可靠性低，难以保证数 据恢复时数据传输的可靠性和效率。因此，我们提出使用线性纠错码来解决事故 恢复系统传输时数据传输差错控制问题。 2 多源数据传输技术：如果备份点采用单播方式从原数据点获取数据( 完 成一个点的备份后再进行下一个点的传输) ，完成异地多备份所需时间为所有点 的传输时间之和，传输效率极低。在数据恢复阶段，只能从其中的一个备份点得 到恢复数据，而其他备份点不参与恢复传输，造成了资源浪费。根据p 2 p 的思路， 我们提出了多备份点的同时进行传输的多源数据传输算法，实现海量数据的快速 备份和恢复。 3 高效远程数据同步技术：高效远程掘同步算法通过传输原文件与各个副 本之间的更改信息，完成数掘文件和副本之间恢复和维护。数据的远程同步技术 是事故恢复系统的核心技术之一，是实现快速恢复和高效副本维护的基础。 4 联盟成员和副本检查、维护和选择算法：保存多个副本可有效提高事故 恢复系统的可靠性，但是副本的增加会给系统增加额外的开销，影响到系统的性 能。我们提出了一个自主管理副本算法和保持事故恢复系统可靠性和性能平衡的 方案，构建了一个“联盟小组对等互备”的文件备份体系，确定了副本文件的最 佳数量，完成了联盟节点存活性检查和副本完整性检查，还能在事故恢复时快速 选择出一个或多个可靠且高效的副本节点对文件进行恢复。 本文一共分九章，具体的内容安排如下： 第一章绪论。主要介绍与论文相关的课题研究情况，本文的研究背景、研 究意义，一些基本的概念和关键技术，以及论文主要研究方向“协同化网络安全 事故恢复系统”的国内外现状分析。 第二章卧同化事故恢复系统体系结构。首先介绍了课题项目“网络协同安 全技术研究”的总体结构以及协同化事故恢复系统在其中的位置和作用：然后详 细介绍了协同化事故恢复系统的体系结构、工作流程和底层安全保证机制。 第三章数据的监控和审计。首先介绍了协同化事故恢复系统的监控模块； 然后介绍了与事故恢复系统协同工作的事件审计系统的主要功能，最后介绍了审 计的范围和与本系统相关的一些需审计的事件。 第四章网络备份恢复的编码技术。首先介绍了t c p i p 协议中使用的差错 控制技术及其在灾难恢复系统中应用的局限性；然后提出了改进的差错控制方式 一l e c c 编码，详细介绍了l e c c 编码的基本思路、编码设计和解码设计。 第五章数据的多源快速备份和恢复。首先叙述了目前的灾难恢复系统备份 和恢复过程中数据传输的局限性，提出了多源数据传输的思想；进而详细介绍了 多源数据传输算法的设训思路、多源传输的体系结构和算法的具体流程。 第六章高效远程数据同步技术。首先提到了当前的数据备份和恢复过程中 违反2 8 原则的情况，提出了高效远程数据同步算法思路；然后进一步详细介绍 了算法的具体设计，以及算法中几个重点技术：弱特征值算法、强特征值算法、 特征值匹配算法和块长度选择的设计。 第七章联盟成员和副本文件的管理。首先提出了联盟成员和副本文件检查 算法、联盟成员整体信誉度算法和副本选择算法；然后根据这三者的复杂度以及 传输模块带来的系统开销确定了一个副本保存方式和副本数量的模型。 第八章系统实现、仿真实验和真实案例。首先介绍了本系统的实现情况； 然后对本系统中差键技术的大量仿真实验数据进行分析总结，得到了本系统的具 体性能指标；最后将本系统在应用过程中收集到的真实案例和数据附上。 第九章总结和展望。对本文研究内容和防同化事故恢复系统进行总结，并 提出了f 一阶段工作的研究方向和目标。 塑! 塑；些查童堡：! ：堂丝丝圣丝；塞至丝壁堡竺丝 第二章系统总体结构 协同化事故恢复系统是网络协同安全系统的一个子系统，属于p d r r 网络动 态防御模型的最后个环节。本章着重介绍事故恢复系统的体系结构、主要功能 和工作流程，以及它在整个网络协同安全系统中的位置和作用。 2 1 网络协同安全系统总体结构 网络协同安全系统( n e t w o r kc o o p e r a ti r es e c u r i t ys y s t e m 简称n c s s ) 是 个由多个子系统协同构成的整体，它的研究同标是：通过多种安全措施的协同 工作，构造一个基于多层次、全方位的事件协同审计分析、协同防御、协同事故 恢复、协同网络伪装、协同电子取证的动态自治网络协同安全环境，整个系统的 设计和实现是按照网络动态防徊j 模型p d r r ( 保护、检测、响应、恢复， p r o t e e t d e t e c l ，r e a c t r e s t o r e ) 的思想进行的。 网络协同安全系统的主要研究内容包括：网络伪装、防火墙、入侵检测、协 同审计，协同事故恢复，协同电子取证六部分。各个模块之间的关系如图21 所 不。 l 网络协同安全系统 控制流 0 ) ，而且须保证图b 的解码过程可顺 利完成。p ( d ) 设计还制约着编解码效率，l e c c 中采用改进的s o l i t o n 概率分稚。“， s o l i t o n 概率分布满足以下条件： p ( d ) ：唑骘地，其中， p f d = - 功( d ) 2 1 上d ：2 州 【d ( d 1 ) ! ! ! ! ! ；些垒兰! 些圭兰堡篁圣丝塑堡垒丝型垡堡丝查 ，r _ id ：1 ， r l 州) = 鲁1 n ( ) d 刮r 【0 d = m r + i ，m = 。p ( d ) + f ( d ) ) r = 以m l n ( 卅j ) ，a 为大丁零的常数。 4 4l e c c 解码过程 根据异或运算的性质，以图中校验信息元c 为例，c ，= x ，o 也0 x ，如果在 传输过程中，原始数掘x ，丢失，而我们正确接收到了z ，、x 。和q ，就可以利用 异或加法本身的特点，得到：= x o x ，0c ，从而将屯修复。 由公式4 - 】可知，若已知编码块的度及其邻居节点集，就可以构建出图41 ( b ) 中的解码二分图。解码器就可以迭代使用以下规则来恢复源信息块，1 止c c 解码的流程如图4 2 所示。 解码恢复规则：在图4 - 1 ( b ) 中，如果至少一个编码块只有一个邻居( 度d = 1 ) ， 则可直接恢复其对应的初始信息块。若已恢复的输入信息块还作为其他编码块的 个邻居，则将其从这些编码块的邻居中移除( 即删除连接的边) ，同时将对应 的编码块度减l ，从而简化了二分图：然后继续寻找d = 1 的编码块，重复上述过 程，直到全部数据恢复。其解码流程如图4 2 所示： 图42l e c c 的解码流程 两北jn p 火学硕七学何论文 第四章线性纠错码技术 l e c c 的编码包在事故恢复系统数据传输采用图4 - 3 的数据结构进行，在编码 数掘前面加上该编码块的度信息和邻接i ；- b ：的信息，接收端主机接收到编码包 后，根据编码块的度信息及邻接节点信息实时构建解确二分图，当接收到定数 量的编码包，完成解码二分图构建后，对数据进行解码恢复。 4 5 本章小结 度信息 | j 节点信息 么c l , c o d o d d a t a j 幽4 _ 3i , e c c 编码包的结构 在因特网中进行重要数据事故备份恢复时，存在速度慢、可靠性低等问题， 于是提出了利用信息学编码理论中的纠错码来改善这种状况。纠错码理论对数据 进行分块冗余编码，在不可靠信道上传输编码块，接收端只要接收到足够数量的 编码坎，就可解码出初始数据信息。而不管哪些数据包丢失了，减少包应答及丢 失包重传的时i 司。线性纠错码的作用就是在数据传输过程中对数据进行编码以提 高信道的可靠性及传输效率。 l e c c 编码技术是解决内容传送问题的一种创新方式，采用l e c c 编码传输方 式时，发生信怠包丢失或受到破坏等问题时带束的影响很小，使重传数据或对原 始信息包增加特大冗余以补偿丢失的信息包的需要减至最小或完全消除，很好的 提高了网络灾备的效率及可靠性。结合下一章介绍的多源数据传输算法，可以高 速、叮靠的实现异地多点的数据备份和恢复。 ! 型! ! ：些垒兰堡：兰丝篓塞 丝薹耋墼堡竺童塑些些鱼丝型丝堡 第五章数据的多源快速备份和恢复 本章主要研究数据多源快速备份与恢复算法，实现海量数据的快速备份和恢 复。目前，p 2 p 。“。”方式的文件交换传输已经成为一个热门的话题。p 2 p 产生的 目的是为了解决文件服务器带宽不能满足火量用户剥文件f 载需求的问题，且在 用户下载时，只使用了单行的信道带宽，造成了极大的浪费。p 2 p 的传输方式很 好的解决了这一问题。现在p 2 p 得到了极大的发展，已经超越了原来的目标，成 为了一个因特网中资源共享的最佳方法。我们j f 是利用这种资源共享的思路，提 出了数据文件副本在网络中多点之间传输与共享的思想。与普通的文件传输方式 相比，多源快速备份和恢复算法极大的提高了数据传输的效率，为关键数据的恢 复提供更为可靠的保证。 5 1 异地多备份的传输瓶颈 为了提高备份数据的可靠性，事故恢复系统采用异地多备份副本的方式。当 前所用的备份传输方法中，所有副本节点都从原数据节点获取数据，采用单播方 式传输( 完成个点的备份后再进行下一个点的传输) ，所需的刑问为所有点的传 输时l 司之和。它的传输效率是极低的，对于海量的数据，要完成多个节点的备份 传输，往往需要数小时甚至数天的时间，这是用户所不能忍受的。若采用多播方 式。“。进行备份传输( 源数据节点并行地给各副本节点传输数据) ，虽然传输时 问大为减小，传输效率有很大提高，但此时所有的上载丌销都在原数据节点上， 其上行带宽将成为并行传送的瓶颈，这将影响甚至停止原数据节点的正常服务。 在数据恢复传输阶段，当原数据节点出现故障需要进行恢复时，只能从其中的一一 个副本节点传输备份数据，而其他副本节点得到的数据仅仅提供了增加副本可用 性的功能。虽然这种功能非常必要，但是只有一个副本节点传输数据，其他副本 节点都处于闲置状态，造成很大的浪费。在面对大型数据破坏时，要恢复大量的 数据，数据传输量必定是巨大的，不充分利用多备份的优势丽使用单点传输，所 要耗费的时间必然很久，这f 是很多用户所不能容忍的。为实现快速备份恢复以 及增强业务连续性的目的，根据p 2 p 的思路，提出了从多个节点同时获得数据的 快速备份恢复传输的算法。 多源快速备份与恢复传输算法( m u l t i s o u r c eb a c k u pa n dr e c o v e r yq u i c k t r a n s m i s s i o na l g o r i t h m ，以下简称m s b & r t 算法) ，充分利用联盟中各点使用l e c c 编码节省下来的的反馈信道带宽。备份过程中，源数据节点并行地给各个副本节 点发送不同的编码包，各副本节点在接收源数据节点编码包的同时，相互之间也 矾北i ：业人学硕士学位论文 第五章数据的多源快速备份羽1 恢复 发送相异的编码包，大大降低源数据节点的工作量，提高备份传输的效率。当原 数据节点需要数据恢复时，它控制多个副本节点并行地给它传送相异的编码包， 共同完成数据的恢复传输，减少了恢复时间，有效地保证了业务连续性需求。特 别是对海最数据的备份与恢复，m s b & r t r 算法具有更大的优势和更高的效率。 5 2m s b & r t 的基本思想 位，有效地减小了源数据节点备份传输的负载。m s b & r t 算法是基于l e c c 编码传 输的这些特性而设计的，它可以实现海量数据的多点胁同快速备份和恢复。 在描述算法之前，先解释几个以后几章中会经常出现的名词： 源数据节点和副本节点：在备份传输的过程中，使用m s b & r t 算法将节点a 得数据文件备份到节点b 、c 、d ，则节点a 处于传输的“源头”位罱，称之为源 数据节点或源节点( s o u r c en o d e ) ，节点b 、c 、d 保存a 的备份文件，称之为副 原数据节点：在恢复过程中，节点a 的数据遭到破坏，就需要节点b 、c 、d 将其数据恢复到原来的状态，此时称节点a 为原数据节点( o r i g i n a ld a t an o d e ) 。 源数据节点向多个副本节点备份数据时，传统的备份方式( 如逐个备份或并 行备份) 所有的网络负载都在源数据节点，容易造成源节点传输的负载瓶颈。图 5 - 1 所示为并行数据备份传输过程中某一时刻的状态，图中源数据节点s 并行地 向4 个副本节点a 、b 、c 、和d 传输数据，圆圈内黑色的部分表示该节点已经得 到的数据，黑色部分位置不同表示得到的数据不同。通过图5 - 1 可以看出，s 拥 有全部的数掘内容，节点a 和b 各拥有5 0 不同的数据，c 和d 有2 5 不同的 。彩卧渺 、 假定源数据节点s 以不同的数据序列向不同的副本节点进行传输，则各副本 3 0 ! ! ! ! ! ：些叁兰堡! ! 尘堡丝圣 堑! ! 重墼堡墼量堡竺丝鱼丝型堡垒 节点在莱一时刻所抖j 有的数据具有很大的差异性。若采用多点协作传输，各个副 本节点之问进行协作，相互传送对方未得到的数据，就可以大大降低源数据节止i 的负载，减少数据传输的时问。在图5 - 1 建立的环境下，使用这种传输策略可以 得到图5 2 。 a 8 * a co a + b c b d d + c s c s + d 图5 - 2m s b & r t 备份传输方式 图5 2 中所示，在这种状态下，副本节点a 可以向b 、c 、d 传送2 5 的数 据，节点b 可以向a 和d 传送2 5 的数据，向c 传送5 0 的数据，节点c 可以 向b 和d 传送2 5 的数据，节点d 可以向c 传送2 5 的数据。大大降低源数折； 节点s 的数据传输量，有效地提高了备份传输效率。 如果在备份过程中源数据节点s 由于意外的原因瘫痪，各个副本节点都只有 源数据节点s 上的原文件k 的部分编码包，没有一个节点得到足够解码得出原文 件k 的编码包。如果各副本节点的编码包有很大的重叠，其并集足以解码得出原 文件k ，它们之间相互交换数据，仍可以使k 的编码包分发到各个副本节点。如 果所有副本节点得到的编码包的并集仍不足以解码得出原文件k ，如图5 2 当前 状态下，源节点s 断线崩溃，备份节点a 、b 、c 、o 完全数据交换后，仍缺少左 上部分的2 5 的数据，备份传输必然会失败。 因此，多点协同传输还需要一个副本节点选择策略，完成各个数据传输点及 传输编码包的优化选择，使得数据在各副本节点问合理分布，以最少的时问完成 备份传输。 5 3m s b & r t 算法分析 5 3 1 主要组成部分及其描述 控制中心：控制中心( c o n t r o lc e n t e r ) 负责m s b & r t 传输的控制与调度。 控制中心记录参与备份恢复传输的各个节点的信息及当前拥有编码包的信息。实 望i 粤；些叁耋堡主尘! 窑堡墨篓垂童丝堡塑童塑些矍鱼丝型丝壑 时维护更新两个信息表：节点信息表和编码包信息表。 源数跚节点：分发备份数据的主机节点称为源数据节点。在f 而的描述中， 称为0 节点。o 节点信息用0 号节点及其地址信息( a d d r e s s ) 进行标识： s p = 副本节点：各份副本存放的主机节点称为副本节点。控制中心羽多个副本节 点进行顺序编号( 副本节点1 ，副本节点2 ，) ，用其编号i 称呼。i 节点信息 用编号i 及其地址信息( a d d r e s s ) 进行标珏 ： 兄p 【f 】= 编码包：m s b & r t 系统在网络上传输的数据，由l e c c 编码产生，称为编码包 ( e n c o d ep a c k a g e ) 。控制中心对编码包进行顺序编号( 编码包1 ，编码包2