（计算机科学与技术专业论文）基于虚拟化的容灾业务自动部署和自动迁移研究与实现.pdf

国防科学技术大学研究生院硕士学位论文 摘要 随着信息系统在关键行业的广泛应用，业务系统的连续性受到越来越多的重 视，容灾系统的发展成为各行业关注的重点。在现代战场环境中，军事对抗的强 度日益提高，军事业务必须能够适应战场环境的动态变化。课题组研究的n + m 是 一种为满足军事业务信息系统的容灾需求而提出的容灾系统结构，具有应用与数 据分离、异地容灾、多层次监控等特点，可以很好地适应军事业务的多方面需求。 本文基于课题组已有的技术成果，研究军事容灾业务的自动部署和迁移问题，即 如何根据容灾需要快速部署业务到新的环境中去，以及如何在发生预警后迁移时 保持业务连续性等问题。主要研究工作包括： l 、提出基于虚拟化的军事业务自动部署和迁移。在分析虚拟化技术的核心思 想和关键技术后，结合容灾实际需要，将虚拟化技术应用到军事业务容灾中。 2 、提出容灾业务自动部署的架构。首先分析了虚拟化容灾系统中业务和资源 的抽象，详细描述了业务自动部署的架构，然后剖析了快速自动部署的流程，最 后工程实现了容灾业务的自动部署。 3 、提出容灾业务的自动迁移。在预警后，需要进行业务迁移，如何在进行迁 移时保持网络连接和业务状态是一个很大的难题。本文基于虚拟化l i v em i g r a t i o n 技术，结合容灾特点，提出并实现了自适应的容灾业务自动迁移。 4 、提出基于蚁群算法的智能化自动迁移方法。灾难发生时，需要有精确、高 效的算法从多个备份业务节点中选择节点进行业务迁移实施灾难恢复。针对现有 应用与数据分离的军事业务容灾系统在多目标约束时迁移的不足和需要手工迁移 等特点，本文创新性提出了一种基于a n t n e t - c o 改进的多目标约束算法，实现了 自动快速选择节点进行业务迁移。 业务部署和迁移是军事容灾系统保证信息系统业务连续性的关键技术。本文 提出并设计实现的基于虚拟化的业务部署架构和自动迁移方案能够实现大量节点 的业务快速部署和业务的活迁移。理论研究和原型系统实现都体现了方案的理论 有效性和实际可用性。 主题词：军事容灾，虚拟化，自动部署，自动迁移，蚁群智畿 第i 页 国防科学技术大学研究生院硕士学位论文 a b s t r a c t w i t hi n f o r m a t i o ns y s t e m sw i d e l yu s e di nm a j o ri n d u s t r i e s ，s e r v i c ec o n t i n u i t yo f t h e s es y s t e m sa t t r a c ts u s t a i n e da t t e n t i o n ，n l ed e v e l o p m e n to fd r ( d i s a s t e rr e c o v e r y ) s y s t e mb e c o m e st h ef o c u so fv a r i o u sf i e l d s b e c a u s eo ft h eh i 曲i n t e n s i t ym i l i t a r y c o n f r o n t a t i o n , m i l i t a r ys e r v i c e sm u s tb ea b l et oa d j u s tt ot h ed y n a m i cc h a n g e so ft h e b a t t l e f i e l de n v i r o n m e n t t h en + md r s y s t e md e s i g n e db yo u rg r o u pc a i lb ea d a p t e dt o t h ed i v e r s en e e d so fd e v e l o p m e n t ，w h i c hh a s m a n ya d v a n c e si n c l u d i n gt h es e p a r a t i o no f a p p l i c a t i o na n dd a t a , w i d ea r e ad i s a s t e rr e c o v e r ya n dm u l t il i e rm o n i t o r i n g n o w , o n e o fc h a l l e n g e si no u rs y s t e mi sh o wt or a p i d l ya u t o m a t i cs e r v i c ed e p l o y m e n t a c c o r d i n gt o t h en e e d so fd ra n dh o wt om i g r a t eas e r v i c el i v e l yw h e nr e c e i v i n ga ne a r l yw a r n i n g t o h o l ds e r v i c ec o n t i n u i t y i nr e s p o n s et ot h e s ec h a l l e n g e s ，t h i sp a p e rp r i m a r i l yi n v o l v e sf o l l o w i n gw o r k s ： 1 p r o p o s es e r v i c ea u t o m a t i cd e p l o y m e n ta n dm i g r a t i o nb a s e do nv i r t u a l i z a t i o n a f t e rt h ea n a l y s i so ft h ec o r ep r i n c i p l e sa n dc r i t i c a lt e c h n o l o g i e so ft h ev i r t u a l i z a t i o n ， c o m b i n e dw i t ht h ep r a c t i c a ln e e d so fd r ，t h i sp a p e ri n n o v a t i v ea p p l i e sv i r t u a l i z a t i o nt o m i l i t a r yd rs y s t e m 2 af r a m e w o r ki sb r o u g h tf o r w a r df o rt h ea u t o m a t i cs e r v i c ed e p l o y m e n to fd r f i r s t ，a n a l y s i st h ea b s t r a c to fs e r v i c ea n dr e c o u r s ei nd ru s i n gv i r t u a l i z a t i o na n d d e t a i l e dd e s c r i p tt h i ss e r v i c ef r a m e w o r kf o ra u t o m a t i cd e p l o y m e n t s e c o n d ，a n a l y s i st h e t e c h n o l o g i c a lp r o c e s sf o rt h er a p i da u t o m a t i cd e p l o y m e n t 3 e x p l o r eas t r a t e g yf o rt h ea u t o m a t i cl i v em i g r a t i o no fd rs e r v i c e m l e n r e c e i v i n ga l le a r l yw a r n i n g ，i ti sc r i t i c a lt oc o n d u c ts e r v i c em i g r a t i o n h o wt om a i n t a i n n e t w o r kc o n n e c t i v i t ya n do p e r a t i o n a ls t a t u sd u r i n gm i g r a t i o ni sas e r i o u si s s u e t l l i s p 印e ri sp u tf o r w a r da l la d a p t i v es e r v i c ea u t o m a t i cm i g r a t i o no fd rc o m b i n e dw i t h s o m em i l i t a r yd rc o n s t r a i n t s b a s e do nt h el i v em i g r a t i o nt e c h n o l o g yi nv i r t u a l i z a t i o n , t h i ss 打a t e g yc a r lk e e ps e r v i c ec o n t i n u i t yw h e nt h es e r v i c ei sb e i n gm i g r a t e d 4 a na u t o m a t i cs e r v i c em i g r a t i o na l g o r i t h mi se x c o g i t a t e d a i ma tt h es e r v i c e d e p l o y m e n ta l g o r i t h mi sn o tg o o de n o u g hf o rm i l i t a r yd r t 1 1 i sp a p e rp r e s e n t san o v e l a l g o r i t h mt or e s o l v es e r v i c em i g r a t i o nw i t hm u l t i o b j e c t i v ec o n s t r a i n t sb a s e do n i m p r o v e d a n t n e t c o a l g o r i t h m 1 1 1 et h e o r y o f i n t e l l i g e n to p t i m i z a t i o n o f m u l t i o b j e c t i v eg e n e t i ca l g o r i t h mi su t i l i z e dt op r o d u c eas e to fo p t i m a lp a r e t os e r v i c e s c o m p o s i t i o nw i t hc o n s t r a i n tp r i n c i p l eb yi m p r o v e ds e l f - l e a r n i n ga n dd y n a m i cs e r v i c e m i g r a t i o n ，w i t hm e a n so fo p t i m i z i n gv a r i o u so b j e c t i v ef u n c t i o n ss i m u l t a n e o u s l y s e r v i c ed e p l o y m e n ta n d m i g r a t i o na r ek e yt e c h n o l o g i e si nt h em i l i t a r yi n f o r m a t i o n s y s t e mt oe n s u r eb u s i n e s sc o n t i n u i t y i nt h i sp a p e r ，w ed e s i g na n di m p l e m e n tas e r v i c e d e p l o y m e n tf r a m e w o r ka n das e r v i c ea u t o m a t i c m i g r a t i o nr e s o l u t i o n b a s e do n v i r t u a l i z a t i o n ，w h i c hc a na c h i e v ef a s ts e r v i c ed e p l o y m e n ta n ds e r v i c el i v em i g r a t i o n 第i i 页 国防科学技术大学研究生院硕士学位论文 = = = ：= = = = = = = = = = = = - - - - - - - _ - - _ - - t - - _ = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = t h e o r e t i c a ls t u d ya n dp r o t o t y p es y s t e mi m p l e m e n t a t i o ni n d i c a t et h et h e o r e t i c a lv a l i d i t y a n dp r a c t i c a lu s a b i l i t y k e yw o r d s ：m i l i t a r yd i s a s t e rr e c o v e r y 。v i r t u a l i z a t i o n ，a u t o m a t i c s e r v i c e d e p l o y m e n t ，a u t o m a t i cs e r v i c em i g r a t i o n ，a n t n e ti n t e l l i g e n t 第i i i 页 国防科学技术大学研究生院硕士学位论文 表目录 表2 1 常见的虚拟化软件和相关特性1 5 表2 2 容灾中可以应用的虚拟化特性1 6 表2 3 虚拟化平台常见性能比较2 4 表4 1 算法运行时的各种参数设置5 2 表5 1 实验平台的基本具体配置5 7 表5 2 不同业务需要的软件包组合。5 7 表5 3 不同虚拟机内存下业务部署时间5 9 表5 4 迁移时p i n g 命令反馈时间6 0 第1 v 页 国防科学技术大学研究生院硕士学位论文 图目录 图1 1 容灾目标r p o 和r t o 概念示意图1 4 1 3 图1 2 恢复目标与恢复代价关系【4 j 一3 图1 3 层次式业务容灾部署。8 图2 1 平台虚拟化的分类1 3 图2 2 虚拟化的资源抽象1 4 图2 3 进行活迁移时局域和广域网内流量和宕机时间对比图1 2 3 】2 0 图2 4 泛虚拟化平台x e n 的体系架构2 2 图2 5 常见虚拟化平台的性能对比1 7 5 1 2 3 图3 1 单一资源的单一逻辑表示2 9 图3 2 多个资源的单一逻辑表示3 0 图3 3 单一资源的多个逻辑表示3 1 图3 4 军事容灾系统的n + m 抽象3 2 图3 5 自动化v m 部署框架的架构3 4 图3 6 自动部署架构的流程图3 5 图3 7 在部署引擎中安装部署脚本3 5 图3 8 创建部署任务3 6 图4 1 容灾系统的抽象4 8 图4 2 数据结构示意图4 9 图4 3 模拟网络n t t n e t 示意图【4 8 l 5 1 图4 4 业务迁移成功率随时间变化情况图5 2 图4 5 节点失效后业务迁移成功率变化情况图5 3 图5 1 容灾系统原型系统总体结构图5 5 图5 2 原型系统流程图5 6 图5 3 不同虚拟机内存下业务部署时间图5 8 图5 4 不同大小内存对活迁移三阶段时间的影响6 0 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：基王虚拯焦煎窒塞些签自边垫墨塑自边迁整煎究曼塞理 学位论文作者签名：孝盎垦日期：哆年，2 月z 弓日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书。) 学位敝储麟：莓n魄护罗年鲫z 日 作者指导教师张逸l 魄纠7 年m 砂y 日 国防科学技术大学研究生院硕士学位论文 第一章绪论 1 1 课题背景 信息系统的发展和应用，将人类从重复、繁杂的数值计算和信息处理任务中 逐步解脱出来，提高了人类的生产效率和认知能力。人们不断将信息系统集成到 他们的日常业务中去，可以说信息系统的发展过程也是信息技术与各种业务相互 集合和渗透的过程。越来越多的关键系统依赖信息技术的控制与支持，如现代武 器系统大都需要计算机芯片和相应的软件来进行控制；交通控制、航空航天、宇 宙探索和重症医疗监护也依赖计算机及其软件来确保正常运行；电网调度基本上 靠计算机控制来进行；银行与证券业更是信息技术的使用者和推进者之一，这些 重点行业和关键部门的信息系统已经成为影响国家发展和稳定的重要基础设施之 一。如果它们遭到破坏，产生的问题不仅仅是信息系统瘫痪所造成的直接损失， 更为严重的可能影响到经济发展和社会稳定。特别是近年来，地震、火灾、水灾 等自然灾难的频繁发生，以及战争、网络攻击、设备系统故障和人为破坏等无法 预料的突发事件，给人们赖以生存的信息系统及其数据造成了毁灭性的破坏i l j 。例 如美国9 1 1 事件就对世贸大厦中的金融企业造成了极为严重的影响。灾难发生前， 约有3 5 0 家国际型企业在大厦中工作，灾难发生一年后，最终能重返大厦的企业 只有1 5 0 家，其余的企业由于重要信息系统的破坏和关键数据的丢失而永远消失 了。其中有公司称，自己要恢复到灾难前状态需要至少5 0 年的时间。根据互联网 数据中心( i n t e m e td a t a c e n t e r ) 的调查，在2 0 世纪最后1 0 年中，在美国发生过灾 难的公司中，5 5 的公司当即倒闭，剩下的4 5 中，因为信息数据丢失，其中2 9 的公司在两年内倒闭，能生存下来的仅占1 6 。在类似的调查报告中，g a r t n e r ( 全 球著名i t 咨询服务提供商) 的数据也表明，4 0 的企业不能在灾难发生后恢复运营， 剩下的6 0 中有3 3 在两年内破产 2 1 。 在军事领域，信息技术的应用正以空前速度发展。信息技术作为一种核心技 术运用于各个军事领域和各种武器装备，极大地提高了作战能力。部队的战备值 勤、训练、演习，特别是重大军事行动对军事业务系统的依赖性越来越强，信息 化战争已经成为未来战争的主要形态。在信息化战争中，先进的信息技术将大大 提高部队的作战能力，缩短作战时间，控制战争规模，增强赢得战争的把握。但 在信息化战争中，如果军事业务系统遭到打击，或因系统故障导致关键数据丢失 或业务中断，所造成的损失将无法估量，可能导致战争主动权的丧失。伊拉克战 争中伊拉克军队在指挥信息系统遭到破坏后的被动挨打就是前车之鉴。因此，在 高强度、快节奏的信息化战争中，军事业务系统的安全性、抗毁性至关重要。 第1 页 国防科学技术大学研究生院硕士学位论文 研究面向军事应用的容灾系统，对于保证军事业务的连续性，提高生存能力， 防范由于敌人多点打击而造成业务中断，具有十分重要的军事意义，也是目前军 队信息化建设和信息化条件下的军事斗争准备中急需解决的关键问题。 1 2 1 容灾相关概念 1 2 容灾技术概述 下面首先对容灾相关概念进行简单阐述： 1 灾难 由于人为或自然的原因，造成信息系统运行严重故障或瘫痪，使信息系统支 持的业务功能停顿或服务水平不可接受状态达到特定时间的突发性事件，通常导 致信息系统需要切换到备用系统运行。 2 容灾 容灾是指在灾难发生的时候确保业务连续性的过程。这个过程不仅着眼于业 务主要功能的恢复，而且强调在尽可能短的时间内恢复。 3 容灾系统 容灾系统通过在本地或异地建立和维护若干备份系统，利用地理上的分散性 和数据的冗余性来保证数据和服务对于灾难性事件的抵御能力。 4 业务系统 正常情况下支持业务运行的信息系统，包括业务数据、业务数据处理系统和 业务网络。 5 备份系统 用于灾难发生时接替业务系统运行，进行数据处理和支持关键业务功能的系 统，包括备份数据、备份数据处理系统和备份业务网络。 6 业务部署 在容灾系统中，在容灾方案生成后，按照已经制定好的方案，如何把所需的 业务在节点中部署。其中包括节点上系统的安装和业务所需相应软件的安装和配 置。 7 业务迁移 业务迁移是在容灾系统受到预警后，为了保证业务的连续性，采用相关技术 利用容灾系统中的备份业务节点代替正在运行中的业务。在这个过程中，应尽可 能地减少因为迁移而造成的系统宕机时间。 1 2 2 传统容灾恢复评价标准 第2 页 国防科学技术大学研究生院硕士学位论文 现在国内外的容灾恢复评价标准主要包括以下两个方面： 恢复时间目标r t o ( r e c o v e r yt i m eo b j e c t ) 指灾难发生后，业务从停顿 状态到恢复正常运行所需要的时间。l 玎o 主要描述企业能容忍的恢复时 间。 恢复点目标r p o ( r e c o v e r yp o i n to b j e c t ) 指灾难发生后，容灾系统能把 数据恢复到灾难发生前的时间点，它是衡量企业在灾难发生后会丢失多少 生产数据的指标。 如图1 1 所示，r p o 是指灾难发生向前恢复到的时间点，r t o 是指灾难发生 后，业务恢复到正常运行所需要的最短时间。 d i s a s t e r r p or 1 1 c i l i ll ，r l a s tc a e e k p o i ms e r v i c er e s t o r e l 图1 1 容灾目标r p o 和r t o 概念示意 1 4 1 二者的结合( i 心o + r t o ) 描述了一个容灾系统的恢复能力，它与容灾恢复代 价是相互影响相互制约的关系，如图1 2 所示： 图1 2 恢复目标与恢复代价关系【4 】 1 3 容灾技术相关研究 自1 9 9 2 年提出容灾恢复的国际标准s h a r e 7 8 以来，国内外在关键业务系统 容灾备份方面的意识不断增强。目前，大多数政府机构和公司都采取了一定的容 灾措施，国外的大公司如i b m 、e m c 、v e 赳t a s 、h p 、s u n 等借助其较深厚的 技术积累，纷纷推出了自己的容灾软硬件产品，以及相关的解决方案，以适应不 同层次的应用需求。 随着容灾行业的发展，国际及各个国家的行业和标准化组织制定并颁布了不 第3 页 国防科学技术大学研究生院硕士学位论文 同层次的法规、规章和指南，指导并规范容灾系统建设。比较著名的标准和规范 主要有i s o i e c l 7 7 9 9 信息安全管理实施细则，国际灾难恢复协会d r i i ( d i s a s t e r r e c o v e r yi n s t i t u t ei n t e m a t i o n a l ) 的业务连续性计划制定人专业实务( p r o f e s s i o n a l p r a c t i c e sf o rb u s i n e s sc o n t i n u i t yp r o f e s s i o n a l s ) ，它们主要从业务连续性规划和管理 等角度进行了规范。同时，美国、加拿大、英国、澳大利亚和新加坡等国家的相 关组织，包括n i s t i t l 、f e m a 、c p m 等，也都分别制定了各自的容灾标准与规 范，用于指导容灾系统建设。我国容灾技术研究和容灾工程应用正在不断加强， 2 0 0 5 年4 月国务院信息化工作办公室发布了重要信息系统灾难恢复规划指南， 为灾难恢复工作提供了操作性较强的指导意见。我军军事业务系统容灾技术研究 已有良好基础，容灾系统也在建设之中。这些系统主要采用数据远程备份技术， 注重实现数据容灾，兼顾简单的业务容灾，具有较为实用的军事价值。 业务系统容灾是一个复杂的系统工程涉及服务器操作系统镜像技术、高可用 技术、集群技术、安全技术、网络技术、业务持续性技术等多种技术。容灾系统 的实现还涉及相应的管理流程和意外事件响应流程等规章制度、人员配备和训练、 行政保障手段( 场地、通信、交通等) 。从技术角度看，国内外的最新研究进展 主要集中在以下几个方面： l 、数据备份与恢复技术 数据的备份与恢复技术注重数据备份与恢复的完整性与时效性。目前普遍采 用的数据远程异地复制技术主要有软件方式和硬件方式两种，根据需要提供同步 和异步两类复制方式。例如，i b m 提供的p p r c 技术以存储为基础，实现实时、 同步、与应用无关的数据远程镜像；e m c 的s r d f 、m i r r o rv i e w 和o p e nr e p l i c a t o r f o rs y m m e t r i x 等产品使用在线、独立于主机的镜像数据解决方案进行数据复制而 无须考虑位置的远近。业界最新提出的持续性数据保护( c d p ) 技术是数据备份 和连续复制技术结合产生的一种新技术，它是一种实时的数据备份技术，使数据 的点备份变成了连续跟踪数据变化的多点精细跟踪技术，使快速恢复和任意时间 点恢复成为可能。 2 、业务高可用集群化技术 随着信息系统规模的扩大和高可用技术的发展，业务系统主机也呈现出由单 机向集群化发展的明显趋势。业务服务由多机( 集群) 提供，并具有共享的存储， 每个节点机都可提供相同的服务。系统以多种方式( 包括s t a n d b y ，r o u n d r o b i n ， 或者通过软件的负载均衡技术) 确保系统中某个服务节点出现故障时，其他节点 仍然可以提供服务。典型系统如i b m 的h a c m p ( h i 曲a v a i l a b i l i t yc l u s t e r m u l t i p r o c e s s i n g ) ，通过消除硬件或者软件的单点失效来获得高可用性，使业务的 持续性得到较大的提高。 第4 页 国防科学技术大学研究生院硕士学位论文 除了本地业务集群以外，为了解决整个系统遇到不可抗拒的灾难，如地震、 军事打击时的持续运行问题，目前的研究热点之一是异地集群容灾技术。异地集 群容灾建立了与本地业务中一f i , 对等的异地灾难备份中心，运行同样的业务系统， 包括基础数据库和应用软件，并配备数据复制管理器。在灾难发生时，如果本地 业务中心遭受破坏，异地的灾备中一f i , 能够立即工作，运行相关的应用服务，保证 业务的持续性。当主系统恢复正常后，重新将相关的应用转移回来，并对数据进 行恢复，使主备中，f l , 之间保持数据一致性。 3 、容灾系统体系结构技术 容灾系统依据其容灾恢复目标，如r p o 、r t o 等，可以有不同的体系结构。 目前民用系统，如电信、银行、政府机构等采用的大多数为1 + 1 和n + i 的容灾备 份结构，这主要是从需求、成本和技术三方面综合考虑的结果。近年来，随着军 事业务系统和国家关键信息系统建设的发展需要，n + m 的结构和多节点互备结构 的研究逐渐受到重视。采用n + m 的结构，主要需要解决n 个业务服务中心和m 个备份中心之间的关系问题，其相关技术包括多中心的组织、管理、存储控制、 备份控制、数据和业务的分离和融合、业务的切换和服务的漂移等技术问题。 除了上述容灾技术，国内外在容灾模型，容灾评估等相关领域也都有了一定 的研究进展。 在国外，r a j a k i y e r 9 】等研究了制造业的灾难恢复规划，目的在于减少灾难所 带来的风险。h a y e s o o 】等讨论了在飓风等大规模灾难发生后灾难恢复的问题。 h i r o y u k ie c h i g o 1 l 】等介绍了一种分层的大规模灾难信息与共享系统，并对它的效果 进行了评价。r i c h a r d s w i l k i n s b 2 】等通过扩展基于i n t e l 架构的w o l f p a c k 集群系统 实现了远程镜像。k h i nm i a u n g 1 3 】等人用软件恢复方式实现了一个集群恢复模型。 在国内，王桠楠【1 6 l 对灾难恢复的相关标准和两种评估算法做了详细介绍，并 且对灾难恢复能力指标体系进行了探讨，实现了一个灾难恢复能力评估软件。陈 敏刚【1 5 】的论文对灾难评估的两种评估算法a h p 和模糊综合评价法进行了深入研 究，并将这两种方法综合起来实现对灾难防御体系的评估。袁轲 7 】的论文讨论了灾 难后灾情的定量评估。张雪听【6 】的论文也主要利用a h p 和模糊综合评价法对灾难 防御进行评估。 4 4 面向军事应用的业务容灾系统 1 4 1军事业务容灾体系结构 研究面向军事应用的容灾系统，对于保证军事业务的连续性，提高生存能力， 防范由于敌人多点打击而造成业务中断，具有十分重要的军事意义，也是目前军 第5 页 国防科学技术大学研究生院硕士学位论文 队信息化建设和信息化条件下的军事斗争准备中急需解决的关键问题。 对于军事业务信息系统而言，其面临的现代化战争的军事打击通常会造成军 事业务信息系统灾难并行连续发生。为了满足军事业务信息系统的容灾需求，我 们课题组提出了n + m 容灾系统结构。n + m 容灾结构是指业务被部署到n + m 个节 点上，其中n 个主服务节点同时提供服务，当其中的一个节点因遭受灾难而失效 时，其余n 1 个节点能继续提供连续性服务，为了保证业务连续性，这时从m 个 备份节点中选出最优的一个，启动服务，使之取代失效的那个节点成为主服务节 点。为了进一步提高军事业务信息系统的容灾能力，克服多点连续失效的问题， 课题组在n + m 的容灾系统结构的基础上提出了包含业务集群化、异地容灾、应用 与数据分离、多主多备四个特点的方案【5 l ： 业务集群化：鉴于集群的高性能、低代价，把业务集群化，利用集群高可用 特性提高业务本地故障恢复能力，利用集群高性能的特点提供应用和数据的并发 访问支持。应用集群部署在高可用集群中，利用集群高可用技术解决服务节点软 硬件故障引起的失效，对用户屏蔽故障，减少应用集群之间迁移的次数。对于支 持并发访问的应用，可利用集群并发方式提高访问性能，例如只读应用。数据集 群部署在高可用数据集群中，利用集群高可用技术解决数据节点软硬件故障引起 的失效，对用户屏蔽故障，减少数据集群之间迁移的次数。对于支持并发访问的 应用，可利用集群并发方式提高数据服务性能，例如o r a c l e 数据集群。 异地容灾：在广域范围内进行异地容灾，提高系统的容灾能力，可以采用分 层容灾结构，灾难发生时优先在本地进行业务切换恢复，本地无可用备份节点时 再进行广域范围切换恢复。 应用和数据分离：通过将业务的应用和数据分离，分别部署在不同地理位置 的节点上，分散灾难一次性摧毁的后果。应用和数据分离后，n + m 容灾结构就可 以进一步细化为( n 。+ m 。，n d + m d ) 。一个业务被部署到n + m ( n 。+ m 。，n d + m d ) 容灾结构上是指该业务的应用服务部分被部署到n a + m 。应用服务集群节点上，其 中有n a 个主应用服务集群，处于活跃状态，同时提供服务，m a 个应用集群为备 份应用服务集群；该业务的数据服务被部署到n d + m d 个数据服务集群节点上，其 中n d 个主数据服务集群，处于活跃状态，同时提供数据服务，m d 个数据集群为备 份数据集群。在实际容灾部署中，n 。和m 。的大小可根据业务系统集群容灾实际需 求确定，通常要考虑能够同时容忍的灾难数量和业务的重要性等因素。 多主多备：多个活跃节点负载均衡的同时提供服务，即使其中的一个遭受灾 难损坏，仍然能够提供无间断的服务。n + m 多主多备的容灾模式，不仅提高了业 务的容灾能力，满足业务的需求，而且还可以给业务设定预警阀值。在服务集群 失效时切换到备份集群，当失效集群数量超出预警阀值时，启动该业务的预警， 第6 页 国防科学技术大学研究生院硕士学位论文 可以对业务进行重构。即使主节点受损比较严重，整个容灾系统仍可以降级进行 提供服务。 1 4 2 应用与数据分离的n + m 业务部署结构 图1 3 显示了军事业务容灾保护系统三个层次部署情况，图中包含若干广域 分布的l i n u x 或w i n d o w s 集群。 从基础设施的角度看，容灾系统中包含实现业务运行和容灾的硬件设备、容 灾软件、网络资源等。从地域角度划分，可将容灾资源分为服务器集群一 站点一 群域呻广域四个层次。参考资源的地理分布因素，从容灾运行管理的角度，将 军事业务容灾结构划分为三个层次： 第一层次是站点容灾层( s i r et i e r ) ，一个站点由局域网连接的多个集群组成， 根据军事业务系统部署情况，集群可分为活跃应用集群、备份应用集群、活跃数 据集群和备份数据集群。每个集群由2 个以上节点构成。实际应用中可映射为一 个指挥所。一个军事业务系统既可以在本站点内实现本地备份，也可以在群域或 广域内实现异地备份。 第二个层次为群域容灾层( z o n et i e r ) ，一个群域由地理位置临近的多个站点 组成。在群域内设有群域管理中心，对站点和军事业务系统的运行状态进行监控， 在灾难发生时实施容灾。实际应用中可映射为一个战区。 第三个层次为广域容灾层( w i d ea r e at i e r ) ，一个广域由多个群域组成。在广 域内设有主容灾管理中心、备份容灾管理中心等多个广域容灾管理中心，实现容 灾群域中心管理、生成业务容灾部署决策、全局容灾监控管理和动态自适应容灾 决策调整、预警信息接收等功能。当主容灾管理中心发生故障时，备份容灾管理 中心接替主容灾管理中心工作。 集群内部的业务根据业务规模、用户数、业务的关键性以及节点的性能部署， 存在一对多、多对一和一对一等几种情况。对于业务规模大、用户数多的业务通 常需要部署在多个集群节点上，甚至是整个集群上；对于小规模、轻量级的业务 可以采用多个业务部署在一个节点的模式；对于部分规模与单节点性能匹配的业 务则可以部署在一个集群节点上。此外，对于一些关键业务，建立备份业务节点， 提高关键业务的可用性。 应用中心和备份中心之间的部署对应关系是n ：m 。通常为了降低容灾的成本， 在保证灾备系统可用的前提下，尽量压缩备份中心的规模，将多个本来部署在多 个集群或节点上的业务，备份到相对数量较少的集群或者节点上，因此备份中心 的集群数m 通常小于应用中心的集群数n 。 第7 页 国防科学技术大学研究生院硕士学位论文 图1 3 层次式业务容灾部署 1 4 3n + m 结构的特点 总的来说，采用n + m 结构的业务容灾系统，具有如下几个方面的优点： 1 ) 多对多( n + m ) 的容灾结构不同于活跃备份关系为1 + 1 、1 + n 的商用容灾 结构，能够支持多个活跃业务和多个备份业务之间的切换和恢复，能够在 遭遇连续灾难和民用打击的恶劣环境下保持服务能力； 2 ) 异地容灾技术使军事业务系统的容灾能力更强，更适应战时的容灾需求； 3 ) 支持应用和数据分离的军事业务系统结构的容灾技术使容灾部署更为灵 活； 4 ) 支持军事业务系统集群化部署的容灾技术可充分利用集群的高可用技术 提高军事业务系统集群容灾的能力； 5 ) 支持具有军用特色的特殊容灾指标使军事业务系统容灾管理人员能更有 效地确定容灾部署方案； 但是，n + m 结构也带来一系列新的技术挑战： 1 ) 节点多，数据副本管理与致性管理复杂； 2 ) 业务部署与管理的难度大，决策困难； 3 ) 资源管理与监控的复杂性较大； 第8 页 国防科学技术大学研究生院硕士学位论文 1 5 论文的主要工作 本课题来源于国家十一五国防预研项目一一“军事业务系统集群备份容灾保 护技术 。 论文在最新容灾技术发展现状的基础上，针对军事应用的特殊需求，结合课 题组提出的n + m 业务容灾结构，研究了基于虚拟化技术的业务自动部署和迁移的 基础理论、先决条件和影响因素，然后建立了业务自动部署的架构，在该架构下 设计并实现了大量业务的自动快速部署，同时提出了容灾系统中在预警后业务的 自动迁移方法，以及基于智能算法的自动迁移算法，并进行模拟测试与分析。主 要工作如下： 1 、基于应用与数据分离的n + m 容灾系统结构，提出自动部署和自动迁移。 在分析虚拟化技术的核心思想和关键技术后，结合容灾实际需要，首次将虚拟化 技术应用了军事业务容灾。 2 、提出容灾业务自动部署的架构。根据应用与数据分离的特性，需要在不同 节点上部署不同的应用或数据，因此本文首先研究了如何将一个业务快速部署到 某个节点上去的技术途径。然后根据n + m 容灾结构中多主多备的特性，需要将一 个业务同时部署到多个节点，因此本文也研究了在业务部署到一个节点后，如何 将其大量快速地部署至其它节点的技术途径。 3 、提出容灾业务的自动迁移。在预警后，需要进行业务迁移，如何在进行迁 移时保持网络连接和业务状态是一个很大的难题。基于虚拟化同一网段的l i v e m i g r a t i o n 技术，结合容灾特点，本文提出并实现了自适应的容灾业务自动迁移方 法。 4 、提出了基于蚁群算法的容灾自动迁移算法。进行业务迁移时，需要选择合 适的节点。借用网络路由中的智能算法一蚁群算法，让各个节点之间互相学习， 采用信息素矩阵保存各个节点之间迁移的全代价信息，以便在发生预警后，能够 在多目标的约束下迁移业务。 1 6 论文组织 第一章阐述了课题的研究背景，明确了灾难、容灾、评价指标及其相关概念 的定义，介绍了国内外在容灾标准、技术、评估等领域的研究现状，重点论述了 课题组设计的面向军事应用的业务容灾系统，并分析描述了其业务部署结构。最 后大体叙述了论文的主要工作。 第二章首先分析了虚拟化技术以及其特点，重点介绍了我们在以后要应用的 虚拟化中的活迁移技术，并对目前的几种虚拟化产品做了简要比较，然后，主要 第9 页 国防科学技术大学研究生院硕士学位论文 探讨了虚拟化引入后，对容灾系统中可维护性、可用性等几个功能特性的影响。 第三章首先分析了虚拟化容灾系统中业务和资源的抽象，详细描述了业务自 动部署的架构，然后剖析了快速自动部署的流程。根据应用与数据分离的特性， 需要在不同节点上部署不同的应用或数据，因此本文首先研究了如何将一个业务 快速部署到某个节点上去的技术途径。然后根据n + m 容灾结构中多主多备的特性， 需要将一个业务同时部署到多个节点，因此本文也研究了在业务部署到一个节点 后，如何将其大量快速地部署至其它节点的技术途径。 第四章提出了容灾业务自动迁移并设计了一种基于智能算法的容灾业务迁移 算法，首先分析了容灾迁移能力评估指标体系，详细介绍了几项指标内容，针对 多种约束条件，设计了基于蚁群算法a n t n e t c o 的业务迁移算法，模拟实验验证 了其有效性。 第五章设计与实现了容灾自动部署与自动迁移的原型系统，并对原型系统的 测试效果进行了分析。 第六章是结束语，总结了在容灾系统自动部署与自动迁移技术研究中所取得 的成果，并通过分析原型系统中的可以改进的地方提出了下一步工作的努力方向。 第l o 页 国防科学技术大学研究生院硕士学位论文 第二章虚拟化技术及在容灾中应用 2 1 虚拟化技术概述 虚拟化( v i r t u a l i z a t i o n ) 技术最早出现在2 0 世纪6 0 年代的i b m 大型机系 统，在7 0 年代的s y s t e m3 7 0 系列中逐渐流行起来【i7 1 。这种技术通过一种叫虚拟 机监控器( v i r t u a lm a c h i n em o n i t o r ，、讯n ，i ) 的程序在物理硬件之上生成许多可以 运行独立操作系统软件的虚拟机( v i r t u a lm a c h i n e ) 实例。而在x 8 6 体系结构上， 从2 0 世纪9 0 年代后期开始，伴随着硬件