（计算机科学与技术专业论文）分布式拓扑数据管理技术研究.pdf

国防科技大学研究生院工学硕士学位论文 摘要 随着网络规模的不断扩大，计算机网络日益呈现出异构性、动态性、多样性 的特点，拓扑数据管理面临很多困难，如数据规模庞大、网络变更迅速、统计精 度要求高等。单一的拓扑数据中心已经不能满足管理需要，分布式的拓扑数据管 理成为必然发展趋势。 目前，对于拓扑数据管理研究最多的是拓扑发现方法，而对分布式拓扑数据 管理以及拓扑数据融合技术研究尚少。为了适应拓扑数据的分布式要求，拓扑管 理系统必须利用有效的拓扑数据融合技术，将时间和空间零散的拓扑数据有效地 融合在一起，从而得到完整的网络拓扑信息，以保证网络高效、稳定地运行。 本文首先进行拓扑数据融合现状的分析，总结拓扑数据融合面临的时间融合 以及空间融合问题，并在深入研究拓扑数据融合技术、分布式数据管理技术以及 面向服务结构实现技术的基础上，设计并实现了面向服务的分布式拓扑数据管理 系统，并对其中的几个关键技术进行了研究：1 ) 分布式拓扑a g e n t 部署方案， 采用面向服务架构对分布式拓扑a g e n t 进行部署管理。2 ) 拓扑数据传输设计，能 采用多种传输协议进行数据传输，并且能进行数据压缩分块加密等处理。3 ) 拓扑 数据融合技术的研究，提出了三个具有创新意义的拓扑数据融合方法，分别为基 于树合并的拓扑数据重叠消除方法、基于路由器端口分析的子网冲突消除方法以 及基于时间快照的拓扑数据时间差异消除方法，能有效解决拓扑数据融合面临的 时间融合和空间融合问题。 最后，本文介绍了分布式拓扑数据管理原型系统的设计与实现，系统各模块 松耦合，具有很好的可扩展性。拓扑数据融合方法在系统中都得以实现，以解决 现实环境下分布式拓扑数据融合的问题。此外，还对原型系统进行了功能测试和 性能测试，测试表明，分布式拓扑数据管理完全符合当前综合网络态势管理的应 用需求。 主题词：分布式，网络管理，拓扑，数据融合，s o a ，a g e n t 第i 页 国防科技大学研究生院工学硕士学位论文 a b s t r a c t w i t hac o n s t a n t l ye x p a n s i n gs i z e ，c o m p u t e rn e t w o r ks h o w su pah e t e r o g e n e o u s ， d y n a m i ca n dd i v e r s i t yf a c e t o p o l o g yd a t am a n a g e m e n tf a c e sal o to fp r o b l e m s ，s u c ha s l a r g e s c a l ed a t a ，t h er a p i dc h a n g eo fn e t w o r ks t r u c t u r e ，s t a t i s t i c a la c c u r a c yd e m a n d c e n t r a l i z e dt o p o l o g yd a t ac e n t e rc a n n ol o n g e rm e e tt h en e e do fn e t w o r km a n a g e m e n t ， a n dd i s t r i b u t e ds t r u c t u r eh a sb e c o m ea ni n e v i t a b l et r e n do ft o p o l o g yd a t am a n a g e m e n t a tp r e s e n t ，am a j o r i t yo fr e s e a r c h so nt o p o l o g yd a t am a n a g e m e n ta r ea b o u t t o p o l o g yd i s c o v e r y , a n dr e s e a r c h so nd i s t r i b u t e dt o p o l o g yd a t am a n a g e m e n ta sw e l la s t o p o l o g yd a t af u s i o nt e c h n o l o g ya r es t i l lr a r e t om e e tt h er e q u i r e m e n t so fd i s t r i b u t e d t o p o l o g yd a t am a n a g e m e n t ，w em u s tt a k ea d v a n t a g eo fe f f e c t i v et o p o l o g yd a t af u s i o n t e c h n o l o g y , m e r g et o p o l o g yf r a g m e n t so fn e t w o r kw h i c ha r es c a t t e r e di nt i m ea n ds p a c e t o g e t h e re f f e c t i v e l y , a n dt h e no b t a i nac o m p l e t en e t w o r kt o p o l o g yi n f o r m a t i o na n d e n s u r et h a tn e t w o r ki sw o r k i n gi na ne f f i c i e n ta n ds t a b l ew a y t h es t a t u sq u oo ft o p o l o g yd a t af u s i o nt e c h n o l o g yi si n t r o d u c e da tt h eb e g i n n i n g o ft h i sa r t i c l e ，a n dp r o b l e m so ft o p o l o g yd a t af u s i o na b o u tt i m ea n ds p a c ef u s i o na r e e n u m e r a t e d o nt h eb a s i so fi n d e p t hr e s e a r c h so nt o p o l o g yd a t af u s i o nt e c h n o l o g y , d i s t r i b u t e dd a t am a n a g e m e n tt e c h n o l o g ya n ds e r v i c e - o r i e n t e da r c h i t e c t u r e ( s o a ) ，a s o ad i s t r i b u t e dd a t am a n a g e m e n ts y s t e mi sd e s i g n e da n dr e a l i z e di nt h i sp a p e r s e v e r a l k e yt e c h n o l o g ya sf o l l o w si sr e s e a r c h e d 1 ) d i s t r i b u t e dt o p o l o g ya g e n tm a n a g e m e n t w ed e p l o ya n dm a n a g et h ed i s t r i b u t e dt o p o l o g ya g e n tw i t hs o at e c h n o l o g y 2 ) d e s i g n o ft o p o l o g yd a t at r a n s f e r d a t at r a n s f e rs u p p o r t sav a r i e t yo fd a t at r a n s f e rp r o t o c o l s b e s i d e s ，s o m eo p e r a t i o n ss u c ha sd a t ac o m p r e s s i o n ，e n c r y p t i o n ，b l o c ka n ds oo nc a nb e d o n ed u r i n gt h ed a t at r a n s f e r 3 、r e s e a r c ho nt o p o l o g yd a t af u s i o nt e c h n o l o g y w ep u t f o r w a r dt h r e ei n n o v a t i v et o p o l o g yd a t af u s i o nm e t h o d s ，w h i c hc a ne f f e c t i v e l ys o l v e p r o b l e m so ft o p o l o g yd a t af u s i o na b o u tt i m ea n ds p a c ef u s i o n i nt h ee n d ，w ew i l ls e et h ed e s i g na n di m p l e m e n t a t i o no fd i s t r i b u t e dt o p o l o g y d a t am a n a g e m e n tp r o t o t y p es y s t e m ，w h i c hi sal o o s e l yc o u p l e ds y s t e mw i t hg o o d s c a l a b i l i t y t o p o l o g yd a t af u s i o na l g o r i t h m sm e n t i o n e da b o v ea r eu s e di nt h i ss y s t e mi n o r d e rt os o l v ep r o b l e m so f t o p o l o g yd a t af u s i o ni nr e a l w o r l de n v i r o n m e n t i na d d i t i o n ， f u n c t i o n a lt e s ta n dp e r f o r m a n c et e s ta r ed o n eo nt h ep r o t o t y p es y s t e m ，a n dt h er e s u l t s h o w st h a tt h ed i s t r i b u t e dt o p o l o g yd a t am a n a g e m e n tm e e tt h en e e do fi n t e g r a t e d n e t w o r ks i t u a t i o nm a n a g e m e n t p e r f e c t l y k e yw o r d s ：d i s t r i b u t e d ，n e t w o r km a n a g e m e n t ，t o p o l o g y , d a t af u s i o n ，s o a ， a g e n t 第i i 页 国防科技大学研究生院工学硕士学位论文 表目录 表3 1 拓扑a g e n t 服务2 2 表3 2 传输策略文件：2 6 表3 3 全量时间快照3 6 表3 4 变量时间快照3 6 表4 1 合法a g e n t 信息表( a u t h e n t i c a t i o n ) 4 3 表4 2 拓扑a g e n t 状态信息表( r e g i s t r a t i o n ) 4 3 表4 3 拓扑层次关系表( p a r e n t ) 4 3 表4 4 子网表( s u b n e t ) 4 3 表4 5 设备表( d e v i c e ) 4 3 表4 6 端口表( i n t e r f a c e ) 4 4 表4 7 链路表( 1 i n k ) 4 4 表5 1 拓扑融合测试分析表6 0 表5 2z i p 方案传输测试6 l 表5 3w i n r a r 方案传输测试6 l 第1 v 页 国防科技大学研究生院下学硕士学位论文 图目录 图2 1 层次型拓扑模型1 1 图2 2 树形拓扑模型1 2 图2 3s o a 基本架构一1 6 图2 4 综合态势网络管理系统物理结构示意图1 8 图3 1 拓扑融合体系结构2 0 图3 2 拓扑a g e n t 服务2 1 图3 3 拓扑a g e n t 部署过程2 3 图3 4 信封头格式2 5 图3 5 数据封装过程2 7 图3 6 数据解封装过程2 7 图3 7 传输运行模式2 8 图3 8 融合数据库关系图2 9 图3 9 拓扑树合并3 2 图3 1 0 消除子网冲突3 4 图3 1 l 时间快照模型3 7 图4 1 系统总体架构一4 0 图4 2 系统处理视图4 1 图4 3 系统开发视图4 2 图4 4 数据传输流程图4 7 图4 5 拓扑数据融合方法流程图5 0 图4 6 拓扑树型展现流程图5 3 图5 1 拓扑a g e n t 成功部署5 7 图5 2 拓扑a g e n t 部署失败5 8 图5 3 拓扑a g e n t 关闭j 5 8 图5 4 拓扑融合测试5 9 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 国防科技大学研究生院工学硕士学位论文 第一章绪论 1 1 课题背景 计算机，是人类智慧的结晶，更是社会发展进步的最好的证明；网络，为我 们的生活带来了很多的便利，是人们生活中不可缺少的元素。近年来随着计算机 及通信技术的飞速发展，高速网络越来越普及，网络规模也越来越庞大。根据第 二十二次中国互联网统计调查结果：截止到2 0 0 8 年6 月底，我国上网计算机总数 达到了8 4 7 0 万台，而i p v 4 地址数量为1 5 8 亿个i l 】。计算机网络已经渗透到社会经 济生活的各个方面，对社会进步与经济发展起着越来越重要的作用，也使人们的 工作甚至生活方式发生了巨大的变革。当前计算机网络的发展特点是规模不断扩 大，复杂性不断增加，异构性越来越高。网络的规模越来越大，网络的结构也越 来越复杂，如何保证网络系统的有效正常运作是一大难题。网络规模的激增，网 络复杂性和异构性的焦点化，使网络管理问题上升到了网络建设的战略性位置。 网络规模的日益扩大和日趋复杂，使得有效、可靠的网络管理成为维护网络 安全稳定运行不可或缺的一部分。i s o 在i s o i e c7 4 9 8 4 文档中定义了网络管理 的五个功能域：故障管理：这是网络管理的基本功能，其目的是保证网络能够 提供连续可靠的服务，其内容包括对网络状态的监视、检测，孤立和控制网络异 常活动；配置管理：也是网络管理的基本功能，至少包括识别被管网络的拓扑 结构、标识网络中的各个对象、自动修正指定设备的配置、动态维护网络配置数 据库等；安全管理：保证网络用户和网络资源不被非法使用，以及防止网络管 理信息受到未经授权的访问；性能管理：通过收集和分析网络数据辅助管理者 优化网络性能；计费管理：收集和处理用户使用网络资源的统计信息。 其中，网络拓扑管理是网络管理系统最基本的功能和要求，是配置管理的核 心，故障管理的基础，在整个网络管理系统的开发中占有举足轻重的地位。拓扑 管理使网络管理系统能够正确地识别和确定网络元素之间的互连关系，并在拓扑 图中表示出来。网络元素通常包括互连设备( 如路由器、网桥、交换机等) 、主 机和子网。直观的网络拓扑配置信息对网络态势管理系统的实现有很重要的作用， 它不仅能反映网络中各个网络设备的布局状况，方便用户多角度观察网络结构、 了解网络资源的运行状况、快速诊断和排除网络故障，而且对网络流量监控、异 常告警、防范网络攻击具有重要作用，归纳为以下几个方面： 1 ) 网络拓扑信息为网络管理系统提供一个态势展示的平台。例如，我们可以 在拓扑图上标注流量态势的流量信息，异常节点信息，而在网络攻击行为 及蠕虫爆发前提供相关的预警信号。 第1 页 国防科技大学研究生院工学硕十学位论文 2 ) 网络拓扑数据是实现安全管理的基础。例如，可以根据网络拓扑数据，流 量数据以及地理信息数据三者融合后的综合网络态势进行入侵追踪，入侵 追踪的研究重点是发现攻击者的数据传输路径和真实i p 地址，实现对攻击 者的定位。 3 ) 网络拓扑信息是进行流量分析的要素。流量态势中对大象流、异常流以及 异常节点等分析，其必须与网络拓扑数据融合，最终形成流量态势信息。 目前，对于拓扑数据管理研究最多的是拓扑发现方法，当前拓扑发现技术已 经比较成熟了【2 】，而对分布式拓扑数据管理以及拓扑数据融合方法研究尚少。为了 适应拓扑数据的分布式要求，拓扑管理系统必须利用有效的拓扑数据融合技术， 将时间和空间零散的拓扑数据有效地融合在一起，从而得到完整的网络拓扑信息， 以保证网络高效、稳定地运行。 1 2 国内外研究状况 目前主流的拓扑管理系统采用集中的数据采集，并没有使用分布式结构，导 致系统可扩展性差、系统各层次之间紧耦合以及不能进行拓扑发现过程管理等问 题，单一的拓扑数据中心已经不能满足管理需要，分布式的拓扑数据管理成为必 然发展趋势。 当前，商用的企业级网络和系统管理平台主要有：h p 的o p e n v i e w l 3 j ，i b m 的t i v o l i 4 1 ，s u n 的s o l s t i c ee n t e r p r i s em a n a g e r 5 1 ，a d v e n t n e t 公司的a d v e n t n e tw e b n m s 6 】等。这些产品都是比较成熟的网络管理软件，占据了网络管理领域的大部 分市场份额，它们都以s n m p 协议作为网络拓扑发现的基础，并利用某些特定的 网络协议，对拓扑发现方法进行扩充。 这些产品的优势在于网络设备相关信息的搜集相当完备，能管理多种网络设 备，而其不足在于拓扑数据管理速度较慢，局限于小规模的环境，逐渐不适应于 越来越庞大的网络规模。另外，它们还存在以下不足： 1 1 软件代价昂贵。首先是软件费用高。它们提供了丰富的功能，因而开发成 本高，用户使用必须支付很高的软件购买费用。但是特定的用户只会用到 这些软件某部分功能，这些软件的许多功能并非所有用户都需要。 2 ) 这些软件要求运行于专用的高性能工作站上才能发挥更好的性能，需要额 外的硬件开销。 3 ) 安装、运行和维护困难。上述几款软件都有非常复杂的安装、配置及运行 维护过程。 4 ) 这些软件由一个或少数几个节点收集拓扑数据，易产生瓶颈，对大规模网 络反应不够灵敏，应用上受到限制。 第2 页 国防科技大学研究生院工学硕十学位论文 5 ) o p e n v i e w 和t i v o l i 是完整的商业软件，用户难以后期开发和功能强化。 6 ) s o l s t i c ee n t e r p r i s em a n a g e r 和a d v e n t n e tw e bn m s 都是一套开放的、具有 极好可伸缩性的网络管理开发基础平台，用户可以基于它们进行网络管理 二次开发，能实现基于w e b 的网络管理，使网络管理员的管理行为不再受 网络管理平台的限制。但是，它们只是将用户级面向服务化，还是没能解 决大规模网络的拓扑数据管理效率问题。 新型的网络管理系统结构呈现从集中式向分布式发展，从面向数据向面向服 务转变的趋势。分布式网络管理系统采用功能分散的结构，将网络分成多个功能 域，当需要从某一个域获得信息时，只要和相应的域管理节点通信即可取得所需 信息。分布式拓扑数据管理的一个重要实现途径是a g e n t 的使用【_ 7 ，引，将集中式的 网络管理的功能分派给分布式的网络a g e n t ，并与分布式的网络a g e n t 进行数据通 信以完成拓扑数据管理功能。 1 3 研究目标及创新点 国防科技大学计算机学院6 1 2 教研室重点科研项目“综合网络态势管理 是 一个采用面向服务架构( s o a ) 的网络管理系统，本课题是其拓扑态势管理子系 统部分。本人根据拓扑数据管理分布式的趋势，结合综合网络态势管理的需求， 设计并实现了一个基于分布式拓扑a g e n t 的拓扑数据管理系统，能解决目前存在 的拓扑数据管理系统效率不高、功能扩展性差等问题。 本课题的研究目标是，在深入研究当前存在的拓扑模型设计、数据融合技术、 s o a 实现技术、分布式资源a g e n t 技术的基础上，实现一个面向分布式拓扑数据 的拓扑数据管理平台，从分布式拓扑数据a g e n t 中获取拓扑数据并进行拓扑数据 融合，基于w e bs e r v i c e 对分布式拓扑a g e n t 进行管理，为综合网络态势管理系统 提供拓扑态势数据。 为实现上述课题目标，我们确定了本课题的具体研究内容： 1 ) 对拓扑数据模型、分布式资源a g e n t 相关知识、s o a 实现技术的研究。 2 ) 对于分布式拓扑数据融合技术的研究。 3 ) 定义分布式拓扑a g e n t 管理方式，实现对拓扑a g e n t 服务功能封装、认证、 部署以及运行管理。 4 ) 对拓扑数据传输实现的关键技术进行了研究。主要包括传输流程设计、数 据封装设计、数据压缩、加密解密、传输协议运用等关键技术的研究。 5 ) 分布式拓扑数据管理系统的设计与实现。根据拓扑数据的处理流程，系统 设计成三层结构，每层的功能都运用模块化方法实现。 6 ) 对拓扑数据管理功能实现以及分布式数据传输性能状况的测试。 第3 页 国防科技大学研究生院工学硕士学位论文 基于奉课题的研究内容，预计的课题创新点如f ： 1 1 分布式拓扑a g e n t 部署过程的设计与实现 2 ) 采用面向服务的拓扑数据传输方法研究 3 ) 基于树合并的拓扑数据重叠消除方法的研究与实现 4 ) 基于路由器端口分析的子网冲突消除方法的研究与实现 5 ) 基于时间快照的拓扑数据时间差异消除方法的研究与实现 1 4 论文结构 本文共分六章。各章节的内容概述如下： 第一章为绪论，论述了本课题的研究背景、国内外的研究现状、研究目标以 及课题的主要内容，并给出了本论文的组织结构。 第二章为课题相关技术的研究，主要分析了拓扑数据融合的现状，介绍了网 络拓扑模型的相关知识，接着介绍了分布式资源a g e n t 的相关知识，还有面向服 务体系结构的相关内容。 第三章为分布式拓扑数据管理实现的关键技术研究。包括分布式拓扑a g e n t 管理方案的介绍，拓扑数据传输服务的设计，以及拓扑数据融合分析，提出三个 具有创新意义的拓扑数据融合方法。 第四章为本文研究内容设计的原型系统设计与实现。包括总体架构设计，各 功能模块的设计以及拓扑数据传输的设计与实现。 第五章为拓扑数据管理服务的测试与分析。对拓扑数据融合的功能实现和拓 扑数据传输模块的性能状况进行了测试和相关的分析。 第六章是结束语，对本文的工作进行了总结，并对下一步的工作进行展望。 最后是致谢和参考文献。 第4 页 国防科技大学研究生院工学硕士学位论文 第二章相关技术研究 本章主要介绍本课题所涉及的相关技术，包括拓扑数据融合技术研究现状、 拓扑数据模型、分布式a g e n t 概述以及面向服务结构的相关技术，熟悉这些技术 对于分布式拓扑数据管理的设计与实现具有指导意义。 通过拓扑融合技术现状分析，我们了解到拓扑数据融合技术面临的问题，为 提出合理可行的拓扑融合方法奠定基础。通过对拓扑数据模型的分析，在对大规 模网络进行拓扑数据管理时，我们能够将分布式的拓扑数据按照特定的拓扑数据 模型进行数据处理，从而满足拓扑数据管理对处理速度、缓存大小等的要求。目 前存在的分布式a g e n t 的实现技术影响着分布式拓扑数据管理的设计，网络管理 引入分布式a g e n t 是新型面向服务的网络管理系统设计和实现的具体要求，因此 研究和实现基于分布式拓扑a g e n t 的拓扑数据管理系统，对于综合网络态势管理 来说，具有重要的技术支撑作用。 本章的结构组织如下：第一节介绍拓扑融合技术现状，并分析拓扑融合面临 的问题；第二节是网络拓扑模型介绍；第三节是分布式a g e n t 的概述，包括其组 织结构以及功能简介；第四节主要对面向服务结构进行了简要介绍；最后介绍了 分布式拓扑数据管理作为一个子系统在综合态势管理系统中的应用。 2 1 拓扑数据融合现状分析 拓扑数据管理为了满足效率，松耦合、扩展性等需求，体系结构不可避免地 向分布式结构发展，即从代表着局部网络的拓扑发现节点取得拓扑数据。而不同 源的局部拓扑数据怎样才能融合成统一、完整的全局拓扑数据，就是拓扑数据融 合解决的问题。 在网络拓扑领域研究最多的是拓扑发现方法，以及基于传感器网络的数据融 合，而传感器网络中数据融合研究的是传感器感应数据的带权值融合。现阶段对 基于有线网络的拓扑数据融合方法研究尚少，只有一些针对拓扑数据融合片面问 题的研究，暂时还没有一个成熟可用的拓扑融合方法可以解决分布式环境下的拓 扑数据融合问题。所以，分布式环境下拓扑数据融合技术的研究与实现具有很高 的理论创新意义。 分布式拓扑数据融合面临的问题很复杂，有多个要解决的难点。拓扑数据融 合问题总体上可以分成空间融合和时间融合两大部分，空间融合解决来自不同拓 扑发现节点的数据进行数据结构合并的问题，时间融合涉及不同节点提供的拓扑 数据存在时间差异的解决方法。 第5 页 国防科技大学研究生院工学硕士学位论文 2 1 1 空间融合 ( 1 ) 数据重叠 分布式网络发现节点部署在网络环境中，每个节点管理的网络相互交错，相 互重叠，所以节点之间存在重叠数据的可能性非常高。成功的拓扑融合必须能将 代表同一个网络元素的拓扑节点表示成相同的数据，并且能将多个存在重复数据 的网络拓扑结构融合成消除重复数据之后的网络拓扑结构，使得网络拓扑结构更 加完整。 同时，路由器的表现形式( 例如i p 地址) 不一定相同，如果把它们作为不同的 路由器呈现在拓扑数据中，显然是错误的。为了节约网络资源和方便设备管理， 网络中的路由器往往配置了不止一个i p 地址，同一个路由器的不同的i p 地址连接 着不同的子网，对于大型骨干网络这种情况尤其明显【_ 7 1 。识别同一个路由器的不同 表现形式就是路由器别名问题。 为了解决别名问题，出现了一些路由器多接口地址探测的一般性方法，主要 包括d n s 域名查询方法，基于i c m p 的探测法。 d n s 域名查询方法的基本思想是，对路由器的多个接口地址做d n s 反向地址 查询，得到其域名信息，如果其中有不同的接口地址对应同一域名，则可以判定 它们属于同_ 一路由器【8 】。该方法的一个基本假设是同一路由器的多接口地址注册同 一域名。虽然d n s 域名查询是公开的i n t e r n e t 信息服务，但是用该方法来确定路 由器的多个接口地址同样存在着很大局限性。d n s 探测的基本假设前提是同一路 由器的多接口地址对应同一域名。但是，在i n t e m e t 中，路由器常常被作为边界网 关使用，其属于不同域的接口有可能被分配不同的域名。同时，反向地址查询只 能对申请了域名的路由器进行。 i c m p 探测法基于原始的用户数据报协议( u d p ) 和i n t e m e t 控制消息协议 ( i c m p ) ，比较有效的一个算法是改进的m e r c a t o r 算法【9 1 ，如果两个i p 地址i p l 和i p 2 有可能属于同一个路由器，那么选择一个很大的值作为连接的端口号( 目的 是该端口使用概率很小) ，分别向它们发送u d p 数据包，它使目的路由器产生一 份“端口不可达 错误i c m p 报文，分别记录其各自返回报文中的i pi d e n t i f i e r 为i d l 和i d 2 ，i pi d e n t i f i e r 为数据包分片重组的唯一标识，大多数路由器将其设置 成为一个数值自动增加的字段。接着再发送一个u d p 数据包到i p l ，记录返回报 文的i pi d e n t i f i e r 为i d 3 ，如果i d l i d 2 i d 3 ，且i d 3 i d l 的值很小，那么就认为这两 个i p 属于同一个路由器。该算法处理路由别名问题工作效率很慢，因为必须把i p 地址两两配对判断是否属于同一路由器，而且而且要求一些必备条件( 如对于i p i d e n t i f i e r 的假定等) 。 d n s 域名查询方法和基于i c m p 的探测法都存在一定的局限性，并且解决路 第6 页 国防科技大学研究生院t 学硕士学位论文 由器别名i 、u j 题的效率不高，应刚到分布式拓扑管理中比较困难。通过对网络协议 以及网络拓扑数据信息的分析，在分布式拓扑数据管理中解决路由器别名问题使 用简单网络管理协议( s n m p ) 是一个简单有效的方法。 s n m p 协议是t c p i p 协议族中的应用层协议。制定该协议的目的在于对不同 的网络实体进行有效的管理。s n m p 的功能是强大的，利用s n m p 协议可以获取 其管理范围内网络实体的丰富信息。因此，要获取路由器的多接口地址，只需要 简单地向该路由器发s n m p 查询，是比较理想的方案之一。而对于路由器别名的 问题，多i p 地址的同一路由器的判定对于不同的类型的路由器可以参照o s p f 协 议将【1 0 l 路由器接口表中最小的i p 地址作为它的标识。 ( 2 ) 数据错误 子网划分标准规定，子网掩码是一个3 2 位地址，用于屏蔽i p 地址的一部分 以区别网络地址和主机地址，如果i p 地址的相应位被看做网络地址，则子网掩码 中对应的位就被置为l ，而如果把i p 地址的相应位作为主机地址，则把它置为o ， 子网掩码中连续1 的位数称做子网掩码长度，它可以代表一个子网的规模。 由于分布式网络发现节点之间运行存在差异，单个a g e n t 信息的局部性有可 能导致拓扑数据与现实网络相悖，拓扑数据之间可能存在结构不一致的数据。集 中体现在子网数据冲突，即违背了子网划分标准。 子网数据叠加之后，同属于一个上层子网的次级子网可能会出现地址冲突， 这是由拓扑发现过程子网搜索的局部信息差异造成的。拓扑a g e n t 之间由于部署 位置的关系，网络连接设备发现顺序不一致，以及拓扑发现目标网络的局部性， 导致在子网分析的时候存在差异，从而可能导致子网数据的冲突。 如路由器附和r 2 ，其中砒存在一个端口p o r t l ，地址为1 9 2 1 6 8 0 1 ；r 2 存 在一个端口p o r t 2 ，地址为1 9 2 1 6 8 0 1 2 9 。路由器端口对应子网连接地址为端i ：3 地 址跟子网掩码“相与”得到的地址，所以p o r t l 连接的子网地址s u b n e t l 为 1 9 2 1 6 8 0 0 ，子网掩码为2 5 5 2 5 5 2 5 5 0 ；p o r t 2 连接的子网地址s u b n e t 2 为 1 9 2 1 6 8 0 1 2 8 ，子网掩码为2 5 5 2 5 5 2 5 5 1 9 2 。这里显然出现了子网冲突，违背了子 网划分的规则。 ( 3 ) 数据空洞 网络发现节点分布零散、拓扑发现功能不强、网络带宽占用等问题可能导致 拓扑数据经融合后产生空洞，即产生的整体拓扑结构存在若干个拓扑分块，分块 之间缺失了将它们连接起来的拓扑数据。这证明拓扑发现不够完全，需要进一步 控制拓扑a g e n t 进行定向的拓扑发现进行补全。 数据空洞问题可以利用启发式子网猜测技术，采用启发式的网络拓扑发现策 略，完成网络拓扑空洞结构探测。可以根据已知有效子网前缀猜测子网，如果p 第7 页 国防科技大学研究生院工学硕十学位论文 是有效子网日仃缀，则假设p 的k 个相邻子例自订缀也是有效子例自订缀。例如：如果 1 7 2 2 6 1 0 3 2 是有效子网前缀，则假设与其相邻的子网前缀1 7 2 2 6 3 0 3 2 和 1 7 2 2 6 2 0 3 2 是有效子网前缀。启发式子网猜测技术可以方向性地引导拓扑发现， 从而发现原来缺失的拓扑数据空洞，使拓扑数据更为完整。启发式拓扑发现技术 已经有很多相关的研究，文献【1 1 】为启发式拓扑搜索建立了很具参考价值的理论基 础。 后文处理拓扑数据时间融合将会引入时间快照技术，能够将历史的拓扑数据 保存起来。对于产生了拓扑数据空洞的子网，设定一定的查询深度，依次往回查 询拓扑数据时间快照中该子网的历史拓扑结构，找出当前拓扑结构中缺少的网络 元素，并利用i c m p 命令( 常用的p i n g 命令和t r a c e r o u t e 命令) 查询网络元素的 可达性，将活跃的网络元素重新加入到网络拓扑结构中，可以在一定程度上解决 拓扑数据空洞问题。 2 1 2 时间融合 ( 1 ) 时间差异 网络发现节点定期进行拓扑发现，并且将拓扑发现数据进行处理之后传送到 拓扑管理服务器，由拓扑管理服务器进行各分布式网络发现节点之间的拓扑数据 融合。由于多方面因素的影响，各网络发现节点产生的拓扑数据并不是同一个时 间点产生的。主要由以下因素影响： 1 1 网络发现节点运行差异。 2 ) 网络发现节点之间系统时间不一致。 3 ) 各网络发现节点管理的网络规模不一致，导致拓扑发现时间存在差异。 4 ) 网络发现节点之间硬件配置不一致，导致处理速度不尽相同。 5 ) 网络发现节点部署位置不一致，导致数据传输耗费时间不一致。 随着网络规模的扩大，网络拓扑结构的变更速度也在加快，这使得网络拓扑 结构存在时效性要求。网络发现节点在某时刻采集的拓扑数据，经过一段时间后， 该段网络拓扑结构可能已经发生了变更，之前采集的拓扑数据对于整体的拓扑结 构也就失去参考价值。而对于分布式拓扑数据管理，网络发现节点采集的数据存 在时间差异，如果不考虑网络拓扑结构的时效性就将存在时间差异的拓扑数据进 行融合，显然得到的拓扑数据结构误差会比较大。 为了解决网络拓扑数据时间差异问题，我们引入时间快照技术存储拓扑结构 数据与时间序列组成的二维拓扑态势数据。时间快照术语最早出现在计算机存储 领域，主要应用于存储备份容灾，目前快照技术在国内外有很多相关的研究，下 面来介绍几种主流的快照技术【l 2 1 。 第8 页 国防科技大学研究生院工学硕十学位论文 首先是同步镜像快照( c o p yw i t hi m a g e ) ，在固定的时间点进行数据快照，而 在快照时间点之前，创建并维护一份与目标数据同步的镜像数据，快照操作只需 把镜像数据进行备份存储。同步镜像快照不涉及数据内容的分析，所以快照执行 时间非常短，而耗费的只是数据传输的时间，其缺点是快照处理缺乏灵活性，并 且快照数据将耗费大量的存储空间。 按需快照( c o p y o nd e m a n d ) 能解决同步镜像快照的时间灵活性问题。不同于 同步镜像快照，按需快照在快照时间点创建数据的副本，并且利用写控制位使得 数据结构的每个分块必须先进行快照复制再进行数据更新，保持快照操作的完整 性。按需快照解决了时间上的灵活性，但还是不能解决存储空间占用问题。 指针快照( p o i n t e rr e m a p p i n g ) 是为了解决存储空间占用问题而设计的。数据 的各个分块与一个指针表的表项相对应，当源数据发生更新时，指针表做快照副 本，并将要进行更新的数据做快照备份。为保持快照操作的完整性，指针快照也 使用了写前复制技术。指针快照只有在数据更新才进行，并且只存储更新的数据， 所以占用的存储空间很少，缺点是指针快照只是保存了更新的数据，无法得到完 整的源数据展现。 增量快照( i n c r e m e n ts n a p s h o t ) 是基于按需快照设计的，同时参考指针快照 存储数据更新信息的思想，有效减少快照数据的物理占用空间。在首个快照时间 点，增量快照创建数据的全量备份数据，而在之后的快照时间点中，只是存储当 前数据与前次快照备份相比发生更新的数据。增量快照可以有效减少存储空间占 用，并且通过快照信息能够得到完整的数据信息。增量快照唯一的缺点是其基于 时间点进行快照操作，不能记录到每个数据更新动作。 时间快照技术运用在网络拓扑态势数据中，要求时间快照能记录网络拓扑结 构的每个变更动作，并且随时能得到完整的网络拓扑信息，显然上述四种快照技 术还不能满足要求，增量快照的功能较为完善，但是不能记录每个拓扑结构变更 信息，存储精度没有达到要求。 2 2 网络拓扑模型 网络拓扑结构是能够正确地表示网络元素之间的互连关系的结构图，拓扑数 据管理就是针对网络拓扑结构进行的数据管理。为了确保网络元素的拓扑关系能 够正确表示，网络管理领域出现了网络拓扑模型的研究。 本节首先简单介绍网络拓扑模型研究内容，接着介绍目前主流网络管理软件 采用的层次型拓扑模型，最后分析层次型模型的优缺点，并提出本课题在数据处 理中采用的网络拓扑树形模型。 第9 页 国防科技大学研究生院工学硕士学位论文 2 2 1 网络拓扑模型简介 网络元素通常包括互连设备( 如路由器、网桥、交换机等) 、主机和子网，而拓 扑数据管理指的就是管理网络元素以及网络元素之间的连接关系。网络拓扑模型 研究为实现网络拓扑管理提供结构基础和处理依据。 网络拓扑模型研究涉及网络测量、图论、统计学等多个研究领域【l3 1 ，主要研 究的问题包括： 1 ) 如何获得一份完整而准确的网络拓扑数据。 2 ) 如何高效地进行拓扑数据遍历。 3 ) 如何对网络拓扑特征进行描述。 4 ) 如何生成能够表示现实网络环境的网络拓扑。 网络拓扑模型是网络拓扑数据管理研究的核心内容。首先，它描述的是网络 拓扑最本质、最核心的特征。作为网络态势管理的重要组成部分，网络拓扑管理 应以能够准确反映网络拓扑模型所描述的网络特征为重要目标，从而发挥其正确 引导人们认识和研究网络的作用。其次，网络拓扑模型研究过程中所产生的模型 和标准为拓扑数据管理系统的设计提供了直接的结构基础和处理依据。 有关网络拓扑建模的研究自网络诞生以来就从未停止过，产生的知名模型主 要有随机型( w a x m a n 模型【1 4 1 ) 、层次型( t i e r s 模型【1 5 1 、t r a n s i t & s t u b 模型【1 6 1 ) 和幂率 型( p o w e r l a w 模型1 7 】) 。这些模型都从宏观上对网络的结构特征进行了描述。 随机型拓扑模型存在很多问题，模型不能控制拓扑图中平均结点度，并且生 成的随机网络拓扑不能保证是连通的网络。幂率型拓扑模型是基于这样的一种事 实，就是在实际的情况中，大量的事务实际上是发生在极少数的个体之间，幂率 型拓扑模型集中体现产生大量实务的个体之间的连接关系，所以幂率型拓扑模型 比较适用于p 2 p 网络的拓扑数据管理。 而层次型拓扑模型可以把结构复杂的大规模网络划分为多层的和多块的简单 网络，从而使得管理大型拓扑数据变得容易。层次型模型也是目前大多数网络管 理软件采用的拓扑数据存储模型。 2 2 2 层次型拓扑模型 对