（计算机应用技术专业论文）ip网络流量数据采集与存储系统的设计与实现.pdf

摘要 近年来，随着以t c p i p 为核心协议的互连网的快速发展，i p 技术作为 一种承载业务和沟通传输的中间体得到了极大的发展。基于瑶的业务应用发 展迅速，网络的规模日趋庞大。网络的可用性与网络规模膨胀的矛盾显得更 加突出。结构越来越复杂和规模越来越庞大的网络系统更需要网络管理软件 来保证系统的正常运作，网络管理的质量会直接影响到网络的运行质量，管 理好一个网络与网络的建设同等重要。 网络管理软件通过对网络数据的分析达到对网络资源、性能、故障的管 理，而网络数据的获取是网络管理软件中最为重要的部分，本文详细阐述了 球网络流量数据采集与存储系统的设计与实现。 文章首先介绍了网络管理的一些基础知识，包括网络管理的基本概念、 网络管理的五大功能以及网络管理的体系结构。 其次，文章分析了网管数据采集系统所使用的主要协议，包括s n m p 、 n e t f i o w 、s f l o w 以及r m o n 等。 接着，文章介绍了口网络海量数据的存储方法，并比较了几种存储方案 的优劣。 。 文章最后结合项目实践详细描述了口网络数据采集与存储系统的设计与 实现。鉴于被管网元的多样性和管理类别的不同，我们在数据采集层上采取 了不同的协议采集不同的网管数据，把数据采集分为主动数据采集和被动数 据采集。n e t f l o w 、s f l o w 、s n m pt r a p 属于被动采集的范畴，在f l o w d 里面自动实现数据的采集、告警和入库操作；而s n m p 、c l i 属于主动采 集，必须让采集服务器使用轮询操作来及时取得网管数据。为了避免海量数 据存取导致的平凡i o 操作，在数据存储上我们采取了嵌入式数据库，并将 原始数据和处理了的业务数据进行分库存储；另外为了提高系统的整体效 率，我们对系统进行分层处理，每一层对应着不同的进程，数据采集层为 f l o w d 进程和a r p d 进程、业务处理层为f l o w - m i n i n g 进程，而前台展示层我 们则使用j 2 e e 规范技术实现。 ， 为了提高数据接收和处理效率，我们用c 语言编写了数据采集层和业务 处理层，而前台展示层我们则用跨平台性良好的j a v a 技术实现。 关键字：n e t f l o w ，s f l o w ，r m o n ，网络管理 a b s t r a c t w i t ht h eg r e a td e v e l o p m e n to fi n t e r a c t ，t h ei pn e t w o r kt e c h n o l o g y ，a sa c 砒l i e ro fb u s i n e s sa n dc o m m u n i c a t i o n , h a v i n gg o tr a p i dg r o w t hi nr e c e n ty e a r s t h eb u s i n e s sb a s e do ni pt e c h n o l o g ya l s om a k eg o o dt i m e , w h i c hm a k et h e n e t w o r kb l 挖o m em o r ea n dm o r ec n o e b l o n s ，a n di n c r e a s et h ei n c o n s i s t e n c y b e t w e e na v a i l a b i f i t ya n ds i z eo ft h en e t w o r k t h eq u a l i t yo ft h en e t w o r k m a n a g e m e n tc a nd i r e c t l ya f f e c tt h en e t w o r k st r a n s p o r t , t h ec o n s t r u c t i o ni s a s i m p o r t a n ta sm a n a g e m e n t t on e t w o r k n e t w o r k m a n a g e m e n t s o f t w a r e m a n a g e t h en e t w o r kr e s o u r c e、 p e r f o r m a n c e 、f a u l tb ya n a l y z i n gt h en e t w o r kd a t a , h o wt og e tn e t w o r kd a t a i st h e m o s ti m p o r t a n tp a r td m i n gt h ec o u r s eo fd e v e l o p i n gt h en e t w o r km a n a g e m e n t s o f t w a r e ，t h i sa r t i c l ew i l le l a b o r a t eo nt h ed e s i g na n di m p l e m e n tm e t h o do fd a t a a c q u i s i t i o na n ds t o r a g es y s t e m t h i sp a p e rf i r s ti n t r o d u c e ss o m eb a s et h e o r yo fn e t w o r km a n a g e m e n t t e c h n o l o g y ，i n c l u d i n gb a s ec o n c e p t i o n ，m a i nf u n c t i o n sa n d f r a m e w o r ko fn e t w o r k m a n a g e m e n t s e c o n d l y ，t h i sp a p e ra n a l y z e ss o m ep r o t o c o l su s e db yd a t aa c q u i s i t i o n , i n c l u d i n gs n m p ，n e t f l o wa n dr m o n a f t e rt h a tt h i sp a p e rg i v e sab r i e fi n t r o d u c t i o na b o u th o wt os t o r i n gb i gd a t a o fi pn e t w o r k , a tt h es a m et i m e , t os h o wd i f f e r e n c e sw ec o m p a r em a n yk i n d so f s t o r i n gm e a n s f i n a l l y ，t h ed e s i g na n di m p l e m e n t a t i o no ft h ed a t aa c q u i s i t i o na n ds t o r a g e s y s t e ma l l i e dp r o j e c tp r a c t i c ei sd i s c u s s e di nd e t a i la tc h a p t e r5 t a k i n gd i f f e r e n t p r o t o c o l sc o l l e c t i n gd i f f e r e n tn e t w o r kd a t ai nd a t aa c q u i s i t i o nl a y e rf o rn e t w o r k c e l la n dm a n a g e m e n tc l a s sd i f f e r e n c e ，i nu p p e rl e v e l ，d a t aa c q u i s i t i o ni sd i v i d e d i n t oa c t i v ea c q u i s i t i o na n dp a s s i v ea c q u i s i t i o n n e t f l o w 、s n m pt r a pb e l o n gt op a s s i v ea c q u i s i t i o n , a n di nt h ef l o w d m o d u l ea c q u i s i t i v et h ed a t a ，s a v et h ed a t aa n dt r a n s f e rt h ed a t at oa l a r mm o d u l e h o w e v e r ，s n m pa n dc l i , b e l o n g i n gt oa c t i v ea c q u i s i t i o n ，m u s tb ep o l l e d r e g u l a r l yb yp o l l i n gs e r v e r i no r d e rt oa v o i d i n gf r e q u e n t l yo p e r a t ea b o u tf o ， i i u s i n g e m b e d d e dd a t a b a s es t o r ec o l l e c t e dd a t a , f o ro r i g i nd a t aa n db u s i n e s sd a t a d i s p o s e ds t o r ei nd i f f e r e n c ed a t a b a s e s i no r d e rt oi m p r o v et h ew h o l ee f f i c i e n c yo f t h ew h o l es y s t e m ，d i v i d et h ew h o l es y s t e mi n t ot h r e el a y e r s ，e a c hl a y e r c o r r e s p o n d i n gw i t hap r o c e s s d a t ac o l l e c tl a y e ri s f l o w da n da r p dp r o c e s s b u s i n e s sd i s p o s el a y e ri sf l o w - m i n i n g ，t h e nf o rt h ef r o n td i s p o s a lw et a k ej 2 e e t e c h n o l o g y i no r d e rt op r o m o t et h ee f f i c i e n c yo fr e c e i v i n ga n dd i s p o s i n g , w ep r o g r a m w i t ht h ec l a n g u a g ef o rd a t ac o l l e c t i n gl a y e ra n db u s i n e s sd i s p o s i n gl a y e r f o r f r o n td i s p o s a ll a y e rw e p r o g r a m w i t ht h ej a v al a n g u a g ef o ri tw o r k i n gd i f f e r e n t p l a t f o r m k e yw o r d s ：n e t f l o w ，s f l o w ，r m o n ，n e t w o r km a n a g e m e n t i i i 武汉理工大学硕士学位论文 a p i ： s n m p ： n e t f l o w ： n p m s ； d o s ： 1 b s ： 冒； m p l s ： a n 订： a n ： m i b ： r m o n ： t c p ： c p u ： n a 孔 j d b c ： l o t m a c ： i c m p ： i g d 口： s m t p ： r s t ： f r p ： o o s ： m r t g ： 缩略词 a p p l i c a t i o np r o g r a m m i n g i n t e r f a c e s i m p l en e t w o r km a n a g e m e n tp r o t o c o l n e t w o r kf i o w n e t w o r kp e r f o r m a n c em a n a g e m e n ts y s t e m d e n i a lo fs e r v i c e t y p eo fs e r v i c e i n t e r n e te n g i n e e r i n gt a s kf o r c e m u r i - p r o t o c o ll a b e ls w i t c h i n g a s y n c h r o n o u st r a n s f e rm o d e v m u a ll o c a la r e an e t w o r k m a n a g e m e n ti n f o r m a t i o nb a s e r e m o t em o n i t o r i n gm i b si ns n m p t r a n s i a t i o nc o n t r o lp r o t o c o l c e n t r a lp r o c e s su n i t n e t w o r ka d d r e s st r a n s l a t i o n j a a d a t ab a g ec o n n e d i o n i n p u to u t p u t m e d i aa c c e s sc o n t r o l i n t e r n e tc o n t r o lm e s s a g ep r o t o c o l i n t e m e tg r o u pm a n a g e m e n tp r o t o c o l s i m p l em a i lt r a n s l a t i o np r o t o c o l r e s t a r tt o k e n f i l et r a n s l a t i o np r o t o c o l q u a l i t yo fs e r v i c e m u l i tr o u t e r1 h f f i cg r a p h e r 独创性声明 本人声明，所呈交的论文是我个人在导师指导下进行的研究工作及取得 的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究 所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名： 关于论文使用授权的说明 日期掣 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即：学校 有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的 全部内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 研究生签名：盔口秘师签名： ：李墨 武汉理工大学硕士学位论文 1 1 背景介绍 第1 章引言 在网络管理的初期，对网络的管理停留在使用i c 肝和p i n g 的基础上， 但是随着网络内主机数据的不断增多，这种简单的工具已经不可能完成网络 管理的工作了。 网络管理系统是网络的重要组成部分，是保证网络系统高效、可靠、经 济和安全运行的重要支撑手段。很多网络特性的使用和提供，在很大程度上 取决于相应的网络管理系统的能力和质量。由于通信技术的高速发展，网络 规模不断扩大，网络复杂性的日益提高，对网络管理系统的要求越来越高， 对网络管理技术的要求也越来越高。很多大计算机与网络通信厂商陆续推出 了各自的网络管理系统，如h p 的o p e n v i e w 、i b m 的n e t v i e w 、3 c o m 的t r a n s c e n d n e t w o r k i n g 、c a 的u n i c e n t e rt n g 及s u n s o f t 的s u n n e t m a n a g e r 等等。他 们都已在各种实际环境下得到了一定的应用，并已经有了相当的影响。 但在国内，网络管理是近几年才出现的。当前市场中的网管产品几乎为 国外产品所垄断，这些网管产品可分为通用型( 如o p e n y i e w ，n e t v i e w 等) 和专用型( 如c i s c o w o r k s 等) 。通用型网管系统的缺点是：费用较高，而且 都需要二次开发；专用型网管系统的缺点是：过于专一，只限于某厂家或某 型号的产品，不适合于目前的多厂家异构环境。最主要的是这两种产品类型 都不能很好的适应国内网络的现状及管理需求，这对我国网络的建设与发展 十分不利，因此，研制适合我国自己情况的网络管理系统势在必行。 i p 数据网不同于分组交换、d d n 、帧中继、a t m 等基础网络，它是一个 开放的系统，因此，i p 数据网的管理有其特殊的复杂性。从技术角度出发， i p 网管系统就是要具备足够的监控手段，对网络事件做出快速反应，提供故 障隔离措施，并依赖有效的操作控制手段，尽快解决故障，保证网络的正常 运行，实现集中操作和维护管理。i p 网管系统要求对i p 数据网上的故障、 性能、配嚣、环境等信息进行全面掌握，对网络整体和局部的流量、流向， 网元设备的负荷情况等，提供实时统计的数据，以此作为网络优化和网络扩 武汉理工大学硕士学位论文 容的参考。i p 网管系统要求故障和告警处理实现自动化，并逐步建立和完善 故障处理的知识库，同时，i p 网管系统要求提供基于定制的特殊服务，以对 该i p 数据网进行更加完善的监管m 1 。 1 2 课题来源 针对目前国内网络性能管理系统绝大多数侧重在网络设备和链路的故障 管理方面，缺乏适用的网络性能管理系统，武汉和中信息科技有限责任公司 决定与武汉理工大学计算机学院合作开发具有自主知识版权的国产化的网络 性能管理系统产品，对于网络性能管理、系统性能管理和应用系统管理提供 相应的解决方案和完整的、可扩展的管理平台，并针对运营商、企业和融合 网络提供不同的套件系统。 和中公司网络性能管理系统所管理的侧重点是解决用户实际业务的运行 问题，以确保业务运行为第一要素，通过强大的监控、预警、分析、规划等 功能提供给用户强大的网络管理手段，增强用户的业务系统运营效率 1 3 本文所做的工作 本人在整个网络性能管理系统项目中主要参与了数据采集与存储方面的 工作。 1 在l i n u x 环境下用c 语言参与设计，实现了基于多协议的i p 网络流量 数据采集，完成了网络流量数据的接收、分类和汇总等工作，该方法适用于 主动和被动数据采集。 2 在比较分析各种海量数据实时存储优劣的基础上，参与设计实现了将嵌 入式数据库b e r k e l e y 明引入到海量数据的实时存储中，较好地解决了海量 数据实时存储的磁盘操作问题，为前台数据展示提供了良好的接口。 1 4 论文结构 本论文分为六章，主要内容如下： 第一章：引言。简述了网络管理在网络技术应用日益广泛的背景下的重要 2 武汉理工大学硕士学位论文 性。介绍了本课题产生的背景和课题来源，说明了本人对课题所进行的理论 研究和所做的实际工作，并列出了论文的内容结构。 第二章：i p 网络管理系统结构。介绍了网络管理的系统结构和网络管理 的五大功能，并介绍了本网络管理系统的整体思想。 第三章：i p 网络管理相关协议分析，包括s n m p 、n e t f l o w 、s f l o w ，r m o n 等协议，重点分析了项目当中采集网络流量数据所使用的网络管理协议。 第四章：i p 网络海量数据存储方案。分析并比较了当前网管软件在解决 海量数据实时存储当中的方法，重点分析了嵌入式数据库处理海量数据实时 存储的可行性和优越性。 第五章：i p 网络流量数据采集与存储系统的设计与实现。首先介绍了本 网络性能管理系统的总体框架，然后详细介绍了网络性能管理系统中数据采 集与存储系统的设计与实现，最后对系统进行了综合评价。 第六章：结论。对i p 网络流量数据采集与存储系统作总结。 3 武汉理工大学硕士学位论文 第2 章 lp 网络管理系统结构 2 1i p 网络管理系统结构 网络管理系统产品由中心服务软件p e r f o r m a n c em a n a g e r 和远端硬件探针 系统r t p r o b e 组成。p e r f o r m a n c em a n a g e r 是位于网络管理中心的一套强大的 网络性能管理软件，它通过基于f l o w 的流协议、s n m p 简单网络管理协议、 s y s l o g 系统日志以及专有的高级性能监测协议o p t 等方式从远端的网络设 备、服务器、应用系统以及硬件探针r t p r o b e 等获得全方位的实时网络信息 元数据，提供全面的实时性能分析、故障定位、端对端的服务质量管理和容 量规划等功能。 远端硬件探针系统r t p r o b e 是一个硬件的流量分析设备，它通过交换机 端口s p a n m i r r o r 方式或者通过t a p 方式监听主要骨干链路的双向流量，并及 时的转换成基于f l o w 的流协议发送到中心p e r f o r m a n c em a n a g e r 。此外， r t p r o b e 还主动的动态监测预定的关键服务或者协议，采用高级性能监测协 议o p t 方式将更深层次的分析信息实时传送到网络中心p e r f o r m a n c e m a n a g e r 。r t p r o b e 具有百兆和千兆两种型号，分别监测百兆和千兆主要链路， 用于不支持f l o w 协议的网络节点的信息采集和监测。整个系统的体系结构 如图2 1 所示 图2 1 网络性能管理系统体系结构图 4 武汉理工大学硕士学位论文 2 2 网络管理五大功能 i s o 在i s o i e c 7 4 9 8 4 文档中定义了网络管理的5 大功能，并被广泛 接受。这五大功能分别是：故障管理( f a u l tm a n a g e m e n t ) 、配置管理 ( c o n f i g u r a t i o nm a n a g e m e n t ) 、性能管理( p e r f o r m a n c em a n a g e m e n t ) 、安全 管理( s e c u r i t ym a n a g e m e n t ) 、计费管理( a e e o u n t i n gm a n a g e m e n t ) 嘲。 2 2 1 故障管理 故障管理是网络管理中最基本的功能之一。当网络中某个组成部分发生 故障时，网络管理系统必须迅速查找到故障并及时排除。故障管理的主要任 务是发现和排除网络故障。故障管理用于保证网络资源的无障碍无错误的运 营状态，包括障碍管理、故障恢复和预防保障。障碍管理的内容有告警、测 试、诊断、业务恢复、故障设备更换等。预防保障是为网络提供自愈能力， 在系统可靠性下降，业务经常受到影响的准故障条件下实施。具体来说，故 障管理包括： 故障检测；维护和检查差错日志，接收故障报告； 故障诊断：寻找故障发生的原因，可执行诊断测试，以寻找故障发 生的准确位置； 故障纠正：将故障点从正常系统中隔离出去，并根据故障原因进行 修复。 2 2 2 配置管理 配置管理负责网络的建立、业务的展开以及配置数据的维护。配置管理 具有初始化网络和配置网络的功能，以使其提供网络服务。配置管理是一组 辨别、定义、控制和监视组成一个通信网络的对象所必要的相关功能，目的 是为了实现某个特定功能或使网络性能达到最优。 配置管理是一个中长期的活动。它要管理的是网络增容、设备更新、新 技术的应用、新业务的开通、新用户的加入、业务的撤销、用户的迁移等原 因所导致的网络配置的变更。网络规划与配置管理关系密切，在实施网络规 划的过程中，配置管理发挥最主要的管理作用。配置管理包括： 5 武汉理工大学硕士学位论文 设置开放系统中有关路由操作的参数； 被管对象和被管对象组名字的管理； 初始化或关闭被管对象； 根据要求收集系统当前状态的有关信息； 获取系统重要变化的信息； 更改系统的配置。 2 2 3 性能管理 性能管理的目的是维护网络服务质量( q o s ) 和网络运营效率。为此，性 能管理要提供性能监测功能、性能分析功能以及性能管理控制功能。同时， 还要提供性能数据库的维护以及在发现性能严重下降时启动故障管理系统的 功能。 网络服务质量和网络运营效率有时是互相制约的。较高的服务质量通常 需要较多的网络资源( 带宽、c p u 利用率等) ，因此在制定目标时要在服务质 量和运营效率之间进行权衡。在网络服务质量必须优先保证的场合，就要适 当降低网络的运营效率指标；相反，在强调网络运营效率的场合，就要适当 降低服务质量指标。但在一般的性能管理中，维护服务质景是第一位。 性能管理评估系统资源的运行状况及通信效率等系统性能。其功能包括 监视和分析被管网络及其所提供服务的性能机制。性能分析的结果可能会触 发某个诊断测试过程或重新配置网络以维持网络的性能。性能管理收集分析 有关被管网络当前状况的数据信息，并维持和分析性能日志。 性能管理的一些典型功能包括： 从被管对象中收集与性能相关的信息； 对被管对象的性能数据的统计，与性能有关的历史数据的产生、记 录和维护； 分析当前的统计数据以检测性能故障、产生性能告警、报告性能事 件； 形成并改进性能评价准则和性能门限。 6 武汉理工大学硕士学位论文 2 2 4 安全管理 安全管理采用信息安全措施保护网络中的系统、数据以及业务。安全管 理与其他管理功能有着密切的关系。安全管理要调用配置管理中的系统服务 对网络中的安全设施进行控制和维护。当网络发现有安全方面的故障时，要 向故障管理通报安全故障事件以便进行故障诊断和恢复；安全管理功能还要 接收计费管理发来的与访问权限有关的计费数据和访问事件通报。 网络中主要有以下几方面的安全问题： 网络数据的私有性( 保护网络数据不被侵入者非法获取) ； 授权( 防止侵入者在网络上发布错误信息) ； 访问控制( 控制对网络资源的访问) 。 相应地，网络安全管理包括对授权机制，访问机制、加密和加密关键字 的管理，另外还要维护和检查安全日志，包括 创建、删除、控制安全服务和机制； 与安全相关信息的发布； 与安全相关事件的报告。 2 2 5 计费管理 计费管理记录网络资源的使用，目的是控制和监测网络操作的费用和代 价，它可以估算出用户使用网络资源可能需要的费用和代价。网络管理员还 可以规定用户可使用的最大费用，从而控制用户过多地占用和使用网络资源， 这也从另一方面提高了网络的效率。另外，当用户为了一个通信目的的需要 使用多个网络资源，计费管理应能计算出总费用。 计费管理中包括以下几个主要功能： 统计网络及其所包括的资源的利用率，以使网络管理者确定不同时 期和时间段的费率； 根据用户使用的特定业务在若干个用户之间分摊费用； 计算用户应支付的网络服务费用； 帐单管理。 7 武汉理工大学硕士学位论文 2 3 数据采集系统 数据采集的方式，在网管系统中又分为告警资源数据采集、性能数据采 集和网络故障数据采集。网管系统中数据的来源主要包括c l i ，t e l n e t ，s n m p t r a p ，n e t f l o w 、s f l o w 、r m o n 等。其中c l i ，t e l n e t 和s n m p 采用主动数 据采集方被式。也就是数据采集计算机向被管设备发出轮询指令，然后接收 被管设备通过相应协议发回的数据。t r a p 和n e t f l o w 、s f l o w 采取被动接收 的方式，由被管设备主动向数据采集计算机发出网络管理所需要的数据。数 据采集框架如图2 2 所示。 图2 - 2 数据采集框架 2 4 网络管理的两种体系结构 2 4 1 集中式网络管理 集中式网管体系中有一个管理者对整个网络的运行进行管理，负责处理代 理上的管理信息，它具有简单、价格低及易维护等优点，因而成为目前使用 最为普遍的一种模式。但随着网络规模和复杂度的迅速增大，集中式结构已 暴露出不可克服的缺点，主要表现在： 8 武汉理工大学硕士学位论文 管理中心需要处理所有的管理信息，导致大量的数据可能来不及处理。 所有的信息都涌向中央管理者，网络传输量大，容易引起阻塞。 整个网络管理系统的运转都依赖于管理中心，一旦发生故障，管理系统 将崩溃，可靠性差。 2 4 2 分布式网络管理 分布式网络管理采用一种对等式结构，网管功能被分布到多个管理者 上，完成各自域内的网络逻辑管理( 综合管理) ，而每个被管设备都是具有一 定自我管理能力的自治单元。分布式网络管理的根本属性就是能容纳整个网 络的扩展，可靠，管理性能高。是网络管理发展的方向。 9 武汉理工大学硕士学位论文 第3 章 ip 网络管理相关协议分析 3 1 网络管理设备 按照网络设备的类型以及支持协议的不同，被管设备大致可以分为这样 几个类型： 主机：独立运行的p c 机，可以通过s n m p 协议取得一部分的网管数据， 不能通过s n m p 取得的网管数据只能通过c l i 方式取得。需要监控的有主机 的运行情况，包括c p u 占用率、内存占用率、c p u 滠度以及存储设备占用情 况等等。 路由器：一般支持s n m p ，c i s c o 系列的路由器可能支持n e t f l o w ，主要 用于流量管理。 交换机：一般支持s n m p ，c i s c o 系列的交换机可能支持n e t f l o w 、s f l o w ， 主要用于流量管理。 集线器：支持c l i 。 网桥：作为单独网络设备的网桥现在已经很少使用，目前网桥的功能 一般分配到路由器、交换机和集线器中。 数据库：存储网管历史数据的大型数据库，只能通过c l i 方式取得网管 数据，需要了解的数据包括表空间、数据段、用户数、当前活动用户数量、 数据库运行状态等等。 应用程序：只能通过c l i 方式取得网管数据，包括应用程序的资源占用 率、应用程序的运行状态等参数。 实际上，很多网络设备支持h t t p 协议，可以通过浏览器方便的进行配 置和操作。但主要应用于人工手动调控。并不适用于计算机管理和操作，因 此并没有在考虑之列，而本文的重点在路由器和交换机方面的流量管理。 1 0 武汉理工大学硕士学位论文 3 2 网络管理协议 3 2 1 s n m p 使用s n m p 进行网络管理需要下面几个重要部分：管理慕站，管理代理， 管理信息库和网络管理工具。管理基站通常是一个独立的设备，它用作网络 管理者进行网络管理的用户接口。基站上必须装备有管理软件，管理员可以 使用的用户接口和从m i b 取得信息的数据库，同时为了进行网络管理它应该 具备将管理命令发出基站的能力。 管理代理是一种网络设备，如主机，网桥，路由器和集线器等，这些设 备都必须能够接收管理基站发来的信息，它们的状态也必须可以由管理基站 监视。管理代理响应基站的请求进行相应的操作，也可以在没有请求的情况 下向基站发送信息。 m i b 是对象的集合，它代表网络中可以管理的资源和设备。每个对象基 本上是一个数据变量，它代表被管理的对象的一方面的信息。 s n m pm i b 对象的定义是十分严格的，定义指定了对象的数据类型，允许 的形式，取值范围和与其它m i b 对象的关系。a s n 1 定义方法用来定义每个 对象，同时也定义整个m i b 结构。 有两种不同对象数据结构：通用类型的专用类型，通用类型指的是整数， 字符串，空值，对象标识，序列和序列号；专用类型是指网络地址，i p 地址， 记数器，标准等圊m 。 s n m p 体系结构 s n m p 体系结构如图3 - 1 所示： s n m p 协议提供了用于定义网络信息的框架和用于交换信息的协议标准。 s n m p 模型引入了管理器和代理的概念，管理器指的是以人类管理员身份负责 所有网络( 或部分网络) 的软件。代理指的被管理设备中的软件，它用以完成 管理器所需要进行的局部管理和应急通知管理器的功能旧册。 武汉理工大学硕士学位论文 图3 - 1s n m p 体系结构 s n m p 服务代理过程 s n m p 服务代理过程如图3 2 所示： 管理器向s n m p 代理发送查询数据请求，请求被封装到s n m p 的u d p 包中。 s n m p 代理接收到请求后，将请求转换为内部数据格式，并映射m i b 变量， 执行管理器要求的查询动作，最后将取得的数据封装成s n m p 包发回代理嘲m 。 武汉理工大学硕士学位论文 3 2 2 n e t f ! o w 图3 - 2 s n m pa g e n t 处理流程 n e t f l o w 定义 n e t h o w 是c i s c o 公司提出的网络数据包交换技术，它同时可用来记录 网络流信息。一个网络流是从它的源端到目的端的单向的一系列数据包，更 明确的说，一条流以以下七个关键字来标识：嘲 a 源口地址 b 目的母地址 c 源端口号 d 目的端口号 e 第3 层协议类型( t c p 、u d p 等) 服务类型( t o s ) 吕入逻辑接口标识符( i f l n d e x ) n e t f l o w 原理 n e t f l o w 先记录下初始化球包的数据，如口协议类型、服务种类( t o s ) 、 接口标识等，然后，为了更有效对数据进行匹配和计数，n e t h o w 让随后的 数据在同一个数据流中进行传输，同时，对它们使用各自相应的服务，如安 全性过滤、o o s 策略、流量策划等。实时数据被存储在n e t h o w 的缓存中， 通过读取的操作指令就可以重新找回叫”m ”。 n e t h o w 的运行可分解为以下几个关键功能单元，包括“”： 1 1c a c h e 缓存空间 n e t h o wc a c h e 是所有活跃f l o w 统计信息的存储位置，所有具备相同关 键字段的数据包都将在该c a c h e 相应表项中进行数据累计，如数据包数量、 字节数等。除了被称之为m a i nc a c h e 的上述缓存之外，部分支持a g g r e g a t i o n 武汉理工大学硕士学位论文 机制的网元设备还需提供相应的聚合缓存( a g g r e g a t i o nc a c h e ) ，最终的输出报 文将包含该聚合缓存的汇总结果，从而能够有效降低n e t f l o w 流量对网络带 宽的占用。下图形象地说明了这种机制： n e t f i a 弹r n 口i nc a c h e f l o w f l o w 2 f t o w 3 f l o we d i r e d c a c h e f u i t i m e re p i r a d f l o we x p i r e d c a c h e f u l t i m e ra a p i r e d a g g c e g c a c h e t i r n e s re x p i r e d ie 嚣紫l 畸 i o l l e 由r 图3 - 3n e t f l o w 缓存机制的实现 可配置的c a c h e 维护机制 一般情况下c a c h e 空间的占用是与所监控的h o w 数量呈正比的，但是 当链路中充斥着大量的短连接s e s s i o n 时，h o w 表项数量可能会因为没有得 到及时释放而过多占用有限的c a c h e 空间。为此，n e t f l o w 提供了一种非常 复杂、高效的算法以快速定位一个数据包在该c a c h e 中的位置或判断是否应 新建表项，并且通过管理员给定的阀值进行各类表项的超时导出，从而及时 释放老的表项以容纳新建f 1 0 w 信息。 c a c h e 表项t i m e d o u t 操作可由以下几项因素进行驱动： a 该表项已经空闲了指定的时间长度( i n a c t i v e t i m e r ，缺省1 5s e c o n d s ) ； b 长连接会话强制超时( a c t i v et i m e r ，缺省3 0m i n u t e s ) ； c 缓存空间耗尽所触发的强制超时； d t c pf 矾，l l s t 触发的超时。 3 1 规范的导出报文格式 n e t f l o w 采用了主动式数据推送机制，当c a c h e 表项超时后，网元设备 中的n e t f l o wa g e n t 将通过规范的报文格式将超时表项数据送往指定主机( 须 1 4 武汉理工大学硕士学位论文 事前指定坤地址、协议和端口) 。虽然n e t f l o w 在设计中可以接受任何传输 层协议作为承载协议，但在一般实现中通常采用u d p 作为缺省选择，我们平 时所看到的各种f l o w 协议版本主要描述了这种报文导出格式的定义。 n e t f l o w 的封装格式分为1 个h e a d e r 和若干个r e c o r d ： a h e a d e r ：主要包括版本号、序列号、后续r e c o r d 数量、系统启动时间等； b r e c o r d ：提供对每个f l o w 的详细数据记录。 n e t f l o w 技术具有很高的可移植性，它不需要对网络设备和网络作任何 修改，支持口及m 层之上的绝大部分封装协议。但是，它不支持a t ml a n 与v l a n 。n e t f l o w 可捕获的数据包类型如下； a i p 到胆的数据包 b i p 到m p l s 的数据包 c f r a m er e l a y 终端数据包 d a t m 终端数据包 “”在非抽样模式下，n e t f l o w 为经过该设备的每个包都进行记录，因此， 流信息的传输也会消耗掉一定的资源，大约占经过该路由器总流量的1 5 。 n e t f l o w 版本演进 在n e t f l o w 技术的演迸过程中，思科公司一共开发出了5 个主要的实用 版本“”，即： n e t f l o wv 1 ：为n e t f l o w 技术的第一个实用版本。支持i o s1 1 1 ，1 1 2 ， 1 1 3 和1 2 0 ，但在如今的实际网络环境中已经不建议使用。 n e t f l o wv 5 ：增加了对数据流b g pa s 信息的支持，是当前主要的实际 应用版本。支持l o s1 1 1 c a 和1 2 0 及其后续l o s 版本。 n e t f l o wv 7 ：思科c a t a l y s t 交换机设备支持的一个n e t f l o w 版本，需要 利用交换机的m l s 或c e f 处理引擎。 n e t f l o w v 8 ：增加了网络设备对n e t f l o w 统计数据进行自动汇聚的功能 ( 共支持1 1 种数据汇聚模式) ，可以大大降低对数据输出的带宽需求。支持 i o s l 2 0 ( 3 y r ，1 2 o ( 3 ) s ，1 2 1 及其后续i o s 版本。 n e t f l o wv 9 ：一种全新的灵活和可扩展的n e t f l o w 数据输出格式，采用 了基于模板( t e m p l a t e ) 统计数据输出。方便添加需要输出的数据域和支持多 种n e t f l o w 新功能，如m u l t i c a s en e t h o w ，m p l s a w a r en e t h o w ，b g pn e x t h o pv 9 。n e t f l o wf o ri p v 6 等。支持i o s l 2 0 ( 2 4 ) s 和1 2 3 t 及其后续l o s 版 1 5 武汉理工大学硕士学位论文 本。思科公司的n e t f l o wv 9 还被i e t f 组织列入标准。 n e t f l o w 数据格式 n e t f l o w 信息以u d p 包形式发送出来，每个n e t f l o w 包由包头和若干个 流记录组成。包头包含版本号、记录数、设备启动时间等组成；流记录包括 源p 地址、目的m 地址、协议类型等。下表是典型的包输出格式： 表3 1 ：典型的n e t f l o w 输出包格式 i p 头 u d p 头 n e t f l o w 头 流记录l 流记录2 流记录n 在现实中，n e t h o wv 5 被普遍地使用，下面就详细地说明了n e t f l o wv 5 包头和流记录中各个字段的含义： 表3 - 2 ：n e t f l o w 版本5 头格式 字节内容描述 0 lv e r s l o nn e t f l o w 导出格式的版本号 2 8 c o u n t 包中导出的流数n ( 1 - 3 4 - - - 7 s y s u p t i m e 从路由器启动以来的当前时间，以毫秒为单位 8 1 1u n - s e c s从0 0 0 0u t c1 9 7 0 开始的秒数 1 2 - 1 5t i n i x - l l s e c s从0 0 0 0u t