（信号与信息处理专业论文）基于采样算法和自动聚类算法的网络流量监测模型.pdf

北京邮电大学硕士学位论文基于采样算法和自动聚类算法的网络流量监测模型 基于采样算法和自动聚类算法的网络流量监测模型 摘要 网络管理系统的直观性以及处理速度的实时性是人们关心的主 要问题，n e t f l o w 技术的提出使得基于“流 的网管系统的实施更加便 利。随着一系列知名厂商对n e t f l o w 技术的支持，如何运用n e t f l o w 采集的网络数据分析网络流量、发现网络异常使用，成为网络管理 的一个新方向。 在这篇论文中，我们详尽介绍了均匀采样、系统采样、自适应 随机采样、时间分层分组采样以及阈值采样等采样算法，深刻分析 了基于自动推理模型的流簇聚类算法的原理和实现方式，包括一维 和多维聚类，此方法能自动把网络流归类成最小的簇( c l u s t e r ) ，即 能动态地产生与应用相匹配的流簇。例如，它能揭示百分之几的传 输是使用t c p 协议来连接某一客户机和一组特定的服务器的，而不 是汇报5 0 0 个小的信息流或者到达8 0 端口的t c p 传输数量，或者 排名前十的主机。我们还分析和修改了开源工具s o f i f l o w d 、f p r o b e 、 f l o w d ，并且把它们应用于试验环境的搭建。最后，我们将采样算法 和自动聚类算法进行结合，提出了基于采样算法和自动聚类算法的 网络流量监控系统模型，并且分析了它的理论性质。结合了采样算 法的自动聚类算法能被应用于新的流模型的自动归类问题( 比如在 流结构未知的情况下对网络蠕虫或点对点应用的归类) 。另外，我们 还阐述了聚类系统原型的系统设计及其在一些实际网络中的试验应 用情况。 采样算法和自动聚类算法的结合不仅能直观地给网络管理员提 供当前网络使用状况，并且由于采样算法的引进，大大缩短了计算 时间，节省了c p u 和内存的占有率，为网络实时分析铺平了道路。 每种网络的异常使用都有其特殊的流量特征，从频繁发生的网 络数据流中发现这些特征，正是网络管理系统的关键所在。以上述 算法为出发点，我们提出了一套灵活的流量监测模型，并以某大学 校园网为试验床，使用以上我们提出的系统模型对网络流量进行了 采集分析。 i i 北京邮电大学硕士学位论文基于采样算法和自动聚类算法的网络流量监测模型 关键词：采样方法流量测量网络监控自动聚类 i 北京邮电大学硕士学位论文基于采样算法和自动聚类算法的网络流量监测模型 n e t w o r kt r a f f i cm o n i t o l u n gm o d e l b a s e do nt h es a m p l i n ga l g o l u t h m a n da u t o m a t i cc l u s t e l u n ga l g o l u t h m a bs t r a c t n m s si n t u i t i o n i s ma n dr e a l t i m ep r o c e s s i n gs p e e da r et h em a j o r p r o b l e m s ，n e t f l o wt e c h n o l o g ym a k e st h ei m p l e m e n t a t i o no fn m s w h i c hi sb a s e do nt h e f l o w ”m o r ef a c i l i t a t e w i t ht h es u p p o r to fas e r i e s o fw e l l - k n o w nm a n u f a c t u r e r st on e t f l o wt e c h n o l o g y , h o wt oa n a l y s e n e t w o r kt r a f f i ca n df i n dt h eu n c o n v e n t i o n a lu s eo fn e t w o r kw i t ht h eh e l p o fn e t w o r kd a t ac o l l e c t e db yn e t f l o w , h a v eb e c o m ean e wr e s e a r c h i n g d i r e c t i o no fn e t w o r km a n a g e m e n t i nt h i s p a p e r , w ed e s c r i b et h o r o u g h l yt h e u n i f o r ms a m p l i n g ， s y s t e m a t i cs a m p l i n g ，a d a p t i v er a n d o ms a m p l i n g ，s t r a t i f i e dt i m ep a c k e t s a m p l i n g a n dt h r e s h o l d s a m p l i n g e t c w ep r o f o u n d l ya n a l y z et h e p r i n c i p l ea n dr e a l i z a t i o nw a yo fc l u s t e r i n ga l g o r i t h m sb a s e do na u t o m a t i c i n f e r r i n gp a t t e r n s ，w h i c hi n c l u d e so n e - d i m e n s i o n a la n dm u l t i d i m e n s i o n a l c l u s t e r i n ga l g o r i t h m s t h e m e t h o do ft r a f f i cc h a r a c t e r i z a t i o nc a n a u t o m a t i c a l l yg r o u pt h et r a f f i c si n t om i n i m a lc l u s t e r s ，a n dd y n a m i c a l l y g e n e r a t ec l u s t e r st om a t c ht h ea p p l i c a t i o np r o b l e m f o re x a m p l e ，o t h e r t h a nr e p o r t i n gf i v eh u n d r e ds m a l lf l o w s ，o rt h ea m o u n to ft c pt r a f f i ct o p o r t8 0 ，o rt h e “t o pt e nh o s t s ，t h i sm e t h o dc a nr e v e a lac e r t a i np e r c e n to f t r a f f i cw h i c ha r eu s e d b yt c pc o n n e c t i o n sb e t w e e nc l i e n t s a n da p a r t i c u l a rg r o u po fw e bs e r v e r s w ea n a l y z ea n dm o d i f yo p e n s o u r c e t o o l ss u c ha ss o f t f l o w d ，f p r o b e ，f l o w d ，e t c a n dw ea p p l yt h e mt ot h e s t r u c t u r eo fe x p e r i m e n t a l e n v i r o n m e n t s f i n a l l y , w ec o m b i n et h e s a m p l i n ga l g o r i t h ma n da u t o m a t i cc l u s t e r i n ga l g o r i t h m ，t oi m p r o v et h e m o n i t o r i n gs y s t e mm o d e lb a s e do nc l u s t e r i n ga l g o r i t h ma n ds a m p l i n g a l g o r i t h m a n dw ea l s og i v et h e i rt h e o r e t i c a la n a l y s i s c o m b i n i n gt h e s a m p l i n ga l g o r i t h m ，a u t o m a t i cc l u s t e r i n ga l g o r i t h mc a nb eu s e df o ran e w i v 北京邮电大学硕士学位论文基于采样算法和自动聚类算法的网络流量监测模型 m o d e lo fa u t o m a t i cc l a s s i f i c a t i o ns u c ha st h ec l a s s i f i c a t i o no fn e t w o r k w o r m so rp e e r - t o p e e ra p p l i c a t i o n si nt h ec a s eo ft h ef l o ws t r u c t u r ei s u n k n o w n a d d i t i o n a l y , w ei m p l e m e n t t h ep r o t o t y p es y s t e md e s i g na n di t s a p p l i c a t i o ni ns o m ep r a c t i c a ln e t w o r k t h ec o m b i n a t i o nm e t h o do ft h e s a m p l i n ga l g o r i t h m a n dt h e a u t o m a t i cc l u s t e r i n ga l g o r i t h mc a nn o to n l ya d a p tt ot h ec u r r e n tn e t w o r k u s i n gs i t u a t i o n ，b u ta l s or e d u c eg r e a t l yt h ec o m p u t a t i o nt i m e ，m e m o 秽 s h a r e a n ya b n o r m a lu s eo fn e t w o r k t r a f f i ch a si t so w nf l o wc h a r a c t e r i s t i c s t h u s ，f i n d i n gt h e s e c h a r a c t e r i s t i c sf r o mt h e f r e q u e n t o c c u r r e n c eo f n e t w o r kd a t as t r e a mi st h ek e yo fn m s w h e nw ea d o p tt h ea b o v en e w a l g o r i t h m , w ec a nm o r ee a s i l yf i n dt h ea b n o r m a lp h e o m e n a 。眙a l s o a p p l yo u rn e wa l g o r i t h mt on e t w o r km o d e lo fau n i v e r s i t yc a m p u s n e t w o r k t h et e s td a t as e e m sp r o m i s i n g k e y w o r d s ：s a m p l i n g m e t h o d sf l o wm e a s u r e m e n tn e t w o r k m o n i t o r i n g a u t o m a t i cc l u s t e r i n g v 北京邮电大学硕士学位论文基于采样算法和自动聚类算法的网络流量监测模型 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：型l 盔隆 日期： 逝霉：! ：! ! 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权 保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅 和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印 或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在年解密后适用本授权书。非保密 论文注释：本学位论文刁滑毛保密范围，适用本授权书。 本人签名： 至111 堡垒日期：丝翌：垒：! 圣 导师签名： ：烈幽 日期：兰盟：12 ：! 三： 扎、 北京邮电大学硕士学位论文基于采样算法和自动聚类算法的网络流量监测模型 1 1 宽带网络介绍 第一章引言 近几年，我们国家的宽带网络建设经历了一个飞跃式的发展过程。从向用 户提供网络接入服务的角度看，现有的宽带网络承载能力和系统稳定水平都足 以实现电信运营商对绝大多数用户的服务承诺，但是深入分析该网络的运行状 况可以发现，该公众服务面临一系列问题。虽然网络的带宽大幅度增加，网络 使用的效率却没有成比例的提升，网络使用者常为网络阻塞所痛苦，主要是因 为部分网络使用者不恰当的网络使用行为对整体网络造成影响，许多消耗带宽 的应用程序，例如盛行的p e e r - t o - p e e r 网络档案分享软件，如e d o n k e y 、锄试e 、 b i t - t o r r e n t ，或是网络安全事件等。 随着网络基础建设的发展，以及建立在网际网络通信协议上的网络应用日 益多样化，不论是电信运营商、网络服务提供者、学校机关或是企业用户，都 迫切地感受以量化分析为基础的网络规划与优化的重要性和紧迫性。宽带业务 的迅速发展使网管人员不仅需要监控线路的总带宽，还需要掌握网络流量的内 容和各种不同属性流量的分布状况以及变动趋势，并以此为根据寻求网络效能、 投入成本之间的最优化。 目前对网络运行危害较大的攻击方式主要有两种：d d o s 攻击和蠕虫病毒。 对这两种可能对互联网造成大范围网络瘫痪和巨大经济损失的网络安全事故， 运营商需要采用一切必要技术和管理手段进行防范。 d d o s 攻击和蠕虫病毒对运营商网络的攻击原理虽然不同，但他们也有内 在的共同特点。那就是这两种网络安全攻击都会表现为网络流量的突然急剧增 大，迅速消耗尽运营商网络的所有带宽资源，造成普通用户的正常通信被阻断， 进而瘫痪用户业务甚至整个互联网。如何迅速发现网络中出现的通信流量异常， 并及时确定异常通信的准确技术参数( 比如攻击来源、异常通信的具体流向和 流量信息、占用的网络端口、持续时间等等) 是管理员能否在短时间内对网络 安全攻击作出正确响应的前提。 但是上述两种被普遍采用的网络流量分析系统都有其显著的技术局限性。 为了克服现有的网管系统对网络流量的流向分析功能的技术局限性，运营商迫 切需要寻找一种功能丰富、成熟稳定的新技术，对现有管理系统中管理信息的 采集和分析方式进行改造和升级。新的信息采集和分析技术还需要对运营商的 运行网络影响小，无需对网络拓扑进行改变就能平滑升级。以n e t f l o w 为代表 北京邮电大学硕士学位论文基于采样算法和自动聚类算法的网络流量盟测模型 的新技术正是为响应这种挑战而出现的新型解决途径。 1 2 网络分析测量的意义 随着互联网在全球的迅速发展和各种互联网应用的快速普及，互联网已成 为人们日常工作生活中不可或缺的信息承载工具。然而，伴随着互联网的正常 应用流量，网络上形形色色的异常流量也随之而来，影响到互联网的正常运行， 威胁用户主机的安全和正常使用。 流量测量( t r a f f i cm e a s u r c r n e n t ) 是网络监测、管理和控制的基础。目前有 三种方法用于流量测量：首先，使用s n m p i 】统计数据获取流量信息，但是它 只能提供“粗粒度 的流量信息( 如：一定时间内流经某个端口的字节数等等) ， 不能满足深入分析的需求。其次，通过采集流经链路的分组来进行流量测量， 它能支持广泛的分析和应用，但是可扩展性较差。第三种是流( f l o w ) 级别的 测量，它既能提供详细的流量信息又具备一定的可扩展性，因而受到广泛的关 注并得到大量应用。为此，也t f 在流测量( t r a f f i cm e a s u r e m e n t ) 方面做了大量 工作。目前的主流商用路由器都支持流测量功能，如c i s c o 的n e t f l o w 就是广 泛使用的流测量工具。现在，n e t f l o w 已经成为流测量的主要工具，诸如主要 业务、主要用户、流量矩阵等信息都可由此获得。然而，链路带宽的快速增长 和网络流量的急剧膨胀给流量测量带来了极大的挑战。 因特网不是一个静止的事物，当前网络上存在的端口扫描( p o r ts c a n ) 、拒 绝服务( d e n i a lo f s e r v i c e ) 攻击、网络蠕虫以及一些点对点( p e e r - t o p e e r ) 的应 用给网络管理的工作带来很大压力。 ( 1 ) 拒绝服务攻击( d o s ) d o s 攻击使用非正常的数据流量攻击网络设备或其接入的服务器，致使网 络设备或服务器的性能下降，或占用网络带宽，影响其它相关用户流量的正常 通信，最终可能导致整个网络服务的不可用。例如d o s 可以利用t c p 协议的缺 陷，通过s y n 打开半开的t c p 连接，占用系统资源，使合法用户被排斥而不 能建立正常的t c p 连接。 ( 2 ) 分布式拒绝服务攻击( d d o s ) d d o s 把d o s 又发展了一步，将这种攻击行为自动化，分布式拒绝服务攻 击可以协调多台计算机上的进程发起攻击，在这种情况下，就会有一股拒绝服 务洪流冲击网络，可能使被攻击的目标因过载而崩溃。 ( 3 ) 网络蠕虫病毒 网络蠕虫病毒的传播也会对网络产生影响。近年来，r e dc o d e 、s q l 2 北京邮电大学硕士学位论文基于采样算法和自动聚类算法的网络流量监测模型 s l a m m e r 、冲击波、振荡波等病毒的相继爆发，不但对用户主机造成影响，而且 对网络的正常运行也构成了的危害，因为这些病毒具有扫描网络，主动传播病 毒的能力，会大量占用网络带宽或网络设备系统资源。 ( 4 ) 其它异常流量 我们把其它能够影响网络正常运行的流量都归为异常流量这个范畴，例如 一些网络扫描工具产生的大量t c p 连接请求，就很容易使一个本身性能就不高 的网络设备由于过载而瘫痪。 为了更好地理解网络应用，并在此基础上应对上述一系列挑战，网管人员 必须做到以下几点：首先，充分分析每一个分组的b i t 模式，对其字段构成模式 有细致的了解；其次，在分析各个字段的过程中，从中抽取出一个恰当的网络 流模型；最后，通过模型的描述，重新配置网络各个参数，以便更好地认识此 网络模型。 为了保证上述操作在实际应用中的具体可行性，网络管理人员需要用一套 事先定义好的标准模式来表征网络流。例如，根据口头字段( 口h e a d e r f i e l d s ) ( 如：协议和源端口) 对流进行归类，网管能够频繁地构造一个应用模型。利 用这种模型的分析，我们可以确定出当前的网络状况：比如有9 0 的流用的是 t c p 协议，其中7 5 用于h t y p 服务，1 0 用于s m t p ，5 用于f t p 等等。类 似的，为了鉴别每两个主机之间的通信情况，我们用一个5 维参数( 源口，目 的p ，传输协议，源端口，目的端口) 来表征一个流。众所周知，单纯从一个 角度( 我们这里可以用一个参数来理解) 来观察网络流是比较简单的，但是这 样得出的结果往往很不直观，正如上述所说的流总量中的9 0 用的是t c p 协议， 即使更深入地知道了其中的7 5 是用于h t r p 服务，网络管理人员还是不清楚 当前网络中到底是不是出现了病毒等异常使用。现在我们的方法就是从参数数 量出发，把参数从一个增加到5 个，这样就比较直观了。比如，我们知道流量 总量中的8 0 是从1 9 2 1 6 8 2 2 0 发往1 9 2 1 6 8 3 3 5 并且使用的协议是t c p ，这 样直观的数据表明这两台机器肯定是出现了异常。 以上就是本文中所介绍的自动推理模型算法，通过对n e t f l o w 路由器发送 过来的分组记录( 为了便于仿真试验，我们对n e t f l o w 分组记录的版本格式做 了简化修改) 进行自动聚类，得到一系列的聚类结果，这些结果能够提供关于 当前网络使用情况的直观展示。 1 3 本文的工作及意义 本文从网络流信息采集方法为起点，分析了n e t f l o w 技术作为网络流采集 3 北京邮电大学硕士学位论文 基于采样算法和自动聚类算法的网络流量监测模型 方法的优点和缺点。在对现有工具的研究方面，本文对现有的流行n e t f l o w 工 具进行了详细概括分析，针对每个工具集的独有功能进行分析介绍。 由于网络管理人员需要直观地对当前网络使用状况有充分的了解，本文首 先介绍了几种流行的采样样方法，同时重点分析阈值采样算法，其次详尽分析 了一维以及多维聚类算法，从算法的原理到实现手段一并介绍。最后，根据作 者本人对网络分析测量技术的理解，把阈值采样算法和流簇聚类算法二者有效 结合起来，并对这种结合进行试验实现。两个算法的结合不仅能直观地给网络 管理员提供当前网络使用状况，并且由于采样算法的引进，大大缩短了计算时 间，节省了c p u 和内存的占有率，为网络实时分析铺平了道路。 1 4 本文的组织结构 文章内容是这样分配的：第一章是引言部分，介绍了网络分析测量的意义 以及本文的主要工作及其意义；第二章介绍了思科( c i s c o ) 的n e t f l o w 技术， 首先从几种网络管理工具入手，介绍了思科n e t f l o w 的由来、技术分析以及应 用范围；第三章介绍了几种常见的采样算法，并着重介绍了本文的网络监测模 型所使用的阈值采样算法的算法特点及理论分析。第四章介绍了一维及多维流 簇聚类算法，并在本章最后提出了作者将采样算法和聚类算法结合的新算法的 基本机理；第五章是实验部分，把作者的算法进行代码实现，基于试验床进行 试验分析，并对试验结果进行了分析和比较。 4 北京邮电大学硕士学位论文基于采样算法和自动聚类算法的网络流量监测模型 2 1 网络管理工具 第二章n e f f lo w 简介 传统的网络管理通常是使用网络管理工具从支持s n m p 协议( s i m p l e n e t w o r km a n a g e m e n tp r o t o c 0 1 ) 的网络设备搜集到的网络流量数据出发，并以此 为源数据进行分析。虽然通过这种方式取得的信息在分析计算时不会造成处理 上过重的负担，但是s n m p 提供的只是粗糙、简略的资料，因此这些信息只能 让网络管理人员发现部分问题，有时却无法进一步解决问题。如m r t g 是学校 网络常用的网管工具，m r t g 把s n m p 所需要的数据经过计算后绘成图表，常 用来显示网络流量统计图( 严格来说m r t g 只具有网管软件中的一小部分功 能) 。开源的c a c t i 虽然功能强大一些，但也只是属于图形化网络流量、负载 监控的工具软件。商业化的网管软件如h p 的o p e n v i e w ，i b m 的n e t v i e w 等系 统强调的是一个整合型的网络管理解决方案，能提供基本的网络拓扑功能、m i b b r o w s e r 、s n m pt o o l 、d a t ac o l l e c t i o n 、绘图与网络事件等管理功能，但是一方 面这些软件都非常昂贵，另一方面它们也只能提供拓扑连接、流量展示、告警 预设等功能，提供的信息量也是有限的。 较为普遍的用于入侵检测和协议分析的分组嗅探法【2 ( p a c k e ts n i f f e r i n g ) 也 已经被广泛应用。当网络设备不支持s n m p 或者用户需要对细节网络流信息的 了解时，经常采用分组嗅探法来分析。 为了使用n e t f l o w 信息进行流量分析与异常测量，如何收集、分析n e t f l o w 信息成了一个关键问题所在。在流量频繁的边界路由器上，每个流量为i o o m s 的接口，产生n e t f l o w 的流量约为1 5 m s 。为了在尽量不丢包的情况下接收并 分析如此大流量的u d p 数据流，需要一套完善、健壮的软件系统。俄亥俄州立 大学( o l l i os t a t eu n i v e r s i t y ，o s u ) 开发了一系列的n e t f l o w 工具【3 】，其中包括： a 1 、流接收工具( f l o wc a p t u r et 0 0 1 ) b ) 、通用分析工具( g e n e r a la n a l y s i st 0 0 1 ) 、安全工具( s e c u r i t yt 0 0 1 ) 在o s u ，网络工程师们使用这些工具进行日常的网络管理与检测： 1 ) 、网络规划 2 ) 、性能检测 3 ) 、计费 4 ) 、入侵检测 i n t e r n e t 数据分析小组( t h ec o o p e r a t i v ea s s o c i a t i o nf o ri n t e m e td a t aa n a l y s i s ， 5 北京邮电大学硕士学位论文基于采样算法和自动聚类算法的网络流量监测模型 c a i d a ) 提供了自己的n e t f l o w 工具一f l o w d ，这是一套组织完善的基于 n e t f l o w 流信息的收集与分析工具。c f l o w d 并非以主机间的流交换为重点，而 是侧重于网络间的流交换研究。c f l o w d 的工具集构架如图2 1 所示： 图2 1c f l o w d 的工具集构架 近几年随着网络的规模日渐增长，网络承载的业务越来越丰富，网络运营和 管理人员都普遍面临如下一些问题： ( 1 ) 网络的可视性 网络资源是如何被消耗的? 哪些应用程序在网络中运行? 主要用户有哪 些? 网络中是否产生异常流量? 网络出口为何拥塞? 有没有长期的趋势数据用 作网络带宽规划? ( 2 ) 应用的可视性 当前网内有哪些应用? 分别产生了多少流量? 网络中应使用的模式是什 么? 网络教学等学校重要的应用执行状况如何? ( 3 ) 用户使用网络模式的可视性 流量从哪来，到哪里去? 用户在什么时间具体有哪些应用? 哪些用户产生的 流量最多? 哪些服务器接收的流量最多? 以b t 为主的网络滥用、病毒等问题已经成为网络管理人员普遍面临的难题， 单纯提高网络带宽、部署网络防毒不是解决问题的根本方法。n e t f l o w 是一种能 够提供深层次网络流量相关信息的技术，网管人员通过n c t f l o w 信息的收集和分 析可以快速有效地掌握所管辖网络的状态，从而为网络的规划和安全问题的解决 提供依据和帮助。 2 2 网络流采集方法 测量和分析网络数据流，在网络飞速发展的今天，有着重要的意义。短期的 采集网络流数据，可以用来分析检测网络资源利用率、滥用情况、病毒发生以及 各种恶意攻击；长期的数据分析，可以用来实施流量工程、计费等等。网络流量 6 北京邮电大学硕士学位论文基于采样算法和自动聚类算法的网络流量监测模型 分析是指捕捉网络中流动的数据包，并通过查看分组内部数据以及进行相关的协 议、流量分析、统计等来发现网络运行中出现的问题，它是网络和系统管理人员 进行网络故障和性能诊断的有效工具。 传统的方法是使用s n m p t 4 ( s i m p l en e t w o r km a n a g e m e n tp r o t o c o l ，简单网络 管理协议) ，从开启了s n m p 服务的网络设备的流量计数器( t r a f f i cc o u n t e r s ) 读 取流量信息。较为普遍的用于入侵检测和协议分析的分组嗅探法( p a c k e r s n i f f e r i n g ) 也被广泛应用。n e t f l o w 技术也正在迅速发展起来，n e t f l o w 版本9 t 5 】 已经作为i e t f 的标准之一，向外发布。 2 2 1 基于s n m p 的数据流采集 s n m p 法是一种基于r e q u e s t r e s p o n s e 模式通过s n m p 协议在管理基站 ( n e t w o r km a n a g e m e n ts t a t i o nm a n a g e r ) 与被管理对象之间交换网络状态信息的 方法。m a n a g e r 向作为被管对象的网络设备发送请求( r e q u e s t ) ，从而得到运行于 被管对象之上的管理代理( a g e n t ) 的回复( r e s p o n s e ) 。 a n g e n t 运行于被管对象上，将收集的网络数据信息存储于管理信息库 ( m a n a g e m e n ti n f o r m a t i o nb a s e ，m i b ) 。m i b 是对象的集合，它代表网络中可以管 理的资源和设备，每个对象基本上是个数据变量，它代表被管对象某一方面的信 息，如被管对象某个接口流量等等。m i b 指明了网络元素所维持的变量( 即能够 被管理进程查询和设置的信息) ，给出了一个网络中所有可能的被管理对象的集 合的数据结构。s n m p 的管理信息库采用和域名系统d n s 相似的树型结构，它的 根在最上面，根没有名字。 正常情况下，工作站使用s n m p 协议与网络设备进行通信，如图2 2 ，首先由 m a n a g e r 发送请求，a n g e n t 根据请求，回复相应的m i b 信息。特别的，当被管对 象发生一次状况时，会主动发送：t r a p 信息给m a n a g e r 及时报告一次，如图2 3 。 图2 2s n m p 正常状态下的运行机制 7 北京邮电大学硬士学位论文基于采样算法和自动聚类算法的月镕流量监铡模型 困23s n 盱在设备异常情况下的运行机制 使用s n m p 法，配置简单，额外消耗网络带宽少，并且对设备的性能( 如c p u 使用率、内存占用率) 要求较低，适合大型网络的流量采集和分析。它不仅可以 采集网络流量信息，更可以采集设备信息，如c p u 年d j 用率、磁盘空间利用率、设 备当前温度等。s n m p 方法采用u d p 数据包进行通信。网络设备生产商为了增加 m m 内容，也可以自行定义私有m m ( p r i v a t e m i b ) ，以扩展s n m p 的功能。 基于s n m p 的数据流采集工具如m r t g t 6 等，也可以针对流量的突然变化产 生报警。但由于s n m p 协议本身的限制，报警信息只能局限于流量变化的大小， 如图24 。从安全角度讲，这种信息对于防止入侵和采取防范手段来说，是远远 不够的。因此，基于s n m p 的流量采集方法多用于网络性能分析，对整个网络进 行概要监测，鉴于其不能进行端到端的流量监测，它不适合用于网络异常数据流 的检测。 圈24 使用眦t g 拴剥莱网络时以太网流量截图 2 22 基于分组嗅探法的数据流采集 当网络设备不支持s n m p ，或者用户需要细节网络流信息，如网络协议类型、 某特定地址的流量时，经常采用分组嗅探法。分组嗅探法只能通过某个网络接 h h h h n孙舢洲 t39*0； 北京邮电大学硕士学位论文基于采样算法和自动聚类算法的网络流量监测模型 口进行抓包。在交换网( s w i t c h e dn e t w o r k ) 内部，只有属于该设备的数据流才 会被发往该设备的网络接口，即分组嗅探法无法看到其他主机的数据流信息。 如果用户想要监视整个交换网内部的数据流信息，则其必须把交换机的监视 端口功能开启，交换机将所有通过它的数据包的复制版本发送往该端口。将抓包 程序用于该端口，就可以得到整个交换网内部整个交换网内部的数据交流信息。 几乎所有现存的分组嗅探工具都是基于l i b p c 印【j 7 】程序包运行的，其中包括最早的 t e l ) d u m p 引、当前流行的e t h e r e a l 9 1 、s n i f f e r 等等。 分组嗅探工具对整个数据包的镜像采集，使得它收集信息的能力最强，范围 最广，从第二层以太网地址，到最上层的应用层的信息全部都可以由数据包的结 构分析得到。但是由于它采取数据量过大，对作为采集器、分析器的主机性能要 求较高，而不适合用于大规模的网络分析工具。分组嗅探法除了可以作为数据流 信息采集工具，鉴于其详细的日志记录，更是众多网络管理员常用的入侵检测工 具。日志分析情况，如图2 5 。 目的 分解 9 端口 北京邮电大学硕士学位论文 基于采样算法和自动聚类算法的网络流量监测模型 2 3n e t flo w 的由来 n e t f l o w 技术是在1 9 9 6 由c i s c o 公司的d a r r e nk e r r 秉：i b a r r y b r u i n s 提出，并于同 年5 月注册为美国专利，专利号为6 ，2 4 3 ，6 6 7 。n e t f l o w 技术首先被用于网络设备对 数据交换进行加速，并可同步实现对高速转发的p 数据流( n e t f l o w ) 进行测量 和统计。其本意是将高c p u 消耗的路由表软件查询匹配作业部分转移到硬件实现 的快速转发模块上( 如c i s c o 的c e f 模式) 【1 0 】。在这种功能模式中，数据包将通过 几个给定的特征定义归并到特定的集合中，这个集合就是n o t f l o w 。 经过多年的技术演进和发展，n e t f l o w 原来用于数据交换加速的功能已经逐 步由网络设备中的专用a s i c 芯片实现，而对流经网络设备的i p 数据流进行特征 分析和测量的功能也已经更加成熟，成为了当今互联网领域公认的最主要的 i p m p l s 流量分析和计量行业标准，同时也被广泛用于网络安全管理。利用 n e t f l o w 技术能对i p m p l s 网络的通信流量进行详细的行为模式分析和计量。 n e t f l o w 记录更够提供传统s n m pm m 无法比拟的丰富信息。因此n e t f l o w 数据被 广泛用于高端网络流量测量技术的支撑，以提供网络监控、流量图式分析、应用 业务定位、网络规划快速拍错、安全分析( 如d d o s ) 、域间记账等数据挖掘功 能【l l 】。 n c t f l o w 最初是设计作为一个缓存机制来改善访问列表的处理速度，c e f ( c i s c oe x p r e s sf o r w a r d i n g , c i s c o 快速转发) 技术的使用一度使得n e t f l o w 被边缘 化，直到网络管理人员意识到这些统计信息对网络工程和网络安全的价值。目前 该技术得到了众多网络设备提供商的支持，业内常见的主流f l o w 格式如表2 1 所 示。 表2 1 主流厂商网络流技术对比 f l o w 名称代表厂商主要版本备注 n c 置f l o w思科v l 、v 5 、v 7 、v 8 、v 9应用最广 s f l o w肿、n e c 、a l c a r d 、v 4 、v 5要求全网支持 e x t r e m e 、f o u n d r y c f l o w d j u n i p 盯 v 5 、v 8厂商跟进力度不高 n c t s t r c a m华为v 5 、v 8 、v 9与n e t f i o 、十分类似 i p f ! xi e t f 标准规范r f c3 9 1 7以n e t f i o wv 9 为蓝本 大部分c i s c o 路由器和c 北d y s t4 5 0 0 以上系列的交换机都支持n e t f l o w ，目前 v 5 版本使用较为普遍，v 7 版本是思科c a t a l y s t 交换机设备支持的一个n c t f l o w 版 本，需要利用交换机的m l s 或c e f 处理引擎，v 8 版本增加了网络设备对n e t f l o w 统计数据进行自动汇聚的功能，降低了对数据输出的带宽需求。n e t f l o w v 9 是一 l o 北京邮电大学硕士学位论文基于采样算法和自动聚类算法的网络流量监测模型 种全新的灵活和可扩展的n e t f l o w 数据输出格式，采用了基于模板( t e m p l a t e ) 的统 计数据输出，方便添加需要输出的数据域和支持多种n e t f l o w 新功能。 n e t f l o w 本身是一套网络流量统计协议，其主要原理是根据网络数据包传输 时，连续相邻的数据包通常是往相同目的地i p 地址传送的特性，配合c a c h e 快取 机制，当网络管理人员开启路由器或交换机接口的n e t f l o w 功能时，设备会在接 收数据包时分析其数据包的标头部分来取得流量资料，并将所接到的数据包流量 信息汇整成一笔一笔的f l o w 。在n e t f l o w 协议中f l o w 是被定义为两端点间单一方 向连续的数据流，这意味着每一个网络的连接都会被分别记录成两笔f l o w 数据， 其中一笔记录从客户端连到服务器端，另外一笔随着记录从服务器端连回到客户 端的信息。 网络设备通过以下字段来区分每一笔f l o w ：来源口地址( s o u r c ei p a d d r e s s ) 、来源端口号( s o u r c ep o r tn u m b e r ) 、目的口地址( d e s t i n a t i o ni p a d d r e s s ) 、目的端口号( d e s t i n a t i o np o r tn u m b e r ) 、协议种类( p r o t o c o lt y p e ) 、 服务种类( t y p eo f s e r v i c e ) 及路由器输入接口( r o u t e ri n p u ti n t e r f a c e ) 。任何时间当 设备接收到新的数据包时，会检测这7 个字段来判断这个数据包是否属于任何已 记录的f l o w 。若有，则将新收集到的数据包的相关流量信息整合到对应f l o w 记 录中，若找不到数据包对应的f l o w 记录，便产生一个新的f l o w 记录来储存相关的 流量信息。由于设备内高速缓存的空间有限，无法无限制地容纳持续增加的f l o w 纪录，所以n e t f l o w 协议也定义了终结f l o w 记录的机制，来维持网络设备中储存 f l o w 信息的空剐1 2 】。整个系统的工作原理如图2 6 所示。 采集墨 鼹l a o 土：母 采集 i f l n t ti 一面粉 - n t m = l l j 。 曰 l 图2 6n e t f l o w 体系及工作原理示意 n e t f l o w 采用了主动式数据推送机制，当c a c h e 表项超时后，网络设备中的 n e t f l o wa g e n t 将通过规范的报文格式将超时表项数据送往指定主机( 艮 i n e t f l o w c o l l e c t o r ) 。虽然n e t f l o w 在设计中可以接受任何传输层协议作为承载协议，但在 一般实现中通常都是采用u d p 作为缺省选择。输出的每个数据包约1 5 0 0 字节，通 常含有2 0 - - - 5 0 个流记录。c o l l e c t o r 负责收集n e t f l o w 数据包，写入数据库，由相 北京邮电大学硕士学位论文基于采样算法和自动聚类算法的网络流量监测模型 关流分析软件完成图形化展示、t o pn 查询以及预警等功能。 2 4n e t fio w 技术分析及版本介绍 2 4 1 技术分析 n e t f l o w 是一种数据交换方式，其工作原理是：n c t f l o w 利用标准的交换模式 处理数据流的第一个分组数据，生成n e t f l o w 缓存，随后同样的数据基于缓存 信息在同一个数据流中进行传输，不再匹配相关的访问控制等策略，n e t f l o w 缓 存同时包含了随后数据流的统计信息。 流( f l o w ) 是一系列具有共同属性的分组的集合，并且这些分组的的前后到 达时间间隔小于某个给定的阈值【1 3 】，n e t f l o w 1 4 】用分组头部的某些域来标识流， 包括源地址、目标地址、协议、源端口、目标端口、服务类型等等。运行n e t f l o w