（计算机软件与理论专业论文）基于sFlow的网络流量监测系统研究与实现.pdf

基于s f l o w 的网络流量测量系统研究与实现 摘要 随着计算机的普及使用，网络及其相关技术的迅猛发展以及由网络带来 的各种益处和便利，使人们日常的工作、生活、学习发生了彻底的改变，网 络事实上已经成为社会经济发展的重要基础设施。网络规模的不断扩大，应 用的多样化，异构化程度的增高，网络的带宽成倍增长，结构的日益复杂， 对网络管理也提出了更大的挑战。p 2 p 软件的广泛应用吞噬着大量的网络带 宽，蠕虫等病毒大规模爆发也常常使网络带宽变得枯竭，这些都是造成网络 带宽不断增加的情况下，网络带宽仍然显得紧张的原因。 网管人员要优化被管理网络的性能和效率，首先必须能准确详尽地测量 出被管网络的流量数据。传统的流量测量技术( 女h s n i f f e r 、s n m p 、 r m o n r m o n i i 、n e t f l o w 等) ，或者是因为采集到的数据不够详细和全面，或 者是因为需要镜像端口而影响网络性能，或者是因为需要大量部署探针而成 本费用昂贵，又或者是占用较多的设备资源而影响设备的性能等原因，而限 制了这些技术的应用和发展，尤其是在当今网络速度已经达到千兆至万兆的 网速，只依靠传统的流量测量手段已经显得力不从心。 本文研究的是s f l o w 技术在网络流量监测中的应用。s f l o w 技术是由i n m o n 公司提出的一种基于统计采样机制的技术。s f l o w 技术特点是把数据采集代 理( a g e n t ) 嵌入到被监控网络设备的a s i c 芯片中，从而达到采集数据时的 线速性能。因其不对采样数据进行处理，不占用设备资源，不额外增加部署 成本费用，而且采样数据包可以包括完整的二层到七层详尽信息，使其在高 速网环境下进行采集数据时拥有传统流量采集与统计技术所不具备的优点， 并能实现7 2 4 d 、时全天候不问断地、线速地监视网络设备上的所有端口。 本文首先介绍了基于s n i f f e r 、s n m p 、r m o n r m o n i i 以及n e t f l o w 技术的 网络流量测量技术，对他们的工作原理和工作过程作了说明，并分析各自的 优缺点； 本文接着较详细阐述了s f l o w 技术的原理、工作过程与其可提供的采集信 息，也讨论了其相对于传统流量测量技术的优越性； 基于s f l o w 的网络流量测量系统研究与实现 然后分析了网络异常流量及其产生的原因、以及异常流量的典型特征； 最后重点描述了本系统的设计和实现，包括试验环境的建立，系统的组 织方案，系统的分层设计和框架组成，各模块的功能和实现；给出高效压缩 流量数据而不失真的聚类算法；根据系统统计结果用基于特征匹配和流量统 计的方法识别出异常流量；也给出了基于典型特征的p 2 p 流量的识别方法。 系统界面采用w e b 页面来显示，将采集到的各种历史数据和实时数据统计结 果用相应的表格图形简洁直观地展现。 本文以华南师范大学校园网为实验环境，并测试验证了系统要实现的主 要目标和相关功能；文中给出的用s f l o w 技术作为监测网络流量的应用，为 高速和大规模网络流量的监控与分析提供了一个较好的示例或支持平台。 在文结尾总结了系统的成果和不足，并提出了未来工作的展望和研究的 方向。 关键词：s f l o w 技术、流量分析、异常流量、流量监测系统 基于s f l o w 的网络流量测量系统研究与实现 a b s t r a c t a l o n gw i t hc o m p u t e r sp o p u l a r i z a t i o nu s e ，t h er a p i dd e v e l o p m e n t o fi n t e r n e ta n di t sr e l a t e dt e c h n o l o g ya sw e lla st h ev a r i o u sb e n e f i t s a n dc o n v e n ie n c ef r o mn e t w o r ku s e ，t h e yh a v et a k e nf u n d a m e n t a l c h a n g e si np e o p l e sd a i l yw o r k ，l i v i n ga n dl e a r n i n g i nf a c t ，t h e n e t w o r kh a sb e c o m eav i t a lb a s i cf a c i l i t yo fs o c i o e c o n o m i c d e v e l o p m e n t a st h en e t w o r ks c a l ec o n s t a n t l ye x p a n d i n g ，t h e d i v e r s i f i c a t i o no fa p p l i c a t i o n s ，t h eh i g h e rd e g r e eo fh e t e r o g e n e o u s ， t h ed o u b l e dg r o w t ho fn e t w o r kb a n d w i d t h ，a n dt h ei n c r e a s i n g l yc o m p l e x s t r u c t u r eo fn e t w o r k ，a llt h e s ef a c t o r sb r o u g h tg r e a t e rc h a lle n g e s t on e t w o r km a n a g e m e n t t h ep 2 ps o f t w a r e sw i d e s p r e a da p p l i c a t i o n s w a ll o wu pal a r g en u m b e ro fn e t w o r kb a n d w i d t h ，w o r m sa n do t h e r l a r g e s c a r eo u t b r e a ko fv i r u s o f t e nc a u s ed e p l e t i o no fn e t w o r k ，t h a t s w h yt h en e t w o r kb a n d w i d t hs t i l la p p e a r e dt e n s ee v e nt h o u g hw i t h u n c e a s i n gb a n d w i d t h a st h en e t w o r ka d m i n i s t r a t o rp e r s o n n e lo p t i m i z et h em a n a g e d n e t w o r kp e r f o r m a n c ea n de f f i c i e n c y ，f i r s to fa l1 ，t h e yh a v et om e a s u r e o u ta c c u r a t ea n dd e t a ile dn e t w o r kt r a f f icd a t a t h et r a d itio n a l t r a f f icd a t am e a s u r e m e n tt e c h n o l o g y ( s u c ha ss nif f e r ，s n m p ，r m o n p 4 1 0 n i i ，n e t f l o w ，e t c ) h a sb e e nl i m i t e dt oa p p l ya n dd e v e l o ps i n c e t h ed a t ac o l l e c t e di sn o ts u f f i c i e n t l yd e t a i l e da n dc o m p r e h e n s i v e ， o ri ta f f e c tn e t w o r kp e r f o r m a n c eb e c a u s eo fn e c e s s a r ym i r r o rp o r t s ， o ri tc a u s ee x p e n s i v ec o s tw h i l ed e p l o y i n gal a r g en u m b e rp r o b e ，o r i ta f f e c te q u i p m e n t sp e r f o r m a n c ew h e no c c u p i e dm u c he q u i p m e n t r e s o u r c e se t c e s p e c i a ll y ，a st h en e t w o r ks p e e dh a sr e a c h e dc u r r e n t l y t h eg i g a b i ta n d1 06 i g a b i t ，i t sh e l p l e s st od e p e n do no n l yt r a d i t i o n a l m e a n st om e a s u r en e t w o r kt r a f f icd a t a t h i sp a p e rs t u d yt h ea p p t i c a t i o n so fs f i o wt e c h n o l o g yi nn e t w o r k t r a f f i cd a t am o n i t o r i n g s f l o wt e c h n o l o g yp r o v i d e db yi n m o nc o m p a n y i i i 基于s f l o w 的网络流量测量系统研究与实现 i sam e c h a n i s mb a s e do ns t a t i s t i c a ls a m p l i n gt e c h n i q u e s t h e c h a r a c t e r i s t i c so fs f l o w st e c h n i c a li st oe m b e dt h ec o l l e c t e dd a t a a g e n ti n t ot h ea s i cc h i p so fm o n it o r e dn e t w o r ke q u i p m e n t ，t h e na c h i e v e t h ew i r e s p e e dp e r f o r m a n c ew h il ec o ll e c t i n gd a t a b e c a u s et h e t e c h n o l o g yd o e s n tc a r r yo na n yp r o c e s s in gt ot h es a m p lin gd a t a ， d o e s n to c c u p ye q u i p m e n tr e s o u r c e s ，d o e s n ti n c r e a s e a d d i t i o n a l d e p l o y i n gc o s t ，a n dt h es a m p l i n gd a t ap a c k e t sc a ni n c l u d ed e t a i l e d i n f o r m a t i o nf r o ms e c o n dl a y e rt os e v e nl a y e r ，s os f l o wt e c h n o l o g yt a k e m o r ea d v a n t a g e st oc o l l e c t t r a f f i cd a t ai nh i g h s p e e dn e t w o r k e n v i r o n m e n tt h a nt h et r a d i t i o n a lt r a f f i cd a t ac o ll e c t i o nt e c h n o l o g y a n ds t a t i s t i c a lt e c h n o l o g y ，a n di tc a nm o n i t o ra 1 1p o r t so nt h en e t w o r k e q u i p m e n tw i t h i n7 爿c2 4 一h o u r su n i n t e r r u p t e d l ya n dw i r e s p e e d l y f i r s t l y ，t h i sp a p e ri n t r o d u c e dn e t w o r kt r a f f i cm e a s u r e m e n t t e c h n o l o g yb a s e do ns n i f f e r ，s n m p ，r m o n r m o n i ia n dn e t f l o w t e c h n o l o g y ，a n dt h e ne x p l a i n e dt h ep r i n c i p l e sa n dp r o c e s so ft h e s e t e c h n o l o g y ，a n a l y z e dt h e i ra d v a n t a g e sa n dd is a d v a n t a g e s r e s p e c t i v e l y s e c o n d l y ，t h ep a p e rd e s c r i b e sd e t a il e dp r i n c i p l e s ，t h ep r o c e s so f s f l o wt e c h n o l o g ya n di t sc o l l e c t e di n f o r m a t i o na v a il a b l e m e a n w h i l e i ta l s od i s c u s s e st h ea d v a n t a g ec o m p a r e dt ot r a d i t i o n a lt r a f f i c m e a s u r e m e n tt e c h n o l o g y t h i r d l y ，t h i sp a p e ra n a l y z e dt h ea n o m a l yt r a f f i c n e t w o r kd a t a ， c a u s e s ，a n dt h et y p i c a lc h a r a c t e r i s t i c so fa n o m a l yt r a f f i cn e t w o r k d a t a f i n a l l y ，t h ep a p e re m p h a s i z e st h ed e s i g na n di m p l e m e n t a t i o no f s y s t e m ，i n c l u d i n gt h ee s t a b l i s h m e n to ft e s t i n ge n v i r o n m e n t ，t h e s y s t e mo r g a n i z i n gp r o j e c t ，t h eh i e r a r c h i c a ls y s t e md e s i g na n d f r a m e w o r kc o m p o n e n t s ，t h ef u n c t i o na n di m p l e m e n to fm o d u l e s w e p r o v i d eac l u s t e r i n ga l g o r i t h mw h i c hi se f f i c i e n tf o rc o m p r e s s i n gt h e i v 基于s f l o w 的网络流量测量系统研究与实现 d a t aa n dw i t h o u td i s t o r t i o n ，m e a n w h i l ew ed i s t i n g u i s ht h ea n o m a l y t r a f f i cb yt h ew a yw h i c h b a s e do nf e a t u r em a t c hw i t ht r a f f i cs t a t i s t i c s a c c o r d i n gt os y s t e ms t a t i s t i c sr e s u l t s ，a l s op r o v i d es o m e i d e n t i f i c a t i o nm e t h o d sb a s e do nt h et y p i c a lc h a r a c t e r i s t i c so ft h e p 2 pt r a f f i c t h es y s t e mi n t e r f a c ed i s p l a y e db yw e bp a g e sa n dt h e c o r r e s p o n d i n gr e s u l t so fc o l l e c t e dv a r i o u sh i s t o r i c a ld a t aa n d r e a l t i m ed a t aw a ss h o w nb yas i m p l ea n di n t u i t i v eg r a p h i c a lf o r m b a s eo nt h ee x p e r i m e n t a le n v i r o n m e n to fs o u t hc h i n an o r m a l u n i v e r s it yc a m p u sn e t w o r k ，w et e s t e da n de v a l u a t e dt h es y s t e mt o a c h i e v et h em a i no b j e c t i v e sa n dr e l a t e df u n c t i o n s i nt h i sp a p e r ，b y u s i n gs f l o wt e c h n o l o g ya st h ea p p li c a t i o no fn e t w o r kt r a f f i c m o n it o r i n g ，i tp r o v i d e dag o o de x a m p l eo rs u p p o r tp l a t f o r mf o r h i g h s p e e da n dl a r g e s c a l en e t w o r kt r a f f i cm o n it o r i n ga n da n a l y s i s i nt h ee n d ，w es u m m e du pt h ea c h i e v e m e n t sa n ds h o r t c o m i r i g so ft h e s y s t e m ，a n dp r o p o s e dt h ep r o s p e c to ff u t u r ew o r ka n dr e s e a r c h d i r e c t i o n k e yw o r d ：s f l o wt e c h n o l o g y 、t r a f f i ca n a l y s i s 、a n o m a l y t r a f f i c 、 t r a f f icm o n i t o r i n gs y s t e m v 华南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确的方式标明。 本人完全意识到此声明的法律结果由本人承担。 论文作者签名：7 ；互5 继认化义下 ：有，佥稻：缎补 日期：溯衫年，月巧日 学位论文使用授权声明 本人完全了解华南师范大学有关收集、保留和使用学位论文的规 定，即：研究生在校攻读学位期间论文工作的知识产权单位属华南师 范大学。学校有权保留并向国家主管部门或其指定机构送交论文的电 子版和纸质版，允许学位论文被检索、查阅和借阅。学校可以公布学 位论文的全部或部分内容，可以允许采用影印、缩印、数字化或其他 复制手段保存、汇编学位论文。( 保密的论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密范围，在年后解密适用 本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授权 书。 论文作者签名：多ij ；涨杂 日期：o 分年t 月2 尸日 导师签名： 扮彻k 日期研年厂月7 曰 基于s f l o w 的网络流量测量系统研究与实现 1 1 课题研究背景 第1 章绪论 2 0 0 8 年1 月1 7 日，中国互联网络信息中心( c n n i c ) 发布第2 1 次中国互 联网络发展状况统计报告。报告中的数据显示，截止至u 2 0 0 7 年1 2 月3 1 日， 我国网民总人数达到2 1 亿人，半年新增4 8 0 0 万人。目前中国网民仅以5 0 0 万 人之差次于美国，居世界第二，同时c n n i c 预计在2 0 0 8 年初中国将成为全球 网民规模最大的国家。从以上的统计数据说明了网络及其相关技术自其诞生 以来得到了迅猛的发展，计算机已得到广泛使用，网络已经日益成为现代经 济活动和生活的基础设施。在当今信息化成为主导的时代下，人们从互联网 上享受大量廉价、方便和实时的资源及信息等服务的同时，我们的学习、工 作和生活方式也已经彻底地发生了改变。 随着网络及其技术的迅速发展，网络规模越来越大、应用也越来越广泛 而复杂，这对网络管理提出了更大的挑战。b t 、p 2 p 等软件的应用吞噬着大 量的网络带宽，蠕虫等病毒大规模爆发也常常使网络带宽变得枯竭，这些都 是造成在网络带宽不断增加的情况下，网络带宽仍然显得紧张的原因。网管 人员要优化被管理网络的性能和效率，首先必须能准确详尽地测量出被管网 络的流量数据。更进一步，完整的网络管理是各个网络管理人员一直追求的 目标，掌握全网范围内所有可能的数据流、带宽需要、性能蕴含、安全威胁 和计费安排是现代网络管理中面对的重要任务，要完成这些任务，都需要流 量统计作为依据，因此，网络流量的监测在网络管理中的重要地位显而易见。 1 。2国内外本研究的状况 目前，国内外就网络流量监测系统已经有许多的机构、团体和企业作出 了相应的研究，也有比较成熟的产品应用。 l 基于s f l o w 的网络流量测量系统研究与实现 按监测软件架构分类主要可分为二类：基于c s 架构的网络流量监测系统 和基于b s 架构的网络流量监测系统。 按使用的技术类型分类可分为四类：基于s n m p 技术的网络流量监测系统、 基于r m o n 技术的网络流量监测系统、基于s n i f f e r 包捕获技术的网络流量监 测系统、基于n e t f l o w 技术的网络流量监测系统。 基于s n m p 技术的网络流量监测系统，例女i j h p 公司的o p e n v i e w ，s o l a r w i n d s 公司的n e t w o r km a n a g e m e n t 等商用软件， m r t g ( m u l t ir o u t e rt r a f f i c g r a p h e r ) 是应用最为广泛的网络流量监测免费软件。现在的网管软件几乎 都支持这s n m p 协议，而且所有的智能网络设备支持s n m p 协议； 基于r m o n 技术的网络流量监测系统，例如，典型的r m o n 流量探针设备有 a g il e n t 公司的n e t m e t r i x 系列产品。 基于s n i f f e r 包捕获技术的网络流量监测系统，例女n n e t w o r kg e r n e r a l 开发的e x p e r ts n i f f e r 、c i n c o 公司的n e t x r a y 、m i c r o s o f t 公司的n e t m o n i t o r 、l a w r e n c eb e r k e l e r y 实验室开发的s n i f f i t 、f l u k e 公司生产的 o p t i v i e w 、p a c k e t b o y 等；依据不同的分析目的，s n i f f e r 探针有不同的种类， 典型代表包括s n i f e rp r o a b l e 、e t h e r e a l 、n t o p 、s n o r t 等，s n i f f e r 与e t h e r e a l 用于协议分析、n t o p 用于流量的分类统计，而s n o r t 则用于入侵检测与异常 流量发现。 基于n e t f l o w 技术的网络流量监测系统，例女r c i s c o 的c i s c on e t f l o w c o l l e c t i o n 、c r a n n o g 的n e t f l o wm o n it o t 、a d v e n t n e t 的n e t f l o wa n a l y z e r 。 支持n e t f l o w 的厂商包括c i s c o 、e n t e r a s y sn e t w o r k s 、j u n i p e r 、n e t w o r k s 、 n o r t e l 、3 c o m 、a d t r a n 、e n t e r a s y s 、r i v e r s t o n en e t w o r k s ( 已经被l u c e n t 收购) 、r i v e r b e d 、p a c k e t e e r 等。 本文研究的流量监测系统所使用的数据采集技术s f l o w ，是由i n m o n 公司于2 0 0 1 年提出的一种基于“统计采样 的网络流量监测技术，它已经得 到惠普公司( h p ) 、网捷公司( f o u n d r y ) 、e x t r e m e 、f r o c e l o 等多家著名 公司的支持，并已成为i e t f 的一个建议标准，以r f c3 1 7 6 1 1 文件的形式进行 了发布。 目前支持s f l o w 技术的网络设备提供商包括 2 1 ：f o u n d r yn e t w o r k s 、 基于s f l o w 的网络流量测量系统研究与实现 e x t r e m en e t w o r k s 、h e w l e t t p a c k a r d 、a l a x a l an e t w o r k s 、a 1 c a t e l 一l u c e n t 、 a 1 1 i e dt e l e s i s 、c o m t e cs y s t e m s 、f o r c e l 0n e t w o r k s 、d l i n k 、h 3 c 、h i t a e h i 、 n e c 等，主要产品列举如下： f o u n d r yn e t w o r k s 公司：b i g l r o ns e r i e s 、f a s t i r o ns e r i e s 、i r o n p o i n t s e r i e s 、n e t i r o ns e r i e s 、s e c u r e i r o ns e r i e s 、s e r v e r l r o ns e r i e s 等； e x t r e m en e t w o r k s 公司：a l p i n e3 8 0 0s e r i e s 、b l a c k d i a m o n d6 8 0 0 s e r i e s 、b l a c k d i a m o n d8 8 0 0s e r i a s 、b l a c k d i a m o n d1 0 8 0 8 、b l a c k d i a m o n d 1 2 8 0 4 c 、b l a c k d i a m o n d1 2 8 0 4 r 、s u m m i tx 4 5 0s e r i e s 、s u m m i tis e r i e s 等； h e w l e t t p a c k a r d 公司：p r o c u r v e2 8 0 0s e r i e s 、p r o c u r v e3 4 0 0 c ls e r i e s 、 p r o c u r v e3 5 0 0 y ls e r i e s 、p r o c u r v e4 2 0 0 v ls e r i e s 、p r o c u r v e5 3 0 0 x l s e r i e s ，p r o c u r v e5 4 0 0 z ls e r i e s 、p r o c u r v e6 2 0 0 y ls e r i e s ，p r o c u r v e6 4 0 0 c l s e r i e s 、p r o c u r v e9 3 0 0 ms e r i e s 、p r o c u r v er o u t i n gs w i t c h9 4 0 8 s l 等； s f l o w 采集器软件产品包括有嘲：a r b o rn e t w o r k s 的p e a k f l o w 系列： c e t a c e an e t w o r k s 的o r c a f l o w ；e i q n e t w o r k si n c 的s e c u r e v u e ；i n m o n 公司 的s f l o wt r e n d 、s f l o wt o o l k i t ；f o u n d r yn e t w o r k s 公司的i r o n v i e w ：g e n i e n e t w o r kr e s o u r c em a n a g e m e n t 公司的g e n i e n t g2 0 0 0 ；h p 公司的h po p e n v i e w i n t e r n e tu s a g em a n a g e r 、h po p e n v i e wp e r f o r m a n c ei n s i g h t 、h pp r o c u r v e m a n g e rp l u s ：i n f o s i mn e t w o r k i n gs o l u t i o n sa g 公司的s t a b l e n e tp m e 、 n t o p o r g 的n t o p 等。 1 3 课题研究的内容及意义 1 3 1 本课题研究的内容 本文首先比较了各种流量测量技术，并分析其原理、工作过程和优缺点， 然后分析了使用s f l o w 技术在网络流量测量中的优势。接下来，本文重点的 工作就是在被监测网络中设置合适的采集点，讨论组织实施系统的方案，以 期达到准确、实时、全面收集全网的流量信息；在此基础上设计并实现了基 于s f l o w 技术的网络流量监测系统并设计相关高效可靠的算法；最后通过应 用此系统的功能来对被监测网络的流量进行统计分析和优化控制，同时也可 3 基于s f l o w 的网络流量测量系统研究与实现 据此识别典型的异常流量等。 本文的实验环境是在华南师范大学网络中心，由于本中心已经有支持 s f l o w 技术的网络设备正在投入使用并在正常运行，从网速( 核心层已经为 万兆网速) 、流量数据的全面和充分性以及必要设备的支持方面，都为本文 研究的对象提供了良好的实验环境。 1 3 2 本课题研究的意义 众所周知，网络流量测量是网络管理系统的基础，以前的s n m p 、s n i f f e r 、 r m o n 、n e t f l o w 等技术虽然提供了各种测量网络流量的方法，但这些技术或 是消耗比较多设备资源，或是所提供的流量数据内容过于单一、宏观，很难 满足当代越来越复杂的应用所产生的网络流量数据监测要求以及对千兆和 万兆高速端口的网络流量进行监测。 s f l o w 流量数据包内容提供了比以往所有流量监测技术所采集到的流量 数据包内容更多、更详细：由于s f l o w 技术被内嵌到监测的网络设备a s i c 芯 片中，使基于s f l o w 技术的网络流量监测系统可以线速、实时地监视力兆及 以上的高速端口。 本论文研究的基于s f l o w 技术的网络流量监测系统为同益重要的网络管 理提供了更坚实可靠的基础和依据。本系统对现实网络管理中流量分布的分 析、流量的未来趋势、异常流量的监测、故障的发现与排除、网络的安全、 计费等方面提供了全面、准确、实时的数据；由于s f l o w 技术本身采用先进 的统计采样方法，使得基于该技术的本系统给现实网络管理带来节省网络带 宽、节省设备c p u 时间和节约设备内存资源占用的优点；尤其是由于s f l o w 技 术本身所具有的线速优点，使得采用本技术的网络流量监测系统可以同时监 视含有千兆和万兆端口的多个高速网络。上述这些都有着实际的工程应用价 值，对开发新型网络管理的商用软件或校园网网络管理亦具有重要的参考意 义。 4 基于s f l o w 的网络流量测量系统研究与实现 1 4 论文的工作及组织结构 本论文由六章和参考文献等构成，全文的主要内容安排如下： 第一章绪论。首先介绍本文研究背景，然后就本文研究对象的国内外研究的 情况作了说明，最后介绍了本文研究的内容及存在的意义。 第二章传统网络流量监测技术概述。本章详细介绍了基于s n i f f e r 包捕获、 s n m p 、r m o n r m o n i i 和n e t f l o w 的流量监测技术原理和工作过程，并 分析了各自的优缺点。 第三章s f l o w 技术。在本章中详细阐述了s f l o w 技术原理、工作过程、s f l o w 数据包中包含的采样信息等，并分析总结了s f l o w 技术相对于其他流 量监测技术的优势。 第四章网络异常流量特征研究。在本章中首先介绍了什么是异常流量，异常 流量对网络的正常运行的影响，然后介绍了异常流量的产生过程，最 后分析了这些异常流量典型的特征。 第五章基于s f l o w 技术的网络流量监测系统的设计与实现。本章是全文的重 点章节，首先介绍了实验环境的建立及系统的组织方案；接着介绍了 本系统的层次设计方法并提出了本系统的框架结构；然后给出了系统 各个模块的相关算法和实现；最后给出了通过系统各种流量统计结果 来检测异常流量的方法。 第六章总结与展望。对本论文的研究进行了总结，讨论了本研究存在的不足， 并提出了下一步所要做的主要工作。 第2 章传统网络流量监测技术概述 传统的网络设备流量测量技术主要包括s n i f f e r 包捕获、简单网络管理协 议s n m p ( s i m p l en e t w o r km a n a g e m e n tp r o t o c 0 1 ) 、远程监控r m o n ( r e m o t e m o n i t o r i n g ) 和n e t f l o w 技术，下面对它们进行逐一介绍。 基于s f l o w 的网络流量测量系统研究与实现 2 1 基于s n i f f e r 包捕获技术的网络流量监测 s n i f f e r 是基于包捕获( p a c k e tc a p t u r e ) 的一种流量分析技术。包捕获 是最早出现的、至今乃在局部广泛使用的网络流量采集方法。早期的共享总 线式局域网中，在共享总线上“挂”上一个探针( p r o b e ) 设备，就能捕捉经 过该总线传输的所有数据包。随着交换式网络全面取代共享式网络，包捕获 方式也演变为在交换机上通过端口镜像去监测流经一个交换端口的所有流 量，也就是将被监测端口的所有流量映射到另一端口，并将探针挂接在镜像 端口上。 s n i f f e r 工作原理基于如下：通常在同一个网段上，所有主机的网络接口 卡n i c ( n e t w o r ki n t e r f a c ec a r d ) 都有访问在物理通信介质上传输的所有 数据的能力，而每个n i c 都有唯一的、与其他n i c 不重复的硬件地址。同时， 每个网络至少还要有一个广播地址( 代表所有的网络接口卡地址) 。在正常 情况下，任何一个n i c 应该只响应下面两种数据帧：第一是目的地址与n i c 硬 件地址相同的数据帧；第二是目的地址是“广播地址”的数据帧。主机上 的n i c 在接受到上面两种数据帧时，n i c 都产生一个硬件中断，该中断能引起 操作系统的注意，然后将帧中所包含的数据传送给系统做进一步处理。而 s n i f f e r 是一种将本地网卡状态设成混杂模式( p r o m i s c u o u sm o d e ) 的软件， 当网卡处于这种混杂模式时，它对所接收到的任何数据帧都产生一个硬件中 断，以便提醒操作系统处理流经该物理媒体上的每一个报文包。可见， s n i f f e r 工作在网络环境中的底层，它会接收所有正在网络上传送的数据， 并且通过相应的软件处理，可以实时分析这些数据的内容，进而分析所处的 网络状态和网络性能等 4 1 。 采用s n i f f e r 包捕获技术的优缺点：尽管基于s n i f f e r 包捕获的技术能够 捕获探针嗅到的所有数据包，可对流经网络的流量数据进行详尽的分析，但 在今天的高速交换式网络中，至少存在着两方面的不足：首先，s n i f f e r 方 式不适用于全网流量监控。在现代交换式网络中，不可能找到一点可观测全 网的流量。任一时刻，一个探针只能观测一个端口的情况，要对全网的网络 流情况进行综合分析，仅在一点进行网络流量的观测是远远不够的，而每个 监控点都挂上一个硬件探针，会造成高额的监控成本，根本是不可实现的； 基于s f l o w 的网络流量测量系统研究与实现 其二，基于s n i f f e r 方式的流量监测程序必须处理所挂接链路上所有数据包。 在高速网络中，将会有大量的数据包需要处理，数据分析和处理速度也就成 为了瓶颈，特别是对万兆网络，包捕捉方式更显得力不从心。 2 2 基于s n m p 技术的网络流量监测技术 简单网络管理协议s n m p ( r f c1 1 5 7 圆) 首先是由i n t e r n e t - f 程任务组i e t f 的研究小组为了解决i n t e r n e t 上的路由器管理问题而提出的，它是最早提出 的网络管理协议之一。s n m p 的前身是简单网关监控协议s g m p ( s i m p l eg a t e w a y m o n i t o rp r o t o c 0 1 ) ，它的目标是用来对通信线路进行管理。随后，人们对 s g m p 进行了很大的修改，特别是加入了符合i n t e r n e t 定义的管理信息结构 s m i ( s t r u c t u r eo f m a n a g e m e n ti n f o r m a t i o n ) 和管理信息数据库m i b ( m a n a g e m e n ti n f o r m a t i o nb a s e ) 体系结构，改进后的协议就是著名的s n m p 。 s n m p 的设计原则是简单性和扩展性。简单性是通过信息类型限制、请求响应 和协议而取得。扩展性是通过将管理信息模型与协议、被管理对象的详细规 定分离而实现的1 。现在s n m p 已经出到第三个版本( s n m p v l 是第一个正式协 议版本，在r f c l1 5 5 r f c l1 5 8 中定义；s n m p v 2 c 这个版本被称为基于共同体名 的s n m p v 2 ，由r f c l 9 0 1 r f c l 9 0 6 定义；s n m p v 3 版本采用基于用户的安全机制， 由r f c 2 2 7 1 、r f c 2 2 7 5 所定义) 7 1 。 s n m p 管理的网络有三个主要组成部分：管理设备( m a n a g e dd e v i c e s ) 、 代理( a g e n t ) 和网络管理系统n m s ( n e t w o r km a n a g e m e n ts y s t e m ) 。管理 设备是一个网络节点，其中包含一个s n m p 代理，并处在被管理网络中。被管 理的设备，有时又称为网络单元，可能指路由器、访问服务器、交换机、网 桥、集线器、主机或打印机等；代理是被管理设备上的一个网络管理软件模 块，它能够回答来自s n m p 管理站如网络管理系统n m s 的关于管理信息库m i b 中 定义信息的各种查询，s n m p 代理拥有本地的相关管理信息，并将它们转换成 与s n m p 兼