（计算机应用技术专业论文）netflow数据处理与异常检测研究.pdf

，i 一 c l a s s i f i e di n d e x ： u d c ： ad i s s e r t a t i o nf o rt h ed e g r e eo f m e n g r e s e a r c ho nn e t f l o wd a t a p r o c e s s i n g a n d a b n o r m i t yd e t e c t i n g c a n d i d a t e ：w a n gh a o s u p e r v i s o r ：p r o f w a n gh u i q i a n g a c a d e m i cd e g r e ea p p l i e df o r ：m a s t e ro fe n g i n e e r i n g s p e c i a l i t y ：c o m p u t e ra p p l i c a t i o nt e c h n o l o g y d a t eo fs u b m i s s i o n ：d e c e m b e r ，2 0 0 9 d a t eo f 0 r a le x a m i n a t i o n ：m a r c h ，2 010 u n i v e r s i t y ：h a r b i ne n g i n e e f i n gu n i v e r s i t y 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由 作者本人独立完成的。有关观点、方法、数据和文献的引用已在 文中指出，并与参考文献相对应。除文中已注明引用的内容外， 本论文不包含任何其他个人或集体己经公开发表的作品成果。对 本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 作者( 签字) ：丑i 书 日期： w d 年码月f 妒日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校 攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨 工程大学有权保留并向国家有关部门或机构送交论文的复印件。 本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据 库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本 学位论文，可以公布论文的全部内容。同时本人保证毕业后结合 学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈 尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文( 口在授予学位后即可 解密后) 由哈尔滨工程大学送交有 作者( 签字) ：已 日期： w d 铴月l 仁日 哈尔滨t 程大学硕士学位论文 摘要 计算机网络尤其是i n t e r n e t 的发展奠定了新经济时代的信息基础。计算 机网络已经改变了人们工作和生活的方式。在日益成熟的网络及通信技术的 支持下，计算机网络迅速发展，网络规模不断扩大，用户对网络资源的需求 越来越多，以及越来越猖獗的网络恶意活动，使得网络负担沉重，网络性能 下降。如果能进行网络运行状态和性能指标的监测，对安全事件能及时发现， 那么，将对网络管理规划，安全保障有重要意义。 n e t f l o w 技术由c i s c o 公司提出，作为一个成熟的流交换技术，n e t f l o w 流中包含的丰富信息，满足了流量分析、网络监控、异常监控等各个方面的 要求。 本文设计与实现的面向n e t f l o w 的数据处理与异常检测系统很好的融合 了网络管理和安全检测的功能，不但能够对网络的多项指标进行统计分析， 从而指导网络管理和规划：还可以对关键节点进行实时的异常检测，保障网 络运行安全。 ， 本文首先阐述了n e t f l o w 技术原理及实际应用情况，在此基础上讨论了 n e t f l o w 数据中所包含的网络状态信息。 接着，本文介绍了面向n e t f l o w 的数据处理与异常检测系统的设计与实 现，功能模块的划分、各个模块的主要任务以及模块间的接口规定。然后以 一个实例的方式，详细介绍了系统的运作流程。最后，对面向n e t f l o w 的处 理与异常检测系统进行了实验，为了使前文给出的实例更有说服性，就这个 实例作为实验内容，并给出了效果图，结果表明系统能够完成预定的目标。 然后将系统重要的两个功能模块以单独的章节的形式进行讨论。对于 n e t f l o w 包含的信息，提出了多角度的统计方案，并设计了n e t f l o w 数据的 处理流程，接着对于数据的汇聚和统计方法，提出了能够节省内存的一个算 法，并对排序算法给出了改进。对于异常检测功能，分析了网络异常流量的 分类及检测方法，进而介绍了系统所使用的异常检测算法及实现方案。 关键词：n e t f l o w ：网络监控；数据处理；统计分析；异常检测 ： 哈尔滨t 狸大学硕士学位论文 a b s t r a c t t h ed e v e l o p m e n to ft h ei n t e m e tl a i da l li n f o r m a t i o nf o u n d a t i o nf o rt h en e w e c o n o m i cp e r i o d t h ec o m p u t e rn e t w o r k sh a v ec h a n g e dt h ew a yo fl i f ea n dw o r k w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rn e t w o r k ，t h en e t w o r ks c a l eb e c o m e s l a r g e ；t h ei n c r e a s i n gn e e d sf o rt h en e t w o r kr e s o u r c ea n dm o r ea n dm o r e m a l i c i o u s a c t i v i t i e sl i eh i 曲u p o nt h en e t w o r ka n dr e d u c en e t w o r ke f f i c i e n c y m o n i t o r i n gt h e n e t w o r kr u n n i n gs t a t ea n dp e r f o r m a n c ei n d e x ，f i n d i n gt h es e c u r i t yp r o b l e m sh a v e t h ei m p o r t a n c ev a l u eo fn e t w o r km a n a g e m e n ta n ds e c u r i t y t h en e t f l o wt e c h n i q u ei sap r o v e nf l o ws w i t c h i n gt e c h n i q u ed e v e l o p e db y c i s c o n e t f l o wd a t ac o n t a i nv a r i o u si n f o r m a t i o n ，w h i c hc a nm e e tt h en e e do f t r a f f i ca n a l y s i s ，n e t w o r km o n i t o r i n ga n da n o m a l yd e t e c t i o n t h r o u g ht h e a b o v ea n a l y s i s ，an e t f l o wo r i e n t e dd a t ap r o c e s s i n ga n d a n o m a l yd e t e c t i o ns y s t e mw a sp r o p o s e d t h ep r o p o s e ds y s t e mi n t e g r a t e sn e t w o r k m a n a g e m e n ta n ds e c u r i t y d e t e c t i o n i tn o to n l yc a na n a l y z es e v e r a li n d e xo f n e t w o r ks oa st oh e l pt on e t w o r km a n a g e m e n t ，b u ta l s oc a nc a l t yo u tar e a lt i m e a n o m a l yd e t e c t i o nf o rt h ek e yn o d e s ，a s s u r et h en e t w o r ks e c u r i t y i nt h i st h e s i s ，w ef i r s ti l l u s t r a t et h et e c h n i q u et h e o r ya n dp r a c t i c a la p p l i c a t i o n o fn e t f l o w a n dt h e nd i s c u s st h en e t w o r ks t a t u si n f o r m a t i o ni nt h en e t f l o wd a t a t h i st h e s i si n t r o d u c e st h ed e s i g na n di m p l e m e n t a t i o no ft h es y s t e m , i n c l u d i n gt h ep a r t i t i o no ff u n c t i o nm o d e l ，t h em a i nt a s ko fm o d e l sa n di n t e r f a c e s p e c i f i c a t i o nb e t w e e nt h em o d e l s t h e nw ei n t r o d u c et h es y s t e mw o r kf l o wi n d e t a i lb a s e do na ne x a m p l e a tl a s t ，t 1 1 i st h e s i se v a l u a t et h ep r o p o s e ds y s t e m t h r o u g hae x p e r i m e n tb a s e do nt h ee x a m p l ei n t r o d u c e da b o v e ，a n dt h ee x p e r i m e n t r e s u l tg i v e ns h o w st h es y s t e mm e e t st h en e e do fd e s i g n t h e nt h i st h e s i sd i s c u s s e st w oi m p o r t a n tf u n c t i o nm o d e l ss e p a r a t e l y f o rt h e i n f o r m a t i o ni nt h en e t f l o wd a t a , am u l t i a n g e ls t a t i s t i c ss c h e m ei sp r o p o s e da n d w ed e s i g nt h en e t f l o wd a t ap r o c e s s i n gp r o c e d u r e f o rt h ed a t ac o n v e r g e n c ea n d s t a t i s t i c s ，a na l g o r i t h mt h a tc a nr e d u c et h em e m o r yu s a g ei sp r o p o s e d ，a n dt h e n 哈尔滨t 程大学硕十学何论文 w em a k ea ni m p r o v e m e n tf o rt h ep r o p o s e da l g o r i t h m a f t e rt h a t ，w ea n a l y z et h e c l a s s i f i c a t i o na n dd e t e c t i o no fn e t w o r ka n o m a l yt r a f f i c ，a n di n t r o d u c e t h e d e t e c t i o na l g o r i t h ma n di m p l e m e n t a t i o ns c h e m eo ft h ep r o p o s e ds y s t e m k e yw o r d s ：n e t f l o w ；n e t w o r km o n i t o r i n g ；d a t ap r o c e s s i n g ；s t a t i s t i c a la n a l y s i s ； a b n o r m i t yd e t e c t i n g ， 哈尔滨丁稃大学硕士学位论文 目录 第1 章绪论1 1 1 本文的背景、目的及意义l 1 2 国内外研究现状1 1 2 1 网络管理研究现状1 1 2 2 异常流量检测的国内外研究现状”3 1 3 研究内容5 1 4 论文的组织结构5 第2 章n e t f l o w 技术”7 2 1n e t f l o w 概述7 2 2n e t f l o w 基本原理8 2 2 1n e t f l o w 记录的形成”8 2 2 2n e t f l o w 记录的输出8 2 2 3n e t f l o w 数据格式9 2 3n e t f l o w 的应用12 2 4 本章小结”1 3 第3 章系统的设计与实现l5 3 1 体系结构设计一l 5 3 2n e t f l o w 收集器的设计与实现1 6 3 2 1 数据接收线程17 3 2 2 流解析线程18 3 3 可视似交互模块的设计与实现2 0 3 3 1 可视化交互模块的工作原理2 0 3 3 2 内部控件的命令结构2 0 3 4 控制模块的设计与实现2 l 3 5 系统工作过程示例”2 2 ， ， 哈尔滨t 稗大学硕士学位论文 3 6 本章小结”2 3 第4 章网络信息处理方法研究”2 4 4 1n e t f l o w 流信息的统计角度2 4 4 1 1n e t f l o w 流信息的显示方式2 4 4 1 2n e t f l o w 流信息的时间粒度选择2 5 4 1 3n e t f l o w 流信息的层次粒度选择“2 5 4 1 4 n e t f l o w 流信息面向使用的角度一2 6 4 1 5 图形显示视角2 6 4 2 数据处理模块设计2 7 4 2 1 数据处理模块处理流程2 7 4 2 2 数据处理模块效率分析2 9 4 3 数据汇聚算法的设计与实现一2 9 4 3 1 算法的提出2 9 4 3 2 算法的设计3 0 4 3 3 算法的实现3l 4 4t o p n 排序算法的选择与改进3 2 4 4 1 基于堆排序的t o p n 排序3 2 4 4 2 基于直接插入排序的t o p n 排序3 3 4 4 3 基于直接选择排序的t o p n 排序3 4 4 4 4 几种排序方法的比较3 4 4 5 本章小结3 5 第5 章异常流量检测方法研究3 6 5 1 网络流量异常分类“3 6 5 2 网络流量异常检测方法研究3 6 5 3 基于a r 模型的流量异常检测法3 9 5 4 异常检测模块的设计与实现4 3 5 5 本章小结4 4 哈尔滨工稃大学硕十学位论文 第6 章系统实现4 5 6 1 实验环境的部署4 5 6 2 实验结果与分析”4 5 6 2 1 网络信息处理实验4 5 6 2 2 异常检测功能实验4 6 6 3 本章小结4 7 结论4 8 参考文献4 9 攻读硕士学位期间发表的论文和取得的科研成果5 3 致谢“5 4 ， 哈尔滨t 稗大学硕+ 学位论文 第1 章绪论 1 1 本文的背景、目的及意义 随着i n t e m e t 的普及和计算机网络技术的发展，计算机网络作为信息社 会的基础，已经渗透到了社会生活的各个方面，包括政府部门，军事，教育， 商业和科研等领域都离不开计算机和计算机网络。这就使得网络的应用需求 越来越多，网络结构越来越复杂，规模越来越庞大，于此同时网络安全的问 题也越来越突出，各种形式的异常流量，恶意程序充斥的网络。这就使得对 网络运行状态和网络性能的掌握、管理控制变得更加重要和急迫；对网络信 息安全的保障也成为了必须要考虑的重要因素。 为了达到这个目的，必须有个良好的技术依托才能实现，以前的 s n m p e l 】f 2 】2 、r m o n c 3 删等技术虽然提供了一种网络管理的方法【5 ，但是由于 数据过于低层，难以满足对应用层信息状态的获取。c i s c o 公司提出了 n e t f l o w t 9 】技术，作为一个成熟的流交换技术，其中的v 9 版本【1o 】已成为i p f i x 的参照标准，满足了流量分析、网络监控、异常监控等各个方面的要求，而 且n e t f l o w 流中包含的丰富信息，使得对网络运行状态的各个方面都能有很 好的体现。 根据以上的需求分析以及技术支持，本文设计了一个面向n e t f l o w 的数 据处理与异常检测系统，这个系统同时满足了网络管理和安全分析的需求， 并在一个轻量级上得以实现。考虑到用户使用的便捷性，本系统通过一个易 于操作的界面同用户进行交互，用户可以通过简单的点击或少量的信息输入， 就可以完成对目标网络的多层次，多角度的各项网络运行指标的查看，提供 关键节点的流量异常报警以及形象直观的图形显示，如波形图显示等。本系 统在网络管理规划，安全保障上有重要的实际意义，并且对n e t f l o w 流信息 的统计分析与处理方法也有参考价值。 1 2 国内外研究现状 1 2 1 网络管理研究现状 目前在网络管理方面，几乎每一所工科大学和所有的研究组织都参与到 1 ， 哈尔滨丁程大学硕十学付论文 了其中。而在工业界，国内外企业都对网络管理系统的研究和应用投入了大 量的人力和财力。这样就有很多优秀网络管理平台相继问世： 1 s u nn e t m a n a g e r s u nn e t m a n a g e r t l l 】使用u n i x 操作系统作为平台，同时也是最早提供分 布式网络管理的产品。s u nn e t m a n a g e r 同时提供了管理和代理模块，其代理 模块支持直接代理和委托代理。分布式体系结构的特点为用户提供了管理来 自不同厂商的、规模和复杂程度可变的网络及系统的能力。s u n n e t m a n a g e r 包括了所有基本的s n m p 机制，而且允许配置s n m p 陷阱( t r a p ) 为不同的优 先等级。在网络出现故障时，能够传送到其他平台上。但s u nn e t m n a g a e r 基 本上还只是个开发平台，还需要其他厂商开发的应用系统来实现。用户可以 在这个基础上进行二次开发，构建自己的客户端网络管理系统。 2 h po p e n v i e w h po p e n v i e w t l 2 】是惠普公司出品的电子业务管理工具程序，被称为“全 球2 0 大软件公司必备产品”，是第一个真正兼容的、跨平台的、企业级的网 络管理平台系统。它具有较强的网络分析能力，但只能提供s n m p 设备的管 理功能。h po p e n v i e w 使用了商业化的关系数据库，这使得第三方应用开发 厂商利用h po p e n v i e w 采集来的数据开发扩展应用比较容易，另外，h p o p e n v i e w 的m b i 浏览器所产生的流量开销很少。其最大的弱点是：如果某 一对象发生故障，会导致其它正常的网络对象停止响应，网管系统误把这些 正常对象当作故障对象来对待，无法区别服务的故障和设备的故障。总共有 大约3 0 种不同的o p e n v i e w 产品。 3 g o l d v i e w g o l d v i e w 网络管理系统是由上海交通科技大学金桥网络研究中心开发 的，该系统是以适合中小型企事业单位网络环境为应用对象，完全符合 i s 0 7 4 9 8 网管标准的中文化综合网络管理工具集的五个方面：性能管理、配 置管理、失效管理、计费管管理和安全管理，提供了实现网络拓扑图的自动 搜索、子网搜索、m i b 浏览器、网络故障实时监测、计费等功能。同时， g o l d v i e w 还提供了多个应用程序，如p i n g ，t e l n e t 及f t p 等。另外，g o l d v i e w 也提供针对不同用户进行不同权限设置的能力。 它们共同特点是功能强大，覆盖网络管理的计费、认证、配置、性能和 2上 哈尔滨丁程大学硕十学位论文 故障等各个方面。但也存在着共同的弱点：价格昂贵，安装运行维护困难， 由一个或少数节点收集数据，易产生瓶颈。 基于价格以及安装、运行、维护等考虑因素，有很多高校、科研机构开 发出了很多轻量级的小系统，虽然功能不够强大，但也可以满足基本的网络 管理需求。比如北京大学的王志设计实现的基于n e t f l o w 的流量统计分析系 统【13 1 ，在流量方面对网络状态进行了统计分析，同时能够进行网络异常行为 的发现。这个系统将流量分为了四个视角，即流量视角、源目的视角、会话 视角和应用视角。而且这种统计功能只是提供了历史数据的统计，但是，异 常检测是需要实时进行的，也就是说这个系统的2 个功能之间是相对独立的。 还有大连交通大学的牛丽军设计的网络流量采集与分析系统【1 4 】，这个系统进 行实时或定期采集网络的流量信息，统计端口的流量、每个口地址的流量， 然后将这些流量经过处理并以日志文件的形式保存下来。根据管理员用户的 需求，生成代表相应流量的j p e g 图片并将其嵌入h t m l 页面显示给管理员。 然后管理员根据这些页面可以做出一定的判断，更加高效的维护网络的运行。 同时通过分析实时网络数据来判断网络异常并加以处理。系统设计必须体现 了简单、方便易用等特点。 1 2 2 异常流量检测的国内外研究现状 美国佛罗里达技术学院计算机科学系的m a t t h e wvm a h o n e y 和p h i l i pk c h a n 等人【1 5 1 对基于网络的入侵检测进行研究，获得了d a r p a 资金支持。他 们通过研究发现，很多网络攻击都会致使网络数据包的m 地址、包长度、t c p 标志位组合、p 分片、校验和等方面出现异常。基于这一事实，他们采用了 对进出数据包的包头字段进行检测的基本思路。这些字段的取值都有固定的 规则( 即一个合法值或合法范围的集合) 。如果某个字段的值不满足相应的规 则，就认为该字段出现了异常。通过对这些字段进行统计分析，就可以建立 正常行为模型。按照这一思路，他们研制了p h a d ( p a c k e th e a d e ra n o m a l y d e t e c t i o n ，包头异常检测) 算法。该算法可以自动确定出e t h e m e t 、i p 、t c p 、 u d p 和i c m p 协议的3 3 个字段的正常值范围；通过对p h a d 算法的测试， 他们发现基于p h a d 算法的系统能检测出1 9 9 9 年d a r p a 离线i d 评估数据 集2 0 1 个攻击中的7 2 个( 5 9 种中的2 9 种) 。 3 ， 哈尔滨t 稗大学硕十学位论文 g e o r g em a s o n 大学安全信息系统中心开发的a d a m ( a u d i td a t aa n a l y s i s a n d m i n i n g ) 16 】系统，通过发掘关联规则的手段来实时检测网络数据流中的异 常。a d a m 使用了简单贝叶斯分类器，设置了正常行为、未知攻击和已知攻 击三个类别。该系统根据无攻击行为的训练期间的数据发掘出一组用以描述 正常行为的规则，然后对在检测期间发掘的规则进行判断，如果新发现的规 则没有出现在正常行为规则集里，就认为出现了异常。从被考察的数据对象 上看，该系统检查的是t c p i p 数据包的包头，具体考察的是建立连接的时间、 源目的地址及t c p 标志位等。 t e r r a n 和c a r l ae b r o d l e y f l 7 根据对离散数据临时序列的学习获得个体、 系统和网络的行为特征，从而进行异常检测。并提出一个基于相似度实例学 习方法( i n s t a n c e - b a s e dl e a r n i n g ：i b l ) ，该方法通过对序列相似度进行计算， 将原始数据( 如离散事件流，无序的记录) 转化成可度量的空间。然后，应 用i b l 学习技术和一种新的基于序列的分类方法，进而发现异常事件，其中 阈值的选取由成员分类的概率决定。实验结果表明，这种方法检测迅速、误 警率低。然而，此方法对于用户动态行为变化以及单独异常检测还有待改善。 复杂的相似度量和先验知识加入到检测中有可能对系统的准确性的提高，但 需要做进一步工作。总的来说，机器学习中许多模式识别技术对安全领域都 有参考价值。 孙钦东等人【1 8 】提出一种基于网络信息审计系统( n e t w o r ki n f o r m a t i o n a u d i ts y s t e m , n i a s ) 的异常检测方法。基于内容的网络信息审计系统从网络中 的关键点收集数据包，并对所传送的内容进行审计分析，检查其中是否有违 反信息安全策略的内容。这么做的意义在于可以对网络信息内容进行控制， 防止内部机密或敏感信息非法泄漏及传送，提供有关网络通讯手段滥用的有 力证据。n i a s 通常使用被动监听模式工作，处于网络链接的旁路是“失败 开放”( f a i l o p e n ) 的，一旦停止工作，被保护的网络就会失去监控。有经 验的网络恶意使用者常会针对此种缺陷对n i a s 进行攻击使系统失去作用。 针对n i a s 的攻击通常有拒绝服务攻击( d o s ) 和崩溃攻击等。针对n i a s 的拒 绝服务攻击( 简称为n d o s ) 指攻击者伪造大量含有敏感信息或关键字的数 据包，使被攻击的n i a s 频繁告警，以致可用资源被耗尽，陷入拒绝服务状 态，这样n i a s 就失去了作用；崩溃攻击指攻击者利用某种n i a s 设计上的 4 哈尔滨t 程大学硕士学何论文 缺陷，发送针对性极强的报文使其系统崩溃。 1 3 研究内容 为了实现面向n e t f l o w 的数据处理与异常检测系统，本文将进行以下方 面的研究： 1 n e t f l o w 的相关信息 本系统将使用n e t f l o w 技术进行统计分析与异常检测，这就需要了解如 何对路由器、交换机进行配置从而获取n e t f l o w 数据，并对n e t f l o w 数据的 特点加以分析。 2 数据的处理方法 在获取并了解了n e t f l o w 数据的信息特征后，就需要对其进行处理。对 于获得的n e t f l o w 流信息，要设计流信息的提取方法和统计分析方法，这些 方法的有无改进之处使之对n e t f l o w 数据的处理效率达到最优。 3 流量异常检测的研究 如果进行网络流量的异常检测，就需要知道目前网络中都有那些异常流 量，这些异常流量的特征是什么，都有那些常用的检测方法，以及那种方法 将适合本系统。 4 系统的设计与实现 系统的设计要考虑很多因素，比如平台的选择与搭建，数据库的使用， 各个功能模块如何实现，以及如何有效地协调控制流和数据流信息，使系统 结构清晰，易于维护。 5 界面的开发 本系统的设计目标是拥有简介、易于操作的界面同用户进行交互，用户 可以通过简单的点击或少量的信息输入，就可以完成对目标网络的多层次、 多角度的各项网络运行指标的查看，提供关键节点的流量异常报警以及形象 直观的图形显示。那么对界面的设计，图形的显示就显得更加重要。 1 4 论文的组织结构 本文共分六章，各章的内容安排如下： 第一章为绪论，介绍了课题提出的背景，进行此课题研究的目的和意义。 5 哈尔滨下稗大学硕十学位论文 然后介绍了国内外的研究现状，进而分析了本课题需要研究的内容都有那些。 最后给出了论文的组织结构。 第二章主要是对n e t f l o w 相关知识进行介绍，为后面技术研究以及系统 设计实现的开展做铺垫。介绍的内容包括n e t f l o w 技术的概况和演进、基本 原理以及对这项技术主要的应用。 第三章介绍了系统的总体设计与实现。这样做的目的是令读者先对系统 有一个清晰地认识。首先介绍了系统的体系结构图，并简单介绍了各个功能 模块的作用。并给出了其中几个模块的详细设计，对于重要的功能模块，考 虑到结构的清晰，将提出作为单独的章节进行介绍。本章的最后给出了简单 的例子，方便读者对系统运作的理解，最后给出了系统运行结果的的效果截 图，以验证系统的功能。 第四章详细介绍了数据处理模块的设计与实现。先是介绍了如何达到多 角度信息获取的目的，然后给出了数据在这个模块中的处理过程，最后根据 系统的实际特征，设计了一个聚类算法并对排序算法进行了改进。 第五章对异常流量检测方法进行了研究，了解了网络异常流量的分类及 检测方法，进而介绍了系统所使用的异常检测算法的实现方法。 6 - 哈尔滨t 程大学硕十学位论文 第2 章n e t f l o w 技术 本章将对n e t f l o w 的基本概念和原理进行介绍，最后简单介绍了n e t f l o w 的应用情况。 2 1n e t f l o w 概述 n e t f l o w 是一种数据交换方式，由c i s c o 公司的d a r r e nk e r r 和b a r r y b r u i n s 于1 9 9 6 年发明，并于同年注册为美国专利。n e t f l o w 技术是基于流( f l o w ) 的，他们将n e t f l o w 定义为：一个特定来源和目的之间的单向数据报文序列， 也就是将源、目地i p 、源p o r t 、目地p o r t 、传输协议、t o s 以及输入输出 接口索引7 个属性值相同的报文序列视为一个网络流。 n e t f l o w 技术首先被用于网络设备加速对数据的交换，并可同步实现对 高速转发的m 数据流进行测量和统计。经过多年的技术演进，n e t f l o w 原来 用于加速数据交换的功能已经逐步由网络设备中的专用a s i c 芯片实现，而 对流经网络设备的m 数据流进行测量和统计的功能则更加成熟，并已经被当 今互联网领域公认为最主要的i p m p l s 流量分析、统计和计费行业标准【l 9 1 。 目前n e t f l o w 技术已经在大多数c i s e o 路由器中采用，并成为业界标准，得 到了主流厂商( 如j u n i p e r 、f o u n d r y 、e x t r e m e 等) 的支持【2 0 1 ，国内华为推出 的n e t s 仃e 锄【2 1 】技术也与n e t f l o w 技术兼容。 在n e t f l o w 技术的演进过程中，共出现了v l 、v 5 、v 6 、v 7 、v 8 和v 9 六 个版本，其中使用最为广泛的是v 5 。2 0 0 3 年，思科公司的n e t f l o wv 9 还被 i e t f 组织从5 个候选方案中确定为i p f i x ( i pf l o wi n f o r m a t i o ne x p o r t ) 标准。 v 9 允许从路由器导出任意格式的流量信息，这种灵活性是通过模版t e m p l a t e 来实现的。模版定义了导出数据的格式，采集器接收模版，并对后继的数据 包按其相应的模版进行分析。除c i s e o 公司外，如e n t e r a s y s 和j u n i p e r 等通 信设备产商，也在该标准形成的过程中发挥着积极的作用，并表示可能采用 i p f i x 。 7 一 哈尔滨1 二稃大学硕七学何论文 2 2n e t f l o w 基本原理 2 2 1n e t f l o w 记录的形成 n e t f l o w 记录的形成和更新均发生在网络交换设备( 路由器、交换机) 的n e t f l o w 缓冲区中。当网络交换设备处理一个口流的第一个数据包时， n e t f l o w 会在缓冲区中创建一个新的数据流的条目，该条目包含了关于这个 流的各种统计信息，如流中包含的数据包数目、流中的所有字节数等，同时 也包含了这个流的属性信息，如源目口地址等，这些信息都将用于流导出 时报告给采集器。 对于缓冲区中的每个数据流条目来讲，都有唯一的标识符，当网络交换 设备转发一个d 数据包时，将查看该数据包的七元组信息，并与缓冲区中流 记录的相应属性进行比较，如果该数据包不属于己存在的流记录，则建立新 的n e t f l o w 记录并进行唯一标识，否则更新这条n e t f l o w 记录的相应属性( 如 流的数据包数) 。 对于每一条n e t f l o w 记录，都有其特定的生命期，n e t f l o w 技术白皮书 规定了n e t f l o w “停止”的条件： ( 1 ) 当t c p 连接结束，t c p 的标志为r s t 或者f i n ； ( 2 ) 一个流已经存在，而且在1 5 秒内没有新的数据包产生： ( 3 ) 一个流开始3 0 分钟后，仍在持续。 以上三个条件中的任何一个得满足都意味着一条n e t f l o w 记录生命期的 结束。可以看出满足第三个条件的流实际上并没有真正的停止，只不过由于 特定原因，如让出缓冲区位置，保证流分析的实时性要求等，需要将其停止 并发送给收集器。 2 2 2n e t f l o w 记录的输出 在本文中将能够生成和输出n e t f l o w 记录的网络设备或软件称为流设备。 n e t f l o w 记录的输出是指将n e t f l o w 记录从流设备输出到指定的收集器。 当流设备缓冲区中流记录所代表的网络流“停止 或流缓冲区满的时候，流 设备将流记录发送到指定的收集器。通常的方法是将多条记录封装成一个 u d p 数据包后发送到指定收集器。流设备发送n e t f l o w 记录所用的数据报格 式如图2 1 所示： 8 一 哈尔滨t 稗大学硕+ 学位论文 i p 头部 u d p 头部 n e t f l o w 头部 n e t f l o w 记录 图2 1n e t 同o w 数据包的格式 n e t f l o w 头部中存放的是n e t f l o w 版本号、流记录条数以及用于判断 n e t f l o w 报文是否发生丢失的序列号。流记录中存放的是流记录的详细内容， 其格式视不同的n e t f l o w 版本而定，典型的流记录内容包括：源目的p 地 址、源目的端口、服务类型、输入输出接口、包数、字节数、起始时间、结 束时间、路由信息等。 使用u d p 方式传输n e t f l o w 记录有利有弊，优点是可以减轻网络交换设 备的负担，因为维护t c p 连接需要耗费系统资源；缺点是以u d p 的方式发 送数据包，会有丢失现象，并且收集器无法通知网络交换设备重发丢弃的包。 在链路正常及收集器缓冲区未满的情况下，一般不会发生丢包现象。但是在 链路出现故障或者收集器繁忙未来得及腾空缓冲区的情况下，丢包现象就很 可能会很严重。 2 2 3n e t f l o w 数据格式 n e t f l o w 数据格式【2 2 】包括报头格式和记录格式。到目前为止，c s i c o 公司 发布的n e t f l o w 版本有v 1 、v 5 、v 6 、v 7 、v 8 和、r 9 六个版本，用的最广泛的 是v 5 。不同版本的n c t f l o w 具有不同的格式，其中v 9 与以往的版本有很大 的区别，v 9 采用了模板形式，并且提供对i p v 6 的支持。下面就目前应用最 广泛的v 5 以及未来可能成为主流的v 9 这两个版本的数据格式进行说明。v 5 版本报头格式分别如图2 2 所示： v e r s i o n n e t f l o w 的版本号； c o u n t ：数据包中数据流的条数； s y s u p t i m c - 自流设备启动后，到当前为止过去的时间，以毫秒为单位； u n i x s e c o n d s ：自u t c l 9 7 0 起到当前为止过去的时间，以秒为单位； u n i x 一n a n o s e c o n d s ：自u t c l 9 7 0 起到当前为止的时间，以纳秒为单位； o 哈尔滨t 程大学硕十学位论文 f l o w _ s e q u e n c e 数据包第一条记录的序列号； e n g i n e - t y p e ：流设备引擎类型( r p 为0 ，l c 为1 ) ； e n g i n e _ i d ：流设备引擎标识符； r e s e r v e d ：预留。 字节l字节2 字节3字节4 v e r s i o n c o u n t s y s u p t i m e u n i x s e c o n d s u n i x n a n o s e c o n d s f l o w _ s e q u e n c e e n g i n e t y p ee n g i n e _ i d r e s e r v e d 图2 2n e t f l o w v 5 的报头格式 其中，f l o w _ s e q u e n c e 是校验信息，数据包的f l o w _ s e q u e n c e 值是当前数 据包第一条记录的序列号，等于前一个数据包f l o ws e q u e n c e 值与前一个数 据包的c o u n t 值的和。由于n e t f l o w 数据以u d p 数据包的形式输出，在传输 过程中有可能丢失数据包，利用f l o w _ s e q u e n c e 值以及c o u n t 值就可以检验 传输中是否出现数据包丢失及计算丢失率。v 5 版本记录格式如图2 3 所示： 字节l字节2字节3字节4 s o u r c ei pa d d r e s s d e s t i n a t i o ni pa d d r e s s n e x th o pa d d r e s s i n p u ti n t e r f a c ei n d e x o u t p u ti n t e r f a c ei n d e x p