（计算机应用技术专业论文）大流量网络异常检测技术的研究与设计.pdf

山东大学硕士学位论文 摘要 随着网络技术的发展和网络规模的日益扩大，以及承载业务种类的 逐渐增多，i n t e r n e t 的发展给人们带来了巨大方便。但是，这些都使 网络中出现故障或性能问题的机会曾大。准确、快速地检测出网络流量 异常，并做出合理的响应，是保证网络正常运行的前提条件之一，因此 网络流量异常检测成为一个备受关注的研究课题。网络流量异常分析是 网络监测中的关键部分，能够准确、 用性和可靠性具有非常重要的意义。 本文首先概述了网络流量异常， 及时地检测出异常对提高网络的可 介绍了异常检测的发展概况和相关 技术；对常用的检测算法进行分析和评价，为网络异常实时检测方法的 研究提供理论基础；同时提出了本文异常检测的研究思路。 为了选择现有更好的数据采集方式，文章详细介绍了当前数据采集 的各类方法，分析了每一个数据采集方法的优点和不足。其中，重点介 绍了基于f l o w 的采集方式的特点，并且把这种方法作为结构模型中的 数据采集方式。 目前存在很多网络流量异常检测技术，文章分析比较了主要的异常 检测技术，重点地研究和分析了基于指数平滑技术的网络流量异常检测 技术。指数平滑是基于时间序列的一个简单统计模型进行预测的，文章 列出了简单指数平滑和h o t - w i n t e r 指数平滑技术，并且详细描述了这 一检测方法。指数平滑异常检测方法的整个检测过程划分为三个步骤： 第一步，预测时间序列中下一个值的算法：第二步，度量预测值和实际 观测值之间的偏差；第三步，判断观测值是否异常的机制( 即判定它是 否远离预测值) 。 基于上述背景，本文针对大流量的网络环境，设计了大流量下网络 流量异常检测的的架构模型。整个架构模型包括数据采集、数据处理分 析两个模块。其中在数据采集方法中，针对大流量的这一特点，采用了 基于n e t f l o w 的数据采集技术。在数据处理分析模块中，借鉴了基于 指数平滑技术的网络流量异常检测技术思想，通过对预测的数据的处理 分析，来判断是否会发生异常，实现异常流量的检测。 山东大学硕士学位论文 目前，为了更好应对网络规模膨胀，网络设备多样和网络应用增加 所带来管理，需要探索大流量下网络流量异常分析的新方法，以提高对 网络流量异常的检测的能力。本文在网络流量异常检测的体系架构和管 理手段等方面进行了初步的探索，但是还需要在理论和实际应用方面做 更进一步的研究。 关键词 大流量网络；网络异常；指数平滑；异常检测；n e t fio w ： i i 山东大学硕士学位论文 a b s t r a c t w i t ht h ee x p a n s i o no fn e t w o r ks i z ea n dt h ed e v e l o p m e n to f c o m p u t e rn e t w o r kt e c h n o l o g ya n dt h ei n c r e a s eo fs e r v i c e sp r o v i d e d ， t h er a p i dd e v e l o p m e n to ft h ei n t e r n e tb r i n g su sal o to fc o n v e n i e n c e h o w e v e r ，t h i sa l s or e s u l t si nt h em e n a c e sf r o mv a r i o u sk i n d so f s e c u r i t yi n c i d e n t s t od e t e c ta n o m a l yr a p i d l ya n da c c u r a t e l ya n dt o r e s p o n dt oa n o m a l yc o r r e c t l yi so n eo ft h ep r e c o n d i t i o no fe n s u r i n g t h ee f f i c i e n tn e t w o r ko p e r a t i o n s od e t e c t i o no fa n o m a l o u st r a f f i ci s b e c o m i n g at o p i co fc o n c e r n t h i sp a p e ri n t e n d st or e s e a r c ha a s s o c i a t e d n e t w o r kt r a f f i c a n o m a l ya n a l y s i s i sak e yp a r to f n e t w o r k m o n i t o r ， w h e t h e rt h en e t w o r k a n o m a l y i sd e t e c t e d a c c u r a t e l yo rn o ti sv e r yi m p o r tt oi m p r o v en e t w o r ka v a i l a b i l i t ya n d r e l i a b i l i t y a tf i r s t ，t h i sp a p e ro u t l i n e st h en e t w o r kt r a f f i ca n o m a l i e s ， i n t r o d u c e dt h ea n o m a l yd e t e c t i o na n dt h ed e v e l o p m e n to fr e l a t e d t e c h n o l o g i e s t ot h ed e t e c t i o n a l g o r i t h m u s e df o r a n a l y s i s a n d e v a l u a t i o n ，r e a l t i m en e t w o r ka n o m a l yd e t e c t i o nm e t h o dt os t u d yt h e t h e o r e t i c a lf o u n d a t i o na tt h es a m et i m em a d et h i sa n o m a l yd e t e c t i o n o fi d e a s i no r d e rt oc h o o s ea ne x i s t i n gb e t t e rd a t ac o l l e c t i o nm e t h o d s ， t h ea r t i c l ei nd e t a i lo nt h ec u r r e n td a t ac o l l e c t e db yv a r i o u sm e t h o d s ， t h e a n a l y s i s o f e a c hd a t ac o l l e c t i o nm e t h o do fs t r e n g t h sa n d w e a k n e s s e s w h i c hf o c u s e so nt h ea c q u i s i t i o nm o d eb a s e do nt h e f l o wc h a r a c t e r i s t i c s ，a n ds u c hm e t h o d sa sam o d e li nt h ed a t a c o l l e c t i o nm o d e a tp r e s e n tt h e r ea r em a n yn e t w o r kt r a f f i ca n o m a l yd e t e c t i o n t e c h n o l o g y ，t h e a r t i c l e a n a l y z e d t h em a i n a n o m a l y d e t e c t i o n t e c h n o l o g y ，a n df o c u s o nr e s e a r c ha n da n a l y s i sb a s e do nt h e e x p o n e n t i a ls m o o t h i n gt e c h n o l o g yn e t w o r kt r a f f i ca n o m a l yd e t e c t i o n t e c h n o l o g y e x p o n e n t i a ls m o o t h i n gi sb a s e do nt h et i m es e q u e n c eo f as i m p l es t a t i s t i c a lm o d e lt op r e d i c t ，t h ea r t i c l ep r e s e n t sas i m p l e e x p o n e n t i a ls m o o t h i n g a n dh o t - w i n t e r e x p o n e n t i a ls m o o t h i n g i i i 山东大学硕士学位论文 t e c h n i q u e s ， a n dad e t a i l e d d e s c r i p t i o n o ft h e d e t e c t i o n m e t h o d e x p o n e n t i a ls m o o t h i n ga n o m a l y d e t e c t i o nm e t h o d d e t e c t i o no ft h ew h o l ep r o c e s si sd i v i d e di n t ot h r e es t e p s ：t h ef i r s t s t e p ，t i m es e r i e sf o r e c a s ti nav a l u eo ft h ea l g o r i t h m ；s e c o n d ，m e t r i c p r e d i c t i v ev a l u ea n dt h e a c t u a lv a l u eo ft h ed e v i a t i o n sb e t w e e n o b s e r v e d ；t h i r ds t e p ，ju d g e o b s e r v a t i o na b n o r m a lv a l u eo ft h e m e c h a n i s m ( t h a ti s ，d e t e r m i n ew h e t h e ri ta w a yf r o mt h ep r e d i c t e d v a l u e ) a g a i n s tt h ea b o v eb a c k g r o u n d ，t h ep a p e ra g a i n s tt h ef l o wo ft h e n e t w o r ke n v i r o n m e n t ，t h ed e s i g no ft h el a r g ef l o wo fn e t w o r kt r a f f i c a n o m a l yd e t e c t i o nm o d e lo ft h es t r u c t u r e t h ew h o l es t r u c t u r em o d e l ， i n c l u d i n gd a t ac o l l e c t i o n ，d a t ap r o c e s s i n ga n a l y s i so ft w om o d u l e s i nt h ed a t ac o l l e c t i o nm e t h o d s ，a g a i n s tt h ef l o wo ft h i s f e a t u r e ， b a s e do nt h eu s eo ft h ed a t ac o l l e c t i o nn e t f l o wt e c h n o l o g y a n a l y s i s o ft h e d a t a - p r o c e s s i n gm o d u l e ，t h er e f e r e n c e i n d e xs m o o t h i n g t e c h n i q u eb a s e do nt h en e t w o r kt r a f f i ca n o m a l yd e t e c t i o nt e c h n o l o g y t h i n k i n gt h r o u g ht h ep r e d i c t i o na n a l y s i so ft h ed a t ap r o c e s s i n g ，t o d e t e r m i n ew h e t h e rt h e r ew i l lb ea n ya n o m a l i e s ，a n da b n o r m a lf l o w t e s t m g a tp r e s e n t ，i no r d e rt ob e t t e rc o p ew i t ht h es c a l eo ft h en e t w o r k e x p a n s i o n ，n e t w o r ke q u i p m e n ta n dn e t w o r ka p p l i c a t i o n st oi n c r e a s e d i v e r s i t yb r o u g h ta b o u tb y t h em a n a g e m e n t ，a n dt o e x p l o r et h e a b n o r m a lf l o wo fn e t w o r kt r a f f i ca n a l y s i so ft h en e ww a y st o i m p r o v et h en e t w o r kt r a f f i ca n o m a l yd e t e c t i o nc a p a b i l i t i e s i nt h i s p a p e r ， n e t w o r kt r a f f i c a n o m a l y d e t e c t i o na r c h i t e c t u r e a n d m a n a g e m e n tt o o l si n a r e a ss u c ha sap r e l i m i n a r ye x p l o r a t i o n ，b u t a l s oi nn e e do ft h e o r e t i c a la n dp r a c t i c a l a p p l i c a t i o n sd of u r t h e r r e s e a r c h k e y w o r d s ：l ar g ef io wn e t w o r k ：n e t w or ka n o m aiy ：e x p o n e n tiai s m o o t hin g ：a n o m aiyd e t e c tio n ：n e t fio w ； i v 原创性声明和关于论文使用授权的说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指 导下，独立进行研究所取得的成果。除文中已经注明引用的 内容外，本论文不包含任何其他个人或集体已经发表或撰写 过的科研成果。对本文的研究作出重要贡献的个人和集体， 均已在文中以明确方式标明。本声明的法律责任由本人承 担。 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分内容 编入有关数据库进行检索，可以采用影印、缩印或其他复制手段保存论 文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：毽导师签期：一盘竺! 左： ! 塑 山东大学硕士学位论文 第1 章绪论 1 1 课题背景 1 1 1 网络管理 网络管理是有效地控制一个复杂的计算机网络，使得它具有最高的效率 和生产力的过程，是对网络设备的运行状态进行监测和控制的一系列管理。 网络管理通常包括数据收集和数据处理，然后将处理后的结果提交给管理者 用于在网络操作中使用。同时它还包括分析数据并提供解决方案，生成对管 理网络有用的报告。网络管理系统不仅仅只是完成常规任务，作为发现问题 的辅助手段，它可以持续的监视网络还可以产生网络信息日志并利用这些信 息日志去研究和分析网络。这些操作使得网络能够更加有效、可靠、安全的 运行，为用户提供更好的服务。 1 1 2 网络管理与网络流量检测 网络流量检测主要为对网络数据进行连续的采集，通过连续采样网络数 据、监测网络的流量，获得网络流量数据后对其进行统计和计算，从而得到 网络及其主要成分的性能指标，定期形成性能报表，并维护网络流量数据库 或日志，存储网络及其主要成分的性能的历史数据，网络管理员根据当前的 和历史的数据就可对网络及其主要成分的性能进行性能管理，通过数据分析 获得性能的变化趋势，分析制约网络性能的瓶颈问题。同时，在网络性能异 常的情况下网络流量检测系统还可向网络管理者进行告警，使故障及时得到 处理 网络检测是网络管理中最基础的部分，是网络管理人员的主要任务。网 络检测的目的为了收集关于网络状态和行为的信息，收集的信息包括与配置 相关的静态信息和与网络事件相关的动态信息，以及从动态信息中总结出来 的统计信息，以此可以提高服务质量、提高资源利用率，在用户报告问题之 前开始诊断或解决问题，提高网络的可靠性和可用性，提供网络规划参考以 及安全和计费等。网络检测通过检测网络的状态判断网络的运行状况。网络 流量的管理是网络检测的一个重要方面。它包括检测流量异常及其诊断、流 量异常问题的解决两个阶段。网络流量检测是网络管理中一个非常基础也非 常重要的一个环节，研究网络流量检测是非常有意义的。 1 1 3 网络流量异常 网络流量异常指的是网络流量行为偏离其正常行为的情形。1 9 9 0 年， 卡内基梅隆大学的m a x i o nr a 对网络的“正常 和“异常给出描述【1 】： 山东大学硕士学位论文 “正常”意味着符合某种常规或典型的模型，以一种自然的方式，常规的或 预料中的状态、形式、数量或程度发生，“正常”强调符合某种已经建立的 水准或模式，并保持良好状态，建立在一定趋势基础上。丽“异常”意味着 违反了这种期望，与期望的情形有一定程度的偏差。不过，在网络系统中， “正常”行为会由于网络的动态变化、噪音而发生改变，所以网络“正常” 行为的确定还必须随着网络环境的改变而改变。 1 1 4 网络异常分类 8 1 随着网络规模的不断扩大以及其上提供的应用及服务越来越多，网络 已经已经走入人们的日常的生活之中，与此同时病毒泛滥、黑客攻击、信息 窃取等网络安全问题也越来越频繁，网络安全形势日趋严峻，网络安全已成 为网络管理的重要部分，网络异常的检测也越来越重要。根据引发网络流量 异常的原因，网络流量异常通常可以分为如下三类； 网络操作异常：这类异常包括网络设备的停机，配置改变导致网络行为 的显著不同( 例如：加入新的设各或施加速率限制) ，以及流量达到环境极限 引起的台阶行为。它们通过流量变化的陡峭程度可以直观的分辨出来。一段 时间内，在比特速率上近乎瞬间的变化，而在其他级别上却是稳定的。图 11 中能够看到一个网络操作异常的例子。这个图展示了以5 分钟为平均 量，由应用产生的每秒流入流出网络的比特数。图1l 中，五个明显的异常 已经用垂直线标示出来了。它们中间，凌晨一点以后的那个被诊断为网络停 机，发生在下午两点的是n a p s t e r 服务器停机，其他三个都是开，关n a p s t c r 流量速率限制器导致的。 1i mb f 一1 闪现拥挤异常：在网络环境中，这个种类的异常主要归咎于：要么是软 件版本的问题，要么是国家公开带来的w e b 站点的外部利益问题。特定类 山东大学硕士学位论文 型的流量流的快速增长( 例如：f t p 流) ，或者知名i p 地址的流量随着时间 逐渐降低，都是闪现拥挤行为的显著之处。图12 中可以看到一个闪现拥挤 异常的例子。这个图展示了以每小时比特速率为平均量，时隔五天，产生于 本地的源目的i p 的流量情况。图中识别的异常是周一来自计算机科学系的 流量大幅的增长。在这个实例中，计算机科学系的主机是r e d h a tl i n u x ， 镜像是一个站点，星期一正好是70 版本使用的时候。 c 螂“i o 咖r k ，d i b 岬o “ 圈12 网络滥用异常：使用流级别的网络滥用，主要有两个类型：d o s 洪泛 攻击和端口扫描。当然，网络滥用异常还包括其他各种网络攻击。在通常的 网络中，滥用的这些类型每周都可以多次观察到。在比特或者包速率的级别 上，网络滥用异常显著区别于网络操作和闪现拥挤异常，因为它不总是那么 明显的。然而，流级别的却能清楚地指出许多不同的源地址端口对之间的 滥用活动，因为每一个连接是作为一个独立的流出现的。图l3 是网络滥用 的清晰的实例。这个图展示了每5 分钟为平均量，按照不同协议流入和流出 网络每秒的流量。就在中午的半个小时左右，流入网络流量的尖峰非常明 显，这就是异常行为。 山东大学硕士学位论文 图l3 下面我们简单介绍两个异常流量： d o s d d o s 攻击流量 d o s 攻击是指网络攻击中占用主机计算能力或内存，使主机无法回复 正常请求的一类攻击。d o s 攻击的一个显著特征就是带宽被大量占用，因 为攻击者必须与受害主机间建立大量连接。典型的d o s 攻击有；半连接攻 击，范洪攻击。 半连接攻击是指攻击者预先与主机建立连接，并持续连接状态不退出， 以至合法用户无法访问主机。常见的攻击方式是攻击者向主机发送t c p 的 s y n 请求，在t c p 包中伪造源地址，让管理员无法追踪。然后，保持这些 连接，永不终止：t c p 半连接攻击有几种变形，其中之一是攻击者与被害 主机建立t c p 连接，完成三次握手后，长时间静止直至连接超时；还有一 种变形，攻击者向被害主机发送t c p 数据包，该包的源地址和目的地址相 同，源端h 与目的端口相同，被害主机接受到数据包后，会试图与自身建立 t c p 连接，并且永不停止。由此可见。d o s 攻击中，被害主机的内存与 c p u 全部被长时间占用，并且得不到释放。d d o s 攻击是以d o s 攻击为基 础的一种变异，它将d o s 攻击自动化、分布化。d d o s 攻击可以在同一时 间，协调多台主机上的进程对受害主机发起d o s 攻击，受害主机很可能因 为负载过重而崩溃。 蠕虫病毒流量 蠕虫病毒的传播也会对网络造成不良影响。近年来，r e dc o d e ，硬盘 杀手，s q l s l a r n m e r ，冲击波，振荡波等病毒的相继爆发，不但对用户主机 od “m# a * 蛳器 m 端 “h& “ 鬻_黧嚣 山东大学硕士学位论文 造成影响，更对网络的正常运行构成了危害。受感染的主机会以随机的方式 向网络内其他主机主动传播病毒，此举会导致带宽的大量占用和网络资源的 浪费。 从蠕虫攻击行为的四个阶段来看，蠕虫在信息收集和扫描探测阶段，通 过随机扫描发现有漏洞的主机、通过大面积的发送请求试探某种特定应用服 务是否存在、通过连接请求查找可感染主机是否存在，一旦发现有可被感染 的主机，蠕虫将其自身或者副本在不同主机之间传递，或者向目标主机发送 恶意代码和数据，这些网络数据不可避免的增加了网路的流量，而且被感染 的主机会不停的重复以上的动作，网络“管道的“密度”越来越来大，最 终可能导致整个网络瘫痪。我们可以对网络流量异常进行实时统计分析，通 过对流量中的i c m p 数据包、对t c p 连接异常进行分析，以及某i p 对不同若干 主机的同一端口的扫描数进行统计分析来确定是否发生了蠕虫的入侵。 2 0 0 3 年1 月2 4 日，s q ls l a m m e r 蠕虫，在三分钟内就传遍了全球，几 乎使全世界的网络出现了故障，这其中甚至包括了自动柜员机网络和大企业 网络。 1 1 5 网络异常流量检测的意义 伴随着i n t e m e t 技术的逐渐成熟和网络应用业务的飞速发展，网络结构 的复杂化和用户的增多，给网络管理、维护和检测技术带来很大的难度。这 些都使得网络出现各种故障或性能问题的可能性大大增加，尽管相关的组网 与管理技术在不断地完善，但是互联网络体系结构的不断复杂化，也使得人 们对它在局部和整体范围内所体现出的行为特征依然没有一个正确和完整的 认识，并使得人们对网络的运行控制、管理维护、分析设计日趋困难，因此 网络行为研究应运而生。网络流量监测是一个从网络设备上采集数据、解码 数据、分析数据的过程。它从网络中采集一些具体的指标性数据，并反馈给 监测者。这些数据对网络的资源分布、容量规划、服务质量分析、错误监测 与隔离、安全管理都十分重要。这些数据可以用来作为分析网络性能、了解 网络运行动态、诊断可能存在的问题，甚至预测可能出现的问题。网络检测 的目的是通过对网络设备和网络运行状况的连续检测，及时地发现网络中的 异常情况，当网络中出现异常时能够及时发出报警通知，以提醒网管人员采 取必要措施，来保持网络正常运行。网络流量检测是网络管理和系统管理的 一个重要组成部分，为网络的运行和维护提供了重要信息，在网络性能分 析、异常监测、链路状态监测、容量规划等方面发挥着重要作用，同时也是 网络流量具体建模、分析的必要前提和手段。 山东大学硕士学位论文 1 2 网络异常检测方法概述 异常检测系统的基本思想是先对所考察对象的正常行为做出描述，再根 据系统当前行为偏离其正常行为的情况检测出异常。 动态更新异常行为描述 r 1 出现偏差叫 网络流量异常 【_ j 图1 4 异常检测模型 目前常用的异常检测方法主要有人工神经网络、数据挖掘、机器学习等 多种手段。 基于数据挖掘 为了应用数据挖掘技术对用户行为进行异常检测，就要应用数据挖掘中 的关联分析和序列挖掘，提取出正常情况下用户所执行命令中存在的相关 性，建立每个用户的历史行为模式，为实际检测过程中用户行为的判别提供 比较的依据。通过对正常的用户训练数据和当前用户操作数据进行挖掘，分 别得出用户的历史行为模式和当前行为模式之后，就可以通过模式比较来判 断用户行为是否异常。 基于神经网络 神经网络( n e u r a ln e t w o r k s ) 使用自适应学习技术来提取异常行为的特征， 需要对训练数据集进行学习以得出正常的行为模式，训练数据标志为正常数 据和入侵数据两类，训练后的神经网络可以把事件识别为正常和入侵的。 基于机器学习 这种异常检测方法通过机器学习实现异常检测，将异常检测归结为对离 散数据临时序列进行学习来获得个体、系统和网络的行为特征。 以上是对网络异常检测方法的介绍。对于网络流量异常的检测方法，可 以概括为两类异常检测方法：基于时间序列的网络异常检测方法和基于小波 变换的网络异常检测方法。 1 2 1 基于时间序列的网络异常检测方法 把经典时间序列模型用于网络流量分析。通过经典时间序列模型对网络 流量进行预测 3 1 ，并在预测基础上对网络异常状态进行分析和预警。 由于网络流量数据是随时间变化的数据，因此我们可以把网络流量数据 看成一个时间序列，用时间序列的方法对流量数据进行建模。依据时间序列 建立起来的很多模型，我们都可以在这些模型的基础上研究检测方法，对网 6 山东大学硕士学位论文 络的流量异常进行检测，比如a r 模型，a r m a 模型等等。g l r ( g e n e r a l i z e dl i k e l i h o o dr 撕0 ) 就是在a r 模型上建立的异常检测方法。 g l r 检测方法是一种比较常用的典型的方法，应用比较广泛。在许多关于 网络异常或者故障的检测中被应用 4 1 ，【5 1 ，【6 1 ，【7 1 ，并收到了较好的效果。它具有 较强的检测能力。但是该检测方法计算过程过于繁杂，计算量大，而对于在 线检测方法来说，检测过程的复杂性和计算时间是两个必须重点考虑的特 征，而且有较长时间的延迟。基于指数平滑技术的异常检测方法也是一种重 要的检测方法。它是一种利用指数平滑技术检测时间序列中异常行为的方 法。指数平滑是基于时间序列的一个简单统计模型进行预测的，与采用a r ( 自回归) 模型预测不同，指数平滑不需要除序列自身以外的、其它序列的 信息进行预测，即根据自身预测自身的一种预测方法。我们在第四章将做重 点介绍。 1 2 2 基于小波变换的网络异常检测方法 小波属于时频分析的一种方法，它具有多分辨率分析的特点，而且 在时频两域都具有表征信号局部特征的能力，是一种窗口大小固定不变但其 形状可改变，时间窗和频率窗都可以改变的时频局部化分析方法。即在低频 部分具有较高的频率分辨率和较低的时间分辨率，在高频部分具有较高的时 间分辨率和较低的频率分辨率，很适合于探测正常信号中夹带的瞬态反常现 象并展示其成分。 基于小波变换的流量检测方法就是利用小波变换的多尺度特性，将网络 流量分解到不同频段下，并通过频谱能量的变化来发现流量异常。小波分析 能将复杂的非线性网络流量时间序列分解成不同频率的子序列。经实验证 明，采用利用小波变换来分析网络流量的方法是可行的，能够准确发现网络 中的流量异常。 1 3 论文的主要工作 1 、研究各种网络异常，分析网络异常的主要特征，网络异常检测对于网络 的管理具有的意义。 2 、研究分析了网络异常检测的各类方法，介绍网络异常流量的两类方法： 基于时间序列的网络异常检测方法和基于小波技术的网络异常检测方 法。 3 、本文研究了网络流信息采集的各类方法，尤其重点分析了n e t f l o w 技术 作为网络流采集方法的诸多优点，阐述了选择n e t f l o w 作为本系统的流 量采集的原因。 山东大学硕士学位论文 4 、研究了几种网络流量异常的检测方法，对当前比较前沿的方法以及各类 方法的优缺点做了比较和整理。 5 、分析了网络中较常见的异常类型，以及各种异常流信息体现出来的独有 特征。提出了基于指数平滑技术的异常检测手段。重点研究了基于指数 平滑技术的异常检测方法。 6 、设计了大流量下网络流量异常检测的体系架构及工作模型。 7 、总结了论文取得的一些研究成果，并指出在高性能网络环境下存在的问 题和初步的解决方向。 1 4 系统模型的主要功能与特色 本文在分析当前大规模网络安全现状的基础上，针对网络中存在的各类 网络流量异常，提出了一个网络异常检测的解决方案。本网络流量异常监测 系统遵循网络监测的三个阶段：收集网络数据、数据处理、异常检测。系统 设计了两个大的模块，在其中完成了数据采集、数据处理、异常分析三部分 主要功能： ( 1 ) 数据采集，收集的数据包括与配置相关的静态数据、与网络事件相 关的动态数据和从动态数据中总结出来的统计数据。 ( 2 ) 数据处理，对收集的数据进行处理，主要是从中提取感兴趣的不正 常的信息，其中很重要的信息是那些超过阀值的数据，利用指数平滑的检测 方法的思想对大流量的网络流量进行分析，然后产生相应的信息报告。因 此，这个阶段实际上从收集的网络数据中提取信息( o i j 警报信息1 。 ( 3 ) 异常分析，对报告的信息进行综合分析( 警报关联) ，检测是否出现 问题，并分析产生问题的原因。 本文的主要特色： ( 1 ) 本文采用了基于时间序列的指数平滑技术来对大流量的异常进行检 测。 ( 2 ) 模型针对的是大型网络的流量监测，不但能对某一段时间的异常进 行预测，还能对整个网络在长时间( 一天或者一周) 的异常情况做一个整体 分析和描述，给网络管理员提供了一个网络整体状况的了解。 1 5 论文的组织结构 第一章绪论。本章主要介绍了课题的背景、网络管理和网络监测的关系 以及检测的意义。同时对网络异常、网络异常检测的分类做了概述。最后列 出了所做的主要工作、系统的功能特色和论文的内容组织结构。 第二章概述了目前网络流量的采集方式。文章详细介绍了每一个采集方 式。分析了每个方法的特点，为以后的系统架构设计提供一个好的参考基 山东大学硕士学位论文 础。研究总结了基于n e t f l o w 的网络流量采集的工作原理以及特点描述。 第三章详细介绍了基于指数平滑技术的网络流量异常分析。 第四章提出了一个基于大流量下网络流量异常检测系统的框架模型，并 且详细描述了各个部分的功能及原理。 第五章总结全文，并提出了系统今后的研究方向和工作重点。 1 6 本章小结 本章首先介绍了该文提出的背景，指出了当前网络异常流量监测对于网 络管理的重要性，分析了目前国内外对于网络异常流量监测的现状。最后介 绍了本课题完成的工作以及本系统的功能与特色。 9 山东大学硕士学位论文 第2 章网络流数据采集方法的相关研究 2 1 网络流数据采集概述 在网络技术发展速度不断加快的今天，对网络流数据进行采集和分析有 着极其重要的意义。通过采集并分析较短时间内的网络流数据，可以检测出 网络资源利用率、滥用，以及各种恶意的攻击行为；而对长期的数据进行采 集和分析，可以帮助实施流量工程以及流量计费等。可以说，对网络流数据 进行采集，无论对于网络安全或者是网络管理领域都是很有意义的。 目前网络流量异常监测技术根据采集方式的不同可分为：基于网络流量 全镜像的数据采集技术，基于实时数据抓包的网络数据采集，基于s n m p 的网 络流量信息采集，基于探针p r o b e 的网络流量异常监测方式和基于流( f l o w ) 技术的网络流量采集方式。 2 2 网络流量的全镜像的数据采集方式 基于网络流量全镜像的监测技术其原理是通过交换机等网络设备的端口 镜像或者通过分光器、网络探针等附加设备，实现网络流量的镜像采集和无 损复制。流量镜像采集的最大特点是能够提供丰富的应用层信息，但由于其 采集的信息丰富，处理起来需要占用较多的资源，因此其镜像数据若直接为 流量采集及分析设备所接收则会因受限于系统的处理速度而不适用于高速交 换网络。 2 3 基于实时数据抓包的网络流量采集方式 基于实时抓包的分析技术提供详细的从物理层到应用层的数据分析。但 该方法主要侧重于协议分析，而非用户流量访问统计和趋势分析，仅能在短 时间内对流经接口的数据包进行分析，无法满足大流量、长期的抓包和趋势 分析的要求。 常用的能获得最详细信息的方法是采用操作系统底层提供的功能，即基 于系统接口，如：l i b p c a p ，w i n p c a p ，b p f 等，获取每个数据包的从数据链 路层到应用层的所有详尽信息。该方法便于具体分析每个细节的内容；显 然，这种采集方式往往产生网络瓶颈或者造成大量的采集流量，影响正常的 网络运行。在应用网络分析的实际中缺点较为显著，只能采集到经过该单采 集接口的信息。 2 3 1t c p d u m p t c p d u m p e 是基于系统接口的一种网络监视和数据获取的工具，顾名思 义，t c p d u m p 可以将网络中传送的数据包的“头”完全截获下来提供分析。 1 0 山东大学硕士学位论文 t c p d u m p 提供了源代码，公开了接口，因此具备很强的可扩展性，对于网络维 护和入侵者都是非常有用的工具。t c p d u m p 需要将网络界面设置为混杂模式， 普通用户不能正常执行，但具备r o o t 权限的用户可以直接执行它来获取网络 上的信息。因此系统中存在网络分析工具主要不是对本机安全的威胁，而是 对网络上的其他计算机的安全存在威胁。根据使用者的定义对网络上的数据 包进行截获的包分析工具。t c p d u m p 数据采集是一种集中式的方式，所有的数 据包必须通过端口映射的方式发送到采集主机，完全由计算机通过网卡采 集，如图2 1 所示。尽管该映射数据流不影响其他部分网络的运行，作端口映 射的交换机则具有较大的c p u 处理负荷。 图2 1t c p d u m p 采集拓扑 2 4 基于s n m p 的网络流量采集方式 s n y p 是一种广为使用的网络协议，它使用嵌入到网络设施中的代理软件 来收集网络通信信息和有关网络设备的统计数据。代理不断地收集统计数 据，如所收到的字节数，并把这些数据记录到一个管理信息库( m i b ) 中。网管 员通过向代理的m i b 发出查询信号可以得到这些信息，这个过程就叫做轮询 ( p o l l i n g ) 。 管理信息库m i b 是网络管理数据的标准，在这个标准里规定了网络代理设 备必须保存的数据项目、数据类型以及允许在每个数据项目中的操作。对m i b 的访问是实现网管的关键。 图2 2s n m p ： 2 作原理图 s n m p 是由一系列协议组和规范组成的，它们提供了种从网络上的设备 中收集网络管理信息的方法。管理系统由管理工作站、被管理节点、网络管 理协议建立起来。在管理工作站与被管节点交流过程中，使用统一的命令并 且命令种类很少，使得实现变得非常简单。通常，网络管理工作站监视节点 山东大学硕士学位论文 是通过读取被管理节点上的数据实现的，同时管理工作站也能够通过向被管 理节点写入数据来实现对它的控制。被管理节点产生一个特别的事件时，被 管理节点可以向管理工作站发送一条简单的网络事件消息，管理工作站和被 管理节点之间通过网络管理协议进行通讯。s n m p 采用了c 1 i e n t s e r v e r 模型 的特殊形式：代理管理站模型。对网络的管理与维护是通过管理工作站与 s n m p 代理间的交互工作完成的。每个s n i p 从代理负责回答s n w p 管理工作站 ( 主代理) 关于m i b 定义信息的各种查询。 基于s n m p 的数据采集引擎是一个能够自动从网络环境中获取s n m p ( m i b ) 变量值的独立运行系统。其他的模块或系统可以通过通信接口将自己 对s n i p ( m i b ) 变量的采集需求作为采集任务发送给采集引擎。采集引擎通过 s n m p 协议从被管理实体( 物理设备、软件系统) 中获取相应数据，并将其保存 到数据库中或者返回给采集任务的请求者。在数据采集的过程中，任务的请 求者可以对任务的参数进行调整，或者停止对数据的采集。请求者还可通过 发送控制命令的方式，动态地改变采集引擎采集任务的配置参数。 基于s n i p 协议直接从网络设备中收集网络流量信息，但该流量信息是根 据链路层地址进行聚合的，无法反映分组中i p 地址和端e l 号等信息，因此它 不能提供丰富的网络监测信息；同时由于对i p 流量的统计需要网络管理中心 每隔一定时间就要向网络设备发送s n m p 请求，当监测的网络规模较大时，就 会对网络带宽及网络设备性能造成较大影响。 本方法仅能对网络设备端口的整体流量进行分析，可以获得设备端口的 实时或者历史的流入流出带宽、丢包、误包等性能指标，采集到的流量信息 较为粗糙，还无法区分网络层数据流量中各种不同类型客户业务在总流量中 的分布状况，也无法对进出的流量进行流向分析。同时也无法分析具体的用 户流量和协议组成。无法对具体协议种类和应用流量组成进行进一步分析， 它无法回答当前网络流量分别由哪些应用( 协议) 组成、各占多大的比例， 哪些用户的访问数据量最大，分别使用什么协议，数据源和目的地是什么等 问题。 通过扩展实现r m o n $ 【i r m o n i i ，该方法可在一定程度上( 网络2 层到4 层) 实现有限的端到端通信会话数据分析、t o p n 用户统计等功能。可以部分弥补 s n m p 协议的技术局限性，如可以对业务流量进行统计，但同时也暴露出新的 技术局限性。首先，由于r m o n 协议需要对网络上传送的每个数据帧进行采集 和分析，会耗用大量的c p u 资源，因而不可能由网络设备本身实现，需要额外 购买和安装内置式或外置式的r m o n 探针。市场上现有的r m o n 探针处理能力也 有限制，还不能支持监控端口速率超过1 g b p s 的网络端口。其次，因为r m o n 探 针为的硬件设备，价格较贵，所以不可能为每台网络设备都配备，且由于 1 2 山东大学硕士学位论文 r m o n 探针，特别是内置式r m o n 探针接入网络后不易变更，所以必然会造成出 现异常事件时无法及时对特定的网络链路进行监控。最后，由于r m o n 探针采 集到的管理数据是由分析每个数据包后得到的，数据量非常大且分散，协议 缺乏内建的数据汇总机制，而且还不包括每个数据包的b g pa s 号或路由n e x t h o p 信息，所以不易对数据进行高层次的流向分析。这些因素都会阻碍利用 r m o n 协议对大型网络进行流量和流向分析的有效性。 图2 3s n m p 采集拓扑 2 5 基于探针p r o b e 的网络流量采集方式 网络探针的思想源于传统e t h e r n e t 总线结构。传统的e t h e r n e t 采用总线 的形式进行网络连接，网络通信采用广播的形式，一台主机可以监听到位于 同一物理子网的任何一台主机参与的通信。用于i p 流量采集的网络探针的方 法，相当于利用传统的e t h e r n e t 的通信原理，安插网络探针，监听并接收所 有其他通信，记录通过本总线的每一次通信，进一步整理成i p 流量的统计。 探针必须具有对网络底层通信方式进行控制的能力，使系统网络接口适 配器的工作