（计算机应用技术专业论文）基于小波分析的网络异常检测系统.pdf

江苏大学硕士学位论文 摘要 本文从宏观角度来考察大规模网络的流量，以一定的采样率将包 汇聚成流，再将其以字节大小、流数或包数为单位对应到离散的时间 轴上，它本质上属于非平稳的时间序列，具有周期性、趋势性、随机 性、季节波动等特性。随着网络应用的丰富和网络用户的增多，安全 问题也日益重要，而基于宏观流量的网络异常检测也成为研究重点。 本文充分研究了各种现有的非平稳网络流量的模型以及各种实用的 异常检测的方法，并对其适用层次和优缺点进行了总结。在此基础上 提出将传统的基于统计的异常处理和信号处理的方法进行结合，将流 量看成信号，并使用统计和信号处理的方法，如小波分析、量图分析 等，来进行异常的定位和检测。同时本文还对网络中的常见异常进行 了分类，并对其在数学和信号上的表现形式作了分析，以便可以利用 检测的结果来归类异常。 本文主要从定性和定量的角度来考虑异常的检测，其中定性分析 侧重于从网络流量的建模出发，利用描述模型奇异特性的几种参数， 如反映正则性的李氏( l i p s c h i t z ) 指数，反映自相似度的h u r s t 指数以及 对应不同李氏指数的分形维数，试图从这些参数的变化轨迹中找出与 异常出现的对应关系，进而来检测出异常；而定量分析则侧重于对奇 异现象的量化，不需要人为的判断，通过一系列的统计分析、信号分 析最终将异常突显，这方面主要包括能量比分布分析、小波多层分解、 偏差值等方法，最终建立了自动在线实时异常检测系统。 影响网络的因素太多太复杂，甚至还涉及到网络用户的行为波 i 江苏大学硕士学位论文 动，因此不可能只通过某一种方法或某一种手段就达到异常的完美检 测。本文从不同的角度不同的手段来考虑异常检测的方法，试图建立 起一个完善的异常检测体系，而评价异常检测系统好坏的两个因素， 即误报率和漏报率，是检测我们系统的唯一标准。本文主要对四段含 有异常的流量进行分析，实验结果表明，对异常的检测和突显是有效 的。 本文不论是定性或定量的异常检测，都是以小波分析作为算法的 基础，因此本系统实际上是基于小波分析的网络异常检测系统。 关键词：网络异常检测，定性分析，分形，小波分析，定量分析，能 量比分布，偏差值算法 江苏大学硕士学位论文 a b s t r a c t t h i s p a p e ri n s p e c t s t h et r a f f i co fl a r g e s c a l en e t w o r kf r o ma m a c r o s c o p i cp e r s p e c t i v e w ea g g r e g a t ep a c k e t si n t of l o w si nac e r t a i n s a m p l i n gr a t e ，w h i c hc a nb em a p p e dt ot h eo r d i n a t eo fb y t e s ，f l o w s ，o r p a c k e t s i ti se s s e n t i a l l yn o n - s t a t i o n a r yt i m es e r i e sw i t ht h ep e r i o d i ct r e n d ， r a n d o m n e s s ，s e a s o n a lf l u c t u a t i o n sa n do t h e rc h a r a c t e r i s t i c s a l o n gw i t h t h er i c hn e t w o r ka p p l i c a t i o n sa n dt h ei n c r e a s i n gn u m b e ro f n e t w o r ku s e r s ， s e c u r i t yi s s u e si sb e c o m i n gm o r ea n dm o r ei m p o r t a n t c o r r e s p o n d i n g l y , n e t w o r ka n o m a l yd e t e c t i o nb a s e do nf l o w sf r o mam a c r o s c o p i cp o i n to f v i e wh a sb e c o m et h ef o c u so ft h er e s e a r c h t h i sp a p e rs t u d i e sv a r i o u s e x i s t i n gm o d e l so fn o n s t a t i o n a r yn e t w o r k ，a sw e l la sp r a c t i c a lm e t h o d s o fa n o m a l yd e t e c t i o na n dg i v e sas u m m a r i z a t i o na b o u tt h e i ra p p l i c a t i o n s ， a d v a n t a g e sa n dd i s a d v a n t a g e s t h i sp a p e rr e g a r d sf l o wa g g r e g a t i o na sa s i g n a la n dc o m b i n e ss t a t i s t i c a la n ds i g n a lp r o c e s s i n gm e t h o d s ，s u c ha s w a v e l e ta n a l y s i s ，s c a l o g r a ma n a l y s i st ol o c a t ea n dd e t e c ta n o m a l i e s t h i s p a p e ra l s og i v e sac l a s s i f i c a t i o no fn e t w o r ka n o m a l i e sa n da n a l y z e st h e i r m a n i f e s t a t i o n si nm a t h e m a t i c sa n dt h es i g n a l ，w h i c hc a r lb eu s e dt o c l a s s i f yt h er e s u l to f a n o m a l yd e t e c t i o n t h i sp a p e rm a i n l ys t u d i e sa n o m a l yd e t e c t i o nf r o mt h eq u a l i t a t i v e a n dq u a n t i t a t i v ep e r s p e c t i v e q u a l i t a t i v ea n a l y s i so fa n o m a l yd e t e c t i o n f o c u s e so nm o d e l so fn e t w o r kt r a f f i ca n dt h e i rp a r a m e t e r s ，w h i c hc a l lb e u s e dt od e s c r i b et h es i n g u l a rc h a r a c t e r i s t i co ft r a f f i cs u c ha sl i p s c h i t z ；i 江苏大学硕士学位论文 e x p o n e n t ，h u r s te x p o n e n ta n df r a c t a ld i m e n s i o n ，t h i sp a p e rt r i e st o i d e n t i f yt h er e l a t i o n s h i pb e t w e e nt h ec h a n g i n gt r a c eo ft h e s ep a r a m e t e r s a n dt h ep r e s e n c eo fa n o m a l i e s ，w h i c hc a nb eu s e dt od e t e c ta n o m a l i e s q u a n t i t a t i v ea n a l y s i sf o c u s e so nt h eq u a n t i f i e ds i n g u l a rp h e n o m e n o n t h r o u g has e r i e so fs t a t i s t i c a la n a l y s i sa n ds i g n a lp r o c e s s i n g ，s u c ha st h e e n e r g yr a t i od i s t r i b u t i o na n a l y s i s ，m u l t i l e v e lw a v e l e td e c o m p o s i t i o na n d t h ed e v i a t i o nv a l u e ，t h i sp a p e re s t a b l i s h e saa u t o m a t i co n 1 i n er e a l t i m e a n o m a l yd e t e c t i o ns y s t e m ，w h i c hc a nh i g h l i g h ta n dd e t e c tt h ea n o m a l i e s u n d e r1 1 0h u m a n j u d g m e n t ， t h en e t w o r ki sa f f e c t e db yt o om a n ya n dc o m p l i c a t e df a c t o r s ，e v e n t h ev o l a t i l i t yo fn e t w o r ku s e r s i ti sn o tp o s s i b l eo n l yt h r o u g ho n em e t h o d o ro n em e a n st oa c h i e v et h ep e r f e c ta n o m a l yd e t e c t i o n t h i sp a p e rs t u d i e s t h e a l g o r i t h m so fa n o m a l yd e t e c t i o nf r o md i f f e r e n tp e r s p e c t i v e sa n d d i f f e r e n tm e t h o d s ，t r y i n gt ob u i l dac o m p r e h e n s i v es y s t e mo fa n o m a l y d e t e c t i o n t h i ss y s t e mc a nb ee v a l u a t e db yt w of a c t o r s f a l s ep o s i t i v er a t e a n df a l s e n e g a t i v er a t e ，w h i c h a r et h e o n l yc r i t e r i o n t h i sp a p e r e x p e r i m e n t so i lf o u rt r a f f i cf l o ws a m p l e s ，w h i c hc o n t a i na n o m a l i e s t h e r e s u l t ss h o wt h a tt h i ss y s t e mi se f f e c t i v et ot h ed e t e c t i o na n dh i g h l i g h to f a n o m a l i e s i nt h i s p a p e r , b o t hq u a l i t a t i v ea n dq u a n t i t a t i v ed e t e c t i o no ft h e a n o m a l i e sa r eb a s e do nw a v e l e ta n a l y s i s s ot h e s y s t e mc a nb ec a l l e d n e t w o r ka n o m a l yd e t e c t i o ns y s t e mb a s e do nw a v e l e t a n a l y s i s ” 江苏大学硕士学位论文 k e yw o r d s ：n e t w o r ka n o m a l yd e t e c t i o n ，q u a l i t a t i v ea n a l y s i s ，f r a c t a l ， w a v e l e ta n a l y s i s ，q u a n t i t a t i v ea n a l y s i s ，e n e r g yr a t i od i s t r i b u t i o n ，d e v i a t i o n v a l u ea l g o r i t h m 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指 导下，独立进行研究工作所取得的成果。除文中已注明引用 的内容以外，本论文不包含任何其他个人或集体已经发表或 撰写过的作品成果。对本文的研究做出重要贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的 法律结果由本人承担。 学位论文作者签名：巷t 粥 日期：2 0 0 7 年6 月1 3 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文 的规定，同意学校保留并向国家有关部门或机构送交论文的 复印件和电子版，允许论文被查阅和借阅。本人授权江苏大 学可以将本学位论文的全部内容或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和 汇编本学位论文。 学位论文作者签名：隽士揣 指导教师签名 2 0 0 7 年6 月1 3 日2 0 0 7 年6 月1 3 日 书权授本用适后密解年在 口团 密于密 属保保文不 论位学本 江苏大学硕士学位论文 第1 章绪论 近几年i n t e m e l 有了突飞猛进的发展，网络带宽由百兆发展到了千兆，甚至 到了万兆。硬件带宽不再是软件应用的瓶颈，各种网络业务日益丰富，接入用户 也日益增多，而安全问题也日益严重。如何保证用户在享受高速网络和丰富的网 络服务的时候，可以免受病毒的攻击和黑客的滋扰，入侵检测系统正是为了解决 此问题而出现的，而基于网络的异常检测系统是入侵检测系统的一个重要分支。 1 1 研究背景 随着互联网在全球的迅速发展和各种互联网应用的快速普及，互联网己成为 人们日常工作生活中不可或缺的信息承载工具。然而，伴随着互联网的正常应用 流量，网络上形形色色的异常流量也随之而来，影响到互联网的正常运行，威胁 用户主机的安全和正常使用。恶意流量攻击，如d o s ( 拒绝服务) 、i c m p 洪水 攻击、蠕虫病毒等，已经成为大规模高速网络的普遍威胁。目前，网络中有大量 知名并可自动繁殖的恶意代码存在，它们定期或不定期的滋扰网络主机或用户。 甚至最近有越来越多的复合式攻击出现，它们使用不止一种的攻击手段，具有自 我修改、加密等能力，这使得它们的攻击更加难以防范和阻击。传统的入侵检测 工具依赖于操作系统的日志、用户的行为轨迹和防火墙日志等来监控网络流量， 它们可以过滤出己知行为模式的攻击，但对这种复合式攻击和新式攻击却无能为 力。 在大规模高速网络的环境中，我们需要实时分析和监控网络流量并检测出有 攻击意向的异常，及时采取适当的行动来遏制它进一步的繁殖和传播。实验证明 流一级的异常检测比包一级更有效。在协议层将具有相同特征的包汇聚成流，不 仅可以降低采样系统的负担，保证流量监控的实时性，而且还提供了整个网络的 宏观视角。 作为传统入侵检测的补充，通过分析网络流量特性来进行异常检测受到大批 研究人员关注，其出发点在于基于服务和协议来进行流量分类和监控。同时，出 现了大量相关工具，如f l o w s c a n ，c i s c o 的f l o w a n a l y z e r 、a u t o f o c u s 等等。它 们都能提供流量实时状况报告，被广泛用于流量工程和事后异常检测，这实际也 江苏大学硕士学位论文 是异常检测统计分析的一种形式。 传统的异常检测方法通过建立系统正常行为的特征轮廓来定义系统正常活 动的模型，当检测到当前活动与所建立的正棠行为特征存在差异时，则认为系统 遭到入侵。因此，它的适应性较好，具备检测未知攻击模式的能力，然而它存在 误报率高和准确性差的问题。这是因为：很难准确描述系统的正常行为模式， 这导致异常检测产生相当多的误报警；很难辨识系统正常行为模式的正常偏差 ( 正常变异行为) 和异常偏差( 入侵行为) ，即使系统捕获到某种新的攻击类型，还 是难以将攻击行为从正常行为中检测出来，因而异常检测的准确性较差。所以， 如何保持低的误报率同时具备检测新的攻击类型的能力是异常检测方法面临的 问题。异常检测现在常见的三种方式；统计分析、预测模式、特征选择，其中统 计分析和特征选择的实时性较差，不适合大规模高速流量的异常检测。预测模式 实对性较优，但对于非平稳的复杂的时间序列，随机因素众多，它预测的结果往 往存在滞后。上述三种方式的漏报率较高，抑或需要付出提高误报率的代价才能 够降低漏报率。 对流量模型的研究从传统的泊松分布、m a r k o v 模型和各种平稳时间序列模 型，如a r 模型、m a 模型、a r m a 模型、a r i m a 模型等到现在的分形模型， 从简单地概率性模型到现在的统计模型，如汇聚流的自相似模型等，在不断的深 入和蓬勃发展中。对流量特性的研究也日益深入，得出流量既具有平稳或非平稳 时间序列的特性如周期性、趋势性、季节性、随机性等，又具有统计分布的相似 性和不同尺度上的分形结构。网络流量分形结构的提出，使得流量模型的研究进 入了一个新的领域，从更宏观的角度来考察流量的汇聚。但是研究人员随后指出， 在小的时间尺度下却表现出与宏观上不同的特性，出现了多分形的有趣现象。 流量的分形结构的提出，要求从不同的尺度来观察它的特性，小波分析是最 适合它的工具之一，将流量看成信号来处理，从不同的分辨率来聚焦和透视流量 的特性，最终可以分解出流量的不同成份，得到流量的各种特性参数，并可以定 位各种奇异现象。将传统的统计手段和小波信号处理，甚至分形学的相关知识进 行综合，可以有效且实时地进行异常检测，并且完全符合流量的物理特性，最终 开辟了异常检测的一个新天地。 2 江苏大学硕士学位论文 1 2 国内外研究现状 异常检测方法【1 1 主要包括：统计异常检测法、基于机器学习的异常检测方法、 基于数据挖掘的异常检测法和基于神经网络的异常检测法等。其中基于统计的异 常检测由于其适用范围广、实现简单而被大量研究使用。d e n n i n g l 2 】提出了用于 异常检测的5 种统计模型： ( 1 ) 操作模型：该模型假设异常可通过测量结果和指标的比较而得到，指标 可以根据经验或一段时间的统计平均得到。 ( 2 ) 方差：计算参数的方差，设定其置信区间，当测量值超出了置信区间的 范围时表明可能存在异常。 c 3 ) 多元模型：操作模型的扩展，通过同时分析多个参数实现检测。 ( 4 ) 马尔可夫过程模型：将每种类型事件定义为系统状态，用状态转移矩阵 来表示状态的变化，若对应于发生事件的状态转移矩阵概率较小，则该事件可能 是异常事件。 ( 5 ) 时问序列模型：将测度按时间排序，如一新事件在该时间发生的概率较 低，则该事件可能是异常事件。 d e n n i n g 提出的这5 种模型归结起来就是先对正常网络流量进行建模，然后 分析它的各种特性参数，并将其作为基线数据。如果某段流量的特性参数与基线 数据相差很多，超过某个预定的阂值，则此流量含有异常。最近几年随着对网络 流量的认识的不断深入以及其它学科理论的交叉渗透，流量的模型的研究有了长 足发展。可以通过建立成熟的流量模型来预测未来流量，并将现实流量与之比较 来进行异常的检测，因此上述5 个方面还应添加第6 个方面，即预测检测， j b r u t l a g l 3 1 提出的基于h o l t - w i n t e r s 指数平滑方法的异常检测就是这一类中目前 最常用的。 对网络的建模和网络行为的分析一直是流量分析中的研究重点和难点。网络 流量本质上属于非平稳的时间序列模型，具有周期性，随机性，趋势性等特征。 网络流量的特性很大程度上是由用户行为决定的，而人的行为是极其复杂的，这 就造成了流量分析的复杂性。 最初为了分析过程的简单，将网络模型定义为泊松过程，然而在对网络流量 的大量分析中，发现它并非符合指数分布，采用泊松过程来对网络流量进行预测 3 江苏大学硕士学位论文 与现实流量存在很大的差异。1 9 9 4 年l e l a n d1 4 j 等人对从1 9 8 9 到1 9 9 2 年测量的 以太网数据进行分析首次发现以太网l a n 流量具有自相似性质，并利用了分形 的概念成功地做出了网络自相似模型的严格定义。随后，大量的数据分析证明这 一模型的建立可以精确地对网络流量进行预测和分析，符合网络流量的物理特 性。 l e l a n d 的网络流量分形结构的提出带动了一系列的研究，它将m a n d e l b r o t l 5 1 所创立的分形学与传统的统计分析作了结合，各种分形方面的手段都可以用来分 析网络流量的特性，如自相似性、长相关性等。除了l e l a n d 外，1 9 9 5 年v p a x s o n 和s f l o y d l 6 1 分析了1 9 8 9 年到1 9 9 5 年2 4 种不同的广域网数据，发现t c p 分组 级到达也符合自相似规律。1 9 9 5 年波士顿大学的m a r ke c r o v e l l a 和a z e r b e s t a v r o s 7 1 对- - 个广域网的w w w 记录文件研究发现w w w 流量同样具有自相 似性。 理想的单分形模型，如分形布朗运动等，侧重于全局标度、齐次结构上的流 量的研究，而异常的检测却更多的关注于多个小时间尺度上的局部变动，因此多 分形结构比单分形结构更适合对异常行为的检测。1 9 9 7 年r u d o l f h r i e d i l 8 1 等人 分析了细时间尺度下的t c p 流量，并提出它符合多分形特性。2 0 0 2 年，武汉大 学的t a n gy a - j u a n l 9 1 等人提出利用网络流量的多分形特性来突显异常。 分形往往需要从不同尺度不同分辨率来进行分析，并且大规模的流量汇聚具 有信号的所有特征。很自然地，研究人员发现将流量看成信号来处理，并将可在 不同尺度下进行信号分析的小波变捌1 0 l 作为处理的手段，对异常检测有很好的效 果。1 9 9 2 年，m a l l a t 和h w a n g f 提出使用小波进行奇异性检测和处理。2 0 0 2 年 p a u lb a r f o r d l l 2 1 等人首次提出对网络异常进行信号分析。归结起来，目前小波多 用于异常的定性分析且集中于流量的单形结构，利用其在正常和异常流量下的差 异来检测异常 1 3 - 2 3 1 。 综合以往的研究工作，本文从定性和定量两个方面对异常进行检测，以期实 现一个完整的异常检测体系。 1 3 主要内容 本文在第2 章先允绍了异常检测系统的相关概念及算法，然后介绍了本文的 4 江苏大学硕士学位论文 研究对象和要解决的问题，以及本文最终要构建的大规模网络流量异常检测系统 的各个组成部分。 在第3 章介绍了如何基于定性分析来检测异常，包括以下内容：一研究了 流量的分形和多分形特性，利用奇异谱得出不同时间段的h u r s t 指数，依照它们 与l i p s c h i t z 指数的关系可以给出不同l i p s c h i t z 正则性的奇异特征的整体重新分 配。二对网络中几类常见的异常及其数学上的表现形式进行归纳总结，并探讨 了异常现象、l i p s c h i t z 正则性与小波变换模极大三者之间的关系，得出它们的 l i p s c h i t z 正则性和小波变换模极大( w t m m ) 的对应衰减规律。为了验证此规 律，对含有异常的几段真实流量进行分析，结果表明上述规律普遍存在，可以作 为异常检测的依据。三利用前面所说的w t m m 与l i p s e h i t z 指数之间的线性关 系，可以计算出各点的点态l i p s c h i t z 指数，进而可以得出整段流量的l i p s c h i t z 指数的分布情况，作为流量的整体奇异分布的参考，并通过实验证明可以利用此 奇异分布来检测异常。 第4 章侧重于异常的定量分析检测，包括以下内容：一利用小波多分辨率 分析来对流量进行三层聚合。二利用能量比分布来进行异常检测。三利用偏 差值算法来构建自动化在线实时异常检测。 第5 章着重介绍了本文最终实现的异常检测系统，给出了系统界面截图和系 统实际运行过程中的结果图。 第6 章总结了本文所提出算法的优缺点以及今后要做的工作。 江苏大学硕士学位论文 第2 章大规模网络流量异常检测系统框架 2 1 异常检测系统 广义上的网络异常是指由于某种因素导致流量出现与正常轮廓偏差较大的 现象，如拥塞、入侵、突发流量等：而狭义上的异常多指人为的黑客攻击或病毒 滋扰，本文提到的异常主要为广义上的异常。异常检测系统用来识别针对计算机 系统、网络系统，或者更广泛意义上的信息系统的非法攻击，包括：检n j t - 部非 法异常者的恶意攻击或试探，如拒绝服务攻击( d o s ) 、分布式拒绝服务攻击 ( d d o s ) 、i c m p 洪水攻击、端口扫描( p i n g ，n m a p ) 等；检测网络内部大规模 蠕虫病毒的发作；检测内部系统的当机或服务停止；检测网管配置操作而导致的 流量异常等。 2 1 1 异常检测系统的组成部分 异常检测系统一般由数据采集模块、数据接收处理模块、异常分析检测模块 和用户接口等主要部件组成。 ( 1 ) 数据采集模块 数据采集模块从中央数据源监视并采集正常或含有异常行为的原始流量数 据。通常包括原始网络数据包、网络数据流、操作系统审计记录、应用程序审计 记录以及系统校验数据等等。 ( 2 ) 数据接收处理模块 数据接收处理模块主要负责从数据采集模块收集数据。此模块的输入数据流 包括任何可能包含异常行为线索的系统数据，比如网络数据包、臼志文件、系统 调用记录等。接收处理模块将这些数据收集起来，经过处理后整理成固定格式的 数据送异常分析检测模块进行分析。 ( 3 ) 异常分析检测模块 异常分析检测模块负责从一个或多个数据接收处理模块处接受信息，并通过 分析算法来确定是否发生了异常活动。此模块的输出是一些报警信号，用来标识 异常行为是否发生过。报警信号中还可以包含相关的流量信息。异常分析检测模 6 江苏大学硕士学位论文 块是异常检测系统的核心部件。 ( 4 ) 用户接e l 用户接口的作用是方便用户观察系统的输出信号，并对系统行为进行控制。 用户接口又可称为“控制台”、“管理器”等。 2 1 2 异常检测系统的分类 从不同的角度对异常检测系统有多种分类方法【2 4 】：根据数据源，可将异常检 测系统分为基于主机的系统、基于网络的系统两种类型。基于主机的异常检测系 统又可细分为基于主机日志文件、基于操作系统内核系统调用、基于应用程序的 系统。基于网络的异常检测系统也可进一步分为基于网络包、基于网络流、基于 网络基础设施的系统。根据分析器所采用的分析算法，可将异常检测系统分为基 于知识的滥用检测( m i s u s ed e t e c t i o n ) 系统和基于行为的异常检测( a n o m a l y d e t e c t i o n ) 系统1 2 5 】。根据响应方式，可将异常检测系统分为主动响应型系统和被 动响应型系统。根据控制策略，可将异常检测系统分为集中式系统、部分分布式 系统、完全分布式系统。根据同步性，可将异常检测系统分为实时连续型系统和 间隔批处理型系统。下面重点讨论滥用检测异常系统和基于行为的异常检测这两 类系统。 ( 1 ) 滥用异常检测系统 滥用异常检测系统的应用是建立在对过去各种已知的网络异常方法和系统 缺陷知识的积累之上的，它需要首先建立一个包含上述已知信息的数据库，然后 在收集到的网络活动信息中寻找与数据库项目匹配相关的蛛丝马迹。当发现符合 条件的活动线索之后，它就会触发一个警告。任何不符合特定匹配条件的活动都 将会被认为是合法的和可以接受的。 滥用异常检测系统的主要优点有：检测准确性高；检测的匹配条件可以精确 地描述，漏报率低，也便于安全管理人员采取相应措施。 滥用异常检测系统的局限性主要表现在：检测完整性，即检测全部异常行为 的能力，取决于数据库的及时更新程度；及时更新庞大数据库比较费时；收集已 知攻击行为和系统脆弱性信息困难；可移植性差，攻击行为大都与主机操作系统、 软件平台和应用类型有关；检测内部用户的滥用权限的活动困难，因为这类行为 7 江苏大学硕士学位论文 通常没有利用系统缺陷。 ( 2 ) 基于行为的异常检测系统 基于行为的异常检测系统的工作是建立在如下假设基础上的：任何一种异常 行为都能由于其偏离正常或者所期望的系统和用户的活动规律而被检测出来。描 述正常或者合法活动的模型是从对过去收集到的大量历史活动数据的分析中得 到的。 基于行为的异常检测系统的主要优点有：检测完整性高，能够发现企图发掘、 试探系统未知漏洞的行为；较少依赖于特定的操作系统环境；对合法用户超越其 权限的违法行为的检测能力大大加强。 基于行为的异常检测系统的主要缺点是：漏报率较高，因为影响网络流量的 随机因素太多，不可能通过某一种手段就可以完成异常的检测，因此为了降低漏 报往往要采用多种方式的结合来检测异常。 2 1 3 检测算法 如上所述，检测算法分为滥用检测和异常检测两类。主要用于滥用检测的算 法有：串匹配、规则库和专家系统、状态转移分析、p e 仃i 网、决策树、关联规 则分析、事件序列分析等。主要用于基于行为的异常检测的算法有基于统计的行 为轮廓描述、人工神经网络、贝叶斯网络、计算机免疫等。其中有些算法既可用 于滥用检测，又可用于异常检测。检测算法可以归结为统计分析、机器学习、数 据挖掘三类。近年来其它领域，如信号处理领域的用于检测异常现象的手段越来 越多地被研究并借鉴到网络流量的异常检测中，包括傅里叶变换的频谱分析、小 波变换聚焦分析等。理论上异常检测可以检测到潜在的未知类型的攻击，因此成 为异常检测领域研究的热点之一。本文由于研究的数据源主要基于网络流数据的 汇聚，侧重于宏观分析，因此下面只介绍适用此领域的一些算法。 ( 1 ) 统计分析 统计分析( s t a t i s t i c sa n a l y s i s ) 是异常检测中最广泛使用的技术之一。首先 对系统或者用户的行为用某种统计模型加以刻画，在一定的时间间隔里对一系列 的参数变量进行采样，采样的时间间隔长短不一。在最初的模型中，系统算出所 有变量的平均值，然后根据平均偏差检测当前行为是否超出了某一阈值，当然， 江苏大学硕士学位论文 这样的模型是简单和粗糙的，无法准确检测异常活动。进一步的算法中将单个用 户的参数变量数值与积累起来的群体参数变量值进行比较，但是检测能力还不是 很高。目前在几种异常检测系统中，使用了一种更加复杂的模型，检测系统同时 计算并比较每个用户的长期和短期活动状态，而状态信息随着用户行为的变化而 不断更新。 ( 2 ) 神经网络 神经网络( n e u r a ln e t w o r k s ) 技术在异常检测中的应用历史比较长，早期的 一些研究通过训练后向传播神经网络来识别未知的网络攻击行为，进一步的实验 通过训练后向传播神经网络来识别未知的网络异常行为。神经网络技术通过学习 已有的输入输出矢量对集合，进而抽象出其内在的联系，然后得到新的输入，输 出的关系。这种技术在理论上能够用来在审计数据流中检测异常行为，其基本思 想是首先使用若干正常行为的样本来训练神经网络，然后检测任何偏离这些行为 样本的行为模式。神经网络技术体现了强大的攻击模式分析能力，它的优势包括 能够较好地处理带噪声的数据，不需要复杂的建模过程，并且计算速度快、便于 进行实时分析。 ( 3 ) 数据挖掘 数据挖掘采用聚类和分类算法，将具有相同条件的数据流对象汇聚到一起， 发现与大部分其它对象不同的对象。通常，异常对象被称作离群点( o u t l i e r ) ，因 为在数据的散布图中，它们远离其它数据点。此类检测方法也被称为偏差检测， 因为异常对象的属性值显著地偏离期望的或常见的属性值。 文献1 2 6 1 对数据挖掘中的异常检测的聚类和分类算法做了详细介绍。 2 2 本文的研究对象 本文主要研究宏观网络、大流量条件下的异常检测技术，通常将数据采集模 块部署在网络的主节点上，监测全局网络的出入流量。在大规模网络条件下，主 机数目众多，不可能在网络的出入口上实现主机级的保护，而且个别主机的安全 与整体网络性能相比居于次要地位。经过主干交换机的数据量庞大，在我们的实 验环境中，采集模块每5 分钟捕获到的i p 流数达上百万条，将一天内不包含内 容的i p 流数据存储到数据库中约占据2 0 g 的空间，同时字段数量也非常多。在 9 江苏大学硕士学位论文 这样的大流量的环境下，传统的基于包内容的模式规则库、专家系统和关联规则 分析等算法不再适用。 2 3 本文要解决的问题 现有的检测算法存在着下面几个难以解决的问题： ( 1 ) 检测能力不强，误报率和漏报率过高 误报是指将合法的行为判断为异常；漏报是指将真正的异常活动判断为合法 的活动而允许它通过。 ( 2 ) 短期性 需要定期更新历史框架来适应新的变化，不能够很好的反映网络的自相似性 和周期性等流量的特性。 ( 3 ) 检测范围不广 绝大多数检测算法都是针对几种攻击模式而设计的，因而只能检测到几种特 定的攻击。或者说对某些攻击的识别能力强，对其它类型的攻击识别能力较弱。 c 4 ) 检测速度慢，实时性不强 目前大多数检测算法不能适应大流量高速的主干网络的宏观监控和异常检 测。 ( 5 ) 可扩充性差 不能检测到隐蔽性很强的复杂攻击和利用未知漏洞的新型攻击。从实用的角 度看，检测算法必须易于扩充，使得在新的攻击方法出现时，能够方便迅速地更 新检测手段，从而检测到复杂的或者新型攻击。 针对上述问题，本文在基于网络流量的自相似分形模型基础上，运用小波变 换的信号处理和统计分析来构建实时在线异常检测系统。它具有以下优点：由于 所使用的算法的复杂度低，检测速度快，可以满足实时性的要求；将流量看成信 号来处理，不依赖于特定的异常，算法具有通用性，便于从多个因素来检测异常； 检测范围广，可扩充性强，可以检测出任意类型的异常，只要它在流量上表现为 奇异现象；不需要进行历史数据的学习，可以直接使用来检测异常。 l o 江苏大学硕士学位论文 2 4 本文异常检测系统的组成 本文所实现的异常检测系统主要由以下几个部分组成：基于n e t f i o w 的流数 据采集模块、数据接收处理模块、异常分析检测模块和用户接口。下面着重介绍 流数据采集模块和异常分析检测模块，其它模块将在第5 章的系统实现中介绍。 2 4 1 数据采集模块 传统流量数据的来源有几种：一是直接从s n m p ，即简单网络管理协议中的 m i b 库中取得粗糙的统计结果。二是采用对主干交换机进行端口映射的方法来 进行嗅探( s n i f f e r ) 器监听采集。前者采到的数据的信息太少，很难做到对全局 网络流量的跟踪和异常的定位；后者，虽然可以取得更详细的流量信息，但要在 高速主干上抓取如此详细的包是根本不可能的，原因有以下两个方面：一是很难 进行实时采集；二是数据包监听所储存并需要分析的数据量非常庞大，对于资源 和人员的消耗是惊人的，而且它也不利于掌握整体网络的状态。很显然，这两种 方式都不适合大流量环境下的宏观监控和作为异常检测系统的基础。 本文使用了流采集系统来作为数据采集模块。所谓流，是指一段时间内网络 的某个观测点所通过的一系列分组( p a c k e t s ) 的汇聚，通常将具有相同的源i p 地 址( s o u r c ei pa d d r e s s ) 、源端口号( s o u r c ep o r tn u m b e r ) 、目的i p 位址( d e s t i n a t i o ni p a d d r e s s ) 、目的端口号( d e s t i n a t i o np o r tn u m b e r ) 、协议类型( p r o t o c o lt y p e ) 、服务类 型( t y p eo fs e r v i c e ) 及路由器输入接v i ( r o u t e ri n p u ti n t e r f a c e ) 的数据包汇总为一条 流，并且流数据被定义为两端点间单一方向连续的数据流，这意味着每一个网络 的连接都会被分别记录成两条数据，即客户端连到服务器端的流记录和从服务器 端连回到客户端的记录。典型的流采集系统有n e t f i o w l 2 7 1 、s f i o w 等。本文采用 了n e t f l o w 的流采集系统，数据流格式采用n e t f l o w 的v 5 版本，其包含的字段 如图2 1 所示： 江苏大学硕士学位论文 * m 围 ： t ，a m n 叵 i i m m 黼 围 图2 1n e t f l o w 的v 5 版本格式图 路自 数据采集模块在满足如下条件时将数据抛到数据处理分析模块：一是传输协 议指出连接结束( t c pf i n ) ，且有微小的延迟以允许f i n 确认握手的完成；二 是流量不活动( i n a c t i v i t y ) 超过1 5 秒；三是流保持活动和缓存超过3 0 分钟。通 过这样的类似于操作系统中的l r uc a c h e 的处理机制，可以减少长流的出现， 从而可降低异常检测系统的检测误差。 2 4 2 异常分析检测模块 本文采用的异常分析检测模块实际上包括两个部分：一是简单的基于流分析 的方法，可以进行一些算法简单直观的异常检测，下面将重点介绍；二是基于小 波变换信号处理的，且结合统计分析的定性和定量异常检测算法的实现，将在第 3 和第4 章中详细论述。基于流分析的方法1 2 3 1 主要有以下几种： 2 4 2 1t o pn 与基线 基线是根据历史流量模式描述“正常”网络活动的模型；所有不在已建立的 流量模式中的流量将被认为是不正常的。趋势与基线分析报告( 一般以t o p n 与 基线分析的形式) 是最通用和基本的基于流分析的方法。通过这种方法，可以将 注意力放到那些占网络带宽较高的流记录，尤其是那些背离了已建立的历史基线 的流字段值。 有两种方式用于t o p n 与基线：t o p n 会话与t o p n 数据。 ( 1 ) t o p n 会话 t o pn 会话是指一个主机发出大量的连接请求到一个或多个目的主机，连接 请求数己远远超过了已建立的基线，一般出现这种情况是由于新的蠕虫、 1 2 江苏大学硕士学位论文 d o s d d o s 攻击、网络扫描或其他网络滥用。 ( 2 ) t o p n 数据 t o pn 数据定义了一段时期内两个网络节点或一个节点到一个地址段的连 续大量网络数据传输的排名。将网络中上传或下载数据量t o pn 的主机归类到固 定的组中，如新的主机出现在t o pn 中，一个报警就会被触发。 2 4 2 2 模式匹配 模式匹配是基于流分析的另一种可以检测网络异常行为的方法，它通过搜索 流记录，找出与病毒特征匹配的流，最终可以定位到受感染的主机。流记录中的 所有的流字段都可以用于模式匹配，但源i p 地址、目的i p 地址、源端口和目的 端口是最常用的。 ( 1 ) 端口匹配 一般来说，为了发起一次攻击，大多数的攻击会有一个特定的端口。比如说， s q ls l a m e r 蠕虫工作在1 4 3 4 端口，n e t b u st r o j a n 是1 2 3 4 5 端口。通过对流记录 的目的端口进行过滤，可以发现相应的攻击。 ( 2 ) i p 地址匹配法 ( a ) 匹配i a n a 保留地址 i a n a 保留了大量的i m e r n e t 地址段，这些地址不会被外部路由。本系统如 果发现流记录中存在i a n a 保留地址，则报警会被触发。 ( b ) 匹配特定的i p 或i p 列表 本系统将满足以下条件的流定义为异常，并进行报警： 外出流量( o u t b o u n dt r a f f i c ) ：任何流记录的源i p 地址不是自己网络的外出 流量都应被认为是异常。 进入流量( i n b o u n dt r a f f i c ) ：任何流记录的源地址是自己网络的进入流量都 应被认为是异常。 固定地址( f i x e da d d r e s s ) ：一些异常行为会有一个或多个固定l p 地址。比 如说，在w 3 2 n e t s k y c 蠕虫爆发时，蠕虫会发送d n s 查询到以下d n s 服务器： 1 4 5 2 5 3 2 1 7 1 ，1 5 1 1 8 9 1 3 3 5 ，1 9 3 1 4