（通信与信息系统专业论文）基于网络业务量建模的流量异常检测.pdf

摘要 摘要 网络流量异常指的是网络的流量行为偏离其正常行为的情形，引起网络流量 异常的原因是多种多样的，例如网络设备的不良运行、网络过载、恶意的d d o s 攻击以及网络入侵等。异常流量的特点是发作突然，先兆特征未知，可以在短时 间内给网络或网络上的计算机带来极大的危害( 例如由特定的攻击程序或蠕虫爆 发所引起的突发流量行为) ，因此准确、快速地检测网络流量的异常行为，并做出 合理的响应是保证网络有效运行的前提之一，也是目前学术界和工业界共同关注 的前沿课题之一。本论文致力于研究基于网络业务量建模的流量异常检测方法： 研究了不同自相似性的异常流对正常流自相似性特征的影响；研究了流量异常对 网络流量层叠特征的影响，实现基于层叠特征的网络流量异常检测；针对当前网 络异常通常表现为多条0 d 流或是链路流量上的异常，实现基于全局的多流量相 关异常检测。 ( 1 ) 本文在简要介绍网络流量异常检测的有关基本概念基础之上，对当前国内 外已有的网络流量异常检测方法进行了分析综述，将相关的流量异常检测方法进 行了分类，并针对当前网络流量异常检测方法存在的不足，指出了进一步提高网 络流量异常检测方法性能的途径。 ( 2 ) 本文比较系统地分析研究了网络业务量建模的有关理论。这些网络业务量 模型包括自相似模型、多分形模型、无穷可分层叠模型以及流量时间序列a r m a 模 型等。 ( 3 ) 本文研究了具有不同自相似性的异常流对正常流的影响，提出在使用自相 似胃参数来检钡8 网络流量异常时，方法的有效性将取决于异常流和正常流之间的 自相似性是否存在有差别，而当异常流的自相似性同正常背景流的自相似性接近 时，通过检测自相似h 参数值的变化将不能把异常流同正常流区分开。仿真实验 证明了该观点。 ( 4 ) 本文提出了一种基于层叠模型的网络流量异常检测方法。该方法利用层叠 模型能完整刻画网络流量尺度伸缩性质的特点，选择层叠模型的判定条件作为依 据，通过计算拟合直线的累积偏移量进而计算异常判别统计量的方法来实现基于 层叠特征的流量异常检测。仿真实验表明，该方法成功检测出了仿真生成的d d o s 攻击异常，但在实时性和定位性上表现不足。 摘要 ( 5 ) 针对现有单链路流量异常检测和全局流量异常检测方法存在的不足，本文 提出一种基于全局的多流量相关异常检测方法。该方法首先使用时间序列模型 a l w a 模型来对每个o d 流或链路的流量数据进行建模，从而对下一时刻的流量 数据进行预测，然后将实际流量数据减去预测流量值得到预测差，最后再通过对 这多个o d 流或链路的预测差序列之间的全局相关分析来实现流量异常检测。仿 真实验表明该方法能检测到某些全局流量异常检测方法无法检测到的异常。 关键词：异常检测，自相似模型，层叠模型，a l m a 模型，全局网络相关性分 析 a b s t r a c t a b s t r a c t n e t w o r k 仃a f ! c k 勰o m a l y 啪i c a l l yr e f c r st 0c i r c u m s t a n c e sw h 仃a f n cb e h a v i o r s d e v i a t ef 如mt h en o r n l a lb e b a v i o r s n e 呻o r k 仃a f ：f i ca n o m a l i e sc a na r i s ed u et ov a r i o u s c a u s e s ，s u c h 越m a l f i l n c t i o n i n gn e t w 0 1 kd e v i o 懿，n e t w o f ko v e r l o a d ，m a l i c i o u sd d o s a t t a c l 【sa n dn e t w o r ki n 仇l s i o n t h ea n o m a l v 缸桶cc h 锄a c 删s t i c sa r em a t “b r e a l 【so u t w i t b 伽“m y 伽即a n dc a nd e s n d yn e 脚o f i 【sa n dc o 】珥加l e r si nas h o n 石m e ( i o fi n s t a l 】c e ， t l l eb u r s t 伽i cb e b a v i o rc 蚰s e db ys p c c i f i ca t t a c kp m 争抛so rw 咖o u t b r c a l 【) t h e r e f o r c ，t od e t e c t 删i ca i l o n l a i i e sr a p i d l ya l l da c c u r a t e l yi s eo fm ep r e c o n d i t i o n s w 1 1 i c he n s u r em ee m c i e mn e t w o r ko l ，训o n s a n da i l o m a l o u s 由r a f ! f i cd e t e c t i o nh a s b c c o m eo n eo ft l l ea t t r 。a c t i v ea n dv a l u d b l er e s e a r c hd i r e c t i o n si nt h ep r e s e n ta c a d e i i l i c 卸di n d u s t r i a ic 疵i t h i sp a p e ri n t c n d st or e s e 砌t r a f j 丘ca n o n ：l a l yd e t e c “o nb a s e do n n 吐丘ci n o d e l ：w ei n v e s t i g a t c s 廿l ee 侬斌o f 弛o m a l 叩st r 棚c t i l es e l f - s i 砌a r i t yo f 恤 a 埘【b i e n t 打a f n c ；w ei n v e s t i g a l c sn l ee f 艳c to fa n o l n a l o u s 廿娟co nm ec a s c a d c c h 馘蜘s t i c so ft h ea m b i e m 缸a f f i ct or e a l i z et h ed e t e c t i b a s c do ni d cm 0 ( 1 e l ： 蛐g a ll b ed c 厅c j e n c yo ft b cp r 髂e n ts i n 掣el i l l 】( 打a 施c 彻0 m a l yd e t e c t i o na 1 1 d n e 脚o r k - w i d e 锄ca n o m a l yd c t e c t i o n ，、】l ，er e a l i z et h en 咖o r k - w i d em u l t i 一仃a f f i c c o n c l a t i o n 柚o m a l yd e t c 圮t i o n ( 1 ) o nt h eb a s i so ft l l ei n n d d u c t i o no fs o m eb 雒i cc o n c e p t sa b o u tn e 铆o r k 仃a f f k 弛o m a l yd e t e c t i o n ，l i sp a p e rr e v i e w st h ec u 玳i n tt r a m c 勰o n l a l yd e t e 蛳o nm e t l l o d s 龃d c l 勰s i f i e st l l e mi n t om r e cc l 雏s e s a i l df b rt l l en a w so ft h ec 咖t 仃锄c 距o m a l y d e t e c t i m e t h o ( 1 s ，w ep o i n to u ts o m ed i r e c t i o n so nt h ep d 研m a n c ei m p r o v e m e n to f n 岫 ( 2 ) 1 1 1 i sp a p e rs y s t e m a t i c a l l y r e v i e w st r a f ! f i c m o d c l i n gt b e o r y ，i n c l u d i n g s e l f 二s i m i l 缸m o 捌，m u l t i f a c t a lm o d e l ，i n f i n i t c l ym v i s i b l ec 雒c a d e sa n da r m at i l n e s e r i e sm o d e l ( 3 ) 1 1 l i sp a p e ri n v e s t i g a t c st l l ee m 斌o f 姐o m a l o u s 仃a f f i c n 坞s c l o s i m i l a r i t yo f 也e 鼬b i e n t 倘c w bp r o p 0 t h a tt h ee 任酏t i v e n e s so f 廿缅c 如o m a l yd e t e c t i 叽b a s e d o nt 托硒cs c l f - s i n 蝴a ri n d e xi su pt ot h es i g n i 丘c a n td i 丘毫r e n c eb e t w e e nl h e 勰呲a l o u s 位蛳cs e m s i m i l a r i t y 孤dt l l e 锄b i e n tm 曲cs e l f - s i m i l a r i 啦w _ l l e nt l 圮柳oi sc l o t 0 j 甜 a b s t r a c t e a c ho t h e r t od e t e c tt l l ev a r i a t i o no fs e l f s 1 皿l 盯i n d e x 日i sn o ta d e q u a t ef o r l c d i s c r i 1 i n a t i o nb e t w e e na n o m a l o u st r 锄ca n dn o r i n a l 仃桶c ( 4 ) t h i sp a p e rp r o p o s e san e t w o r k 仃a f f i c 衄o m a l yd e t e c t i o nm e t h o db a s e d0 n i n f i n j t c l yd i v i s i b l ec 觞c a d e s ( ) c ) 咖d e l a sd c m o d e li sa d e q u a t ef o rm ec o m p l e t c d c s c r i p t i o ft r a 伍cs c a l i n gn a m 圮，t h i sm e t l l o di sb 舔e do nt h ei d e n t i f i c a t i o nc r i t c r i o n o fi t 1 1 l i sm e t h o dc o m p u t e st l l ea n 1 a l yi d e n t i f i c a t i o ns t a t i s t i cb ye s t i i i l a t i n g 血e c l l m u l a t i v ed c v i 撕o nq u 柚t i t yo ft b el e 硒ts q u a r ef i 仳dc u r v et oi d e n t i f yt h e 勰o m a l y t h es i n l u l a t i o nr c s u hs h o w st l l a tt l l ep r o p o s e dm e t h o dc a ns u c c e s s f i l l l yd e t e c tt h e s i m u l a t e dd d o sa _ t t a c kh o w e v c r ，i t sf e a l t i i n cp e d o r m 柚c c 锄da n o i i l a l yl o c a l i n gn e e d t oi i l l p r o v e ( 5 ) a i i i l i n ga 士t t 屺d c f i c i e n c yo ft h ep f e s e n ts i n g l el i i l 】【廿a m c 姐o m a l yd e t e c t i o n 锄dn e 脚o r k w i d c 劬m c 趾o m a l yd e 魄矗0 n ，t l l i sp a p e rp r o p o s e san e 脚o r k - w i d e m m t i t r a f ! f i cc o n b l a t i o n 趾o m a l yd e t e c t i o nm e m o d f i f s u y w ef b r e c 硒tt h e 仃a m cu s i n g 吐呛p r e v i o u sd a t ao ne v e r yo dn o wo rl i n kb y 削r m am o d e l t h e n ，w eg c tt h e f b r e c a s t e d 咖r 仃a m cb ys u b 仃a c t i n gt h er e a l 仃a m cf 如mm ef o r c c a s t e d 仃a 伍c f i n a l l y ， w ed e t e c t 仃a f ! f i c 鲫o m a l yu s i n gn e 御o r k w i d ec o r m l a t i o n 锄a l y s i so na l lo b t a i n e d f b r e c a s t e de r i d rn 椭c t h es i m u l a t i o nr e s u hs h o w st l l a lt i l i sm e m o dc a nd e t e c tt h e 锄o i n a i yw l l i c h c a i l tb cd e o e c t e db ys o i n en e t w o r k w i d c 仃a f ! f i c 锄o m a l yd c “ c t i o n m e t h o d k e y w o r d ：a n o m a l yd e t c i c t i o n ，s e l f - s i m i l 缸m o d c l ，i n f i i l i t e l yd i v i s i b l ec a s c a d e sm o d e l ， a r m am o d e l ，n e 铆o r k w i d cc o 盯e l 砒i o na n a l y s i s 图例 图例 图2 1 滑动时窗的示意图2 2 图2 2 模拟d d o s 攻击的仿真拓扑2 3 图2 3 第一种情况下的流量信号2 3 图2 4 第二种情况下的流量信号2 4 图2 5 第三种情况下的流量信号2 5 图2 6 第一种情况下的日值估计图2 6 图2 7 第二种情况下的日值估计图2 7 图2 喝第三种情况下的日值估计图2 7 图3 一l 业务量序列的w n n i 估计的l i i z l n z 图3 8 图3 2 基于层叠模型的网络流量异常检测流程4 0 图3 3 加入低频攻击时第一个检测点处的中间仿真实验结果图4 2 图3 4 加入高频攻击时第一个检测点处的中间仿真实验结果图4 3 图3 5 加入中频攻击时第一个检测点处的中间仿真实验结果图4 4 图3 6 加入低频攻击时基于滑动时窗的仿真实验结果图4 5 图3 7 加入高频攻击时基于滑动时窗的仿真实验结果图4 5 图3 8 加入中频攻击时基于滑动时窗的仿真实验结果图4 6 图4 一l 基于全局的多流量相关异常检测模型4 9 图4 2 计算相关系数的时窗和滑动时窗5 7 图4 3 注入攻击的6 条流量在注入前后的比较5 8 图4 4a b i l e n e 骨干网网络拓扑结构图5 9 图4 5 注入攻击前后的相关系数6 0 图4 6 用基于p c a 方法所得到结果6 1 简略字表 a r d d o s d o s d w t f b m a r m r a f g n 脓 丑匆辎i m e e i d c 玎) d n l r d 氓a o d p c a c 、t s s s 鸭s r t t u d w | t 聃，a d e s 、) l ，1 嘲 s r d 简略字表 a m 0 r e g 陀s s i v ei n o d e l d ! i 蛐 b u t e dd e n i a lo fs e n ，i c e d e n i a lo fs e r v i c e d i s c r e t ew a v e l e t1 r a n s f o 衄 f i a c 6 0 n a lb r o w n i a nm o t i a u t o r e g r e s s i v em o v i i l g a v e 阮g em o d e l f r a c t i o n a lg a u s s i a nn o i s e s e l f _ s i m i l 缸w i t h 日 s e l f - s i i i l i l a rw i t hs t a t i o n a r vi n c r c n l e n t sw i t h 日 m a 】【i m u ml j k e l i h 0 0 de s 血n a t i o n h f i n i t e l vd i v i s i b l ec 丛c a d e s h 丘i l i t e i vd i v i s i b l ed i s t r ! i b u t i o n m o v i n g - 钾e r a g em o d e l k m 哥r 孤g ed e p e n d e n c e m u l t i r e s o l u t i d na n a l v s i s 0 r i 舀n d 燃血a t i o n p r i n c i p a lc 0 m p o n e n ta n a l y s i s c o n t i n u o u sw a v e l c t1 h n s f o 咖 s 砸c t - s e n s es t a t i o n a r v w i d e s e n s es t a t i o n a r v “m n d 仃i pt i m e u n d e c i m a t e dd i s c r e t ew j v e l e tt r 柚s f b 咖 w a v e l e tb a s c da c c a c kd e t e c t i o ns i g n a ：t l l r e s w a v e l e tt 】m s f o 皿m o d u l u sm a x j m s h o nr a n g ed e p c n d e n c e 自回归模型 分布式服务拒绝 服务拒绝 离散小波变换 分数布朗运动 自回归滑动平均模型 分数高斯噪声 日参数自相似 有平稳增量的日参数 自相似 最大似然估计 无穷可分层叠 无穷可分分布 滑动平均模型 长程相关 多分辩分析 源一目的地 主成分分析 短程相关 严格平稳 广义平稳 往返时间 非抽取离散小波变换 基于小波的攻击检测 签名 小波变换模极大 短程相关 独铷性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：压j 达；玺 日期：如曰年占月1 1 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名： 导师签名：当煎垒邋 日期：? 。吖年6 月f f 日 第一章绪论 1 1 研究目的和意义 第一章绪论 网络流量异常指的是网络的流量行为偏离其正常行为的情形，引起网络流量 异常的原因是多种多样的，例如网络设备的不良运行、网络过载、恶意的d d o s ( d i s 缸i b u t e d d e n i a l0 f s e n ，i c c ，简称d d o s ) 攻击、网络入侵等。异常流量的特点 是发作突然，先兆特征未知，可以在短时闫内给网络或网络上的计算机带来极大 的危害( 例如由特定的攻击程序或蠕虫爆发所引起的突发流量行为) ，因此准确、 快速地检测网络流量的异常行为，并做出合理的响应是保证网络有效运行的前提 之一。传统的网络安全技术侧重于企业用户网络的系统入侵检测、防病毒软件或 防火墙，这类安全措施通常并不能检测到运营商网络中的非正常流量行为，对于 企业用户网络的许多异常行为和流量也难以准确地检测和识别。为了及时地检测 网络中的异常流量，减少或消除用户所遭受的各种网络危害，网络与路由交换设 备需要具备对异常流量的检测与识别的能力，并采用一定的干预规则，比如限制 来自某些网络地址的流量或者降低来自某一端口地址的带宽，从而对这些非法流 量进行抑制或者拒绝，为进一步的异常识别和寻找异常产生的原因奠定基础。 通常情况下，路由器尤其是主干网络路由器数据流量都是很大的，并且处于 不断变化中，而异常流量相对于正常流量来说是很小的，甚至相对于正常流量的 变化来说也是很小的。网络流量异常检测的最终目标是要从相对很大且处于不断 变化的正常流量中，检测到相对很小的异常流量( 可以说是“大海捞针”) ，而且 要满足实时性的要求，因而其系统设计和实现的难度很大。这也使得网络流量异 常检测成为目前学术界和工业界共同关注的前沿课题之一。 1 2 网络流量异常检测 1 2 1 基本概念 网络流量异常指的是网络的流量行为偏离其正常行为的情形。引起网络流量 异常的原因多种多样，例如网络设备的不良运行，网络过载以及恶意的网络攻击 电子科技大学硕士学位论文 和入侵等等。这些异常事件通常都会扰乱网络流量的正常行为模式。因此，网络 流量异常检测的关键是首先要对正常的流量行为模式有一个清晰的理解。为了描 述网络流量的正常行为，研究者使用了很多的方法，比如信号处理的方法，智能 推理的方法以及业务量建模的方法等等。通常，研究者在利用有关方法对网络流 量的正常行为模式进行描述时，都会提出一系列的特征参数来表征。然后通过研 究异常流量对这些特征参数的影响，从而提出有关的检测模型来检测流量异常。 网络环境的变化，比如新设备的加入，在网络上运行新的应用服务，网络拓扑结 构的改变，会直接或是间接地影响到网络中流量行为的变化。因此，这就需要网 络流量异常检测模型不断地更新和修正对网络流量正常行为的已有认识从而适应 复杂变化的网络环境。总之，网络流量异常检测是首先对网络流量的正常行为做 出描述，再监涣0 网络的当前流量行为是否偏离其正常行为的过程。 1 2 2 网络流量异常分类 根据引发网络流量异常的原因，网络流量异常通常可以分为如下三类”j ： 第一类：网络操作异常( n c t w o r ko p 町a t i o na i l o m a l i e s ) 。从直观上看，网络操作 异常通常会伴随着流量在比特速率( b “r a t e ) 上陡峭的，几乎是瞬时的变化。变化 后的流量比特率较以前有一个比较大的上升或是降低，并且这种变化将一直持续 到异常的结束。引发网络操作异常的原因有很多，比如网络设备暂时停止运转 ( n e 时o r kd e v i c eo u t a g e ) 所导致的异常，网络环境配置的改变( 例如，在网络中增 加新的设备或者进行网络限速) 所引起的网络行为变化从而导致的异常以及网络 过载所引起的异常等。 第二类；突发访问异常( n a s hc r a w d 粕o m a l i e s ) 。突发访问异常通常会伴随着 某种特定类型业务量流的快速增长，或是到某个知名站点的业务量流的迅速增加 但随着时间的推移这些业务量流会逐渐减少等这些特征。引起突发访问异常的原 因有网络中某个站点发布某种新版流行软件( 比如r e d h a tl i n u x ) 或是某个新闻 门户网站发布一条重要的新闻所引起的大量用户的登录查看等。 第三类：网络滥用异常( n e 铆o r ka _ b u s e 锄o m a l i e s ) 。网络滥用异常指的是网络 中的用户恶意地使用网络资源( 例如链路带宽，路由器处理能力，服务器处理能 力等) 以及胁持网络中有漏洞的站点进行违法犯罪活动所引起的异常。网络滥用 异常对网络安全以及网络的有效有秩序运行构成了巨大的威胁。当网络滥用异常 发生时，它并不象前面所述两种异常那样，网络中的流量在比特速率( b “r a t e ) 或 2 第一章绪论 是分组速率( p a c k e tr 如) 上总是有明显的变化。但是，由于有些网络滥用异常会使 用到很多不同的i p 地址端口对，因此将网络中的流量描述为i p 流级( 口n o w l e v e l ) 数据时，网络滥用异常还是会在流量上出现比较大的升高现象。分布式拒绝服务 ( d i s n j b u t e d d e i l i a lo f s e n ，i c e ，简称d d o s ) 攻击是这一类型异常中的典型代表圆， 此外，端口扫描( p o n 锄i n g ) 也属于这类异常。 1 3 网络流量异常检测研究概况 1 3 1 国内外研究与发展现状 本文将现有的网络流量异常检测研究方向大体上分为三类：第一类是利用信 号处理方法来发现流量异常，本文将这一类方法称为基于信号处理的流量异常检 测方法；第二类是建立网络流量模型来精确刻画流量变化，以此为基础发现异常 流量，本文将这一类方法称为基于业务量建模的流量异常检测方法：第三类是采 用智能推理方法来分析发现异常流量，本文将这一类方法称为基于智能推理的流 量异常检测方法。以下，本文将分别对这三类研究方向进行分析讨论。 1 。3 。1 1 基于信号处理的流量异常检测方法 本类方法是目前网络流量异常检测方法研究的主流，受到的重视最多。该类 方法大致又可分为两类：一类是单时间序列分析方法，另一类是多时间序列分析 方法。所谓单时间序列分析方法是将一条链路的流量信号看作一个一维信号，采 用一维信号分析方法进行流量异常检测( 也有个别方法将一维信号分解成二维信 号进行分析) ；所谓多时间序列分析方法是将多条链路的流量信号或是多个o d 流 ( o r i 咖一d e s t i n a t i o nn o w ) 信号看作一个二维信号，采用二维信号的分析方法进行 具有全局意义的流量异常检测。 ( 1 ) 单时间序列分析 本文将单时间序列分析方法大体上分为两类：一类是时间域的分析方法，另 一类是时频域的分析方法。 在时间域的分析方法中，基于统计分析的流量异常检测方法是其中最常用的 方法之一。随着网络环境的变化，网络的正常流量行为模式也会随之发生变化。 基于统计分析的流量异常检测方法通过在线学习和统计分析来持续跟踪到网络中 的正常流量行为，继而可以对网络中的异常流量进行检测。例如，m 碰n at h o t t a n 等口l 在单个路由器节点上收集三个s m v 皿变量的数据来形成三个流量序列，并在每 电子科技大学硕士学位论文 一个流量序列上定义了两个相邻的滑动时窗：学习窗口( 1 e a r i l i n gw i n d o w ) 和检验 窗口( t e s tw i i l d o w ) 。在检测流量异常时，对上述每一个时窗中的流量序列分别使用 一阶自回归模型得到各自的残差( r e s i d u a l s ) ，通过比较这两个残差的方差来获得一 个描述该流量序列异常情况的异常指示值。这样，由三个流量序列就可以获得三 个异常指示值。最后，由三个异常指示值所得到的融合值，就可以检测到网络中 是否存在流量异常。此外，p b a m l r d 等在文献【4 】中提到的计算滑动时窗中的偏离分 数( d e v i a t i o ns c o f e ) 来进行网络流量异常检测的方法也属于此类。 随着网络技术和网络体系结构的发展，网络流量异常的种类越来越多，异常 的特征越来越复杂，单纯的时间域分析已不能完全满足流量异常检测的需要。因 此，近年来时频域的分析方法开始受到人们广泛的重视，目前已提出的该类方法 主要包括：频谱分析方法、小波分析方法和魏格纳一维利分布检测方法等。 频谱分析方法：首先利用傅立叶变换将时域的流量信号转换到频率域，然后 在频率域对流量信号进行分析检测。例如，c h 吼一m o uc h e n g 【5 1 等发现在正常的t c p 业务流中，由于分组传递往返时间( r o u n d 嘣pt i m e ，简写为r t t ) 的存在，将 其变换为功率谱会显示出周期性，而攻击业务流却通常不具有这一特性。因此， 利用这一特性，我们可以识别比较难检测到的d d o s 攻击流量，继而对其进行限 速或者是丢弃，与此同时又可以对正常的业务流进行服务。 小波分析方法；2 0 0 1 年v a l a f c o n a q u m o 等【6 l 提出了一种基于 u d w t n d e c i m a t t 蛆d i s c r e t e w 打e l e tt r a i l s f o 肌，简称u d w t ) 和贝叶斯分析的网络 流量异常检测算法。该算法通过检测对原始流量序列进行分解后所得到的各个解 析度级的小波系数，能够定位给定流量序列在方差和频率上的平坦和陡峭的变化； a n ur 锄a i l a t h 强提出了一种基于小波分析的w a d e s ( w a v e l e tb a s e da t t a c k d e 魄t i o ns i g n a t u r c s ，简称w a d e s ) 机制【7 】来检测d d o s 攻击，其基本思想是对流 量信号做小波变换得到小波系数，然后对得到的小波系数直接计算方差判断攻击 点；p b a 响r d 等【4 】提出了一种把网络流量进行多尺度二进小波分解，并选择相应尺 度重构综合成高、中、低三个频段，然后分别用偏离分数( d e v i 撕o ns c o 化) 进行 检测的流量异常检测方法。实验证明，在非实时的情况下，该方法能够很好的检 测出过去一段时间内发生的突发访问( n a s hc r o w d ) 和短期异常( s b 嘲七r i n 柚o m a l i e s ) ；s e o n gs o ok - 唧等也提出了一种通过使用离散小波变换( d i s c r e t e w a v e l e tt r a i i s f o 咖，简称d w t ) 分析在边界路由器中外出流量目的口地址的相关 性来进行流量异常检测的技术【8 】。该技术可以事后或者实时的检测出外出网络流量 中存在的异常。 4 第一章绪论 魏格纳一维利( w i g n e r - u e ) 分布：单纯的时域分析或频域分析都仅从一个侧 面( 时间域特征或频率域特征) 对流量信号进行了分析，不能全面反映流量信号 的异常变化。孙钦东和张德运等人【9 】用魏格纳一维利分布对流量信号进行变换，获 得了在时间和频率二维平面内的波动能量分布，可以同时进行时间域和频率域的 分析，实现了d d o s 攻击的自动检测。 ( 2 ) 多时间序列分析 该类方法以通过简单测量而得到的多个链路流量数据( 例如s 旧数据) 或是 以网络层析成像( n e 附o r kt o m o 莎a p b y ) 【1 川获得的多个o d 流为基础来构成一个描 述全局网络流量状态的多时间序列，然后再将这个多时间序列作为一个整体来进 行全局网络流量的异常检测研究。该类方法的突出优点有两个：第一个是可以突 出许多在单时间序列分析下无法检测到的异常；第二个是单条链路的流量时间序 列信号所包含的信息量十分有限，无法根据其异常变化的情况，判断引起异常的 原因( 即异常识别) ，而多时间序列包含的信息量十分丰富，可以作为进一步进行 异常识别的基础。 由于网络中存在着大量的链路或是o d 对( o r i g 纽，d c s t i n a t i p a i r s ) ，多时间 序列分析方法面临到高维分析的困难。针对该问题，a i a k h i n a 等提出了使用主成 分分析( p 血c i p a lc 伽叩o n e n ta n a l y s i s ，简称p c a ) 方法来将度量网络流量的多个 o d 流所构成的高维空间进行降维，并根据由此而得到的主成分来构造出一组本征 流( e i g e n n o w s ) 。这组本征流可以捕获到网络中所有o d 流所共有的一组时域变化 特性，从本质上说明了可以使用较少的维数来比较准确地逼近多个o d 流所构成 的高维流量空间】。他们还对多个链路流量所构成的高维空间进行主成分分析切， 构造出一组能够捕获到网络中所有链路流量所共有的一组反映时域变化特性的向 量，把这个向量组划分为分别对应于正常流量变化和异常流量变化的两个向量组。 利用这两个向量组，可以分别构造对应于正常网络流量情形和异常网络流量情形 的两个子空间。要检测某时刻是否存在流量异常时，首先将该时刻网络中所有链 路流量值所构成的状态向量投影到这两个子空间中，分别得到建模流量( m o d e l c d 垃a 蚯c ) 部分和残差流量( e s i d u a l 仃a m c ) 部分，然后再对残差流量部分进行检测。此 外，该文献还进一步做了流量异常的识别和量化的研究工作，均得到了比较好的 初步结果。 1 3 1 2 基于业务量建模的流量异常检测方法 研究者已经发现，在正常的网络业务量中，对某一特定的节点而言，来自大 电子科技大学硕士学位论文 量不同数据源的数据之间通常不具有时间和分组特征( 比如协议类型，分组尺寸) 方面的相关性，当异常( 比如d d o s 攻击) 发生时，大量邻近的分组段之间在时 间和分组特征上具有某种特定的相关性。正是这种相关性的变化，将会导致其流 量模型的相关参数的变化，从而利用业务量建模分析的方法可以将异常的业务量 和正常的业务量区分开来。 ( 1 ) 基于自相似模型( h u r s t 系数) 的流量异常检测方法 自相似模型用一个自相似参数日来描述流量的统计自相似程度。研究者提出 了许多自相似的检验与估计方法，其中著名的有：绝对值法、方差作图法、e 淤作 图法、周期图方法、w h i t t l e 估计量方法以及小波分析方法等。m u 等i ”】用数学方 法证明了h u r s t 系数的改变可以用于检测攻击，但是条件是有正常流量信号的精确 模板。随后，向渝博士【1 4 】提出了一种根据网络流量自相似参数日的方差变化来判 断d d o s 攻击的方法。最近，任勋益等旧提出当发生d d o s 攻击时，攻击数据包 将阻塞网络中正常的t c p 数据包的传输，从而导致网络流量的自相似性会降低， 即自相似参数日值将有较为明显的下降。根据这一现象，他们提出了通过检测网 络流量的自相似参数日是否低于某一门限值来检测d d o s 攻击的方法。该方法的 优点是可以事先不需要数据包的特征匹配就可以检测出d d o s 攻击。同时，区别 于基于特征匹配的检测方法和一般的基于自相似的检测方法，由于使用了小波分 析来计算网络流量的自相似日参数，该方法能相对准确地将d d o s 攻击同繁忙业 务给区分开来。 ( 2 ) 基于多分形模型和层叠模型的流量异常检测方法 近年来的研究发现，网络业务量特别是t c p 业务量并不能用自相似来完整概 括，小时间尺度应该用多分形来刻画；研究还发现多分形模型也不能准确地刻画 网络业务量的变化，而层叠模型能将大尺度上的自相似长程相关( l 0 n gr a n g e d e p e n d e n c c ，简称l r d ) 和小尺度上的多分形统一起来，从本质上揭示整个尺度 范围内尺度伸缩特性的联系。如果能够用层叠模型的模型参量来判定流量异常， 则相当于从更广泛的概念上来分析检测流量。对于将层叠模型用于异常检测，本 文研究了流量异常对层叠模型特征的影响，选择层叠模型的判定条件作为检测依 据，提出通过计算拟合直线的累积偏移量进而计算异常判别统计量的方法来实现 基于层叠特征的流量异常检测。 1 3 1 3 基于智能推理的流量异常检测方法 基于智能推理的流量异常检测方法包括有限状态机，模式匹配等方法。 6 第一章绪论 有限状态机模型通过一系列异常事件发生过程中或发生以前的预警序列来检 测异常行为1 1 6 l 【切。它的缺点是：因为所有的异常错误都可以通过一定长度的有限 状态机预警序列来捕获，这就有可能导致状态的数量随着异常模型的数量和复杂 度而增加，从而需研究的参数也随之增加。 模式匹配方法通过在线学习建立给定网络的正常流量行为模式( 该流量行为 模式参数一般包括链路利用率、分组丢失率等) 。然后再按照时间分类，比如一周 中的每天、特殊日子( 周末、假期) 等。如果由待检测的流量数据所得到的流量 行为模式参数不能在一定的置信区间内匹配这些流量行为模式，那么我们就认为 此时网络中流量出现了异常。模式匹配方法的缺点是，流量异常检测的准确性严 重依赖于已有的网络流量行为模式数据；在正式投入使用前，需要花大量的时间 建立正常网络流量行为模式数据库f l 毋 ”。 1 3 2 进一步提高网络流量异常检测方法性能的途径 经过许多研究者多年的努力，网络流量异常检测方法的研究已经取得了长足 的发展，但在异常流量行为和正常流量行为的本质特征认识上还不足，提出的流 量异常检测算法在检测率、误检率、漏检率以及实时性方面，仍然不能满足实际 要求。总结起来，本文认为现有网络流量异常的检测和识别方法可以在如下五个 方面做进一步的研究。 ( 1 ) 充分利用现有网络业务量建模的最新研究成果。现有基于业务量建模的流 量异常检测方法还停留在自相似模型阶段，而自相似模型描述网络业务量比较简 单，其以一个胃参数来描述流量序列的尺度伸缩特性。在大时间尺度条件下，该 模型可以比较好地描述局域网业务量和广域网业务量中的长程相关自相似业务 量特征。但正是由于它的简单性，使得它不能很好地描述业务量中小时间尺度行 为的复杂性。近期的研究表明，业务量在小时间尺度上的行为复杂性应该用多分 形来刻画。多分形不同于自相似模型，它使用一组尺度指数取代自相似中单一的日 参数来刻画业务量序列中的尺度伸缩特性，较自相似模型更为贴近真实业务量。 最近，经大量的网络业务量数据的测量分析，研究者又发现“层叠( c a s c a d 酷) ” 概念能很好地描述其不同时间尺度问的关系。因而引入了层叠模型将大时间尺度 上的长程相关自相似和小时间尺度上的多分形统一起来，从本质上揭示整个尺度 范围内尺度伸缩特性的联系。因此，层叠模型的特征参数应更能完整地刻画流量 特性，从而使用该类参数作为流量异常是否发生的判据会更加可靠，更加准确。 7 电子科技大学硕士学位论文 由此可见，网络业务量建模理论的研究己从原有的自相似模型研究，发展到多分 形模型和层叠模型的研究，而相应的流量异常检测方法还停留在自相似模型阶段， 因此有必要开展利用多分形模型和层叠模型来进行网络流量异常检测的研究。在 本文的第二章中，我们将研究不同自相似性的异常流对正常流的影响，在第三章 中，我们将提出一种基于层叠模型的流量异常检测方法。 ( 2 ) 将多时间序列分析技术应用于全局网络流量异常检测的研究之中。现有的 网络流量异常检测方法大都以单点或某个局部网络为核心实施对网络流量的监 控，通过分析一维信号的异常变化来检测网络流量异常。但今天的网络所面临的 安全威胁是多种多样的，网络流量异常检测机制所面临的管理和监控问题也必然 是多种多样的，某些网络异常行为并不表现为单条链路的流量异常。如果我们将 多个流量信号作为一个整体来进行研究，也就是多时间序列分析时，流量异常也 许就会更加明显的显现出来；同时单条链路的流量信号由于包含的信息量有限， 无法根据其异常变化情况，判断引起异常的原因( 即异常识别) ，而多时间序列所 包含的信息量十分丰富，可以作为进一步进行异常识别甚至是量化异常大小的基 础。但是，现在这方面的研究还比较少。本文认为，基于多时间序列分析的上述 诸多优点，该方向是今后流量异常检测研究进一步的发展方向。在本文第四章中， 研究了强相关异常( 比如d d o s 攻击) 对多个0 d 流量的影响，提出了一种基于 全局的多流量相关异常检测方