（计算机科学与技术专业论文）基于信息熵的异常流量分布式检测方法的研究.pdf

r e s e a r c ho nd i s t r i b u t e dd e t e c t i o nm e t h o do fa n o m a l y t r a f f i c sb a s e do ne n t r o p y at h e s i ss u b m i t t e dt o d a l i a nm a r i t i m eu n i v e r s i t y i np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t sf o rt h ed e g r e eo f m a s t e ro fe n g i n e e r i n g b y z h u a n gf a n g y i ( c o m p u t e r s c i e n c ea n d t e c h n o l o g y ) t h e s i ss u p e r v i s o r ：p r o f e s s o rl iz h i h u a i j u n e2 0 1 1 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果， 撰写成硕士学位论文= = 基王信皇埴的显堂速量盆查益捡测友选的硒窥： 。除论 文中已经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均已在 文中以明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体已经 公开发表或未公开发表的成果。本声明的法律责任由本人承担。 学位论文作者签名： 盘兰尘邋 学位论文版权使用授权书 本学位论文作者及指导教师完全了解大连海事大学有关保留、使用研究生学 位论文的规定，即：大连海事大学有权保留并向国家有关部门或机构送交学位论 文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将本 学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫 描等复制手段保存和汇编学位论文。同意将本学位论文收录到中国优秀博硕士 学位论文全文数据库( 中国学术期刊( 光盘版) 电子杂志社) 、中国学位论文全 文数据库( 中国科学技术信息研究所) 等数据库中，并以电子出版物形式出版发 行和提供信息服务。保密的论文在解密后遵守此规定。 本学位论文属于：保密口在年解密后适用本授权书。 不保密酬( 请在以上方框内打“4 ，) 论文作者签名：在荔议 导师签名 日期：o 口1 年6 月弓口e l 中文摘要 摘要 随着互联网技术的快速发展以及网络规模的日益扩大，计算机网络的开放性、 共享性以及相互性，在很大程度上给人们提供了方便，但与此同时我们也要面临 着各种各样的网络安全问题。异常检测作为网络的安全防护体系已经逐渐成为网 络安全领域的研究重点。网络流量异常分析是异常检测中的关键部分，准确、及 时地检测出异常对提高网络的可用性和可靠性具有非常重要的意义。 本文首先对现有的网络异常流量检测方法进行分析与研究，可知每种方法都 有其各自的特点与适用范围。结合各种异常攻击的特点，针对网络中维数多，速 度快的大量数据流量，现有的基于时间序列的统计分析和基于信号的小波分析对 这类数据的处理能力有限，需要一种简单高效的异常流量检测方法，快速并精确 地检测出异常。 本文提出了一种基于信息熵的异常流量分布式检测方法。以o d 流链路级别 流量为检测对象，引入信息熵理论，根据流量特征属性提取流量数据，形象地通 过信息熵反映出流量特征值的变化情况；然后结合统计学中的主成分分析方法和 子空间方法对流量数据进行预处理，并分离出异常点；最后根据对网络攻击特点 与性质的分析，使用k - m e a n s 动态聚类方法将异常流量分类，从而实现对网络流 量异常的分布式检测。 本文通过模拟实验，对比集中式异常检测方法，应用基于信息熵的异常流量 分布式检测方法，操作简单，处理时间短，可以有效地发现异常流量，并且能很 好的将发生的异常进行分类，漏报率和误报率也较低，在一定程度上提高了对网 络流量异常的检测和分类的能力，为实际的分布式异常检测系统设计提供了有价 值的参考。 关键词：信息熵；异常流量；子空间方法；k - m e a n s ；分布式 英文摘要 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n t e m e tt e c h n o l o g ya n dt h ee x p a n s i o no fn e t w o r k s i z e ，t h eo p e n n e s s ，s h a r i n ga n dm u t u a l i t yo ft h ei n t e r a c t ，t oag r e a te x t e n t , p r o v i d eu s 谢t hc o n v e n i e n c e b u ta tt h es a m et i m e ，w em u s tc o n f r o n tw i t ha l ls o r t so fn e t w o r k s e c u r i t yp r o b l e m s a n o m a l yd e t e c t i o na st h en e t w o r ks e c u r i t yp r o t e c t i o ns y s t e mh a s g r a d u a l l yb e c o m et h er e s e a r c he m p h a s e si nt h en e t w o r ks e c u r i t ya r e a n e t w o r ka n o m a l y t r a f f i c sa n a l y s i si sak e yp a r to ft h ea n o m a l yd e t e c t i o n ，d e t e c t e da b n o r m a la c c u r a t e l y a n dt i m e l yo ni m p r o v i n gn e t w o r ka v a i l a b i l i t ya n dr e l i a b i l i t yh a st h ee x t r e m e l yv i t a l s i g n i f i c a n c e f i r s to fa l l ，t h ep a p e rm a k e ss o m ea n a l y s e sa n dr e s e a r c h e st ot h ee x i s t i n gn e t w o r k a n o m a l yt r a f f i c s d e t e c t i o nm e t h o d s ，e a c hm e t h o dh a si t so w nc h a r a c t e r i s t i ca n d a p p l i c a b i l i t y a c c o r d i n gt ol a r g en e t w o r kt r a f f i cd a t a 埘t l ld i m e n s i o n sa n dr a p i ds p e e d ， a n dt h ec h a r a c t e r i s t i c so fv a r i o u sa b n o r m a la t t a c k s ，w h i l et h ea v a i l a b i l i t yo ft h ee x i s t i n g s t a t i s t i ca n a l y s i sb a s e do nt i m es e q u e n c ea n dw a v e l e ta n a l y s i sb a s e do ns i g n a ld e a l i n g w i t ht h i sk i n do fd a t aa b i l i t yi sl i m i t i ti sn e c e s s a r yt h a tas i m p l ea n de f f e c t i v ea n o m a l y a n a l y s i sm e t h o dd e t e c ta b n o r m a l i t i e sq u i c k l ya n da c c u r a t e l y t h i sp a p e rp r o p o s e sad i s t r i b u t e dd e t e 圮 t i o nm e t h o do fa n o m a l yt r a f f i c sb a s e do n e n t r o p y i tu s e so df l o wl i n kl e v e la st e s to b j e c ta n di n t r o d u c e se n t r o p yt h e o r y , w h i c h e x t r a c t sf l o wd a t aa c c o r d i n gt of l o wf e a t u r ea t t r i b u t e ，a n dr e f l e c t st h ec h a n g e so ft h e f l o wc h a r a c t e r i s t i cv a l u e t h e n ，t h ep a p e rp r e p r o c e s st h et r a f f i cd a t au s i n gt h ep r i n c i p a l c o m p o n e n ta n a l y s i sm e t h o d sa n ds u b s p a c em e t h o d sc o m b i n e d , i nt h em e a n w h i l e ，t l l e y s e p a r a t eo u tt h ea b n o r m a lp o i n t s f i n a l l y , k - m e a n sd y n a m i cc l u s t e r i n gm e t h o dw i l l c l a s s i f yt h en e t w o r ka n o m a l yt r a f f i c sa c c o r d i n gt oa n a l y s i n gt h ec h a r a c t e r i s t i c so f n e t w o r ka t t a c k s ot h i sm e t h o dc a na c h i e v et h ed i s t r i b u t e dd e t e c t i o no fn e t w o r kt r a 伍c a n o m a l y n e r e s u l t , w h i c hh a sb e e nt u r n e do u tb ym a n ys i m u l a t e da t t a c k sa n dc o n t r a s t i n g c e n t r a l i z e da n o m a l yd e t e c t i o nm e t h o ds h o w st h a tu s i n gt h ea b n o r m a lf l o wd i s t r i b u t e d d e t e c t i o nm e t h o db a s e do ne n t r o p yc a l le f f e c t i v e l yd i s c o v e rt h ea b n o r m a lt r a f f i ca n d m a k eag o o dd i s t i n c t i o nb e t w e e nt h ed i f f e r e n ta b n o r m a lf l o w m sm e t h o d ，w h i c h o p e r a t i o ni ss i m p l e ，t h ep r o c e s s i n gt i m ei ss h o r t , i nt h em e a n w h i l e ，i th a st h el o w e rf a l s e 英文摘要 n e g a t i v er a t ea n df a l s ea l a r mr a t e t os o m ee x t e n t , t h em e t h o dp r o p s e di nt h i sp a p e r i m p r o v et h en e t w o r ka n o m a l yt r a f f i c sd e t e 贮t i o na n dc l a s s i f i c a t i o na b i l i t ya n dp r o v i d e t h ev a l u a b l er e f e r e n c ef o rd e s i g n i n ga c t u a ld i s t r i b u t e da n o m a l yd e t e c t i o ns y s t e m k e yw o r d s ：e n t r o p y ) a b n o r m a lt r a f f i c ) s u b s p a e em e t h o d ；k - m e a n s ) d i s t r i b u t e d 目录 目录 第1 章绪论1 1 1 网络安全概述1 1 2 课题背景和意义1 1 3 作者工作和论文组织结构2 第2 章网络流量异常检测技术4 2 1 网络流量异常分类4 2 1 1 网络故障引起的异常。4 2 1 2 瞬间大量访问异常。4 2 1 3 网络攻击异常4 2 2 网络流量异常检测分类9 2 2 1 时间域分析方法9 2 2 2 频域分析方法9 2 2 3 时频域分析方法l o 2 3 网络流量异常检测的主要方法1o 2 3 1 异常检测模型1 0 2 3 2 几种典型异常检测方法1 1 2 4 网络流量异常检测方法的总结与分析1 4 2 5 本文方法15 第3 章信息熵理论和标准子空间方法的研究1 7 3 1 信息熵1 7 3 1 1 信息熵的定义1 7 3 1 2 信息熵在异常检测中的应用1 7 3 2 主成分分析法p c a 19 3 2 1 主成分分析法的基本思想1 9 3 2 2 主成分分析法的主要目的2 0 3 2 3 主成分分析法的基本原理2 0 3 2 4 主成分分析法的计算步骤2 1 3 3 标准予空间法2 3 3 4 小结2 5 第4 章基于信息熵的异常流量分布式检测模型建立。2 6 4 1 分布式方法的特点2 6 目录 4 2 分布式方法的基本思想2 7 4 2 1o d 流的相关性2 7 4 2 2 动态聚类算法一2 9 4 2 3k - m e a n s 分类方法3 0 4 3 分布式方法的操作步骤3 1 4 3 1 信息熵指标的选取3 l 4 3 2 熵值计算方法3l 4 3 3 数据预处理3 2 4 3 4 异常检测与分类3 3 4 4 基于信息熵的异常流量分布式检测模型3 3 4 5 小结3 5 第5 章实验与分析3 6 5 1 网络流量采集技术- n e t f l o w 。3 6 5 1 1n c t f l o w 简介3 6 5 1 2n e t f l o w 框架结构。3 6 5 1 3n e t f l o w 流信息格式。3 7 5 2 网络流量数据的提取3 9 5 3 实验环境的搭建4 0 5 4 模拟攻击4 3 5 5 实验分析4 5 5 5 1 检测率与误报率分析5 0 5 5 2 异常分类分析5 3 5 5 3 时间复杂度的分析5 4 5 6 实验小结5 5 第6 章总结与展望5 6 6 1 总结5 6 6 2 展望5 6 参考文献5 8 致谢6 3 基于信息熵的异常流量分布式检测方法的研究 第1 章绪论 1 1 网络安全概述 由于互联网络的发展与信息化的深入，计算机网络在经济和生活的各个领域 正在迅速普及，整个社会对网络的依赖程度越来越大。2 0 11 年1 月1 9 日，中国互 联网络信息中一凸, ( c n n i c ) 在京发布了第2 7 次中国互联网络发展状况统计报告。 报告显示【1 1 ，截至2 0 1 0 年1 2 月，中国网民规模达到4 5 7 亿，手机网民3 0 3 亿； 互联网普及率攀升至3 4 3 ，较2 0 0 9 年提高5 4 个百分点。互联网络已经成为社 会和经济发展的强大动力，是信息与资源共享的纽带，为人类提供了良好的交流 与服务平台，其地位越来越重要。事实上，资源共享和安全历来是一对矛盾。正 是由于互联网络的开放性、交互性和分散性，使得网络安全问题日益突出。 近年来借助网络发生的入侵攻击事件不断增加，网络安全问题以爆炸性方式 增长，根据c e r t c c 的统计【2 】，安全事件由1 9 9 4 年的2 3 4 0 件增加到2 0 0 3 年的 1 3 7 5 2 9 件，五年内信息的窃取事件以2 5 0 的速度增长，9 9 的大公司都曾被攻 击或入侵。世界著名的商业网站，如y a h o o 、b u y t o m 、e b a y 、a m a z o n 、c n n 都 被入侵者攻击过，导致巨大的经济损失，特别是冲击波、s q l 杀手及其各种变种 的蠕虫事件，此外，全球范围内的多起大规模安全事件频繁发生，造成了相当严 重的影响和损失。据美国f b i 统计，美国每年网络安全问题所造成的经济损失高 达7 5 亿美元。而全球平均每2 0 秒钟就发生一起i n t e m e t 计算机入侵事件【3 1 。因此， 了解网络面临的各种威胁，防范和消除这些威胁，实现真正的网络安全已经成为 网络发展中最重要的事情。 1 2 课题背景和意义 目前网络安全形势越来越严峻，网络滥用、网络设备异常以及木马、蠕虫病 毒、d o s d d o s ( 拒绝服务分布式拒绝服务) 攻击等已经成为互联网的主要威胁【4 1 。 其中一种主要的网络滥用方式是利用网络邮件服务所存在的漏洞，发送大量垃圾 邮件，使服务器无法提供正常的邮件业务服务。近几年来d d o s 攻击也成为了一 种极具破坏力的攻击方式。病毒的变异和泛滥，造成了网络资源的浪费，甚至不 第1 章绪论 能提供正常的网络服务。同时，病毒与黑客攻击技术的结合，不但给社会和人们 的生产生活带来不便，而且对经济的发展与国家的进步也造成了阻碍。因此从网 络安全角度出发，准确、快速地检测出网络流量的异常行为，并做出合理的响应 是保证网络有效运行的前提之一。 网络流量异常是指当前网络流量情况与正常网络流量情况偏差较大，造成网 络性能下降、产生不良影响的网络流量模式。1 9 9 0 年，m a x i o nr a 对网络的“正 常”和“异常 给出如下定义【5 】：“正常表示某种常规或典型的模式，在一种自 然的方式下以预期的形式、状态、数量或程度表现，“正常 强调这种已经建立的 模式或标准，在一定良好的趋势基础上保持稳定的状态；而“异常 打破了这种 状态，某种程度上与这种已建立的模式存在一定偏差。在不断变化的网络环境中， “正常”行为不是保持不变的，我们应该根据对网络流量正常行为不断变化的正 确描述，分析和发现网络中可能出现的异常行为，这样不但增强了检测故障和性 能问题的能力，对网络的可靠性、实用性以及网络的服务质量的研究也具有深远 的意义。所以准确而又实时地分析并检测出网络流量的异常，将为及时响应、处 理网络异常流量提供重要的参考依据，为构建良好的网络运行环境提供有利的保 障。 随着计算机网络的日益发展，网络规模和技术越来越复杂，直接导致网络发 生问题的可能性增大，而且这些问题将会快速传播，解决问题的难度加大，只依 赖传统的网络流量异常检测方法己经不能适应当前的网络发展状况。研究一种高 效、快速、准确率高的异常流量检测方法对于网络故障的预警和网络安全都具有 极为重要的意义，本文在此前提下，提出一种切实有效的异常流量检测方法。 1 3 作者工作和论文组织结构 第l 章绪论。本章主要是对当前网络安全现状做了一定的概述，指出当前网 络安全主要面临的问题。同时提出本课题的研究背景和意义以及作者的主要工作 和论文的组织结构。 第2 章网络异常流量检测技术。本章首先根据对网络流量异常产生的多种原 因对网络异常流量进行分类；对网络扫描、网络蠕虫以及d o s 和d d o s 攻击原理 基于信息熵的异常流量分布式检测方法的研究 的特点与特性进行介绍和分析；简述了按时间与频率标准划分异常流量检测的分 类情况，分析了三类情况判断异常流量的尺度；提出异常流量检测模型的原型， 介绍了现有的网络流量异常检测的主要方法，指出现有方法的优点与不足，以及 各种方法的适用范围。 第3 章信息熵理论和标准予空间方法的研究。介绍了信息熵理论在异常流量 检测中的应用，详细阐述了统计学中主成分分析法与标准子空间法。 第4 章基于信息熵的分布式异常网络流量检测模型的建立。这种检测方法的 基本思想是：在信息熵的基础上，将o d 流链路级别的流量作为检测对象，根据 流量特征属性，利用o d 流的相关性，求出熵值序列。然后使用主成分分析法对 数据进行预处理，同时吸收子空间方法的正常和异常空间的思想，发现链路级别 的异常。最后使用k - m e a n s 分类方法对o d 流链路级别的异常进行分类，确定o d 流链路级别以及整个网络的异常发生情况。 第5 章实验与分析。根据上述章节描述的分布式检测方法，搭建实验测试环 境，实施具体的实验步骤，并与集中式的检测方法相比较，给出实验数据并进行 分析，得出结论。 第6 章总结与展望。对本文工作进行总结，并指出下一步工作的重点。 第2 章网络流量异常检测技术 第2 章网络流量异常检测技术 2 1 网络流量异常分类 网络流量异常是指网络的流量行为偏离其正常行为规范的情形。异常网络流 量会使网络性能下降，影响网络通信，造成网络阻塞，甚至会造成网络瘫痪，从 而无法进一步为用户提供服务。网络流量异常的产生有多种原因造成，总结起来 产生网络流量异常的主要原因分为三类【6 】：网络故障引起的异常、瞬间大量访问异 常和网络攻击异常。 2 1 1 网络故障引起的异常 网络故障引起的异常是指网络设备故障或者是网络上承载一些关键业务的服 务器故障，导致网络拓扑结构发生改变而引起的网络流量异常。例如，网络中有 两个核心路由器，它们共同承担与外界信息的交互转发，当其中一个路由器发生 故障后，另一个路由器则会接到更多的数据发送和接收的请求命令，导致负载过 重和网络拥塞，从而使得网络情况恶化、服务质量变差、数据丢失等等。这种情 况会使路由器端口转发的数据流量突然大幅增加，导致流量异常变大。再例如， 在一个骨干网络系统中，由于某个服务器发生故障，导致此服务器提供的某项服 务暂停，使网络流量大幅下降，导致网络流量异常减小。 2 1 2 瞬间大量访问异常 瞬间大量访问异常是指在短时间内由于对网络中某个服务器发起大量访问， 从而导致服务器过载，业务不能处理，响应不及时等情况的网络异常。这种异常 是由于用户行为的变化导致的网络流量异常。如节假日( 尤其是春节期间) 短信收发 量，会是平时的几倍、几十倍，甚至几百倍，这种预期的用户行为导致的网络异 常就属于瞬间大量访问异常。或是对某个门户网站的访问量急剧增大，其服务器 需要接收并处理的数据包数量也会大大增加，其c p u 与内存使用率会突然达到极 值，则服务器将超出本身所承受的负载范围，导致服务延迟，服务器崩溃。 2 1 3 网络攻击异常 网络攻击异常是指对网络中某个目标进行恶意攻击，从而导致的网络异常。 基于信息熵的异常流量分布式检测方法的研究 例如d d o s 攻击和蠕虫病毒端口扫描攻击，它们将消耗大量的网络带宽，使被攻 击者的访问性能降低。这种网络异常情况常常出现在局域网内部，当局域网内部 的部分主机感染病毒后，这些主机不断向内网中其他主机发送大量带有病毒的数 据包，由于网络设备不能区分网络中的业务组成，所以将正常的数据包和病毒包 同时进行处理，网络会因为处理大量的病毒数据包而产生网络拥塞和网络过载， 不可避免的丢弃大量正常的数据包，严重破坏了局域网的正常运行。 本文主要针对网络攻击异常产生的网络异常流量方法进行进一步的分析与研 究，下面简单介绍一下几种攻击的特点与性质。 ( 1 ) 网络扫描 网络扫描是一种常见的、容易实现的攻击形式。它的主要目的【7 】是利用各种工 具对目标p 地址或地址段的主机查找漏洞，借此发现主机的某种服务是否可用。 扫描采用模拟攻击的方式对目标主机可能存在的己知安全漏洞进行逐项检查，目 标可以是工作站、服务器、交换机、路由器和数据库应用等。扫描者可以采取不 同的扫描策略，可以对子网内大量主机的同一端口发送请求连接，进行短时间扫 描，也可以对子网中主机上的多个端口扫描，根据扫描结果向扫描者或管理员提 供可靠周密的分析报告。 一次完整的网络扫描分为3 个阶段： 第1 阶段：发现目标主机或网络。 第2 阶段：发现目标后搜集更多更具体的目标信息。如果目标是主机，可以 了解该主机的操作系统类型、工作状态( 开关机) 、端口状态( 监听关闭) 、承载的服 务以及运行服务软件的版本信息等；如果目标是网络，可以掌握该网络的拓扑结 构、路由设备以及各主机的信息。 第3 阶段：根据目标信息测试系统，判断是否存在安全漏洞。 网络扫描一般分成两种策略：主动式策略与被动式策略。 主动式策略是基于网络的，它通过执行一些脚本文件模拟对系统进行攻击行 为并记录系统的反应，从而发现其中的漏洞。一般分为：活动主机探测、i c m p 查 询、端口扫描、网络p i n g 扫描、标识u d p 和t c p 服务、漏洞扫描、综合扫描等。 第2 章网络流量异常检测技术 被动式策略是基于主机的，它通过对系统中不恰当的配置，脆弱的密码口令 以及与安全规范相抵触的对象实施检查，从而发现安全漏洞。 网络扫描是网络入侵的基础，一次成功的网络入侵离不开周密的网络扫描， 现在许多网络扫描利用一些方法，增加了检测的难度，如：将扫描的地址和端口 打乱，改变检测次序，降低扫描速度，假冒源地址，扫描间隔随机化，以及分布 式扫描等。 ( 2 ) 网络蠕虫 网络蠕虫一般是指通过网络在计算机间复制自身进行传播的病毒，它不是以 感染文件来达到传播自己的目的，蠕虫病毒不“寄生 于其他文件上，而是通过 网络直接将自身复制到对方计算机上并运行来达到复制自己的目的。网络蠕虫传 播速度快、传播面积广并且破坏性强，有的蠕虫病毒可以在几分钟内传遍全球， 使全球网络都受到严重的影响。c o d er e d 、n i m d a 、冲击波等蠕虫病毒造成网络的 瘫痪，就是由于这些病毒在传播时产生大量的网络流量而影响网络设备不能正常 运行。此外，蠕虫具有扫描网络的能力，它可以顺序扫描也可以随机扫描；同时 蠕虫具有主动传播病毒的能力，它会浪费大量的网络带宽或网络硬件系统资源。 网络蠕虫在局部链路上是很难检测到的，通常需要对全网的流量特性进行检测分 析羽，才能够判断是否存在网络蠕虫。 网络蠕虫主要有以下特型9 】： 具有自我复制和传播的特性； 传播速度快，传播方式多样化； 能够独立运行，无须用户活动的支持； 利用操作系统和应用程序的漏洞进行主动攻击 不同的网络蠕虫病毒扫描的端口不同，使用的协议也不同； 蠕虫病毒可以对随机的目标主机发送连接建立请求，而不需要目标主机的 响应，自己控制目标地址的响应信息处理等。 网络蠕虫的传播过程【1 0 】如下： 扫描：扫描目标主机，试图寻找目标主机的安全漏洞，建立连接请求。 基于信息熵的异常流量分布式检测方法的研究 攻击：当收到目标主机发回的连接应答后，取得目标主机的管理员权限，按 攻击步骤自动攻击目标主机。 复制：通过与目标主机的交互，将蠕虫病毒代码复制到目标主机并运行此蠕 虫程序。 表2 1 给出了常见的蠕虫病毒。 表2 1 常见的蠕虫病毒 t a b 2 1c o m m o nw b r m s 蠕虫利用操作系统的漏洞主动传播，并且可以在局域网或者广域网内以多种 方式传播。这种网络蠕虫的攻击方式，除了造成网络大量的流量外，也会消耗大 量的系统资源。 ( 3 ) 拒绝服务攻击( d o s ) 和分布式拒绝服务攻击( d d o s ) d o s ( d e n i a lo fs e r v i c e ) 攻击在广义上可以指任何导致服务器无法为用户请求 提供正常服务的攻击。它的基本思想是通过一个或多个攻击源伪造数据建立服务 请求，使得服务资源被无限制的占用，从而导致服务质量下降，甚至于合法的用 户请求被忽略、丢弃，停止提供正常的网络服务。其本质就是利用看似合理的服 务请求，使服务器堆积大量服务请求信息，过多的占用服务资源，大量的消耗网 络带宽，导致服务器超负荷运转以至于崩溃而达到拒绝服务的目的。图2 1 表示为 一次d o s 攻击。 第2 章网络流量异常检测技术 攻击者 攻击目标 图2 id o s 攻击 f i g 2 1d o sa t t a c k d d o s ( d i s t r i b u t i o nd e n i a lo fs e i c e ) 攻击【1 1 】是在传统d o s 攻击基础之上，演变 出的一种具有破坏力的分布式拒绝服务攻击。它是采用分布式的攻击方式，攻击 者控制网络上的多台傀儡主机同时对目标主机发动d o s 攻击，使大批量的的数据 包流进目标主机，导致目标主机的请求服务过度频繁，从而造成目标主机在短时 间瘫痪。攻击者一般不直接参与攻击，只是在发起攻击时向傀儡主机发出指令， 傀儡主机平时情况下并不会发生异常。图2 2 表示为一次d d o s 攻击。 图2 2d d o s 攻击 f i g 2 2d d o sa t t a c k 常见d d o s 攻击有：t c ps y nf l o o d 攻击、u d pf l o o d 攻击、i c m pf l o o d 攻击 和s m u r f f l o o d 攻击等。 基于信息熵的异常流量分布式检测方法的研究 2 2 网络流量异常检测分类 根据不同的分类标准，网络流量异常检测有不同的分类方法，按照时间和频 率的研究将网络流量异常检测分为时间域分析方法、频域分析方法和时频域分 析方法。 2 2 1 时间域分析方法 时间域分析方法，又称作时间序列分析方法。典型的代表是统计异常检测方 法，这种方法是通过统计分析数据来判断异常，其思想是用户和系统建立历史统 计特征参数，通过特征参数的统计来设定网络正常度量值，实时掌握用户随时间 变化的动态行为，比较测量的网络数值与预先定义的网络正常度量值，判断是否 存在异常行为。 上述时间序列分析方法属于早期的研究方法之一。随着网络技术的不断发展， 网络异常种类也千变万化，单一的时间序列分析已经不能满足新的检测需求。在 这种情况下，多时间序列分析方法应运而生。此类方法以网络层分析获得的多个 o d ( o r i g i n d e s t i n a t i o n s ) 流为依据，把多个流量信号视为一个整体作为研究对象。 由于多时间序列具有非常多的信息量，所以它可以检测出在单时间序列分析方法 下无法检测的多种异常。多时间序列分析方法的研究目前比较少，a l 燃a 【1 3 】等 提出了主成分分析方法，通过对各个o d 流级别的时间序列分析，将网络流量度 量的高维空间分解成正常子空间和异常子空间，通过对异常予空间的判断，确定 网络是否有异常发生。 2 2 2 频域分析方法 频域分析方法，包括频谱分析方法和小波分析方法。 频谱分析方法的基本思想是将不同宽度和梯度的异常看成是不同频率的信 号。比如，将高频信号定义为范围小而陡的异常，将低频信号定义为范围宽而缓 的异常。这种方法主要是利用傅立叶变换将时域信号转换到频域，根据频谱求得 流量体的各种参数；然后对不同频率的异常进行滤波，将它们分离开并进行解释； 这样就可以在频率域对流量信号能量分布进行异常分析与处理。c h c n m o u c h c n g 1 4 1 等提出了一种频谱分析方法，用来识别正常t c p 流量中的攻击流，由于 第2 章网络流量异常检测技术 正常的t c p 流量会呈现周期性变化，而攻击流量没有这一特性，所以此种方法可 以避免丢弃t c p 流量中的合法成分。 小波分析方法运用了傅里叶变换的局部化思想，能有效的从信号中提取信息， 通过伸缩和平移等运算功能对函数或信号进行多尺度细化分析。可以方便地分离 信号、进行信号的频带化处理。小波分析的应用范围很广，采用小波分析方法对 异常检测的研究也不尽其数。e b a r f o r d 1 5 1 等提出了将网络流量分解成多尺度小波， 并分别用偏离分数把重构后的低、中、高三个频段进行检测的方法。s e o n gs o o k i m 1 q 等提出了根据分析在边界路由器中出口流量的目的口地址，进行流量异常 检测的方法。 2 2 3 时频域分析方法 时频域分析方法，时间域分析方法或频域分析方法都仅从个方面对流量信 号进行分析，不能将流量信号的异常情况完全反映出来。魏格纳威利分布【1 7 1 是时 频分析中重要的分析方法，它具有良好的时频分辨率，可以通过二维平面内的波 动能量分布深入反映信号的特性。通过魏格纳威利分布分析网络流量信号，同时 进行时域和频域的分析，可以进一步探究网络流量信号的时频特性，发现流量异 常在时频分布上反映出来的内在特征，帮助我们更好地检测流量的异常。 2 3 网络流量异常检测的主要方法 2 3 1 异常检测模型 网络流量异常检测系统通过对网络数据源的统计，建立一个“正常行为特征 的原型，然后把所有与特征原型中相差“很大 的行为都定位为异常。这里假设 所有异常行为与正常行为都是不同的。从理论上讲，建立系统正常行为轨迹，可 以把所有与正常轨迹不同的系统状态视为异常可疑。图2 3 为异常流量检测通用模 型： 基于信息熵的异常流量分布式检测方法的研究 图2 3 异常流量检测模型 f i g 2 3d e t e c t i o nm o d e lo ft r a f f i ca n o m a l i e s 异常检测的基本思想 1 8 】是先对研究对象( 如主机系统、用户或网络数据流) 的正 常行为做出描述，再根据当前行为偏离其正常行为的情况检测出异常。我们将正 常行为轨迹构成的系统轮廓，称为正常行为模型。对正常行为模型的构建是异常 检测中的核心问题和难点问题。当正常行为与异常行为存在交集时，一定会有“漏 报”和“误报”问题。为了使“漏报 和“误报”的概率符合实际情况，通常选 择“阈值 区分正常行为与异常行为。然而异常检测技术的局限性，使得正常行 为轨迹很难描述与更新，而且选择和调整某些特征值的方法也非常复杂，而且会 产生巨大开销。因此，在实际中对于异常阈值与特征的选择是很困难的，要想使 用逻辑方法明确划分“正常行为 与“异常行为几乎是不可能的。 2 3 2 几种典型异常检测方法 目前研究异常检测的主要方法有统计分析、机器学习、神经网络、模式识别、 特征选取、遗传算法、序列匹配等。它们的基本思想是首先对正常网络数据进行 建模，形成正常行为轮廓，然后通过正常轮廓与测量值比较，超过一定范围则判 定为异常，发生报警。检测效果的好坏在于正常轮廓的建立。下面分别对几种典 型的异常检测方法进行介绍。 第2 章网络流量异常检测技术 ( 1 ) 基于统计分析的异常检测方法 基于统计分析的方法【1 9 】是异常检测领域中常见的异常检测方法，它利用成熟 的统计理论，按一定的时间间隔对系统各个参数的样本或用户行为不断的统计和 采样，通过得到的一系列样本参数对行为进行描述，产生行为轮廓，再将得到的 行为轮廓与已有的轮廓合并，最终形成正常的轮廓。典型的统计方法有平均值、 方差、时序法、马尔科夫模型法等。当实时统计的测量值偏离一定正常值范围后， 确定有异常发生。统计分析检测方法的优点在于所应用的技术方法在统计学中已 经比较成熟。而该方法的缺点是很难确定合理的阈值，阈值设置过高，系统漏报 率将会升高；设置过低，正常的流量情况可能会被误判。选择合理的门限设置方 法是基于统计异常检测方法检测效果好坏的关键。 ( 2 ) 基于机器学习的异常检测方法 基于机器学习的原理【2 0 】是从一组观测数据集的数据出发，得到一些不能通过 原理分析而得到的规律，进而利用这些规律对未来的数据或者无法观测到的数据 进行预测和分析。基于机器学习的异常检测方法，是通过对观测的离散数据集在 时间序列上的学习，从而得到检测对象的异常行为特征。利用给定有限数量的训 练数据对系统输入输出之间的依赖关系进行估计、对位置输出做出尽可能准确的 预测。学习方法主要包括归纳学习与演绎学习，其中归纳学习包括经验型归纳学 习、遗传算法、联接学习和加强学习；演绎学习包括分析学习。此外还有利用特 定相似度函数计算，将原始离散数据或无序记录转化成规则实例空间。异常检测 采用这种相似度赋值方法，并结合多个判决阂值对用户正常行为模式与当前行为 轮廓进行比较，以此检测用户异常行为。基于机器学习异常检测方法的优点在于 检测速度快，误报率低。该方法的缺点是需要先知道一些复杂的相似度量函数或 相关知识，对于用户行为动态变化的检测还有待完善。 ( 3 ) 基于数据挖掘的异常检测方法 网络异常检测是从大量的网络数据中提取信息，并且发现异常的入侵行为， 而将数据挖掘技术应用于异常检测中正是由于其具有处理大量数据记录的能力。 对于计算机网络来讲，数据挖掘【2 l 】是指从网络的大量审计记录或者数据库中，提 基于信息熵的异常流量分布式检测方法的研究 取事先未知的、潜在有用信息的过程。网络安全领域的研究者，利用数据挖掘中 的各种分析方法，例如，序列分析、关联分析、聚类分析等，从各种审计数据或 网络数据流中提取与异常相关的系统特性，这些信息可以总结归纳为概念、规律、 规则、模式等，然后利用这些信息检测已知的入侵行为和异常。基于数据挖掘的 异常检测方法优点在于处理数据能力强，而且能够对数据进行关联分析。该方法 的缺点是系统整体运行效率较低，不能满足实时检测的需求。 ( 4 ) 基于模式预测异常检测方法 模式预测异常检测方法【捌认为事件序列的发生不是随机的，而是遵循某种可 识别的模式，其方法考虑了事件之间相互关系及事件发生的先后顺序。例如，利 用时间规则来识别正常行为的模式特征，它是一种时间推理的方法。该方法通过 归纳学习产生规则集，然后进行不断的修改更新，使之具有较高的预测准确性和 可信度。规则集通常