（计算机应用技术专业论文）基于动态阈值的网络流量异常检测方法研究与实现.pdf

n ；! - ：。l 气 皆 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名： 壅士：咝： 日期：z p 。年皇月2 ，f 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：蕉生处 导师签名： 日期：z d 细年f 月冲日 k 皤 摘要 摘要 随着网络技术的发展和网络规模日益扩大，网络拓扑结构和网络设备日趋复 杂，承载的业务种类也逐渐增多，这些都使网络中出现故障或遭受攻击的可能性 大大增加，网络检测面临更大的挑战。网络检测的目的是通过对网络运行情况的 连续检测，及时发现网络中的异常，当网络中出现异常时能够及时发出报警通知， 以提醒网管人员采取必要措施，减弱异常带来的损害。网络异常检测是网络监测 中的关键部分，能否正确、及时地检测出网络异常对于提高网络的可用性和可靠 性具有重要的意义。 本文研究了网络流量异常检测的方法，针对网络异常阈值、流量模型的建立 中存在的问题以及如何根据所采集网络数据进行检测进行了分析并提出了解决方 法。 本文首先研究了基于阈值的异常检测算法，对静态阈值存在的问题进行了分 析，并提出一种以多点检测异常统计量为基础的自适应阈值算法。该算法不仅考 虑了当前检测点对正常历史流量的偏离状况，也考虑了网络的动态变化给异常检 测带来的影响，由于当异常发生时会在多个检测点检测到异常，因此通过多点异 常统计量来作为判定是否报警的决策量，并且动态调整单点检测的异常判定阈值， 能够较好的定义并量化流量异常，为后面的异常检测算法研究打下了良好的基础。 网络正常流量模型的建立对异常检测算法的检测效率有着重要影响，常用的 预测模型为回归模型。针对回归预测模型应用于网络流量中的缺点，创新性地将 指数平滑模型和小波变换结合起来，通过小波变换削弱时间序列中随机变化的部 分，为流量模型的建立创造了良好的条件。自适应三次指数平滑模型无需大量历 史数据即可拟合模型参数，并可随时间动态调整自身参数，能够较好的适应网络 流量的多变性特征，使异常检测达到较好的效果。 网络流量的采集即通过哪些特征量来表示网络流量，对于网络异常检测空间、 时间开销以及检测结果的精确性都起着决定性的作用。为了实现可溯源的异常检 测，本文提出了一种基于概要数据结构的异常检测算法，对异常流量与正常流量 的分布状况的差异提出一种基于k l 距离的衡量方法，算法由于通过逐点计算距离， 并通过这些距离来判断异常，使检测异常的能力更强。 关键词：异常检测，动态阈值，k l 距离 a b s 吼c t a b s t r a c t w i mt h ed e v e l o p m e mo fn e 附o r kt e c h n o l o g ya 1 1 de x p a l l d i n go fm en e 咐o r ks c a l e ， m et o p o l o g ya n de q u i p m e n ti 1 1m en e t w o r kb e c o m ei 1 1 c r e a s i n 西yc o m p l e x ，a n d 廿1 e s e r v i c e sm n n i n go ni th a v e 伊a d u a l l yi n c r e a s e d ，w h ic _ hn o t0 1 1 l ys i 叫f i c 觚t l yi n c r e a s et l l e n e t 、) i r o r kd e v i c em a l f u n c t i o n 觚dt 1 1 et i m e so f b e i n ga t t a c k e d ，b u ta l s ob r i n g 也e n e t 、) l r o r k d e t e c t i o nm u c hm o r ec h a l l e l l g e s n ep u _ r p o s eo ft h en e t 、) l ，o r kd e t e c t i o ni st of i n do u tm e a 1 1 0 m a l yi i lt i m ew h e ni to c c u r sb ym o l l i t o m g 也ep r o 野跚i n l i n go fn e 呐o r kd e v i c e s c o n t i n u o u s l y a 1 1 di s s u eaa l 锄t oa l e nn e 撕o r km a l l a g e r st 0t a k et 1 1 en e c e s s a 巧 m e a s u r e st or e s t o r et h en 酣w o r k n e t w o r ka n o m a l yd e t e 砸o n ，i sm ek e yo fm en e 附o r k m a i n t 咖i n gs y s t e m w h e m e fw ec 觚d e t e c tn e t w o r ka n o m a l i e si nt i m eh a s 莎e a t s i 鲥f i c a i l c ei ni n c r e a u s i n gn 酿o r ks e i c e s a v a i l a b i l i t ya l l dr e l i a b i l i 可 t 址sm e s i sr e s e a r c h e st l l em e t l l o d so fn e t w o f k 仃a f 右ca n o m a l yd e t e c t i o na n dp m s f o r w a r ds o m es o l u t i o n s 向re x i s t i n gp r o b l e m so fn 出7 l ，o r k a n o m a l ym r e s h o l d a n d n 咖o r kn f e i cm o d e lb u i l d i n g f i r s t ，t 1 1 i s t l l e s i sr e s e a r c h e st l l et i l r e s h o l d - b a s e da 1 1 0 m a l yd e t e c t i o na l 鲫m m ， a i l a l y z et h es t a t i ct h r e s h o l dp r o b l e m ，a n dp u t sf o r w a r da i la d a p t i v et 1 1 】陀s h o l d a l g o r i 廿1 1 1 1 b a s i n go nm u l t i - p o i n ta 1 1 0 m a l ys t 撕s t i c s t h ea l g o r i m r l ln o to n l yt a k e si n t oa c c 0 1 1 i l tm e c u 盯e n td e t e c t i o np o i n td e v i a t i o no fv a l u e 丘0 mm en o m a l 仃a 街c ，b u ta l s ot a k e sm t o a c c o u n tt h ei n n u e l l c et 1 1 a tb i n g e db ym ev 撕a i l c eo fm en e 帆o r k 仃a 伍c a sw h e nr e a l 孤o m a l yh a p p e n si t c a nb ed e t e c t e da tm o r em 孤o n ed 曲e c t i o np o i n t ，l i sa l g o r i t l l i n de t i e n i m ew h e nt l l ea i l o m a l yh a p p e n sa c c o r d i n gt 0t l l ei n u l t i - p o i n ta n o m a l ys t a t i s t i c s 锄dic a nd y n 锄i c a l l ya d j u s t 也ea 1 1 0 m a l i e sn 玳s h o l dt 0g e tab e t t e rd e f i n e da 1 1 d q u a n t i 矗e d 昀f j f i ca 1 1 0 m a l y w h i c h1 a yag o o df 1 0 u n d a t i o nt om es u c c e s s i v ea 1 1 0 m a l y d e t e c t i o na l g o r i 廿l m t h ee s t a b l i s h m e n to fm en o m a ln e m o r kb a 伍cm o d e lh a v eas i 鲥f i c a l l ti m p a c tt o n l ee f ! f i c i e l l c yo fa i l o m a l yd e t e c t i o na l g o r i t l l 】 1 1 t h e c 0 衄：1 1 0 n l y1 1 s e df 0 r e c a s t i n gm o d e l i s r e 蓼e s s i o nm o d e l t o 廿1 es h o r t c 0 面n 笋o fr e g r e s s i o nf o r e c a s t i n gm o d e lf 1 0 rn 咖r o r k i i j 蛐s 仃a c t 缸a f ! f i c ，t h j s t l l e s i sc o m b i n ei 1 1 i l o v a t i v e l ym ee ) 【p o n e n t i a ls m o o t l l i n gm o d e la n dm e w a v e l e t 仃觚s f 0 珊t h r o u 曲t l l ew a v e l e tt r a n s f o l l nw e c a i lw e a k e l ln l er a n d o mc h a l l g 瞄 i nm et i ：m es 舐e s ，、) i r _ i l i c hc r e a t eag o o dc o n d i t i o nt 0e s t a b l i s ht l l en o wm o d e l a d 印t i v e e ) 【p o n e n t i a ls n l o o t l l i n gm o d e lo fm et h r e ed 01 1 0 tn e e da1 0 to fh i s t o r i c a ld a t at oc a l t u l a t e l em o d e lp a r a m e t e r s ，a 1 1 dc 锄d y n 锄i c a l l ya d j l l s ti t sp 舢e t e r sw i mt i l n e ，w h ic _ hm a k e i tb ea b l et 0a d 印tt 0m ev 0 1 a t i l i t ) rc h a r a c t 嘶s t 洒o fn 咖o r k 仃a 伍cb 甜e r 趾da 出e v e b e t t e rr e s u l t s a sg a t h e r i n gn e t w o r ks t 撕s t i c s - r e p r e s e i l tn l en e t w o r kn o m l a lm m l i n gc o n d i t i o n w i t l lw h a tc h a r a c t 耐s t i c s ，l a yv e 巧i m p o r t a n ti n l p a c ti i l 廿l ee x p e n s eo ft i m e ，s p a c ea 1 1 d 廿1 ep r e c i s eo ft l l ed e t e c t i o nr e s u no fm e 锄o m a l yd e t e c t i o na _ 1 9 0 r i m m ，t 1 1 i s l e s i sp u t s f 0 刑a r das k 酏c h - b a s e d 锄o m a l yd c t e c t i o na l g o r i t l l m ，w l l i c h p u t s f o r 、) l r a r dan e w k l - b a u s e dw a yt om e a s u r et 1 1 ed i f j 6 暑r e n c eo fb e t w e e nt 1 1 ed i s t r i b u t i o no fm en o n l l a l s t a t i s t i c s a 1 1 dt l l ea m o m a l y a st 1 1 ea l g o r i t l l i l lh a s 孕e a t e rd e t e 出o na b i l i t y 嬲i tc a l t u l a t e m ek ld i s t a n c e 劬mt h es t a t i c t i c sp o i n tb yp o i ma i l dd e t 唧血ew h e m e r 锄o m a l y o c c e r sb v i t k e y w o r d sa i l o m a l yd e t e c t i o n ，d ) ，n 锄i cn 1 1 髑h o l d ，l 【ld i s t a i l c e i 目录 目录 第一章绪论。1 1 1 课题背景：1 1 2 国内外研究现状1 1 3 本文主要工作4 1 4 章节安排4 第二章异常检测常用方法6 2 1 流量异常的定义及分类。6 2 2 常见的网络攻击j 7 2 2 1d d o s 攻击7 2 2 2 网络扫描8 2 2 3 蠕虫病毒攻击8 2 2 4 其他常用攻击8 2 3 常用的网络流量异常检测方法9 2 3 1g l i 己检测算法9 2 3 2 基于时间序列的检测算法1 0 2 3 3 基于小波技术的检测方法1 1 2 3 4 基于数据挖掘的检测方法1 2 2 3 5 基于神经网络的检测方法。1 2 2 3 6 基于基因算法的检测方法1 3 2 4 小结1 4 第三章基于动态阈值的异常检测1 5 3 1 背景_ ：1 5 3 2 网络流量模型l5 3 3 网络异常的定义准则1 6 3 4 改进的网络异常定义1 7 3 4 1 静态阈值的定义及其缺点1 7 3 4 2 动态阈值：18 3 5 实验及讨论2 0 目录 3 5 1 实验环境：j 。2 0 3 5 2 实验步骤2 l 3 6 小结2 7 第四章基于小波分解的异常检测2 8 4 1 背景2 8 4 2 自适应的指数平滑模型2 8 4 2 1 时间序列预测法“2 8 4 2 2 指数平滑法2 9 4 2 3 改进的三次指数平滑模型3 0 4 2 4 指数平滑用于网络流量预测的缺点3 2 4 3 小波变换3 2 4 3 1 连续小波变换3 3 4 3 2 离散小波变换3 3 4 3 3 多尺度分析3 4 4 3 4 使用小波系数作为网络流量模型输入3 5 4 4 5 小波变换复杂性分析3 6 4 4 基于小波分解的异常检测算法3 7 4 4 1 选取小波函数3 7 4 4 2 异常检测流程3 8 4 5 实验结果及讨论3 9 4 5 1 实验环境：。3 9 4 5 2 实验步骤4 0 4 6 州、结。4 3 第五章基于k l 距离的网络异常检测4 4 5 1 使用概要数据结构4 4 5 1 1n e t f l o w 简介4 4 5 1 2 数据流模型：4 6 5 1 3s k e t c h 概要数据结构4 7 5 2 检测原理4 8 5 3 检测流程5 2 5 3 1 记录数据5 2 5 3 2 异常检测：5 4 v 1jl 厶 第一章绪论 1 1 课题背景 第一章绪论 随着网络的快速发展，它在工作中和生活中带给人们的便利越来越多，通过 网络人们可以快速有效的分享资源、发布信息、获取信息，这不仅极大提高了工 作效率，也给生活带来诸多乐趣。网络已经逐渐渗透到人们生活中的每一个角落， 在日常生活中发挥着重要的作用。 随着网络的飞速发展，它的规模日益增大，应用日益增多，网络拓扑结构越 来越复杂，这都使网络中出现故障的可能性大大增加。同时，由于社会中的重要 部门如金融、政府、以及大量的电子商务机构融入网络，在利益的驱动下它们也 越来越称为攻击的目标。因此对于网络中发生的异常进行检测并及时报警，对网 络的管理和维护具有重要的现实意义。 由于很多重要的网络协议如t c p i p 在设计之初就侧重于如何更有效的利用网 络带宽、更有效的传输数据，对于网络安全问题考虑不多。因此，大量基于这些 协议的网络应用在服务和管理上都存在着缺陷，使得网络攻击者有机可乘，许多 站点被恶意攻击，重要的信息被泄漏或篡改，网络带宽被恶意或非法消耗，为了 应对这些攻击，很多国家每年都要遭受数百亿美元的损失，网络异常带来的诸多 问题已经引起人们的极大重视。 传统的网络安全及管理软件，如杀毒软件、防火墙侧重于终端用户的病毒检 测与控制。对于有着海量数据的大规模网络的管理与检测，显得有些不足，尤其 是面对像分布式拒绝服务攻击、网络扫描、蠕虫等大规模的攻击问题，需要的不 仅仅是消极的防御，通过终端防护使恶意流量无法访问，而是应该在网络的重要 链路上对其进行检测，尽早发现异常的类型，攻击的源头，进而采取有效措施， 减缓异常行为的影响。本文就是以尽快有效的检测网络异常为研究内容。 1 2 国内外研究现状 要检测异常，首先要定义正常流量的模型。而正常的网络流量由于它受诸多 因素的影响，使它复杂多变，这就加大了建立正常流量数学模型的难度。基于时 电子科技大学硕士学位论文 间序列的检测算法将一系列观测值看作时间序列，应用时间序列理论来为网络流 量建立模型，并通过这个模型来检测异常。而其它算法则通过在观测序列上加窗 口的办法，直接以前一时间窗口内的流量作为正常网络模型，通过计算当前窗口 内的观测数据与过去时间窗口观测值的偏差来定义异常。 网络检测中，异常阈值的设定也是一个难点，阈值设置过小，则容易导致大 量误检。而阈值过大，则容易导致漏检。而问题的关键在于网络有高峰期也有底 峰期，在网络流量不同的时候阈值的设置标准也应不同，但是网络的流量大小是 无法预测的。 文献【l 】【2 】提出了一种检测异常的方法，它通过网络利用率、数据包大小分布的 个参数来建立网络的正常行为模式，通过设定一定的阈值，来检测网络异常。文 献【3 】使用类似的方法来检测广播风暴、网络硬件故障。文献【4 】从s n m p 的信息管理 库m i b 中获取网络数据，以此表征网络流量，从中提取出异常信息，并应用贝叶 斯推理技术，提出一种具有一定预警功能的网络异常检测算法。文献【】同样以m i b 信息管理库中的数据为基础，结合这些变量在时间和空间分布上的规律，检测异 常。 文献【7 - l l 】应用小波分析技术对信号异常的良好检测定位能力，首先选取网络特 征量，通过采集这些特征量形成时间序列，然后对时间序列进行小波分解，发生 异常时的网络数据突变在小波分解后更为明显，因此基于小波分析的异常检测能 够检测到微弱的异常信息。应用小波变换来检测信号中异常点避开了如何建立网 络正常流量模型的难题，无需像应用时间序列理论那样来选取恰当的模型，并确 定模型参数，只需将采集到的网络数据进行小波变换检测异常点。基于小波分析 技术的异常检测虽然原理简单，检测效果也较好，但是它计算复杂度较高，在大 规模的流量检测中，算法的时间空间复杂度都有严格的要求，因此，还需进一步 改进才能得到更多的应用。 文献【1 2 】采用时间序列的理论，使用h l o t w i n t e r s 预测技术来建立正常流量模 型，通过观测值与流量模型的偏差来检测网络异常，同样应用时间序列理论使用 流量预测来建立流量模型的还有文献【1 3 】，它使用常用的a r 回归模型，通过网络数 据在每天的流量分布中显示的周期性，通过历史流量来确定回归模型的参数，并 使用此模型来预测下一时刻的网络流量观测值，通过设定观测值与预测值之间差 的容忍范围来判定异常是否发生。基于时间序列模型的异常检测实际上就是为流 量建立了一种预测模型，通过对历史数据的观测，提出该模型认为正常的流量的 预测值，通过检测点实际观测值与预测值的差，即观测值与正常流量的偏离程度 2 第一章绪论 来定义异常。它通过建立数学模型，对正常流量的定义更加精确，有了更好的数 学基础，且基于指数平滑模型和回归模型的预测运算简单，能够随着网络的变化 在一定程度上作出调整，因此，基于时间理论模型的异常检测得到了广泛的研究 与应用。 网络数据的采集对网络异常的检测性能有着重要的影响，以数据包为单位的 数据采集粒度最小，检测正确率也最高，但是复杂度很大，不适合具有巨大流量 的网络异常检测。基于某一时间段内某一网络属性，如每分钟通过路由器的数据 包的个数、通过路由器的字节数的观测值数据采集，把网络流量看做一个整体， 只是统计某一时间内的特征量，根据特征量的变化来检测异常。这种数据采集方 法粒度最大，实现简单，算法复杂度也不高，但是不利于检测到隐藏在巨量背景 流量下的异常。基于一定时间段内整体流量统计量的算法，由于其数据采集阶段 的粒度较大，因此只能检测到一些大规模发生的异常，如分布式拒绝服务攻击、 网络扫描等。而基于流的数据采集则粒度适中。文献【1 4 】【1 5 】介绍了用n e t f l o w 对网 络流量异常的特征进行深入分析，提出在网络层面对异常流量的检测与防御措施。 文献f 1 6 】提出了一种基于n e t f l o w 的蠕虫病毒探测机制，它以n e t f l o w 数据流来表 征网络流量，利用数理统计原理进行分析从而发现蠕虫病毒和d o s 攻击。 文献【1 7 】通过网络数据流的包头特征如i p 地址、端口，包的大小等来检测异常。 它把具有相同包头特征的包通过单调聚集函数来计算这些包的统计量，某一包头 特征对应着一系列的统计量，如不同的端口对应着不同的包数，这样就建立了一 定时间内网络流在端口上的分布情况。通过这些统计量来提取异常信息，从而检 测出异常。 文献【1 8 】使用概要数据结构来存储n e t f l o w 流信息，与文献 1 7 相似是一种基 于直方图的数据流异常检测方法。它将n e t f l o w 流信息通过多个哈希函数映射到 不同的哈希空间，并通过特定流特征如i p 地址等来聚合具有相同特征的统计量， 统计量的异常就反映着网络的异常。基于概要数据结构的检测算法需要的存储空 间较少，可以追溯攻击源，具有较高的应用价值。 如果以历史流量作为正常流量的参考，通过采集过期一定时间窗口内的历史 流量作为正常流量，通过当前窗口内采集的数据与前一窗口数据的变化程度来检 测异常，就避免了网络异常流量复杂多变难以建立的问题。即文献【l9 】分析了时间 窗口对网络异常检测的影响，并提出了一种自适应长度窗口的算法，它逐步减小 时间窗口，可以检测到更小范围内的异常。文献【2 0 】进一步利用分形原理，将m 个 不同长度的时间窗口排序，在这些窗口中如果在第i 个窗口内检测到异常，就可 电子科技大学硕士学位论文 以保证在l 到i 一1 窗口内的数据都有异常发生。因此在缩小窗口长度的时候，就 可以以2 倍的速度缩小窗口长度，更快的定位发生异常的流，算法的复杂度由原 来的0 ( m ) 缩减为0 ( 1 0 9 ( m ) ) 。 1 3 本文主要工作 1 、本文首先研究了基于阈值的异常检测算法，对静态阈值存在的问题进行了 分析，并提出一种以多点异常检测为基础的自适应阈值算法。该算法不仅考虑了 当前检测点对正常历史流量的偏离状况，也考虑了网络的动态变化给异常检测带 来的影响，由于当异常发生时会在多个检测点检测到异常，因此通过多点异常统 计量来作为判定是否报警的决策量，并且动态调整单点检测的异常判定阈值，能 够较好的定义并量化流量异常，为后面的异常检测算法研究打下了良好的基础。 2 、针对回归预测模型应用于网络流量中的缺点，将指数平滑模型和小波变换 结合起来，通过小波变换削弱时间序列中随机变化的部分，为流量模型的建立创 造了良好的条件。自适应三次指数平滑模型无需大量历史数据即可拟合模型参数， 并可随时间动态调整自身参数，能够较好的适应网络流量的多变性特征，使异常 检测达到较好的效果。 3 、本文提出了一种基于k l 距离的异常检测算法，对异常检测算法提出改进。 对异常流量与正常流量的分布状况的差异提出一种基于k l 距离的衡量方法，算法 由于通过逐点计算距离，并通过这些距离来判断异常，使检测异常的能力更强。 1 4 章节安排 本文章节安排如下： 第一章介绍了问题的研究背景及国内外研究现状，针对现有研究的不足，提 出了本文的研究思路与主要工作。 第二章介绍了异常的定义及其分类，并介绍了常用的异常检测方法。 第三章分析了静态阈值的不足，提出了一种基于动态阈值的的异常检测阈值 算法。 第四章分析了回归预测在网络异常检测中存在的问题，将指数平滑模型与小 波变换结合起来实现异常检测。 第五章提出了介绍了概要数据结构在异常检测中的应用，提出一种基于l 江距 4 离的异常检测算法。 在第六章中，对本文内容进 电子科技大学硕士学位论文 第二章异常检测常用方法 2 1 流量异常的定义及分类 文献【l l 】对网络流量正常与异常给出了定义：正常就是符合某种常规的模式， 它以一种符合预料的形态或形式出现。正常意味着它符合某种已经建立的模式， 并且在对这种模式的偏离的容忍范围内。而异常则意味着对这种模式的严重偏离。 对于不同的用户，由于其视角不同，网络异常的定义又有所不同。对终端用 户而言，网络扫描、蠕虫病毒等攻击行为造成的网络缓慢就是是异常。而对于提 供网络服务的运营商而言，对其所提供的网络服务与质量如带宽等造成不良影响 的都可以定位为异常。如d o s 攻击、网络扫描、蠕虫病毒的大规模传播、基于p 2 p 的音频时频共享服务的大量应用、网络硬件故障都会带来带来的大量带宽消耗， 使网络速度变慢甚至瘫痪。 引发网络异常原因多种多样，大致可以分为3 种。 ( 1 ) 网络硬件的故障，如路由器、交换机、链路或者服务器发生硬件故障， 导致大量数据丢失或者网络拥塞。 ( 2 ) 社会原因。在由重大体育活动或重要事项需要网上信息的时候，就会有 大量突发的流量增加。 ( 3 ) 恶意的网络攻击。这些攻击消耗大量的网络带宽，削弱服务器的服务能 力，对网络的服务质量形成严重威胁。 文献【2 0 】根据不同的原因可以把网络异常分为以下三类： ( 1 ) 网络故障异常。网络故障异常是指由于网络设备发生故障导致的网络异 常。某个重要节点的路由器发生故障后，就会导致网络拓扑结构发生显著变 化，大量的数据包丢失，导致更多的数据包重复发送，大量的数据包被分流 到其它或许已经负载很重的路由器上，这样可能使网络情况更为恶化。在某 个服务器崩溃后，会有大量要求重传的包到达，导致网络流量瞬时增加。 ( 2 ) 瞬间大量访问异常。瞬间大量访问是指对某个服务器的访问短时间内大 幅度增加的网络异常。如果对某一个门户网站的访问量急剧增大时，其服务 器的需要接收并处理的数据包与建立维护的的t c p 连接数将大大增加，其 c p u 与内存负载会突然加重，若访问量进一步增加，则服务器的负荷将超出 6 第二章异常检测常用方法 自身能够承受的范围，导致服务延迟增加，甚至会导致服务器崩溃。 ( 3 ) 网络攻击。网络攻击是指对网络目标的恶意的攻击。常见的网络攻击有 d d o s 攻击和端口扫描，它们将消耗大量的网络带宽，d o s 攻击使被攻击者的 访问性能大为降低。 2 2 常见的网络攻击 2 2 1d d o s 攻击 d o s 攻击通过消耗主机资源或网络资源使其无法正常恢复请求提供服务。d o s 攻击的一个显著特征就是带宽被大量占用，因为攻击者须与受害主机间建立大量 连接。典型的d o s 攻击有：半连接攻击，范洪攻击。 半连接攻击是指攻击者预先与主机建立连接，并持续连接状态不退出，以合 法用户无法访问主机。最常见的攻击方式是攻击者向主机发送t c p 的s y n 请求， 在t c p 包中伪造源地址，让管理员无法追踪。然后，保持这些连接，永不终止：t c p 半连接攻击有几种变形，其中之一是攻击者与被害主机建立t c p 连接，完成三次 握手后，长时间静止直至连接超时：还有一种变形，攻击者向被害主机发送t c p 数 据包，该包的源地址和目的地址相同，源端口与目的端口相同，被害主机接受到 数据包后，会试图与自身建立t c p 连接，并且永不停止。 由此可见，d o s 攻击中，被害主机的内存与c p u 全部被长时间占用，并且得不 到释放。d d o s 攻击是以d o s 攻击为基础的一种变异，它将d o s 攻击自动化、分布 化。d d o s 攻击可以在同一时间，协调多台主机上的进程对受害主机发起d o s 攻击， 受害主机很可能因为负载过重而崩溃。分布式拒绝服务攻击可以控制多台计算机 对某一目标发动攻击，使服务器在大量的恶意访问中消耗自身硬件资源，高负荷 运转，导致自身的服务性能大幅度降低，甚至因为负荷过重而崩溃。图2 1 显示 了分布式拒绝服务攻击的原理。攻击者首先攻击傀儡主机，然后利用大量的傀儡 主机对某一特定的攻击目标发起集中地流量攻击。而攻击者通常并不直接参与攻 击，只是在攻击发起时向傀儡主机发出指令，而平时傀儡主机平时并不会发生异 常。 7 2 2 3 蠕虫病毒攻击 是否可 息，攻 与面向 企图建 网络内 端口发 描，即 蠕虫是恶意代码的一种形式，无需人工干预即可从一台机器传播到另一台机 器。有的蠕虫病毒甚至在几分钟内就传遍了全球，使全世界的网络都受到严重影 响，不仅浪费了大量的网络资源和硬件资源，也给经济社会带来巨大的损失。 蠕虫通过扫描探测漏洞机器并和它们建立连接。它的扫描机制可以是顺序扫 描也可以是随机扫描。和被感染的机器处于同一局域网内的机器是蠕虫攻击的首 要对象，因而会遭受更多更频繁的攻击。 2 2 4 其他常用攻击 s m u r f 攻击属于d o s 攻击的一种，但它还有其独特的方法。攻击主机首先向路 第二章异常检测常用方法 由器伪造并发送大量i c m pe c h or e q u e s t ，源地址为受害主机，目的地址为该域内 的广播地址。当该域内的主机受到该i c m p 数据包后会向受害主机回复i c m pe c h o r e s p o n s e 报文。如果该域内主机众多，那么大量的i c m p 回复报文会很多消耗掉受 害主机的资源，使其失去处理能力 l a n d 攻击中攻击主机向受害主机的可用t c p 端口发送t c p 连接请求，并将该 请求的源地址和源端口改为和目的地址与目的端口相同。在受害主机受到该请求 后，会同自身建立连接，最终导致该主机进入宕机状态。 f r a g g l e 攻击利用操作系统中u d p 的发射服务应用。在将目的地址改为广播地 址后，f r a g g l e 攻击便成为s m u r f 攻击的u d p 版本。同一域内的主机会对受害主机 返回大量u d p 数据包，从而导致受害主机短时间内失去响应能力。 2 3 常用的网络流量异常检测方法 2 3 1g l r 检测算法 g l r 是一种基于统计值的检测算法【2 1 1 。它的基本思想是以过去一定时间窗口内 的历史流量作为正常的网络流量模型，通过计算当前时间窗口内的流量与前一窗 口内流量的变化情况，来判断异常。其具体步骤是：假定每个时间窗口内的观测 值序列是平稳的记录两个相邻时间窗口s ( t ) 和v ( t ) 内的流量数据。在检测过程中， 随着检测点的到来，这两个窗口一一向前滑动，使当前窗口包含要检测点。由于 假定每个滑动窗口内观测值序列是平稳的，这两个窗口内的观测值都可以应用自 回归a r ( n ) 模型来拟合，其中n 是自回归模型的阶数，即可以向后预测的步数。a r ( 2 ) 由于其简单有效性，得到广泛应用。其模型的公式是： 薯2q t l + 吒t 一2 + 巳 其中表示时间t 时的预测值，一- 和一：表示t l 与t 一2 时刻的观测值，o ，和 o ：模型a r ( 2 ) 的参数，已是残差项，服从独立正太分布。 根据a r ( 2 ) 模型计算分别计算出两个时间窗口内的所有点的联合似然比，对该 统计量取对数，记得对数似然比。通过似然比检验方法，来计算两个时间窗口s ( t ) 和v ( t ) 内对数似然比的变化情况。若这个变化超出了预先设定的阈值t ，则说明 窗口s ( t ) 与v ( t ) 内的数据之间有了较大的偏差，即发生了异常，s ( t ) 和v ( t ) 的边 界就可以确定为异常点。 其详细过程如下：记滑动窗口r ( t ) 的数据为r = 轨( ) ，吃( ) ，k ( ) ) ，窗口长度 9 电子科技大学硕士学位论文 为，代表r 的均值。即，；( f ) 2 ，；( f ) 一，；( f ) 是一个均值为零、长度为的序 列，根据a r ( 2 ) 模型计算得到序列的残差为q 白( f ) = 吼，；o 一七) 由于岛满足正太分布，其均值为零，那么q ( f ) 的似然函数是： rn it 北舳概一 卜l 南j 州警， 类似地，对窗口s ( t ) 内的数据也可以得到似然函数： 、以，、2 鹏忍，- 讪 咖【南j 州等 最后得到的似然比对数为： 一h 1 名= 职( 1 n f 2 一l i l f r ) + m ( h l f 2 一1 1 l f s ) 应用这个似然比对然来检测异常。当一1 1 1 名 h 时，认为网络流量在时间窗口 s ( t ) 与s ( t ) 之间发生了异常。否则，没有异常发生。 g l r 应用比较广泛，具有较强的检测能力，但是该检测算法计算量较大，过程 复杂，对于在线实时检测来说，检测过程所需的时间开销是必须考虑的重点。 2 3 2 基于时间序列的检测算法 文献【1 3 】提出了一种基于时间序列的检测算法。它将顺序到达的观测值序列看 做时间序列，应用回归模型来预测下一时间的观测值。实际上就是为正常流量建 立了一种模型，通过实际观测值与预测值之间的偏差来判断异常。相似的，文献瞄1 提出了一种利用指数平滑技术检测网络异常的方法。它们能够有效的利用历史流 量中个参数的观测值序列，并用这些历史数据来建立数学模型，即确立数学模型 的参数，同时，使用历史数据流量来预测新值，是一种应变性较强，灵活有效的 检测算法。它选取的网络参数通常为一定时间段内经过路由器或交换机的数据包 的比特数、包数等。 以基于指数平滑模型的方法为例。文献【2 2 】中检测过程有3 个步骤：一为预测 时间序列中下一个值。二为计算实际观测值与预测值的差。三为判断观测值是否 发生了异常。 记顺序到达的网络流量观测序列为五，屯，巾五小，指数平滑根据当前观测 l o 第二章异常检测常用方法 值与当前预测值来预测下一个值。记时间t 的预测值为y t ，t + 1 时刻的预测值为 少+ l ，t 时刻实际的观测为乃。则 y f + l = 口以+ ( 1 一口) y ， 其中的口是模型参数，需要通过少量的历史数据来确定，使模型的预测精度 较高。口决定了预测值对过去值指数衰减的快慢。对第一的预测值进一步平滑的 方法有二次和三次平滑和h o l t w i n t e r s 平滑算法。其中h 0 1 t - w i n t e r s 算法考虑 了线性趋势和周期性对时间序列的影响，因此把时间序列分解为基线、线性趋势 和季节影响三个部分。h 0 1 t w i n t e r s 预测值是： y f + l = 口f + 包+ c f + l 一辨 其中的q ，包，q 就是基线、线性趋势和季节性趋势。其计算公式详见文献瞄】。 计算出预测值后就相当于计算出了正常流量，当实际观测值与预测值检测差 超过设定的阈值后，就可以判定该点发生了异常。 2 3 3 基于小波技术的检测方法 是一种时一频分析的方法，具有多分辨率的特点，在时频两域都能够精确地表 征信号的局部特征，因此很适合探测隐藏于正常信号中的微弱的异常变化，并能 够准确定位异常发生的时间。 信号中的奇异点往往包含着重要的信息，如网络流量的突然增大或较小，系 统发生谷中、被检测物体产生断纹时、电力系统中电流出现异常，其输出信号都 会发生突变。由于这些突变往往在时域上难以检测到，而在频域上去变化则很明 显，因此，对信号进行变换以频域形式输出信号，往往能够收到良好的效果。 f o u r i e r 变换也能够检测到异常的存在，但是由于它缺乏局部化的能力，只能 确定一个信号是否有奇异点出现，难以确定奇异点的位置和个数。而小波变换则 具有良好的局部定位能力，因此使用小波变换来检测信号中奇异点是否存在及对 奇异点进行定位。 网络中特别是网络访问高峰期存在着巨大的背景流量，异常发生时会引起局 部流量的的突变，表现在整体流量的观测数据上，它们的增幅在时域上并不明显， 而经过小波变换后，这一异常引起的流量急剧的变化则明显表现出来，提高检测 的效率。 对信号进行小波变换后可以得到低频系数和高频系数，低频系数反映原始信 号的轮廓，或者信号的基本走向，而高频信号则反映了信号的细节。信号的奇异 电子科技大学硕士学位论文 性往往通过频率的异常变化明显的反映出来，因此可以对高频信号进行检测，运 用模极大值等方法检测出奇异点的位置。 文献【2 3 】【2 4 】【2 5 1 分别对采集到网络数据使用小波变换，并进行检测异常。实验表 明，基于小波变换的检测算法具有良好的检测效果，能够检测到网络异常。在这 些异常相对背景流量较为微弱的时候，效