（计算机软件与理论专业论文）网络流量异常检测系统的设计与实现.pdf

西华大学硕士学位论文 网络流量异常检测系统的设计与实现 计算机软件与理论专业 研究生张健指导教师刘兴伟 网络的迅速发展和普及j 下在颠覆人们传统的信息交互模式。但是，随着网 络规模的不断扩大，网络安全已经成为阻碍新型信息化社会正常发展的关键问 题。保障网络安全通常需要从两个方面入手，防御和入侵异常检测。入侵异 常检测技术作为一种主动安全防护技术，可以及时地检测出各种恶意入侵攻击， 并能够在网络系统受到危害时进行主动响应。它是传统安全技术如防火墙的合 理补充，也是当前计算机网络安全理论研究的一个热点。 近年来，网络流量异常检测技术的研究引起了越来越多学者的关注。网络 流量异常检测的关键是通过对网络流量j 下常行为的描述来分析和发现网络或 系统中可能出现的异常行为。网络流量的异常检测通常由两部分组成：一部分 是预测网络流量，另一部分是检测预测结果。对于预测网络流量，目前已有一 些比较成熟的方法：例如基于季节模型的预测方法，基于支持向量机( s v m ， s u p p o r tv e c t o rm a c h i n e ) 的预测方法等。这些方法都可以对网络流量的异常情 况进行预测，但由于每种预测方法都有自身的特点，在应用于异常检测时都有 自身的局限性。为了更好地解决这些问题，我们提出了一种组合预测方法，把 基于季节模型的预测方法和基于支持向量机的预测方法进行组合，并将预测结 果应用于异常检测，有效的减少了网络流量异常情况的误报率和漏报率。 本论文的主要研究内容如下： ( 1 ) 通过查阅国内外相关文献资料，对网络流量异常检测的研究背景和意 义进行了介绍，对网络流量异常检测的研究现状做出了详细综述。对常用的网 络流量的测量技术进行了介绍。常用的3 种测量技术是：s n m p 测量、p a c k e t s n i f f i n g 测量和n e t f l o w 测量，其中n e t f l o w 是一种数据交换方式，其流量采 西华大学硕士学位论文 集是基于网络设备提供的n c t f l o w 机制实现的。 ( 2 ) 介绍了两种已有的预测方法。分别是基于季节模型的预测方法和基于 支持向量机的预测方法。并阐述了这两种方法的特点和优势。此外，介绍了组 合预测的常用方法。 ( 3 ) 本文设计并实现了一个网络流量异常检测系统，这个系统由两部分组 成。第一个部分是预测网络流量，为了减少误报率，我们用基于b p 神经网络 的方法将季节模型预测方法和支持向量机的预测方法进行组合，得到一个新的 组合预测方法。并在季节模型预测方法和支持向量机预测方法的基础上设计完 成了季节模型预测子系统) 及e p s i l o n s v r 子系统。第二个部分是检测预测结果， 为了使检测更有效，我们引用了置信区间的方法。此外，该系统是在n e t f l o w 测量技术的基础上完成的，我们对数据采集方法进行了研究，并设计了一套新 的流量采集系统。总之，该系统的设计更符合网络的实际需求，有较强的实用 性。 ( 4 ) 为了说明该系统如何应用于实际，我们进行了实例讨论，并把已有方 法和我们提出的组合方法进行了效果比对。 关键词：流量测量；预测：支持向量机；组合预测；异常检测。 t h ed e s i g na n d n a r e a l i z a t i o no fas y s t e mo fn e t w o r k ca n o m a l y d e t e c t i n g m a j o r ：c o m p u t e rs o f t w a r et h e o r y m a s t e r c a n d i d a t e ：z h a n gj i a ns u p e r v i s o r ：l i ux i n g w e i t h er a p i dp e n e t r a t i o na n dd e v e l o p m e n to fc o m p u t e rn e t w o r k sa r eu p s e “i n g t h et r a d i t i o n a lm o d et h a t p e o p l ec o m m u n i c a t ei n f o r m a t i o nw i t he a c ho t h e r h o w e v e r , a l o n gw i t ht h ee x p a n d i n go ft h es c a l e so fn e t w o r k s ，s e c u r i t vh a sb e e na k e yp r o b l e mh a n d i c a p p i n gt h en o r m a ld e v e l o p i n go ft h en e wt y p e si n f o r m a t i o n b a s e ds o c i e t y p r o t e c t i n gn e t w o r ks e c u r i t yc a nb ec o p e dw i t hd o w nt w oa s p e c t s ： d e f e n d i n ga n di n t r u s i o n a n o m a l yd e t e c t i n g a sat y p eo f t e c h n o l o g y a c t i v e p r o t e c t i n g ，i n t r u s i o n a n o m a l yd e t e c t i n gt e c h n o l o g yc a nt e s to u tav a r i e t yo f m a l i c i o u sb e h a v i o r si nt i m e ，a n da c t i v e l yr e s p o n s ew h i l eb e i n gt h r e a t e n e d i ti s a r e a s o n a b l es u p p l e m e n tt ot r a d i t i o n a ls e c u r et e c h n o l o g i e sl i k ef i r ew a l l ，a sw e l la sa h o t s p o ti nc u r r e n tr e s e a r c ho fc o m p u t e rn e t w o r k s e c u r i t y r e c e n t l yi n v e s t i g a t i n gt e c h n o l o g yo fd e t e c t i n gn e t w o r kt r a f f i ca n o m a l v g a i n e dm o r ea n dm o r ec o n c e r n t h ek e yo fa n o m a l yd e t e c t i o no fn e t w o r kt r a f f i ci s t oa n a l y s ea n dd e t e c ta b n o r m a lb e h a v i o ro fn e t w o r k b ym e a n so ft h ed e s c r i p t i o nt o n o r m a lb e h a v i o ro fn e t w o r kt r a f f i c u s u a l l y , a n o m a l yd e t e c t i o no fn e t w o r k t m f f i c c o n t a i n st w op a r t s ：t h eo n ei s f o r e c a s t i n go fn e t w o r kt r a f f i c ，t h eo t h e ri sd e t e c t i n g t h er e s u l to ff o r e c a s t i n g a st o f o r e c a s t i n go fn e t w o r kt r a f f i c , t h e r ea r es o m e e f f e c t i v ef o r e c a s t i n gm e t h o d s ，f o re x a m p l e ，t h e f o r e c a s t i n gm e t h o db a s e do ns e a s o n m o d e la n dt h ef o r e c a s t i n gm e t h o db a s e do ns u p p o r tv e c t o rm a c h i n e t h e s et w o m e t h o d sc a nf o r e c a s ta b n o r m a ls i t u a t i o no fn e t w o r kt r a f f i c , b u tt h e i n c i d e n c eo f e r r o ra l a r mi sh i g h t oa v o i dt h i sp r o b l e m ，w ep r o p o s eac o m b i n e df o r e c a s t i n g m e t h o dw h i c hc o m b i n e dt h ef o r e c a s t i n gm e t h o db a s e do ns e a s o nm o d e la l l d t h e 1 i i 西华大学硕士学位论文 f o r e c a s t i n gm e t h o db a s e do ns u p p o r tv e c t o rm a c h i n e t h em a i nc o n t e n to ft h i sp a p e rs t u d i e sa t ea sf o l l o w s ( 1 ) w ei n t r o d u c et h er e s e a r c hb a c k g r o u n d ，s i g n i f i c a n c ea n dg i v ear e v i e wo f r e s e a r c hs i t u a t i o na th o m ea n da b r o a di nd e t a i l t h e r ea r et h e r em e a s u r em e t h o d st o m e a s u r et h en e t w o r kt r a f f i c ：s n m pm e a s u r e m e n t ，p a c k e ts n i f f i n ga n dn e t f l o w m e a s u r e m e n t n e t f l o wi saw a yt oe x c h a n g ed a t a ；t h et r a f f i cc o l l e c t i o n sw h i c hh a d b e e nr e a l i z e da l eb a s e do i lt h em e c h a n i s mo ft h ef l o wo fn e t w o r ke q u i p m e n t s w h i c hp r o v i d et h er e a l i z a t i o no ft h en e t f l o w ( 2 ) w ei n t r o d u c e dt w og i v e nf o r e c a s t i n gm e t h o d s t h e ya t et h ef o r e c a s t i n g m e t h o db a s e do ns e a s o nm o d e la n dt h ef o r e c a s t i n gm e t h o db a s e do ns u p p o r tv e c t o r m a c h i n e b e s i d e s ，w ea l s oi n t r o d u c e dc o m b i n e df o r e c a s t i n gm e t h o d ( 3 ) i nt h i sp a p e r , w ed e s i g na n da c c o m p l i s has y s t e mo fa n o m a l yd e t e c t i o no f n e t w o r kt r a f f i c ，t h i ss y s t e mc o n t a i n st w op a r t s 1 n h eo n ep a r ti sf o r e c a s t i n go f n e t w o r kt r a f f i c t or e d u c et h ei n c i d e n c eo fe l l o ra l a r m ，w ec o m b i n et h ef o r e c a s t i n g m e t h o do fs e a s o nm o d e la n dt h ef o r e c a s t i n gm e t h o do fs u p p o r tv e c t o rm a c h i n eb y m e a n so fb pn e r a u ln e t w o r k t h e n ，w ec a ng e tan e wc o m b i n e df o r e c a s t i n gm e t h o d m o r e o v e r , b a s e do nt h ef o r e c a s t i n gm e t h o do fs e a s o nm o d e la n dt h ef o r e c a s t i n g m e t h o do fs u p p o r tv e c t o rm a c h i n e ，w ed e s i g na n df i n i s ht h es u b s y s t e mo fs e a s o n m o d e la n dt h es u b s y s t e mo fe p s i l o n s v r t h eo t h e rp a r ti sd e t e c t i n gt h er e s u l to f f o r e c a s t i n g t og e tm o r ee f f e c t i v ed e t e c t i v er e s u l t ，w eu s et h em e t h o db a s e do n c o n f i d e n c ei n t e r v a lt od e t e c t t h er e s u l to ff o r e c a s t i n g f u t h e r m o r e ，w em a k e r e s e a r c h e so nt h em e t h o do fd a t ac o l l e c t i o na n dd e s i g nan e ws y s t e mo ft r a f f i c c o l l e c t i o nb a s e do nn e t f l o wm e a s u r et e c h n o l o g y a n y w a y , t h i ss y s t e mo fa n o m a l y d e t e c t i o no fn e t w o r kt r a f f i cn o to n l ys a t i s f i e dp r a t i c a ln e t w o r kn e e db u ta l s oh a v ea w i d ea p p l i c a t i o nf i e l d ( 4 ) t o d e m o n s t r a t et h i ss y s t e mh o wt oa p p l yt op r a c t i c a lp r o b l e m ，w eg i v ea n e x a m p l e a n dm a k eac o m p a r i s o nb e t w e e ng i v e nm e t h o d sa n dn e wm e t h o d k e yw o r d s ：t r a f f i cm e a s u r e ；t r a f f i cf o r e c a s t i n g ；s v m ；c o m b i n e df o r e c a s t i n g ； a n o m a l yd e t e c t i n g i v 两华大学硕士学位论文 1 0 声明 本人申明所呈交的学位论文是本人在导师指导下进行的研究工作及取得 的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得西华大学或其他教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在 论文中作了明确的说明并表示谢意。 本学位论文成果是本人在西华大学读书期间在导师指导下取得的，论文成 果归西华大学所有，特此申明。 作者签名：多足缸乏伽吖年g 月f q 同 新签名嫩坪凸胁 5 5 西华大学硕士学健论文 n 授权书 西华大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规 定，同意学校保留并向国家有关部门或机构送交论文的复印件和电 子版，允许论文被查阅和借阅，西华大学可以将本论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复 印手段保存和汇编本学位论文。 本学位论文属于 1 、保密0 ，在年解密后适用本授权书； 2 、不保密适用本授权书。 ( 请在以上口内划v ) 帮嚣警擀筠 日期：锄哪。，。扣 。 网期：7 珂 西华大学硕士学位论文 1 绪论 1 1 研究背景及意义 在现代生活中，网络已经成为人们不可或缺的的信息基础。随着i n t e r n e t 规模的不断扩大，网络异常事件的发生也越来越频繁，任何差错或阻塞都可能 对人们造成不便甚至造成巨大的损失。在2 0 0 1 年7 月，c o d er e d 蠕虫在不到9 小时的时间里，感染了2 5 万台计算机，直接经济损失2 6 亿美元；2 0 0 3 年1 月， s q l s l a m m e r 蠕虫在爆发的丌始阶段就导致了9 5 1 2 亿美元的损失。面对巨大 的损失，网络安全作为一个无法回避的问题呈现在人们面，成为人们普遍关注 的焦点。 为了网络安全，网络管理的核心任务已经从用量管理转向安全管理。网络 流量异常检测是网络安全管理领域的重要研究内容。网络异常通常表现为网络 流量的异常，网络流量异常是指对网络正常使用造成不良影响的网络流量模 式，网络异常检测的关键是通过对网络流量正常行为的描述来分析和发现网络 或系统中可能出现的异常行为。对关键参数进行异常监测可以提早发现问题， 确定新的网络威胁，并向管理员提出警告，从而使得网管人员有更多的时间分 析问题，组织防范或恢复措施，避免严重问题的出现，而且对于发现未知网络 入侵及网络故障检测等方面有着不可替代的作用。通过监测网络异常情况的发 生可以检测出许多网络故障和性能问题，对提高网络的可用性和可靠性，保证 网络的服务质量具有重要意义。同时，要对异常流量尽早的发现，我们所用的 一个前提是假定所有入侵行为都是与正常行为不同的。如果建立系统正常行为 的轨迹。那么理论上可以把所有与正常轨迹不同的系统状态视为可疑企图。因 此网络流量的高精度的预测是网络异常检测的前提，对于异常的特征与阈值的 选择是异常发现技术的关键。 综上所述，流量异常检测及分析是网络流量异常响应应用的基础，便于网 络及安全管理人员排查网络异常、维护网络正常运转、保证网络安全，研究一 种高效、快速、准确率高的异常流量检测系统对于网络故障的预警和网络安全 都具有极为重要的意义。但是目前传统检测方法的误报率、漏报率居高不下， 以往的攻击侦测手段已经不适应当前网络安全管理中对网络攻击“要及时发 西华大学硕十学位论文 现，快速定位，立即防范的要求，引入全新的检测研究方法已迫在眉睫。这 就需要我们在异常发现技术的基础上寻找一种通过流量的检测值来进行检测 的切实、有效的方法。本次研究就是在这种大背景下产生。 1 2 国内外研究现状 1 2 1 流量异常检测现状 流量的异常检测在实际应用中具有重要的实际意义。在之f j 的研究中，流 量异常检测的方法可以大致分为如下几种： 1 ) 基于阈值检测方法。 在网络流量管理中流量异常的一般检测方法是阈值监控，该方法被广泛 使用。通常是用预先设定阈值的方法，即根据经验预先确定某个流量的上下限， 输入到网络管理工具中，如果在网络监测中，流量的实际观测值超出上限或下 限，那么我们认为流量异常1 1 1 。 2 ) 基于统计模型的方法。 基于统计模型的主要优点是它可以“学习用户的使用习惯，从而具有较 高检出率和可用性，缺陷主要是假设统计模型的数据能正确的反映系统的正常 数据，但在实际中往往很复杂。从流量轮廓获取的角度又可以把基于统计的异 常检测方法进一步分为两类：第一类是分析特定的细节特征，第二类是把网络 总体流量( p a c k e t 或f l o w 的数量) 作为分析对象f 1 1 。基于第二类统计模型，崔伟兰 等人i z l 采用了一种基于统计的流量异常检测方法，首先确定正常的网络流量基 线，然后根据此基线利用j 下态分布假设检验实现对当前流量的异常检测。 3 1 ) 数据挖掘的方法。 数据挖掘是从大量的、模糊的、随机的数据中，提取尽可能多的隐含的安 全信息、抽象出有利于进行判别和比较的特征模型，这些特征模型可以是基于 异常检测的特征向量模型，也可以是基于异常检测的行为描述模型，然后由计 算机根据相应算法判断出当前行为的性质。目前应用较多的数据挖掘算法有数 据分类、关联规则和序列分析，有的研究在一维流或多维流分布特征的数据挖 掘来确定异常【3 , 4 , 5 l 。 4 ) 小波分析方法。 2 西华大学硕士学位论文 在基于网络流量统计分析的模式分析中，时间序列模型起着相当重要的作 用。小波分析能将交织在一起的不同频率成分组成的复杂的非线性流量时间序 列问题分解成多个尺度、多种组成成分的流量子序列i 。p o l l yh u a n g 等用小波 的方法检测网络的性能问题州，王风宇等【7 】提出了多时间尺度同步的网络异常 检测方法，利用三层小波分解可以提供多时间尺度信息的特点来对流量统计特 性进行识别。吕军纠8 】提出了将小波变换与线性模型相结合的方法，寻找异常 点的位置，达到了较好的效果。 5 ) 自相似特征方法。 自相似性是指网络的负载随时间，在各个时间规模上具有相似的统计特征 【9 1 。大量研究结果表明真实网络流量存在统计上的自相似性( s e l f - s i m i l a r i t y ) 1 0 】， 对于网络流量的自相似特征的研究还有很多的工作，流量负载变化会对自相似 性参数( h u r s t 参数) 产生影响【n j 。在此基础上，很多研究提出了一些新型的网络 流量异常检测方法，如薛丽军等人【1 2 】提出了一种新型的基于网络流量自相似 性的流量异常检测方法，揭示了网络流量异常对网络流量自相似性的影响。 6 ) 其它方法。 从研究的角度来说，也有一些学者在研究新的检测方法。m e d h in a s s e h i l 掣1 3 】利用马尔可夫模型检测异常：郭琳等1 1 4 l 提出了一种基于稳念的异常流量 检测模型；杨丹等1 1 5 j 提出了了通过信号自适应重构后的的再次检测，进一步 确认异常特征的方法；万里掣1 6 】进行的基于序贯模式的研究等。 1 2 2 数据流量预测现状 异常检测的关键是对数据进行预测。目前对时间序列预测的方法有小波分 析、神经网络、支持向量机、以及线性回归等方法。对某一问题的具体预测通 常可采用不同的预测方法，因为每种预测方法的适用条件不尽相同，所以会产 生不同的预测结果，其预测精度往往也不同。它们的应用条件及建模机理各异， 在不同程度上都有一定的局限性。组合预测的提出就是为了弥补单个预测模型 的片面性，它集结尽可能多的有用信息，充分利用不同模型的优点，从而使预 测模型具有对环境变化的适应能力。先利用两种或两种以上不同的单项预测法 对同一预测对象进行预测，然后对各个单独的预测结果做适当的组合，最后取 3 西华大学硕十学位论文 其组合预测结果作为最终的预测结果的一种预测方法。有学者研究基于小波多 尺度分析的网络流量组合预测方法，获得了较好的效果旧；有的讲两种不同 神经网络的预测值再用b p 神经网络进行组合预测【1 8 】。在b p 神经网络的研究 中，有学者将单一预测方法所得到的预测值作为b p 神经网络的输入样本，相 应历史数据的实际值作为样本的输出，经过样本训练达到期望精度，应用b p 神经网络进行组合预测【1 9 j 。 在使用单一预测方法的研究中，温志贤等结合网络流量异常检测的特点， 讨论了异常检测的特征选择问题，提出了网络流量对称性、t c p 报文s y n 和 s y n a c l 澍称性以及协议分布等具有鲁棒性的特征参数1 2 0 j 。，并将支持向量 机应用到网络流量异常检测中；i n t e r a c t 流量是具有相关和非平稳特性的时问 序列1 2 1 l ，使用以线性回归为基础的季节模型方法可以有效地预测流量的变化 趋势。 1 3 主要内容 网络流量异常检测模型的总体设计思路是：在网络的结点( 路由器或交换 机) 上采集数据，将它的统计值传到相应的存储空间，对这些数据包进行流量 分析。分析以后，结合数据的具体特性，采用具有典型代表意义的线性预测模 型和的以s v m 预测为代表的非线性预测建立模型，进行预测，最后进行组合 预测，得到比较可靠的预测值。使用一种更好的异常检测方法，使用预测值和 实际值进行某种特性比较，在异常流量出现时及时进行告警。 在本文中，结合前人做得大量研究并综合实践，提出了一套新的基于 n e t f l o w 的异常流量检测系统。系统的基本结构如图1 1 所示。 1 3 1 网络流量采集系统 本系统的主要作用是为异常检测系统提供足量的、准确的可供分析、利用 的网络流量数据。为了使系统具有普适性，我们使用基于n e t f l o w 的检测技术。 主要包括数据发送、数据采集、数据分析等三个系统。数据发送子系统负责从 网络节点用n e t f l o w 协议向采集子系统发送数据，数据采集子系统负责采集发 送到指定端口的数据，数据分析子系统负责即时导出采集到的流量报告。 4 西华大学硕士学位论文 f i g 1 1b a s i cc o n s t r u c t i o np l a n 图1 1 系统基本结构图 1 3 2 网络流量预测系统 有大量的研究表明，单位时间内的包数或流的数量能够较好地表征网络流 量强度l z 2 l ，而本子系统将基于n c t f l o w 的网络流量采集子系统中采集的数据， 分析数据的特点，选择一种预处理策略。首先研究一种能够将小颗粒数据整理 的子系统。这个子系统能够完成将偶然性极强的数据整流，使其既能反映异常 流量变化，又能忽略某个特殊坏点。提出了根据在一个极小时间段内将相邻m 个点加权后计算求值一个代表值的算法，以使系统的精度更高。这是本系统的 一个研究内容。 选择比较适合数据特征的预测方法。针对数据网络特点，通过大量的文献 学习及实际数据的验证，找到两种比较适用的方法。一种是基于线性回归的季 节指数算法，其优点将在后面介绍。我们根据数据特征自己建立模型。经研究 发现，网络流量具有自相似性，建立好的季节模型是我们研究过程的一个难点。 选择支持向量机进行非线性预测使我们整个系统的一个重点环节。支持向 量机( s v m ) 是数据挖掘中的一个新方法，能非常成功地处理回归问题( 时间序 列分析) 和模式识别( 分类问题、判别分析) 等诸多问题，并可推广于预测和综合 评价等领域。基于支持向量机的网络异常检测方法不仅可以有效地检测各种高 强度的扫描行为，同时误报警率较低，具有较好的泛化能力，能够检测到训练 中未出现的新攻击。建立一个适用的训练及预测模型，以及支持向量机及其模 5 两华大学硕十学位论文 型的实现，都是我们对本系统研究的重点。 1 3 3 组合预测系统 根据实际数据的特点，选择一种组合方法，将网络流量数据预测子系统中 预测的结果组合预测成最终预测数据，这是本系统中的一个难点。研究季节模 型和支持向量机本身的特点和应用范围后，将b p 神经网络引入到流量预测系 统中进行组合预测，分析其特点，调整使其更好的适用于我们的异常检测模型， 将作为主要研究方向之一。 1 3 4 异常检测系统 基于流量异常的检测方法有很多，较常用的方法都有一定的实用性和价 值，但是这些方法存在了很多的问题。当前的异常检测系统的核心问题，如何 减少入侵检测系统的漏报和误报，提高其安全性和准确度基于异常发现的入侵 检测系统通过流量统计分析建立系统正常行为的轨迹。当系统运行时的数值超 过正常阈值。则认为可能受到攻击。统计方法中的阈值难以有效确定。太小的 值会产生大量的误报，太大的值会产生大量的漏报，因此如何提高监测的准确 度是必须要解决的一个问题。 在异常检测系统中，怎样认定流量异常，很多人提出了很多方法。在实际 的各种网络情况下，每种情况下的对应异常的判定又是不同的。在这里，根据 置信区间理论，提出了可变置信区间的异常检测系统，这是异常流量监测系统 的另一个工作和研究重点。同时根据已有的分级告警机制，根据告警值的不同， 设置分级告警机制，并引入到异常检测系统中，以提升异常时告警的实用性。 1 4 本文结构 全文共分为7 个章节，各章节组织安排如下： 第一章介绍了课题的研究背景和意义，着重对国内外流量异常检测技术和 网络流量预测技术研究的现状进行综述，并罗列出论文的研究内容和组织结构 安排。 第二章查阅国内外相关文献资料，对常用的网络流量测量方法( 主要是 6 两华人学硕士学位论文 n e t f l o w 测量技术) 进行研究，设计并完成一套基于n e t f l o w 的流量采集系统。 第三章首先研究时间序列分析中关于线性回归和预测的方法，分析、设计、 完成适用于本系统的基于季节模型的预测方法，并进行相应性能分析；接下来 研究支持向量机理论，包括支持向量分类机和支持向量回归机，研究将支持向 量机理论应用于流量预测的方法，设计并完成适用于本系统的s v m 预测系统 并进行相应分析。 第四章研究常用的组合预测方法和b p 神经网络，着重研究将第三章中的 预测结果进行组合预测，并对组合预测方法进行改进。 第五章研究常用的异常检测的方法，并根据网络的实际情况建立异常检测 模型进行异常检测。 第六章采用对真实环境网络流量进行测量，并在此基础上进行预测及分 析，横向分析本系统的效果。 文章的最后，对全文的研究工作进行总结，并对未来还需要进行的工作进 行了展望。 7 两华大学硕十学位论文 2 网络流量采集 2 1n e t f l o w 简介 n e t f l o w 是c i s c o 公司提出的网络数据包交换技术，该技术首先被用于网 络设备对数据交换进行加速，并可同步实现对高速转发的i p 数据流( f l o w ) 进 行测量和统计。经过多年的技术演进，n e t f l o w 原来用于数据交换加速的功能 已经逐步改由网络设备中的专用集成电路( a s i c ) 芯片实现，而对流经网络设备 的i pf l o w 进行测量和统计的功能却更加成熟，并成为当今互联网领域公认的 最主要的口流量分析、统计和计费行业标准。n e t f l o w 是c i s c o 的专属协议， 已经标准化。目前j u n i p e r 、e x t r e m e 、华为等厂家也逐渐支持此协议。n e t f l o w 由路由器、交换机自身对网络流量进行统计，并且把结果发送到第3 方流量报 告生成器和长期数据库。n e t f l o w 方式是网络流量测量方式的发展趋势。异常 流量检测系统的前提是要对网络流量进行测量。收集网络数据主要有两种方 法：一是采样包追踪或采样网络流1 2 3 4 1 ，此方法主要针对快速检测的需要； 2 ) 统计处理字节包流时间序列，这种统计处理操作主要是基于各种类型的原 始测量数据，每隔单位时间( 如1 分钟或5 分钟) 按字节、数据包、或l p 流计 算单位时间的统计流量值，形成时间序列的流量数据。此方法常用于离线的、 使用统计分析方法的异常检测研列2 5 , 2 6 1 ，已经有基于校园网n e t f l o w 的网络流 量检测，取得了较好的效果1 2 7 1 。 2 2 采集系统总体设计及网络拓扑 本子系统包括数据发送、数据采集、数据分析等三个子系统。数据发送子 系统负责用n e t f l o w 协议发送数据，数据采集子系统负责采集发送到指定端e 1 的数据，数据分析子系统负责即时导出采集到的流量报告。采集系统设计图如 图2 1 所示。 八 卜 数据发送子系统 n 数据采集子系统 数据分析子系统 1 ， y f i g 2 1a c q u i s i t i o ns y s t e md e s i g np l a n 图2 1 采集系统设计图 8 西华大学硕士学位论文 本实验的实际数据来源之一为某大学校园网流量数据。网络流量采集系统 所在网络的拓扑i 凋如图2 2 t t e a c hb u i l d i n g 黼l i n j i a n gg a r d e n f i g 2 2t o p o l o g i c a ld i a g r a mo fac o l l e g en e t w o r k 图2 2 某校园网络拓扑图 拓扑图里红字标的地方就是采集的点，包括了通过防火墙与外部网络交换 的总量，同时也包括了校园内部流经该设备的所有的流量。 采集流的过程是：红字标出的设备向某一主机( 固定m 和端口) 以u d p 包的方式发送采集到的流数据，我们在用那个口的主机上利用f l o w - t o o l s 的 f l o w - c a p t u r e 命令收集，每3 1 5 分钟打成一个二进制数据包，用f l o w p r i n t 命 令将二进制文件转换成t x t 文件进行分析，计算流量总量等需要的各个指标。 2 3 数据发送子系统 数据发送子系统主要是利用n e t f l o w 协议，先采集n e t f l o w 数据，再把数 据存储在n e t f l o w 缓存中，最后把过时的缓存数据打包用u d p 协议发送到指 定的端口。虽然使用的是u d p 协议，但在这个局域网环境中可靠性是非常高 9 两华人学硕士学位论文 的。由于开发系统面向的是核心或骨干网，那么数据发送子系统必须满足高速 数据采集( 采集到n e t f l o w 缓存中) 和高速发送数据，并且要有足够的缓存。 数据发送子系统的相关配置： i pf l o wi n g r e s 启用n e t f l o w 功能，将f l o w 捕获到缓存中； i pf l o w e x p o r tv e r s i o n5 导出的f l o w 设置为版本5 ； i pf l o w e x p o r td e s t i n a t i o nx x x x9 9 9 6 设置数据输出目的主机和端口； i pf l o w e x p o r tsf 0 0 1 设置数据输出源； l设置信号标识 y f i g 2 3f l o w - c a p t u r em o d u l ef l o w c h a r t 图2 3f l o w - c a p t u r e 程序模块流程图 2 4 数据采集子系统设计 数据采集子系统主要负责采集指定端口上的u d p 包。由于开发系统面向 的是核心网或骨干网，数据采集子系统必须满足来得及采集发送过来的u d p 1 0 西华大学硕士学位论文 包。具体设计流程图见图2 3 。 f l o w c a p t u r e 程序主要负责采集指定端口的u d p 包。如果存在u d p 包， 则创建一个临时二进制文件，将监听到的包写入临时文件，直到到达设置的时 间再创建另外一个临时文件，并重复此过程。 广一 f o r m a t 0 i一 n o 自卜一 n o n o n o y e s f i g 2 4h o w - p r i n tm o d u l ef l o w c h a r t 图2 4f l o w - p r i n t 程序流程图 1 1 两华大学硕十学位论文 f l o w p r i n t 程序主要负责把二进制文件转换为a s c i i 文件，流程图如图2 4 所示。 2 5 数据分析子系统设计 数据分析子系统主要负责将采集到的数据进行一些简单的统计分析，而我 们采集到的最原始数据为二进制数据，在上一个子系统中已经转化为a s c i i 文件。同时，在系统的设计中，流量的定时处理是非常必要的。b i nt o t x t s h 和s u m 程序，通过采集到的数据文件，计算每个文件的总流量，以便数据预 测子系统使用，流程图如图2 5 所示。 f i g 2 5d a t aa n a l y z em o d u l ef l o w c h a r t 图2 5 数据分析子系统流程图 2 6 总结 在通常情况下，网络流量异常检测系统可以采用如下两种方式实现：通过 网络入侵检测系统( n i d s ) 的报警进行分析，以及通过n e t f l o w 流量采集技术对 异常流量分析。对基于n e t f l o w 流量采集技术的网络流量异常检测系统而言， 它利用的是路由设备内置的n e t f l o w 统计功能，路由设备在开启n e t f l o w 功 能时对转发数据包的性能影响较小，因此使用n e t f l o w 技术分析不会给网络增 加瓶颈设备，也易于从整个网络的范围内对异常流量进行检测和响应。n e t f l o w 流量监控系统在实际的使用过程中，实现了对整个网络的监控，对数据流量的 1 2 面 两华大学硕十学位论文 采集。设计的流量采集系统包括了数据发送子系统、数据采集子系统和数据分 析子系统，数据的采集结果真实可靠。网络流量的采集是整个异常流量异常检 测的基础，实现的采集系统可以为接下来的预测模块提供及时、真实、可靠的 数据。 1 3 两华人学硕士学位论文 3 网络流量数据预测 3 1 预测原理 从数学上来说，预测就是从一个时间序列的过去的数据估算整个系统的统 计参数，确定预测算子，应用统计的方法进行预测1 2 引。统计预测方法在许多 领域都有广泛的应用，它是以概率统计为基础，统计量( 平均值、方差等) 为对 象进行的预测，可以反映客观的规律性。应用统计预测的方法预测网络流量， 是一种是定量的、定时的预测，即确定流量在未来某个时刻的数值，是一种短 期预测的行为，它直接影响到当前的网络管理者对网络运行情况的判断，需要 较高的精确度i 删。 3 2 数据整合预处理模块设计 实际网络中的流量并不是平滑的，具有突发性，在建立预测模型进行流量 预测之前，需要收集大量实际数据，并采用了相邻点加权合并进行适当处理的 方法，使数据具有连续性和平滑性【3 l l ，这个步骤称为数据的预处理。具体的 步骤按照下面所述。 首先确定各个点的权值。 预先收集某个工作只的网络流量数据。以天为单位，每5 m i n 采样一次， 即每天采集2 8 8 个网络流量数据。把这一天中采集到的2 8 8 个数据存入到3 x 9 6 的二维数组数据库中。那么每一个1 5 m i n 间隔时刻，都有3 个值，记为n ，x 2 ， x 3 ，这样的数据有9 6 组。 每组数据为：x i , i l n l ，n 为每组中的数据个数。 对于每一组的n 个数据，首先对数据进行线性回归，得到对这些数据的 线性回归方程： y ，ss o + a f p t 1 2 ，) ( 3 1 ) 根据这个回归方程，都能得到对应该点的线性回归值y r 由该点的实际值和线性回归值，可以得到每个点的误差值： 以a l - y , i ，r ( 1 ，“，) ( 3 2 ) 为每个点赋权值： 1 4 西华大学硕士学位论文 舞 为此，网络流量数据按时间先后， ，f g 2 ，i v )( 3 3 ) 分别赋予不同权值( 称为流量数据影响 因子) 。将相邻的n 个点通过权值得到一个能代表整组数据的数值。由于每组 的数据很少，并不会漏掉流量异常的一段时间的数值，但是却可以平滑整段数 据。 3 3 季节模型预测 3 3 1 网络流量数据的周期性研究 在通过对加州大学伯克利分校提供的网络流量数据和普斯茅斯大学提供 的校园网流量图，国家骨干网t c p 流量图( 图3 1 ) 以及在对某大学校园网 i6 1 2 霆8 4 时问 f i g 3 1d i s c h a r g ed i a g r a mo ft h eb a c k b o