（计算机科学与技术专业论文）基于小波技术的网络异常流量检测.pdf

国防科学技术大学研究生院工学硕士学位论文 摘要 近年来，随着互联网在全球的迅速发展和各种互联网应用的快速普及，互联 网已成为人们日常工作生活中不可或缺的信息承载工具。但由于i p 网络环境的开 放性以及i p v 4 在设计时缺乏对安全问题的周详考虑，目前i p 网络安全形势严峻， 伴随着互联网的正常应用流量，网络上形形色色的异常流量也随之而来，影响到 互联网的正常运行。对网络上的各种异常流量进行检测、处理己经成为日常网络 运行管理的一项重要工作。 本文主要研究了校园网络背景下流量异常的检测技术，在分析了网络流量的 特性后，以小波奇异性理论为基础，提出基于小波技术的网络异常流量检测方法， 并分别以f l o w 、p a c k e t 和b y t e 为参数将网络流量分解到不同的频段上，通过分析 小波分解的细节系数来判断网络流量是否发生了异常；然后针对由端口扫描和d o s 等四种攻击引起的网络流量异常，提出了一种量化的异常流量检测方法小波 方差分析法，并分别用不同的小波函数对不同的异常流量进行了检测，比较了检 测结果，发现了检测效果较为理想的小波函数。 主题词：网络异常，n e t f l o w j 、波，检测效果 第i 页 国防科学技术大学研究生院工学硕j ：学位论文 a b s t r a c t i nr e c e n ty e a r s ，w i t ht h er a p i dd e v e l o p m e n to ft h ei n t e r n e ta n di t sf a r r a n g i n g a p p l i c a t i o n s ，t h ei n t e r n e th a sb e c o m et h ei n d i s p e n s a b l et o o l si no u rd a i l yl i f e b e c a u s e o f t h eo p e n n e s so f t h ei pn e t w o r ke n v i r o n m e n t , a n da l s ot h e1 a c kf o rt h ec o m p r e h t ! n s i v e c o n s i d e r a t i o no ns e c u r i t yo f i p v 4w h e ni tw a sd e s i g n e d ，s ot h es i t u a t i o no fi pn e t w o r k s e c u r i t yi sv e r yg r i mi nn o w a d a y s c o m i n ga l o n gw i t ht h en o r m a lt r a f f i c ，m i x e d a n o m a l ya l s oa p p e a r s ，a n di t sa p p e a r a n c eh a s i n f l u e n c e dt h en o r m a lt r a f f i c o ft h e n e t w o r k t od e t e c ta n dm a n a g ea n o m a l yh a sb e c o m ea ni m p o r t a n td a i l yw o r ki n n e t w o r km a u a g e m e n l 砸st h e s i sf o c u s c so nt h en e t w o r ka n o m a l yd e t e c t i n gt e c h n o l o g yi nc a m p u sn e t w o r k a n dam e t h o dw h i c hb a s e do nw a v e l e tt e c h n i q u ea n dw a v e l e td o v e lt h e o r yi sp u t f o r w a r dt od e t e c tn e t w o r ka n o m a l ya f t e ra n a l y z i n gn e t w o r kt r a f f i c sc h a r a c t e r i s t i c s w e d e c o m p o s et h en e t w o r kt r a f f i ct od i f f e r e n tf r e q u e n c i e sb yu s i n gf l o w ，p a c k e ta n db y t e t h r o u g ha n a l y z i n gw a v e l e tc o e f f i c i e n tw ec a r l _ j u d g ew h e t h e rn e t w o r ka n o m a l i e sa r e t a k i n gp l a c e a i m i n ga tn e t w o r ka n o m a l i e sp r o d u c e db yp o r t s c a na n dd e n i a lo fs e r v i c e ( d o s ) a t t a c k s ，t h e t h e s i sa l s op u tf o r w a r do n eq u a n t i t a t i v ed e t e c t i n gm e t h o d - 一w a v e l e t v a r i a t i o nm e t h o d w eh a de v a l u a t e dv a r i o u sw a v e l e tf u n c t i o n sw i t ht h i sm e t h o df o r m e i re f f e c t i v e n e s sa td e t e c t i n gd i f f e r e n tk i n d so fa n o m a l i e s ，a n df o u n dm o r ei d e a l w a v e l e tf u n c t i o n s k e yw o r d s ：n e t w o r ka n o m a l y ，n e t f l o w ，w a v e l e t ，d e t e c t i v ee f f e c t i v e n e s s 第i i 页 国防科学技术大学研究生院t = 学硕士学位论文 表目录 表2 1 三种流量采集技术比较7 表4 1 攻击时间3 3 表5 1s y nf l o o d i n g 攻击的小波分析结果对比。4 3 表5 2u d pf l o o d 攻击的小波分析结果对比4 4 表5 3p i n g o f d e a t h 攻击的小波分析结果对比4 5 表5 4s c a n p o r t 攻击的小波分析结果对比4 6 第1 v 页 国防科学技术火学研究生院。王= 学硕士学位论文 图i 1 图2 1 图2 2 图2 3 图2 4 图3 1 图3 2 图3 3 图3 4 图3 5 图3 6 图3 7 图4 1 图4 2 图4 3 图4 4 图4 5 图4 6 图5 1 图5 2 图5 3 图5 4 图目录 阂值方法检测不到的细微变化3 n e f f l o w 框架8 恒定阈值检测方法示意图1 2 网络正常行为区域示意图1 3 检测序列中的局部1 3 多尺度分析2 0 局部卷积的局部极大值点、局部过零点与突变点关系示意图2 2 s h a h 小波的实部与虚部2 5 h a a r 小波的尺度函数与小波函数。2 6 d b 3 小波的尺度函数与小波函数2 6 c o i f 3 小波的尺度函数与小波函数2 7 d e m y 小波的尺度函数与小波函数2 7 吉首大学校园网络拓扑图：2 9 实验环境与n e t f l o w 流量的采集、分析示意图3 0 n e t f l o w 采集分析流程图 以f l o w ( 流) 数为参数的小波分解 以p a c k e t ( 包) 数为参数的小波分解3 5 以b y t e ( 字节) 数为参数的小波分解3 6 s y nf l o o d i n g 攻击的小波分析结果4 3 u d pf l o o d 攻击的小波分析结果4 4 p i n go f d e a t h 攻击的小波分析结果4 5 s c a n p o r t 攻击的小波分析结果 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文题目：基王尘遂拉盔鳗圆签定鲎速量拴型 学位论文作者签名： 日期：莎。6 年月6 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留，使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目：基王d ：这盐盔鲍圆缝是鲎速量拴型 学位论文作者签名：! 直坌盘日期：。知。6 年i 月，日 作者指导教师签名：生量z 量塑日期：厶。石年月，口日 斗 国防科学技术大学研究生院工学硕+ 学位论文 1 1 课题背景 第一章绪论 近年束，随着互联网在全球的迅速发展和各种互联网应用的快速普及，互联 网已成为人们日常工作生活中不可或缺的信息承载工具。但由于i p 网络环境的开 放性以及i p v 4 在设计时缺乏对安全问题的周详考虑，目酊i p 网络安全形势严峻， 伴随着互联网的正常应用流量，网络上形形色色的异常流量也随之而来，影响到 互联网的正常运行，威胁用户主机的安全和正常使用，带来了大量的资源浪费和 数以亿计的经济损失。 网络管理员的一项主要任务就是监测网络有无异常流量，如网络设备故障、 恶意攻击、病毒等等。而鉴别这些异常往往基于一些特别的方法或管理者常年网 络管理的经验。当网络规模不大，数据量不多时，可以凭借管理经验来对它们进 行分析，对网络的运行状况做出判断和评价。但是，随着网络规模扩大，数据量 剧增，经验性的管理无法应对形势的发展，这就迫切需要一种能对这些数据进行 自动化处理的技术，当数据中出现异常信息时，能够自动发现或检测出来，实现 自动化报警，从而将会大大减轻网络管理人员的负担，使鼓励人员有更多的精力 对各个参数之间的空间或时间关系进行综合考虑，提高发现异常问题的能力和准 确性。 通过检测网络异常可以检测出更多的网络故障、性能以及安全问题，这也是 检测网络故障、性能和安全问题的一种有效方法，它增强了检测故障和性能问题 的能力，对提高网络的可用性和可靠性、保证网络的服务质量具有重要的意义。 网络流量异常检测技术是解决异常流量问题的前提。 1 2 网络异常流量检测技术的现状与发展 在早期的a r p a n e t 中，当网络运行不j 下常时，管理员通常使用应用程序p i n g 向可能有问题的网络设备发i c m p 报文，根据返回的i c m p 报文头部的时戳，一般 就可以确定问题的性质和方位。由于当时的网络规模很小，网络设备不多，这种 方法还是很有效的。随着a r f a n e t 规模不断扩大，上述方法就显得力不从心了 为了满足这种需要，1 9 8 8 年s n m p ( s i m p l e n e t w o r k m a n a g e m e n t p r o t o c 0 1 ) 发展起来， 它是一个被广泛接受和使用的网络管理协议，已经成为一个事实上的标准；九十 年代网络规模迅速发展，最终形成覆盖全球的i n t e m e l 网络在人们的工作和生活中 起着越来越重要的作用，从根本上改变了整个人类社会的生活和工作方式，它提 第1 页 国防科学技术入学研究生院1 ：学硕十学优论文 高了工作效率，为社会带来了极大的经济效益，同时这也表明人们对它的依赖性 也越来越强。网络规模的庞大化、设备的复杂多样性、以及各种新业务的加入， 使得网络各种问题出现的可能性也大大增加，这就对网络管理提出了更大的挑战。 无论是连接全世界的i n t e m e t ，还是连接办公室的局域网，管理的好坏都可能使得 网络效用发挥大为不同。一个完善的网络管理系统是计算机网络能够可靠而稳定 运行的保证，也是进行网络性能分析的依据。 网络监测是网络管理中最基础的部分，是网络管理人员的主要任务。网络监 测的目的是提高服务质量、提高资源利用率，在用户报告问题之前丌始诊断或解 决问题，提高网络的可靠性和可用性，提供网络规划参考以及安全和计费等。网 络监测通过监测网络的状态判断网络的运行状况。网络的状态一般是通过网络流 量、性能、或配置参数的不同来确定，把这些参数统称为网络参数。 网络监测过程分为三个阶段【l 】：( 1 ) 收集网络数据；收集的数据包括与配置相关 的静态数据、与网络事件相关的动态数掘和从动态数据中总结出来的统计数据。( 2 ) 数掘处理；对收集的数掘进行处理，主要是从中提取感兴趣的不正常的信息，其 中很重要的信息是那些超过阈值的数掘，例如在以太网中，c r c ( 循环冗余校验) 错误高于0 1 ，一天的利用率超过1 0 ，广播数据包大于5 0 p k t s s e c 等，然后产 生相应的信息报告。因此，这个阶段实际上从收集的网络数据中提取信息( 即警报 信息) 。( 3 ) 异常检测；对报告的信息进行综合分析( 警报关联) ，检测是否出现问题， 并分析产生问题的原因。 目前常用的流量的采集方式分为三种：一种是基于s n m p 的流量监测技术。 另一种方法是基于操作系统底层提供的功能。采用操作系统底层提供的功能，即 基于系统的抓包库，如l i b p c a p 、w i n p c a p 、b p f 等。第三种是基于n e t f l o w 的流量 监测技术。我们将在第二章再详述。 在数据处理阶段，最早使用的方法是闽值方法，即对某个网络流量或性能参 数预先设定一个阈值，那么，要提取的信息就是该参数是否超出这个阈值范围。 不论是在实际应用还是理论研究中，这种方法都是应用最普遍的方法这种方法 的特点是应用简单，完全根据网管人员的经验来设定。但是这种方法存在一个最 大的问题，那就是如何确定这个阂值? 如果闽值设置太小，可能频繁被超过，又 会导致产生过多的假信息。如果阂值设置太大，可能永远都不会被超过，那么将 会错过重要信息。图1 1 表示阈值方法设置过大时检测不到的细微变化。图( 1 ) 表 示流量水平增加的异常，图( 2 ) 表示流量短时间突变异常。因此阈值太大或太小都 是不可取的。 第2 页 国防科学技术大学研究生院工学硕士学位论文 或 溺 傻 l l 孝闻 观 瀚 傻 笆坠 t 2 ) 雕雕 绞 图1 1 阈值方法检测不到的细微变化 为了弥补阂值方法的不足，尽可能地从收集的网络数据中获取一些细微的重 要信息，由此出现了对网络流量“异常”的研究和检测。什么是网络异常呢? 1 9 9 0 年，r a m a x i o n ( c a r n e g i em e l l o n u n i v e r s i t y ) 对网络的“j 下常”和“异常”给出如下 的描述：“正常”意味着符合某种常规或典型的模式，以一种自然的力式一一常 规的或所预料的状态、形式、数量或程度发生，“正常”强调符合某种已经建立 的水准或模式，并保持良好状态，是建立在一定趋势基础上的。而“异常”则意 味着违反了这种期望，与期望的情形有一定程度的偏差。不过，在网络系统中， “正常行为的概念会由于网络的动态变化、噪音和不稳定性而不断发生改变， 所以网络“正常”行为的确定还必须随着网络环境的改变而改变。网络异常通常 意味着网络的性能或流量参数等出现异常。 异常检测方法主要包括：统计异常检测法 2 】、基于机器学习的异常检测方法 【3 】、基于数据挖掘的异常检测法【4 】和基于神经网络的异常检测法【5 】等。 当前国内外的一些机构相关方面的研究成果如下：西安科技大学饶鲜等人应 用支持向量机算法，使得入侵检测系统在小样本( 先验知识少) 的条件下仍然具有良 好的推广能力【6 】；清华大学陈光英等人收集并计算t c p i p 流量特征，应用s v m 分类算法进行分类，检测出异常的t c p 连接【7 】；信息工程大学单征等人基于网络 协议，利用有穷自动机理论来实现进程和操作系统的状态建立，从而检测异常【8 】： 东南大学程光等人基于中心极限理论和假设检验理论，建立网络流量异常行为实 时检测模型 9 】；中国科学技术大学谭小彬等人提出计算机系统运行状况的隐马尔 可夫模型，建立实时异常检测系统【1 0 ；r a m a x i o n 等人提出一种检测网络异常 的具体方法【l l 】，通过建立网络流量和性能参数( 如网络利用率、数据包碰撞数、 数据包大小分布、广播数据包等) 的j 下常行为模式，并确定容许范围，以检测广播 风暴及硬件故障；f f e a t h e r ( c a r n e g i em e l l o nu n i v e r s i t y ) 等人应用类似的异常检测方 法( 异常标签匹配) 检测出广播风暴、网桥发生故障、及其它硬件故障【1 2 】；m t h o t t a n 第3 页 国防科学技术大学研究生院i 二学硕士学位论文 和c j i c r e n s s e t a e r p o l y t e c h n i c i n s t i t u t e ) 应用广义似然比检验方法检测m i b 信息库变 量中的异常，结合各变量之间在空间和时间上的关系，进行网络故障的检测和诊 断 1 3 ，1 4 ，1 5 】，并提出利用管理信息库变量的异常信息对网络故障进行分类的方 法，还可以用于i p 网络的流量管理 1 6 】；v a t a r c o n - a q u i n o 和j a b a r r i n ( i m p e r i a l c o l l e g e o f s c i e n c e ) 第一次使用小波技术对网络性能参数进行处理，并应用贝叶斯分 析方法检测网络异常 1 7 】。 综上所述，通过检测网络异常可以检测网络故障或性能问题。在网络监测中， 网络的异常行为是网络管理人员最感兴趣的信息。因为网络中的异常行为常常预 示着发生了或即将发生网络故障或性能问题。所以，对网络流量异常的分析和检 测已经引起研究人员广泛的兴趣。 1 3 本文的研究内容和主要工作 本文主要研究基于小波技术的网络异常流量检测，并详细分析了不同小波函 数在检测流量异常时的效能。 本文在总结p b a r f o r d 和j k l i n e 等人 1 8 】以及p a b r ya n dd v e i t c h 等人 1 9 1 研 究的基础上，提出了一种基于小波技术的检测网络短时异常流量的方法。这种检 测方法的思想是：小波具有多尺度分析的特点，而且在时一频两域都具有表征信号 局部特征的能力，是一种窗口大小固定不变但其形状可改变，时间窗和频率窗都 可以改变的时频局部化分析方法。即在低频部分具有较高的频率分辨率和较低的 时间分辨率，在高频部分具有较高的时间分辨率和较低的频率分辨率，很适合于 探测正常信号中央带的瞬念反常现象并展示其成分，所以被誉为分析信号的显微 镜。小波变换能有效的从信号中提取信息，通过伸缩和平移等运算功能对函数或 信号进行多尺度分析( m u l t i - - r e s o l u t i o na n a l y s i s ) ，可以解决f o u r i e r 变换不能解决 的许多困难问题。信号中的奇异点及不规则的突变部分经常带有比较重要的信息， 它是信号重要的特征之一，流量异常往往表现为流量的突变。因此可以利用小波变 换来分析信号的奇异性及奇异性位置。小波变换可得到低频系数( 或叫做尺度系数) 和高频系数( 或叫做细节系数、小波系数) ，其中低频系数反映原始信号的轮廓， 而高频系数则是反映信号的细节。根据信号理论知道，信号中的奇异性往往是由 子频率突变造成，也就是说，这种奇异性一般是通过频率的异常变化而反映出来， 那么只要把信号中的频率变化情况提取出来，而且能确定其位置，就可以发现信 号中奇异性、并确定奇异性发生的时间。小波变换正好能满足上述要求，由于网 络中的异常流量往往伴随着频率的突变，而有些突变信息一般不易被发现，因此， 小波变换可以被用来检测网络数掘中的异常。实验表明，该方法在检测网络异常 流量时有着较为理想的效果。 第4 页 国防科学技术人学研究生院t 学硕士学位论文 在上述检测方法的基础上，本文还详细分析了小波函数的性质，并试图从理 论上解释不同的小波函数在检测网络流量异常时应具有的性能，最后从实验对不 同的小波函数检测网络异常的检测效果进行了详细的分析，通过分析不同小波函 数分解的细节系数在检测流量异常时偏离均值的大小，来判断小波函数的优劣， 经过分析比较，得到了较优的小波函数。 1 4 本文的组织结构 本文共分为六章。 第一章绪论。本章首先介绍了本文的研究背景，指出网络异常流量的检测是 当前研究的一个热点问题，同时也保证网络正常运行的前提。然后分析了目前网 络流量异常检测技术的现状与发展情况，介绍了当前国内外科研人员在异常流量 检测技术方面做出的研究成果。在此基础上简单介绍了本文的研究的主要内容和 主要工作。 第二章网络流量采集和网络异常流量检测概述。本章首先介绍了不同网络流 量采集技术，分析了它们的优缺点，并详细分析了n e f f l o w 流量采集技术；然后 介绍了网络异常流量分类和检测技术，在此基础上提出了本文所研究的基于小波 技术的网络异常流量检测方法。 第三章小波理论与小波函数的选取。本章介绍了本文所涉及到的小波理论， 并结合网络异常流量的检测，重点分析了小波奇异性理论和小波函数的性质，最 后分析了后面将用于异常流量检测的几个具体小波函数。 第四章实验环境与小波检测方法。本章首先介绍了具体的实验环境，分析了 常见的网络异常，然后详细介绍了基于小波技术的网络异常流量检测方法，并分 别以f l o w 、p a c k e t 、b ”e 为参数进行了小波分析，得到了实验结果，给出了相关结 论，最后从n e t f l o w 的角度对实验结果进行了分析 第五章不同小波函数的检测效果。本章以小波奇异性理论为基础，介绍了小 波方差检测方法，最后用不同的小波函数对不同的异常流量进行了检测，得到了 不同小波函数在检测不同网络流量异常时的不同效果，验证了第三章的结论。 第六章结束语。主要对本文的研究做一总结，并提出了进一步的研究工作和 今后的研究方向。 第5 页 国防科学技术人学研究士院+ r 学硕+ 学位论文 第二章网络流量采集技术和网络异常流量检测概述 2 1 网络流量采集技术 2 1 ，1 网络流量采集技术简介 随着网络重要性和复杂性的不断增加，作为网络管理者，需要透过整个网络 识别关键问题，包括研究应用的响应时间、网络带宽的瓶颈以及识别网络每一层 可能出现的问题等；而且还需要着跟于未来新的技术和应用，并以此扩展网络， 这些都需要从网络流量的采集开始。 目前常用的流量的采集方式分为三种： 一是基于s n m p 的流量采集技术。s n m p 协议时应用最广泛的网管协议，基 于s n m p 的流量信息采集，实质上是通过提取网络设备a g e n t 提供的m i b ( 管理 对象信息库) 中收集一些具体设备及流量信息有关的变量。基于s n m p 收集的网 络流量信息包括：输入字节数、输入非广播包数、输入广播包数、输入包丢弃数、 输入包错误数、输入未知协议包数、输出字节数、输出非广播包数、输出广播包 数、输出包丢弃数、输出包错误数、输出队长等。它的优点是能从宏观的角度查 看网络的整体性能和状况，对管理人员从大局的较大分析和解决问题很方便。它 的缺点是只能获得统计信息，不能针对i p 地址以及端口等信息进一步分析，这是 优获取的数掘局限于网络设备所固有的m i b 库。另外，由于s n m p 管理端使用轮 询的方式获得信息，在需要采集点很多的网络中轮询会产生巨大的网络管理报文， 导致网络拥塞，而且s n m p 仅提供一般的验证，不能提供可靠的安全保证：不支 持分布式管理，只采用集中式管理。在只由网管工作站负责采集和分析数据的情 况下，网管工作站的处理能力可能成为瓶颈。 二是基于操作系统底层提供的功能。采用操作系统底层提供的功能，即基于 系统的抓包库，如l i b p c a p 、w i n p c a p 、b p f 等，这种采集方法能获得最为详细的数 据信息，和其它两种流量采集方式相比，流量镜像采集的最大特点是能够提供丰 富的应用层信息。但这种采集方式显然很容易产生网络出来瓶颈、主机处理瓶颈 以及造成大量的采集数据，因此该方法适合于短期的网络流量采集。 三是基于n e t f l o w 的流量监测技术。n e t f l o w 主要由c i s c o 路由器支持，对于 其它厂家的网络产品也有类似的功能，例如j u n i p e r 路由器支持s f l o w 功能。n e t f l o w 流量信息采集是基于网络设备提供的n e t f l o w 机制实现的网络流量信息采集，在 此基础上实现的流量信息采集效率和效果均能够满足网络流量异常监测的需求。 它使用源和目的端点的i p 地址和传输层端口号、协议类型、服务类型以及输入接 第6 页 国防科学技术人学研究生院f ：学硕十学位论文 口等来标记网络流，包含了比s n m p 更为丰富的信息。这种方法尽管目前还未成 为r f c 标准，但得到了大多数主要厂商的支持，是事实上的标准。它采集的数据 具有统计意义上的准确性，信息采集效率高，对网络的影响小，部署难度小，部 署成本低，是当前监测网络主干流量的最理想的采集工具，非常适合于网络性能 分析。 表2 1 对以上三种流量采集技术进行了比较。在综合比较三种技术之后，不难 得出以下结论：基于n e t f l o w 的流量采集技术能够满足网络流量异常分析的需要， 且信息采集效率高，适合在大型i p 网络中应用。 表2 1 二种流苗采集技术比较 s n m p 系统抓包 n e t f l o w 标准化情况r f c 标准不完全标准 有望很快成为r f c 标准，是目前事 实上的标准 设备支持能力j 泛支持使坍范同有限 c i s c o 、j u n i p e r 、f o u n d r y 、e x t r e m e 暂土流厂家的设备支持 是宙斋墨米样 否 否可能 是否含a s 信息 否 否是 数据粒度粗细中 数据准确性准确准确统计意义上的准确 支持的数据容苗小人人 对网络的影响小大小 部署难度小较人小 部署成本低高低 适用范围 网络各层次接入层广汇聚层汇聚层核心层 本文将以n e t f l o w 流量采集技术作为数据的来源和分析的基础。 第7 页 国防科学技术大学研究生院工学硕士学位论文 2 1 2n e t f i o w 的基本概念 n e f f ：l o w 是由c i s c o 公司1 9 9 6 年研发并取得专利技术的的一种流量统计协议。 目前被有效地使用在网络管理、记帐以及网络规划等方面。n e f f ：l o w 回答了有关i p 流量的如下几个问题：谁( w h o ) ，什么( w h a t ) ，哪里( w h e r e ) ，什么时候( w h e n ) 以及怎样( h o w ) 。其工作原理是：n e f f ：l o w 利用标准的交换模式处理数掘流的第 一个i p 包数据，生成n e f f ：l o w 缓存，随后同样的数据基于缓存信息在同一个数据 流中进行传输，不再匹配相关的访问控制等策略，n e f f ：l o w 缓存同时包含了随后数 据流的统计信息。一个n e f f ：l o w 流定义为一个在源i p 地址和目的i p 地址间传输的 单向数据包流，且所有数据包具有共同的传输层源、目的端口号。 n e f f ：l o w 的采集方式仅仅只采集入方向的流量，即单向的采集模式。n e f f ：l o w 构建流量统计缓存( c a c h e ) 的机制为：首先在它的c a c h e 内部创建每个f l o w 的列 表，并定时更新其中的p a c k e t s b y t e s 等数据字段。 2 1 3n e t f i o w 的框架 n e f f ：l o w 框架共可分为四部分，如图2 1 所示。首先从是支持n e f f ：l o w 的设备， 如r o u t e r 、s n i f f e r 、n t o p 等导出n e f f ：l o w 数据。然后利用相关的n e f f ：l o w 采集工具， 可以提供快速、准确与便利的数据采集，接收u d p 协议的n e f f ：l o w 包，并存储在 n e f f ：l o ws e r v e r 上。n e f f ：l o ws e r v e r 可同时由多个采集工具来采集数据，但无法每次 由单一采集工具取得一个以上的数据，以避免不当的操作影响n e f f ：l o w 的采集。最 后使用n e f f ：l o w 分析工具利用n e f f ：l o ws e r v e r 中的数据资料做统计分析，如i p 地址、 协议类型、包大小、异常检测等。 本文就是在此框架下进行流量的采集分析。 图2 1n e t f i o w 框架 第8 页 国防科学技术人学研究生院，j ：学硕十学位论文 2 2 网络异常流量检测 2 r 2 1 网络异常流量概述 所谓异常流量，从字面意思看，就是非j 下常流量。也就是说，不属于网络服 务正常范围内的流量，都可以称为异常流量。比如浼：网络攻击流量、网络病毒 流量、垃圾邮件流量、非法的服务流量( 例如非法进行v o i p 运营) 等。不同的异常 流量有不同的检测方法和分析方法，本文后面的异常流量指笔者所研究过短时攻 击或病毒异常流量，即网络攻击流量和网络病毒流量，主要是与网络安全状况相 关的异常流量。 根据风险管理公司m i 2 9 同前公布的调查结果显示，在2 0 0 4 年，病毒、蠕虫 和特洛伊木马等恶意程序共给全球造成了1 6 9 0 亿美元的经济损失，为2 0 0 3 年2 倍，全球2 0 0 多个国家的w i n d o w s 系统均遭到恶意程序攻击。 2 0 0 5 年1 月2 1 日1 8 点8 8 4 8 网站发现首页糟到攻击，经技术人员分析发现， 此攻击行为为d d o s 攻击。几千力个百度搜索联盟成员的i p 地址短时间内同时访 问8 8 4 8 网站，造成堵塞，正常用户无法访问网站。掘8 8 4 8 相关人员提供数据， 每天损失3 0 0 5 0 0 万营业额。 从以上实例可以看出网络攻击和病毒流对网络用户造成的损失是巨大的。另 一方面对于网络运营商柬说蠕虫病毒爆发时，网络极度拥塞，带宽资源被病毒流 占用，网络设施不堪重荷，局部几近瘫痪，无法为客户提供正常的网络业务。因 此对于异常流量检测技术研究日益紧迫。 网络异常流量检测的关键是通过对网络流量正常行为的描述来分析和发现网 络或系统中可能出现的异常行为，并向管理员提出警告，或主动做出有关反应。 通常，网络的异常行为表现为流量的异常。例如由特定的攻击程序或蠕虫爆发所 引起的突变流量异常。这种流量异常的特点是发作突然，先兆特征未知或比较隐 蔽。因此，对网络流量进行实时监测与响应是检测这类攻击的重要手段。 异常网络流量检测的核心问题是如何实现网络流量正常行为的描述、检测的 实时性、获得信息的全面性和反应的灵敏性以及较小的误报率和漏报率。因而使 系统设计和实现难度加大。 2 2 ，2 网络异常流量的分类 引起网络异常的原因主要有：( 1 ) 网络自身设备发生故障，如路由器、交换机 或链路发生故障，直接导致网络的拓扑结构变化，重新路由，从而导致数据丢失、 网络流量过载、网络拥塞，服务器的软件系统发生故障会导致整个服务器崩溃；( 2 ) 有社会的原因，如一个国家或宗教休息只、重大体育活动、政治危机，也有自然 第9 页 国防科学技术大学研究生院工学硕士学位论文 的，如地震、洪水灾害等现象，( 3 ) 恶意对网络的攻击。都可能使得网络发生异常， 导致网络的服务性能受到严重影响，甚至导致整个网络瘫痪。 根据导致网络异常的不同原因把网络异常分为以下三类 2 0 1 ：网络故障异常、 瞬间大量访问异常和网络攻击异常。网络故障异常是指由于网络故障导致的网络 异常。瞬间大量访问异常是指在短时间内对网络中某个服务器的进行大量的访问 导致的网络异常。如在短时间内对同一个w e b 服务器进行大量访问，那么服务器 吞吐量将发生迅速增长、i p 层接收或转发的数掘包和t c p 连接数等大大增加，当 访问量进一步增加时，将很容易导致该服务器超负荷运转，延迟时问大大增加严 重的会导致服务器不堪重负，整个系统崩溃。当网络发生故障时，如文件服务器 意外停止工作，将影响对它的正常访问。网络攻击异常是指恶意的对网络某个目 标进行攻击。典型的如d o s 攻击和端口扫描攻击。网络攻击导致的网络异常特征 与各种攻击手段相关，d o s 攻击导致被攻击的系统不能被访问。瞬间大量访问异 常虽然不是恶意所为，但是如果大量访问域名服务器时会造成系统拥塞，使得域 名访问出现问题，由于域名服务是互联网互联互通的基础，域名解析异常将会导 致整个互联网的瘫痪。如果大量的垃圾邮件同时发送到一个邮件服务器，会导致 进入服务器的流量异常增多，严重的会导致服务器停机。 对于网络攻击异常的研究己经做了比较多的研究，但它们主要是基于恶意攻 击行为的特征来检测和识别网络异常，本文将从流量本身固有的特性出发，以小 波方法研究恶意攻击行为或病毒导致的流量异常。 2 2 3 网络异常流量的检测 目前的异常流量检测技术主要分为特征检测和异常检n ( a n o m a l yd e t e c t i o n ) 两 个大的类别其中特征检测的方式，根据异常流量的数据报文中的特征字进行检 测，主要采用特征匹配的算法，效率较高。所谓特征及是某事物的特殊而不同于 其它事物的特性，通过对特征的识别能够确定一类事物，通过特征匹配的方式对 异常流量进行检测是一种较为准确的检测方式。该方法主要通过对异常流量( 病 毒) 报文内容的检测，将其与己知的特征关键字进行比较，如果发现报文内容中 含有己知的特征字符串或二进制码字，则判定其为病毒流报文。一种病毒的特征 包括该病毒报文发送接收的端口、报文的协议类型、以及报文的长度、报文内容 中的特征字符串等。它的优势是：该方式的实现逻辑清晰简单，因此市面上有大 量基于此种方式的产品和免费工具可供使用。通过它可以方便的对发现的异常流 量进行控制( 过滤或流量限制) 。它的劣势是：由于它是基于已知的异常流量( 病毒) 的各种特征，对于刚出现未知特征的异常流量( 病毒) 没有任何作用，应此在异 常流量( 病毒) 的检测和防御上有时间滞后性。 第1 0 页 国防科宁技术人学研究生院i ：学硕十学位论文 异常检测的前提是假设恶意攻击的异常流量与正常活动的正常流量是不一样 的。它的检测方式是通过对网络正常流量采用一组特征参数进行描述，建立正常 的流量模型，然后对网络流量进行实时测量，提取当前特征参数，通过比较当前 状态与正常状态的偏离程度来进行异常流预警检测。它的优势是：适用于所有类 型的异常流量，特别是在流量模式上有明显变化符合某些增长规律的异常流量。 另外相对于基于特征检测的方式来说，任何编码或者加密后的流量检测通过特征 检测方式难以实现，通常病毒都会含有各种变种，特征的有效性也会随时间发生 变化，流量分析从流量的外部特征进行检测，能够避刀：上述困难。它的劣势是： 对于正常的网络流量进行建模本身是一个不太成熟的课题。在理论上，只要能准 确建立正常网络流量模型，便可以精确的预测网络流量，从而准确地定位流量异 常点。但是，这样一个准确的流量模型的建立是十分困难的，甚至是不可能的， 异常检测的难题正在于如何建立正常的模型，以及如何设计统计算法，从而不把 正常的操作作为异常或忽略真j 下的异常行为。模型的准确性和通用性之间也存在 矛盾关系，一般准确性越高，通用性也就越差。特别是对于一个大型的网络，通 过一系列的特征参数描述所有的主机或数掘流是一件费时费力的事情。对于那些 在流量特征上没有特别明显特征的蠕虫病毒流量，流量分析的方式显然难以捕捉 与检测，例如慢扫描。目前来说通过流量分析的方式进行蠕虫病毒流的检测准确 性不如基于特征检测的方式高。通过流量分析的方式初步的发现流量异常容易， 但是对异常流量的源头进行准确定位还需要进一步的人工分析。 虽然对于异常检测技术的研究已经发展了很对年，一直没有特别有效的方式 来建立网络的流量模式，特征参数的选取也是多种多样。本文通过采集网络 n e t f l o w 在单位时间的流( f l o w ) 、包( p a c k e t ) 和字节( b y t e ) 的数量，建立起时 间序列，对时间序列进行小波分析，然后利用统计分析方法检测是否存在异常流 量，在实际应用中取得了较理想的效果。统计分析方法首先给网络上数据流的各 种行为创建一个统计模型，统计正常使用时的一些测量属性。测量属性的平均值 将被用来与网络的行为进行比较，任何观察值在正常值范围之外时，就认为有异 常发生。 下面将分析几种常见的异常检测方法 1 、恒定阈值检测方法 恒定阂值检测方法是目前网络监测软件中最常用的方法。这种方法对某个网 络参数给出确定的阙值，如果在某个时刻该参数的观测值超过这个阂值，就发出 告警通知，如图2 2 所示。这种方法简便易行，但是需要丰富的网络管理经验，阈 值选择必须适当。如果阂值过高，那么当网络发生问题时不易察觉，从而失去设 定阈值的意义。反之，如果阂值过低，将会造成过多的误报，使得网络维护人员 第1 1 页 国防科学技术人学研究生院工学硕士学位论文 无所适从，反而可能掩盖真正的警报信息。这种方法存在三个问题，第一，如何 设定恰当的阈值是个难点；第二，难以发现一些细微的流量异常行为；第三，由 于网络中的网络流量在不同的时间有很大的差距，对不同的时| 日j 采用同一个阈值 显然过于粗糙。 观 秘 位 0 图2 2 僵定蚓值检测方法示意图 2 、自适应的阈值检测方法 在自适应的阂值检测方法中，对于某个流量参数，并不是应用唯一不交的阈 值，而是根据网络实际流量总体趋势的不同，在每天中的不同时刻的采用不同的 阈值。这种做法比恒定阈值方法更能符合网络检测的实际需要。自适应的阂值检 测方法可以分为两个步骤：第一步，模型化正常行为( 或称作建立基线) ；第二步，建 立边界( 或称容许范围) ，这个边界就是用来区分网络t e 常行为与异常行为的界线。 下面以 2 1 】中的检测方法为例，介绍以太网中的异常检测。 a m a x i o n 等人应用自适应的阂值检测方法，通过检测卡内基梅隆大学校园网 中计算机系子网的利用率、以太网中的数掘包碰撞数、数据包大小分布、广播数 据包以及对大流量的用户( t o pn e t w o r ku s e r s ) 流量统计，检测到广播风暴、人为 的故障插入( 故意产生大量的短数据包，持续数分钟) 、以及硬件故障( 协议实现的 问题) 等。 在这种检测方法中，主要包括对观测值历史数据建立数学模型、模型的更新、 以及确定容许范围。个新的观测值如果在这个容许以内就被看作是正常的，如 果位于该容许范围之外，那么就被认为是异常的。如图2 3 ，根据所加标准差的个 数的不同，可以得到不同级别的容许范围。一般情况下容许范围足采用标准差的2 到3 倍。 第1 2 页 国防科学技术大学研究生院工学硕士学位论文 观 潍 值 耐同 幽2 3网络正常行为区域示意幽 3 、g l r 检测方法 m t h o t t a n 和c j i 用g l r 检测方法检测网络故障。用这种检测方法检测网络 流量的异常，发现了一个文件服务器故障。检测的网络参数是一个路由器上m i b 中的四个变量：i f l n o c t e t s ，i f o u t o c t e t s ，i p f o r w d a t a g r a m s ，i p l n r e c e i v e s 2 2 ，它们分 别表示接口收到和发送的数据字节数、i p 层收到和转发的数掘包数。它们都是典 型的网络流量参数。利用现有的s n m p 代理提供的管理信息库资源，使得收集数 据的过程更为方便。 g l r ( g e n e r a l i z e dl i k e l i h o o dr a t i o ) 的具体做法是：先考虑检测序列中两个相 邻