（计算机科学与技术专业论文）基于概要数据结构的异常流量检测方法研究与实现.pdf

国防科学技术大学研究生院硕士学位论文 摘要 近年来，随着i n t e r n e t 的飞速发展，面向互联网安全的监测和管理已经成为影 响互联网正常应用的重大问题。不同的运营商和管理部门，也相应的建立了不同 的互联网安全事件监测系统。但是，由于互联网安全事件的规模性、复杂性和不 断更新的特性，导致诸如d d o s 攻击、大规模扫描、僵尸网络和蠕虫传播等安全 事件层出不穷。网络流量异常指网络中流量不规则地显著变化，如何针对网络上 海量数据流进行监测，并对其中的异常进行标定和报警，以及对其进行可视化展 现，是对互联网上安全监测的重要手段之一。 本文针对国家骨干网络n e t f l o w 数据到达速度快、流量大等特点，引入数据 流模型，通过对不同种类攻击原理及造成异常的流量特征分析，提出了一种基于 概要数据结构的可溯源的异常流量检测方法，该方法主要是通过概要数据结构记 录与某类异常相关的流量特征值，进而应用e w m a 时间序列预测模型，计算此特 征值的预测量，将其与实际观测值进行比较，最后在二者之间的差异上建立均值 方差的统计模型，从而判定异常。论文基于国家骨干网流量数据实现了一个异常 流量检测原型系统，完成了对于拒绝服务攻击、网络扫描和短时网络拥塞三种异 常流量的检测，以及对于网络流量变化的动态跟踪、安全事件的多维度的可视化 展示功能。 通过实验验证和原型系统的结果分析表明，本文给出的异常流量检测方法以 及实现的原型系统，能够在1 5 0 m b s 的链路上达到实时处理的要求，且内存开销 小，运算简便。其次，算法能够针对多种异常流量同时进行检测，算法具备可扩 展性，并且，在实现检测的同时，可以定位i p 主机，从而实现可溯源性。这些对 于增强全网的安全响应能力、提高安全防护水平具有重要意义。此外，由于该算 法是基于网络的异常流量检测，因而能够在攻击发生初期对其进行有效检测，较 之基于主机的检测而言，具有更重要的研究和实用价值。 主题词：异常检测，概要数据结构，指数权重移动平均模型，溯源性 第i 页 国防科学技术大学研究生院硕十学位论文 a b s t r a c t r e c e n t l y ，a l o n gw i t ht h er a p i dd e v e l o p m e n t o ft h ei n t e r n e t ，t h es e c u r i t ym o n i t o r i n g a n dm a n a g e m e n tb a s e do ni th a sb e c o m et h ei m p o r tp r o b l e mt oi n f l u e n c et h en o r m a l a p p l i c a t i o n so ft h ei n t e m e t h o w e v e r ，b e c a u s eo ft h en a t u r eo ft h ei n t e m e t ，w h i c hi s l a r g e s c a l e 、c o m p l e x i t ya n du p d a t i n gc o n s t a n t l y ，m a n yk i n d so fs e c u r i t ye v e n t se m e r g e i ne n d l e s s l ys u c ha sd d o s 、l a r g e s c a l es c a n n i n g 、t h eb o t n e ta n dw o r m ss p r e a d t h e n e t w o r kt r a f f i ca n o m a l ym e a n st h eh e a v yc h a n g e si nt r a f f i c 。i t sa ni m p o r t a n tm e t h o dt o m o n i t o rt h ei n t e m e ts e c u r i t y ，w h i c hi sh o wt om o n i t o rl a r g ev o l u m et r a f f i cd a t a 、 d e t e r m i n et h ea n o m a l ya n ds e n da l a r ma n dv i s u a l i z a t i o n w i t ht h e s eb a c k g r o u n da n df a s tc o m i n g 、h u g ev o l u m ec h a r a c t e r i s t i c so fn a t u r e s b a c k b o n en e t w o r k ，w ei n t r o d u c ed a t as t r e a mm o d e li n t on e t w o r ks e c u r i t yf i e l d t h r o u g h t h ea n a l y s i st h ee l e m e n t so fd i f f e r e n tt y p e so fa t t a c k sa n dt h ea n o m a l yt r a f f i cw h i c h w o r k s ，w ep r o p o s e da l la n o m a l yd e t e c t i o nm e t h o db a s e do nt h es u m m a r yd a t as t r u c t u r e s k e t c h ，w h o s em a i ni d e ai s ：f i r s t l y ，u s es k e t c ht or e c o r dt h ec h a r a c t e r i s t i cs t a t i s t i co f n e t w o r kt r a f f i cc o n c e r n e dw i t hs o m ek i n do fa n o m a l y ；s e c o n d l y ，u s et h ee w m a f o r e c a s t i n gm o d e lt of o r e c a s tt h ev a l u e ；t h i r d l y ，c a l c u l a t et h ed i s t a n c eb e t w e e nt h e f o r e c a s t i n gv a l u ea n do b s e r v e dv a l u e ，w h i c hi su s e di nt h es t a t i s t i cm o d e l t or e c o g n i z e t h ea n o m a l y i nt h i sp a p e ria l s oi m p l e m e n ta na n o m a l yd e t e c t i o np r o t o t y p es y s t e mo n n e t w o r kt r a 伍c a c h i e v et h em a i nf u n c t i o n sa r ed i s c o v e r i n gn e t w o r ka b n o r m a l i t y s u c ha sd d o s 、s c a n n i n g 、n e t w o r kc o n g e s t i o n ，a n dv i s i b i l i t yo fm u l t i - d i m e n s i o nt ot h e s e c u r i t ye v e n t s e v a l u a t e db yt h ee x p e r i m e n ta nt h er e s u l to ft h es y s t e m ，t h em e t h o dp r o p o s e dh e r e a n dt h es y s t e mi m p l e m e n t e dc a nd e t e c ta n o m a l i e sa tr e a lt i m eo nt h eb a c k b o n el i n kw i t h s p e e do f15 0 m b s ，a n di tu s es m a l lc o m p u t i n ga n dm e m o r yr e s o u r c e s e c o n d l yi tc a n d e t e c tm a n yt y p e so fa n o m a l i e sa n di se x t e n s i b l e t h i r d l y ，i tc a nt r a c kt h ei pa d d r e s s ， w h i c hm a k en e t w o r km a n a g e m e n tc o n v e n i e n ta n di m p r o v et h er e s p o n s ea b i l i t y 、d e f e n d l e v e l m o r e o v e r ，b e c a u s eo ft h ed e t e c t i o nf r o mt h en e t w o r k ，t h i sm e t h o dc a nd e t e c t t h e me f f i c i e n t l ya tt h eb e g i n n i n go fa t t a c k s c o m p a r e dw i t ht h ed e t e c t i o nf r o mt h ee n d u s e r ，i th a sm o r er e s e a r c ha n dp r a c t i c a l i t yv a l u e k e yw o r d s ：a n o m a l yd e t e c t i o n ，s k e t c h ，e w m a ，t r a c e a b i l i t y 第i i 页 国防科学技术大学研究生院硕士学位论文 表目录 表3 1t r a c e 文件主要特性2 9 表4 1 版本5 头格式。3 8 表4 2 版本5 流记录格式3 8 表4 3n e t f l o w 采集记录真实数据3 9 表4 4 数据库主要表4 0 表4 5 检测结果表结构4 3 表4 6 检测结果4 3 表4 7j f r e e c h a r t 几个核心类4 4 第1 i l 页 国防科学技术大学研究生院硕士学位论文 图目录 图1 1d d o s 发生时流量情况i ”j 2 图1 2 网络监控框架图一2 图2 1分布式拒绝服务攻击体系结构1 0 图3 1 数据记录部分框图2 3 图3 2 异常检测部分框图2 4 图3 3 数据记录详细流程。2 5 图3 4 异常检测详细过程2 6 图3 5m = 51 2 检测结果。3 0 图3 6m = 2 0 4 8 检测结果31 图3 7 平滑系数检测结果。3l 图3 8 方差系数为2 时检测结果3 2 图3 9 方差系数为6 检测结果。3 2 图3 1 0 周期设定为2 分钟检测结果3 2 图3 1 1周期设定为1 0 分钟检测结果3 3 图3 1 2 两种参考模型下共同检测出的i p 地址3 4 图3 1 3 检测出而文献【9 】的方法没有检测出的i p 地址特性。3 4 图3 1 4 网络流量整体平稳下i p 地址的异常变化j 3 5 图4 1 图4 2 图4 3 图4 4 图4 5 图4 图4 图4 图4 系统总体框架结构图。3 6 n e t f l o w 工作流程图3 7 初始化概要数据结构4 l e w m a 计算一4 2 均值方差方法判定异常。4 3 弹出窗口报警4 4 总流量历史展示4 5 总流量实时展示4 6 异常事件展示4 6 图4 1 0 异常流量展示4 7 第1 v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：基王拯要数握结抱鲍是堂速量捡测左洼盟窒鱼塞理 学位论文作者鲐! 量缉 吼埘年土月咖 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文作者签名：竖翌 作者指导教师签名： 日期：沥寸年，2 月为日 日期：以力扩年fl 月乡日 国防科学技术大学研究生院硕士学位论文 第一章绪论 1 1 课题背景与意义 随着互联网的飞速发展，各种网络安全攻击事件也频繁涌现。据中国大陆 地区2 0 0 7 年度电脑病毒疫情与网络安全报告显示，2 0 0 7 年中国截获的新病毒 数量达到9 1 7 8 3 9 个，较2 0 0 6 年增加了7 0 ，其中9 0 以上带有明显商业利益驱 动的特征：且黑客、病毒和流氓软件的紧密结合已逐渐形成清晰的“产业链条”。 而( ( 2 0 0 5 年f b i 电脑犯罪调查也显示，为了应对病毒、间谍软件、p c 窃贼，连 同其他和电脑相关的犯罪活动每年给美国企业造成了6 7 2 亿美元的负担。其他国 家德国、英国、法国每年由于网络安全问题而遭受的经济损失也达数百亿美元。 这说明网络安全问题已经成为一个全球性的话题，危害着整个人类社会的共同利 益，如何应对和解决将会对我们是一个严峻的挑战。 在众多的网络安全事件中，分布式拒绝服务攻击( d i s t r i b u t e dd e n i a lo f s e r v i c e ， d d o s ) 和蠕虫病毒爆发、大规模网络扫描等对网络带宽的影响非常大，可能会对 互联网造成大范围网络瘫痪和巨大经济损失的网络安全事故。上述安全事件在发 生时，会表现为网络流量随时间的波澜变化巨大，短时内流量突增，造成链路拥 塞，正常用户拒绝服务。图1 1 所示为某公司网络系统遭到d d o s 攻击时，监测设 备记录到的网络流量变化情况，自2 2 时起出现大量访问流量，高达6 0 - - 一7 0 m b p s ， 攻击报文到达1 1 万b p s ，这无疑会形成严重的网络拥塞，给公司带来经济和声誉 的巨大影响。如何迅速发现网络中出现的通信流量异常，并及时确定异常通信的 相关信息( 如攻击的来源，异常通信的具体流向和流量信息，占用的网络端口， 持续的时间等) 是管理员能否在短时间内对网络安全攻击做出正确响应，减少其 对运营商网络和用户业务影响的一个关键因素。 传统的网络安全产品，例如防病毒软件、防火墙、i d s 等只能解决终端用户的 病毒检测和访问控制问题，对于威胁程度不断加大、网络承载信息内容的重要性 不断提高的今天来讲，显得有些不足，尤其面对d d o s 这类大规模的攻击问题， 需要的不仅是从终端用户来防护，或者通过简单的将用户网址路由设为“黑洞路 由”，使恶意流量无法访问；而应该尝试从网络中对其进行检测，尽早发现异常， 进而研究攻击源头、攻击者的追溯问题，这是对网络攻击更有效的解决方法，也 可以通过分析网上广泛散播的攻击工具特征来识别特定攻击并实现有针对性的防 护。 如何对高速骨干网络流量进行实时监测和管理，及时地发现网络流量异常并 追踪定位异常源，使得网络管理员能够采取有效措施阻断、减缓异常行为，对提高 第1 页 国防科学技术大学研究生院硕士学位论文 研艳姆胤静觋毋一哭 x 琉口d 目r $ t * p t 蝌净) t r a f f q i 磕= 正置艘 c r d p hc i n h m d ，4 | 叫， 图lld d o s 发生时流姑睛况 1 2 异常流量检测相关技术 异常流量一直是困扰运营商和网络管理者的问题，针对网络的监控一直以来 都被普遍关注着，很多安全领域的专家也纷纷提出了一些研究成果。c s h o o d 将 网络监控过程分为三个阶段1 1 ：数据采集、数据处理、信息融合。三部分关系如 图1 2 所示，下面对每个阶段进行详细介绍。 图1 2 网络监控框架围 第2 页 国防科学技术大学研究生院硕士学位论文 数据采集阶段是整个监控框架的基础，它关乎整个体系的准确性和有效性。 对于从网络不同层【3 l 】得到的流量数据，应用到各种安全检测设备中，使用不同的 异常检测方法进行数据处理，从中发现异常信息，进而将这些异常信息在更高层 的位置进行关联、综合分析，通过信息融合，掌握全网的安全态势，g j a k o b s o n 等人在这方面取得了一些研究成果【27 1 。最后，将分析得到的结果报警。 1 2 1 数据采集 目前对于网络异常流量的采集方式大体可以分为三种：网络流量全镜像技术、 基于s n m p 的采集技术和基于n e t f l o w 的采集技术。 基于网络流量全镜像的监测技术。其原理是通过交换机等网络设备的端口镜 像或者通过分光器、网络探针等附加设备，实现网络流量的无损复制和镜像采集。 和其他两种流量采集方式相比，流量镜像采集的最大特点是能够提供丰富的应用 层信息。网络流量全镜像采集是目前i d s 主要采用的网络流量采集模式，例如启 明星辰的天阗异常流量监测系统【3 。 基于s n m p 的流量监测技术。简单网络管理协议( s n m p ) 阱j 是i n t e m e t 工程 任务组( i e t f ) 提出的t c p i p 协议之上的应用层协议。它包括：管理信息结构 ( s m i ) 、管理信息库( m i b ) 和s n m p 协议三部分，m i b 用于存储各种重要信 息。基于s n m p 的流量信息采集实质上是从m i b ( 管理对象信息库) 中收集一些 具体流量有关信息。基于s n m p 收集的网络流量信息包括：输入字节数、输入非 广播包数、输入广播包数、输入包丢弃数、输入包错误数、输入未知协议包数等。 由于其简单、实用，因而得到广大网络设备生产厂商的支持，故基于此的流量检 测技术也较为流行。 基于n e t f l o w 的流量监测技术。n e t f l o w 3 3 j 是c i s c o 公司提出的网络数据包交 换技术，经过多年的技术演进，逐渐由开始的数据交换功能转化为对高速转发的 i p 流统计、测量和分析功能。通过基于网络设备提供的n e t f l o w 机制输出的相关 网络流量信息，主要包括由源、目的i p 地址，源、目的端口号，协议号标识的f l o w 包含的报文数、字节数，起始、终止时间等。由于n e t f l o w 不需要对数据包内容 进行分析，大大减轻了网络设备运算处理的负担，所以很适合用来分析高速、忙 碌的网络环境。 由于基于s n m p 的采集方式本身依赖于m i b 库的信息，不能收集单一或m a c 地址的流信息，因而只能提供粗糙、简单的资料，无法提供网络层以上的信息； 尽管基于探针方式可以获得最全面地信息，但是会增加网络的负担，影响数据的 准确性，此外，分析数据包的工作量也相当巨大，并且其部署成本和难度也都是 三者中最高；基于n e t f l o w 的采集深度为i p 网络层，放弃对包内容的检测，因而 第3 页 国防科学技术大学研究生院硕士学位论文 大大节约了分析和处理包内容所需的工作量和时i 刈，而其包含的信息量也足以满 足流量分析的需求，再加上其配置简单，越来越多厂商的设备都开始支持n e t f l o w 技术，因而尤其适合于大流量网络内部的流量分析和异常检测。 1 2 2 数据处理 数据处理主要是对采集到的数据，运用某种检测方法，发现异常。主要包括 基于误用检测( m i s u s e d b a s e d ) 方法和基于异常检测( a n o m a l y b a s e d ) 方法两种。基于 误用检测，即通过建立异常特征库，对采集流量数据进行特征匹配，从而达到检 测异常目的的方法。或者通过对流量数据建立正常的流量模型，再将采集的流量 数据与正常流量模型进行比较，根据之间差异来检测异常，即为基于异常检测方 法。目前大部分入侵检测系统都是使用基于误用的检测方法，主要由于这种方法 采用特征匹配的方法准确性高，但由于其需要维持特征库，且只能对已知的异常 种类进行检测，对于新出现的越来越多的攻击种类只能通过不断更新特征库来实 现检测，因此它的自适应性和灵活性比较差，漏报比较多；再者攻击方很容易更 改其特征量来逃避检测系统，这也使得普通的入侵检测系统不能满足整个网络管 理的需求，从而人们越来越关注于基于异常的检测方法。由于无状态保留，使得 基于异常的检测方法能够解决上述基于误用检测方法面临的问题，并且能够在攻 击初期尽早检测到，本文主要关注于基于异常的检测方法。 阈值【2 】【3 】【4 】是最早的基于异常的检测方法，它主要是通过对流量数据建立一个 基线的参考范围，当流量数据超过这一参考范围时，将会启动报警。其中基线的 确定可以是静态的，也可以是动态、自适应的。其关键点在于基线值的设定，尽 管其运算简单i 满足实时处理要求，但由于其特征值有限，故检测精度不高，误 报率较高。 其后又出现了预测模型、马尔科夫链、人工神经网络、小波等检测方法。预 测模型的方法主要通过对流量数据的历史观察值，结合时间序列预测相关知识， 预测未来时刻的值，再将其与实际观测值相比来判断异常【5 】。马尔可夫链应用状态 转移的方法进行异常检测，也取得了相应成剁酬。小波是一种新兴的时一频分析检 测方法，通过变换可得到低频系数( 或叫做近似系数) 和高频系数( 或叫做细节系数) 其中低频系数反映原始信号的轮廓，而高频系数则是反映信号的细节，通过将信 号中的频率变化情况提取出来并且确定其位置就可以发现信号中奇异性并确定奇 异性发生的时间，这样来到达对异常的检测和定位【1 5 l 。但是这些方法都不能满足 在大规模网络条件下实时处理的要求，大规模网络条件下数据报到达速度快，数 据量大。以1 0 g 的骨干链路来说，报文以每秒百万的数量级的速率到达，在最坏 情况下( 每个报文4 0 字节) ，报文到达间隔仅为3 2 n s 。为了应对这些挑战，直接 第4 页 国防科学技术大学研究生院硕十学位论文 处理这些数据来发现异常是不现实的，因而必须采用降维的方法。目前对流量数 据通过降维进行异常检测的研究很热，主要有以下两种方法：主成分分析法p c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ) 和概要数据结构s k e t c h 。p c a 是一种坐标变化方法， 将给定数据点映射到一些新的坐标轴，这些新的坐标轴就成为主成份；a n u k o o l l a k h i n a 等【7 】提出子空间方法利用p c a 将流量分为两部分，正常部分和异常部分， 正常部分是可以预测的，异常部分是有噪声的，包含网络中的毛刺。s k e t c h 是一 种高效的概要数据结构，它占用的内存资源少，计算和更新的复杂性小，能满足 在大规模网络条件下实时处理的要求。b a l a c h a n d e rk r i s h n a m u r t h y 等惮j 首次将s k e t c h 用于异常检测并提出一种启发式方法自动设置s k e t c h 的参数；r o b e r ts c h w e l l e r 等 【9 】采用i p 地址分块h a s h 和i p 扰乱两种方法来解决s k e t c h 可溯源性的性能问题； g u i l l a u m ed e w a e l e 等【l o 】在s k e t c h 基础上应用非高斯边缘分布( n o ng a u s s i a n m a r g i n a ld i s t r i b u t i o n ) 的多时间尺度特性，可以检测低强度持续时间长的攻击和持 续时间短的端口扫描攻击。 1 2 3 检测难点 网络安全问题日益严峻，这使得网络流量异常检测就显得尤为重要，但是目 前对异常流量的检测仍然在研究过程中，还没有相对成熟的产品出现，其难点主 要在于，首先，网络规模越来越大，承载越来越多的应用种类，使得流量行为变 化巨大，如何对网络的正常行为高效准确地建模，就成了一个关键问题；其次， 带宽的增大，使得流量数据呈海量趋势，要在海量数据中实时检测异常也对检测 算法提出一个巨大的挑战。实时性使得算法计算复杂性、内存开销都不能太高， 但检测精确度要有保证。最后，针对拒绝服务攻击、网络扫描等异常行为，我们 不能单单由链路上流量的异常来判断它的发生，更重要的是，需要确定攻击源， 只有这样，我们才能采取措施来对抗攻击。 1 2 4 发展趋势 随着异常流量检测的受关注程度越来越高，已经出现了一些有实用价值的原 型系统【1 3 】。未来的异常流量检测将朝着主动化、智能化、统一化方向发展。 主动化：主要是针对网络安全事件，能够做到主动防御，通过网络行为学的 研究和发展，能够依据一些细小的特征预测或者发现安全事件的发生，这样就能 够在攻击对网络造成重大危害之前采取措施，将其消灭在襁褓之中。 智能化：主要是指针对那些有计划有准备的大规模发生的恶意攻击事件，例 如由几个大型的僵尸网络控制的几万台主机同时攻击一个网站的拒绝服务攻击， 如何在检测到之后，利用关联分析等信息融合技术追寻其攻击实施者，这些对于 第5 页 国防科学技术大学研究生院硕士学位论文 解决网络安全问题都具有十分重要的价值。 统一化：目前的网络监控产品多种多样，性能也参差不齐，应用的检测方法 也各不相同。对于网络管理人员来说，如何选取一个精确有效的网络监控产品也 不是很容易。而且网络监控类产品还没有一个相对规范的评价标准，行业的发展 相对不是很成熟。随着越来越多的产品出现，相关标准也会制定出来，相信未来 此类产品将会朝着统一化方向发展。 1 3 论文主要工作 本课题来源于国家安全中心“2 4 2 课题 基于n e t f l o w 的异常流量检测 系统。该项目要求实现对国家级骨干网n e t f l o w 数据流的可视化展现，并通过高 效的监测算法，发现大规模d d o s 攻击、大范围扫描和网络短暂拥塞等安全事件。 下面介绍一下主要的研究工作。 针对日益频繁的网络安全问题，本文提出一种用于大规模网络下异常流量检 测的方法。该方法检测的异常种类主要是拒绝服务攻击、网络扫描等会对网络流 量造成巨大变化的异常。方法核心技术点在于，首先基于s k e t c h 的概要数据结构 来实时记录链路数据流信息，这种概要数据结构占用内存小，运算简单，还具有 线性累加性，满足分布式环境的要求；其次，将e w m a 的时间序列预测模型引入 到异常检测领域，通过对报文序列的建模、预测，进而找到差异；最后，使用统 计模型，即均值方差的方法来判定异常。该方法能够在保证一定精确度的同时减 小计算复杂性，提高效率：并且具有可溯源功能，即追溯异常的i p 地址，使得网 络管理员能够采取有效措施阻断异常行为，减缓攻击影响。通过在真实链路数据 上测试，能够满足实时性处理的要求，并且检测准确率有保证。 结合以上提出的异常检测方法实现了一个原型系统，该系统以国家骨干网络 上采集的n e t f l o w 数据为背景，用以实时异常检测，检测种类包括：拒绝服务攻 击、网络扫描和网络拥塞，并且对正常流量和异常流量在时间、种类等纬度上进 行可视化展示，其可视化方式包括饼图、柱状图等多种形式。 1 4 论文结构 这篇论文的结构如下。 第一章简要介绍问题提出的背景及其意义，并对流量监控框架以及检测方法 的难点以及发展趋势进行了阐述，最后说明了一下本文的主要工作以及论文结构； 第二章首先定义了异常流量的含义以及产生原因，其次针对不同种类异常的 流量特点又分别进行了介绍，然后详细解释了几种比较流行的异常流量检测方法， 第6 页 国防科学技术大学研究生院硕七学位论文 对他们进行了对比分析。 第三章主要介绍了一种基于概要数据结构的异常流量检测方法，并以实际数 据试验，进行了参数分析，并列举了试验结果。 第四章介绍实现的一个基于n e t f l o w 的异常流量检测原型系统。 最后在第五章中总结了论文的主要工作和一些后续工作。 第7 页 国防科学技术大学研究生院硕士学位论文 第二章常用异常流量检测方法分析 本章主要介绍有关异常流量及其检测方法的相关知识，首先阐述了什么是异 常流量、其分类方法和产生原因，进而对造成异常流量的主要安全攻击的原理、 步骤进行了分别讲解分析。最后，又详细介绍了几种常用异常流量检测方法，通 过对其检测原理、以及精确度、时空开销等比较，阐明了他们在检测过程中的优 缺点。 2 1 1 异常流量定义 2 1 异常流量定义与分类 1 9 9 0 年r a m a x i o n 对网络流量的正常和异常给出如下的描述【u 1 ：正常意味着 符合某种常规或典型的模式，以一种自然的方式常规的或所预料的状态、形式 数量或程度发生，“正常强调符合某种已经建立的水准或模式，并保持良好状 态，是建立在一定趋势基础上的。而“异常”则意味着违反了这种期望，与期望 的情形有一定程度的偏差。 在实际应用中，对不同用户异常流量定义又有所不同。对普通用户而言，网 络攻击、垃圾邮件、蠕虫病毒等产生的流量就是异常流量：对于提供网络服务的 运营商而言，定义更加宽泛，只要对网络服务质量和性能造成影响的流量都可以 归结为异常流量，它可以包括拒绝服务攻击的发生、蠕虫病毒的传播、p 2 p 滥用带 宽以及热点话题引发的流量突增等等。 2 1 2 异常分类 按照其产生原因，可以将异常流量分为两类：恶意异常和非恶意异常。 恶意异常是指：人有意识的、有目的性的制造攻击、入侵事件造成的流量异 常。例如由于商业竞争或者利益驱使，对某站点发动拒绝服务攻击，通过占用大 量带宽资源，使被攻击方由于不能提供正常服务而迅速d o w n 掉：或者蠕虫病毒爆 发时，被感染主机，向外发送大量扫描数据包，造成链路阻塞、流量异常，等等 这些都属于恶意原因的范畴。 非恶意异常是指：人们由于粗心、无意识的行为给网络正常流量造成影响。 它按照性质可分为物理异常、逻辑异常；按照对象又可分为线路异常、路由器异 常和主机异常。 物理异常是指设备或线路损坏、插头松动、线路受到严重电磁干扰或者网络 第8 页 国防科学技术大学研究生院硕士学位论文 插头误接等情况。 逻辑异常主要是由于网络设备配置错误造成的异常，例如路由器端口参数设 定有误，或路由器路由配置错误导致路由循环或找不到远端地址，又或者网络掩 码设置错误等；还可能是由于路由器的负载过高，表现为路由器c p u 温度太高、 c p u 利用率太高，以及内存余量太小等，尽管这种故障不会影响网络的连通，但 却影响到网络提供服务的质量，而且也容易导致硬件设备的损害。 非恶意原因造成的网络异常可以通过对网络管理人员的培训来减少甚至避 免，而对于那些由于恶意攻击造成的流量异常却需要更多的关注，为了更为有效 的对其进行检测，需要我们对这些攻击行为和原理具有更加详细透彻的了解。下 面就各种恶意攻击进行分类，详细介绍。 2 2 攻击分类 恶意攻击种类繁多，这里主要介绍几种最为常见的攻击类型。 2 2 1 拒绝服务攻击 d o s ( 拒绝服务) 攻击是攻击者企图阻止合法用户使用其所需要的服务，其攻 击手段一般是对提供服务的系统实施某种特定攻击，使其暂时甚至长期丧失提供 服务的能力。 d d o s ( 分布式拒绝服务) 把d o s 又发展了一步，将这种攻击行为自动化，分布 式拒绝服务攻击可以协调多台计算机上的进程发起攻击，在这种情况下，就会有 一股拒绝服务洪流冲击网络，可能使被攻击目标因过载而崩溃。d d o s 攻击采用分 布协作的大规模攻击模式，给网络的正常运行带来了极大威胁。目前随着d d o s 攻击软件的出现，如t r i n o o ，t f n ，t f n 2 k 等，使得发起d d o s 攻击变得更加容易， 许多著名的网站，如y a h o o ，a m a z o n 及c n n 等都曾因d d o s 攻击导致网站关闭， 图2 1 为分布式拒绝服务攻击体系结构。攻击者首先占领一些傀儡主机，包括控制 傀儡主机和攻击傀儡主机，攻击傀儡主机是实际发动攻击的主机，而控制傀儡主 机不直接参与攻击，它只是对攻击傀儡主机发布命令，傀儡主机平时并未有异常 状况发生，只有当攻击者对他们进行通信时，才会发起攻击。 第9 页 国防科学技术大学研究生院硕士学位论文 黑 客 翱 攻。h 傀儡机 耄纱p 垦 p 、卜 除、弋【迤 ； 发送攻击命令、 了y v 。 图2 1分布式拒绝服务攻击体系结构 拒绝服务攻击主要分为以下几种： s y nf l o o d ：s y nf l o o d 是当前最流行的d o s 与d d o s 方式之一，主要利用 t c p 协议缺陷，发送大量伪造的t c ps y n 连接请求，而当服务器端回复s w a c k 报文时，不再回复确认a c k 报文，致使服务器端资源耗尽( c p u 满负荷或内存不 足) 的攻击方式。 i p 欺骗d o s 攻击：这种攻击利用r s t 位来实现。假设现在有一个合法用户 ( 6 1 6 1 6 1 6 1 ) 已经同服务器建立了正常的连接，攻击者构造攻击的t c p 数据，伪装 自己的i p 为6 1 6 1 6 1 6 1 ，并向服务器发送一个带有r s t 位的t c p 数据段。服务 器接收到这样的数据后，认为从6 1 6 1 6 1 6 1 发送的连接有错误，就会清空缓冲区 中建立好的连接。这时，如果合法用户6 1 6 1 6 1 6 1 再发送合法数据，服务器就已 经没有这样的连接了，该用户就必须从新开始建立连接。攻击时，攻击者会伪造 大量的i p 地址，向目标发送r s t 数据，使服务器不对合法用户服务，从而实现了 对受害服务器的拒绝服务攻击。 u d p 洪水攻击：攻击者利用简单的t c p i p 服务，如c h a r g e n 和e c h o 来传送 毫无用处的占满带宽的数据。通过伪造与某一主机的c h a r g e n 服务之间的一次的 u d p 连接，回复地址指向开着e c h o 服务的一台主机，这样就生成在两台主机之间 存在很多的无用数据流，这些无用数据流就会导致带宽的服务攻击。 p i n g 洪流攻击：由于在早期的阶段，路由器对包的最大尺寸都有限制。许多 操作系统对t c p i p 协议栈的实现在i c m p 包上都是规定6 4 k b ，并且在对包的标 第1 0 页 国防科学技术大学研究生院硕士学位论文 题头进行读取之后，要根据该标题头里包含的信息来为有效载荷生成缓冲区。当 产生畸形的，声称自己的尺寸超过i c m p 上限的包也就是加载的尺寸超过6 4 k 上 限时，就会出现内存分配错误，导致t c p i p 堆栈崩溃，致使接受方死机。 泪滴( t e a r d r o p ) 攻击：泪滴攻击是利用在t c p i p 堆栈中实现信任i p 碎片中的 包的标题头所包含的信息来实现自己的攻击。i p 分段含有指明该分段所包含的是 原包的哪一段的信息，某些t c p i p ( 包括s e r v i c ep a c k4 以前的n t ) 在收到含有重叠 偏移的伪造分段时将崩溃。 l a n d 攻击：用一个特别打造的s y n 包，它的原地址和目标地址都被设置成 某一个服务器地址。此举将导致接受服务器向它自己的地址发送s y n a c k 消息， 结果这个地址又发回a c k 消息并创建一个空连接。被攻击的服务器每接收一个这 样的连接都将保留，直到超时，对l a n d 攻击反应不同，许多u n i x 实现将崩溃， n t 变的极其缓慢( 大约持续5 分钟) 。 s m u r f 攻击：通过使用将回复地址设置成受害网络的广播地址的i c m p 应答 请求( p i n g ) 数据包来淹没受害主机的方式进行。最终导致该网络的所有主机都对此 i c m p 应答请求做出答复，导致网络阻塞。它比p i n go f d e a t h 洪水的流量高出l 或 2 个数量级。更加复杂的s m u f f 将源地址改为第三方的受害者，最终导致第三方崩 溃。 f r a g g l e 攻击：对s m u r f 攻击作了简单的修改，使用的是u d p 应答消息而非 i c m p 。 2 2 2 扫描 网络安全扫描技术包括有p i n g 扫射( p i n gs w e e p ) 、操作系统探测( o p e r a t i n g s y s t e mi d e n t i f i c a t i o n ) 、如何探测访问控制规则( f i r ew a l k i n g ) 、端口扫描( p o r ts c a n ) 以及漏洞扫描( v u l n e r a b i l i t ys c a n ) 等。p i n g 扫射可以帮助我们识别系统是否处于 活动状态。操作系统探测顾名思义就是对目标主机运行的操作系统进行识别；如 何探测访问控制规则用于获取被防火墙保护的远端网络的资料；而端口扫描是通 过与目标系统的t c w i p 端口连接，并查看该系统处于监听或运行状态的服务。而 漏洞扫描通常是在端口扫描的基础上，对得到的信息进行相关处理，进而检测出 目标系统存在的安全漏洞。 其中端口扫描技术是网络安全扫描技术中核心技术，并且广泛运用于当前较 成熟的网络扫描器中，如著名的n m a p 1 2 1 和n e s s u s 。因而本文将对端1 5 1 扫描及相关 内容做详细的阐述。 端口扫描向目标主机的t c p i p 服务端口发送探测数据包，并记录目标主机的 响应。通过分析响应来判断服务端口是打开还是关闭，就可以得知端口提供的服 第l1 页 国防科学技术大学研究生院硕士学位论文 务或信息。主要有以下几种类型。 t c pc o n n e c t 0 扫描：扫描主机通过t c p i p 协议的三次握手与目标主机的指定 端口建立一次完整的连接。连接由系统调用c o n n e c t 开始。如果端口开放，则连接 将建立成功；否则，若返回1 则表示端口关闭。建立连接成功：响应扫描主机的 s y n a c k 连接请求，这一响应表明目标端口处于监听( 打开) 的状态。如果目标 端口处于关闭状态，则目标主机会向扫描主机发送r s t 的响应。这种方式的缺点 是很容易被目标主机记录。 s y n ：若端口扫描没有完成一个完整的t c p 连接，在扫描主机和目标主机的 指定端口建立连接时候只完成了前两次握手，在第三步时，扫描主机中断了本次 连接，使连接没有完全建立起来，这样的端口扫描称为半连接扫描，也称为间接 扫描。由于扫描过程三次握手并未成功，大大降低了被目标计算机记录的可能， 也加快了扫描的速度。 f i n ：依靠发送f i n 来判断目标计算机的指定端口是否活动。当发送一个f i n = l 的t c p 报文到一个关闭的端口时，该报文会被丢掉，并返回一个r s t 报文，但如 果当f i n 报文到一个活动端口时，该报文只是简单的丢掉，不会返回任何回应。 可以看出，f i n 扫描没有涉及任何t c p 连接部分，因此比前两种都安全，称之为 秘密扫描。 2 2 3 蠕虫病毒 蠕虫是一种通过网络传播的恶性病毒，局域网条件下的共享文件夹、电子邮 件e m a i l 、网络中的恶意网页、大量存在着漏洞的服务器等，都成为蠕虫传播的良 好途径，蠕虫病毒可以在几个小时内蔓延全球，而且蠕虫的主动攻击性和突然暴 发性都使得人们手足无措。 蠕虫病毒主要具有这样的特征：一般利用操作系统或应用程序漏洞主动攻