（计算机应用技术专业论文）入侵检测系统评估数据的自相似性研究.pdf

摘要 入侵检测系统是计算机网络安全防御系统的重要组成部件之一。随着入侵检测系 统的广泛应用，入侵检测系统的定量化评估成为研究热点。1 9 9 8 年和1 9 9 9 年美国麻省 理工学院林肯实验室( m n nj ) 提出了一个目前应用最广泛的定量化评估入侵检测系 统的测试方法和测试平台，更重要的是公开发布了作为测试基准的入侵检测系统评估 数据集。但是m i t l l 评估数据的网络流量统计特性等重要信息没有提供，而且 m r r ，l l 评估数据存在攻击实例分布不合理等缺陷。 首先，本文对1 9 9 9 年m 1 1 r ，ii 评估数据第1 周和第3 周背景流量的协议分布统计 特性和数据速率进行分析研究。比较评估数据第1 周和第3 周背景流量的实际时问与 m i t i 上提供的时间是否致；分析评估数据第1 周和第3 周背景流量中网络层，传输 层和应用层协议的分布特性，指出影响整个背景流量的网络行为特性的主要协议；分 析评估数据第1 周和第3 周背景流量中帧数据包的数据速率和网络带宽利用率。 其次，本文使用方差时间图估计法，刚s 分析估计法，周期图估计法，w h i t t l e 估 计法和基于小波分析的a b r y v e i t c h 估计法对1 9 9 9 年m i t l l 评估数据第1 周和第3 周背景流量中帧数据包到达过程和i p 数据包到达过程的h u r s t 参数值进行估计。分析 评估数据第1 周和第3 周背景流量每天表现出的自相似性，指出背景流量每天在前十 多个小时内表现出自相似性，在其他一些时间内不表现出自相似，而且在内部网络和 外部网络表现出的自相似性是不一致的。对背景流量不表现出自相似性的可能原因进 行探索和研究。 最后，本文讨论几种探测扫描攻击和拒绝服务攻击的产生原理和实现。这些攻击 的攻击流量是用于评估入侵检测系统的检测躲避攻击的能力。 关键词：入侵检测；自相似性；评估数据；网络流量分析；攻击 a b s t r a c t i n t m s i o n nd e t e c t i o ns y s t e mi so n eo fi m p o r t a n tc o m p o n e n t so fc o m p u t e rn e t w o r ks e c u r i t y d e f e n s e s y s t e m w i t h t h e w i d e s p r e a d u s eo fi n t r u s i o nd e t e c t i o n s y s t e m s ，r e s e a r c h o n e v a l u a t i o no fi n t r u s i o nd e t e c t i o ns y s t e m sh a sb e e nah o tf o c u s i n1 9 9 8a n d1 9 9 9 ，l i n c o l n l a b o r a t o r y o fm a s s a c h u s e t t si n s t i t u t eo f t e c h n o l o g y ( m i t l l ) p r e s e n t e d t h em o s t c o m p r e h e n s i v ea p p r o a c h a n dt e s tb e df o r q u a n t i t a t i v e e v a l u a t i o no fi n t r u s i o nd e t e c t i o n s y s t e m s ，a n di t i sm o r ei m p o r t a n tt h a te v a l u a t i o nd a t as e tf o ri n t r u s i o nd e t e c t i o ns y s t e m s b e n c h m a k i n g h a sb e e np u b l i c a l l yd i s t r i b u t e d b u tt h en e t w o r kt r a f f i cs t a t i s t i c a lc h a r a c t e r i s t i c o fm i t l le v a l u a t i o nd a t ah a sn o tb e e np r o v i d e da n dt h e r ea r es o m ef l a w si nm i t l l e v a l u a t i o nd a t a ，i n c l u d i n gu n r e a s o n a b l ed i s t r i b u t i o no fa t t a c ki n s t a n c e sa n ds oo n f i r s t ，t h i sp a p e rp r e s e n t st h ea n a l y s i so fs t a t i s t i c a lc h a r a t e r i s i t co fp r o t o c o ld i s t r i b u t i o na n d d a t as p e e do fb a c k g r o u n dt r a f f i co f1 9 9 9m i te v a l u a t i o nd a t ai nw e e k1a n d3 t h ea c t u a l t i m eo f b a c k g r o u n d t r a f f i ci nw e e k1a n d3i sc o m p a r e dw i t hw h a ti sp r o v i d e d b ym i t l l ；t h e d i s t r i b u t i o no fn e t w o r kl a y e rp r o t o c o l ，t r a n s p o r tl a y e rp r o t o c o la n da p p l i c a t i o nl a y e rp r o t o c o l o fb a c k g r o u n dt r a f f i ci nw e e k1a n d3i sa n a l y z e da n dt h em a i np r o t o c o l st h a ta f f e c tn e t w o r k a c t i v i t yc h a r a c t e r i s t i co fb a c k g r o u n dt r a f f i ca r ei n d i c a t e d ；d a t as p e e da n d n e t w o r kb a n d w i d t h u t i l i z a t i o nr a t eo f b a c k g r o u n d t r a f f i ci nw e e k1a n d3a r ea l s oa n a l y z e d s e c o n d ，h u r s tp a r a m e t e ro ff r a m ea r r i v a l sp r o c e s sa n di pa r r i v a l sp r o c e s so fb a c k g r o u n d t r a f f i co f1 9 9 9m i te v a l u a t i o nd a t ai nw e e k1a n d3i se s t i m a t e dw i t hv a r i a n c e t i m ep l o t s e s t i m a t o r ，r sa n a l y s i se s t i m a t o r ，p e r i o d g r a me s t i m a t o r ，w h i t t l ee s t i m a t o ra n d w a v e l e t - b a s e d a b r y - v e i t c he s t i m a t o r s e l f - s i m i l a r i t yt h a tb a c k g r o u n dt r a f f i ce x h i b i t se v e r yd a yi nw e e k 1 a n d3i sa n a l y z e da n di ti si n d i c a t e dt h a ts e l f - s i m i l a r i t yi se x h i b i t e di nt h ep e r i o do ff o r em o r e t h a n1 0h o u r sa n dn o ti nt h ep e r i o do fo t h e rs o m eh o u r se v e r yd a ya n ds e l f - s i m i l a r i t y b a c k g r o u n dt r a f f i ce x h i b i t si sd i f f e r e n tb e t w e e ni ni n s i d en e t w o r k sa n di no u t s i d en e t w o r k s t h e l i k e l yc a u s e sa r ee x p l o r e d t h a tb a c k g r o u n dt r a f f i cf a i l st oe x h i b i t s e l f - s i m i l a r i t y f i n a l ，t h ep r i n c i p l ea n di m p l e m e n t a t i o no fs e v e r a lp r o b es c a n n i n ga t t a c k sa n dd e n i a l - o f - s e r v i c e sa t t a c k sa r ed i c u s s e d a t t a c kt r a f f i co ft h e s ea t t a c k si sa i mt oe v a l u a t i n gt h ec a p a b i l i t y o f d e t e c t i n g e v a s i o na t t a c k s k e yw o r d s ：i n t r u s i o nd e t e c t i o n ；s e l f - s i m i l a r i t y ；e v a l u a t i o nd a t a ；n e t w o r kt r a f f i ca n a l y s i s ； a t t a c k i i 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名： 璜昆日期：加嘭年f 月矿日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密毗 ( 请在以上相应方框内打“4 ”) 作者签名： 导师签名： ，番昆 日期：砂佣串年f 月舻日 日期：伊4 年f 月箩日 1 1 入侵检测系统概述 第1 章引言 随着网络连接的迅速扩展，网络入侵的机会和威胁越来越多。计算机网络安全的 传统防御技术：防火墙，加密与解密，身份识别与认证以及访问控制等，是被动防御 技术，只能防止一般的非法入侵行为，对大量的滥用计算机系统与网络资源的入侵行 为无能为力。而入侵检测( i n t r u s i o nd e t e c t i o n ) 技术是主动防御技术，它通过监测计算 机系统与网络资源能够有效地检测这些滥用资源的入侵行为。入侵检测技术与传统防 御技术的结合将为计算机系统与网络提供完整的安全保障。 图1 1 计算机安全系统模型 计算机安全系统一般采用图1 1 所示的闭环模型。它由四个部件组成：预防部件， 检测部件，调查部件和事后分析部件1 1 1 。预防部件阻止未经授权的入侵行为；检测部件 监测系统状态和检测入侵行为：调查部件根据检测部件提供的信息判断是否是入侵行 为以及识别入侵行为的类型；事后分析部件分析将来如何阻止类似的入侵行为。 作为检测部件的重要组成部分，入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ) 是通 过监测计算机系统与网络资源检测入侵行为的安全防御系统i z 心。a n d e r s o n 将入侵行为 定义为未经授权蓄意地访问信息，窜改信息和使得系统不可靠或不能可使用 2 1 。 h e a d y 将入侵行为定义为试图破坏计算机系统与网络资源的完整性，机密性和可用性 的活动集合1 4 1 。 1 1 1 入侵检测的一般化模型 入侵检测模型最早是由d e n n i n g 提出嘲。在d e n n i n g 的研究基础上，从目前各种各 样入侵检测系统中抽象出入侵检测的一般化模型，或者称为典型入侵检测系统，它独 立于任何操作系统，任何应用环境和任何入侵类型，如图1 2 所示。入侵检测的一般化 模型至少包括如下功能模块： ( 1 ) 审计数据收集( a u d i tc o l l e c t i o n ) 审计数据包括系统审计日志，应用程序日 志和安全日志等以及网络活动曰志等等。 ( 2 ) 审计数据存储( a u d i ts t o r a g e ) 为了后面的处理和分析，需要存储大量的审 计数据。 ( 3 ) 处理( p r o c e s s i n g ) 这是入侵检测系统的核心，入侵检测技术和方法都集中 于此。 ( 4 ) 配置参数( c o n f i g u r a t i o nd a t a ) 它控制入侵检测系统的运行。 ( 5 ) 参考数据( r e f e r e n c ed a t a ) 它包括已知攻击的特征或正常行为的模型。 ( 6 ) 动态数据( a c t i v e p r o c e s s i n g d a t a ) 它是处理中的中间数据。 ( 7 ) 告警( a l a r m )向s s o ( s i t es e c u r i t yo f f i c e r ) 告警或者主动响应可疑入侵行 为。 s s o r e s p o n s e t o i n t r u s i o n 图1 2 入侵检测的一般化模型御 1 1 2 入侵检测的分类 根据检测环境不同，入侵检测系统一般分为基于主机的入侵检测系统( h o s t b a s e d i n t r u s i o nd e t e c t i o ns y s t e m ) 和基于网络的入侵检测系统( n e t w o r k - b a s e d i n t r u s i o n d e t e c t i o ns y s t e m ) 嘲。基于主机的入侵检测系统是通过监测单个主机上的系统行为和分 2 誓一一 缸 l 量 n 析系统文件与系统日志等信息来检测入侵行为，而基于网络的入侵检测系统是通过监 测网络链路上的网络行为和分析网络流量等信息来检测入侵行为。 根据检测方法不同，入侵检测技术一般分为基于误用( m i s u s e b a s e d ) 的入侵检测 和基于异常( a n o m a l y b a s e d ) 的入侵检测。基于误用的入侵检测是利用已知攻击特 征( a t t a c ks i g n a t u r e ) 或攻击模式( a t t a c km o d e l ) 检测入侵行为，而基于异常的入侵 检测是根据异常行为模型和计算机系统与网络资源的使用情况检测入侵行为。 基于误用的入侵检测技术，也称为基于特征的入侵检测技术，在已知攻击特征的 前提下，对可疑行为，进行简单高效地匹配来判断是否是入侵行为。由于攻击特征的 提取很困难和耗时，这种检测技术检测到的入侵类型很有限，只能检测出已知攻击特 征的入侵行为，无法检测出己知入侵行为的变异和其他新的未知入侵行为。基于误用 的入侵检测技术自适应差1 1 。 基于异常的入侵检测技术，不必己知攻击特征，它可以自适应地学习系统和网络 的行为，建立行为模型，检测出任何违反行为模型的可疑行为。这种检测技术能够检 测出已知入侵行为的变异和新的未知入侵行为。由于动态建立的行为模型与实际行为 有偏差，并且可能被敌手训练来适应入侵行为等，因此这种检测技术只能检测出可疑 行为，无法精确检测出真正的入侵行为。并且动态建立行为模型的时间复杂度大【，1 。 1 2 入侵检测系统的定量化评估 目前入侵检测系统已经广泛应用于政府，企业和科研机构等组织，成为网络安全 的重要防御工具之一。这些组织越来越强烈地依赖入侵检测系统保护其系统和网络免 遭攻击和破坏。根据国际数据公司( i n t e r n a t i o n a ld a t ac o r p o r a t i o n ) 提供的数据，全球 入侵检测系统及其相关服务的年收入从2 0 0 1 年的3 亿5 千多万美元增至2 0 0 2 年的4 亿4 千多万美元。在商业利益的驱使下，1 t 企业和科研机构研制出大量各种各样的入 侵检测系统，这些系统配置在实际环境中。 但是，至今还没有一种广泛认可的定量化评估入侵检测系统的方法。入侵检测系 统的定量化评估，可以为购买者提供产品选购的参考依据，可以为安全分析员提供安 全告警信息的相关性分析，更重要的是，可以为入侵检测技术研发者提供目前入侵检 测系统性能的优缺点以及性能改进的测量和评估。因此入侵检测系统的定量化评估研 究意义重大，是入侵检测的重要研究方向【9 1 。 1 2 1 入侵检测系统定量化评估的主要性能指标 1 2 1 1 检测率和误警率 检测率( d e t e c t i o nr a t e ) ，也称为真阳性率( t r u ep o s i t i v er a t e ) ，是指在给定 的时间内，入侵检测系统正确检测出攻击的概率。误警率( f a l s ea l a r mr a t e ) ，也称 3 耄篓阳慧黑篓竺i 篓竺，是指在给定的对眠入侵检测系统产生假告警的 概率。检测率和误警率是入侵检测系统定量化评估的最重要的葚；纛茹：生敞。瞥船 0 5 0 04 0 o 3 0 0 2 0 0 1 0 00 0 0 00 1 0 20 , 3 0 40 50 6 0 0 00 00 0 00 j f a r ea l a r mr a l e 。：! r e c 。e i v e ro 。p e r a t j n gc h a r a c t e r i s t i c ) 曲线是表示检测率和误警率关系的曲线图 竺4 。罢：( 三登案邕兰葶妻为横轴，检测率为纵轴，且横轴与纵轴长度相毒，嘉蚤：i 磊 ! 号! ：3 。! 竺兰：入侵检测系统1 和2 的r o c 曲线，它们都经过点。( o l ；磊- t j 。：u “o 1 凳! 曲线竺析理论表明，所有的r o c 曲线都经过点( o ，o ) 和 1 ) ，即( 荽篆：o ，检 婴薹主竺竺，! 曼芝耋。l 塑率钏。c 误警率孔检测率钏表票赢茹 委竺竺? 的黧筘作入侵行为，则检测率飙非入侵行为也被看磊赡嵩“茹 霎黧弛翼反竺“误警率砘检测率钏烁入侵检测菜蒜蒜晶筹乌蒙 篓黧侵行竺即正常行为，入侵检测系统将不会产生任何告；：面赫荔l # 萎 萋耋竺翌oo 苎要善意婴入侵检测系统的r o c 曲线在对角线，即荔毒群丧善 耋竺害譬二2 ：。詈苎型雠线：而在对角线下方的r o c 蓝线没有实际主爻，。昌亮荔i 率低且误警率高的入侵检测系统没有应用价值。 “”。 + 。竺? s s 。n 竺琴窑表明：入侵检测系统的误警率随着检测率的增加而增加( 如图1 3 ：譬雾二兰竺竺提高检测率，并不能有效地提高入侵检测系统性能：差麓i ：；蒜 竺要兰下，应该尽可能地降低误警率n 叱因此，降低误警率是提高入侵藿茹篆磊蕃聂 的关键。 。一“ 。，翼妻兰三! 霉g e ) 是指入侵检测系统在理想情况下能检测多少攻击。基于误用 竺全霎竺竺至警兰检测到的攻击与标准的已知攻击比较，计算出覆盖率。品霎矗芙墨 检测系统难于计算覆盖率，因为它们可能检测到已知攻击之外的攻击1 9 j 。 ”“ 4 g苫ai古 1 2 1 3 抗攻击能力 抗攻击能力( r e s i s t a n c et oa t t a c k sd i r e c t e da tt h ei d s ) 是指入侵检测系统抵抗针对 入侵检测系统本身的攻击的能力。针对入侵检测系统本身的攻击主要是使入侵检测系 统负荷过载，“湮没”安全管理员，无法处理告警1 9 。 1 2 1 4 负荷能力 负荷能力是指入侵检测系统在高速宽带网环境下处理数据的能力。负荷能力与抗 攻击能力相关，主要是抵抗拒绝服务攻i 缶( d e n i a lo f s e r v i c e s ，简称d o s ) 的能力1 9 1 。 1 2 1 5 检测未知攻击能力 检测未知攻击能力是指入侵检测系统检测出未知攻击的能力。基于误用的入侵检 测系统无法测量这种能力，因为它无法检测到未知的新攻击1 9 1 。 1 2 1 6 事件关联能力 事件关联能力是指入侵检测系统关联攻击事件的能力，即入侵检测系统与其他安 全防御系统相联合共同检测攻击的能力1 9 。 1 2 1 7 其他指标 其他指标主要包括入侵检测系统的易操作性，易维护性，易配置性以及对c p u ，内 存等资源使用情况等等1 9 j 。 1 2 2 入侵检测系统定量化评估的研究现状 入侵检测系统定量化评估主要包括研究性评估( r e s e a r c he v a l u a t i o n ) 和商业性评 估( c o m m e r c i a le v a l u a t i o n ) 。研究性评估是指使用特殊的异常( n o v e l ) 攻击评估基 于异常的入侵检测系统以及绘制其r o c 曲线1 9 1 i 1 1 。商业性评估是指在高负荷网络流量 下评估基于误用的入侵检测系统性能i v i n 。 下面简要介绍入侵检测系统研究性评估的主要研究工作。 1 2 。2 。1 美国加州大学戴维斯分校 1 9 9 4 年美国加州大学戴维斯分校( u n i v e r s i t yo fc a l i f o m i aa td a v i s ， 简称u c d ) 的p u k e t z a 等人首开入侵检测系统评估研究的先河，提出了测试入侵检测系统的方法和 软件平台。该测试软件平台使用脚本自动产生正常网络行为( 例如t e l n e t ，f r p 和 r l o n n 等) 和一些简单的攻击( 例如密码猜测，远程传送密码文件和非法获取超级用 户权限等) ，评估入侵检测系统n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 识别攻击的能力 l | 2 1 1 3 l l l 4 l 。 5 1 2 2 2l b m 公司苏黎世研究实验室 1 9 9 8 年i b m 公司苏黎世研究实验室( i b mz u r i c hr e s e a r c hl a b o r a t o r y ) 的d e b a r 等人也提出了与u c d 类似的测试平台。该测试平台自动产生攻击流量( a t t a c k t r a f f i c ) 和背景流量( b a c k g r o u n dt r a f f i c ) ，其中背景流量只包含f t p 服务的网络流 量，攻击流量包含少量的f t p 攻击。主要是评估了入侵检测系统检测针对f r p 服务器 的攻击的能力 ”】。 1 2 2 3 美国麻省理工学院林肯实验室 1 9 9 8 年和1 9 9 9 年美国麻省理工学院林肯实验室( m i tl i n c o l nl a b o r a t o r y ，简称 m i t l l ) 的l i p p m a n n 等人提出了一个目| j 应用最广泛的定量化评估入侵检测系统的 测试方法和测试平台，并且评估了范围广泛的研究性入侵检测系统( r e s e a r c hi d s ) t 1 6 1 8 7 1 1 8 m 9 1 1 2 0 l 。 根据美国空军基地( a i rf o r c eb a s e ) 的实际网络流量统计模型，1 9 9 9 年m i t l l 提出了一个测试平台，该平台模拟出上千台主机上的上百个用户的行为和针对不同平 台的几十种攻击类型以及上百例攻击实例。攻击类型从1 9 9 8 年的只针对u n i x 平台的 3 8 种扩展到1 9 9 9 年的针对s u n o s ，s o l a f i s ，u n i x 和w i n d o w s 平台的5 8 种：攻击实例 从1 9 9 8 年的1 2 0 多个扩展到1 9 9 9 年的2 0 0 多个；被评估的入侵检测系统数量从1 9 9 8 年的1 0 台增加到1 9 9 9 年的1 9 台，并且被评估的系统涵盖了目前主要的入侵检测技术 和方法。m i t ii 计算了攻击流量的检测率和背景流量的误警率以及绘制了被评估入侵 检测系统的r o c 曲线，1 9 9 9 年还进一步分析了误告警产生的原因。m i t l l 评估结 果表明：基于网络和基于主机相结合的混合入侵检测系统对己知攻击的检测率最高； 绝大部分入侵检测系统都不能检测出以前未出现的异常攻击，且误警率偏高 1 6 l 1 7 1 i b l i g i 2 0 】。 更重要的是，m r i n i ，公开发布了作为测试基准( b e n c h m a r k ) 的入侵检测系统评 估数据集( e v a l u a t i o nd a t ac o r p o r a 或e v a l u a t i o nd a t a s e t ) 。该评估数据集包括数周的 背景流量，上百个标识的攻击实例和主机审计日志等评估数据( e v a l u a t i o nd a t a ) 。这 些评估数据已经被入侵检测研究者广泛使用，并且能够在真实网络环境中播放，也可 以用于评估商业性入侵检测系统( c o m m e r c i a li d s ) t 1 哪哪叩q 唧】。 2 0 0 0 年m i t l l 增加了新攻击类型，例如分布式拒绝服务攻击( d i s t r i b u t e dd e n i a l o fs e r v i c e ，简称d d o s ) ，并且提出了个自动化实时评估平台l a r i a t ( l i n c o l n a d a p t a b l e r e a l t i m ei n f o r m a t i o na s s u r a n c et e s t b e d ) 1 1 9 1 1 2 1 1 o 1 2 3 入侵检测系统定量化评估的困难和挑战 一般地，评估数据是入侵检测系统定量化评估的关键，它主要包括背景流量和攻 击流量。背景流量是计算机系统和网络正常行为的网络流量，而攻击流量是攻击行为 6 或异常行为的网络流量。在评估入侵检测系统时，攻击流量一般嵌入( i n j e c t e di n t o ) 到背景流量中。 1 2 3 1 攻击流量的困难和挑战 攻击流量的产生面临收集攻击工具和攻击脚本的困难。收集大量的攻击工具和攻 击脚本以及分析其攻击原理和攻击特征是非常困难和耗时的工作，并且攻击所对应的 受攻击软件( v i c t i ms o t t w a r e ) 和环境也难于收集和构造。在评估入侵检测系统时，攻 击流量可能会破坏测试平台和环境，影响评估结果洲“】。 1 2 3 2 背景流量的困难和挑战 背景流量的使用方法主要有如下四种方式： ( 1 ) 不使用背景流量单独使用攻击流量评估入侵检测系统，计算被评估系统的 检测率。这种方式的优点是简单方便且费用低；缺点是没有考虑背景流量产生的误警 率。早期的入侵检测系统评估采用这种方式【9 】。 ( 2 ) 使用实际背景流量在实际背景流量下，使用攻击流量评估入侵检测系统。 由于实际背景流量是真实的且包含异常行为或可疑行为，所以可以计算被评估系统的 检测率和误警率。这种方式的缺点主要是：由于实际背景流量的存储和重播困难，评 估难于重复；实际背景流量中的可疑行为难于不确定；由于无法确定实际背景流量中 的攻击数目，难于精确计算误警率；由于包含安全( s e c u r i t y ) 和保密( p r i v a c y ) 等敏 感信息，实际背景流量不能公开发布1 9 。 ( 3 ) 使用清除过的实际背景流量在方式( 2 ) 的基础上，清除实际背景流量中的 安全和保密等敏感信息。这种清除过的实际背景流量可以公开发布。但是这种方式也 面临一些另外的困难：清除过敏感信息的背景流量与实际模型不符合；无法完全清除 敏感信息等等t g l 。 ( 4 ) 使用模拟的背景流量根据网络流量统计模型，构造测试平台产生模拟的网 络流量( 主要包括背景流量和攻击流量) ；收集这些网络流量和主机日志等信息作为 评估数据；在测试平台上，重新播放这些评估数据，计算被评估入侵检测系统的检测 率和误警率以及绘制其r o c 曲线。这是目前使用最广泛的方式。由于不包含安全和保 密等敏感信息，模拟的背景流量可以公开发布；评估可以在测试评估上重复：由于攻 击实例已知，可以准确计算误警率。但是这种方式也存在一些困难：模拟背景流量的 产生很复杂且费用高；无法模拟高速宽带网络中的背景流量；网络流量模型的建立很 困难等【9 】。m i t l l 采用了这种方式，1 9 9 8 年和1 9 9 9 年公开发布了作为测试基准的评 估数据集t 8 【2 0 】【z ”。 1 2 3 3 入侵检测系统的评估需求 不同入侵检测系统的评估需求是不同的。基于误用和基于异常的入侵检测系统的 7 评估需求是不同的：基于误用的入侵检测系统不需要被训练就可以直接检测入侵行 为，其检测率和误警率与评估数据集中已知攻击类型和攻击实例有关；而基于异常的 入侵检测系统需要预先被训练才能检测入侵行为，例如1 9 9 9 年m i t l l 评估数据集中 包含了三周的训练数据( t r a i n i n gd a t a ) 和两周测试数据( t e s t i n gd a t a ) n 8 1 9 ：m ，其检 测率和误警率与评估数据集中已知攻击类型和攻击实例无关1 9 1 。类似地，基于主机和基 于网络的入侵检测系统的评估需求也不同：基于主机的入侵检测系统评估数据主要是 系统日志等系统行为信息；而基于网络的入侵检测系统评估数据主要是网络流量等网 络行为信息 9 1 。 1 3 评估数据的缺陷 评估数据主要包括背景流量和攻击流量。背景流量主要包括网络正常行为的网络 流量和系统日志及响应信息等( 本文研究的背景流量主要是指网络正常行为的网络流 量) ；攻击流量主要包括攻击行为或异常行为的网络流量。一般地，攻击流量嵌入在 背景流量中或者在产生背景流量的同时产生攻击流量。 作为测试基准，评估数据必须在入侵检测研究者之间公开和共享( s h a r e d ) 。早期 的评估数据，例如美国加州大学戴维斯分校和m m 公司苏黎世研究实验室的评估数 据，是不公开和不共享的m 】【】5 1 。m i t l l 评估数据是公开发布和共享的，目前已经被入 侵检测研究者广泛采用。它可以评估基于主机的和基于网络的入侵检测系统，也可以 评估基于误用的和基于异常的入侵检测系统【一6 1 1 ”。因此m i t l l 评估数据是本文重点研 究的对象。 为了清除安全和保密等敏感信息，m i t l l 模拟出合成数据( s y n t h e t i cd a t a ) ，这 些合成数据被收集为评估数据。根据美国空军基地实际网络流量统计模型，m i t l l 在 测试平台上同时产生背景流量和攻击流量，即合成数据；使用工具t c p d u m p t ：z 】捕获和 收集这些合成数据，作为评估数据i 6 1 1 7 1 。m i t l l 公开发布了1 9 9 8 年入侵检测系统评估 数据和1 9 9 9 年入侵检测系统评估数据。 在评估入侵检测系统时，m i t l l 评估数据中的背景流量和攻击流量都存在一些缺 陷，这些缺陷将严重影响评估结果的公平性。2 0 0 1 年m c h u n g t 2 3 】评论了1 9 9 8 年和1 9 9 9 年m i t l l 评估数据，并且指出了m i t l l 评估数据主要存在如下一些缺陷： ( 1 ) m i t l l 没有提供评估数据的网络流量统计特性等重要信息，特别是在测试 平台上模拟产生的背景流量与实际网络流量的偏差。网络流量统计特性主要包括协议 分布统计特性，数据速率以及自相似性等等。m i t l l 公开发表的文献和资料虽然声称 在测试平台上模拟产生的网络流量与美国空军基地实际网络流量是一致的，但是没有 提供实际网络流量采样的统计模型和合成数据的产生方法。m i t l l 评估数据的不透 明性将影响评估者( e v a l u a t o r ) 使用评估数据以及评估结果的公平性。 ( 2 ) m i t l l 没有提供评估数据中背景流量产生的误警率等重要信息。m i t l l 计 8 算被评估入侵检测系统的检测率和误警率以及绘制其r o c 曲线，但是没有验证 ( v a l i d a t i o n ) 背景流量本身会产生多少误告警，特别是没有验证在背景流量下产生的 误告警是否与实际环境中产生的一致，以及分析这些误告警的产生原因。背景流量的 误告警缺少验证将导致计算出的误警率高于实际环境中的，这也将影响评估结果的公 平性瞄1 。 ( 3 ) m i w l l 评估数据的数据速率低。m c h u n g 初步分析了m i t l l 评估数据的平 均数据速率，结果表明评估数据的平均数据速率( a v e r a g ed a t ar a t e ) 为几十千比特每 秒( k i l o b i t sp e rs e c o n d ，简称k b p s ) ，远远低于实际网络流量的数据速率m 1 。根据以 前的研究和观测，实际网络流量的数据速率比评估数据的大得多，例如p a x s o n 使用入 侵检测系统b r o 监测到f d d i 网络( f i b e rd i s t r i b u t e dd a t ai n t e r f a c e ) 链路上的数据速率 超过3 0 兆比特每秒( m e g a b i t sp e rs e c o n d ，简称m b p s ) ，是m i w l l 评估数据的上千 倍 2 4 1 1 2 5 i i “。 ( 4 ) m i t l l 评估数据不包含实际网络中的“脏”( c r u d ) 数据包。“脏”数据 包主要是包括标识为f i n 和r s t 的数据包，无结束标志的分片数据包以及小分片数据 包等等1 2 3 。几年前b e l l o v i n 就报告发现了许多这样的异常数据包 2 4 1 ，p a x s o n 也指出了在 实际网络中越来越多这样的垃圾数据包( g a r b a g ep a c k e t ) 2 5 1 。由于t c p h p 协议栈的实 现太差，这些“脏”数据包是自然产生的( s p o n t a n e o u s ) ，只是可疑数据包，虽然与 入侵数据包很相似且难于区分，但是它们不是真正的入侵数据包。由于m i t l l 评估 数据中不包含这些“脏”数据包，计算出的误警率将低于实际环境中的，这也将影响 评估结果的公平性阻1 。 ( 5 ) m i t l l 评估数据中攻击实例分布不合理，与实际环境中的不一致叫。1 9 9 9 年m i t l l 评估数据中的攻击类型主要有四种：用户到根节点( u s e rt or o o t ) ，远程 到局部( r e m o t et ol o c a l ) ，拒绝服务( d e m n o fs e r v i c e ) 和探测 ( p r o b e s u r v e i l l a n c e ) ，它们的攻击实例分别为1 1 4 ，3 4 ，9 9 和6 4 等 i s 】【2 7 】f 2 e 】【2 9 】。m i t ，l l 评估数据中探测类型的攻击实例很少，而在实际网络环境中，探测是攻击行为中最多 的行为，是攻击实例最多的一种类型。 m c h u n g 虽然指出了m i t l l 评估数据的一些缺陷，但是没有进一步地指出整个评 估数据的缺陷详细情况以及分析缺陷产生的原因。本文将统计和分析1 9 9 9 年m i t l l 评估数据，进一步地指出其缺陷详细情况以及分析缺陷产生的可能原因，为完善和改 进m i t l l 评估数据提供参考依据。 1 4 本文的研究工作 在m c h u n g 的研究【2 3 】基础上，本文重点研究1 9 9 9 年m i t l l 评估数据的网络流 量统计特性，揭示m i t l l 评估数据缺陷的详细情况以及分析缺陷产生的可能原因。 本研究的意义在于为完善和改进m i t l l 评估数据提供参考依据，提供m i t l l 评估数 9 据内在统计特性的详细信息以及为评估结果的公平性提供保障。本文的研究工作主要 包括： ( 1 ) m i w l l 评估数据的协议分布统计特性分析。分析评估数据中背景流量的从 网络层( n e t w o r kl a y e r ) ，传输层( t r a n s p o r tl a y e r ) 到应用层( a p p l i c a t i o nl a y e r ) 等各层协议的数据包统计和分布特性，揭示出评估数据的协议分布统计特性。 ( 2 ) m i t l l 评估数据的数据速率分析。统计评估数据中背景流量的数据速率随 时间分布情况，主要是统计数据链路层( d a t al i n kl a y e r ) 的帧( f r a m e ) 数据包速率 随时间分布情况，计算数据速率平均值和最大值，揭示评估数据的数据速率特性。 ( 3 ) m i t l l 评估数据的自相似性( s e l f - s i m i l a r i t y ) 分析。大量研究表明，网络 流量在统计上服从自相似模型，不再服从传统的泊松( p o i s s o n ) 模型或马尔可夫 ( m a r k o v ) 模型，突出表现为网络流量在任意时间范围内的长相关性( l o n gr a n g e d e p e n d e n c e ) 3 0 1 ”。由于评估数据中背景流量是网络正常行为一一即非攻击行为 ( a t t a c k - f r e ea c t i v i t y ) 的网络流量，则它在统计上应该表现出自相似性。采用时 域上估计法，频域上估计法和基于小波分析的估计法等估计评估数据中背景流量的自 相似性参数，揭示评估数据在统计上的自相似特性。 ( 4 ) 分析m i t ，l l 评估数据缺陷产生的可能原因。结合评估数据的协议分布统计 特性和数据速率特性，分析评估数据中背景流量不表现出自相似性的可能原因，为完 善和改进m i w l l 评估数据提供参考依据。 ( 5 ) 扩展m i t l l 评估数据中攻击流量。探测扫描攻击是网络攻击中最多的攻 击，是其他攻击的“前奏”，它能够躲避大多数入侵检测系统的检测。拒绝服务攻击 也是目前入侵检测系统难于检测的攻击，它也能够躲避大多数入侵检测系统的检测。 增添探测扫描攻击和拒绝服务攻击的攻击流量到评估数据中，可以用于评估入侵检测 系统的检测躲避攻击的能力。攻击流量的扩展将丰富m i w l l 评估数据，涵盖更广泛 的攻击行为。 本文共分6 章。第1 章是引言，概述了入侵检测系统及其定量化评估，讨论了 m i t l l 评估数据存在的缺陷以及本文的研究工作；第2 章是m i t l l 评估数据，介绍 了1 9 9 9 年m i t l l 评估数据中网络流量的建模和产生方法；第3 章是网络流量的自相 似性，介绍了网络流量的自相似性定义和性质；第4 章是m i t l l 评估数据的协议分 布和数据速率特性研究，讨论了1 9 9 9 年m i w l l 评估数据的协议分布和数据速率的统 计特性；第5 章是m i t l l 评估数据的自相似性研究，这是本文的研究重点，讨论了 1 9 9 9 年m i w l l 评估数据的自相似性，揭示了评估数据存在的缺陷以及分析了缺陷产 生的可能原因；第6 章是攻击流量的产生，讨论了几种探测扫描攻击和拒绝服务攻击 的攻击流量产生方法；最后是结论，总结全文，并指出了未来的研究工作。 1 0 1 5 小结 入侵检测系统是计算机网络安全防御系统的重要组成部件之一，目前的入侵检测 系统都可以归结为一个一般化模型。根据检测环境不同，入侵检测系统可以分为基于 主