（计算机系统结构专业论文）高速网络中滥用入侵检测系统检测精度的改进研究.pdf

摘要 摘要 高速网络中滥用入侵检测系统检测精度的改进研究 马弧呜，龚俭东南人学 网络入侵检测系统( n i d s ) 是一种重要的安全检测：具，检测精度是影晌其实用性的重要 因素。论文研究了以下三种有助于提高滥用n i d s 检测精度的方法：为n i d s 引入检测规则 自动更新和预处理机制：加强n i d s 面向会话流的检测能力：对原始警报进行冗余消除和警 报关联等后处理，从而提高滥用n 1 d s 的检测精度，增强其警报事件的可信度。 检测规则是滥用入侵检测判定攻击的依据所在，直接关系到检测结果的准确性。论文首 先分析了检测规则从哪几个方面影响检测精度，以此为基础设计了一种检测规则自动更新与 预处理机制。规则自动更新机制保证了检测规则库的时效性；规则预处理机制则通过对规则 进行去错去重、冲突检测、人1 二微调来剔除那些易于带来误报的规则。为了提高报文分类算 法在大规模规则库下的可扩展性，论文在p h i c u t s 报文分类算法的基础上通过采用每规则 建树和t c p 标志域离散化两种改进手段，使改进后的算法减少了平均7 5 左右的空间消耗， 并降低了算法空间占用随规则数增长而增加的速度。 传统n i d s 采用的是基于单报文的入侵检测手段。为了充分挖掘报文间的联系，论文研 究了面向会话流的入侵检测方法。会话流检测可以分为基于在线法和基于缓存法两种，前者 虽然空间消耗较少，但所提供的检测能力有限，不能适应日益复杂的检测要求，冈此论文采 用了基丁缓存法的会话流重组算法。应用层协议语义抽取是会话流检测的重要功能，为了提 高语义抽取的正确性和效率，论文设计了基于鉴别抽取机制的语义抽取算法，在满足规则 检测要求的基础上提高了抽取算法性能。论文讨论了t c p 层次和应用层层次的会话流状态 跟踪在抗无状态攻击、改进检测精度上的意义，并给出了相应的实现算法。随着入侵技术的 进步，出现了多种变体攻击方法来逃避n i d s 的检测。论文分析了会话流检测中所涉及的4 类变体攻击问题，并根据适用于高速网络环境( g b p s ) 和主干网监测等要求设计了相应的检测 算法。 为了改变各个原始警报信息相互孤立的状态，论文介绍了安全检测事件多级处理的思 想。通过对原始警报进行冗余消除和关联分析，检测系统可以进一步减少警报数量，提高警 报质量。论文重点对典型的冗余消除算法进行了比较，通过理论分析和实验验证证明基于事 件时间间隔相对均方差的多特征关联冗余消除算法在冗余事件的识别程度、冗余消除度和对 攻击速度变化的适应性方面均优于其他几种算法，并给出了该算法的实现。 最后论文通过系统测试证明改进后的系统检测能力和检测精度均得到了提升，其中改进 版在测试中相比于原始版本分别减少了3 0 的误报和2 6 的漏报。由于检测规则和检测步 骤的增多，改进版空间占用比原始版多出约1 5 左右，并在性能上有略微降低，但是在实 践中这些降低程度都在可接受范围之内。如何在保证检测性能的基础上进一步提高精度是将 来研究工作的重点之一。 【关键字】入侵检测系统，检测精度，检测规则，报文分类算法，会话流重组，应用层语 义抽取，冗余事件消除 a b s t r a c t a b s t r a c t r e s e a r c ho nt h ei m p r o v e m e n to fd e t e c t i o na c c u r a c yo f h i g h s p e e dn e t w o r ko r i e n t e dm i s u s ei n t r u s i o nd e t e c t i o ns y s t e m m ay a m i n g , g o n gj i a n ，s o u t h e a s tu n i v e r s i t y n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m ( n i d s ) i sa l li m p o r t a n ta n du s e f u ln e t w o r ks e c u r i t y m o n i t o r i n gt 0 0 1 t h ed e t e c t i o na c c u r a c yo fn i d si sak e yf a c t o ri ni t sp r a c t i c a lu s e t oi m p r o v e t h ed e t e c t i o na c c u r a c yo ft h en i d sa n dc o n f i d e n c el e v e lo fi t s s e c u r i t ye v e n t s ，t h i sp a p e r r e s e a r c h e st h r e ea s p e c t st h a ta r ec o n d u s i v ei nt h ei m p r o v e m e n to fn i d sd e t e c t i o na c c u r a c y ： d e t e c t i o nr u l ea u t o u p d a t i n ga n dp r e p r o c e s s i n gm e c h a n i s m ；s e s s i o no r i e n t e dd e t e c t i o no fn i d s ； r e d u n d a n c ye l i m i n a t i o na n dc o r r e l a t i o na n a l y s i so fp r i m i t i v ea l e r t s d e t e c t i o nr u l e sa r et h eb a s i sf o rj u d g i n gn e t w o r ka t t a c k si nm i s u s ed e t e c t i o n t h e yh a v e d i r e c ti n f l u e n c e so nd e t e c t i o na c c u r a c yt h i sp a p e rf i r s ta n a l y z e st h ed e t a i l so ft h ei n f l u e n c e sa n d d e s i g n sad e t e c t i o n r u l e a u t o - u p d a t i n ga n dp r e p r o c e s s i n gm e c h a n i s mb a s e do nt h e m r u l e a u t o - u p d a t i n ge n s u r e st h et i m es e n s i t i v i t yo f t h er u l e sa n dr u l ep r e p r o c e s s i n gr e j e c t si m p e r f e c t i o n r u l e sw h i c ht e n d st oc a u s ef a l s ep o s i t i v ea l e r t sb yc h e c k i n gt h er u l e sf o ro b v i o u sm i s t a k e s ， r e d u n d a n c ya n dc o n f l i c t i o na u t o m a t i c a l l ya n dm a k i n ga na r t i f i c i a la d j u s t m e n t t oi m p r o v et h e s c a l a b i l i t yo ft h ep a c k e tc l a s s i f i c a t i o na l g o r i t h mu n d e rl a r g e - s c a l er u l es e t ，t h i sp a p e ri m p r o v e st h e p h i c u t sp a c k e tc l a s s i f i c a t i o na l g o r i t h mb yu s i n gt h ep e r - p r o t o c o lt r e e - c o n s t r u c t i o na n dt c pf l a g f i e l dd i s c r e t i n gm e t h o d s t h ei m p r o v e da l g o r i t h mr e d u c e st h es p a c ec o n s u m p t i o nb y7 5 c o m p a r e dt ot h eo r i g i n a la n ds l o w st h es p e e dt h a ts p a c ec o n s u m p t i o ni n c r e a s e sw i t ht h ee x p a n s i o n o f r u l es e t t r a d i t i o n a ln i d sd e t e c t ss e c u r i t ye v e n t sb a s e do ns i n g l ep a c k e ta n a l y s i s ( s p a ) t oe x p l o i t t h er e l a t i o n sb e t w e e np a c k e t s ，t h i sp a p e rs t u d i e st h es e s s i o no r i e n t e da n a l y s i s ( s o a ) ，w h i c hi s g e n e r a l l yc l a s s i f i e di n t ot w ot y p e s ：o n l i n es o a a n db u f f e r i n gb a s e ds o a t h ef o r m e rr e q u i r e sl e s s m e m o r yb u tp r o v i d e sl i m i t e dd e t e c t i o nf u n c t i o n s ，w h i c hm a k e si ti n c o m p e t e n tf o ri n c r e a s i n g l y c o m p l i c a t e dd e t e c t i o nr e q u i r e m e n t s s ot h i sp a p e ra d o p t st h eb u f f e r i n gb a s e ds o aa n dd e s i g n st h e s e s s i o nr e a s s e m b l ya l g o r i t h m a p p l i c a t i o nl a y e rs e m a n t i ce x t r a c t i o ni so n eo ft h em o s tu s e f u l f u n c t i o n si ns o a t h i sp a p e rd e s i g n sa ni d e n t i f i c a t i o n - e x t r a c t i o ns e m a n t i ce x t r a c t i o na l g o r i t h mt o i n c r e a s ee f f i c i e n c yw h i l es a t i s f y i n gt h ed e t e c t i o nr e q u i r e m e n t s t h i sp a p e rd i s c u s s e sh o wt c p l e v e la n da p p l i c a t i o nl a y e rl e v e ls e s s i o ns t a t et r a c k i n gc o n t r i b u t e st ot h ep r e v e n t i o no fs t a t e l e s s a t t a c ka n da c c u r a c yi m p r o v e m e n ta n dp r o v i d e sc o r r e s p o n d i n gt r a c k i n ga l g o r i t h m s w i t ht h er a p i d p r o g r e s si ni n t r u s i o nt e c h n i q u e s ，a t t a c k e r sc a nm a k eu s eo fm a n ya n a m o r p h o s i sa t t a c k st oe v a d e t h ed e t e c t i o no fn i d s t h i sp a p e ra n a l y z e sf o u rk i n d so fs o ar e l a t e da n a m o r p h o s i sa t t a c k sa n d d e s i g n s t h e i rd e t e c t i o na l g o r i t h m si nh i g h s p e e dn e t w o r k ( g b p s ) a n db a c k b o n em o n i t o r i n g b a c k g r o u n d t oc h a n g et h es i t u a t i o nt h a tp r i m i t i v ea l e r t sa r ei s o l a t e df r o me a c ho t h e r , t h i sp a p e ri n t r o d u c e s t h em u l t i s t a g ed e t e c t i o nc o n c e p t b ya p p l y i n gr e d u n d a n c ye l i m i n a t i o na n dc o r r e l a t i o na n a l y s i st o p r i m i t i v ea l e r t s ，t h ed e t e c t i o ns y s t e mc a nf u r t h e rr e d u c ea l e r t sn u m b e ra n de n h a n c et h eq u a l i t yo f i t sd e t e c t i o nr e s u l t s t h i sp a p e rm a i n l ym a k e sac o m p a r i s o nb e t w e e nr e p r e s e n t a t i v er e d u n d a n c y e l i m i n a t i o na l g o r i t h m s b yt h e r o t i c a la n a l y s i sa n de x p e r i m e n t ，t h er e l a t i v em e a n s q u a r ed e v i a t i o n b a s e dm u l t i - f e a t h e rc o r r e l a t i o nr e d u n d a n c ye l i m i n a t i o na l g o r i t h mi ss u p e r i o rt oo t h e r si n h 东南大学硕i j 学位论文高速网络中滥用入侵榆测系统检测精度的改进研究 r e c o g n i t i o na c c u r a c yo fr e d u n d a n te v e n t s ，r e d u n d a n c ye l i m i n a t i o np r o p o r t i o na n da d a p t a b i l i t yt o d i f f e r e n ta t t a c k i n gr a t e sa n ds e l e c t e da st h er e d u n d a n c ye l i m i n a t i o na l g o r i t h mf o rt h i sp a p e r f i n a l l yb ys y s t e mt e s tt h i sp a p e rp r o v e st h en e ws y s t e mg a i np r o m o t i o ni nb o t hd e t e c t i o n a b i l i t ya n da c c u r a c y , a n dg i v e s3 0 l e s sf a l s ep o s i t i v ea l e r t sa n d2 6 l e s sf a l s en e g a t i v ea l e r t si n t h et e s t d u et ot h ei n c r e a s ei nd e t e c t i o nr u l e sa n dt h em o r ec o m p l i c a t e dd e t e c t i o ns t e p s ，t h en e w s y s t e mc o n s u m e sa b o u t 15 m o r es p a c ea n di ss l i g h t l yl o w e ri np e r f o r m a n c ei n d i c a t o r s b u tt h e s e d e g r a d a t i o n sa r ea c c e p t a b l e i n p r a c t i c e t of u r t h e ri m p r o v et h ed e t e c t i o na c c u r a c yw h i l e m a i n t a i n i n gc o m p e t e n tp e r f o r m a n c ei so n eo ft h ek e yp o i n t sf o rf u t u r ew o r k 【k e y w o r d s 】 i n t r u s i o nd e t e c t i o ns y s t e m ，d e t e c t i o n a c c u r a c y , d e t e c t i o nr u l e p a c k e t c l a s s i f i c a t i o n a l g o r i t h m ，s e s s i o nr e a s s e m b l y , a p p l i c a t i o nl a y e rs e m a n t i ce x t r a c t i o n , r e d u n d a n c ye l i m i n a t i o n 1 1 1 东南大学学位论文独创性声明 本入声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 研究生签名：墨垄垫 e l 期：垄望三37 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 研究生签名：鱼垄垒导师签名：重俭日期：? 。夕f2 7 第一章绪论 第一章绪论 随着网络技术的迅速发展，基于网络的计算机应用越来越j “泛。但是迅速增多的非法 攻击行为严重影响网络的性能并威胁着企业信息化和个人隐私安全。根据国家互联网应急 处理中一i 二, ( c n c e r t ) 2 0 0 8 年发布的报告l lj ，该中心在2 0 0 8 年接收和自主监测的各种网络安 全事件数蹙同比有较为显著的增加。例如2 0 0 8 年上半年，c n c e r t 通过技术平台共捕获 约9 0 万个恶意代码，比去年同期增长6 2 5 。面对这种严峻的形势，各种网络安全技术应 运而生并得到快速发展。本文要研究的便是对于网络入侵检测系统( n i d s ) 这种已经应用多 年的安全防护技术的改进，以期加强其检测能力，提高检测精度，适应新形势下诸多安全 威胁的挑战。 1 1 研究背景 1 1 1 入侵检测系统的历史与发展现状 1 9 8 0 年，j a m e s a n d e r s o n 定义了入侵的概念1 2 j ：一种潜在的，有预谋的，非授权的访问或 操纵信息的尝试并且可以导致系统不可靠和不稳定的企图。入侵检澳l j ( i n t r u s i o nd e t e c t i o n ) 是指通过对计算机网络或计算机系统中的若干关键点收集信息并进行分析，从中发现网络 或系统中是否有违反安全策略的行为和被攻击迹象的过程。它是为保证计算机系统的安全 而设计与配置的一种能够及时发现并报告系统中未授权或异常现象的功能，是一种用于检 测计算机网络中违反安全策略行为的技术。 由美国国防高级研究计划署d a p r a 发起并制定的c i d f ( t h ec o m m o ni n t r u s i o nd e t e c t i o n f r a m e w o r k ) 模型习最早考虑了入侵检测构件与其它安全机制的集成问题，它把入侵检测系统 i d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) 从逻辑上分为面向任务的四个基本组件：事件产生器，事件 分析器，响应单元和事件数据库。c i d f 将i d s 需要分析的数据统称为事件( e v e n t ) ，它可以 是网络中的数据包，也可以是从系统日志等其他途径得剑的信息。事件产生器的目的是从整 个计算环境中获得事件，并向系统的其他部分提供此事件。根据事件来源可以分为基于主机 的入侵检测系统h i d s ( h o s tb a s e di n t r u s i o nd e t e c t i o ns y g e m ) 和基于网络的入侵检测系统 n 1 d s ( n e t w o r kb a s 酣i n t r u s i o nd e t e c t i o ns y s t e m ) 。h i d s 通常部署在被重点监测的主机上， 它通过采集和分析主机的系统访问记录，文件存储资源占用，进程创建命令调用等数据发现 潜在的入侵行为。n i d s 通常部署在网络关键路径上，实时采集网络中的数据报文，通过对 报文的分析发现入侵行为。事件分析器从事件产生器得到原始事件流进行分析，从而得剑分 析结果。响应单元则是对分析结果作出反应的功能单元，它可以作出切断连接、改变文件属 性等强烈反应，也可以只是简单的报警。事件数据库是存放各种事件的地方的统称，它可以 是复杂的数据库，也可以是简单的文本文件。在这个模型中，前三者以程序的形式出现，而 最后一个则往往是文件或数据流的形式。图1 1 是c i d f 模型框图，显示了模型中各个组件之 间的交互内容： 东南人学硕十学位论文高速网络中滥用入侵榆测系统榆测精度的改进研究 琢娥扣弦滋 l 图1 ic i d f 模型框图 从地位上来看，事件分析器是模型中的核心所在。根据具体检测技术，可以把事件分析 器分为两类：滥用检钡1 ( m i s u s ed e t e c t i o n ) 平l l 异常检拇! 1 ( a n o r m a l yd e t e c t i o n ) 1 4 j 。 滥用检测又被称为基于知识的检测或者模式匹配检测，它的前提是假设所有的网络攻击 行为和方法都具有一定的模式或特征( 即签名) 。如果把以往发现的所有网络攻击的特征总 结出来并描述在一个入侵特征库中，那么i d s 可以将当前捕获的网络行为特征与入侵特征库 中的特征信息相比较，如果匹配，则当前的行为就被认定为入侵行为。 滥用检测优点有： 1 ) 误报率低( 相对于异常检测而言) ，并且对每种入侵都能提供详细的资料，使得使用 者能够很方便地做出响应； 2 ) 技术相对成熟，实现效率高。 其不足之处有如下几点： 1 ) 不能检测出新的入侵行为，因为特征库中还没有其特征描述。 2 ) 完全依赖于入侵特征的有效性，特征库维护的工作量巨大。 异常检测也称为基于行为的检测，是只根据用户行为和系统资源的使用状况判断是否存 在入侵。异常检测技术首先假设网络攻击行为是不常见的或是异常的，可区别与所有的正常 行为。如果能够为用户和系统的所有正常行为总结活动规律并建立相应的行为基准模型，那 么i d s 可以将当前捕获到的网络行为与基准模型相对比，若入侵行为偏离了正常的行为轨 迹，就可以被检测出来。 异常检测的优点有： 能够检测出新的网络入侵方法的攻击。 该检测技术的不足有： 1 ) 行为基准模型建立困难； 2 ) 误报率仍然很高，严重影响了它们的应用。 为了取得更好的检测效果，实际的实现模型往往是滥用检测和异常检测的混合，并且通 过一定的方式划分两者的作用范围。本文的考察对象就是以滥用检测为主要检测手段，辅以 部分异常检测的网络滥用入侵检测系统，以下以n i d s 代之。 s n o r t l 5 1 和b r o l 6 1 分别是目前开源领域和学术研究领域较具代表性的滥用网络入侵检测系 统，也是本文研究n i d s 检测精度时两个重要的参考对象，下面简要介绍下它们的设计思路 和特点。s n o r t 是一个用c 语言编写的开放源码软件，是一个功能强大，跨平台，轻量级的网 络入侵检测工具。s n o r t 通过对报文内容进行规则匹配来检测多种不同的入侵行为和探测活 动。广泛使用在非高速网络环境下。 s n o r t 最初被设计为一个面向单报文检测的n i d s 。但随着网络安全事件的复杂化，如今 2 镕论 的s n o r t 也通过引 报文预处理器等方法实现r 会评i ；【重组，戌川层协议语义提取等功能 从而且备丁一定的面向会话流的检洲能力，川蛮现丁部分异常检测f 段。s n o r t 的成功2 处 土要n r 其高教的警体设计编码- 简7r ，而义灵沂的规圳描述改计以及已经形成一定规模的 慢检测划则集，n 商业n i d s 通常对其埘叫集内容保密情况r s n o r t 丰富的胤州粜已经被很 多其他开放游码n i d s 项目甚至商业肌借接。 b r o x 侵检测系统是由加州人学伯克制丹拉( u cb c e j e y ) 开发的开弹滥川八怔检测系 统。与常见的基于报文特征串匹配的n i d s 相比其特色在r ：b r o 首先i 薹用特祉串匹配，麻 用层协议语义提取等手段生成原始的枣什流，再通过执行血向事什的策略脚本来进行安全检 测。生成真止的安全检测事什。这意味着与s n o r t 等n i d s 相比b r o 的特征匹配事件生成过程 是通过两个前后相继的过程来完成。而不是直接依据特征串是否匹配米判定攻击其检测流 穰如幽1 2 所示： 削l2b r o 检测流程幽 b m 的这种检测结构有以f 几姓优点： 检测策略脚本的编写可以面向较为高层的应用层协议。相比于很多n i d s 的面向单 报文字竹水平的检测规则，b r o 的检测策略脚本描述能力更强，可读性更好。 分级检测的机制使得检测系统有能力综合多个报文或多条流的信息进行攻击判定， 使得检测的准确度更高。 系统的扩展性较好，为新型网络攻击添加事件引擎和检测策略脚本简单易行。而 s n o n , 庄某些情形f 需要添加预处理器进行硬编码，来检测新型攻击，效率相对比较低。 b r o 遮一检测方案的不足2 处在十其检测能力不能满足高速网络( g b p 曲环境f 的捡测要 求。实践 b r o 傲_ r 【能处理2 0 k p p s 以r 的入流鲑。这是因为分级检测的流样相对比较复杂 影响了系统的检测效率。 除了分级检删机制外，b r o 也什对变体攻击，入侵检测逃建针对n i d s 的攻击等问题进 行了席对机制的设计与实现。随着阿络攻1 f ，j 法的不断进化这蝗问题对于现代n i d s 是必 颁仔细分析和解硖的。 审申审一 东南人学颂i 学证论文速镕十滥月 侵椅东统榆删精度的进究 i i 2 入侵检测系统的检测精度 由丁入侵检测技术垃艘迅造，如何米评价n i d s 的优劣利适州性就显得怍常重要。这就 牵涉 u n i d s 的评价标准旧题。在实践巾，n i d s 的使刚存在咀r 儿种情况： i ) 网络行为止常系统没有检测到入侵 2 ) 网络行为正常，系统检测到入侵： 3 ) 网络行为异常系统牧有检测到 侵： 4 ) 网绍行为异常系统检测到入侵。 情况i ) 乖1 4 ) 是n i d s 的使用者所期望的。情况2 ) 被称为误报，将正常的网络行为误识别为 入侵行为。系统的误报会产生大量的无敛警报不仅浪费系统资源，还降低使用者对真止警 报的敏感度打一i - 使用者对n i d s 检测结果的信任度。情况3 ) 被称为漏报来能识别出入侵 行为。系统的潞报会导致攻击对阿络和服务产生的损坏不能被及时地发现和阻止，这就失去 了使h j n i d s 的意义。 除了误报率和漏报率外评价n i d s 的优劣还包括如下几个方面： 】) 性能。对t n i d s 而青，是指处理检测流量，给出检测结果的速度。对于一个实时n i d s 来说，必须要求性能良好： 2 ) 自身抵抗攻击能力，如果n i d s 白身都被攻陷，所有的检测都将无从谈起； 3 ) 及时性，一个n i d s 心 须尽快地执行和传送它的分析结果，以便在系统遭受严重危害 之前能及时作出响应，阻止进一步破坏行为的发生。 在衡苗n i d s 的请多指标中误报率和漏报率是最关键的指标之一，论文将它们统称为 检测精度。检测精度是个事关n i d s 应用价值的重要闻素。检测辅度反映了 侵检测系统 对于安全事件榆测的准确应，较低的检测精度意味着检测系统没有实用意义。冈此提高 n i d s 检测精度，增强警报安全事件的可信度成为入侵榆测系统改进中的重要任务也是本 文的主旨所在。 1 1 3 滥用入侵检测系统m o n s t e r 介绍 c e r n e t ( c h i n ae d u c a t i o na n dr e s e a r c h n e t w o r k ) 华东( j 匕) 地区阿络中心针对十五“2 1 1 r 程公共服务体系建谊项目“c e r n e t 高速地区网和重点学科信息服务体系建设”中的专 题3 “c e r n e t 主干网运行安全基本保障系统”的需求，研究和开发了m o n s t e r ( m o n i t o r o n n e t w o r ks e c u d l ya n d t o o l 如re m e r g e n c y r e s p o n s e ) 滥用入侵检测系统。这是一个部署于 高速阿络( g b p s ) 的，以监听方式l 。作的，集成报文过滤，入侵检授j 协同和响应的入侵检测 系统。图i3 是其在实际使用中的网络结构拓扑圈： m o n s t e r 检蔫系统m o o # c r 窖，e f g 图i3m o n s t e r 系统嗣绪结构拓扑圈 第一章绪论 从物理分布上，m o n s t e r 系统可以分为两个部分：m o n s t e r 入侵检测系统和m o n s t e r 客 户端。其中，m o n s t e r 入侵检测系统负责分析和发现受监控网络的攻击事件。客户端负责 收集和综合处理攻击事件，并提供用户可视化的浏览界面。入侵检测系统义分为报文采集 模块，报文检测模块和入侵响应模块。报文采集模块提供混杂模式卜i 网络报文捕获和预分 类功能；报文检测模块执行报文净荷域的检测和安全事件生成；入侵响应模块进行原始安 全事件冗余消除，生成简单攻击事件= = 根据检测结果给出响应决策。三者为相且独立的进 程，其相互作用关系如图1 4 所示。报文采集模块和入侵检测模块之间通过共享缓冲区进 行通信。 一洲文越 图1 4m o n s t e r 入侵检测系统模块结构图 为了适应高速网络( g b p s ) 下的检测需要，增强系统的实用效果，m o n s t e r 在技术实现上 具有如下特点： 面向高速网络( g b p s ) 的报文采集器1 7 j 。通过“零拷贝”技术减少在报文捕获过程中的 内存拷贝操作和c p u 计算消耗，从而提高了系统的报文捕获效率。 面向高速n i d s 的高效报文分类算法p h i c u t s 引。该算法由面向路由领域的报文 分类算法h i c u t s 衍生而来，并针对n i d s 的特点进行了改进。通过将捕获的报文进行预分 类，可以缩小每报文的待匹配规则子集，减轻了报文检测模块的负担，提高检测效率。 面向会话流检测的乱序流多模式精确匹配与串解码算 法【9 1 。与传统的基于缓存法 的会话流检测算法相比该算法在空间占用上有较大的节省。 实现了对部分变体攻击和入侵检测逃逸行为的检测能力。 具有安全事件冗余消除能力，可以抗事件风暴。 在近4 年的实际运行中，m o n s t e r 为华东北地区网络中心提供了安全监测平台，取得 了一定的检测成果，也暴露了部分问题。其中，最主要的问题在于其检测精度需要进一步 的提高。在实际使用中，发现m o n s t e r 存在一定的漏报误报问题。经过分析，影响检测精 度的主要原冈有以下3 种： 1 ) 检测规则集的老化和不完善。m o n s t e r 所使用的规则由s n o n 官方规则通过手工翻译 而来，从而带来的问题是：规则的更新缓慢；规则的翻译过程容易出现错误。这使得m o n s t e r 无法即时剔除一些被发现有误的规则，以及使用新的更准确的规则，造成漏报和误报。错 误的规则翻译则带来的是明显的误报。 2 ) 报文检测模块能力有限，一是报文检测模块的单报文匹配能力有限，仅能支持单模 式串搜索：二是m o n s t e r 的会话流检测模块由于使崩的是乱序流多模式匹配，虽然获得了 空间效率的提升，但是由于其未对会话流进行重组，除了进行特征串匹配和解码外，难以 实现更多更复杂的检测要求，例如应用层语义提取。然而检测规则的描述能力和检测要求 却在愈发复杂，这约束了m o n s t e r 所能采用的规则数量，造成规则库规模较小，且可供翻 译的规则数量有限。m o n s t e r3 0 版本共有约7 0 0 条左右的规则，仅占s n o r t 总规则数的2 5 5 东南人学硕+ 卜学位论文高速网络中滥用入侵榆测系统检测精度的改进研究 左右。规则偏少降低了n i d s 的检测范嗣，限制了其检测能力，容易漏掉攻击。另外，检 测能力的不足使得m o n s t e r 对丁报文信息的抽取不够精确，也是导致误报的原冈之一。 3 ) 规则与被检测网络环境配置的不匹配。s n o r t 规则库中存在这样两类规则：一类是仅 针对特定端系统的，例如该规则仅对连接舣方为w i n d o w s 操作系统的报文有效，而对其余 操作系统的无效，称之为仅对特定上下文环境有效的规则：一类是网络策略性规则，例如 b t 流量发现规则，该类规则本身并不是去描述一个攻击，而只是描述网络中存在的一种 正常行为。这两类规则需要视被检测网络的环境来决定是否采用。m o n s t e r 不加区别地使 用了这样规则，从而带来了部分误报。 根据上述分析，现有的m o n s t e r 系统需要进行进一步的完善且存在改进的余地，以满足 对于网络攻击行为更加准确的检测。经过对影响检测精度的因素的分析，论文提出以下几点 改进思路： 1 ) 增强检测规则的时效性和准确性。由t - n i d s 的检测结果直接依赖于给定的检测规则， 冈此规则的重要性不言而喻。时效性要求规则能够快速及时更新，以检测最新的网络攻击； 准确性要求n i d s 规则对攻击的刻画严格而不疏漏，防j 卜造成误报。 2 ) 增强入侵检测系统面向会话流的检测能力。传统的入侵检测系统采用的是面向单报文 基1 二特征串匹配的检测手段，不了解报文的上下文环境，检测信息来源单一。采用面向会话 流的检测手段后，n i d s 可以关联多个报文，准确抽取报文和流的信息，使其进行攻击判定 的时候有更多的参考依据，从而在一定程度上减小了误报的可能。 3 ) 增强入侵检测系统对于上下文环境的了解。这里上下文环境包括了网络环境与端系统 信息。通过增j 3 1 n i d s 的信息来源，为其决策提供更多的参考依据，从而降低误报的可能性。 这样做的另一个优点是使得n i d s 对报文的理解尽可能地与端系统一致，避免由于两者的不 协调使得攻击者可以进行入侵检测逃逸。 4 ) 对原始安全事件进行后处理，进一步消除可能的误报，提高警报质量。安全事件后续 处理将多个独立的安全事件联系起来，发现其中的可能的关联，指导n i d s 的检测。由于攻 击技术的进步，现在的某些网络攻击会由多个步骤组成，在不同的阶段有不同的攻击方法。 如果检测系统仅仅是对单个行为进行检测，不仅会增加安全事件数量，也难以理解攻击的真 正场景和目的。通过对原始的安全事件进行关联，统计等分析，可以使检测系统1 ) 确定一些 悬而未决的安全事件的后续结果，以确认是否为攻击：2 ) 合并多个原始安全事件，减少事件 数量。事实上，b r o 就是采用的一种多级处理机制，但是b r o 在检测引擎中实时地实现了多级 处理，从而影响了检测效率；而原始安全事件的后处理则不会有这么大的实时处理压力。 由于入侵检测系统的实用性和应用前景与其检测精度息息相关，因此关于提高其检测 精度的研究是该领域一个重要内容，也将是本文的主旨所在。 1 2论文的研究内容与目标 研究目标：以m o n s t e r3 0 的精度改进为依托，研究以下三种有助于提高滥用入侵检测 系统检测精度的方法：为滥用入侵检测系统引入检测规则库自动更新和检测规则精炼优化 机制，来保证检测规则库的时效性和准确性；加强报文检测模块的检测能力尤其是面向会 话流的检测能力；引入警报后处理机制为原始安全事件进行冗余消除，警报关联，从而提 高滥用入侵检测系统的检测精度，增强其警报事件的可信度。 研究内容：通过在n i d s 中研究应用下面几种方法，来满足研究目标中的要求。 1 ) 检测规则的更新与预处理机制：检测规则的更新是指设计一种检测规则自动更新机 制，定期将n i d s 使用者指定的一个或多个检测规则网络资源库与本地规则库进行比较， 6 第一章绪论 下载更新的规则并翻泽为本地规则添加到规则库中，或是删除废弃的本地规则，来保证规 则库的时效性。检测规则的预处理是指每次卜载更新本地规! l ! l j 库后，对检测规则进行分析 比较，去除掉那些错误，冗余，宽泛，冲突的规则，保留其精华，来保证检测规! l ! u 库的准 确性。设计这些机制的意义在于：合适的更新频率可以防止n i d s 漏过最新类型的攻击。 经过优化的检测规则能更好地区分正常流量和攻击流量，从而减小了n 1 d s 将某些正常流 量误当作攻击的可能性，降低了误报率。随着检测规则库的扩充，原有的报文分类算法也 需要进行改进研究以提高在大规模规则库下的可扩展性。 2 ) 基于缓存法的会话流检测模型：由于面向会话流的检测充分利用了上下文环境来辅 助对于攻击的检测，能更准确地抽取报文和会话流中的信息尤其是协议语义，冈此比起单 报文检测其检测结果更具可信性。该部分以会话流的缓存重组和状态管理为基础，研究会 话流检测相关的各种机制和算法。在此基础上研究应用层协议语义提取，抗变体攻击，会 话流状态跟踪等各种可以增强入侵检测系统检测能力和检测精度的手段，并与面向单报文 的检测模型进行比较以衡量二者在功能和性能上的优劣和适j h j 范罔。 3 ) 安全事件后处理方法：安全事件后续处理是指对于检测系统给出的原始安全事件。在 交给系统管理员作出响应前，先进行一遍事件间处理以减少安全事件数量，提高警报质量。 其内容义可以分为三部分：安全事件冗余消除，从攻击类型、时间、空间等角度通过分析 事件的关联特征，根据冗余消除规则对原始安全事件并进行冗余消除和事件合并。安全事 件关联分析，通过分析原始安全事件的顺序或冈果联系，进而进行事件合并或误报消除。 安全事件统计分析，通过可疑的原始安全事件进行统计分析，根据结果是否符合该攻击的 统计特征来确定警报的可信性。对原始安全事件进行后处理，可以进一步剔除一些由于检 测能力的不足和检测规则的缺陷而产生的明显误报，提高检测精度。 1 3 论文的结构 论文共分六个章节。分别从检测规则的更新与预处理，面向会话流的入侵检测，安全 事件后处理等方面来讨论研究可以提高入侵检测系统检测精度的诸多手段。并对原有的 m o n s t e r 系统进行了改进实