（计算机应用技术专业论文）入侵检测系统的多模式规则匹配引擎的研究与实现.pdf

东北大学硕士学位论文摘要 摘要 近年来，随着互联网的迅猛发展，网络本身的安全性问题也日渐重要。入侵检测止 在逐步成为保证网络安全的核心技术。入侵检测系统一般分为两种：基于网络的入侵 检测系统( n e t w o r k b a s e di d s ，简称n i d s ) 和基于主机的入侵检测系统( h o s t b a s e d i d s ) 。其中n i d s 是目前研究与开发的主流，通过收集网络上的信息，判断、分析是否 有入侵发生、属于哪一类入侵，产生报警并采取相应的措施进行阻截，成为防j t 黑客 攻击与保护信息安全的有效手段。 根据分析方法的不同n i d s 分为两种：特征检测( s i g n a t u r e - b a s e d ) n 异常检测 ( a n o m a l y b a s e d ) 。特征检测又被称为模式匹配检测，主要根据搜集到的数据特征是否在 入侵模式库中出现来断定是否是非法入侵：异常检测技术是先定义一组系统“正常” 情况的数据值，将系统运行时的数据与所定义的“正常”情况比较，得出是否被攻击。 其中模式匹配( 特征检测) 的n i d s ，因为其易于实现而且功能强大，得到了广泛的应 用。但是随着网络带宽的不断提高，规则库不断增大，基于模式匹配的n 1 d s 系统的性 能严重下降，模式匹配部分已成为瓶颈。 本文通过对当前多模式匹配理论广泛而深入的研究，提出了一套针对入侵检测系 统的多模式规则匹配方法，并在s n o r t 系统( 规则匹配n i d s 的典范) 上加以实现，实 验结果证明改造过的s n o r t 系统的模式匹配效率和整体性能都有大幅提高。此外文中还 对入侵检测系统进行了概述、介绍国内外多模式匹配理论研究状况并进行了比较，最 后结合自己的研究成果，提出了发展趋势及进一步研究的方向。本次研究的理论成果 和原型系统为以后的产品化打下基础。 文章主要分为两个部分： 第一部分：包括1 、2 、3 章，简要介绍了本次研究的背景，入侵检测系统的概念、 分类、相关的主要技术和发展趋势，最后介绍了我们本次研究的平台s n o r t 并通过对其 结构的分析引出来我们本次工作的主要内容。 第二部分：包括4 、5 、6 章，是我本次研究的主要工作，第4 、5 章分别介绍对数 据包地址信息的多模式分类技术和对于字符串的多模式分类技术，包括以下主要内容： 研究此技术的背景、当前的主要研究成果分析对比、我的设计和原型实现以及测试结 果。二者合起来完成对模式匹配引擎的优化。第6 章是总结系统的特点和一些不完善 之处，并对多模式匹配在网络入侵检测中的研究的展望和近一步研究的一些想法。 【关键字】多模式匹配，网络数据包分类，字符串匹配，入侵检测、特征检测 一i i 东北大学硕士学位论文a b s t r a c t a b s t r a c t r e c e n ty e a r s ，a st h ef a s td e v e l o p m e n to fi n t e r n e t ，t h es e c u r i t yo fn e t w o r kh a sb e e n m o r ea n dm o r ei m p o r t a n t i d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) i sb e c o m i n go n eo ft h e k e y t e c h n o l o g y s o f n e t w o r k - s e c u r i t y i d sm a i n l y i n c l u d et w ok i n d s ：o n ei sn i d s n e t w o r k - b a s e dj d s ；t h eo t h e ro n ei sh l d s h o s t b a s e di d s 。n i d si sm a i n s t r e a m w h i c h c o l l e c tt h ei n f o r m a t i o no ft h e n e t w o r k ，a n a l y s i s a n dj u d g ew h e t h e ra ni n t r u s i o nh a s h a p p e n e da n d t h ek i n do ft h ei n t r u s i o n ，t h e nt a k et h em e a s u r e s n i d sc a nb ed i v i d e di n t ot w om a i nk i n d so nt h em e t h o do fa n a l y s i s ：s i g n a t u r e b a s e d n i d sa n da n o m a l y b a s e dn i d s t h es i g n a t u r e - b a s e dn a m e dp a t t e r n - m a t c ht o o ，w h i c h m a i n l yj u d g et h e i n t r u s i o no nw h e r et h eg a t h e r e di n f o r m a t i o nc a nm a t c ho n eo rm o r e p r e d e f i n e dr u l e s t h ea n o m a l y - b a s e dn i d su s e dt od e f i n et h en o r m a l - d a t ao f t h en e t w o r k ， t h e nc o m p a r et h er u n t i m ei n f o r m a t i o nw i t ht h en o r m a l - d a t aa n dd e f i n ei n t r u s i o nh a p p e n e d o re v e r y t h i n go kp a t t e r n - m a t c hn i d sh a sb e e nw i d e l yu s e db e c a u s ei ti se a s yt ob er e a l i z e d a n dp o w e r f u l ，b u ta st h ep r o g r e s so ft h eb a n do fn e t w o r ka n dt h en u m b e ro fp a t t e r n s ，t h e p a t t e r n m a t c he n g i n eh a sb e c a m et h eb o t t l e n e c k t h e p a p e rp r o m o t eas e to fm u l t i - p a t t e r n m a t c hm e t h o d s t oi m p r o v et h ep e r f o r m a n c eo f p a t t e r n m a t c hn i d s 。a tt h es a m et i m e ，p r o v i d ea ni m p l e m e n to f t h e s eo nt h es n o r ts y s t e m ， a n dt h ee x p e r i m e n t a lr e s u l ts h o w st h a tt h ep e r f o r m a n c eo fr e c o n s t r u c t e ds y s t e mi sm u c h b e t t e rt h a no r i g i n a l b e s i d e st h e s e ，t h ep a p e rm a k eas i m p l ed e s c r i p to ft h es i t u a t i o na n dt h e t r e n do ft h es t u d ya n dd e v e l o po fi d s ，i n t r o d u c ea n dc o m p a r et h er e s u l t so ft h es t u d yo n m u l t i - p a t t e r nm a t c ht h e o r yt o d a y a tt h ee n d ，o nt h eb a s eo f t h es t u d y , p r o m o t et h ef o l l o w s t e po f w o r ka n dt h ef u t u r ed e v e l o p m e n td i r e c t i o n t h ep a p e rm a i n l yi n c l u d e st w o p a n s ： f i r s tp a r t ，i n c l u d e sc h a p t e r1 、2 、3 ，i n t r o d u c et h eb a c k g r o u n do ft h es t u d y ，t h e nt h e d e f i n a t i o n 、t h ec l a s s f ya n dt h em a i nt e c h n o l o g i e so ft h en i d s ，a tl a s ti n t r o d u c et h es n o r t w h i c hi sm y s t u d ya n dd e v e l o pp l a t f o r m s e c o n dp a r t ，i sm ym a i nw o r k t h ec h a p t e r4 、5 ，i n t r o d u c em ym u l l p a t t e r nm a t c h e n g i n e ，i n c l u d i n gt w ot e c h n o l o g i e s ：m u l t i - p a t t e r ns t r i n g sm a t c ha n dm u l t i p a t t e r nn e t w o r k p a c k a g ec l a s s i f y t h ec h a p t e r6i sa b o u tt h ec o n c l u s i o no f t h ep a p e r 【k e y w o r d s m u l t i p a t t e r nm a t c h ，p a t t e r nm a t c h ，n i d s ，s n o r t 明 本人声明本人所晕交的学位论文是在导师的指导下完成的。论文中取得的研究 成果除加以标注和致谢的地方外，不包含其他人已经发表或撰写过的研究成果也不 包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均己在论文中作了明确的说明并表示了谢意。 本人签名 睇 日 期：午1 j 1 士尸 东北大学硕士学位论文缩写词和术语表及文中约定 缩写词和术语表及文中约定 i d s ：i n t r u s i o nd e t e c t i o ns y s t e m ，入侵检测系统；n 1 d s ，网络入侵检测系统 s n o r t ：一个开源的经典的模式匹配入侵检测系统，作为研究和原型开发的平台 地址对：源、目的地址，源、目的端口四项。 特匹配串( t e x t ) ：指被检索数据包的地址串或内容字符串，我们要在其中寻找是否有模式 串出现。 模式串( p a t t e r n ) ：是规则中的地址串或字符串。我们要把数据包中待匹配串和规则中 的模式串进行比较，发现是否匹配。 分类器：我们把所有的模式串按某种方式组织成的某种模型，如多层树，哈希袭等，用 米对数据包进行快速匹配。 最长前缀匹配：即当一数据包的地址匹配了规则集中的两条以上规则，则认为前缀最长 那条规则为匹配规则。如一地址同时匹配了： ( 1 0 1 1 ) ) 和 ( 1 0 1 ) 两条规 划，则认为前者是更合适的匹配。 说明：处理对象为( 目的i p ，源i p ，目的p o r t ，源p o r t ) ：( d i p ，s i p ，d p o r t ，s p o r t ) 。 其中i p 地址为3 2 位，端口值为1 6 位。f 文中如无特殊说明，也是如此顺序。 一一 东北大学硕士学位论文第l 章引言 1 1 研究背景 第1 章引言 近年米。随着互联网的e 速发展，网络本身的安全性问题也显得更为重要。通过 网络对信息系统的入侵是威胁网络安全的突出问题。相对于传统的破坏手段而言，网 络入侵具有以下特点：( 1 ) 没有地域和时间的限制；( 2 ) 通过网络的攻击往往洮杂在大量 正常的网络活动中，隐蔽性强；( 3 ) 入侵手段更加隐蔽和复杂。鉴于网络入侵的上述特 点，如何通过计算机对入侵进行检测，目前已成为网络安全领域研究的重点。同时系 统安全模型在逐步的实践中发生着变化，由一开始的静态的系统安全模型逐渐过渡到 动态的安全模型，入侵检测是动态安全模型的核心技术之一。 入侵检溯作为一种积极主动的安全防护技术，提供了对内部攻击、外部攻击和误 操作的实时保护，在网络系统受到危害之前拦截和响应入侵。从网络安全立体纵深、 多层次防御的角度出发，入侵检测理应受到人们的高度重视。 目前基于模式匹配的网络入侵检测系统通常采用如下过程：首先根据已知攻击方 式预先设定入侵规则，构建规则特征库。然后在运行态捕获网络数据包，数据包解析， 然后根据规则特征库逐条进行比较，发现是否有入侵。然而随着数据流量的增犬攻 击方式的复杂多样化，不得不增多入侵规则条目而使系统的处理负荷线性增加，结果 是对一些攻击行为不能及时识别作出响应漏报问题显著。无疑如果对规则匹配部分 进行改进提高匹配效率，保持匹配时间的稳定，是提高系统性能的有效途径。 1 2 本研究的现实意义 本项目就是应这样的需要而产生的，同时也是东软股份有限公司网络安全事业部 的n e t e y ei d s 未来二年技术定位研究的一部分，主要研究内容是通过对检测引擎的核 心匹配算法的改进有效的提高系统的处理效率。通过对当前先进的算法的广泛研究， 开发适合n e t e y ei d s 的算法，并实现检测引擎原型，为以后的产品化打下基础。 1 3 论文的组织安排 本文分为以下几个部分： 首先介绍本课题的研究背景，论文的组织安排。 东北大学硕士学位论文第i 章引言 然j f i 彳对入侵检测系统作以简单的描述，介绍了什么是入侵检测系统及其分类，常 用检测技术现有入侵检测系统的不足及术来的发展趋势。 接一f 来介绍项目搭建的环境和项目的主要内容，网络数据包多模式匹配主要的两 部分：地址端口多模式匹配：字符串多模式匹配。 最后对本人所做工作作以总结。 一1 一 东北大学硕士学位论文第2 章入侵检测系统综述 2 1 定义 第2 章入侵检测系统综述 简单的说，入侵( i n t r u s i o n ) 是企图闯入并滥用他人系统的行为。入侵检测系统 ( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) 是用来识别是否发生入侵的系统。它通过对计算 机网络或计算机系统中的若干关键点收集信息并对其进行分析，从中发现网络或系统 中是否有违反安全策略的行为和遭到袭击的迹象，并可以根据用户要求进行某种实时 响应。入侵检测系统的主要功能有： 监测并分析用户和系统的活动； 审计系统配置和漏洞； 评估系统关键资源和数据文件的完整性； 识别已知的攻击行为： 统计分析异常行为： 操作系统的审计跟踪管理，并识别违反安全策略的用户活动。 有的入侵检测系统还有一些附加的特性，如自动安装系统补丁、设置诱骗服务器 记录入侵信息等。一个合格的入侵检测系统能大大的简化管理员的工作，使得管理员 能够更容易的监视、审计网络系统，时刻了解网络系统的运行情况，扩展了管理员的 安全管理能力，从而保证网络系统的安全运行。 2 2 入侵检测系统的分类 根据检测的数据来源，入侵检测系统一般分为两种：基于网络的入侵检测系统 ( n e t w o r k b a s e di d s ，简称n i d s ) 和基于主机的入侵检测系统( h o s t b a s e di d s ) 。早期 的工具大多是基于主机的入侵检测工具，但随着网络的迅猛发展，基于网络的入侵检 测系统己成为研究与开发的主流。目前的大多商用产品主要是侧重于基于网络的入侵 检测系统。 2 2 1 基于网络的入侵检测系统 基于网络的i d s 使用原始网络包作为数据源，利用数据包各个头部信息与有效净 负荷进行检测。通常使用一台专用的系统作为检测器，它的目的就是监视网络流量。 通过将网络适配器设置成混杂模式( p r o m i s c u o u sm o d e ) 就可以获得通过本网段的数据 一j 一 东北走学硕士学位论文第2 章入侵检测系统综述 包，并传给分析器进行检测分析来判断是否有入侵发生，这也是整个n i d s 系统的核心 功能，分析器的实时性与准确性直接决定着整个系统的性能，因此分析器所采用的算 法与技术也是整个系统的关键。它的攻击辩识模块通常使用四种常用技术来识别攻击 标志： 模式、表达式或字节匹配 频率或穿越阎值 次要事件的相关性 统计学意义上的非常规现象检测 基于网络的入侵检测系统通常担负着保护整个网段的任务。 一旦检测到了攻击行为，i d s 的响应模块就提供多种选项以通知、报警并对攻击采 取相应的反应。反应因产品而异，但通常都包括通知管理员、中断连接并且或为法庭 分析和证据收集而做的会话记录。 基于网络的i d s 有许多仅靠基于主机的入侵检测法无法提供的功能。实际上，许 多客户在最初使用i d s 时，都配置了基于网络的入侵检测。基于网络的i d s 的主要优 点有： 成本低、部署容易。由于使用一个监测器就可以保护一个共享的网段，所以你 不需要很多的监测器。相反地，如果基于主机，则在每个主机上都需要一个代理，这 样的话，花费昂贵，而且难于管理。但是，如果在一个交换环境下，就需要特殊的配 置。 占用资源少。通常采用专用的计算机，不会占用本网段内受保护的主机的任何 资源：而基于主机的i d s 则会增加系统负荷，每个受保护的主机都不得不咀牺牲性能 为代价。 实时检测和应答。根据网络数据包中的信息进行检测，一旦发生恶意访问或攻 击，通常能在微秒或秒级发现它们，因此能够更快地做出响应；而大多数基于主机的 产品则要依靠对摄近几分钟内审计记录的分析。 操作系统无关性。基于网络的i d s 并不依赖主机的操作系统作为检测资源；而 基于主机的i d s 需要特定的操作系统才能发挥作用，因此需要为不同的平台开发不同 的程序。 攻击者不易转移证据。基于网络的i d s 使用正在发生的网络通讯进行实时攻击 的检测。所以攻击者无法转移证据。被捕获的数据不仅包括的攻击的方法，而且还包 括可识别黑客身份和对其进行起诉的信息。许多黑客都熟知审记记录，他们知道如何 操纵这些文件掩盖他们的作案痕迹，如何阻止需要这些信息的基于主机的系统去检测 入侵。 隐蔽性好。一个网络上的监测器不像一个主机那样显眼和易被存取，因而也不 那么容易遭受攻击。基于网络的监视器不运行其他的应用程序，不提供网络服务，可 4 一 东北大学硕士学位论文第2 章入侵检测系统综述 以不响应其他计算机因此可以做得比较安全。 视野更宽。基下网络的入侵检测甚至可以在网络的边缘上，即攻击者还没能接 入网络时就被发现并制止。 2 2 2 基于主机的入侵检测系统 基于主机的i d s 以本地主机系统的信息作为数据源，如系统日志、文件系统、用 户行为、c p u 和内存的使用情况等。基丁：主机的入侵检测系统保护的一般起所在的系 统。 基丁主机的入侵检测出现在8 0 年代初期，那时网络还没有今天这样普遍、复杂， 且网络之间也没有完全连通。在这一较为简单的环境里，检查可疑行为的检验记录是 很常见的操作。由于入侵在当时是相当少见的，在对攻击的事后分析就可以防止今后 的攻击。 现在的基于主机的入侵检测系统保留了一种有力的工具，以理解以前的攻击形式 并选择合适的方法去抵御未来的攻击。基于主机的i d s 仍使用验证记录，但自动化程 度大大提高，并发展了精密的可迅速做出响应的检测技术。通常，基于主机的i d s 可 监测系统、事件和w i n d o wn t 下的安全记录以及u n i x 环境下的系统记录。当有文件 发生变化时，i d s 将新的记录条目与攻击标记相比较，看它们是否匹配。如果匹配，系 统就会向管理员报警并向别的目标报告，以采取措施。 基于主机的i d s 在发展过程中融入了其它技术。对关键系统文件和可执行文件的 入侵检测的一个常用方法，是通过定期检查校验和来进行的，以便发现意外的变化。 反廊的快慢与轮询间隔的频率有直接的关系。最后，许多产品都是监听端口的活动， 并在特定端口被访问时向管理员报警。这类检测方法将基于网络的入侵检测的基本方 法融入到基于主机的检测环境中。 尽管基于主机的入侵检查系统不如基于网络的入侵检查系统快捷但它确实具有 基于网络的系统无法比拟的优点。这些优点包括： 性能价格比高。在主机数量较少的情况下，这种方法的性能价格比可能更高。 尽管基于网络的入侵检测系统能很容易地提供广泛覆盖，但其价格通常是昂贵的。 更加细腻。这种方法可以很容易地监测一些活动，如对敏感文件、目录、程序 或端口的存取，而这些活动很难在基于网络的系统中被发现。基于主机的i d s 监视用 户和文件访问活动，包括文件访问、改变文件权限、试图建立新的可执行文件并且 或者试图访问特许服务。例如，基于主机的i d s 可以监督所有用户登录及退出登录的 情况，以及每位用户在连接到网络以后的行为。基于网络的系统要做到这个程度是非 常困难的。基于主机技术还可监视通常只有管理员才能实施的非正常行为。操作系统 记录了任何有关用户帐号的添加、删除、更改的情况。一旦发生了更改，基于主机的 i d s 就能检测到这种不适当的更改。基于主机的i d s 还可审计能影响系统记录的校验 一，一 东北大学硕士学位论文第2 章入侵检测系统综述 措施的改变。晟后，基丁主机的系统可以监视关键系统文件和可执行文件的更改。系 统能够检测到那些欲重写关键系统文件或者安装特洛伊木马或后门的尝试并将它们中 断。而基于网络的系统有时会检测不到这些行为。 内在结构没有束缚，不需额外硬件设备。基于主机的系统有时不需要增加专门 的硬件平台。基于主机的入侵检测系统存在于现有的网络结构之中包括文件服务器、 w e b 服务器及其它共享资源，这些使得基于主机的系统效率很高，因为它们不需要在 网络上另外安装登记、维护及管理的硬什设备。 对网络流量不敏感。用代理的方式一般不会因为网络流量的增加而丢掉对网络 行为的监视，因而适合高速网络。而基于网络的入侵检测系统检查每个包的内容判断 它是否匹配任何己知的特征和规则，需要花费时间和消耗资源。在一个1 0 0 m b p s 的以 太网中每秒钟大约传输5 0 0 0 0 个网络包基于网络的i d s 无法跟上这个速度，因而造 成大量的包丢失。随着网络速度愈来愈快，这个差距还将愈拉愈大。 适用于交换网络。由于基于主机的系统安装在遍布企业的各种主机上，它们比 基于网络的入侵检测系统更加适于交换的网络环境。交换设备可将大型网络分成许多 的小型网络段加以管理。所以从覆盖足够大的网络范围的角度出发，很难确定配置基 于网络的i d s 的最佳位置。业务镜像和交换机上的管理端口对此有帮助，但这些技术 有时并不适用。基于主机的入侵检测系统可安装在所需的重要主机上在交换的环境 中具有更高的能见度。 适合加密环境。某些加密方式也向基于网络的入侵检测发出了挑战。根据加密 方式在协议堆栈中的位置的不同，基于网络的系统可能对某些攻击没有反应。基于主 机的i d s 没有这方面的限制。当操作系统及基于主机的系统发现即将到来的业务时， 数据流已经被解密了 确定攻击是否成功。由于基于主机的i d s 使用含有已发生事件信息，它们可以 比基于网络的i d s 更加准确地判断攻击是否成功。在这方面，基于主机的i d s 是基于 网络的i d s 完美补充，网络部分可以尽早提供警告，主机部分可以确定攻击成功与否 基于网络和基于主机的入侵检测系统都有各自的优势，两者相互补充。这两种方 式都能发现对方无法检测到的一些入侵行为。例如，从某个重要服务器的键盘发出的 攻击并不经过网络，因此就无法通过基于网络的入侵检测系统检测到，只能通过使用 基于主机的入侵检测系统来检测。基于网络的入侵检测系统通过检查所有的数据包的 包头来进行检测，而基于主机的入侵检测系统并不查看包首标。许多基于i p 的拒绝服 务攻击和碎片攻击，只能通过查看它们通过网络传输时的包首标才能识别。基于网络 的入侵检测系统可以研究负载的内容，查找特定攻击中使用的命令或语法，这类攻击 可以被实时检查包序列的入侵检测系统迅速识别。而基于主机的系统无法看到负载， 因此也无法识别嵌入式的负载攻击。 联合使用基于主机和基于网络这两种方式能够达到更好的检测效果。比如基于主 一6 东北大学硕士学位论文第2 章入侵检测系统综述 机的入侵检测系统使用系统日志作为检测依据，因此它们在确定攻击是否已经取得成 功时与基_ i _ 网络的检测系统相比具有更大的准确性。在这方面，基于主机的入侵检测 系统对基于网络的入侵检测系统是一个很好的补充，人们完全可以使用基丁网络的入 侵检测系统提供甲期报警，而使用基于主机的入侵检测系统来验证攻击是否取得成功。 一个完备的入侵检测系统一定是基于主机和基于网络两种方式兼备的分布式系统。 2 3 入侵检测技术 对各种事件进行分析，从中发现违反安全策略的行为是入侵检测系统的核心功能。 从技术上，检测入侵的方法分为两类：滥用检测( m i s u s ed e t e c t i o n ) 和异常检测( a n o m a l y d e t e c t i o n ) 。 2 3 1 特征检测 特征检测也叫滥用检测与杀毒软件的方法有些相似，预先把攻击方法以某种模 式或特征表示出来检测时将收集到的信息与己知的攻击模式或特征进行匹配，从而 可以判断是否存在入侵行为。用来检测攻击特征的是过滤器，它把攻击特征的描述转 换成机器可读的代码或查询表。特征检测的主要问题是对于某种攻击方式如何来描述 它的特征井实现过滤器，使之能与该攻击的所有变化方式相匹配，并且不会与非入侵 行为匹配而造成误报。例如，对于一个常见的w e b 服务器漏洞p h f ，如果发现u r l 中 出现字符串c g i b i n l p h f ? ；l w e t c p a s s w d ，就表明这是一个恶意的p h f 访问。这是一个简单 的字符串匹配过程。通常，管理员为了保守起见及考虑到执行效率的问题会把过滤器 写成只要匹配 c g i b i n p h f ? 就会报警，这当然就会产生许多对合法行为的误报警。 2 3 2 异常检测 异常检测是事先建立对网络系统正常行为的描述。通过分析各种收集到的信息， 标识出那些与网络系统正常行为偏离很大的行为视为入侵企图。正常行为的描述包括 c p u 利用率、内存利用率、文件校验和用户行为等。描述过程可以人为定义，也可以 利用程序来收集、处理系统行为的特征并用统计的方法自动获得。这种检测方法的 核心在于如何定义所谓的“正常行为”。例如，某个帐号通常在一个固定的地点登录， 如果有一天突然发现该帐号从圣彼得堡的某个地方登录进来，我相信没有哪个管理员 会认为这是“正常行为”吧( 注：圣彼得堡素以黑客闻名) 。当然，这需要选择合适的阈 值以免造成不可接受的误报或漏报。例如，可以设定在3 0 分钟内如果某个主机与两台 主机进行连接就报警，这种做法就会产生过多的误报警：如果把闽值设得高一些，定 为3 0 分钟内与l o 台主机发起连接就报警，则会漏过许多对主机进行扫描的刺探活动。 滥用检测和异常检测所得出的结论有非常大的差异。滥用检测的核心是维护一个 1 一 东北大学硕士学位论文第2 章入侵检测系统综述 描述入侵特征的知识库，对下已知的攻击，它可以详细、准确的识别出攻击类型，但 是对于未知的复杂的攻击却效果有限，因此知识库需要不断的更新；另外。知识库的 建立过程往往采用手上的方式，费时费力，而且依赖予安全专家的安全知识，具有一 定的局限性，很难建立一个完备的入侵知识库。异常检测无法准确的判断出攻击类型， 但却可以( 至少在理论上可以) 实现对未知的复杂的攻击方式的检测，对于滥用检测是 个很好的补充方式。所以，滥用检测和异常检测都不是完整的解决方法，一个完善的 网络入侵检测系统需综合利用该两种检测方式。目前，国际顶尖的入侵检测系统主要 以滥用检测技术为主，并结合异常检测技术。 2 4 现有入侵检测系统的不足 虽然许多入侵检测系统声称能够做到精确的检测入侵，但实际上很少能做得到。 目前这一代入侵检测系统使用的检测入侵技术十分有限，与能够非常有效防御攻击的 将来的入侵检测系统相比还有很大的差距。以下便是对入侵检测系统提出挑战的主要 因素： 基于网络的入侵检测系统难以跟上网络速度的发展。截获网络的每一个数据包， 并分析、匹配其中是否具有某种攻击的特征需要花费时间和系统资源。现有的入侵检 测系统在1 0 m 网上检查所有数据包中的几十种攻击特征时可以很好地工作。现在很多 网络都是5 0 m 、1 0 0 m 甚至干兆网络，网络速度的发展远远超过了数据包模式分析技术 发展的速度。 攻击特征库的更新不及时。绝大多数的入侵检测系统都是适用模式匹配的分析 方法，这要求攻击特征库的特征值应该是最新的。但现在很多入侵检测系统没有提供 了某种如“推技术”的方法来时刻更新攻击特征。在如今每天都有新漏洞发布、每天 都有新的攻击方法产生的情况下显然不能满足安全需求。 检测分析方法单一。攻击方法的越来越复杂，单一的基于模式匹配或统计的分 析方法已经难以发现某一些攻击。另外，基于模式匹配和基于统计的分析方法各有所 长，入侵检测系统的发展趋势是在同一个系统中同时使用不同的分析方法。现在大部 分的入侵检测系统都使用了单一的分析方法。 缺乏标准无法互操作。在大型网络中，网络不同的部分可能使用了不同的入 侵检测系统，但现在的入侵检测系统之间不能够交换信息，使得发现了攻击时难以找 到攻击的源头，甚至给入侵者制造了攻击的漏洞。不同厂家的产品无法互相结合在 起很好的工作，阻碍了入侵检测技术的发展。 不能和其他网络安全产品互操作。入侵检测不是安全的终极武器，一个安全的 网络中应该根据安全政镱使用多种安全产品。但入侵检测系统不能很好的和其他安全 产品协作。比如，一个网络中每两个小时自动运行一次漏洞扫描程序，如果他们不能 一8 一 东北大学硕士学位论文第2 章八侵检测系统综述 够互操作，入侵检测系统将每两个小时产生一次警报。 入侵者人数的不断增加日趋成熟多样的自动化工具，以及越来越复杂细致的 攻击手法，都是对入侵检测技术的极大挑战。 信息加密。被加密的信息中可能包含的恶意代码很难被入侵检测系统检测出， 尤其是基于网络的入侵检测系统。 针对入侵检测系统本身的攻击。入侵检测系统自身的安全性保护不够，易成为 攻击目标。如果入侵者攻击入侵检测系统并使它停止工作，那么入侵者的行动被审计 的机会就减小了。 使用m o d e m 的弱点。被连接到网络主机上的m o d e m 是很容易被忽视的弱点， 入侵者可以利用这样的m o d e m 绕过防火墙和n i d s 而进入网络。 机动代码的弱点。目前的检测技术很难判断机动代码( j a v a 、a c t i v e x 等) 是合法 的还是恶意的。 网络的复杂性。目前网络设计和拓扑所固有的不安全性使得网络很容易受到攻 击，而复杂的网络环境更增加了检测入侵的难度，入侵检测系统必须适应采取不同技 术和不同策略的多样性的环境。 分析准确率不高，经常产生大量的误报警。 很难识别入侵者以及入侵者的目的。 不断变化的入侵检测市场给购买、维护入侵检测系统造成的困难a 入侵检测系统无法在某些类型的入侵初期进行识别。 2 5 入侵检测系统的发展趋势 智能化入侵检测。入侵检测系统的核心问题是系统的分析能力。应该使入侵检测 系统的分析更智能化。未来的入侵检测系统应该能够进行基于事件语义而不是基于事 件语法的检测。这种方法弥补了当前在安全政策和检测政策之间的差距。例如，给定 一个语义捡测引擎，你将告诉入侵检测系统去“检测所有的违反访阀控制的访问”，那 么入侵检测系统就会去做而不管被检测的系统使用的是什么平台、什么协议或什么数 据类型。这种类型的操作将是对当前的检测状态的一个极大的改进，在当前的检测中， 检测目标需要复杂的、特定的与操作系统相关的检测特征。 分布式入侵检测。随着网络攻击手段向分布式方向发展( 如目前出现的分布式拒绝 服务攻击d d o s ) 。且采用了各种数据处理技术，其破坏性和隐蔽性也越来越强。相应 地，入侵检测系统也在向分布式结构发展，采用分布收集信息、分布处理、多方协作 的方式，将基于主机的1 d s 和基丁网络的i d s 结合使用，构筑面向大型网络的i d s 。 协作式入侵检测。分布式入侵检测中的一个关键技术是协作式入侵检测技术。协 作包括：同一系统中不同入侵检测部件之间的协作，尤其是主机型和网络型入侵检测 一9 一 东北大学硕士学位论文 第2 章入侵检测系统综述 部件之间的协作，以及异构平台部件的协作；不同安全上具之间的协作；不同厂家的 安全产品之间的协作；不同组织之间预警能力和信息的协作。 高速网络环境下的入侵检测。截获网络的每一个数据包，并分析、匹配其中是否 具有某种攻击的特征需要花费时间和系统资源。当前的网络入侵检测系统大多能在 l o m 的网络环境下正常运行，住1 0 0 m 的环境f 已经是不堪重负了。然而网络带宽还 在不断地增大，1 0 0 0 m 以太网，光纤技术的大量应用使得网络入侵检测系统就更加难 以承受了。因此，在高速网络环境中进行入侵检测是当前迫切需要解决的问题。 基丁硬件的入侵检测。可能发生的另一个趋势就是硬件版本的入侵检测系统和安 全网络：具箱集成在一起。这种设备将定位于家庭市场和小企业市场，以使客户能够 处理与持续地连接到i n t e r n e t 上相关的问题。集成的安全和网络1 一具箱可能会包括网络 接口硬件( 保护集线器和路由) 、防火墙、连接加密器、w e b 服务器和其它用来加强更 快更安全连接的功能。 入侵检测的信息源更普遍。随着当前网络带宽和节点的激烈增长，入侵检测系统 必须监控的原始资料也不断增长。原始资料可能超出了最经常使用的主机信息和网络 信息的范围。例如，信息可以从硬件设备、瘦客户端、通信连接以及安全体系结构中 的其它部分中获得。 一1 0 东北大学硕士学位论文第3 章系统平台概述 第3 章系 3 1 实验平台s n o r t 统平台概述 研究过程中我们采用了s n o r t ( 一个开源的网络入侵检测软件) 作为我们的实验平 台。s n o r t 是一个基于l i b p c a p 的数据包嗅探器并可以作为一个轻量级的网络入侵检测系 统。所谓的轻量级是指在检测时尽可能低地影响网络的正常操作，一个优秀的轻量级 的n 1 d s 应该具备跨系统平台操作，对系统影响最小等特征并且管理员能够在短时间内 通过修改配置进行实时的安全响应，更为重要的是能够成为整体安全结构的重要成员。 s n o r t 作为其典型范例，首先可以运行在多种操作系统平台，例如u n i x 系列和 w i n d o w s ( 需要l i b p c a pf o r w i n 3 2 的支持) ，与很多商业产品相比，它对操作系统的依 赖性比较低。其次用户可以根据自己的需要及时在短时间内调整检测策略。就检测攻 击的种类来说，s n o r t 是个非常成功的开源软件，在全世界的范围内得到了广泛的应用 和研究，同时其功能也因此得到了不断的提高，尤其是检测攻击的种类和规则得到了 极大的丰富。s n o r t 集成了多种告警机制来提供实时告警功能包括：s y s l o g 、用户指 定文件、u n i x s o c k e t 、通过s m b c l i e n t 使用w i n p o p u p 对w i n d o w s 客户端告警。s n o r t 的现实意义作为开源软作填补了只有商业入侵检测系统的空白，可以帮助中小网络的 系统管理员有效地监视网络流量利检测入侵行为，同时也为网络i d s 的研究者提供了平 台。 我此次研究就是在s n o r t 系统的基础上检测引擎( 模式匹配) 部分进行改进，以验 证我们的理论和成果。以f 对s n o r t 系统结构进行简单的介绍。 东北大学硕士学位论文 第3 章系统_ 甲台概述 3 2s n o r t 的结构如下图： 图3 1s n o r t 逻辑结构图 f i g 3 1s n o r tl o g i c a ls t r u c t u r e s n o r t 主要工作为匹配入侵行为的特征或者从网络活动的角度检测异常行为，进而 采取入侵的预警或记录。从检测模式而言，s n o r t 属于是特征检测，基于规则检测的入 侵检测工具，即针对每一种入侵行为，都提炼出它的特征值并按照规范写成检验规则， 从而形成一个规则数据库。其次将捕获得数据包按照规则库逐一匹配，若匹配成功， 则认为该入侵行为成立。 3 2 1s n o r t 的结构分为三个部分 1 数据包捕获和解析子系统 s n o r t 利用l i b p c a p 库函数进行采集数据，该库函数可以为应用程序提供直接从链路 层捕获数据包的接口函数，并可以设置数据包的过滤器以来捕获指定的数据。 网络数据采集和解析机制是整个n i d s 实现的基础，其中最关键的是要保证高速和 低的丢包率，这不仅仅取决于软件的效率还同硬件的处理能力相关。对于解析机制来 说，能够处理数据包的类型的多样性也同样非常重要，目前，s n o r t 可以处理以太网， 令牌环以及s l i p 等多种类型的包。 2 ，检测引擎( t h ed e t e c te n g i n e ) 由于网络入侵检测系统自身角色的被动性( 只能被动的检测流经本网络的数据， 而不能主动发送数据包) 去探测，所以只有将入侵行为的特征码归结为协议的不同字 段的特征值，通过检测该特征值来决定入侵行为是否发生。检测引擎是一个n i d s 实现 的核心，准确性和快速性是衡量其性能的重要指标。 东北大学硕士学位论文第3 章系统平台慨述 准确性取决于对入侵行为特征码的提炼的精确性和规则撰写的简洁实用性； 快速性取决丁引擎的组织结构，是否能够快速地进行规则匹配。 3 、报警和日志系统：s n o n 集成了多种告警机制来提供实时告警功能，包括：s y s l o g 、 h | 户指定文件、u n i x s o c k e t 、通过s m b c l i e n t 使用w i n p o p u p 对w i n d o w s 客户端告警。 3 2 2s n o r t 数据结构 s n o r t 的规则语言简明实用，基本格式为： 规则动作协议类型源l p 遗址端口号目的1 p 地址端e ：i 号( 规则选项) 。 生成的内存对象结构图如r ： 、1 o i l ，? ：o ：蹦：一一；j ! ? 袭降? 2 l ：州j 。j ： r t ni l t ni l t ni t n ( ) i n t ) l f 、 i 、 n t ，r i 、犍，j 1 。：皇： a l e r ti ：p s | i t ) x i i i 划i n n 、一、翱i o m i n i ：l ，跏m s g ：“1 1 ) y , 2 3 2 、il c ( i l l i t p ( ( j j ；i o c c 、| l l i c i n l l l 1 ：l ! 、1 1 i l l , l l l i i i ：“p h pc g i + “：o i l j c l d e p t h ：3 2 ：n t l c a , , e ：】 ：t ；，j “、li 1 。：，蕞。4v i 1 ，“l jn t ，! ：j 0 、：0 9 。：”：， j ：! i j i ? 1 1 1 j 衄， i 臻i i 一”，i i i j lp 1 0 ii ，j 囊lj 兰n ，：t 。，赶l t i n 丝，5 。 h 一”1 沁籍 t + 。j 10 叫蔓。i i 蕾t i 限i i 、j ；也、? i ，一4 艇孙0 i t i h 1 j 二l t ，翰7 j o i n 。h ，“1 、r jr ihh i l ： ；l 疽i ( i l 污。j ? ：t o ：啪。： 图3 2s n o r t 数据结构图 f i g 3 2s n o r td a t as t r u c t u r e 1 3 一 东北大学硕士学位论丈第3 章系统平台概述 s n o r t 的主要数据结构就是按照规则的处理动作来划分成三个链表：a l e r t 、 i g n o r e 、p a s s ，其中每个链表又按照协议类型：t c p , i p 和i c m p 分成三个链表，所 以所有的规则都会被分配到这个三个链表中。链表中的成员就是描述每条规则的结构 一r u i e t r e e n o d e ，该结构中的一个重要成员就是记录该规则的处理函数链表一一 r