（计算机系统结构专业论文）基于协议分析的入侵检测系统的设计实现.pdf

山东太学硕士学位论文 摘要 在网络技术高速发展的今天，网络安全的现状越来越让人担忧，网络安全的重要 性越发显现出来，随之产生的各种网络安全技术也得到了不断地发展。防火墙、加 密技术等技术，总的来说都属于一些静态的防御技术。如果单纯依靠这些技术，仍 然难以保证网络的安全性。入侵检测技术是一种主动的防御技术，能够对网络中发 生的安全事件和网络中存在的安全漏洞进行主动实对的监测，更加有效地保护被监 测网络的安全。为此，本文在综合了当今流行的安全检测技术的基础上，提出了一 种基于协议分析的网络入侵检测系统的模型，并详细讨论了其实现研究。 当前的网络入侵检测系统正面临着巨大的挑战：及时、高效地采集、处理、分析 大量的数据包，减少甚至避免丢包现象的发生。提高i d s 产品、组件及与其他安全 产品之间的互操作性。我们在网络入侵检测系统的体系结构、网络数据包采集模块 以及分析检测技术等方面做了一些改进，在实验中取得了较好的效果。 网络数据包采集模块是整个系统高效工作的基础，目前国内外的大多数网络入侵 检测系统的数据采集模块，都是利用l i b p c a p 提供的函数库来实现，其在w i n d o w s 下的版本为w i n p c a p 。本系统通过设置多个接收数据缓存，利用多个采集线程同分析 线程并行运行，提高采集的效率。 其中，在检测部件的实现上，使用了协议分析和模式匹配相结合的方法，有效地 减小了目标的匹配范围，提高了检测速度。同时改进了匹配算法，使得系统具有更 好的实时性能。在系统的安全规则数据库的更新过程中，系统不断对用于匹配的安 全规则进行及时的更新，从而可以尽量减少错报和漏报的现象，提高了整个系统的 检测准确性。 关键字：网络安全，入侵检测，协议分析，模式匹配 a b s t r a c t n o w a d a v s ，w i t ht h er a p i dd e v e l o p m e n to ft h e n e t w o r kt e c h n o l o g y ，t h ec u r r e n t s i t u a t i o no fn e t w o r ks e c u r i t yi sb e c o m i n g m o r ea n di i m 3 r ew o r r y i n g a 1 lk i n d s o ft e c h n o l o g i e so f n e t w o r ks e c u r i t y a r ec e a s e l e s s l yd e v e l o p e dw i t h t h e a d d e a r a n c eo ft h ei m p o r t a n c eo fn e t w o r k s e c u r i t y t h ep a s s i v en e t w o r ks e c u r i t y t e c h n o l o g i e s ，s u c ha se n c r y p t i o na n df i r e w a l l ，i s i n s u f f i c i e n tt op 。o ”i d e e f f e c t i v eg u a r a n t e e so fn e t w o r ks e c u r i t y a saa g g r e s s i v en e t w o r ks e c u r i t yt e c h n o l o g i e s ，i n t r u s i o n d e t e c t i o ns y s t e m c a nd e t e c ts o m es e to fi n t r u s i o n sa n de m e r g i n ge v e n t s ，p r o v i d e e f t e c t l v e s u p p l e m e n tt ot h et r a d i t i o n a l s e c u r i t yp r o t e c tt e c h n o l o g y w ep u t o m r d ak i n d o fn e t w o r ks e c u r i t ym o n i t o rm o d e l b a s e do nt h en e t w o r ki n t r u s l o n d e t e c t i o ns y s t e m ，a n dd e b a t ei t sr e s e a r c ho ft h ei m p l e m e n t a t i o ni nd e t a i l , n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e mi sn o wf a c i n gg r e a tc h a l l e n g e sb e c a u s e o ft h ee m e r g i n go fh i g h - s p e e dn e t w o r kt e c h n o l o g y h o w t om a k et h es y s t 鲫 d r o c e s sa n da n a l y z eag r e a tn u m b e ro fp a c k e t se f f e c t i v e l y i sad i f f i c u l t d r o b l e mt h a te v e r yn i d sm u s ts o l v e w h a ti sm o r e ，i ts h o u l dd e c r e a s e 0 re v e n a v o i dl o s i n gp a c k e t sa n di m p r o v ei n t e r a c t i o n o fc o m p o n e n t sa n do t h e rs e c u r i t y d r o d u c t s w em a d es o m ei m p r o v e m e n t si nt h es y s t e ma r c h i t e c t u r ea n dp a c k e t c a p t u r em o d u l ea n da n a l y s i sm e t h o do ft h ei d sa n dg o ts a t i s f a c t o r yr e s u l t & t h ed a c k e tc a p t u r em o d u l ei st h eb a s eo fe n t i r es y s t e m a tp r e s e n t ，m 0 8 t n i d sd e v e l o pt h e i rp a c k e tc a p t u r em o d u l eb a s e d o nl i b p c a pl i b r a r y w h o s e w i n d o w s e d i t i o ni sw i n p c a p ，a l l o w i n gf o rd e v e l o p m e n te f f i c i e n c y ，w 。a l s o p r o g r a mp a c k e t sc a p t u r e m o d u l ei nw i n p c a p b yf o l l o w i n gm e t h o d s s u c ha s i n c r e a s er e c e i v i n gb u f f e r sa n dp a c k e t sc a p t u r i n gt h r e a d s ， w ee n h s n c et n e c a p t u r i n ge f f i c i e n c ya n dr e d u c et h er a t i oo fl o s i n gp a c k e t s i n t r u s i o nd e t e c t i o nm e t h o di st h ek e yo fi d s n o w a d a y s ， w eu s ep r o t o c o l l l 山东史学硕士学位论文 a n a l y s i sc o m b i n e dw i t hp a t t e r nm a t c hi nd e t e c t i o nm e t h o dt h a tc a nm i n i s h t h er a n g eo fm a t c h i n go b j e c t i v e ，i m p r o v i n gt h ea c c u r a c ya n de f f i c i e n c yo f t h es y s t e m a tt h es a m et i m e 。w ei m p r o v et h ea l g o r i t h mo fm a t c h i n g ，i ta l s o c a na p p a r e n t l yi m p r o v et h ep e r f o r m a n c ea n da p p l y i n gv a l u eo fi d s t h ed i s s e r t a t i o nm a k e si ts i g n i f i c a n tt oh e l pc o r p o r a t i o ne s t a b l i s ht h e n e t w o r ks e c u r i t ys y s t e ma n di m p l e m e n ti d s k e y w o r d s n e t w o r ks e c u r i t y ：i n l x u s i o nd e t e c t i o mp r o t o c o la n a l y s i s ：p a t t e r nm a t c h u l 山东虫学硕士学位论文 原创性声明 本入郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究 所取得的成果。滁文中己缀注明引用的内容外，本论文不包含任何其他个人或集 体已经发表或撰写的科研成采。对本文的研究作出重要贡献的个人和集体，均己 在文中以明确方式标明。本人完全意识到本声明的法律责任由本人承担。 论文作者签名 塑壑翊 i j 期：纠文f 关于学位论文使用授权的声明 本人完全了解山东大学有关保鼬、使用学位论文的规定，同意学校保留或向 国家有关部门或机构送交论文豹复e p 件和电子版，允许论文被查阅和借闭：本人 授权山东大学可以将本学位论文的全部和部分内容编入有关数据库送行检索，可 以采用影音、缩印或者其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名 山东土学硕士学位论文 1 1 论文研究的意义 第1 章前言 近年来，随着网络的普及与应用领域的逐渐扩展，网络安全与信息安全问题日 渐突出。从系统安全的角度可以把网络安全的研究分成两大体系：攻击和防御。攻 击技术主要包括如下的5 个方面：网络监听、网络扫描、网络入侵、网络后门和网 络隐身。防御技术主要包括以下4 个方面：操作系统的安全配置、加密技术、防火 墙技术和入侵检测技术。对于传统的防火墙技术，一个常见的缺陷就是如果其安全 性配置的特别强大，就会影响网络系统的性能，这时防火墙就是网络的一个瓶颈。 而且，如果入侵行为发生在网络内部，则防火墙对此就无能为力了 在传统的加密和防火墙技术这些被动防范技术已经不能完全满足安全需求的今 天，入侵检测技术作为一种新的主动防范的安全手段正受到人们越来越多的重视。 入侵检测是当前网络系统普遍采用的一种安全防护技术，它能够有效地检测各种形 式的入侵行为并及时晌应，是构筑网络系统安全防御体系的一个重要组成部分。 入侵检测从技术层面上讲是对面向计算资源和网络资源恶意行为的识别和响应。 它从计算机网络或计算机系统的关键点收集信息并加以分析，从而发现网络或系统 中是否有违反安全策略的行为和被攻击的迹象。从管理层面上讲是为应对恶意攻击 而采取法律和行政手段提供依据。入侵检测既要检测来自系统外部的入侵行为，同 时也监督内部用户的未授权活动。入侵检测系统( ids ) 是实现入侵检测功能的系 统。它在被保护系统的安全性受到侵害时发出报警并采取适当的行动来阻止入侵行 为：从而起到保护系统安全的作用。 入侵检测系统一般包括3 个部分：信息的收集和预处理、入侵分析引擎及响应和 恢复系统。入侵检测首先要进行信息收集。检测成功与否依赖于信息的可靠性、正 确性和实时性。入侵检测利用的数据一般来自以下几个信息源：主机系统信息、网 络信息、其他安全产品产生的审计记录和通知消息等。入侵分析引擎是ids 中的 核心部分，传统的检测方式为异常检测和误用检测两种。目前流行的ids 系统大 多是两者的结合。事件响应和恢复模块针对入侵行为采取相应的措施，主要分以下两 第1 页 山东史学硕士学位论文 种类型：主动响应，响应机制会阻断或者干扰入侵过程；被动响应，仅是汇报情况 和记录入侵过程。 传统的误用检测技术采用模式匹配的方法，已经越来越暴露出它的粗糙和低效， 入侵者可以很容易规避它的检测。而基于协议分析的入侵检测技术逐渐成为主流， 可以大幅提高检测的准确性和检测速度。当然，这两种技术是相辅相成、互相结合 的。在对采集数据进行协议解析后，还是要用模式匹配技术进行入侵检测。本文提 出的基于协议分析的入侵检测系统，采用协议分析与模式匹配技术相结合的方法， 提高了检测的准确性，降低了漏测率，对当今的网络安全具有一定的现实意义。 1 2 论文内容简介 介绍了关于入侵检测系统的定义和它的重要性，对入侵检测系统针对不同的分 类方法进行了分类，并简要介绍了各类入侵检测系统的特点。同时介绍了入侵检测 系统的通用模型及组件间的通信协议，最后对当前入侵检测系统提出了面临的挑 战，对它的发展趋势做了展望。 对我们的网络入侵检测系统做了总体上的说明，描述了该系统的体系结构图和流 程图，同时介绍了如何部署该系统。 数掘采集模块是整个网络入侵检测系统高效工作的基石，在这一章介绍如何用 w i n p c a p 实现采集数据包，以及如何通过改善缓存区管理和并行运行数据采集线程来 高效采集网络数据包。 解析模块是整个系统的核心，本章介绍了口分段的重组和t c p 流重组的原理和 实现，以及将捕获的数据包解析成为应用层的解析过程的原理和实现。当解析出应 用层数据后，针对h t t p 协议的编码问题和解码的实现做了介绍。 介绍了模式匹配的算法。在本系统中，我们使用了一种著名的单模式匹配算法 ( b m 算法) 来对数据包中的内容进行检测。 介绍了系统的优点和不足，指出了以后应该改进的地方 第2 页 山东文学硕士学位论文 第2 章入侵检测系统的概要介绍 2 1 入侵检测系统的定义及其在网络安全中的重要性 针对日益严重的网络安全问题和越来越突出的安全需求，从上世纪9 0 年代至今， 网络安全的研究从不借一切代价把入侵者阻挡在系统之外的防御思想，开始转变为 预防一检测一攻击响应一恢复相结合的思想，出现了p p d r ( p o l i c y p r o t e c t d e t e c t r e s p o n s e ) 网络动态防御体系模型，强调网络系统在受 到攻击的情况下，网络系统的稳定运行能力。p p d r 是重要的动态防御模型，是以入 侵检测( i n t r u s i o nd e t e c t i o n ) 和响应为基础的 p 2 d r 儆翌不五瞰 图2 1p 2 d r 模型 p 2 d r 模型包含4 个主要部分： p o l i c y ( 安全策略) p r o t e c t i o n ( 防护) d e t e c t i o n ( 检测) r e s p o n s e ( 响应) p 2 d r 模型是在整体的安全策略( p o l i c y ) 的控制和指导下，在综合运用防护工具 ( p r o t e c t i o n ，如防火墙、操作系统身份认证、加密等手段) 的同时，利用检测工 具( d e t e c t i o n ，如漏洞评估、入侵检测等系统) 了解和评估系统的安全状态，通过 适当的响应( r e s p o n s e ) 将系统调整到“最安全”和“风险最低”的状态。防护、 检测和响应组成了一个完整的、动态的安全循环。 关于入侵检测的定义是a n d e r s o n 于1 9 8 0 年首先提出的，他将入侵者分为两类： 第3 页 山东大学硕士学位论文 外部入侵者和内部入侵者。外部入侵者一般指来自局域网外的非法用户和访问受限 制资源的内部用户；内部入侵者指假扮或者其他有权访问敏感数据的内部用户或者 是能够关闭系统审核的内部用户，内部入侵者不仅难以发现而且更具有危险性。而 入侵检测( i n t r u s i o nd e t e c t i o n ) ，是指对入侵行为的发现，它通过在计算机网络 或计算机系统中的若干关键点收集信息并对收集到的信息进行分柝，从而判断网络 或系统中是否有违反安全策略的行为和被攻击的迹象。入侵检测是一种增强系统安 全的有效方法，能够检测出系统中违背系统安全性规则或者威胁到系统安全的活动。 入侵检测在i c s a ( i n t e r n a t i o n 8 lc o m p u t e rs e c u r i t ya s s o c i a t i o n ，国际计算机 安全协会) 入侵检测系统论坛被定义为：通过从计算机网络或计算机系统中的若干关 键点收集信息并对其进行分析，从中发现网络或系统中是否有违反安全策略的行为 和遭到袭击的迹象的一种安全技术。检测时，通过对系统中用户行为或系统行为的 可疑程度进行评估，并根据评估结果来鉴别系统中行为的正常性，从而帮助系统管 理员进行安全管理或对系统所受到的攻击采取相应的对策。所谓入侵检测系统 ( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) 是指这样一种软件、硬件系统组合，该 系统组合对系统资源的非授权使用能够做出及时的判断、记录和报警。 2 2 入侵检测系统的分类 入侵检测是检测和识别针对计算机系统和网络，或者更广泛意义上的信息系统的 非法攻击，或者违反安全策略的事件的过程。它从计算机系统或者网络环境中采集 数据，分析数据，发现可疑攻击行为或者异常事件，并采取一定的响应措施拦截攻 击行为，降低可能的损失。入侵检测系统根据它获得数掘的来源、检测方法、系统 的体系结构这几个方面分成多种类型。 2 2 1 按获得原始数据的方法分类 如果按获得原始数据的方法可以将入侵检测系统分为基于网络的入侵检测和基 于主机的入侵检测系统。 1 ) 基于主机的入侵检测系统 基于主机的入侵检测出现在8 0 年代初期，那时网络还没有今天这样普遍、复杂， 第4 页 山东文学硕士学位论文 且网络之间也没有完全连通。在这一较为简单的环境里，检查可疑行为的检验记录 是很常见的操作。由于入侵在当对是相当少见的，在对攻击的事后分析就可以纺止 今后的攻击。 基于主机的入侵检测通常从主机的审计记录和日志记录中活动错需要的主要数 据，并辅之以主机上的其他信息，例如文件系统属性、进程状态等，在此基础上完 成检测攻击行为的任务。从技术发展的历程来看，入侵检测是从主机审计的基础上 开始发展的，早期的入侵检测系统都是采用基于主机的入侵检测技术。 基于主机的入侵检查系统有如下优点： | 性能价格比高在主机数量较少的情况下，这种方法的性能价格比可能更高。 更加细腻这种方法可以很容易地监测一些活动，如对敏感文件、目录、程序或 端口的存取，而这些活动很难在基于网络的系统中被发现。 适用于被加密的以及切换的环境由于基于主机的系统安装在遍布企业的各种主 机上，它们比基于网络的入侵检测系统更加适于交换的以及加密的环境。根掘加密 方式在协议堆栈中的位置的不同，基于网络的系统可能对某些攻击没有反应。基于 主机的i d s 没有这方面的限制。当操作系统及基于主机的系统发现即将到来的业务 时，数掘流已经被解密了 2 ) 基于网络的入侵检测系统 随着网络环境的普及，出现了大量基于网络的入侵检测系统。早期的丌山之作是 u cd a v i s 研制的n s m 系统，其基本体系结构仍然影响着现在的许多实际系统。基于 网络的入侵检测系统通过监听网络中的数据包获得数据源，它通常利用一个运行在 混杂模式下网络的适配器来实时监视并分析通过网络的所有通信业务，并通过模式 匹配、统计分析、协议分析等技术来检测是否有入侵行为。它的攻击辩识模块通常 使用四种常用技术来识别攻击标志： 模式、表达式或字节匹配 频率或穿越阀值 次要事件的相关性 统计学意义上的非常规现象检测 一旦检测到了攻击行为，i d s 的响应模块就提供多种选项以通知、报警并对攻击 第5 页 山东大学硕士学位论文 采取相应的反应。反应因产品而异，但通常都包括通知管理员、中断连接并且或为 法庭分析和证据收集而做的会话记录。 基于网络的i d s 有许多仅靠基于主机的入侵检测法无法提供的功能。它具有有以 下优点： 侦测速度快基于网络的监测器通常能在微秒或秒级发现问题。而大多数基 于主机的产品则要依靠对最近几分钟内审计记录的分析。 隐蔽性好一个网络上的监测器不像一个主机那样显眼和易被存取，因而也 不那么容易遭受攻击。基于网络的监视器不运行其他的应用程序，不提供网络服务， 可以不响应其他计算机。因此可以做得比较安全。 较少的监测器由于使用一个监测器就可以保护一个共享的网段，所以你不 需要很多的监测器。相反地，如果基于主机，则在每个主机上都需要一个代理，这 样的话，花费昂贵，而且难于管理。但是，如果在一个交换环境下，就需要特殊的 配置。 操作系统无关性基于网络的i d s 作为安全监测资源，与主机的操作系统无 关。与之相比，基于主机的系统必须在特定的、没有遭到破坏的操作系统中才能正 常工作，生成有用的结果。 占资源少在被保护的设备上不用占用任何资源。 由于基于网络和基于主机这两种技术各自有它们的优缺点。所以，有些新的入侵 检测系统中，将把现在的基于网络和基于主机这两种检测技术很好地集成起来，提 供集成化的攻击签名、检测、报告和事件关联功能。这种采用异常检测和特征检测 的方法的混合策略系统同时也是分布式入侵检测系统它能够同时分析来自主机系 统的审计日志和网络数据流，一般为分布式结构，由多个部件组成。 2 2 2 根据数据分析手段分类 根据数据分析手段的不同，入侵检测通常可以分为以下两类：基于滥用( m i s u s e ) 检测、基于异常( a n o m a l y ) 检测。 1 ) 基于异常检测的系统 这种检测是基于这样一种假设：即入侵者的活动异常于正常主体的活动。基于异 常发现的检测技术是先定义一组系统“正常”情况的阀值，如c p u 利用率、内存利 第6 页 山东文学硕士学位论文 用率、文件校验和等( 这类数据可以人为定义，也可以通过观察系统、并用统计的 办法得出) ，然后将系统运行时的数值与所定义的“正常”情况比较，当两者的偏差 超过一定阈值时，则认为该活动是一个异常活动，有可能是入侵行为。这种检测方 式的核心在于如何分析所系统运行情况。这种方法可以检测出未知的入侵，但是缺 点是误警率高。在异常检测中，使用最广泛的、技术较为成熟的是统计分析技术。 其中，s r i 的i d e s 系统实现了最早的基于主机的统计模型。另一种主要的异常检测 技术是神经网络技术。此外还有基于贝叶斯网络的异常检测方法、基于模式预测的 异常检测方法、基于数据挖掘的异常检测方法以及基于计算机免疫学的检测方法等。 2 ) 基于滥用检测的系统 又被称为基于特征的检测系统，它的工作原理是基于这样一种假设：入侵者的活 动可以用种模式来表示，系统检测主体的活动是否符合这些模式，如果符合则认 为是入侵行为。滥用检测技术的基础是分析各种类型的攻击手段，并找到可能的“攻 击特征”集合。它利用这些特征集合或者是对应的规则集合，对当前的数掘来源进 行各种处理后，在进行特征匹配或者规则匹配工作，如果发现满足条件的匹配，则 指示发生了一次攻击行为。当然，这里所指的“特征匹配”根掘数掘来源的不同，“特 征”的含义也随之不同，甚至在同一种数据来源的入侵检测系统中，“特征”的含义 也随着不同的实现而不同。这种方法的效率比基于异常的检测系统要高，但是它只 能检测已知的入侵行为，对于未知的入侵行为或者已知入侵行为的变形就无能为力 了。对于滥用入侵检测，现在提出了各种类型的检测方法，比如专家系统、特征分 析、状态转移分析等技术。 相比而言，滥用入侵检测比异常入侵检测具备更好的确定解释能力，即明确指示 当前当前发生的攻击手段类型。另外，滥用型入侵检测系统具有较高的检测率和较 低的虚警率，开发规则库和特征集合相对于建立系统正常模型而言，也更方便、更 容易。但是，滥用检测的主要缺点是它只能检测到已知的攻击模式，模式库只有不 断的更新才能检测到新的攻击方法。而异常检测系统则可以检测到新的、未知的攻 击行为。 现在，许多入侵检测系统常常将这两种检测技术结合使用。这样，既可以检测出 未知的攻击行为，对于已知的攻击行为也可以快速的检测出来。采用多种基本方法 的混合策略系统。前述的系统可称为简单策略系统，而混合策略系统结合了异常检 第7 页 山东支学硕士学位论文 测和特征检测的方法，不仅知道入侵行为的特征，同时可与系统的正常行为关联。 在系统正常行为的背景下检测入侵 2 2 3 根据系统的体系结构分类 根据系统的体系结构的不同，可以分为以下两类：集中式检测系统、分布式检测 系统。 1 ) 集中式入侵检测系统：采集到的数据源被送到一个集中的检测中心，由该检 测管理中心进行分析检测。这个检测中心就是i d s 的核心部分，这种结构带来了以 下问题：随着网络的扩大和采集点的增多，检测中心就变成了系统的瓶颈。同时， 由于该检测中心的核心地位，一旦该中心被攻击，则该i d s 就会瘫痪。这种结构的 有效性和鲁棒性差。 2 ) 分布式入侵检测系统：该结构很好的解决集中式系统的问题。该系统不是将 数据发送到检测中心集中进行检测，而是由装在各个主机上的多个代理之间相互协 作检测入侵活动。这也是i d s 的发展方向，当前的大多数i d s 都是分布式的i d s 。 2 3 通用入侵检测系统的体系结构 从功能逻辑上讲，入侵检测系统由探测器、分析器、用户接口等几部分组成。 探测器主要负责收集数掘。探测器的输入数据包括任何可能包含入侵行为线索的 系统数据，比如说网络数据包、日志文件、系统调用记录等，探测器将这些数据收 集整理后，发送到分析器进行分析处理。 分析器又称为检测引擎，负责从探测器接收信息，并且通过分析来确定是否发生 了非法入侵活动。 用户接口又被称为控制台，管理器。用来输出易于观察系统的输出信号，并对系 统行为进行控制。 当然这三个组成部分是从功能逻辑上讲的。在实际实现时并不完全相同，有的系 统可能有多个探测器，有的系统探测器和分析器结合在起实现，有的系统除7 这 几个必要组件外，还加入其他的特定功能的组件。 现在的i d s 种类繁多，结构各异。各种i d s 各有其优缺点，互为作用，互为补充。 因此，特别需要制定一个所有i d s 都遵守的体系结构标准，以及实现各个i d s 之间 第8 页 山东史学硕士学位论文 的通信和信息共享。在这种情况下，为了提高i d s 产品、组件及与其他安全产品之 间的互操作性，由入侵检测工作组( i d w g ) 发起制定了一系列i d s 的标准草案。这 个标准就是通用入侵检测框架( c i d f ) 。c i d f 是一套规范，它定义了i d s 表达检测信 息的标准语言以及i d s 组件之间的通信协议。符合c i d f 规范的i d s 可以共享检测信 息，相互通信，协同工作，还可以与其它系统配合实施统一的配置响应和恢复策略。 c i d f 的主要作用在于集成各种i d s 使之协同工作，实现各i d s 之间的组件重用，所 以c i d f 也是构建分布式i d s 的基础。 c i d f 的规格文档由四部分组成，分别为：体系结构、描述语言、内部通讯、程 序接口。 其中体系结构阐述了一个标准的i d s 的通用模型：规范语言定义了一个用束 描述各种检测信息的标准语言；内部通讯定义了i d s 组件之间进行通信的标准协议： 程序接口提供了一整套标准的应用程序接口( a p i 函数) 。 c i d f 的体系结构分为以下四个组件：事件产生器、事件分析器、事件数据库、 响应单元。 c i d f 将i d s 需要分析的数据统称为事件( e v e n t ) ，它可以是基于网络的i d s 从网 络中提取的数掘包，也可以是基于主机的i d s 从系统日志等其它途径得到的数掘信 息。这四个组件只是功能划分，而不是模块划分。在具体实现时，可以灵活运用。 在现有的i d s 中，经常用数据采集部分、分析部分、响应部分和日志来分别代替事 件产生器、事件分析器、响应单元和事件数据库这些术语。 2 4 入侵检测系统面临的挑战和发展趋势 随着网络规模和复杂程度的不断增加，入侵检测系统不能很好的检测所有的数据 包：基于网络的入侵检测系统难以跟上网络速度的发展。截获网络的每一个数据包， 并分析、匹配其中是否具有某种攻击的特征需要花费时间和系统资源。现有的入侵 检测系统在i o m 网上检查所有数据包中的几十种攻击特征时可以很好地工作。但现 在很多网络都是5 0 m ，l o o m 甚至千兆网络，网络速度的发展远远超过了数据包模式 分析技术发展的速度。通常，可以通过重新设计检测系统的软件结构和算法以及开 发和设计相适应的专用硬件结构，可以提高检测速度和效率，以适应高速网络的需 要。所以，如何设计检测系统的软件结构和检测算法是入侵检测系统中一个非常重 第9 页 山东文学硕士学位论文 要的课题，是当前入侵检测系统面临主要挑战。 入侵检测系统要想在更加复杂高速的网络中继续扮演安全第二道闸门的角色，必 须在传统技术上进行改进和突破。当前的入侵检测系统有如下的发展趋势：1 采用 协议分析融合模式匹配的检测方式 特征模式匹配虽然是主要技术，但存在速度慢，效率低等缺点，协议分析是新一 代i d s 探测攻击手法的主要技术，它利用网络协议的高度规则性快速探测攻击的存 在。协议分析技术优势在于能够详细解析各种协议，如命令字符串解析器能对不同 的高层协议如t e l n e t 、f t p 、h t t p 、s m t p 、s n m p 、d n s 等的用户命令进行详细的 分析。探测碎片攻击和协议确认技术可以因为系统在每一层上都沿着协议栈向上解 码，从而使用所有当前已知协议信息，来排除所有异常协议结构的攻击，同时大大 降低传统模式匹配带来的误报问题和提高了效率，同时减少了系统资源消耗。新一 代入侵检测系统将协议分析和模式匹配技术融合起来，更完善得满足高速用户的应 用需求，成为高速入侵检测系统发展的主流趋势。 2 负载均衡技术的使用 。 负载均衡是一项具备智能化的技术，通常是通过并行的几台设备，将处理流量尽 量平均的分配到各个设备，使得总体的处理负荷能够“分摊”到各个设备中，从而 使总体性能得到很大的提高。在高速网络环境中通过多台检测器进行分析，从而能 够适应更大的网络流量。然而负载均衡技术遇到的挑战是如何解决因攻击信息被分 流，而造成无法识别特征造成漏报等问题。 第l o 页 山东文学硕士学位论文 第3 章基于协议分析的入侵检测系统 3 1 基于协议分析的入侵检测系统的体系结构 传统的网络入侵检测系统大多采用在网络中采集数据包，然后未经过对数据包的 预处理就直接对数据包采用模式匹配的检测方法，这种方法的已经越来越显示出它 的粗糙和低效。所以，为了克服现有网络入侵检测系统中的不足，必须采用新的检 测方法。针对新的检测方法，系统的体系结构也要进行帽应的调整。本文介绍一个 利用协议分析进行入侵检测的系统的模型，可以提高检测的准确性和效率。该模型 的体系结构如下所示： 图3 1 基于协议分析的入侵检测系统的体系结构图 系统采用了分层的体系结构，同一层的各个模块之间不存在通信，减少了数掘在 网络中的流动，下一层模块负责向上层模块提供数据和信息，各个模块采用线程技 术，这样做可以使得各个线程并行运行，提高了系统运行效率。如体系结构图所示， 系统由数据包截获模块、i p 层协议解析模块、t c p 层协议解析模块、应用层协议解 第1 1 页 山东史学硬士学位论文 - - i - _ _ _ _ - _ - - _ _ _ _ - - - _ _ - - _ _ _ _ _ _ _ _ _ _ _ _ - _ _ _ i i _ _ _ _ _ - _ - - - _ _ _ - _ _ _ - _ 一 析模块、以及各层的检测模块、管理员接口模块组成； 1 ) 数据包截获模块。主要负责高效的截获t c p i p 网络上的数据包流，工作效率 是其主要考虑的因素。该模块将所截获的数据包提交给i p 层协议解析模块。 2 ) i p 层协议解析模块。该模块从数据包截获模块接收输入的数据包信息，并对 数据包进行i p 层的协议解析分析。如果数据包是i p 分片数据包，则对于i p 分片进 行重组，以构建一个完整的i p 数据包，然后将完整的经过解析的i p 数据包提交到 上层的t c p 层协议解析模块，用于继续对数据包进行t c p 协议的解析。同时，针对 i p 层协议的攻击( 比如利用i c m p 协议的死亡p i n g 攻击) ，将数据包提交到i p 层检 测模块，以检测i p 层的攻击。 3 ) t c p 层协议解析模块。该模块从i p 层协议解析模块接收提交的i p 数据包，并 对i p 数据包进行t c p 层的协议解析以便将解析出动数据提交到上层的应用层协议 解析模块。同时将解析出的数据提交到t c p 层检测模块，以检测t c p 层的入侵行为。 4 ) 应用层协议解析模块。该模块从t c p 层协议解析模块接收提交的t c p 数据流， 对这些报文进行应用层协议解析，该模块在解析时主要根据t c p 端口进行的，根掘 t c p 端口判断相应的应用层协议。比如，如果t c p 端口为8 0 则可以判断应用层协议 为h t t p 协议。然后根据应用层协议的不同分别将数据提交到相关的检测模块。 5 ) i p 层检测模块。该模块从i p 层协议解析模块接收提交的i p 数据包，检测i p 层相关的入侵行为。 6 ) t c p 层检测模块。该模块从t c p 层协议解析模块接收提交的t c p 数掘包，检测 t c p 层相关的入侵行为。 7 ) 管理员接口模块该模块主要完成将检测到的入侵行为显示给管理员，以便 作为网络管理员的决策依据。并且对系统行为进行控制，该模块也可以称为“控制 台”。 第1 2 页 山东大学硕士学位论文 3 2 基于协议分析的入侵检测系统的流程图 圈 图3 2 入侵检测系统的流程图 数据采集线程将网络中数据包经过过滤采集后，将数据包传送到i p 协议解析线 程。i p 协议解析线程利用i p 数据包报头格式，将采集到的数据包进行解析，解析出 t c p 或者是u d p 数据包，提交到t c p 协议解析线程。如果在解析过程中发现该数据包 是分段数据包的话，将该数据包提交到i p 分段重组线程。i p 分段重组线程将该分段 第1 3 - 贝 山东文学硕士学位论文 数据包所在的i p 完整的数据包进行重组，重组完成后将完整的数据包提交到t c p 协 议解析线程。并且，针对较为明显的针对i p 层的入侵行为，i p 协议解析线程在将 t c p 数掘包提交到t c p 协议解析线程的同时，也将该i p 数据包提交到i p 层入侵检测 线程，用来检测常见的明显的针对i p 层的入侵行为。t c p 协议解析线程在收到t c p 数据包后，根据t c p 数据包报头格式将该数据报解析成应用层协议数据。并且，针 对较为明显的针对t c p 层的入侵行为，t c p 协议解析线程在将应用层数掘报提交到各 个应用层协议入侵分析线程的同时，也将t c p 数据包提交到t c p 层入侵检测线程， 用来检测常见的明显的针对t c p 层的入侵行为。各个入侵检测模块( 包括i p 层和t c p 层入侵检测模块，和各个应用层入侵检测模块) 根据特征库中的入侵特征来检测是 否有入侵行为。当检测出入侵行为后，将结果提交到管理员接口，管理员可以决定 是否对入侵检测结果进行响应以及如何响应 3 3 基于协议分析的入侵检测系统的部署 基于协议分析的入侵检测系统的部署图如下所示： 图3 3 基于网络的入侵检测系统部署图 基于网络的入侵检测系统需要有数据采集模块才能工作。如果数据采集模块放的 位置不正确，入侵检测系统也无法工作在最佳状态。通常，数据采集模块放在需要 保护的网段上。 因为网络入侵检测系统是安装在定的操作系统之上，而且本身也是一个复杂 第1 4 页 山东大学硕士学位论文 的t c p i p 操作系统，这意味着网络入侵检测系统本身可能受到s m u r f 、s y n f l o o d 或 j o l t 2 等攻击。如果安装网络入侵检测系统的操作系统本身存在漏洞或网络入侵检测 系统自身防御力差，此类攻击很有可能造成网络入侵检测系统的探测器丢包、失效 或不能正常工作。所以本网络入侵检测系统采用了双网卡的技术，一个网卡绑定i p ， 用来与c o n s o l e ( 控制台) 通信，另外一个网卡无i p ，用来收集网络数据包，其中 连在网络中的是无i p 的网卡，因为没有i p ，所以入侵者不能直接攻击，提高了入侵 检测系统的安全。 第1 5 页 山东史学硕士学位论文 4 1 数据采集的原理 第4 章数据采集的设计与实现 检测数据的采集是由数据包采集线程完成的，该线程是采用一个s n i f f e r 来监听 整个子网的数据包流的。s n i f f e r 的工作原理是：由于采集的数据是基于网络的，所 以数据采集的方法是直接通过网卡从以太网上抓取数据包。通常的以太网网卡有这 样几个工作模式：直接模式和混杂模式。当网卡被设置为直接模式时，它只接收目 标地址为自己的数掘包。当网卡被设置为混杂模式时，则基于以太网的介质共享特 性，它将接收经过它的所有数据包，而这正是我们采集以太网网络数据的关键。数 掘包采集线程将网络接口设置为混乱模式，将接收到达到网络上传输的数据包截取 下柬，供协议分析模块使用。由于效率的需要，有时要根据设霄过滤网络上的一些 数掘包，如特定i p ，特定m a c 地址、特定协议的数据包。数据包采集线程的过滤功 能的效率是数掘包采集的关键，因为对于网络上的每一数据包都会使用该模块过滤。 判断是否符合过滤条件。低效率的过滤程序会导致数掘包丢失、分析部分来不及处 理等。 为提高效率，数据包过滤应该在系统内核里来实现。我们采用了专门为数掘监听 应用程序设计的开发包w i n c a p 来实现这模块，开发包中内置的内核层实现的b d f 过 滤机制和许多接口函数不但能够提高监听部分的效率，也降低了我们开发的难度。 同时w i n c a p 是从u n i x 平台上的l i p c a p 移植过来的，它们具有相同的接口，减轻了 不同平台上开发网络代理的难度。 w i n c a p 有三部分组成：一个数据包监听设备驱动程序，一个低级的动态连接库和 一个高级的静态连接库。数据包监听设备驱动程序直接从数据链路层取得网络数据 包不加修改地传递给运行在用户层的应用程序，他在不同的w i n d o w s 系统下是不同。 数据包监听设备驱动程序支持b p f 过滤机制，可以灵活地设置过滤规则。低级的动 态链接库运行在用户层，他把应用程序和数据包监听设备驱动程序隔离开来，使得 应用程序可以不加修改地在不同的w i n d o w s 系统上运行。高级的静态链接库和应用 第1 6 页 山东大学硕士学位论文 程序编译在一起，他使用低级动态链接库提供的服务，向应用程序提供完善的监听 接口。 w i n p c a p 是一个基于w i n 3 2 平台的用于包捕获和网络分析的体系结构。w i n p c a p 的结构如图所示： 图4 1w i n p c a p 结构图 它包含一个内核级的包过滤器n p f ( n e t g r o u p p a c k e t f i l t e r ) ，一个低层的动态链接库 p a c k e t d l l 和一个高层的与系统无关的库w p c a p d l l 。其中，n p f 是一个设备驱动程 序，它包含了一个w i n d o w s 9 8 m e 中的v x d ( v i r t u a ld e v i c ed r i v e r ) 文件和一个 n t 2 0 0 0 中的s y s 文件，该驱动程序为w i n d o w s 9 8 m e ，n t 2 0 0 0 增加了从网卡抓取和 发送原始数据的能力，通过它可以过滤被抓取的数据包并将之保存到缓冲区当中： p a c k e t d l l 提供了一个基于w i n 3 2 平台中的包驱动程序的公共接口，一些可以直接 访问包驱动程序的并且与操作系统无关的a p i ，还提供了一个独立于m i c r o s o f t 操作 系统的编程接口；w p c a p d l l 在p a c k e t d l l 的基础上增加了一些与系统无关的高层 的函数库，提供了一些高级功能如信息统计和数据包发送等。在数据采集层和数据 处理层，我们正是利用了w i n p c a p 提供的抓包和过滤函数进行数据的采集和过滤。 w i n p c a p 所提供的a p i 函数中，最常用到的是如下几个： p c a p _ f i n d a l l d e v s