（计算机应用技术专业论文）基于特征的入侵检测引擎分析与研究.pdf

硕士学位论文 摘要 近些年来，随着网络安全问题的同益严峻，入侵检测系统已成为计算机与网络安 全的重要组成部分。随着网络流量和速度的不断增加，快速性成为衡量检测引擎性能 的重要指标。如何提高入侵检测引擎的速度一直以来都是研究的热点问题。本文研究 了基于特征的入侵检测引擎，从两个方面着手，一是如何有效地组织与日俱增的入侵 规则；二是在数据包与入侵规则进行模式匹配时，使用什么样的模式匹配算法来快速 准确地检测出入侵行为。 本文采用s n o r t 系统作为实验平台，该系统是世界上应用最广泛的开放源代码的基 于特征的网络入侵检测系统，在行业内有着重要的地位。对s n o r t 中的两种检测引擎进 行比较分析，传统检测引擎采用二维线性链表方法组织入侵规则，新方法采用决策树 对入侵规则进行分类组织。在根据入侵规则构造决策树时，所依据的分类属性选择标 准对决策树的形状和深度有很大的影响。本文提出在构造决策树时采用信息增益率为 新的分类属性选择标准，并用它替代了原有的信息增益标准。实验结果证明，对于某 些特定的攻击类型，改进后的入侵检测引擎在检测速度上有明显的提高。 模式匹配算法是基于特征的入侵检测引擎中的重要部分。本文分析了入侵检测中 常用的几种模式匹配算法，并分别在混合攻击和特定攻击的条件下进行了性能测试， 根据实验结果，得出了不同算法的应用范围，为今后入侵检测系统开发者选择模式匹 配算法提供了有价值的参考。最后，本文针对a h o c o r a s i c k 算法内存消耗量优化的问 题，采用了一种称之为压缩的稀疏向量多带状存储格式，并将它应用到a h o c o r a s i c k 算法的状态表压缩存储中。实验结果表明，采用多带状存储格式的a h o c o r a s i c k 算法 的内存消耗量有明显的降低。 关键词：入侵检测；模式匹配；规则；决策树；攻击 基于特征的入侵检测引擎分析与研究 a b s t r a c t i nr e c e n t l yy e a r s ，t h en e t w o r ks e c u r i t yi sm o r ea n dm o r er i g o r o u s i n t r u s i o nd e t e c t i o n s y s t e mi so n eo fi m p o r t a n tc o m p o n e n t so fc o m p u t e rn e t w o r ks e c u r i t yd e f e n s es y s t e m w i t h t h ei n c r e a s i n gn e t w o r kt r a f f i ca n ds p e e d ，s p e e di sai m p o r t a n tm e t r i c st oe v a l u a t ei n t r u s i o n d e t e c t i o np e r f o r m a n c e h o wt oi n c r e a s et h es p e e do ft h ei n t r u s i o nd e t e c t i o ne n g i n eh a sb e e na h o tr e s e a r c hp r o b l e m t h i sa r t i c l er e s e a r c h st h es i g n a t u r e - b a s e di n t r u s i o nd e t e c t i o ne n g i n e ， t h e r ea r et w oa s p e c t s ，o n ei sh o wt oo r g a n i z ei n t r u s i o nr u l e se f f e c t i v e l y t h eo t h e ri sw h i c h p a t t e r nm a t c ha l g o r i t h mc a nb eu s e dt od e t e c ti n t r u s i o nq u i c k l ya n da c c u r a t e l yw h e nt h e p a c k e tm a t c h i n gi n t r u s i o nr u l e s t h i sp a p e ru s e ss n o r ta st h ee x p e r i m e n tt 0 0 1 s n o r ti st h em o s tp o p u l a rt h es i g n a t u r e - b a s e d i n t r u s i o nd e t e c t i o ns y s t e mb e c a u s ei ti so p e ns o u r c e ，s n o r th a st h ei m p o r t a n tp o s i t i o ni nt h e i n t r u s i o nd e t e c t i o nf i e l d t h i s p a p e ra n a l y s e st w ok i n d so f d e t e c t i o ne n g i n ei ns n o r t t r a d i t i o n a ld e t e c t i o ne n g i n eu s e s2 - d i m e n s i o nl i s tt oo r g a n i z er u l e s ，n e wt e c h n i q u eu s e s d e c i s i o nt r e et oo r g a n i z er u l e s t h ec h o i c eo fa t t r i b u t es e l e c t i o nm e t r i ct os p l i th a sa n i m p o r t a n ti m p a c to nt h es h a p ea n dt h ed e p t ho ft h er e s u l t i n gd e c i s i o nt r e e t h i sp a p e ru s e sa n e wa t t r i b u t es e l e c t i o nm e t r i ct oc o n s t r u c td e c i s i o nt r e e ，c a l l e dt h eg a i n - r a t i oc r i t e r i o n ，r e p l a c e t h eg a i nc r i t e r i o n f o rt h ec e r t a i np a r t i c u l a ra t t a c k ，e x p e r i m e n t a le v a l u a t i o ns h o w st h a tt h e d e t e c t i o ne n g i n eu t i l i z e dg a i n - r a t i oc r i t e r i o nh a ss i g n i f i c a n t l yi m p r o v e dt h es p e e do fd e t e c t i o n p r o c e s s p a t t e r nm a t c h i n ga l g o r i t h mi st h ei m p o r t a n tp a r to ft h es i g n a t u r e b a s e di n t r u s i o nd e t e c t i o n e n g i n e i n t h ec o n d i t i o no fm i x e da t t a c ka n ds i n g l e a t t a c k ，e x p e r i m e n t e v a l u a t e st h e p e r f o r m a n c eo f t h ea b o v ea l g o r i t h m s e x p e r i m e n t a le v a l u a t i o ns h o w st h a td i f f e r e n t a l g o r i t h m sh a v ed i f f e r e n ta p p l i c a t i o na r e a i tp r o v i d e sv a l u a b l er e f e r e n c ef o rd e v e l o p e r t op i c k o u ta d a p t i v ep a t t e r nm a t c h i n ga l g o r i t h mf o ri n t r u s i o nd e t e c t i o ns y s t e m f i n a l ，t h ep a p e r e m p h a s i z e so nh o w t oo p t i m i z em e m o r yc o n s u m p t i o no fa h o c o r a s i c ka l g o r i t h m t h i sp a p e r u s e san e ws t o r a g ef o r m a t ，c a l l e dc o m p r e s s e ds p a r s ev e c t o rm u l t i - b a n d ss t o r a g ef o r m a t e x p e r i m e n ts h o w sm u l t i b a n d ss t o r a g ef o r m a tc a nr e d u c em e m o r yc o n s u m p t i o no b v i o u s l y k e yw o r d s ：i n t r u s i o nd e t e c t i o n ；p a t t e r nm a t c h i n g ；r u l e s ；d e c i s i o nt r e e ；a t t a c k 硕士学位论文 插图索引 图1 1 基于网络的入侵检测系统拓扑图4 图1 2 基于主机的入侵检测系统拓扑图5 图1 3 基于分布式的入侵检测系统拓扑图6 图2 1s n o r t 的工作流程图1 2 图2 2 一个s n o r t 入侵规则实例1 3 图2 3 二维线性链表规则组织示意图1 4 图2 4 决策树对规则的分类组织示意图”1 5 图2 5 两零申检测引擎的检测时间对比示意图1 6 图2 6 两种检测引擎的内存消耗量对比示意图1 6 图3 1 根据入侵规则生成的决策树1 9 图3 2 根据相同入侵规则生成的优化决策树2 0 图3 3 改进前后检测时间的对比示意图2 3 图3 4 改进前后检测时间随规则数增加的变化情况2 4 图4 1b m 算法的坏字符移动2 7 图4 2b m 算法的好后缀移动2 7 图4 3a c 算法的g o t o 函数2 8 图4 4a c 算法的f a j l u r e 函数和o u t p u t 函数2 8 图4 5a c 算法中没有匹配状态不变2 8 图4 6a c 算法中发生匹配时的状态转移2 9 图4 。7a c 算法中匹配成功2 9 图4 8b m h 算法中文本字符不出现在模式里的坏字符移动3 0 图4 9b m h 算法中文本字符出现在模式里的坏字符移动3 0 图4 1 0b m h 算法匹配成功3 0 图4 1la c b m 算法中将最短的模式与文本右对齐3 l 图4 1 2a c b m 算法中的坏字符移动3 l 图4 1 3a c b m 算法将最短模式与文本右对齐3 2 图4 1 4a c b m 算法中的好后缀移动3 2 图4 1 5 各算法检测时阀的对比示意图3 4 图4 1 6 各算法内存消耗量的对比示意图3 5 图4 1 7 各算法对特定攻击的检测时间对比示意图3 7 图5 1 一个包含l o 个非0 元素的6 * 6 稀疏矩阵3 9 图5 2 稀疏矩阵b 的行压缩存储格式3 9 1 1 i 基于特征的入侵检测引擎分析与研究 图5 3b a n d 的划分与内存消耗量的关系示意图4 2 图5 4b a n d 的划分与检测时间的关系示意图4 3 图5 5 四种存储格式的内存消耗量对比示意图4 4 图5 6 四种存储格式的检测时间对比示意图4 5 1 v 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献 的个入和集体，均已在文中以明确方式标明。本人完全意识到本声明的法 律后果由本人承担。 作者签名： 詹壤e l 期：2 一岁年右月2 岁日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被 查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编 本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密留。 ( 请在以上相应方框内打“4 ”) 作者签名： 导师签名： 唐谚 日期：卫叩f 年 月哆日 醐：r 月乡日 古rr 双 硕十学位论文 第1 章绪论 随着计算机网络技术的普及和深入发展，加速了全球信息化的进程。促进了 社会各个领域的发展，随着社会网络化程度的增加，对网络的依赖越来越大，但 随之计算机网络却受到越来越多的恶意攻击，网络安全问题也日益明显，最近几 年，网络攻击技术迅速发展。所以，网络中计算机系统的安全问题也越来越为人 们所关注。入侵检测作为一种积极主动防御技术，是继访问控制，密码技术，身 份识别和认证，审计和防火墙等传统安全保护措施后的新一代安全保障技术，提 供了对内部攻击，外部攻击和误操作的实施保护，在网络系统受到危害之前拦截 和响应入侵，弥补了传统安全技术的不足。 1 1 入侵检测概述 1 1 1 入侵检测的发展历程 入侵检测从最初实验室里的研究课题到目前的商业产品，已经有2 0 多年的 发展历史。入侵检测( i n t r u s i o nd e t e c t i o n ) 是在1 9 8 0 年由a n d e r s o n 在文献 1 中首先提出的，他将入侵行为划分为外部闯入，内部授权用户的越权使用和滥用 等三种类型。以便为专职系统安全人员提供安全信息，此文被认为是有关入侵检 测的最早论述。 1 9 8 7 年，乔治敦大学的d o r o t h yd e n n i n g 在文献 2 中提出的理论架构更是 启发了很多读者，从而奠定了入侵检测系统商业产品的理论基础。d o r o t h y d e n n i n g 在论文中给出了一种不依赖于特殊系统、应用环境、系统缺陷和入侵类 型的通用入侵检测专家系统框架，简称i d e s ( i n t r u s i o nd e t e c t i o ne x p e r t s y s t e m ) 模型。它的基本思路为：入侵者的行为和合法用户的异常行为是可以从 系统合法用户的正常行为中区分出来的。为了定义一个用户的正常行为就必须为 这个用户建立和维护一系列的行为轮廓配置，这些配置描述了用户正常使用系统 的行为特征。i d e s 可以利用这些配置来监控当前用户活动并与以前的用户活动 进行比较，当一个用户的当前活动与以往活动的差别超出轮廓配置的各项阈值 时，这种活动就被认为是异常的，并且它很可能是一种入侵行为。 1 9 9 0 年是入侵检测系统发展史上的一个分水岭。这一年，加州大学戴维斯 分校的h e b e r l e i n 等在文献 3 中提出新概念：基于网络的入侵检测一一 n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 。与以前的入侵检测系统相比，它的不同点在于 它不是检查主机系统的审计纪录，而是通过主动检测局域网上的信息流束发现可 疑行为。这一概念的提出使得入侵检测系统的应用开始面向网络。从此，入侵检 基于特征的入侵检测引擎分析与研究 测被分为两个基本类型：基于主机和基于网络。同时，在1 9 8 8 年莫里颠蠕虫事 件发生之后，网络安全引起了军方、学术界和企业的高度重视。美国空军、国家 安全局和能源部共同资助空军密码支持中心、劳伦斯利弗摩尔国家实验室、加州 大学戴维斯分校，开展对分布式入侵检测系统的研究。 随着人工智能i4 1 、分布式技术f 5 】等等的引入，特别是i n t e r n e t 的日益膨胀， 入侵、攻击事件频频发生。以2 0 0 3 年夏季发生的冲击波( b l a s t e r ) 攻击为例，全 球所有安装了微软w i n d o w s 操作系统的p c 用户，几乎无人幸免，都受到了不 同程度的损失。另据国家计算机网络应急技术处理协调中心的统计数据表明， 2 0 0 3 年上半年仅网页篡改一项我国大陆就至少有1 5 0 个网站的网页被篡改，其 中包括8 7 个政府网站。由此可见，网络用户迫切需要实时的、智能的入侵检测 系统及其他安全保障措施的出现，这些需求都进一步的推动了入侵检测的发展。 这几年，国外入侵检测的产品发展很快。流行的入侵检测系统也比较多，如 美国c i s c o 公司的n e t r a n g e r ，n e t w o r ks e c u r i t yw i z a r d s ( n s w ) 公司的d r a g o n ， 由v p a x s o n 领衔开发的b r o 系统【6 】，s o u r c e f i r e 公司的s n o r t 7 】等等。在国内， 目前的现状是，我国的入侵检测研究还主要停留在实验室和实验样品阶段，或者 是防火墙中集成较为初级的入侵检测模块，一些产品的关键技术仍需要借鉴国外 的先进经验，这很难应付大规模的、突发性的攻击与入侵。由此可见，入侵检测 技术仍留有很大的发展空间。 1 。1 2 入侵检测的定义 八十年代早期a n d e r s o n 使用了“威胁”这一术语来定义入侵检测概念。将 入侵企图或威胁定义为未经授权的访问信息，窜改信息，使系统不可靠或不能使 用i l l 。另外一种对入侵的定义是指有关试图破坏资源的完整性，机密性和可用性 的活动集合i 。 入侵检测是通过从计算机网络或计算机系统中发现是否有违反安全策略行为 和遭到袭击现象的一种安全技术。用来识别针对计算机系统和网络系统或者更广 泛意义上的信息系统的非法攻击，包括检测外界非法入侵者的恶意攻击或试探， 以及内部合法用户超级使用权限的非法行为。 1 1 3 入侵检测的必要性 计算机联网技术的发展改变了以单机为主的计算模式。但是，网络入侵的风 险性和机会也相应地急剧增多。设计安全措施来防范未经授权访问系统的资源和 数据，是当前网络安全领域的一个十分重要而迫切的问题。目前，要想完全避免 安全事件的发生并不太现实。网络安全人员所能做到的只能是尽力发现和察觉入 侵和入侵企图，以便采取有效的措施来弥补漏洞和修复系统。一个安全系统至少 应该满足用户系统的保密性，完整性和可用性要求。目前，对付破坏系统企图的 2 硕士学位论文 理想方法是建立一个完全安全系统。但是这样的话，就要求所有用户能识别和认 证自己，还要采用各种各样的加密技术和访问控制策略来保护数据。第一，在实 践当中，建立完全安全系统根本是不可能的。第二，设计和实现一一个整体安全系 统相当困难；第三，要将所有已经安装的有安全缺陷的系统转换成安全系统需要 相当长的时间；第四，安全系统很容易受到内部用户滥用特权的攻击。 为了解决以上问题，一个实用的方法就是，建立比较容易实现的安全系统， 同时按照一定的安全策略建立相应的安全辅助系统，入侵检测系统就是这样种 系统。鉴于目前的安全状况，系统存在被攻击的可能性，如果系统遭到攻击，只 要尽可能地检测到，甚至实时地检测到，然后采取适当的处理措旌。因此，入侵 检测非常必要1 9 j 。 1 2 入侵检测系统 入侵检测系统( i d s ，i n t r u s i o nd e t e c t i o ns y s t e m ) 是用来识别针对计算机系 统和网络系统或者更广泛意义上的信息系统的非法攻击，包括检测外界非法入侵 者的恶意攻击或试探，以及内部合法用户的超级使用权限的非祛行为。使用i d s 的目的各不相同，有的人希望对入侵者跟踪和定位，而有些人使用i d s 是为了 保护自己重要的计算资源；还有些使用者则是为了发现和纠正系统安全漏洞。 1 2 1 入侵检测系统的组成部分 从逻辑功能上讲，入侵检测系统由探测器( s e n s o r ) ，检测引擎( d e t e c t i o n e n g i n e ) ，用户接口( u s e r i n t e r f a c e ) 组成。 ( 1 ) 探测器( s e n s o r ) 探测器主要负责收集数据。探测器的输入数据流包括在任何可能包含入侵行 为线索的系统数据，例如网络数据包，日志文件和系统调用记录等。探测器将这 些数据收集起来，然后发送到检测引擎进行处理。 ( 2 ) 检测引擎( d e t e c t i o ne n g i n e ) 检测引擎负责从一个或多个探测器处接受信息，并通过分析来确定是否发生 了非法入侵活动。检测引擎的输出结果是标识入侵行为是否发生的判定信息，例 如一个告警信号。该判定信息中还应浚包括入侵的相关证据信息。另外，有的检 测引擎还能够提供关于针对入侵行为相应的反映措施相关信息。 ( 3 ) 用户接口( u s e r i n t e r f a c e ) 入侵检测引擎的用户接口使得用户易于观察系统的输出信号，并对系统行为 进行控制。在某些系统中，用户接口又可以称之为控制器或者是控制台； 除了以上三个必要的组件之外，有些入侵检测系统可能还包括一个所谓的诱 饵机，这种诱饵机被设计和配置成为具有明显的系统安全漏洞，并对攻击者是明 3 硕士学位论文 理想方法是建立一个完全安全系统。但是这样的话，就要求所有用户能识别和认 证自己，还耍采用各种各样的加密技术和访问控制策略来保护数据。第一，在实 践当中，建立完全安全系统根本是不可能的。篼二，设计和实现一个整体安全系 统相当困难；第三，要将所有已经安装的有安全缺陷的系统转换成安全系统需要 相当长的时间：第四，安全系统很容易受到内部用户滥用特权的攻击。 为了解决以上问题，一个实用的方法就是，建立比较容易实现的安全系统， 同时按照一定的安全策略建立相应的安全辅助系统，入侵检测系统就是这样一种 系统。鉴于目前的安全状况，系统存在被攻击的可能性，如果系统遭到攻击，只 要尽可能地检测到，甚至实时地检测到，然后采取适当的处理措施。因此，入侵 检测非常必要1 9 】。 1 2 入侵检测系统 八侵检测系统( i d s ，i n t r u s i o nd e t e c t i o ns y s t e m ) 是用来识别针对计算机系 统和网络系统或者更广泛意义上的信息系统的非法攻击包括检测外界非法入侵 者的恶意攻击或试探，以及内部合法用户的超级使用权限的非挂行为。使用i d s 的目的各不相同，有的人希望对入侵者跟踪和定位，而有些人使用i d s 是为了 保护自己重要的计算资源；还有些使用者则是为了发现和纠正系统安全漏洞， 1 2 ，l 入侵检测系统的组成部分 从逻辑功能上讲，入侵检测系统由探测器( s e n s o r ) ，检测引擎( d e t e c t i o n e n g i n e ) ，用户接口( u s e r i n t e r f a c e ) 组成。 ( 1 ) 探测器( s e n s o r ) 探测器苇要负责收集数据。探测器的输入数据流包括在任何可能包含入侵行 为线索的系统数据，例如网络数据包，日志文件和系统调用记录等。探测器将这 拙数据收集起来，然后发送到检测引擎进行处理。 ( 2 ) 检测引擎( d e t e c t i o ne n g i n e ) 检测引擎负责从个或多个探测器处接受信息，并通过分析来确定是否发生 r 非法入侵活动。检测日 擎的输出结果是标识入侵行为是否发生的判定信息，例 如一个告警信号。该判定信息中还应该包括入侵的相关证据信息。另外，有的检 测引擎还能够提供关于针对入侵行为相席的反映措旌相关信息。 ( 3 ) 用户接口( u s e ti n t e r f a c e ) 入侵检测引擎的用户接口使得用户易于观察系统的输h 信号，并对系统行为 进行控制。在某些系统中，用户接口又可以称之为控制器或者是控制台。 除了以上三个必要的组件之外。有些入侵检测系统可能还包括一个所谓的诱 饵机，这种诱饵机被设计和配置成为具有明显的系统安全漏洞，并对攻击者是明 饵机，这种诱饵机被设计和配置成为具有明显的系统安全漏洞，并对攻击者是明 3 硕士学位论文 理想方法是建立一个完全安全系统。但是这样的话，就要求所有用户能识别和认 证自己，还要采用各种各样的加密技术和访问控制策略来保护数据。第一，在实 践当中，建立完全安全系统根本是不可能的。第二，设计和实现一一个整体安全系 统相当困难；第三，要将所有已经安装的有安全缺陷的系统转换成安全系统需要 相当长的时间；第四，安全系统很容易受到内部用户滥用特权的攻击。 为了解决以上问题，一个实用的方法就是，建立比较容易实现的安全系统， 同时按照一定的安全策略建立相应的安全辅助系统，入侵检测系统就是这样种 系统。鉴于目前的安全状况，系统存在被攻击的可能性，如果系统遭到攻击，只 要尽可能地检测到，甚至实时地检测到，然后采取适当的处理措旌。因此，入侵 检测非常必要1 9 j 。 1 2 入侵检测系统 入侵检测系统( i d s ，i n t r u s i o nd e t e c t i o ns y s t e m ) 是用来识别针对计算机系 统和网络系统或者更广泛意义上的信息系统的非法攻击，包括检测外界非法入侵 者的恶意攻击或试探，以及内部合法用户的超级使用权限的非祛行为。使用i d s 的目的各不相同，有的人希望对入侵者跟踪和定位，而有些人使用i d s 是为了 保护自己重要的计算资源；还有些使用者则是为了发现和纠正系统安全漏洞。 1 2 1 入侵检测系统的组成部分 从逻辑功能上讲，入侵检测系统由探测器( s e n s o r ) ，检测引擎( d e t e c t i o n e n g i n e ) ，用户接口( u s e r i n t e r f a c e ) 组成。 ( 1 ) 探测器( s e n s o r ) 探测器主要负责收集数据。探测器的输入数据流包括在任何可能包含入侵行 为线索的系统数据，例如网络数据包，日志文件和系统调用记录等。探测器将这 些数据收集起来，然后发送到检测引擎进行处理。 ( 2 ) 检测引擎( d e t e c t i o ne n g i n e ) 检测引擎负责从一个或多个探测器处接受信息，并通过分析来确定是否发生 了非法入侵活动。检测引擎的输出结果是标识入侵行为是否发生的判定信息，例 如一个告警信号。该判定信息中还应浚包括入侵的相关证据信息。另外，有的检 测引擎还能够提供关于针对入侵行为相应的反映措施相关信息。 ( 3 ) 用户接口( u s e r i n t e r f a c e ) 入侵检测引擎的用户接口使得用户易于观察系统的输出信号，并对系统行为 进行控制。在某些系统中，用户接口又可以称之为控制器或者是控制台； 除了以上三个必要的组件之外，有些入侵检测系统可能还包括一个所谓的诱 饵机，这种诱饵机被设计和配置成为具有明显的系统安全漏洞，并对攻击者是明 3 基于特征的入侵检测引擎分析与研究 显可见的，诱饵机能够作为入侵检测系统中一个专门提供给攻击者进行入侵的探 测器来使用，从而提供关于某次攻击行为发生过程的相关信息。 1 2 2 入侵检测系统的分类 入侵检测系统的有很多分类标准。通过对这些标准的解释，我们能知道自己 需要什么类型的入侵检测系统。通过入侵检测系统所监视的活动，网络流量，事 务或系统的类型来分类。依据这个条件，入侵检测系统可以被区分为基于网络， 基于主机和基于分布式三种【8 】。 ( 1 ) 基于网络的入侵检测系统 通过检测网络传输来寻找攻击特征的称之为基于网络的入侵检测系统。基于 网络的入侵检测系统被放置在比较重要的网段内，将所监测网段的所有流量作为 数据源，通过将网卡设置为混杂模式不停地监测网段中的各种数据包，对每一个 数据包进行特征分析。 图1 1 中这个网络使用了三个网络入侵检测系统，这些入侵检测系统都被放 置在网络最关键的地方，能监测到网络关键部位处所有设备的网络流量。该图是 一个典型的网络保护方案拓扑图，提供公共服务的服务器子网被基于网络的入侵 检测系统保护着。子网中的一台服务器被入侵后，这台服务器会变成一个继续攻 击整个子网的跳板。所以为了预防更深层次的危险，必须监视这个子网。内网中 的主机被其它的网络保护着，这样可以减少内网主机被入侵的危险，在网络中布 置多个基于网络的入侵检测系统是深层安全防护的一个很好的方法【l o , 1 1 1 。 图1 1 基于网络的入侵检测系统拓扑图【1 1 4 硕士学位论文 ( 2 ) 基于主机的入侵检测系统 通过监视主机和文件系统的操作来寻找攻击特征，对单台主机进行保护的称 之为基于主机的入侵检测系统。基于主机的入侵检测系统和基于网络的入侵检测 系统有两点不同。基于主机的入侵检测系统只能保护它所在的计算机，网卡设置 为非混杂模式，因为不是所有的网卡都能设置成混杂模式的。基于主机的入侵检 测系统的另外一个好处是可以精确地根据自己的需要来制定规则。例如一台运行 基于主机的入侵检测系统的计算机上没有运行域名服务，就不需要加上那些检测 域名服务攻击的规则集合，从而可以提高检测的效率并降低处理器的负荷。 图1 2 中描述了一个在服务器和个人计算机上安装了基于主机的入侵检测系 统的网络。安装在邮件服务器上的基于主机的入侵检测系统主要只设置和邮件服 务器相关的规则，使其免受入侵；而对于安装在w e b 服务器上的入侵检测系统主 要只设置和w e b 服务相关的规则，检测对w e b 服务的攻击。对于其它的个人计算 机可以使用常用的规则集合，当有新的漏洞公布后，规则要及时和定期地更新。 图1 2 基于主机的入侵检测系统拓扑图1 1 “ ( 3 ) 基于分布式的入侵检测系统 实现远程探测器的功能，并且把告警信息和臼志文件发送到一个统一的中央 管理平台的入侵检测系统群组称之为基于分布式的入侵检测系统。典型的基于分 布式的入侵检测系统采用的是管理端和探测器的结构。将基于网络的入侵检测系 统作为探测器放置在网络的各个地方，并向中央管理平台汇报情况。攻击日志信 息定时地传送到管理平台并保存在中央数据库中，新的攻击规则库则发送到各个 5 基于特征的入侵检测引擎分析与研究 探测器上。每个探测器能根据所在网络的实际需要配置不同的规则集合，告警消 息发送到管理平台的消息系统1 5 】。 在图1 3 中，基于分布式的入侵检测系统包含了四个探测器和一个中央管理 平台。探测器采用的是基于网络的入侵检测系统，探测器l 和探测器2 保护着提 供公共服务的服务器。探测器3 和探测器4 保护着内网中的计算机。在基于分布 式的入侵检测系统中，探测器可以使用基于网络的入侵检测系统，基于主机的入 侵检测系统，或两者都用。探测器有的工作在混杂模式下，有的工作在非混杂模 式下，但无论工作在什么情况下，基于分布式的入侵检测系统都有一个显著的特 征，即分布在网络不同位置的探测器都向中央管理平台传送告警和日志信息。 图1 3 基于分布式的入侵检测系统拓扑图“ 1 3 入侵检测引擎的研究现状 由于网络安全问题的曰益严峻，入侵检测技术已经成为当前网络安全技术领 域内的一个研究热点。其中入侵检测引擎的研究又是整个入侵检测技术研究的关 键。随着网络流量和速度的不断增加，网络安全问题的日益突出，因此，设计高 性能的入侵检测引擎已成为一项紧迫任务。根据入侵检测引擎的实现技术，入侵 检测可以分为基于误用的入侵检测和基于异常的入侵检测【”】。下面将分别介绍 这两种检测方法。 6 硕十学位论文 1 3 1 基于误用的入侵检测 基于误用的入侵检测是建立在对过去各种已知网络入侵方法和系统缺陷知识 的积累之上，它需要首先建立一个包含上述已知信息的规则集合，然后通过模式 匹配的方法在收集到的网络活动信息中寻找与规则集合匹配的相关信息。当发现 符合条件的网络活动信息后，它就会触发一个警告，这就是说，任何不符合规则 特定匹配条件的活动都将会被认为是合法和可以接受的。因此，误用检测具备较 高的检测准确性，它检测全部入侵行为的能力则取决于其规则集合的及时更新程 度【4 1 。对规则的特征分析技术是基于误用的入侵检测中应用最广泛的技术，通常 也称之为基于特征的入侵检测技术 7 , 1 3 , 1 4 , 1 5 】，该技术需要具备以下几个条件： 了解特征行为模式的组成部分；完备的入侵检测规则库：可靠的用户行为纪 录；可靠的行为记录分析技术。基于特征的入侵检测技术的优点在于具有非常 低的误警率，同时检测的匹配条件也可以进行清楚地描述，从而有利于安全管理 人员采取清晰明确的预防保护措施。 随着网络流量和速度的不断增加，快速性成为衡量检测引擎性能的重要指 标，它直接关系到整个入侵检测系统的成败。如何提高检测引擎的速度一直以来 都是研究的热点问题。目前的研究现状是从两个方面来解决该问题，第一个方面 是面对入侵规则数量的与日俱增，如何来有效地组织这些入侵规则，以提高数据 包与入侵规则的检测速度1 1 6 。19 】；第二个方面是针对模式匹配算法的研究，有研 究表明，在一般情况下数据包和入侵规则进行模式匹配的时间占到整个入侵检测 系统处理时间的3 1 ，而在某些网络流量特别集中的时候，这一时间将占到整个 处理时间的8 0 ，由此可见，模式匹配算法的速度直接影响到入侵检测系统的实 时性能【2 0 2 3 1 。 1 3 2 基于异常的入侵检测 基于异常的入侵检测是目前入侵检测的一个主要研究方向，它的特点是通过 对异常行为的检测，可以发现未知的攻击模式。基于异常的入侵检测的关键问题 在于正常使用模型的建立以及如何利用该模型对当前系统或用户行为进行比较， 从而判断出与正常模型的偏离程度。对于基于异常的入侵检测来说，系统或用户 的正常模型应该是不断修正和更新的。基于异常的入侵检测的工作是建立在如下 的假设基础上的，即任何一种入侵行为都能由于其偏离正常或者所期望的系统和 用户的活动规律丽被检测出来。描述正常或者合法活动的模型是对过去通过各种 渠道收集到大量历史活动资料的分析中得出来的。基于异常的入侵检测将它与当 前的活动情况进行对比，如果发现了当前状态偏离了正常的模型状态，则发出警 告信息，也就是说，任何不符合以往活动规律的行为都将被视为入侵行为。因 此，基于异常的入侵检测的检测完整性很高，但要保证它具备很高的正确性却是 7 基于特征的入侵检测引擎分析与研究 非常困难的。 较高的误警率是这种方法的主要缺陷，因为信息系统的所有正常活动并不一 定在学习建模阶段就被全部了解。另外，系统的活动行为是不断变化的，这就需 要不断地在线学习。这个学习过程将带来两个可能后果，其一是在此学习阶段， 入侵检测系统无法工作，否则生成额外的虚假告警信息。还有一种可能性是，在 学习阶段，信息系统正遭受着非法的入侵攻击，带来的后果是，入侵检测系统的 学习结果中包含了相关入侵行为的信息，这样，系统将无法检测到这些学习的入 侵行为 1 2 , 1 4 】。 1 4 本文所做工作 本文主要针对基于特征的入侵检测引擎的分析与研究，从两个方面着手，一 是如何有效的组织与日俱增的入侵规则；二是在数据包与入侵规则进行模式匹配 时，使用什么样的模式匹配算法来快速准确地检测出入侵行为是至关重要的，它 直接影响到系统的准确性和实时性能。具体分为以下四个部分： 一、s n o r t 系统的介绍以及两种检测引擎的比较分析 这一部分内容分为两个方面，首先介绍了s n o r t 系统的工作原理，系统结构 和入侵规则的构成，s n o r t 一直只在一点上深入发展，即如何做好入侵检测。有 了强大的规则引擎和简洁的体系结构，它能毫无疑问地取代任何商业入侵检测系 统的工作。第二个方面是通过实验对在采用传统设计思想的s n o r t 检测引擎与采 用新方法的s n o r t n g 中实现的检测引擎在检测时间和内存消耗量两方面进行比 较分析。实验结果表明，随着规则数量的增加，s n o r t n g 中的检测引擎在检测时 间上明显优于传统s n o r t 中的检测引擎；但s n o r t n g 的内存消耗量很大。因此， 将它作为发展下一代s n o r t 技术中的检测引擎还需要不断完善。 二、基于信息增益率的决策树方法对入侵检测的改进 k r u e g e l 首次将决策树的分类方法引入到入侵规则的检测过程中，使得规则 匹配过程中的并行处理大为提高。采用决策树的方法对入侵规则进行分类组织， 在对规则集划分构造决策树时，所依据的分类属性选择标准对决策树的形状和深 度有很大的影响。对于构造入侵规则决策树的过程，采用信息增益率为新的分类 属性选择标准，并用它替代了原有的信息增益标准。通过实验证明，对于某些特 定的攻击类型，改进后的入侵检测引擎比k r u e g e l 的检测引擎在检测速度上有明 显的提高，有助于及时发现入侵行为。 三、面向入侵检测的模式匹配算法性能比较分析 模式匹配算法在入侵检测中有着广泛的应用，它直接影响到入侵检测系统 的实时性能。主要研究了b o y e r m o o r e ( b m ) 算法，m o d i f i e dw u m a n b e r ( m w m ) 算法，e x c l u s i o n b a s e d ( e2 x b ) 算法，a h o c o r a s i c k ( a c ) 算法， 8 硕士学位论文 b o y e r m o o r eh o r s p o o l ( b m h ) 算法和a h o c o r a s i c kb o y e r m o o r e ( a c b m ) 算 法。并挑选了b m 算法，m w m 算法，ez x b 算法，a c 算法在混合攻击和特定攻 击的条件下进行了性能测试，根据实验结果，得出了不同算法的应用范围，为今 后入侵检测系统开发者选择模式匹配算法提供了有价值的参考。 四、基于向量压缩的a h o c o r a s i c k 算法性能优化方法。 本章针对a h o c o r a s i c k 算法内存消耗量优化的问题，根据压缩的稀疏向量 单带状存储格式的不足之处，采用了一种称之为压缩的稀疏向量多带状存储格 式，并将它应用到a h o c o r a s i c k 算法的状态表压缩存储中。实验结果表明，多 带状存储格式在内存消耗量上比单带状存储格式有非常明显的降低，检测时间虽 然有所增加，但并不特别明显。因此本章认为，多带状存储格式是适合a h o - c o r a s i c k 算法性能优化的好方法。 1 5 论文的组织结构 本文共分5 章。第1 章是绪论，首先概述了入侵检测的发展历程，入侵检测 的定义和必要性，然后介绍了入侵检测系统的组织结构和分类，重点介绍了入侵 检测引擎的研究现状以及本文所做的工作。第2 章首先介绍了s n o r t 系统的工作 原理和入侵规则的构成，然后通过实验对在采用传统设计思想的s n o r t 检测引擎 与采用新方法的s n o r t n g 中实现的检测引擎进行比较分析。第3 章介绍了决策 树的基本概念，分类属性选择标准对决策树的形状和深度有很大的影响，将信息 增率作为新的分类属性选择标准来构造决策树，以此来改进原有的检测引擎。第 4 章对几种入侵检测系统中常用的模式匹配算法的性能进行比较分析，根据实验 结果，得出了不同算法的应用范围，为今后入侵检测系统开发者选择模式匹配算 法提供了有价值的参考。第5 章采用了一种基于向量压缩的a h o - c o r a s i c k 算法 内存消耗量优化方法，该方法使得a h o c o r a s i c k 算法的内存消耗量有明显的降 低，虽然检测时间有所增加，但不明显，新方法能有效的优化a h o c o r a s i c k 算 法的性能。最