（计算机应用技术专业论文）一种入侵检测系统中模式匹配算法的研究.pdf

东北大学硕士学位论文 摘要 一种入侵检测系统中模式匹配算法的研究 摘要 今天，随着网络的应用和普及，对于入侵检测系统的研究已经成为信息安全技术的 一个重要课题。入侵检测是对企图入侵、正在进行的入侵或者已经发生的入侵进行识别 的过程。使用的技术有专家系统、特征分析、状态转移分析，统计分析，神经网络系统 等。著名开放源码的入侵检测系统s n o r t 就是基于特征分析技术的。特征分析技术的基本 工作原理是建立在字符串匹配的简单概念之上。这个网络入侵检测系统的性能通常取决 于模式匹配技术及所选取的算法。 在本文中，主要是围绕着s n o r t 系统中模式匹配算法展开的一系列的工作。首先，从 s n o r t 系统入手，分析此系统工作的原理，介绍特征分析和协议分析。重点对系统中规则 的格式作描述，因为它是模式匹配的基础，并对模式匹配的发展及应用作介绍。然后， 进入模式匹配算法的具体研究阶段，这里分两章，分别对重点的单模式匹配算法与多模 式匹配算法进行分析。详细说明各算法的工作方式，给出相应的算法，并举例、作图进 行分析。选取的单模式匹配算法有：朴素的模式匹配算法、无回溯的k m ：p ( k n t h - m o r d s - p r a t t ) 模式匹配算法、b m ( b o y e r - m o o r e ) 模式匹配算法及b m i - i ( b o y e r - m o o r e - h o r s p 0 0 1 ) 模式匹配算 法。多模式匹配算法有：a c ( a h o - c o r a s i c k ) 多模式匹配算法和a cb m 多模式匹配算法。 在第五章，对两种较优的单模式匹配算法b m 算法和b m h 算法进行分析和比较， 以便找出性能相对完善的一种，应用到多模式匹配算法中去。在实验过程中，分别分析 了两种算法在不同长度模式下的比较次数，b m 算法进行预处理的比较次数及两种算法 的执行时间。然后，将b m h 算法应用到多模式匹配算法中去，此代码经调试已经实现， 并与a c _ b m 算法进行比较，其性能优于a cb m 算法。 最后，指出今后研究的工作和努力的方向。 关键词： 网络安全入侵检测模式匹配s n o n 入侵检测系统b m 算法a c 算法 k m p 算法 一 东北大学硕士学位论文 a b s t r a c t r e s e a r c ho nt h ep a t t e mm a t c h i n ga l g o r i t h m s o fo n ei n t r u s i o nd e t e c t i o ns y s t e m a b s t r a c t w i t ht h ei n c r e a s i n go fn e t w o r ku t i l i z a t i o n ，n o w a d a y s ，t h er e s e a r c h e so fn e t w o r k i n t r u s i o nd e t e c t i o ns y s t e m sh a v eb e c o m et h ei m p o t e n ts u b j e c tf o rt h ei n f o r m a t i o ns a f e t e c h n i q u e s i n t r u s i o nd e t e c t i o ns y s t e mi st h ep r o c e s st oi d e n t i f yt h ea t t e m p t ，p r o c e e d i n g o ni n t r n s i o na n di n v a d e da c t i o n t h et e c h n i q u e st h a ta r eu s e di ni n t r u s i o nd e t e c t i o n s y s t e mo f t e ni n c l u d et h ee x p e r ts y s t e m ，t h es i g n a t u r ea n a l y s i s ，t h es t a t e t r a n s i t i o n a n a l y s i s ，t h es t a t i s t i ca n a l y s i sa n dt h en e r v en e t w o r ks y s t e m ，e c t t h ef a m o u so p e n n i d ss n o r ti sb a s e so nt h es i g n a t u r ea n a l y s i st e c h n i q u e s ，w h o s eb a s i cp r i n c i p l ei st h e p a t t e r nm a t c h i n g t h en e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m so f t e nr e l yo ne x a c ts t r i n g m a t c h i n gt e c h n i q u e sa n dt h ec h o i c eo fa l g o r i t h m ， i nt h i sp a p e r , w ec a r r yo u tt h er e s e a r c ho np a t t e r nm a t c h i n ga l g o r i t h m sw i t ht h e p o p u l a rs n o r ts y s t e ma sat y p i c a l ，l i g h t - w e i g h te x a m p l e f i r s t ，w ea n a l y z et h es n o r ts y s t e m a n di t sp r i n c i p l es i m pa n di n t r o d u c et h e t e c h n i q u eo ft h es i g n a t u r ea n a l y s i sa n dt h e p r o t o c l oa n a l y s i s p r i m a r l y , a n a l y z et h er u l es t r u c t u r eo nt h es y s t e m , b e c a u s ei ti st h eb a s i c o nt h ep a t t e r nm a t c h i n g ，a n di n t r o d u c et h ed e v e l o p m e n ta n da p p l i c a t i o no nt h ep a t t e r n m a t c h i n g t h e n ，w ec a r r yo u tt h er e s e a r c ho nt h ep a t t e r nm a t c h i n ga l g o r i t h mi nd e t a i l t h e r ea r et w os e c t i o n st oa n a l y s er e s p e c t i v e l yf a m o u ss i n g l e p a t t e r nm a t c h i n ga l g o r i t h m a n dm u l t i p l e p a t t e r nm a t c h i n ga l g o r i t h m i n t r o d u c ed e t a i l e d l ye a c ha l g o r i t h m ，g i v es u i t a b l y e x a m p l e sa n dm a d eg r a p h s t h es i n g l e p a t t e r nm a t c h i n ga l g o r i t h m sa r en a i v ep a t t e r n m a t c h i n ga l g o r i t h m ，k m p ( k n u t h - m o r r i s - p r a t t ) p a t t e r nm a t c h i n ga l g o r i t h m ，b m ( b o y e r m o o r e ) p a t t e r nm a t c h i n ga l g o r i t h ma n db m h ( b o y e r m o o r e h o r s p 0 0 1 ) p a t t e r n m a t c h i n ga l g o r i t h m t h em u l t i p l e p a t t e r nm a t c h i n ga l g o r i t h m sa r ea c ( a h o c o r a s i c k ) p a t t e r nm a t c h i n ga l g o r i t h ma n da c _ b mp a t t e r nm a t c h i n ga l g o r i t h m i nt h ef i r t hs e c t i o n ，w ea n a l y z ea n dc o m p a r et w os i n g l e p a t t e r nm a t c h i n ga l g o r i t h m ， b ma l g o r i t h ma n db m h a l g o r i t h m ，b e c a u s et h e ya r et h ep r e f e r a b l es i n g l e - p a t t e r nm a t c h i n g a l g o r i t h m w ee f f o r tt os e a r c ht h em o s te x c e l l e n to n ei nt h ep e r f o r m a n c e ，i no r d e rt oa p p l y i tt om u l t i p l e p a t t e r nm a t c h i n ga l g o r i t h m i nt h ee x p e r i m e n t ，w ea n a l y z er e s p e c t i v e l yt h e t t t 东北大学硕士学位论文 a b s t r a c t c o m p a r en u m b e r sf o r d i f f e r e n tp a t t e r ni nl e n g t ho nt h et w oa l g o r i t h m s ，t h ec o m p a r e n u m b e r so f b ma l g o r i t h m p r e p r o c e s sa n dt h ei m p l e m e n tt i m eo f t w oa l g o r i t h m s f u r t h e r ， t h eb m ha l g o r i t h mi sa p p l i e dt om u l t i p l e p a t t e r nm a t c h i n ga l g o r i t h m ，a n dt h ep r o g r a m h a sb e e nf i n i s h e d c o m p a r e dw i t ha c _ b ma l g o r i t h m ，i t c a p a b i l i t yi s n tw o r s e f a n a l l y , t h ed i r e c t i o n so f f u t u r er e s e a r c ha r ep o i n t e do u t k e yw o r d s ：n e t w o r ks e c u r i t y ；i n t r u s i o nd e t e c t i o n ；p a t t e r nm a t c h i n g ；s n o r ti n t r u s i o n d e t e c t i o ns y s t e m ；b ma l g o r i t h m s ；a ca l g o r i t h m s ；k m pa l g o r i t h m s i v 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取 得的研究成果除加以标注和致谢的地方外，不包含其他人已经发表或 撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确 的说明并表示谢意。 学位论文作者签名：都炙 日期：声卯f ，1 0 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学 位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的 复印件和磁盘，允许论文被查阅和借阅。本人授权东北大学可以将学 位论文的全部或部分内容编入有关数据库进行检索、交流。 ( 如作者和导师同意网上交流，请在下方签名；否则视为不同意。) 学位论文作者签名： 签字日期： 导师签名： 签字日期： 东北大学硕士学位论文 第一章引言 1 1 研究背景 第一章引言帚一早与l 苗 随着i n t e r n e t 的应用和普及，信息安全问题也日益突出。入侵是指试图破坏资源 的完整性、可用性和保密性的活动的集合。作为防火墙之后的网络安全的最后一道防 线，入侵检测系统( i d si n t r u s i o n d e t e c t i o ns y s t e m s ) 是指检测上述行为的活动， 识别出未经授权或越权访问系统资源的行为的软硬件系统。由于入侵检测系统可以在 一定程度上主动预防和检测出来自系统内、外部的入侵，并作出适当响应，动态改变 网络的安全性，因此入侵检测的研究正成为网络安全研究的热点。 入侵检测通常可以分为：基于主机的入侵检测和基于网络的入侵检测。 基于主机的入侵检测通常从主机的审计记录和日志文件中获得所需的主要数据 源，并辅之以主机上的其他信息，例如文件系统属性、进程状态等，在此基础上完成 检测攻击行为的任务。因而早期的入侵检测系统都是基于主机的入侵检测技术。 随着网络环境的普及，出现了大量基于网络的入侵检测系统。基于网络的入侵检 测通过监听网络中的数据包来获得必要的数据来源，并通过协议分析、特征匹配、统 计分析等手段发现当前发生的攻击行为。 入侵检测按照检测的方法分，又可分为异常入侵检测和滥用入侵检测。 异常入侵检测的假设是对攻击行为的检测可以通过观察当前活动与系统历史正 常活动情况之间的差异来实现。通常都会建立一个关于系统正常活动的状态模型并不 断进行更新，然后将用户当前的活动情况与这个正常模型进行对比，如果发现了超过 设定阈值的差异程度，则指示发现了非法攻击行为。在异常入侵检测中，最广泛使用 的较为成熟的技术是统计分析，神经网络系统等。 滥用入侵检测的技术基础是分析各种类型的攻击手段，并找出可能的攻击特征集 合。滥用入侵检测利用这些特征集合或者是对应的规则集合，对当前的数据来源进行 各种处理后，再进行特征匹配或者规则匹配工作，如果发现满足条件的匹配，则指示 发生了一次攻击行为。在滥用入侵检测中，使用的技术有专家系统、特征分析、状态 转移分析等。 目前，市面上常见的几种商用入侵检测系统有：n f r 公司的n i d 系统、i s s 公司的 东北大学硕士学位论文第一章引言 r e a l s e c u r e 、n a i 公司的c y b e r c o pm o n i t o r 、以及c i s c o 公司的c i s c os e c u r ei d s 。从 现在的商用系统来看，大多数都是基于滥用入侵检测技术。 著名开放源码的入侵检测系统s n o r t 就是基于特征分析技术的。特征分析技术的 基本工作原理是建立在字符串匹配的简单概念之上。最初的特征分析技术工作过程 中，每次输入检测引擎的数据包，将会与单个特征进行逐个字符的匹配操作。匹配成 功，则发出报警信息；否则，当前数据包将会与特征列表中的下一个特征继续进行匹 配。 模式匹配算法是基于特征分析技术的入侵检测系统中的核心算法，模式匹配的 效率决定这类入侵检测系统的性能，模式匹配算法的性能直接影响入侵检测系统的检 测效率。模式匹配是第一代和第二代入侵检测系统所使用的基于攻击特征的网络数据 包分析技术。他的分析速度快、误报率小等优点是其它分析方法不可比拟的。但这种 方法单纯使用有很大的弊端。每一个攻击特征都是从网络数据包的包头开始和攻击特 征比较，直到比较完所有字节。这样的计算量是巨大的。 因为网络通信协议是一个高度格式化的、具有明确含义和取值的数据流，如果将 协议分析和特征分析技术结合起来，可以获得更好的效率、更精确的结果。因此，现 在的s n o r t 系统逐步加入了许多基本的协议分析功能。协议分析有效利用了网络协议 的层次性和相关协议的知识快速地判断攻击特征是否存在。他的高效使得匹配的计算 量大幅度减小，以达到检测的更快、更准、范围更广。 目前，虽然入侵检测系统在研究采用一些新的检测算法和技术，但是模式匹配仍 是一项基础的技术，很多技术同它相结合起来。而在实际应用中，它的误报率及虚警 率是很低的。但是进行模式匹配所消耗的时间开销是很大的“1 。 1 2 研究的目的和意义 当前，市场上，入侵检测的产品越来越多，网络安全的很重要的产品，大多数都 是基于滥用入侵检测技术”1 。因此，提高其检测速度，以防其漏报就很重要。评价一 个n i d s 的检测能力的高低主要可以从三方面来评价，检测的及时性、准确性和覆盖 面。 我们的研究主要是以s n o r t 系统为蓝本。它是一个开放代码的轻量级的入侵检测 系统，采用特征分析与协议分析技术。在检测过程中，有大量的规则要进行模式匹配 算法，但是模式匹配算法又非常的耗时。随着网络流量、带宽的不断增加，这对系统 能及时，准确地检测提出挑战。模式匹配算法的性能直接影响入侵检测系统的检测效 2 一 东北大学硕士学位论文第一章引言 率。如果模式匹配算法来不及处理大量的实时网络数据包，必然会丢弃部分数据包， 而这些被丢弃的数据包中就可能包含入侵信息，从而产生漏报。 具体的模式匹配算法”。，有最原始的模式匹配算法，以及在此基础上发展的比较 经典的单模式匹配算法，如k m p 。1 算法、b m ”1 算法等。但随着网络带宽的不断增加， 网络流量也在迅猛增长，出现了多模式匹配算法：a c b “1 算法，及a cb m m 1 1 1 ”，”1 算 法等。s n o r t 系统的具体的匹配算法，采用原始算法，b m 算法及a c b m 算法。 目前，在对模式匹配算法的研究的大体情况是基于b m 算法的多模式匹配算法研 究，有应用于s n o r t 系统的a cb m 算法，c o m m e n t z w a l t e r ”结合了b m 算法和a c 算法的特征，提出的一种解决多模式匹配问题的算法、b a e z a y a t e s 也给出的一种组合 b m p 算法和a c 算法的多模式匹配算法以及s b m h 算法等。 我们的研究主要是针对s n o r t 入侵检测系统中模式匹配技术，主要研究此技术的 发展过程，在入侵检测系统中所起的作用。当前的技术的优缺点，以及是否能进行相 应的改进，以提高模式匹配技术的速度，从而提高入侵检测的速度。 1 3 论文安排 在本文中，主要是围绕着s n o r t 系统中模式匹配算法展开的一系列的工作。我们 首先从s n o r t 系统入手，分析此系统工作的原理，介绍特征分析和协议分析。重点对 系统中规则的格式作描述，因为它是模式匹配的基础，对模式匹配的发展及应用作介 绍。然后，进入模式匹配算法的具体研究阶段，这里分两章，分别对重点的单模式匹 配算法与多模式匹配算法进行分析。详细说明各算法的工作方式，给出相应的算法， 并举例、作图进行分析。选取的单模式匹配算法有：朴素的模式匹配算法、无回溯的 k m p 模式匹配算法、b m 模式匹配算法及b m h 模式匹配算法。多模式匹配算法有： a c 多模式匹配算法和a cb m 多模式匹配算法。 在最后，我们将对两种较优的单模式匹配算法b m 算法和b m h 算法进行分析和 比较，以便找出性能相对完善的一种，应用到多模式匹配算法中去。在实验过程中， 分别分析了两种算法在不同长度模式下运行过程的比较次数，b m 算法在不同长度模 式下进行预处理的比较次数和两种算法的不同长度模式下的执行时间。b m h 算法的 性能并不比b m 算法性能差，而且，节省了很多的预处理时间。然后，我们将b m h 算法应用到多模式匹配算法中去，这部分的代码已经基本实现，并调试成功。将其与 a cb m 算法进行比较。 各章的安排如下： 3 东北大学硕士学位论文第一章引言 第一章引言。简要介绍了本论文的课题背景、目的和意义，以及论文的组织与 安排。 第二章s n o r t 入侵检测系统的简介。简要介绍s n o r t 入侵检测系统及模式匹配算 法的相关知识。 第三章单模式匹配算法的研究。主要对几种单模式匹配算法进行详细的学习、 研究。 第四章多模式匹配算法的研究。对a c 和a cb m 算法进行学习、研究。 第五章对s n o r t 系统中模式匹配算法进行改善。介绍s n o r t 系统使用多模式匹配 算法的可行性。对两种单模式匹配算法进行比较，得出实验数据并对结果进行分析。 将b m h 算法应用到多模式匹配算法中去，完成代码的调试，并将其与a cb m 算法 进行简单比较。 第六章总结与建议。 4 东北大学硕士学住论文第二章s n o n 八侵检测系统的简介 第二章入侵检测系统简介 在这一章里，我们简要介绍一下入侵检测技术”6 ”1 的发展及分类。重点分析s n o r t 入侵检测系统。对使用在此系统中的特征分析与协议分析o ”技术进行简单的说明。介 绍此系统的特点、工作过程、规则的格式。详细分析了此系统的规则格式，因为它是 模式匹配算法的基础。 2 1 入侵检测技术的发展 入侵技术自2 0 世纪8 0 年代早期提出以来，经过2 0 多年的不断发展，从最初的一种 有价值的研究想法和单纯的理论模型，迅速发展出种类繁多的各种实际原型系统，并 且在近l o 年内涌现出许多商用入侵检测系统产品，成为计算机安全防护领域内不可缺 少的一种重要的安全防护技术。 在发展的早期阶段( 1 9 8 4 1 9 9 2 ) ，入侵检测还仅仅是个有趣的研究领域，还没有 获得计算机用户的足够注意。因为，当时的流行做法是将计算机安全“1 的大部分预 算投入到预防性措施上，例如加密、身份验证、访问控制等，而将检测和响应等排斥 在外。到了1 9 9 6 年后，才逐步出现了大量的商用入侵检测系统。最初的入侵检测系统 几乎都是基于主机的，但是过去的l o 年里最流行的商业入侵检测系统大多却是基于网 络的。现在和未来几年内的发展趋势似乎是混合型以及分布式系统的发展。 什么是入侵及入侵检呢? 它们的概念定义也存在很多说法。美国国家安全通信委 员会( n s t a c ) 下属的入侵检n d , 组( i d s g ) 在1 9 9 7 年给出的关于“入侵”及“入侵检测 “的定义为”1 ： 入侵是对信息系统的非授权访问以及( 或者) 未经许可在信息系统中进行的操作 入侵检测是对企图入侵、正在进行的入侵或者已经发生的入侵进行识别的过程。 术语“入侵( i n t r u s i o n ) ”表示系统内部发生的任何违反安全策略的事件，其中 包括： 外部入侵者：系统的非授权用户。 内部入侵者：超越合法权限的系统授权用户。其中又可分为“伪装者”和“秘密 活动者”。 违法者：在计算机系统上执行非法括动的合法用户。 违法者：在计算机系统上执行非法活动的合法用户。 东北大学硕士学住论文 第二章s n o r t 入侵检测系统的简介 第二章入侵检测系统简介 在这一章里，我们简要介绍一下入侵检测技术【1 6 1 1 7 1 的发展及分类。重点分析s n o r t 入侵检测系统。对使用在此系统中的特征分析与协议分析8 1 技术进行简单的说明。介 绍此系统的特点、工作过程、规则的格式。详细分析了此系统的规则格式，因为它是 模式匹配算法的基础。 2 1 入侵检测技术的发展 入侵技术自2 0 世纪8 0 年代早期提出以来，经过2 0 多年的不断发展，从最初的一种 有价值的研究想法和单纯的理论模型，迅速发展出种类繁多的各种实际原型系统，并 且在近1 0 年内涌现出许多商用入侵检测系统产品，成为计算机安全防护领域内不可缺 少的一种重要的安全防护技术。 在发展的早期阶段( 1 9 8 4 1 9 9 2 ) ，入侵检测还仅仅是个有趣的研究领域，还没有 获得计算机用户的足够注意。因为，当时的流行做法是将计算机安全。1 2 2 1 的大部分预 算投入到预防性措施上，例如加密、身份验证、访问控制等，而将检测和响应等排斥 在外。到了1 9 9 6 年后，才逐步出现了大量的商用入侵检测系统。最初的入侵检测系统 几乎都是基于主机的，但是过去的1 0 年里最流行的商业入侵检测系统大多却是基于网 络的。现在和未来几年内的发展趋势似乎是混合型以及分布式系统的发展。 什么是入侵及入侵检呢? 它们的概念定义也存在很多说法。美国国家安全通信委 员会( n s t a c ) 下属的入侵检测小组( i d s g ) 在1 9 9 7 年给出的关于“入侵”及“入侵检测 “的定义为”。： 入侵是对信息系统的非授权访问以及( 或者) 未经许可在信息系统中进行的操作 入侵检测是对企图入侵、正在进行的入侵或者已经发生的入侵进行识别的过程。 术语“入侵( i n t r u s i o n ) ”表示系统内部发生的任何违反安全策略的事件，其中 包括： 外部入侵者：系统的非授权用户。 内部入侵者：超越合法权限的系统授权用户。其中又可分为“伪装者”和“秘密 活动者”。 违法者：在计算机系统上执行非法活动的合法用户。 s 东北大学硕士学位论文 第二章s n o r t 入侵检测系统的简介 恶意程序的威胁，例如病毒、特洛伊木马程序、恶意j a v a 或a c t i v e x 程序等。 探测和扫描系统配置信息和安全漏洞，为未来攻击进行准备工作的活动。 所有能够执行入侵检测任务和功能的系统，都可称为入侵检测系统，其中包括软 件系统以及软硬件结合的系统。通用的入侵检测系统模型吲如图2 1 。 图2 1 通用入侵检测系统模型 f i g2 1m o d e lo fi n t r u s i o nd e t e c t i o ns y s t e m s 主要由以下几大部分组成： 数据收集器( 又称为探测器) ：主要负责收集数据。探测器的输入数据流包括任何 可能包括入侵行为线索的系统数据。比如说网络数据包、日志文件和系统调用记录等。 探测器将这些数据收集起来，然后发送到检测器进行处理。 检测器( 又可称为分析器或检测引擎) ：负责分析和检测入侵的任务，并发出警报 信号。 知识库：提供必要的数据信息支持。例如用户历史活动档案，或者是检测规则集 合等。 控制器：根据警报信号，人工或自动做出反应动作。 另外，绝大多数的入侵检测系统都会包含一个用户接口组件，用于观察系统的运 行状态和输出信号，并对系统行为进行控制。 6 东北大学硕士学位论文 第二章s n o r t 入侵检测系统的简介 2 2 入侵检测技术的分类 2 2 1 按照信息源的分类 从数据源看，入侵检测通常可以分为两类：基于主机的入侵检测和基于网络的入 侵检测。 基于主机的入侵检测通常从主机的审计记录和日志文件中获得所需的主要数据 源，并辅之以主机上的其他信息，例如文件系统属性、进程状态等，在此基础上完成 检测攻击行为的任务。从技术发展的历程来看，入侵检测是从主机审计的基础上开始 发展的，因而早期的入侵检测系统都是基于主机的入侵检测技术，原型有s r i 的i d e s 和n i d e s 、h a y s t a c k 系统、l o sa l a m o s 的n a d i r 、w i s d o m & s e n s e 系统等。 随着网络环境的普及，出现了大量基于网络的入侵检测系统。基于网络的入侵检 测通过监听网络中的数据包来获得必要的数据来源，并通过协议分析、特征匹配、统 计分析等手段发现当前发生的攻击行为，早期的开山之作为u cd a y i s 研制的n s m 系统。 当前主要的入侵检测通常是基于主机和基于网络的入侵检测相结合，此类系统称为混 合型系统。 目前，市面上常见的几种商用入侵检测系统有：n f r 公司的n i d 系统、i s s 公司的 r e a l s e c u r e 、n a i 公司的c y b e r c o pm o n i t o r 、以及c i s c o 公司的c is c os e c u r ei d s 。 2 2 2 按照检测方法的分类 从数据分析手段看，入侵检测通常可分为两类：异常( a n o m a l y ) 入侵检测和滥用 ( m i s u s e ) 入侵检测。 异常入侵检测的假设条件是对攻击行为的检测可以通过观察当前活动与系统历 史正常活动情况之间的差异来实现。通常都会建立一个关于系统正常活动的状态模型 并不断进行更新，然后将用户当前的活动情况与这个正常模型进行对比，如果发现了 超过设定阈值的差异程度，则指示发现了非法攻击行为。在异常入侵检测中，最广泛 使用的较为成熟的技术是统计分析，神经网络系统等。 滥用入侵检测的技术基础是分析各种类型的攻击手段，弗找出可能的攻击特征集 合。滥用入侵检测利用这些特征集合或者是对应的规则集合，对当前的数据来源进行 各种处理后，再进行特征匹配或者规则匹配工作，如果发现满足条件的匹配，则指示 7 东北大学硕士学位论文 第二章s n o r t 入侵检测系统的简介 发生了次攻击行为。这所指的“特征匹配”根据不同的具体实现手段而各不相同， 从最基本的模式匹配，到基于状态转移的分析模型等。在滥用入侵检测中，使用的技 术有专家系统、特征分析、状态转移分析等。 比较而言，滥用入侵检测比异常入侵检测具备更好的解释能力，即明确指示当前 发生的攻击手段类型，在诸多商用系统中得到广泛的应用。另一方面，滥用入侵检测 具备较高的检测率和较低的虚警率，开发规则库和特征集合相对建立系统j 下常模型而 言，也要更方便、更容易。主要缺点在于一般只能检测到已知的攻击模式，模式库只 有不断更新才能检测到新的攻击方法。 2 3s n o r t 入侵检测系统简介 s n o r t 系统是一个强大的轻量级的开放源码的网络入侵检测系统“，它具有实时数 据流量分析和日志i p 网络数据包分析的能力，能够进行协议分析，对内容搜索匹配。 现在s n o r t 能够分析的协议有t c p ，u d p $ 1 i c m p 。将来的版本，将提供对a r p ，i c r p ，g r e ， o s p f ，r i p ，e r i p ，i p x ，a p p l e x 等协议的支持。 它能够检测多种方式的攻击和探测，对攻击进行实时警报。例如：缓冲区溢出， c o l 攻击，s m b 检测，探测操作系统质问特征的企图等等。s n o r t 的规则语言非常简单， 能够对新的网络攻击做出很快的反应。发现新攻击后，可以很快地根据b u g t r a g 邮件 列表，找到特征码，写出新的规则文件。 此外，s n o r t 具有很好的扩展性和可移植性。s n o r t 虽然功能强大，但是其代码极 为简洁，短小，其源代码压缩包只有2 0 0 k b 不到，s n o r t 可移植性非常好。s n o r t 的跨 平台性能极佳，目前已经支持l i n u x 系列，s o l a r i s ，b s d 系列，i r i x ，l i p u x ，w i n d o w s 系列，s c 0 0 p e n s e r v e r ，u n i x w & r e 等。 s n o r t 入侵检测是一个优秀入侵检测系统的一个标准。通过研究它，我们可以学 到所有入侵检测系统的内部框架及工作流程( 也包括同类型的商业入侵检测系统的框 架及工作流程) 。 我们在本文中所做的模式匹配研究也主要是针对s n o r t 系统实行的。由于此系统 主要采用特征分析与协议分析技术相结合，下面主要介绍这两种技术。 2 3 1 特征( s i g n a t u r e ) 分析与协议( p r o t o c l 0 ) 分析 特征分析技术最早应用在早期的网络入侵检测系统中，它的基本工作原理是建立 8 东北大学硕士学位论文第二章s n o r t 入侵检测系统的简介 在字符串匹配的简单概念之上。最初的特征分析技术工作过程中，每次输入检测引擎 的数据，将会与单个特征进行逐个字符的匹配操作。该检测特征实质上就是指示异常 网络流量某个特征的字符编码串，其中可能包含了某个异常命令名称或者是某个关键 敏感词。 工作过程如下： ( 1 ) 分析网络上的每一个数据包是否具有某种攻击特征。分析如下： ( 2 ) 从网络数据包的包头开始和攻击特征比较 ( 3 ) 如果比较结果相同，则检测到一个可能的攻击 ( 4 )如果比较结果不同，从网络数据包中下一个位置重新开始比较。 ( 5 ) 直到检测到攻击或网络数据包中的所有字节匹配完毕，一个攻击特征匹配 结束 ( 6 ) 对于每一个攻击特征，重复( 2 ) ，开始的比较。 ( 7 ) 直到每一个攻击特征匹配完毕，对给数据包的匹配完毕。 计算量大：对于一个特定网络的每秒需要比较的最大次数为： 攻击特征字节数网络数据包字节数每秒数据包数量攻击特征数量 如果所有攻击特征长度为2 0 字节，网络数据包平均长度为3 0 0 字节，每秒3 0 ，0 0 0 数据包，供给特征库中有4 0 0 0 条特征，那么，每秒比较次数为： 2 0x3 0 0x3 0 ，0 0 0 x4 ，0 0 0 = 7 2 0 ，0 0 0 ，0 0 0 ，0 0 0 他的分析速度快、误报率小等优点是其它分析方法不可比拟的。但这种方法单纯 使用有很大的弊端。随着规则集合规模的扩大，检测速度迅速下降，各种变种的攻击 行为，易于造成过度膨胀的规则集合。 传统的模式匹配的检测方法的问题根本是他把网络数据包看作是无序的随意的 字节流。他对该网络数据包的内部结构完全不了解。他对于网络中传输的图像或音频 流同样进行匹配。可是网络通信协议是一个高度格式化的、具有明确含义和取值的数 据流，如果将协议分析和模式匹配方法结合起来，可以获得更好的效率、更精确的结 果。 协议分析有效利用了网络协议的层次性和相关协议的知识，快速地判断攻击特征 是否存在。他的高效使得匹配的计算量大幅度减小。 以下是基于协议分析的入侵检测系统如何处理上面例中的数据包的： a f 7 h y 2 8 9 s 8 2 0 8 0 0 8 9 v 5 y t $ 0 6 1 l t b h k 7 6 5 0 0 8 0 1 2 9 3 u g d b 2 0 0 3 9 7 e 3 9 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 协议规范指出以太网络数据包中第1 3 字节处包含了两个字节的第三层协议标识。 9 一 东北大学硕士学位论文 第二章s n o r t 入侵检测系统的简介 基于协议分析的入侵检测系统利用这个知识开始第一步检测： ( 1 ) 跳过前面1 2 个字节，读取1 3 字节处的2 9 节协议标识：0 8 0 0 。根据协议规 范可以判断这个网络数据包是i p 包。 ( 2 )i p 协议规定i p 包的第2 4 字节处有一个l 字节的第四层协议标识。因此系统 跳过的15 n 2 4 字节赢接读取第四层协议标识：0 6 ，这个数据包是t c p 协议。 ( 3 ) t c p 协议在第3 5 字节处有一个2 字节的应用层协议标识( 端口号) 。于是系 统跳过第2 5 , 0 3 4 字节直接读取第3 5 字节的端口号：8 0 。该数据包是一个h t t p 协议的数 据包。 h t t p 协议规定第5 5 字节是u r l 开始处，我们要检测供给特征“g e t c g i b i n p h f ”，因此要仔细检测这个u r l 。 随着这两种技术的不断发展，一个基本的趋势是二者相互融合。现在特征分析技 术也逐步加入了许多基本的协议分析功能。使用协议分析和特征分析结合的方法来处 理网络数据包，可以大大减小模式匹配的计算量，提高匹配的精确度，减少误报率。 s n o r t 系统，就很好地反映了现代特征分析技术的发展趋势，将特征分析技术与 协议分析技术进行有机的结合。 2 3 2s n o r t 系统的检测规则格式 s n o r t 系统采用的是自己定义的检测规则格式n2 ”。由于s n o r t 规则格式定义的良 好特性，类似的规则格式在很多实际系统中得到采纳。我们也可以根据规则的格式加 入新的检测规则，扩充其规则库。下面我们就s n o r t 系统的检测规则格式做详细的介 绍。在规则中，c o n t e n t 关键字为s n o r t 系统最重要的特征之一。我们要进行的模式 匹配算法就是在数据包中搜索此关键字后面特定的信息。 2 3 2 1 规则格式 每条规则分为两个逻辑部分：规则头部( r u l et l e a d e r ) 和规则选项( g u l e o p t i o n s ) 。规则头部包含规则的动作、协议、源i p 地址和目标i p 地址、子网掩码及 源端口和目的端口。规则选项包括报警信息及用于确定是否触发规则响应动作而需检 查的数据包区域位置的相关信息。 下面是一个s n o r t 检测规则示例： a l e r tt c pa n ya n y 1 9 2 1 6 8 1 0 2 41 1 1 ( c o n t e n t ：”1 0 00 18 6a 5 1 ”；m s g ：”m o u n t da c c e s s ”；) 以上规则描述了：任何使用t c p 协议连接网络1 9 2 1 6 8 i 0 2 4 中任何主机的1 1 1 端口的数据包中，如果出现了二进制数据0 00 18 6a 5 ，便发出警告信息m o u n t da c c e s s 。 ，1 0 东北大学硕士学位论文 第二章s n o r t 入侵检测系统的简介 在圆括号前的部分是规则头部，在圆括号中的部分是规则选项。规则选项部分中 冒号前面的词组称为选项关键字。规则选项不是规则的必需部分，它只是用来定义收 集特定数据包的特定特征。一条规则中不同部分必须同时满足才能执行，相当于”与” 操作。而同一个规则数据库文件中的所有规则之间相当于一个”或”操作。 下面主要对规则头和规则选项做简单介绍。 23 2 2 规则头的组成 ( 1 ) 规则动作 规则动作定义了在当前数据包满足所有在规则中指定的属性特征情况下，所应该 采取的行动。有三种基本的动作类型：a l e r t ，l o g 和p a s s 。 a 1 e r r ：使用选定的告警方法产生警报，并记录这个数据包。 l o g ：记录该数据包 p a s s ：忽略该数据包 ( 2 ) 协议 规则中的下一个字段为协议字段。目前，s n o r t 主要支持对3 种i p 坍议进行分析， 以发现可疑行为，它们是t c p 、u d p 、i c m p 协议。 ( 3 ) i p 地址 规则头部的第三部分是i p 地址。关键字”a n y ”可以用来定义任何i p 地址。网络 引擎没有提供从主机名称到i p 地址的转换，所以l p 地址规定位点分十进制的i p 地 址格式，在i p 地址后指定网络掩码。立n 2 4 指定一个c 类网络，1 6 指定一个b 类网 络，3 2 指定一特定个主机。如1 9 2 1 6 8 1 0 2 4 指定了从1 9 2 1 6 8 1 1 到 1 9 2 1 6 8 1 2 5 5 的一个范围的i p 地址。 以上例子中，源i p 地址被指定为任何i p 地址，而目标i p 地址为1 9 2 1 6 8 1 0 的一个c 类网络。 i p 地址有一个“非”操作。这个操作符号用来匹配所列i p 地址以外的所有i p 地 址。“非”操作使用符号“! ”表示。例如任何由外部网络发起的连接可以表示为： a l e r rt o p11 9 2 1 6 8 1 0 2 4a n y 一 1 9 2 1 6 8 i 0 2 41 1 1 ( 4 ) 端口号 端口号可以用几种方法指定：用”a n y ”、数字、范围以及用”非”操作性。”a n y ”指 定任意端口。静态数值指定一个单一端口，如8 0 为h t t p ，2 3 为t e l n e t 等。指定端 口范围用“：”它可以指定一个范围内的所有端口。如： l o gu d pa n ya n y 一 1 9 2 1 6 8 1 0 2 41 ：1 0 2 4 记录任何从任意主机发起的到目标网络任何主机上的l 1 0 2 4 端口的u d p 协议数 一l 】一 东北大学硕士学位论文第二章s n o r t 入侵检测系统的简介 据包 l o gt c pa n ya n y 一 1 9 2 1 6