（通信与信息系统专业论文）入侵检测中模式匹配的研究.pdf

论文题目： 专业： 硕士生： 指导教师： 入侵检测中模式匹配的研究 通信与信息系统 孙宁 李白萍 摘要 入侵检测是信息安全领域中的一个重要课题，是上个世纪9 0 年代发展起来的新兴 学科，它涉及的知识面广、难度大，国际上成熟的入侵检测系统较少。入侵检测技术是 一种主动保护自己免受攻击的网络安全技术，是继防火墙、数据加密等传统安全保护措 旅后新一代的安全保障技术，作为防火墙的合理补充，入侵检测技术能够帮助系统对付 网络攻击，扩展系统管理员的安全管理能力，提高信息安全基础结构的完整性。 本文首先对入侵检测的现状、入侵检测系统的组成、分类进行了分析和总结，重点 对当前流行的各种入侵检测算法进行了介绍，分析了各种算法的优缺点以及它们的发展 趋势；然后，对入侵检测中的模式匹配算法进行了研究，包括经典的b f 、k m p 、b m 等算法，并对各种算法的性能进行了分析，提出了对k m p 算法和b m 算法的改进算法， 并通过实验证明了改进算法在时间复杂度上的优越性；接着，针对轻量级网络入侵检测 系统s n o r t ，从它的特点、系统构架、工作原理和规则的编写等方面进行了详细的分析， 并对其进行了可视化启动界面的优化及搭建了可视化的报警分析平台；最后在分析了协 议分析技术和特征模式匹配技术各自优缺点的基础上，提出了基于协议分析的模式匹配 的检测方法，并给出了该方法用于数据分析模块的设计方案。 关键词：入侵检测系统；模式匹配算法；s n o r t ；协议分析 研究类型：理论研究 s u b j e c t ：r e s e a r c h o ft h ep a t t e r nm a t c h i n gi ni n t r u s i o nd e t e c t i o n s p e c i a l t y ：c o m m u n i c a t i o n a n di n f o r m a t i o ns y s t e m n a m e：s u nn i n g i n s t r u t o r ：l ib a i p i n g a b s t r a c t ( s i g n a t u r e ) ( s i g n a t u r e ) i n t r u s i o nd e t e c t i o ni sa ni m p o r t a n tt a s ki nt h ef i e l do fi n f o r m a t i o ns e c u t i y i td e v e l o p e di n t h e9 0 s f o ri t sd i f f i c u l t ya n df e a t u r i n gaw i d er a n g eo fs c i e n t i f i cf i e l d s ，f e ws u c c e s s f u l i n t r u s i o nd e t e c t i o ns y s t e m sa r es e e ni nf o r e i g nc o u n t r i e s i n t r u s i o nd e t e c t i o nt e c h n o l o g yi s t h a to n ek i n dp r o t e c t so n e s e l ff r o mak i n do fn e t w o r ks a f ep r a c t i c ea t t a c k e dv o l u n t a r i l y , c o n t i n u et h es e c u r i t yt e c h n o l o g yo fn e wg e n e r a t i o na f t e rt h et r a d i t i o n a l s a f ep r o t e c t i v e m e a s u r e ，s u c ha sf i r ew a l l 、t h ed a t ae n c r y p t e de t c a sr a t i o n a ls u p p l e m e n to ff i r ew a l l ，i n v a d e d e t e c t i o nt e c h n i q u ec a nh e l pt h es y s t e mt od e a lw i t ha t t a c ko fn e t w o r k ，e x p a n ds e c u r i t y m a n a g e r i a la b i l i t yo fs y s t e mm a n a g e r , r a i s et h ei n t e g r a l i t yo f t h es a f ei n f r a s t r u c t u r eo ft h e i n f o r m a t i o n f i r s t t h i sd i s s e r t a t i o na n a l y s e sa n ds u m m a r i z e st h ec u r r e n ts t a t u so fi n t r u s i o nr e a s e r c h ， f o c u s e so nd i s c u s sm a n yk i n d so fi d sa l g o r i t h m s ，a tt h es a m et i m e ，w ea n a l y s et h e i rv i r t u e d i s a d v a n t a g eo ft h e m s e c o n d ，t h i sd i s s e r t a t i o ns u r v e y st h ep a t t e r nm a t c h i n ga l g o r i t h m ss u c h a sb f 、k m p 、b ma n da n a l y s e st h ep e r f o r m a n c eo ft h e m t h e nw ep r o v i d es o m ei m p r o v e m e n t f o rk m p a l g o r i t h ma n db ma l g o r i t h m ，a n dt h ea d v a n t a g eo f t h ei m p r o v e da l g o r i t h m si nt i m e c o m p l e x i t yi sp r o v e db ye x p e r i m e n t t h i r d ，s n o r t ，a sa k i n do fl i g h t w e i g h tn e t w o r ki n t r u s i o n d e t e c t i o ns y s t e m s ，i sd e t a i ld i s c u s s e da b o u tc h a r a c t e r i s t i c 、s y s t e mf r a m e w o r k 、o p e r a t i n g p r i n c i p l ea n dr u l e s t h e ni ti so p t i m i z e do nv i s u a lb e g i n n i n gi n t e r f a c ea n da l a r ma n a l y s e p l a t f o r m a tl a s t ，t h ea n a l y s i so f t h ea d v a n t a g e sa n dd i s a d v a n t a g e sa b o u tp r o t o c o la n a l y s i sa n d t h ep a t t e mm a t c h i n gi sg i v e n a n dt h ed e t e c t i o nm e t h o do fc o m b i n gp r o t o c o la n a l y s i sw i t h p a t t e mm a t c h i n g i su s e di nt h ed e s i g np l a no fd a t aa n a l y s i sm o d u l e k e y w o r d s ：i n t r u s i o n d e t e c t i o ns y s t e m t h ep a t t e r nm a t c h i n ga l g o r i t h m s n o r t p r o t o c o la n a l y s i s t h e s i s：t h e o r e t i c a lr e s e a r c h 要拜技大学 学位论文独创性说明 本人郑重声明：所呈交的学位论文是我个人在导师指导下进行的研究工作及 其取得研究成果。尽我所知，除了文中加以标注和致谢的地方外，论文中不包含 其他人或集体己经公开发表或撰写过的研究成果，也不包含为获得西安科技大学 或其他教育机构的学位或证书所使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中做了明确的说明并表示了谢意。 学位论文作者签名：子争彳 日期：知。7 巧 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位期间 论文工作的知识产权单位属于西安科技大学。学校有权保留并向国家有关部门或 机构送交论文的复印件和电子版。本人允许论文被查阅和借阅。学校可以将本学 位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存和汇编本学位论文。同时本人保证，毕业后结合学位论文研究课 题再撰写的文章一律注明作者单位为西安科技大学。 保密论文待解密后适用本声明。 学位论文作者签名：孑争斥 指导撕虢簪啪 a 明年；月y 歹日 1 绪论 1 1 课题的背景 1 绪论 由于互联网络的发展，整个世界经济正在迅速地融为一体，而整个国家犹如一部巨 大的网络机器。计算机网络已经成为国家的经济基础和命脉。计算机网络在经济和生活 的各个领域正在迅速普及，整个社会对网络的依赖程度越来越大。众多的企业、组织、 政府部门与机构都在组建和发展自己的网络，并连接到i n t e r n e t 上，以充分共享、利用 网络的信息和资源。网络已经成为社会和经济发展的强大动力，其地位越来越重要。伴 随着网络的发展，也产生了各种各样的问题，其中安全问题尤为突出。了解网络面l 临的 各种威胁，防范和消除这些威胁，实现真正的网络安全已经成了网络发展中最重要的事 情。网络安全是网络应用最重要的基础，网络安全已经引起了全世界人们的高度重视， 每个国家都为了商业或者军事的目的，不惜重金来研究网络安全，网络安全方面的研究 是目前网络领域研究的重要课题之一”。 网络安全是指网络系统的部件、程序和数据的安全性，它通过网络信息的存储、传 输和使用过程体现，它包括物理安全和逻辑安全，从其本质上来讲就是网络上的信息安 全。从广义来说，凡是涉及到网络上信息的保密性、完整性、可用性、真实性和可控性 的相关技术和理论都是网络安全的研究领域。确保网络系统的信息安全是网络安全的目 标。目前，网络面临的威胁主要来自下面几方面：( 1 ) 黑客的攻击；( 2 ) 管理的欠缺； ( 3 ) 网络的缺陷；( 4 ) 软件的漏洞或“后门”；( 5 ) 企业网络内部。网络内部用户的误 操作、资源滥用和恶意行为使得再完善的防火墙也无法抵御来自网络内部的攻击，也无 法对网络内部的滥用做出反应 2 1 。 面对如此复杂的安全问题，要建立一个万无一失、绝对安全的系统是不可能的。安 全是相对的，我们只能通过一些技术措施来提高系统的安全性。 传统的信息安全技术都集中在系统自身的加固和防护上。比如数据库、在网络出口 配置防火墙、在信息传输和存储中采用加密技术、使用集中的身份认证产品等。然而， 单纯的防护技术有许多方面的问题：首先这样容易导致系统的盲目建设；其次防火墙虽 然是内网最重要的安全技术之一，其主要功能就是控制对受保护网络的非法访问，但它 也有明显的局限性；再次保证信息系统安全的经典手段是“存取控制”或“访问控制”，但 迄今为止，软件工程技术还没有达到a 2 级所要求的形式或证明一个系统的安全体系的 程度，所以不可能百分之百保证任何一个系统( 尤其是底层系统) 中不存在安全漏洞。 一个健全的网络信息系统安全方案应该包括如下几方面的内容：安全效用检验、安 全审计、安全技术、安全教育与培训、安全结构与程序、安全规则等。这是一个复杂的 西安科技大学硕士学位论文 系统工程，安全是其中的一个重要环节。目前，常用的安全措施有防火墙、防病毒软件、 加密技术、用户认证、入侵检测系统等。其中，防火墙和入侵检测是两种重要的、可以 互为补充的安全技术，两者从不同的角度，不同的层次实现了被保护的网络系统的安全。 与传统的被动式防御的防火墙相比，入侵检测作为一种积极主动的安全防护技术， 提供了对内部攻击、外部攻击和误操作的实时保护。它能很好地弥补防火墙的不足，在 较小牺牲网络性能的前提下对网络进行检测，可以看作是防火墙之后的第一道安全闸 门。它是对系统中未授权访问或异常现象、活动与时间进行审计、追踪、识别和检验的 全过程。它可以识别出系统是否被入侵，从而做出及时的反应，切断网络连接，记录时 间和报警，提醒系统管理员采取相应的措施，可以提供法律上的依据，避免系统受到进 一步的侵害。入侵检测已经不仅仅是防火墙的有力补充，在某种意义上，入侵检测已经 构成了网络安全防护系统中的最重要部件1 3 1 1 4 1 。 从目前入侵检测技术的研究来看，一个重要环节是对入侵行为特征进行匹配，即规 则匹配。规则匹配的过程就是对从网络上捕获的每一条数据报文和预先定义的入侵规则 库进行匹配的过程。如果发现存在一条规则匹配这个报文，就表示检测到一个攻击，然 后按照规则指定的行为进行处理( 如发送警告等) 。如果搜索完所有的规则都没有找到 匹配的规则，就表示报文是正常的报文。b m 算法和k m p 算法是情报学中应用范围最 广的一种字符匹配算法，近年来在入侵检测系统中也得到了应用，典型的入侵检测系统 s n o r t 就采用了b m 算法。但由于匹配算法自身存在的缺陷，会导致在高速网络环境下 入侵检测的速度可能跟不上数据包到达的速率，进而可能导致丢包现象，本文提出了 b m 算法和k m p 算法的改进算法，并以此为基础做了一些相关工作。 1 2 入侵检测及其算法的研究现状 1 2 1 入侵检测的研究现状 国外自二十世纪八十年代以来，就开始对入侵检测进行研究，最早资助进行这方面 研究的是美国国防部高级研究计划署( d a r p a ) 。早期的研究只是一种试验阶段，产品的 针对性强，即为了保护专门的网络而进行研究设计的。而且系统大多以基于主机的入侵 检测系统为主。进入九十年代，随着基于网络的入侵检测系统的问世，给入侵检测研究 领域注入了新的活力。很多网络公司开始开发商业化的产品，而且对于入侵检测的研究 已经进入很高涨的阶段，在其他领域的一些算法也被人们引入到了该领域，像人工智能、 数据挖掘、免疫学、甚至包括信号处理领域的信息论测度也被考虑到。近几年来，从国 外的研究形势来看，各种可能的检测算法几乎差不多都为人们所想到，对于入侵检测的 研究似乎处于一种无法打开新局面的境地。从最新的文章来看有偏重于工程实践的倾 向，这可能是未来入侵检测研究领域的一个发展方向 5 1 。 2 1 绪论 因为网络的日益普及，人们对网络的依赖日益增强，使得网络安全成了世人一直关 注的焦点。国外对入侵检测研究已经很具体细致了，包括从对进攻手段研究到入侵数据 预处理的研究、从算法的理论分析到具体的工程应用、从产品的开发到产品的评估，以 及对入侵检测的一些标准化问题的研究，几乎面面俱到。而且从参与的机构来看，包括 政府的研究机构、科研单位、大学、网络公司等等，涉及到各个层次的不同需求。 国内近几年来网络的发展速度是有目共睹的，而对网络安全的研究也日益被重视。 当然对入侵检测的研究也受到各方面的关注，但是由于一些客观原因，同国外的差距还 是很大。虽然一些网络安全公司也相继推出了自己的入侵检测产品，但是很多都是在借 鉴国外的技术手段。另外，国家对这方面研究的投入也在加大，而且启动了信息安全的 8 6 3 紧急应急计划。各科研单位和大专院校都有从事这方面的研究和开发的队伍。总之， 国内的水平同国外的差距还是很大，但是随着更多的人关注和投入到这方面的研究，相 信在不久的将来，国内的水平将赶超国外并占有领先位置的一席之地。 1 2 2 入侵检测算法的研究现状 入侵检测的发展经历了辉煌的发展过程，同时相应的检测算法也经历了不断的革 新。从最早期的专家系统，到统计方法，再到当今多种算法的出现，可谓百家争鸣，比 如：s t e p h a n i ef o r r e s t 等人将免疫学原理应用到入侵检测中；w e n k el e e 等人将数据挖掘 和信息论理论引入到入侵检测中；r o s sa n d e r s o n 和a b i d ak h a t t a k 将信息检索技术引入 到入侵检测中。不过有些算法其实用性不高，比如专家方法等，有些算法还处在试验研 究阶段，比如免疫学方法、神经网络等。而模式匹配以其实用性和成熟性，在入侵检测 产品中得到广泛应用。 1 3 入侵检测及其算法的发展趋势 目前，国内、外入侵检测技术的发展趋势为6 1 1 7 1 ： ( 1 ) 分布式入侵检测 分布式系统是i d s 主要发展方向之一，它能够在数据收集、入侵分析和自动响应方 面最大限度的发挥系统资源的优势，其设计模型具有很大的灵活性。 ( 2 ) 智能化入侵检测 即使用智能化的方法与手段来进行入侵检测。所谓的智能化方法，现阶段常用的有 神经网络、遗传算法、模糊技术、免疫原理等方法，这些方法常用于入侵特征的辨别。 ( 3 ) 全面的安全防御方案 即使用安全工程风险管理的思想与方法来处理网络安全问题，将网络安全作为一个 整体工程来处理。从管理、网络结构、加密通道、防火墙、病毒防护、入侵检测多方位 对所关注的网络作全面的评估，然后提出可行的全面解决方案。 西安科技大学硕士学位论文 入侵检测算法通过多年的发展，已经变得非常的成熟，通过对目前存在的各种入侵 检测算法的分析、比较，可以看出，专家系统适合商用；神经元网络、数据挖掘和免疫 学等算法还需要进一步研究和开发；较之入侵签名分析、状态迁移分析和统计的方法， 模式匹配算法具有更高的实用性、高效性，因此在已有的入侵检测系统中得到了广泛的 应用，其更优化的算法还在不断的深入研究之中。今后模式匹配算法的发展方向就是提 高算法的平均性能和较少资源消耗。要做到这些，其主要方法就是在实际的匹配过程中 设法减少实际匹配的次数，同时设法将部分匹配算法移植到硬件中或在并行的体系结构 下实现，从而减少匹配所消耗的时间和空间。 大量的实践证明，入侵检测作为一门新兴的安全技术，为了保障网络系统的安全， 仅仅依靠传统的被动防护是不够的，完整的安全策略应该包括实时检测和快速响应。随 着入侵检测算法的逐渐成熟，相信未来的入侵检测产品不仅功能更加强大，而且部署和 使用上也更加灵活方便。 1 4 论文结构 本文在分析了研究入侵检测技术必要性的基础上，首先对入侵检测系统进行了概 述；然后简述了现有的几种经典模式匹配算法，并对k m p 算法和b m 算法进行了改进； 接着分析了s n o r t 系统并对其进行了一些可视化界面的优化；最后针对协议分析技术与 模式匹配技术的结合使用给出了一些设计方案。 论文各章节的具体安排如下： 第l 章：主要分析了计算机网络系统的安全性，概述了入侵检测技术及其算法的现 状和发展趋势，并指出了本论文的主要内容和结构。 第2 章：主要对入侵检测系统作了整体的介绍，包括入侵检测系统的工作原理、系 统模型、系统分类、部署及分析算法。 第3 章：首先分析了几种经典的模式匹配算法的思想，以及各自的优缺点；然后重 点描述了两种改进算法，包括算法的思想、实现和性能分析，并对其进行了实验验证。 第4 章：首先对轻量级网络入侵检测系统s n o r t 进行了分析，包括它的特点、系统 构架、工作原理和规则；然后对s n o r t 进行了可视化启动界面的优化并搭建了可视化的 报警分析平台；最后以s n o r t 为实验平台对改进算法再次进行了验证。 第5 章：首先对特征模式匹配和协议分析两种技术各自的优缺点进行了分析；然后 对协议分析中所使用的网络结构理论做了较全面的论述；最后提出了协议分析基础上的 特征模式匹配的检测方法，并针对该方法用于数据分析模块给出了设计方案。 第6 章：总结本论文的主要工作，并提出了进一步的工作方向。 2 入侵检测系统的研究 2 1 入侵检测系统概述 2 1 1 入侵检测的定义 2 入侵检测系统的研究 入侵( i n t r u s i o n ) 是个广义的概念，不仅包括被发起攻击的人( 如恶意的黑客) 取得超 出合法范围的系统控制权，也包括收集漏洞信息，造成拒绝访问等对计算机系统造成危 害的行为。入侵检测( i n t r u s i o nd e t e c t i o n ) ，顾名思义便是对入侵行为的发觉，它通过对 计算机网络或计算机系统中的若干关键点收集信息并对其进行分析，从中发现网络或系 统中是否有违反安全策略的行为和被攻击的迹象，从而扩展了系统管理员的安全管理能 力( 包括安全审计、监视、进攻识别和响应) ，提高了信息安全基础结构的完整性。进 行入侵检测的软件与硬件的组合便是入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，简称 i d s ) t s l 。 2 1 2 入侵检测系统的功能 与其他安全产品不同的是，入侵检测系统需要更多的智能，它必须可以将得到的数 据进行分析，并得出有用的结果。一个合格的入侵检测系统能简化管理员的工作，保证 网络安全的运行。 具体说来，入侵检测系统的主要功能有： ( 1 ) 监测并分析用户和系统的活动； ( 2 ) 核奄系统配置和漏洞： ( 3 ) 评估系统关键资源和数据文件的完整性； ( 4 ) 识别己知的攻击行为： ( 5 ) 统计分析异常行为； ( 6 ) 操作系统日志管理，并识别违反安全策略的用户活动。 2 1 3 入侵检测的过程 入侵检测系统包括的三个功能部件分别是：信息收集、信息检测分析、结果处理。 ( 1 ) 信息收集 信息收集是入侵检测的第一步，收集内容包括系统、网络、数据及用户活动的状态 和行为。信息收集需要在计算机网络系统中的若干不同关键点( 不同网段和不同主机) 收集信息，以尽可能扩大检测范围，因为从一个信息源束的信息有可能看不出疑点。由 西安科技大学硕士学位论文 于入侵检测很大程度上依赖于收集信息的可靠性和正确性，因此必须保证用来检测网络 系统的软件的完整性，特别是入侵检测系统软件本身应具有相当强的坚固性，防止被篡 改而收集到错误的信息。 信息收集的来源主要有：系统或网络的e l 志文件、网络流量、系统目录和文件的异 常变化、程序执行中的异常行为等。攻击者常在系统日志文件中留下他们的踪迹，因此， 充分利用系统和网络日志文件信息是检测入侵的必要条件。日志文件中记录了各种行为 类型，每种类型又包含不同的信息，例如记录“用户活动”类型的日志，就包含登录、用 户i d 的改变、用户对文件的访问、授权和认证信息等内容。显然，对用户活动来讲， 不正常的或不期望的行为就是重复登录失败、登录到不期望的位置以及非授权的企图访 问重要文件等等。 系统目录和文件的异常变化也是信息收集的一个重点。网络环境中的文件系统包含 很多软件和数据文件，包含重要信息的文件和私有数据文件经常是黑客修改或破坏的目 标。目录和文件中的不期望的改变( 包括修改、创建和删除) ，特别是那些正常情况下 限制访问的，很可能就是一种入侵产生的指示和信号。 入侵者经常替换、修改和破坏他们获得访问权的系统上的文件，同时为了隐藏系统 中他们的表现及活动痕迹，还会尽力去替换系统程序或修改系统日志文件。 ( 2 ) 信息检测分析 信息检测分析的主要方法有：统计分析、完整性分析、特征模式匹配和协议分析。 统计分析 统计分析方法首先给系统对象( 如用户、文件、目录和设备等) 创建一个统计描述， 统计正常使用时的一些测量属性( 如访问次数、操作失败次数和延时等) 。测量属性的 平均值和偏差将被用来与网络、系统的行为进行比较，任何观察值在正常值范围之外时， 就认为有入侵发生。 完整性分析 完整性分析主要关注某个文件或对象是否被更改，这通常包括文件和目录的内容及 属性。这种分析方法在发现被更改的、被安装木马的应用程序方面特别有效。完整性分 析方法往往用于事后分析。 特征模式匹配 特征模式匹配就是将收集到的信息与已知的网络入侵和系统误用模式数据库进行 比较，从而发现违背安全策略的行为。一般来讲，一种攻击模式可以用一个过程( 如执 行一条指令) 或一个输出( 如获得权限) 来表示。该过程可以很简单( 如通过字符串匹 配以寻找一个简单的条目或指令) ，也可以很复杂( 如利用正规的数学表达式来表示安 全状态的变化) 。 协议分析 6 2 入侵检测系统的研究 协议分析技术利用网络协议的高度规则性快速探测攻击的存在。这种技术导致所需 计算的大量减少，即使在高负载的网络上，也可以探测出各种攻击，并对其进行更详细 的分析而不会丢包。 ( 3 ) 结果处理 结果处理是指对收集到的网络数据包进行入侵分析后，将检测到的入侵攻击行为显 示出来，或者实时报警提醒被攻击者，也可以直接阻断入侵攻击数据包，防止用户被危 害。 2 2 入侵检测系统模型及部署 2 2 1 入侵检测系统的通用模型 所有能够执行入侵检测任务和功能的系统都可以称为入侵检测系统，其中包括软件 系统以及软硬结合的系统。图2 1 给出了个通用的入侵检测系统模型1 9 1 。 图2 ，1 通用入侵检测系统模型 图2 1 所示的通用入侵检测模型，主要由以下几大部分组成： ( 1 ) 数据收集器( 又可称为探测器) ：负责收集数据。探测器的输入数据流包括任 何可能包含入侵行为线索的系统数据。比如说网络数据包、日志文件和系统调用记录等。 探测器将这些数据收集起来，然后发送到检测器进行处理。 ( 2 ) 检测器( 又可称为检测引擎) ：负责分析和检测入侵的任务，并发出报警信号。 ( 3 ) 知识库：提供必要的数据信息支持。例如用户历史活动档案，或者是检测规 则集合等。 ( 4 ) 控制器：根据报警信号，人工或自动做出反应动作。 另外，绝大多数的入侵检测系统都会包括一个用户接口组件，用于观察系统的运行 状态和输出信号，并对系统行为进行控制。 西安科技大学硕士学位论文 2 2 2 入侵检测系统的部署 对于入侵检测系统来说，其类型不同、应用环境不同，部署方案也就会有所差别。 对于基于主机的入侵检测系统来说，它一般是用于保护关键主机或服务器的，因此只要 将它部署到这些关键主机或服务器中即可。但是对于基于网络的入侵检测系统来说，根 据网络环境的不同，其部署方案也就会有所不同，各种网络环境千差万别。一般只考虑 两种情况的网络环境，即网络中没有防火墙时的情况和网络中有防火墙时的情况【1 0 】。 ( 1 ) 网络中没有部署防火墙时 在没有安装防火墙的情况下，网络入侵检测系统通常安装在网络入口处的交换机或 者是集线器上，一边监听所有进出网络的数据包并进行相应的保护，如图2 2 所示。在 交换机环境下为了监听所有的数据包，通常利用交换机的端口镜像功能。 图2 2 没有部署防火墙时入侵检测系统的部署情况 ( 2 ) 网络中部署防火墙时 防火墙系统起防御来自外部网络攻击的作用，它和入侵检测系统互相配合可以进行 更有效的安全管理。在这种情况下通常将入侵检测系统部署在防火墙之后，进行继防火 墙一次过滤后的二次防御，如同2 3 所示。 图2 3 入侵检测系统部署在防火墙内部 2 入侵检测系统的研究 2 3 入侵检测系统的分类 我们可以从以下几个角度对入侵检测系统进行分类： ( 1 ) 根据检测的数据来源分l l l j i “j 基于主机的入侵检测系统( h o s t b a s e di d s - - h i d s ) ：通常安装在受保护的主机 上，用来监视、检测某一给定计算机系统或用户，它有两种类型的信息源，操作系统审 计事件和系统日志。其主要优点是信息源完备。系统产生的日志是归类有序的，它准确 地记录了每个用户的行为序列，这样便可以精确监控每个用户的行为，同时也使得i d s 对信息源的处理简单、一致；其次，对某些特定的攻击十分有效。比如，审计日志能显 示出由缓冲区溢出攻击引起的优先级转移的情况，从而能够有效地检测出缓冲区溢出攻 击。其主要缺点是：首先信息源与操作系统密切相关，因此使得i d s 不能通用于各种平 台；其次，信息源单一，缺乏相关性。随着黑客入侵技术的不断发展，系统入侵通常发 生在整个网络范围内，涉及一系列主机。所以仅靠单一主机的信息源无法做出准确的判 断：再次，对网络底层攻击检测困难。尽管日志记录了大量的网络事件信息，但是通过 审计日志不能发现网络数据包内容或底层攻击，比如s y n f l o o d 攻击。基于主机的i d s 由于在这些日志中没有找到相应信息而忽略了某些攻击。 基于网络的入侵检测系统( n e t w o r k - b a s e di d s - - n i d s ) ：它通常安装在网络的关 键段，监控出入网络的通信数据流，按照一定规则对数据流的内容进行分析，从而发现 攻击的企图，做出入侵攻击的判断。其主要优点是：首先是平台无关性。它以网络数据 作为信息源，与主机平台无关；其次是全局性。由于它通常位于网络的关键网段，所有 的数据流都会通过这里。所以，它的信息源涵盖了整个内部网络，有利于根据信息的相 关性作出全局推断。其主要缺点是：首先，对经过加密的数据流进行分析存在困难。数 据流经过加密后，其中的数据特征已经变形，i d s 无法对其进行分析、识别；其次。难 以精确监控用户的行为。它只能从用户交换的报文中粗略地判断用户的行为，却不能判 断出用户行为对目标系统造成的影响，从而忽略某些入侵行为。比如，用户执行了一个 缓冲区溢出程序，网络i d s 只能够决定用户在执行一个程序，却无法判断用户执行的程 序是否有害。 ( 2 ) 根据检测方法的不同分i l m 异常检测( a n o m a l yd e t e c t i o n ) ：它来源于这样的思想，即任何一种入侵行为都能 由于其偏离正常或者所期望的系统和用户的活动规律丽被检测出来。描述正常或者合法 活动的模型是从对过去通过各种渠道收集到的大量历史活动资料的分析中得出来的。入 侵检测系统将它与当前的活动情况进行对比，如果发现了当前状态偏离了正常的模型状 态，则系统发出警告信号。就是说，任何不符合以往活动规律行为都将被视为入侵行为。 其优点是：首先，能够发现任何企图试探系统的最新和未知漏洞的行为，同时在某种程 9 西安科技大学硕士学位论文 度上它较少依赖于特定的操作系统环境；其次，对于合法用户超越其权限的违法行为的 检测能力大大增强。其缺点主要是很高的误警率。 常用的异常检测方法有：统计模型，神经网络，人工免疫，数据挖掘等。 误用检测( m i s u s ed e t e c t i o n ) ：是建立在对过去各种已知网络入侵方法和系统缺 陷知识的积累之上，它需要首先建立一个包含上述已知信息的数据库，然后在收集到的 网络数据流中找与之匹配的项目，从而发现是否有攻击的行为。其优点是：具备较高的 检测准确率和较低的误警率，同时检测的条件可以进行清楚地描述，从而有利于安全管 理人员采取清晰明确的预防保护措施。其缺点是：收集所有已知或已发现攻击行为和系 统脆弱性信息的困难性以及及时更新庞大数据库需要耗费大量精力和时间。另一个问题 在于弱的可移植性。因为关于网络攻击的信息绝大多数是与主机的操作系统、软件平台 和应用类型密切相关的。 常用的误用检测方法有：模式匹配，状态转换等。 ( 3 ) 按照系统各个模块运行的分布方式不同分 集中式：系统的各个模块包括数据的收集、分析和响应都集中在一台主机上运 行。这种技术的优点是：数据的集中处理可以更加准确地分析可能的入侵行为。缺点是： 数据的集中处理使检测主机成了网络安全的瓶颈，若它出现故障或受到攻击，则整个网 络的安全将无从保障。这种方式适用于网络环境比较简单的情况，因为数据采集对于大 型的复杂的网络很难实现。 分布式：系统的各个模块分布在网络中不同的计算机上，这种分布式结构采用 多个代理在网络各部分分别进行入侵检测，并且协同处理可能的入侵行为，其优点是： 能够较好地实现数据的监听，可以检测内部和外部的入侵行为。这种方式适用于网络环 境比较复杂的情况，并且是现在入侵检测的发展方向之一。 2 4 入侵检测算法 入侵检测系统采用的算法直接影响到检测的效率和准确性。当前，世界上有多种检 测算法，下面将分别进行简单的介绍。 ( 1 ) 模式匹配 模式匹配检查对照一系列已有的攻击，比较用户活动，将收集到的信息与已知的网 络入侵和系统特征库进行比较，从而发现违背安全策略的入侵行为。目前，模式匹配已 经成为入侵检测领域中使用最广泛的检测手段和机制之一，这种想法的先进之处在于定 义已知的问题模式，然后观察能否与模式匹配的事件数据相匹配。独立的模式可以有独 立事件、事件序列、事件临界值或者允许与、或操作的通用规则表达式组成。 目前多数商业化的入侵检测产品都采用简单模式匹配。其特点是原理简单、扩展性 好、检测效率高、可以实时检测。著名的网络入侵检测工具s n o r t 就采用了这种检测方 1 0 2 入侵检测系统的研究 式，使用简单模式匹配的入侵检测系统还有b r o 。 ( 2 ) 专家系统【1 4 1 用专家系统对入侵进行检测，经常是针对有特征的入侵行为，是基于一套由专家经 验事先定义规则的推理系统。所谓的规则，即是知识，专家系统的建立依赖于知识库的 完备性，知识库的完备性又取决于审计记录的完备性与实时性。 由于专家系统的建立依赖于知识库，建立一个完善的知识库是很困难的，这是专家 系统当前所面l 临的一大不足。另外，由于各种操作系统的审计机制也存在差异，针对不 同操作系统的入侵检测专家系统之间的移植性问题也十分明显。 ( 3 ) 入侵签名分析 入侵签名分析采用与专家系统相同的知识获取方法，但在检测时对这些关于入侵行 为的知识的使用方式则不同。专家系统把知识表示成规则，检测时，对系统审计数据记 录进行抽象处理，然后再看是否符合规则，判断入侵行为。而入侵签名分析则把获取的 入侵攻击的知识翻译成可以在系统审计时直接发现的信息，这样就不像专家系统那样需 要处理大量的数据，从而大大提高了检测效率。 这种方法的缺陷和所有基于知识的检测方法一样，即需要经常为新的攻击方法更新 知识库。一种攻击及其变种的各种特征都需要用对应的签名表示出来。这样，每一种攻 击手段都可能具有多个入侵签名。另外，由于对不同的操作系统的具体攻击方法可能不 同，以及不同系统的审计机制也可能不同，所以对入侵签名知识库的构造和更新维护上 存在定难度，而且工作量也很大。 ( 4 ) 状态迁移分析 状态迁移分析是一种使用状态迁移图来表示和检测入侵的方法。通常入侵行为是由 攻击者执行的一系列的操作，这些操作可以使系统从某些初始状态迁移到一个危及系统 安全的状态。初始状态对应于入侵开始前的系统状态，而危及系统安全的状态则是指对 应于己成功入侵时刻的系统状态。在这两个状态之问则可能有一个或多个中间状态的迁 移。在初始状态和危及系统安全的状态中，主要是分析在这两个状态之间的关键动作。 状态迁移分析的不足：能够检测的入侵形式简单；事件分析的复杂度高；对不能由 审计事件表达的入侵无法检测；对特定状态断言的评估，要用到一些审计日志中所能提 供的系统或用户的有关信息，如用户权限等。因而要求推理引擎必须实时同目标主机进 行通信以获取所需信息。 ( 5 ) 统计的方法 统计方法是产品化的入侵检测系统中常用的方法，它通常用于异常检测。统计方法 是一种较成熟的入侵检测方法，它使得入侵检测系统能够学习主体的日常行为，将那些 与正常活动之间存在较大统计偏差的活动标识为异常活动。 该方法由于以成熟的概率统计理论作为基础，所以在应用上很容易被采用，但是也 西安科技大学硕士学位论文 存在着明显的不足：统计方法需要分析大量的审计数据，当入侵行为对审计记录的影响 非常小时，即使该行为具有明显的特征，也不能被检测出来；检测的阀值难以确定，阀 值过低则虚警率就会提高，这样会影响系统的正常工作，阀值过高则漏警率就会升高， 不能有效检测到入侵行为，这样对系统的入侵行为就不能适时制止。 ( 6 ) 神经网络 1 5 1 神经网络是发展比较成熟的理论，而且在很多领域都得到了广泛的应用。这种方法 对用户行为具有学习和自适应功能，能够根据实际检测到的信息有效地加以处理，并作 出入侵可能性的判断。利用神经网络所具有的识别分类和归纳能力，可以使入侵检测系 统适应用户行为特征的可变性。从模式识别的角度来看，入侵检测系统可以使用神经网 络来提取用户行为的模式特征，并以此创建用户的行为特征轮廓。总之，把神经网络引 入到入侵检测系统中，能很好地解决用户行为的动态特征，以及搜索数据的不完整性、 不确定性所造成的难以精确检测的问题。 ( 7 ) 数据挖掘【1 6 】 数据挖掘是指从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含 在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。更广义的定义认 为：数据挖掘是指在一些事实或观察数据的集合中寻找模式的决策支持过程。数据挖掘 过程一般包括数据采集、数据预处理、数据开采以及知识的评价和呈现。 由于入侵检测的本质特点是分类，这样数据挖掘的技术优势在该领域也得到了充分 发挥。可用于入侵检测领域的有关算法中，如关联规则、序列模式发现、粗糙集、聚类 等算法。但数据挖掘在入侵检测中的应用还不是很成熟，还需进一步研究。 ( 8 ) 免疫学【1 7 j 自然免疫系统具有区分自身的细胞和外来的细胞或分子的能力，这就是通常所说的 区分自身与异己的能力。由于免疫系统的独特性能，使得采用免疫学方法的入侵检测系 统同样拥有着很多的优势，主要表现在多样性、容错性、分布性、动态性、自管理性和 自适应性等方面。 采用免疫学的入侵检测系统其检测的虚警率会很低，但会有漏警现象的发生。由于 这种技术在实现上存在一定的难度，所以只是处于理论研究阶段，离真正的实用阶段还 有相当大的差距。 2 5 本章小结 本章从入侵检测的定义出发，对入侵检测系统的功能、检测过程、部署作了简要的 阐述，并对于入侵检测系统的分类和入侵检测算法做了较为详细的分析。通过本章对于 入侵检测系统的宏观分析，将为以后章节的算法分析和s n o r t 系统分析等奠定一定的理 论基础。 3 模式匹配算法的研究与改进 3 1 模式匹配概述 模式匹配算法的研究与改进 3 1 1 模式匹配的概念 模式匹配是指：已知一长度为n 的文本字符串t i t l t 2 t n 和一长度为m ( m n ) 的模式字符串p = p l p 2 p 。，看t 中是否存在长度为m 的子串。模式匹配就是将收集 到的信息与已知的网络入侵和系统误用数据库进行比较，从而发现违背安全策略的行 为。该过程可以很简单( 如通过字符串匹配以寻找一个简单的条目或指令) ，也可以很 复杂( 如利用正规的数学表达式来表示安全状态的变化) 。模式匹配系统主要是用一定 的模式描述来提取攻击的主要特征，其基本任务就是把存放在入侵检测规则集中的己知 入侵模式与系统正在检测的数据包或者重构的t c p 流中的文本进行匹配，如果匹配成 功，则可以断定发生了入侵。这个过程是不断循环前进的。基于模式匹配检测方法的入 侵检测系统是由入侵检测领域的大师k u m a r 在1 9 9 5 年提出的，目前，模式匹配己成为 入侵领域中最广泛的检测手段和机制之一。 3 1 2 模式匹配原理 首先，k u m a r 提出了入侵信号的层次性概念。依据底层的审计事件，可以从中提取 出高层的事件；由高层的事件构成入侵信号，并依照高层事件之间的结构关系，划分入 侵信号的抽象层次并对其进行分类。其次，k u m a r 将入侵信号分成四个层次，每一层对 应相应的匹配模式【”j 。即： ( 1 ) 存在模式 这种入侵信号表示只要存在这样一种审计事件就足以说明发生了入侵行为或入侵 企图，它所对应的匹配模式称为存在模式( e x i s t e n c ep a t t e r n ) 。存在模式可以理解为在一 个固定的时间对系统的某些状态进行检查，并对系统的状态进行判定。这种状态检查可 以是查询特殊文件的特殊权限、查找某个特定文件是否存在、文件内容格式是否符合规 则等，通过这种检查来寻找入侵者留下的蛛丝马迹。 在具体的实现中很难实现对所有入侵信号进行模式匹配，一般只是部分实现。由于 存在模式是很重要的一种匹配模式，尤其是当攻击者破坏了系统的审计数据导致提交的 审计数据无法正常反映当前真实状态的时候，通过主动的查询可以起到很好的作用。 ( 2 ) 序列模式 这类入侵是由一些按照一定顺序发生的行为所组成的，它具体可以表现为一组事件 西安科技大学硕士学位论文 的序列。其对应的匹配模式就是序列模式( s e q u e n c ep a t t e r n ) ，这种入侵的审计事件可以 表示为在图形中某个方向上一串连续的峰值。在序列模式中，事件的过程时间是由在这 个流里面已经发生过的事件所决定的。序列模式在检测入侵时需要特别关注以下两点： 间隔：事件间的间隔为x ，左右带有一个误差。这就表明在这种情况下，在一个 事件发生后，下一个事件发生的时间不会早于x ，也不会晚于x + 。 持续时间：事件存在和发生的时间不会超过、也不会少于每个时间段。 ( 3 ) 规则表示模式 规则表示模式( r e g u l a re x p r e s s i o n sp a t t e r n s ) 是指用一种扩展的规则表达式方式构造 匹配模式，规则表达式是由用a n d 逻辑