（计算机应用技术专业论文）基于网络的入侵检测系统中字符串匹配算法的应用研究.pdf

东北大学硕士学位论文摘要 基于网络的入侵检测系统中字符串匹配算法的应用研究 摘要 随着计算机及网络技术的飞速发展，当越来越多的公司及个人成为i n t e r n e t 用户 后，计算机网络安全作为一个无法回避的问题呈现在人们面前。用户传统上采用防 火墙作为网络安全的第一道防线，而随着攻击者知识的曰趋成熟，攻击工具与手法 的日趋复杂，单纯的防火墙已经无法保护网络安全，必须采用一种纵深、多样的手 段。 在这样的背景下，自九十年代以来，入侵检测一直是一个非常活跃的研究领域。 入侵检测系统( i d s ，i n t r u s i o nd e t e c t i o ns y s t e m ) 作为一种检测工具一一使计算机和孵 络系统免遭非法攻击破坏的重要部件，应运而生。 由于近年来网络以令人难以置信的速度向前发展，网络技术日新月异，大型网 络以及千兆以太网的出现，使目前的网络入侵检测系统缀难跟上网络快速发展的步 伐，传统的入侵检测方法面临严峻挑战。 本文首先介绍了入侵检测系统的模型、组成和分类等问题，然后，介绍了目前 最为常用的著名开源网络入侵检测系统s n o r t ，分析了它的各个组成部分。在此基础 上，本文将注意力集中于各种模式匹配算法在网络入侵检测系统中的应用，这特 定的领域，介绍了单模式匹配的各种经典算法，又结合当前的模式匹配算法的发展， 介绍了各种多模式匹配算法。本文选取了a h o c o r a s i c k 算法、 a h o c o r a s i c kb o y e r - m o o r e 算法、改进的w um a n b e r 算法、s f k 算法等当前比较先 进的四种多模式匹配算法，应用于基于s n o r t 的网络入侵检测系统中，并设计了组 测试，来比较这四种算法在本地网络下的入侵检测系统中的时间和空间效率。绘出 了分析比较结论，且这个结论是可以指导在不同的网络和资源环境下，如何选择入 侵检测系统中的模式匹配算法。 最后结合自己的研究成果，提出了入侵检测的发展趋势及进一步研究的方向。 关键词：入侵检测；算法分析：模式匹配；字符串匹配 东北大学硕士学位论文 a b s t r a c t r e s e a r c ha n di m p l e m e n t a t i o no fs t r i n gm a t c h i n g a l g o r i t h mi nn e t w o r k i n t r u s i o nd e t e c t i o ns y s t e m ( n i d s ) a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e ra n dn e t w o r kt e c h n o l o g y , m o r ea n dm o r e c o m p a n i e sa n di n d i v i d u a l sa r es u r f i n gt h ei n t e r a c t n e t w o r ks e c u r i t yb e c o m e sa nu n a v o i d a b l e p r o b l e mt h a tp e o p l eh a v et of a c e t r a d i t i o n a l l y , f i r e w a l l sa r et h ef i r s tl i n eo fd e f e n s e ，h o w e v e r w i t hm o r ep o w e r f u lh a c k i n gt o o l sa n dm o r ec o m p l e xi n t r u s i o nm e t h o d s ，f i r e w a l t sa l o n ec a n n o t p r o t e c tt h en e t w o r k u n d e rs u c hc i r c u m s t a n c e s ，d e e p e rl e v e la n a l y s i sa n dm u l t i p l e m e t h o d sa r er e q u i r e d s i n c et h e1 9 9 0 s ，i n t r u s i o nd e t e c t i o nh a sb e e na na c t i v er e s e a r c hf i l e d a sa ni m p o r t a n t c o m p o n e n to fd e t e c t i n gi l l e g a la c t i v i t i e sa n dp r e v e n t i n gc o m p u t e ra n dn e t w o r kf r o m d e s t r u c t i o n , i n t r u s i o nd e t e c t i o ns y s t e ml i d s ) e m e r g e d t h eu n b e l i e v a b l er a p i ds p e e dw i t hw h i c hc o m p u t e rn e t w o r kt e c h n o l o g yi sd e v e l o p i n g a n dt h ee m e r g e n c eo fg i g a b y t ee t h e m e th a v em a d et h ec u r r e n ti d s sf a l lb e l l i n dt h e d e v e l o p m e n to fn e t w o r kt e c h n o l o g y t r a d i t i o n a li n t r u s i o nd e t e c t i o nm e t h o d sa r ef a c i n g s e r i o u sc h a l l e n g e t h i sp a p e ri n t r o d u c e si s s u e so nt h em o d e lo fi d s o r g a n i z a t i o na n dc l a s s i f i c a t i o n a n d t h e n ，i n t r o d u c e s ，u pt od a t e ，t h em o s tf a m o u so p e ns o u r c ei d ss o f t w a r e s n o r t ，a n da n a l y s e s t h ec o m p o n e n t so fs n o r t a f t e rt h a tt h i sp a p e rf o c u s e so na p p l y i n gd i f f e r e n ts t r i n gs e a r c h i n g a l g o r i t h m si ni d s f i r s t l y , i n t r o d u c e st h ec l a s s i c a ls i n g l ep a t t e r nm a t c h i n ga l g o r i t h m s ，a n d s e c o n d l ya c c o r d i n gt ot h ed e v e l o p m e n to ft h ep a r e r nm a t c h i n ga l g o r i t h mi t s e l f , i n t r o d u c e s s o m em u l t i p a t t e mm a t c h i n ga l g o r i t h m s t h i r d l y , t h i sp a p e rc h o o s e sf o u rm u l t i p a t t e r n m a t c h i n ga l g o r i t h m s o u to fm o s tp o p u l a ro n e s ，t h o s ea r ea h o c o m s i c ka l g o r i t h m a h o c o r a s i c k _ b o y e r m o o r ea l g o r i t h m m o d i f i e dw um a n b e ra l g o r i t h ma n ds f ka l g o r i t h m t h e na p p l i e st h e s ef o u ra l g o r i t h m si ni d sb a s e do ns n o r t ，a n dd e s i g n sat e s tt oc o m p a r et h e e f f i c i e n c yo ft h e m l a s t l y , t h i sp a p e rg i v e st h er e s u l to ft h et e s t ，t h i sr e s u l tc a ng i v es o m e a d v i c e so nh o wt oc h o o s ep a n e mm a t c h i n ga l g o r i t h mi ni d s a tt h ee n do ft h i sp a p e r , ad i s c u s s i o no ft h et r e n do fd e v e l o p m e n to ni n t r u s i o nd e t e c t i o n i sg i v e n k e y w e r d s ：i n t r u s i o nd e t e c t i o n ；a l g o r i t h ma n a l y s i s ；p a t t e r nm a t c h i n g ；s t r i n gm a t c h i n g - m - 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取得 的研究成果除加以标注和致谢的地方外，不包含其他人已发表或撰写过 的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同 工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表 示谢意。 学位论文作者签名： e 蒋t 蝴氓7 国 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位 论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复固j 件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文 的全部或部分内容编入有关数据库进行检索、交流。 学位论文作者签名：夕蒙竣召弋 签字目期：2 僻，留。，罩 导师签名：超拍皖 签字日期：。，p 东北犬学硕士学位论文 第一章引言 第一章引言 1 1 研究背景 计算机网络的日益普及使得电子商务等基于网络的应用得到了迅猛发展，越来 越多的企业机构乃至政府机关都选择这一方式来促进自己的发展。在当今这个竞争 激烈的社会，网络不仅为我们提供了最新的资讯，而且也成为各个商家和组织机构 扩大自己的宣传力度，增强自身竞争能力的必要手段。 但是随着计算机网络技术的普及与发展，各个单位在得益于网络的同时，也使 得自身暴露于各种基于髓络的攻击之下，上网的数据遭到了不同程度的破坏，数据 的安全性和自身的利益都受到了严重的威胁。这种威胁与攻击不仅仅来自于企业内 部网以外的网络黑客或竞争对手，企业内部心怀不满的员工由于熟悉网络的运行机 制，有一定的授权，并掌握一定的密码，而且位于舫火墙之后，使得他们进行入侵 或破坏更具有隐秘性和得心应手，不必掌握很多的黑客技术就能够对系统造成巨大 的损失。 国内乃至全世界的网络安全形势都非常严峻。1 9 9 8 年美国计算机安全协会( c s i ) 与联邦调查局( f b i ) 对5 2 0 家公司、政府机构、财务机构及大学进行了一项计算机安 全与犯罪调查，结果表明：6 4 的被调查者声称在过去的1 2 个月当中遭受到计算机 安全的威胁，这一结果比1 9 9 7 年调查结果豹4 8 提高了1 6 ，比1 9 9 6 年的4 2 提 高了2 2 。虽然大多数的被调查者承认由于计算机安全问题遭受财务损失。但能够 计算出损失的仅有4 6 。2 4 1 家机构总损失高达1 3 6 , 8 2 2 ，0 0 0 美元，比1 9 9 7 年的 1 0 0 ，1 1 5 ，5 5 5 美元上升了3 6 。被检测到的安全问题包括一系列不同的严熏攻击，例 如，4 4 是雇员未授权的接入，2 5 是拒绝服务攻击，2 4 是系统被从外部攻击，1 8 是内部信息被窃取，1 4 是数据或网络被破坏n 。 而且，随着黑客知识的不断提高，各种黑客工具的也相继开发出来。这些工具 操作简单，不需要有很多的计算桃知识，对网络架构也不需要有很深的了解，只要 对这些工具稍加熟悉，就能缀轻易地攻击网络上的其它计算枫，或者盗取计算机上 的秘密，对网络安全构成威胁。随着软件科技的日新月异，网络攻击者的知识门槛 越来越低，而攻击手段也越来越多样化、复杂纯。网络安全藤临着越来越严竣的考 验。 1 2 研究意义 近年来流行的结合包过滤、应用层网关及虚拟网技术的防火墙，虽然防止了许 多如常见的协议实现漏洞、源路由、地址仿冒等攻击手段，提供安全的数据通道， 东北大学硕士学位论文第一章引言 但它不能对付层出不穷的应用层后门、应用设计缺陷和通过加密通道的攻击。就目 前来说，要想完全避免安全事件的发生并不太现实，网络安全入员所能做的，只能 是尽力发现和察觉入侵及入侵企图，以便采取有效的措施来堵塞漏洞和修复系统。 因此，深入研究分析入侵技术，设计实现具有入侵检测功能的系统工具，对提高政 府网络与军事网络的安全性具有重要意义。 1 。3 本文的研究内容 本文主要在分析开放源码入侵检测系统s n o r t 的基础上，对其检测引擎采用的模 式匹配算法进行了深入研究，分析了现有的各个经典单模式字符串匹配和多模式字 符串匹配算法，并选取了目前比较高教的a h o c o r a s i c k 算法、 a h o c o r a s i c kb o y e r - m o o r e 算法、改进的w u m a n b e r 算法和s f k 算法等四种多模式 字符串匹配算法，在基于s n o r t 检测引擎的入侵检测系统中实现这四种多模式字符串 匹配算法。然后，对选定的各种匹配算法进行测试。观察每种算法随着网络数据量 和规则数的变化，时间和空间的需求变化。用得到的测试结果，分析这四种算法的 实际效率。 本文的组织结构如下： 第一章引言，主要介绍了本文的研究背景及研究内容。 第二章入侵检测系统概述，包括入侵检测领域的详细介绍，对入侵检测系统进 行分类，筒述了国际标准化组织对入侵检测系统的标准化努力和入侵检测的发展趋 势。重点介绍了最著名的开放源码入侵检测系统s n o r t ，分析了s n o r t 检测引擎的各个 组成部分，并从代码级的角度分析了s n o r t 检测引擎的具体实现方法。 第三章字符串匹配算法概述，首先引入了单模式字符串匹配、多模式字符串匹 配的问题定义以及算法的评价机制，分祈了现有的各个经典算法。其中革模式字符 串匹配算法有b r u t e f o r c e 算法、k m p 算法、b o y e r - m o o r e 算法和k a r p - r a b i n 算法； 多模式字符串匹配算法有b r u t e f o r c e 多模式扩展、a h o c o r a s i c k 算法、 a h o c o r a s i c kb o y e r m o o r e 算法和改进的w m m a n b e r 算法。此外还介绍了一磐现有 的其它算法，如e x c l u s i o n b a s e d 算法、m u l t i l 算法和b n d m 算法。 第四章字符串匹配算法在入侵检测系统中的应用，本章酋先从原理的角度介绍 在开放源码入侵检测系统s n o r t 中如何通过分析数据包有效载荷( p a y l o a d ) 进行攻击 检测，介绍了s n o r t 的勰刘构成以及要将多模式字符串匹配算法应用于s n o r t 系统时， 所要做的规则结构改进。之后，简介了基于s n o r t 榆测引擎的入侵检测系统的具体建 立方法以及相关的工具。最后，本文选取了a h o c o r a s i c k 算法、 a h o c o r a s i c kb o y e r - m o o r e 算法、改进的w u m a n b e r 算法和在s n o r t 系统中可应用的 另一种算法s f k ，共四种算法，并在基于s n o r t 检测引擎的入侵检测系统中实现这四 种字符串匹配算法。本文设计了一组测试以分析这四种算法的效率，并给出结论。 东北大学硕士学位论文第一章引言 第五章全文总结及未来工作展望，对全文进行了总结，并提出了今后的研究力 向及研究工作。 东北大学硕士学位论文第二章入侵检测系统概述 第二章入侵检测系统概述 2 1 入侵检测系统0 d s ) 介绍 入侵检测：顾名思义，便是对入侵行为的发觉。它通过从计算机网络或计算机 系统中的若干关键点收集信息并对其进行分析，从中发现网络或系统中是否有违反 安全策略的行为和被攻击的迹象。入侵检测的软件与硬件的组合便是入侵检测系统 ( d s ，i n t r u s i o nd e t e c t i o ns y s t e m ) 埋l 。与其他安全产品不同的是，入侵检铡系统需 要更多的智能，它必须可以将得到的数据进行分析，并得出有用的结果。i d s 一一方 面检测未经授权的对象对系统的入侵，另一方面还监视授权对象对系统资源的非法 操作。一个合格的入侵检测系统能大大的简化管理员的工作，保证网络安全的运行 【3 。 传统的安全技术都集中在系统自身的加固和防护上。比如，在网络出口配置防 火墙、在信息传输和存储中采用加密技术、使用集中的身份认证产品等。 然而，单纯的防护技术有许多方面的闯题： ( 1 ) 单纯的防护技术容易导致系统的盲目建设。这种盲目包括两方面：方面 是不了解安全威胁的严峻和当前的安全现状；另一方面是安全投入过大而又没有真 正抓住安全的关键环节，导致不必要的浪费。 ( 2 ) 保证信息系统安全的经典手段是“存取控制”或“访问控制”，这种手段 在经典的以及现代的安全理论中都是实行系统安全策略的最重要的手段。但迄今为 止，软件工程技术还不可能百分之百地保证任何一个系统( 尤其是底层系统) 中不 存在安全漏洞。而且，无论在理论上还是在实践中，试图彻底填补一个系统的安全 漏洞都是不可能的，也还没有一种切实可行的办法解决合法用户在通过“身份鉴别” 或“身份认证”后滥用特权的问题。 ( 3 ) 防火墙策略对于防范黑客有其明显的局限性。表现在： ( a ) 防火墙的并发连接数限制容易导致拥塞或者溢出。由于要判断、处理流经 防火墙的每一个包，因此防火墙在某些流量大、并发请求多的情况下，很容易导致 拥塞，成为整个网络的瓶颈，影响性能。而当防火墙溢出的时候，整个防线就形间 虚设，原本被禁止的连接也能从容通过了。 ( b ) 防火墙对服务器合法开放的端口的攻击大多无法阻止。某些情况下，攻击 者利用服务器提供的服务进行缺陷攻击。例如利用开放了3 3 8 9 端口取得没打过s p 补丁的w i n 2 k 的超级权限、利用a s p 程序进行脚本攻击等。由于其行为在防火墙一+ 级 看来是“合理”和“合法”的，因此就被简单地放行了。 ( c ) 防火墙对待内部主动发起连接的攻击一般无法阻止。防火墙的安全控制只 一4 一 东北大学硕士学位论文第二章入侵检测系统概述 能作用于外对内或内对外，即：对外可屏蔽内部网的拓扑结构，封锁外部嘲上的用 户连接内部网上的重要站点或某些端口，对内可屏蔽外部危险站点，但它很难解决 内部网络控制内部人员的安全问题，即防外不防内。而据权威部门统计结果表明， 网络上的安全攻击事件有7 0 以上来自内部攻击。 防火墙只实现了粗粒度的访问控制，且不能与企业内部使用的其它安全机制( 如 访问控制) 集成使用，这样，企业就必须为内部的身份验证和访问控制管理维护单 独的数据库。 针对日益严熏的网络安全问题和越来越突出的安全需求，“可适应网络安全模 型”和“动态安全模型”应运而生，而入侵检测系统在动态安全模型中占有重要的 地位。 入侵检测作为一种积极主动地安全防护技术，提供了对内部攻击、外部攻击和 误操作的实时保护，在网络系统受到危害之前拦截和响应入侵。从网络安全立体纵 深、多层次防御的角度出发，入侵检测理应受到人们的高度重视，这从国外入侵检 测产品市场的蓬勃发展就可以看出。在国内，随着上网的关键部门、关键业务越来 越多，迫切需要具有自主版权的入侵检测产品。但现状是入侵检测还不够成熟，处 于发展阶段，只是在防火墙中集成较为初级的入侵检测模块，所以对入侵检测系统 的研究是很重要的。 具体来说，入侵检测系统的主要功能有： ( 1 ) 监测并分析用户和系统的活动； ( 2 ) 核查系统配置和漏洞； ( 3 ) 评估系统关键资源和数据文件的完整性； ( 4 ) 识别己知的攻击行为； ( 5 ) 统计分析异常行为： ( 6 ) 通过操作系统的日志管理，识别违反安全蔗略的用户活动。 2 2 入侵检测系统分类 研究一种技术或者系统的基本方法之一是分类，分而治之也是人类学习的种 习惯。对于入侵检测技术而言，也是如此。随着入侵检测技术的发展，到目前为止 出现了很多类型的i d s ，不同的i d s 具有不同的特征，也体现了对i d s 理解的不同 侧面。根据不同的分类标准，i d s 可分为不同的类别。要考虑的因素( 分类依据) 主要 有：数据源、入侵事件生成、事件处理、检测方法等。 2 2 1 根据数据源分类 i d s 要对其所监控的网络或主机的当前状态做出判断，并不是凭空臆测，它要 以原始数据中包含的信息为基础做出判断。按照原始数据的来源，可以将i d s 分为 一5 一 东北大学硕士学位论文 第二章入侵检测系统概述 基于主机的入侵检测系统( h i d s ，h o s tb a s e di d s ) 、基于网络的入侵检测系统( n i d s ， n e t w o r kb a s e di d s ) 和基于分布式的入侵检测系统( d i d s ，d i s t r i b u t e di d s ) 。 2 2 1 1基于主机的入侵检测系统( i 咀d s ) h i d s 主要用于保护运行关键应用的主机。主机型入侵检测系统往往以系统日 志、应用程序日志等作为数据源，当然也可以通过其他手段( 如监督系统调用) 从 所在的主机收集信息进行分析】。主机型入侵检测系统保护的一般是所在的系统， 其检测的目标主要是主机系统和系统本地用户，检测原理是根据主机的审计数据和 系统日志发现可疑事件。检测系统可以运行在被检测的主机或单独的主机上。其系 统结构图如图2 1 所示。 图2 1 基于主机的i d s 的系统结构 f i g2 i h i d s sa r c h i t e c t u r e h i d s 的优点有： ( 1 ) 能确定攻击是否成功。主机是攻击的目的所在，所以h i d s 使用含有已发 生的事件信息，可以比n i d s 更加准确地判断攻击是否成功。 ( 2 ) 监控粒度更细。h i d s 监控的目标明确，视野集中，它可以检测一些n i d s 不能检测的攻击。它可以很容易地监控系统的一些活动，如对敏艨文件、目录、程 序或端口的访问等。 ( 3 ) 配鼍灵活。每一个主机有自己的h i d s ，用户可根据自己的实际情况对其 进行配置，检测待定主机的活动。 ( 4 ) 可用于加密以及交换的环境。h i d s 非常适合于加密和交换环境，虽然加 密和交换设备加大了n i d s 收集信息的难度，但由于h i d s 安装在要监控的主机上， 所以根本不会受这些因素的影响。 ( 5 ) 对网络流量不敏感。h i d s 一般不会因为网络流量的增加面丢掉对网络行 为的监测。 ( 6 ) 不需要额外的硬件。 h i d s 的主要缺点是：它会占用主机的资源；在服务器上产生额外的负载；缺乏 一6 一 东北大学硕士学位论文第二章入侵检测系统概连 平台支持；可移植性差等，因而其应用范围受到了严格的限制。 2 2 1 2 蒸于网络的入侵检测系统( n d s ) 随着计算机网络技术的发展，单纯依靠主机审计信息进行入侵检测难以适应网 络安全的需要，于是人们提出了n i d s 体系结构。这种检测系统是根据网络流量，网 络数据包和网络协议来进行入侵检测的，基本结构如图2 2 所示。n i d s 一般放在比 较重要的网段内，使用专门的软硬件在网卡为混杂模式下截获数据包，对每个数 据包进行特征分析1 5 。如粜数据包与内置数据库中的某条规则相吻台，n i d s 就会发 出安全响应。 n i d s 的数据来源主要包括： ( 1 ) 简单网络管理协议( s n m p ，s i m p l en e t w o r km a n a g e m e n t p r o t o c 0 1 ) 信息： s n m p 的管理信息库( m i b ，m a n a g e m e n ti n f o r m a t i o nb a s e ) 是专门存放网络管理的地 方，它包含了网络的配置信息以及大量的性能和记账信息。s n m p 目前有3 个版本， 前两个版本缺乏安全性。目前，很多的n i d s 开始利用s n m p v 3 作为安全审计的数 据来源。 ( 2 ) 网络数据包m e t w o r kp a c k e t s ) ：随着集中式计算方式向分布式计算方式的转 移，越来越多的计算活动发生在网络上。通过捕获网络数据包，可以防止基于包序 列攻击和包内容攻击。居前，几乎所有的n i d s 都采用捕获网络数据包的方法。 ( 3 ) 其它：防火墙的审计信息也常成为n i d s 的重要辅助信息，用来分析入侵的 过程。包过滤和应用代理服务器是网络的必经之路，入馑者不注意就会留下入侵痕 迹。通过分析代理的日志就能发现异常现象。比如多次网络连接失败，就可能被视 为入侵行为。 n i d s 主要有以下优势： ( 1 ) 拥有较低的成本。 图2 2 基于网络的i d s 的体系结构 f i g 2 2 n i d s sa r c h i t e c t u r e 网络数据流 东北大学硕士学位论文 第二章入侵检测系统概述 ( 2 ) 视野更宽。可以检测一些主机检测不到的攻击，如泪滴( t e a rd r o p ) 攻击，基 于网络的s y nf l o o d 等。还可以检测到不成功的攻击和恶意企图。 ( 3 ) 攻击者不易转移证据。n i d s 使用正在发生的网络通信进行实时攻击检测， 所以攻击者无法转移证据。被捕获的数据不仅包含攻击的方法，而且还包含可识别 黑客身份和对其进行起诉的信息。许多黑客都熟知审计记录，知道如何操纵这些文 件掩盖他们的作案痕迹，也知道如何阻止需要这些信息的h i d s 去检测入侵。 ( 4 ) 检测速度快。基于网络的检测器通常能在微秒或秒级发现问题。而大多数 h i d s 产品则要依靠对最近几分钟内审计记录进行分析。 ( 5 ) 能够做到实时检测和响应，一旦发现入侵行为就立即中止攻击，而且可以 发现未成功的入侵及时进行终止。 ( 6 ) 隐蔽性好。一个网络上的检测器不像一个主机那样显而易见和易被存取， 因而也不那么容易遭受攻击。基于网络的检测器不运行其他的应用程序，不提供网 络服务，可以不响应其他计算机两只是单向捕获数据包，因此可以做得比较安全， 可以检测到来成功的入侵。 ( 7 ) 较少的检测器。由于使用一个检测器就可以保护一个共事的网段，所以不 需要很多的检测器。相反地，如果基于主机，则在每个主机上都需要一个代理，这 样的话，费用昂贵而且难于管理。但是，如果是在交换环境下，就需要特殊的秀已置。 ( 8 ) 操作系统无关性。n i d s 作为安全监测工具，与主机的操作系统无关。与 此相比，h i d s 必须在特定的、没有遭到破坏的操作系统中才能正常工作，生成有用 的结果。 n i d s 的不足主要有： ( 1 ) 只检套它直接连接网段的通信，不能检测在不同网段的网络包。在交换以 太网的环境中就会出现检测范围的限制，而安装多台网络入侵检测系统的传感器会 使部署整个系统的成本大大增加。 ( 2 ) 尽管n i d s 检测到入侵，但没有可靠方式把数据包的信息和实际用户对应 起来，难以定位入侵者。 ( 3 ) 随着网络技术的发展，以前的广播网络向交换式网络发展，原有广播网络 被切割成非常小的网络，这样依赖于网络嗅探器( s n i f f e r ) 获得检测数据的方法受到极 大的限制，并且在交换环境下难以配置。 ( 4 ) 网络数据包加密处理有利于数据传输的安全，但是限制了n i d s 从网络数 据包中发现异常数据，而加密数据包的方式很有可能被入侵者使用，以便隐藏入侵 踪迹。 2 2 1 3 基于分布式的入侵检测系统( d i d s ) 随着网络结构的日益复杂化、大型化，入侵检测也遇到了许多新的课题。如： ( 1 ) 系统的弱点或漏洞分散在网络中各个主机上，这些弱点有可能被入侵者用 - g - 东北大学硕士学位论文 第二章入侵检测系统概述 来攻击网络，而依靠单一的h i d s 或n i d s 不会发现入侵行为。 ( 2 ) 入侵行为不再是单一的行为，而是表现出相互协作入侵的特点。例如分布 式拒绝服务攻击( d d o s l 。 ( 3 ) 入侵检测所依靠的数据来源分散化，收集原始的检测数据变得困难。如交 换型网络使监听网络数据包受到限制。 ( 4 ) 网络的传输速度加快，网络的流量增大，集中处理原始数据的方式往往会 造成检测瓶颈从而导致漏检。 ( 5 ) 多个系统中运行多种独立的i d s ，他们之间并不能建立起有效沟通，这就 使得入侵检测本身的功能不能很好的延伸。 在这种情况下，各种基于协同工作的分布式入侵检测系统方案就被不断提出， 并得到了一定的发展。d i d s 系统通常由数据采集构件、通信传输构件、入侵检测分 析掏件、应急处理构件和管理构件组成。基本结构如图2 3 所示。这些构件可根据 不同情形组合产生出的新的构件一一例如数据采集构件和通信传输构件组合，新的 构件能完成数据采集和传输两种任务。所有的这些构件组合起来就变成了一个i d s 。 同时，构件按网络配置情况和检测需要可以安装在单独的一台主机上或者分散在劂 络中不同位置，甚至一些构件能够单独地检测本地入侵，并提供入侵检测的局部结 果信息到入侵检测管理中心。备构件的功能如下： ( 1 ) 数据采集构件。收集检测使用的数据，可驻留在网络中的主机上或安装在 网络中的监测点。需要通信传输构件的协作，将收集的信息传送到入侵检测分析构 件处理。 ( 2 ) 通信传输构件。传递检测的结果、处理原始数据和控制命令，一般需要和 其他构件协作完成通信功能。 ( 3 ) 入侵检测分析构件。根据检测的数据，采用检测算法，对数据进行误用分 析和异常分析，产生检测结果、报警和应急信号。 ( 4 ) 应急处理构件。按入侵检测的结果和主机、网络的实际情况，做出决策判 断，对入侵行为进行响应。 ( 5 ) 用户管理构件。管理其它构件的配置，产生入侵总体报告，提供用户和其 它构件的管理接口，图形化工具或者可视化的界面，供用户查询、配置入侵检测系 统情况等。 d i d s 系统结构对大型网络豹安全是需要的，它能够将基予主机和网络的系统结 构结合起来，检测所用到的数据源丰富，可以克服前两者的弱点。但由于是分布式 的结构，所以带来了新的弱点。如，传输安全事件过程中增加通信的安全问题处理， 管理复杂度增加等。 东北犬学硕士学位论文第二章入侵检测系统概述 图2 3分布式入侵检测系统d i d s 系统结构 f i g2 3 d i d s sa r c h i t e c t u r e 2 2 2 根据检测方法分类 检测方法也就是数据分析方法。传统的观点是根据入侵行为的属性将其分为异 常( a n o m a l y ) 和误用( m i s u s e ) 两种，然后分别对其建立异常检测模型和误用检测模型。 2 2 2 1 异常检测模型( a n o m a l y d e t e c t i o nm o d e l ) 异常检测技术是利用统计的方法来检测系统的异常行为，它比误用检测采用了 更多的统计分析技术，需要建立目标系统及用户的正常活动模型，然后根据此模型 对系统和用户的实际活动进行审计，从而判断是否对系统产生了入侵行为。用于异 常入侵检测系统的技术有统计分析，神经网络等。 异常检测技术的优点是能够对未知的入侵行为进行预报。缺点是存在较大的误 报，所以对用户行为的建横是否准确以及对系统特征量的选择是否恰当，就显得很 重要。 异常检测也被称为基于行为的检测，基于行为的检测指根据使用者的行为或资 源使用状况来判断是否入侵。基于行为的检测与系统相对无关，通用性较强，甚至 有可能检测出以前未出现过的攻击方法，不像綦于知识的检测那样受已知脆弱憔的 限制。但因为不可能对整个系统内的所有用户行为进行全面的描述，况且每个用户 的行为是经常改变的，所以它的主要缺陷在于误检率很高，尤其在用户数目众多， 或工作目的经常改变的环境中。其次由于统计表要不断更新，入侵者如果知道某系 统在检测器的监视之下，就能慢慢地训练检测系统，以至于最初认为是异常的行为， 经一段时间训练后也被认为是正常的了。异常检测的模型如图2 4 所示。 一协一 查! ! 垄鲎堡主茔堡堕查 茎三皇堡垒型墨垫垫兰 图2 ，4 异常检测模型 f i g 2 4a n o m a l yd e t e c t i o nm o d e l 异常检测方法主要有以下两种： ( 1 ) 统计分析 概率统计方法是基于行为的入侵检测中应用最早也是最多的一种方法。首先， 检测器根据用户对象的动作为每个用户都建立一个用户特征表，通过比较当前特征 与已存储的以前特征，从而判断是否是异常行为。用户特征表需要根据审计记录情 况不断地加以更新。用于描述特征的变量类型宵： ( a ) 操作密度：度量操作执行的速率，常用予检测通过长时间平均觉察不到的异常行 为； ( b ) 审计记录分布：度量在最新纪录中所有操作类型的分布： ( c ) 范畴尺度：度量在一定动作范畴内特定操作的分布情况； ( d ) 数值尺度：度量那些产生数值结果的操作，如c p u 使用量，y o 使用量等。 这种方法的优越性在于能应用成熟的概率统计理论。但也有一些不足之处，如： 统计检测对事件发生的次序不敏感，也就是说，完全依靠统计理论可能漏检那些利 用彼此关联事件的入侵行为。其次，定义是否入侵的刿断阙值也比较困难。闽值太 低则漏检率提高，阙值太高则误检率提高。 ( 2 ) 神经网络 神经网络的引入为入侵检测系统的研究开辟了新的途径。由于它有很多优点， 如自适应性、自学习的能力。因此，在基于神经网络的入侵检测系统中，只要提供 系统的审计数据，它就可以通过自学习从中提取正常的用户或系统活动的特征模式， 而不必对大量的数据进行存取，精简了系统的设计。基于神经网络的检测方法具有 普遍性，可以对多个用户采用相同的检测措旖。神经网络适用于不精确模型，统计 方法主要依赖用户行为的主观设计，所以此时描述的精确度很重要，不然会引起大 量的误报。入侵检测系统可以利用神经网络的分类和识别能力，适用于用户行为的 一n 一 东北大学硕士挚位论文 第二章入侵检测系统概述 动态变化特征。但基于神经网络的入侵检测系统计算量大，将影响其实时性，可以 采用和其他的技术相结合来构造入侵检测系统。 2 2 1 2 2 误用检测模型( m i s u s ed e t e c t i o nm o d e l ) 误用检测模型主要通过攻击模式和攻击签名的形式来表达入侵行为，通过对己 知的系统缺陷漏洞和己知的入侵攻击手段来判断系统是否有入侵活动，其根据静态 的已知的签名集合来拦截网络中的数据流，如果发现某个数据包的特性与某个签名 匹配，那么就确定发现了入侵行为口1 8 】 9 】。用于误用检测系统的技术有专家系统、 特征分析方法、p e t r i 网以及状态转移分析等。 误用检测技术的优点是能够有针对性地来构造有效的入侵检测系统，其准确度 高，但它只能检测己知的入侵行为，不能检测未知的入侵行为，也不能检测己知入 侵行为的变种。误用检测技术的关键是入侵行为的表达、攻击签名的构造等。误用 检测模型如图2 5 所示。 图2 5 误用检测模型 f 遮2 5 m i s i i s cd e t e c t i o nm o d e l 误用检测也被称为基于知识的检测，它指运用己知攻击方法，根据己定义好的 入侵模式，通过判断这些入侵模式是否出现来检测。因为很大一部分的入侵是利用 了系统的脆弱性，通过分析入侵过程的特征、条件、排列以及事件问关系就能具体 描述入侵行为的迹象。这种方法由于依据具体特征库进行判断，所以检测准确度很 高，并且因为检测结果有明确的参照，也为系统管理员做出相应措施提供了方便。 主要缺陷在于与具体系统依赖性太强，不但系统移植性不好，维护工作量大，而且 将具体入侵手段抽象成知识也很困难。并且检测范围受已知知识的局限，尤其是难 以检测出内部人员的入侵行为，如合法用户的泄漏，因为这些入侵行为并没有利用 系统脆弱性。 误用检测方法有以下几种： ( 1 ) 模式匹配 模式匹配就是将收集到的信息与己知的网络入侵和系统误用模式数据库进行比 东北大学硕士学位论文第二章入侵检测系统概述 较，从而发现违背安全策略的行为。该过程可以很简单，如通过字符串匹配发现一 个简单的条目或指令，也可以很复杂，如利用形式化的数学表达式来表示安全状态 的变化。模式匹配方法的一大优点是只需收集与入侵相关的数据集合，可以撼籍减 少系统负担，检测的准确率和效率比较高。 ( 2 ) 专家系统 专家系统是基于知识的检测中运用最多的一种方法。将有关入侵的知识转化威 i f - t h e n 结构的规则，即将构成入侵所要求的条件转化为i f 部分，将发现入侵后采取 的相应措施转化成t h e n 部分r i o 】。当其中某个或某部分条件满足时，系统就判断为入 侵行为发生。其中的i f - t h e n 结构构成了描述具体攻击的规则库，状态行为及其语义 环境可根据审计事件得到，推理机根据规则和行为完成判断工作。在具体实现中， 专家系统主要面临以下问题： ( a ) 全面性问题，即难以科学地从各种入侵手段中抽象出全面的规则化知识； ( b ) 效率问题，即所需处理的数据罴过大而且在大型系统上，如何获得实时连 续的审计数据也是个问题。 ( 3 ) 模型推理 模型推理是指结合攻击脚本推理出入侵行为是否出现。其中有关攻击者行为的 知识被描述为：i r 击者目的，攻击者达到此目的的可能行为步骤，以及对系统的特殊 使用等。根据这些知识建立攻击脚本库，每一脚本都由一系列攻击行为组成。检测 时先将这些攻击脚本的子集看作系统正面临的攻击。然后通过一个称为预测器的程 序模块根据当前行为模式，产生下一个需要验证的攻击脚本子集，并将它传给决策 器。决策器收到信息后，根据这些假设的攻击行为在审计记录中的可能出现方式， 将它们翻译成与特定系统匹配的审计记录格式。然后在审计记录中寻找相应信息来 确认或否认这些攻击。初始攻击脚本子集的假设应满足：易于在审计记录中识别，并 且出现频率很高。随着一些脚本被确认的次数增多，另一些脚本被确认的次数减少， 攻击脚本不断地得到更新。 ( 4 ) 状态转换分析 状态转换分析就是将状态转换图应用于入侵行为的分析。状态转换法将入侵过 程看作一个行为序列，这个行为序列导致系统从初始状态转入被入侵状态n ”。分析 时首先针对每一种入侵方法确定系统的初始状态和被入侵状态，以及导致状态转换 的转换条件，即导致系统进入被入侵状态必须执行的操作( 特征事件) 。然后焉状态转 换图来表示每一个状态和特征事件，这些事件被集成于模型中，所以检测时不需要 一个个地查找审计记录。但是，状态转换是针对事件序列分析，所以不善于分析过 分复杂的事件，而且不能检测与系统状态无关的入侵。 东j b 大学硕士学位论文 g _ a 章入侵检测系统概述 2 3 入侵检测系统的标准化 为解决入侵检测系统之间的互操作性，国际上的一些研究组织开展了标准化工 作，目前对i d s 进行标准化工作的育两个组织：c i d f ( c o m m o ni n t r u s i o nd e t e c t i o n f r a m e w o r k ) 阻引和i e t f ( i n t e m e te n g i n e e r i n gt a s kf o r c e ，i n t e m e t 工程任务组请i d w g ( i n t r u s i o nd e t e c t i o nw o r k i n gg r o u p ) 1 ”。 美国国防高级研究计划署( d a r p a ) 提出的建议是公共入侵检测框架。最早由 加州大学戴维斯分校安全实验室主持起草工作。1 9 9 9 年6 月，i d w g 就入侵检测出 台了一系列草案。但是，这两个组织提出的草案或建议目前还正处于逐步完善之中， 尚未被采纳为广泛接受的国际标准。不过，它们仍是入侵检测领域最有影响力的建 议，成为标准只是时间问题。 为了提高i d s 产品、组件及与其他安全产品之间的互操作性，d a r p a 和i e t f 的入侵检测工作组发起制订了一系列建议草案，从体系结构、a p i 、通信机制、语言 格式等方面规范i d s 的标准。