（计算机应用技术专业论文）入侵检测系统中的入侵分析技术研究.pdf

入侵检测系统中的入侵分析技术研究 中文摘要 入侵检测系统( i d s ) 是继“防火墙”、“信息加密”等传统安全保护方 法之后的新一代安全保障技术。近年来，随着商业化i d s 产品的不断开发， 入侵检测系统也逐渐发展普及。但是，复杂的网络环境和层出不穷的入侵攻击 手段，使得当前入侵检测系统普遍存在着较高的误报率和漏报率，实时检测速 度和实际要求也有很大的差距。同时，入侵防御系统( i p s ) 以及入侵管理系 统( i m s ) 等概念的提出也成为i d s 技术新的发展趋势，其功能也进一步加强 和泛化。作为网络安全防护的重要手段，入侵检测在很多方面，特别是入侵分 析技术上有待进一步深入研究。 本文介绍分析了传统入侵分析技术的特点和不足，重点对目前实用的商业 化i d s 产品中广泛使用的特征分析技术进行了研究，针对处理速度上的瓶颈， 比较分析了面向特征分析技术的模式匹配算法，提出了一种新的基于模式树构 造的多模式并行匹配算法，算法实现了匹配的并行化且高效简洁，能进一步加 快模式匹配的速度，分析表明，新算法有较大的移动步长，有效减少了实际匹 配的规模，使时间和资源消耗得到合理调配，提高了特征匹配的速度，从而提 高整个入侵检测系统的实时检测性能。此外，智能化方法也被引入入侵分析技 术之中，成为下一代i d s 发展的关键，本文根据入侵攻击行为的模糊不确定性 的特点，结合中医学疾病诊断的原理，提出了一种基于模糊诊断推理的入侵分 析模型，该模型旨在提高对各种变形攻击、协同攻击等的识别能力以及减少虚 警率。模型以系统的运行状态作为入侵分析的主要依据，并借助e c a 规则的主 动机制来监测系统运行状态的变化，结合模糊诊断推理方法对系统异常状态 ( 即症状) 的进行分析，得出相应的诊断结果。整个入侵分析模型不仅能够有 效地发现潜在的入侵攻击行为，而且能够识别出可能的入侵攻击类型，有利于 提高i d s 对入侵攻击的主动响应及防御能力。 关键词：入侵检测；多模式匹配；并行；e c a 规则：模糊诊断推理 第1 页 硕士学位论文 a b s t r a c t i n t r u s i o nd e t e c t i o ns y s t e mi san e ws a f e g u a r dt e c h n i q u ef o rs y s t e ms e c u r i t y a f t e rt r a d i t i o n a lt e c h n i q u e s ，s u c ha s “f i r e w a l r ， m e s s a g ee n c r y p t i o n a n ds oo n f o r t h ep a s tf e wy e a r s ，w i t ht h ed e v e l o p m e n to fc o m m e r c i a l i z e di d sp r o d u c t s 。i d s b e c o m em o r ea n dm o r ew i d e s p r e a d b t i tt h ec o m p l i c a t e di n t e r n e tc i r c u m s t a n c e sa n d e m e r g ei na ne n d l e s ss t r e a mi n t r u s i o nt e c h n i q u e sb e c o m et h eu n l i m i t e dc h a l l e n g et o i d s ，t h e r e f o r e ，c u r r e n ti d su n i v e r s a l l yh a sh i g h br a t eo ff a l s en e g a t i v e sa n df a l s e p o s i t i v e s ，a n dt h er e a l t i m ed e t e c t i o no fi d sw a sa l s og r e a t l yl a gi np r a c t i c a lu s e a t t h e 鞠t n l et i m e ，t h ef u n c t i o no fi d sh a sb e e ns t r e n g t h e n e da n dg e n e r a l i z e d ；t h e c o n c e p t i o no fi n t r u s i o np r o t e c t i o ns y s t e m ( i p s ) a n di n t r u s i o nm a n a g e m e n ts y s t e m ( i m s lh a d b e e nb r o u g h tf o r w a r da n db e c o m et h en e w t e n d e n c yo fi d sd e v e l o p m e n t a sa i li m p o r t a n ts e c u r i t yt e c h n i q u e m a n ya s p e c t so f i d se s p e c i a l l yi n t r u s i o na n a l y s i s t e c h n i q u e sn e e dd e e p l yr e s e a r c h t h i sp a d e ra n a l y z e dt h ec h a r a c t e r i s t i ca n dw e a kp o i n to ft r a d i t i o n a li n t r u s i o n a n a l y s i st e c h n i q u e s ，a n de m p h a s i so ns i g n a t u r e s b a s e da n a l y s i st e c h n i q u ew h i c h w i d e l yu s e di nc o m m e r c i a l i z e di d sp r o d u c t i o n t od i r e c ta tt h e1 i m i to fr e a l t i m e p r o c e s si nt h i st e c h n i q u e t h i sp a p e rp r o p o s e dan e wm u l t i - p a t t e r np a r a l l e lm a t c h i n g w h i c hb a s e so nt h ep a t t e r nt r e e n l ea l g o r i t h mi se f f e c t i v ea n ds i m p l e a l s oc a n r e a l i z ep a r a l l e lm a t c h i n g a n a l y s i ss h o w st h a tt h en e wa l g o r i t h mh a sl o n gm o v i n g s t e p ，a n de f f e c t i v e l yr e d u c e dt h ef a c tm a t c h i n gs c a l ea n de x h a u s t i o no ft i m ea n d s y s t e mr e s o u r c e ，t h e r e f o r ei m p r o v e dt h es e a r c h i n gs p e e d i na d d i t i o n 。i n t e l l i g e n c e m e t h o d sa r ew i d e l yu s e di ni n t r u s i o na n a l y s i s a n db e c o m et h en e wh o t s p o ti ni d s i n t h i sp a p e rw ep r o p o s e da ni n t r u s i o na n a l y s i sm o d e l 1 a tb a s e do nf u z z yd i a g n o s i s r e a s o n i n g ，w h i c hc o m e sf r o mt h ef u z z yt r a i to fi n t r u s i o nb e h a v i o ra n dt h es p e c i f i c i t y o fc h i n e s em e d i c i n ed i a g n o s i n gd i s e a s e s i ta n a l y z e sb a s i n go nt h es y s t e ms t a t ea n d u s i i l gt h ea c t i v ee c a - r u l e st om o n i t o rt h ev a r i e t yo fs y s t e mf u n c t i o n b yu s i n g d e s i g n a t e df u z z yd i a g n o s i sr e a s o n i n gm e t h o da n dc o m b i n i n gt h ea b n o r m a ls t a t eo f s y s t e m , i tc o u l de f f e c t i v e l yd e t e c ti n t r u s i o na n di t sp o s s i b i l i t yo ft v p e t h em o d e l f a v o r e ds t r e n g t h e n i n gt h ea c t i v e n e s so f r e s p o n d i n ga n dd e f e n s i v ep e r f o r m a n c eo f i d s k e y w o r d s ：i n t r u s i o nd e t e c t i o n ；m u l t i p a t t e mm a t c h i n g ；p a r a l l e l ；e c a - r u l e ；f u z z y d i a g n o s i sr e a s o n i n g 第页 入侵检测系统中的入侵分析技术研究 插图索引 图1 1 论文组织结构图4 图2 1p p d r 模型7 图2 2 入侵检测的c i d f 模型7 图2 3 数据融合的层次结构模型1 4 图3 1b m 算法的启发式移动1 8 图3 2 酬算法的坏字符启发性方法1 9 图3 3b m 算法好后缀启发性方法1 9 图3 4a c 算法的g o t o 函数( 树型f s a ) 2 2 图3 5a c 算法的f a i l u r e 函数2 2 图3 6a c 算法的o u t p u t 函数2 2 图3 7a c _ b m 算法的模式树2 3 图3 8a c _ b m 算法匹配中模式树的初始位置2 4 图3 9a c _ b m 算法的坏字符启发性方法2 5 图3 1 0a c _ b m 算法的好前缀启发性方法2 5 图3 1 l 模式集合构造的模式树2 9 图3 1 2 模式树中字符的凡函数值2 9 图3 1 3 并行处理流程图3 3 图4 1 入侵攻击、系统状态以及系统症状的关系图4 2 图4 2 入侵攻击、系统状态和症状之间的关联性4 2 图4 3 命题真值与对应的权重4 5 图4 4 基于模糊诊断推理的入侵分析模型架构图4 7 第v 页 入侵检测系统中入侵分析技术研究 学位论文原创性声明与版权使用授权书 湖南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究工作所取得的成果除文中已经注明引用的内容外，本论文不合任何 其他个人或集体已经发表或撰写过的作品成果对本文的研究做出重要贡献 的个人和集体，均已在文中以明确方式标明本人完全意识到本声明的法律 结果由本人承担、 学位论文作者签名：苏写砷年月日 湖南师范大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查 阅和借阅本人授权湖南师范大学可以将本学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本 学位论文 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 ，不保密囱 ( 请在以上相应方框内打“ ”) 作者签名：哉霉日期：卿年6 月f 日 导师签名：力霉良 日期：御年占月f 日 第5 9 页 入侵检测系统中的入侵分析技术研究 1 1 研究的目的和意义 第一章绪论 计算机网络技术和互联网的飞速发展，网络攻击和入侵事件与日俱 增，曾经作为最主要的安全防范手段的防火墙，已经不能满足人们对网络 安全的需求睁川。特别是近几年，政府部门、军事机构、金融机构、企业的 计算机网络频遭黑客袭击。攻击者可以轻易地对那些没有安全保护的网络 进行攻击和入侵，如进行拒绝服务攻击、从事非授权的访问、肆意窃取和 篡改重要的数据信息、安装后门监听程序以便随时获得内部信息、传播计 算机病毒、摧毁主机等等。攻击和入侵事件给个人用户和机构、企业带来 了巨大的经济损失和形象损害，甚至直接威胁到国家的安全。 入侵检测系统作为一种积极主动的安全防护工具，提供了对内部攻 击、外部攻击和误操作的实时防护，在计算机网络和系统受到危害之前进 行报警、拦截和响应【5 ”。目前，商业化的i d s 产品也随着i d s 技术的不断 发展应运而生，但是，在实际应用环境中的效果和作用都不是十分理想， 普遍存在着较高的误报率和漏报率，实时检测速度和实际需求也有很大的 差距 6 , 7 j 0 l 。 同时，i d s 技术也在呈现出新的发展态势，入侵防御系统( i p s ) 以及 入侵管理系统( i m s ) 等概念开始被提出来，入侵检测系统也不再是个 单纯的监测系统，在监测功能上又增加了主动响应等功能，并且和脆弱性 分析有机结合起来，使得入侵检测系统的功能进一步加强和泛化。此外， 传统的入侵分析技术已逐渐不能适应实际需求，遇到了诸多技术上的瓶 颈，这些都对入侵检测技术提出了巨大的挑战。入侵分析技术作为入侵检 测系统中的核心和关键技术，对于入侵检测系统性能的提高和发展无疑起 着极其重要的作用。神经网络、遗传算法、模糊技术、免疫原理等智能化 方法也逐渐被许多研究者引入入侵分析技术之中p 川2 1 ，智能化入侵分析技 术逐步成为入侵检测技术研究的热点。 第1 页 硕士学位论文 在当前复杂的网络环境和层出不穷的入侵攻击手段面前，入侵检测作 为一门比较新的技术，还存在诸多技术上的问题有待解决。针对当前入侵 检测系统的面临的不足和发展趋势，对于如何更快、更准确地发现入侵攻 击行为，如何有效地利用各种智能化方法去解决入侵检测技术中遇到的相 关难题，如何适应入侵检测技术的发展需求，进一步加强系统的主动响应 和防御功能等问题，都是入侵分析技术需要探索和研究的关键所在。 1 2 研究内容 入侵检测系统面临的最主要挑战有两个：一个是虚警率太高，一个是 检测速度太慢。入侵分析技术作为入侵检测的系统的核心部分，对于上述 的两个主要问题解决起着至关重要的作用。要解决好这两个问题，一方面 对传统的入侵分析技术上要进一步完善和优化，如特征分析、协议分析、 统计分析、完整性分析等较为成熟的分析技术，使之在实际使用中更好地 发挥作用，另一方面则是要将各种智能化方法有效地融入入侵分析方法之 中，加强系统对入侵攻击的识别和反映能力。 特征分析技术是目前众多商业i d s 产品广泛采用的入侵分析技术，特 征分析技术主要通过对特征库中规则的匹配来发现入侵攻击行为，其特点 是只需收集相关的数据集合，显著减少系统负担，技术实现较为简单，其 性能的关键在于检测引擎中的模式匹配算法，许多针对入侵检测系统特点 的模式匹配算法被提了出来1 3 0 , 3 。如何设计出更快速有效的匹配算法提高 系统的实时处理速度是该分析技术的关键i i 孓。 此外，随着计算机及其网络技术的发展，入侵检测系统所面临的诸多 问题，如虚假警报、扩展性和自适应性、对入侵攻击的变形和未知攻击的 识别等，仅仅依靠传统分析技术是无法得到有效解决的。神经网络、遗传 算法、模糊技术、免疫原理等许多智能化方法由此引入入侵分析技术之 中，伴随着入侵检测系统功能的加强和泛化，已成为了下一代i d s 技术发 展的关键技术。如何利用智能化方法有效地识别变形攻击、未知攻击和协 同攻击，以及识别入侵攻击的可能类型和对入侵攻击知识的自学习能力 等，都是智能化入侵分析技术研究中很有意义的工作。 第2 页 入侵检测系统中入侵分析技术研究 1 3 本文的主要工作 本文主要对入侵检测系统中的入侵分析技术进行了探讨和研究，主要 的工作具体分为如下两个方面： 首先对传统入侵分析技术进行了介绍和分析，比较了各自的特点和不 足。重点对目前商业化i d s 产品普遍采用的基于规则匹配的分析技术进行 了探讨，分析和比较了规则匹配分析方法中几个比较典型的模式匹配算 法，研究了这些算法的实现方法和特性，并提出了种有效的多模式并行 匹配算法，对算法的启发式移动方法和实现并行化匹配的方法进行了研究 改进。测试比较了新算法与其他匹配算法的性能，目的是为了解决串行化 匹配方法在高速网络流量的情况下所产生的速度瓶颈，进一步加快特征匹 配的速度，提高系统的实时检测能力。 然后对智能化入侵分析方法进行了研究，介绍了目前智能化方法在入 侵检测中的发展情况，以及各种智能化方法的实现原理和实现的主要技术 问题。在本文中，根据入侵攻击的特征及其与系统状态变化的联系，引入 了模糊推理方法，提出了一种基于模糊诊断推理的入侵分析模型，主要将 模糊推理技术应用在对系统各项状态数据的分析上，对入侵检测中客观存 在的模糊不确定现象给予更贴近现实的描述和处理方式，同时，模型还借 助了e c a 规则机制来监测表征系统状态的各项关键信息，以增加系统对自 身状态改变的主动感知性。整个分析模型旨在更准确有效地发现各种入侵 攻击行为，并推断出可能的入侵攻击类型，减少虚警率和识别变形攻击、 协同攻击等的能力，使系统在发现潜在入侵攻击的情况下，增强主动响应 和防御能力。 最后对入侵分析技术的发展进行了展望。 1 4 论文的组织结构 本文的组织结构如图1 1 所示： 第3 页 硕士学位论文 第1 章绪论 第2 章相关研究综述 i 第3 章特征分析技术中的模式匹配算法研究 l 第4 章模糊诊断推理方法在入侵分析中的应用 i 结论 图1 1 论文组织结构图 第4 页 入侵检测系统中入侵分析技术研究 2 1 引言 第二章相关研究综述 防火墙强大的身份验证能够保护系统不受未经授权访问的侵扰，但是 它们对专业黑客或恶意的经授权用户却无能为力。依赖防火墙建立网络的 组织往往是”外紧内松”，无法阻止内部人员所做的攻击，对信息流的控制 缺乏灵活性。据统计，全球8 0 以上的入侵来自于内部。由于性能的限 制，防火墙通常不能提供实时的入侵检测能力，特别是对于系统内部人员 的攻击，防火墙形同虚设。 入侵检测系统( i d s ) 作为一种动态的安全防御系统【6 l ，它与传统的静 态防御系统不同的是i d s 主动去发现入侵攻击行为使系统防患于未燃。如 果把防火墙看成是一座城墙，则i d s 就如同城墙上的哨兵。i d s 扩展了系 统管理员的安全管理能力( 包括安全审计、监视、进攻识别和响应) ，提 高了信息安全基础结构的完整性。同时，入侵检测系统能在不影响网络性 能的情况下对网络进行监听，从而提供对内部攻击、外部攻击和误操作的 实时保护。 2 2 入侵检测系统概述 入侵检测技术的研究可以追溯到j pa n d e r s o n p 在1 9 8 0 年的工作， 他首次提出了“威胁”等术语，这里所指的“威胁”与入侵的含义基本相 同，将入侵尝试或威胁定义为：潜在的、有预谋的、未经授权的访问企 图，致使系统不可靠或无法使用。1 9 8 7 年d o r o t h ye d e n n i n g ! l 】首次给出 一个入侵检测的抽象模型，并将入侵检测作为一个新的安全防御措施提 出。此后，1 9 9 0 年加州大学戴维斯分校的l th e b e r l e i n 8 】等人开发出了 n s m ( n e t w o r ks e c u r i t ym o n i t o r ) ，网络入侵检测技术开始产生，入侵 检测系统的两大阵营正式形成：基于网络的i d s 和基于主机的i d s 。随着 网络安全问题的不断出现及其影响力的扩大，分布式入侵检测系统 第5 页 硕士学位论文 ( d i d s ) 也开始出现，到目前为止，入侵检测系统仍在智能化和分布式两 个方向不断地发展。 在过去的2 0 多年里，网络技术在不断发展，攻击者水平在不断提 高，攻击工具与攻击手法日趋复杂多样【l ，特别是以黑客为代表的攻击者 对网络的威胁日益突出。攻击技术和手段的不断发展促使入侵检测技术也 处在不断的发展过程中，商业化的i d s 产品也不断更新换代，逐步从一个 简单机械的产品发展成为智能化的产品。国外的i d s 产品发展迅速，比较 有代表性的如s o u r c e f i r e 公司的著名开源系统s n o r t m 5 1 ，它是一个轻量级 的入侵检测系统；c i s c o 公司的c i s c os e c u r ei d s ( n e t r a n g e r ) ，i s s 公司 的r e a l s e c u r e 等。国内具有代表性的如中科网威信息技术有限公司的 “天眼”入侵检测系统，启明星辰公司的黑客入侵检测与预警系统 s k y b e l l ( 天阗) 等。 2 2 1 入侵检测系统的框架 对于“入侵检测”的定义较为公认的定义为：入侵检测是对企图入 侵，正在入侵或者已经发生的入侵进行识别的过程。所有能够执行入侵检 测任务和功能的系统都可以称为入侵检测系统，其中包括软件系统和软硬 结合的系统。 p p d r 模型( p o z i c y 策略，p r o t e c t i o n - 防护，d e t e c t i o n - 检测，r e s p o n s e - 响 应) 是一个动态的计算机安全理论模型，如图2 1 所示。其中入侵检测技 术就是实现p p d r 模型中“1 ) e m c f i o n ”部分的关键技术。在发现入侵行为 后，入侵检测系统会通过响应模块改变整个系统的防护措施，提高系统防 护能力，从而实现动态的系统安全模型。因此，入侵检测是实现p p d r 模 型的关键环节。 第6 页 入侵检测系统中入侵分析技术研究 图2 1p p d r 模型 入侵检测系统的组成可以由通用入侵检测框架( c o m m o ni n t r u s i o n d e t e c t i o nf r a m e w o r k ) 来进行抽象的表示。c i d f 主要由事件产生器，事 件分析器，事件数据库和响应单元四个部分组成，如图2 2 所示。 图2 2 入侵检测的c i d f 模型 各部件的主要功能分别是： ( 1 ) 事件产生器：从系统的外部环境中收集来自于网络或主机的事件信 息，是入侵检测系统分析对象的原始信息来源。 、 ( 2 ) 事件分析器：对事件产生器所收集的信息进行分析，识别入侵行 为，是整个入侵检测系统的核心。 ( 3 ) 事件数据库：存储系统运行的中间数据及系统识别入侵行为的知识 库。 ( 4 ) 响应单元：向系统报告事件分析器的分析结果，并对入侵行为采取 相应的措施。 入侵检测系统有多种实现方法，但所有入侵检测系统都基本上能依据 c i d f 模型的框架加以划分。 第7 页 硕士学位论文 2 2 2 入侵检测系统的分类 入侵检测系统按照检测的信息来源可以分为： 1 ) 基于主机的入侵检测，其主要的信息源来自被检测的主机本身所 记录的各种信息，如主机操作系统的审计记录和系统日志等： 2 ) 基于网络的入侵检测，其信息源主要来自网络中的数据包，通过 对网络中的t c p i p 协议数据包的截获和分析，识别网络中的入侵行为； 3 ) 混合式的入侵检测，同时收集来自与所检测网络和主机的信息， 在网络节点和主机节电同时放置检测模块，往往采用分布式结构及自治代 理方式，全面收集从网络层到应用层的各种数据信息，为入侵行为的识别 提供更全面的信息源。 入侵检测系统按照检测分析方法可以分为： 1 ) 异常入侵检测，异常检测技术通常是建立一个正常活动的状态模 型，并在检测过程中不断更新，将用户的当前活动与建立的正常行为模型 对比，如果两者的差别超过系统设置的某个阈值，则认为是非法的入侵行 为； 2 ) 滥用入侵检测，滥用入侵检测技术的基础是分析各种类型的攻击 方法，从中提取出这些攻击行为的“攻击特征”或者是对应的规则，将这 些攻击知识组织在攻击特征知识库中，以此作为判断入侵行为的依据。 2 2 3 入侵检测系统的主要功能 入侵检测系统的目的是要在入侵攻击对系统发生危害前，检测到入侵 攻击，并利用报警与防护系统来对抗入侵攻击，尽可能地减少入侵攻击所 造成的不期望损失。目前对入侵检测系统的主要任务功能的界定主要有 【5 7 l ： 1 ) 监视、分析网络及系统、用户等活动； 2 ) 系统构造和弱点的审计； 一3 ) 识别反映已知进攻的活动模式并向相关人士报警； 第8 页 入侵检测系统中入侵分析技术研究 4 ) 异常行为模式的统计分析； 5 ) 评估重要系统和数据文件的完整性； 6 ) 操作系统的审计跟踪管理，并识别用户违反安全策略的行为。 随着网络技术的发展，入侵检测的功能实现也在不断地发展变化着， 对一个成功的入侵检测系统来讲，它不但可使系统管理员时刻了解网络系 统( 包括程序、文件和硬件设备等) 的状态和任何变更，还能给目标系统 的安全策略的制订提供指南。入侵检测的规模还应根据网络威胁、系统构 造和安全需求的改变而改变。入侵检测系统在发现入侵后，会及时作出响 应，包括切断网络连接、记录事件和报警等。 入侵检测系统的应用日益广泛，入侵检测还是一项有待进一步发展的 技术，以下是目前评价一个入侵检测系统是否优秀的参考标准2 7 】： 高效的数据截取 智能的数据流重组 强大的入侵识别 全面的内容恢复 完整的网络审计 实时的网络监控 集成的网络管理 简便的接入 易用的管理 灵活的部署 丰富的报警方法 多样的输出结果 严格的自身安全 高度的可集成性 2 3 入侵检测中的入侵分析技术 任何入侵攻击方法，不管多么高明总会留下入侵痕迹，入侵检测收集 目标系统中的各项数据和信息，入侵分析技术就是要针对对这些可疑的痕 第9 页 硕士学位论文 迹进行分析判断，发现潜在和已经发生的入侵，因此，入侵分析是决定整 个入侵检测系统性能的关键因素。 2 3 1 入侵分析中的信息来源 入侵分析所依据和参考的信息一般可以分为以下四个方面： 1 ) 系统和网络日志文件 充分利用系统和网络日志文件信息是检测入侵的必要条件。日志文件 中记录了各种行为类型，每种类型又包含不同的信息，例如记录“用户活 动”类型的日志，就包含登录、用户i d 改变、用户对文件的访问、授权 和认证信息等内容。日志中记录了发生在系统和网络上的不寻常和不期望 活动，这些记录证据能表明有人正在入侵或已成功入侵了系统。 2 ) 目录和文件的不期望的改变 网络环境中的文件系统包含很多软件和数据文件，包含重要信息的文 件和私有数据文件经常是黑客修改或破坏的目标。目录和文件中的不期望 的改变( 包括修改、创建和删除) ，特别是那些正常情况下限制访问的， 很可能就是一种入侵产生的指示和信号】。黑客经常替换、修改和破坏他 们获得访问权的系统上的文件，同时为了隐藏系统中他们的表现及活动痕 迹，都会尽力去替换系统程序或修改系统日志文件。 3 ) 程序执行中的不期望行为 、 网络系统上的程序执行一般包括操作系统、网络服务、用户使用的程 序和特定目的的应用。每个在系统上执行的程序由一到多个进程来实现， 每个进程执行在具有不同权限的环境中，这种环境控制着进程可访闯的系 统资源、程序和数据文件等。一个进程的执行行为由它运行时执行的操作 来表现，操作执行的方式不同，它利用的系统资源也就不同。操作包括计 算、文件传输、设备和其它进程，以及与网络间其它进程的通讯。 一个进程出现了不期望的行为可能表明黑客正在入侵你的系统。黑客 可能会将程序或服务的运行分解，从而导致它失败，或者是以非用户或管 理员意图的方式操作”。 4 ) 物理形式的入侵信息 第l o l 页 入侵检测系统中入侵分析技术研究 这包括两个方面的内容，一是未授权的对网络硬件连接；二是对物理 资源的未授权访问 上述四类收集到的有关系统、网络、数据及用户活动的状态和行为等 信息，都会包含有入侵攻击的所留下的痕迹，这些信息将是进行入侵分析 的依据。 2 3 2 传统入侵分析技术 ( 1 ) 特征分析技术 特征分析技术 7 , s l 最早应用在基于网络的入侵检测系统中，其基本原理 是：根据己知的入侵攻击特征，提炼出入侵特征串，如异常的网络命令或 敏感词等，在输入的网络数据流中进行简单的模式匹配，在预先定义的入 侵特征库中查找这些入侵特征串，以发现可能的攻击行为，这种检测技术 的性能关键在于高效的模式匹配算法。 特征分析技术只是将网络中的数据包看成是数据流【5 l ，没有考虑网络数 据包中所包含的协议格式化信息。因此，特征分析技术往往和协议分析技 术相互结合，以提高匹配的效率。但是在高速网络的环境下，面临大量数 据包和庞大的特征库的情况下，系统性能会大大下降。 ( 2 ) 协议分析技术 协议分析技术的依据是网络数据的传输是严格遵循t c p i p 协议的， 网络数据包是严格定义格式的数据流，协议分析技术将输入的数据包按照 各层协议报文封装的方向顺序层层解析出来，然后对各层解析的结果进行 分析。 协议分析技术的重点操作内容就是检查数据包中各协议字段值是否符 合网络协议定义的期望值或在合理的范围之内。利用预先定义好的关于协 议字段的期望值和合理值的知识，来判断是否存在入侵行为。 目前在网络入侵检测中，较为普遍的方式是在协议分析的基础上，进 行入侵特征的匹配，这两种技术融合在一起能很好的取长补短。 ( 3 ) 统计模型分析技术 第1 1 页 硕士学位论文 统计分析使用概率统计理论作为工具，一般应用在异常检测方法上， 用以确定正常行为的轮廓【5 ，7 】，区分出那些是可能的入侵行为。统计分析的 关键一是选择合理的统计参数，一是建立科学有效的统计模型。 比较具有代表性的统计模型如： a ) 操作模型，该模型假设异常可通过测量结果与一些固定指标相比较 得到，固定指标可以根据经验值或一段时间内的统计平均得到，举例来 说，在短时间内的多次失败的登录很有可能是口令尝试攻击； b ) 方差模型，计算参数的方差，设定其置信区间，当测量值超过置 信区间的范围时表明有可能是异常； c ) 马尔科夫过程模型，将每种类型的事件定义为系统状态，用状态转 移矩阵来表示状态的变化，当一个事件发生时，或状态矩阵该转移的概率 较小则可能是异常事件。 统计方法的优点是它可以通过建立的统计模型来发现未知的入侵攻击 方法，统计方法还可以利用机器学习的技术来不断的学a - - - j 1 3 3 1 ，使模型更加 合理有效。但是它的学习能力也给入侵者以机会通过逐步“训练”使入侵 事件符合正常操作的统计规律，从而使模型失去判断入侵的能力。此外， 建立一个好的统计模型需要大量的统计数据和相关处理，统计模型的好坏 直接影响到检测的漏报，误报率及准确性。由于统计模型所能表达的事件 范围很有限，虽然统计分析技术能发现未知的入侵行为，但是误报率高是 这种技术的主要缺点。 ( 4 ) 完整性分析 完整性检测方法是网络安全产品中常用的手段之一。完整性分析主要 关注某个文件或对象是否被更改，这经常包括文件和目录的内容及属性， 对于被更改的和被特洛伊化的文件及应用程序方面特别有效。完整性分析 利用强有力的加密机制，称为消息摘要函数( 例如鼢5 ) ，它能识别文件 及应用程序中极其微小的变化。完整性分析优点是只要是成功的攻击导致 了文件或其它对象的任何改变，它都能够发现。完整性分析一般以批处理 方式实现，用于事后分析而不用于实时响应。 第1 2 页 入侵检测系统中入侵分析技术研究 ( 5 ) 专家系统 专家系统建立在入侵知识库的基础上，专家系统根据所获得的事实和 已知的入侵规则进行推导来判断入侵行为。对入侵攻击的特征抽取与表 达，是专家系统的关键。专家系统一般采用i f - t h e n 的产生式规则，在系 统实现中，将有关入侵的知识转化为i f t h e n 结构，i f 部分为某种入侵的 若干关键特征，当这些关键特征满足后则由t h e n 部分给出相应的结论。 专家系统重点是专家知识库的构建，运用专家系统检测入侵行为的有 效性完全取决于专家系统知识库的完备性 4 1 ，知识库的构建与领域专家的 水平密切相关，知识库的完备性又取决于审计记录的完备性与实时性，建 立完备的入侵知识库对于大型的网络系统而言是很难实现的。当知识库异 常庞大时，专家系统就会存在运行效率下降的问题，同时知识库的动态更 新也是专家系统的一个技术难点。 2 3 0 3 入侵检测中的智能化分析技术 由于传统的入侵检测技术存在虚报警率高，缺乏检测已知攻击的变形 和新攻击方法，以及扩展性和自适应性差的不足。目前，研究人员又将许 多智能化方法【3 2 删，引入侵分析技术领域，试图解决传统检测技术存在的 诸多问题。 ( 1 ) 数据挖掘技术 入侵检测系统要准确有效地发现入侵行为，必然需要分析大量的数 据，如果无法快速有效地对数据进行提取和筛选，系统的检测性能将会受 到严重的影响。 数据挖掘又称为知识发现技术，主要是从海量数据中寻找出有用的知 识的过程，它是一种主动知识发现技术，其目标就是采用各种特定的算法 在海量的数据中发现有用的可理解的数据模式1 3 6 1 。利用数据挖掘技术，能 够有效地分析收集分析收集到的网络和主机数据，并从中提取出入侵行为 特征，归纳出相应的检测模型以检测分析同类的攻击行为3 4 , 3 5 , 3 7 , 3 8 】。 在入侵检测领域中，常用的数据挖掘算法如： 第1 3 页 硕士学位论文 a ) 分类算法，目标是将特定的数据项归入预先定义好的某个类别 中，主要实现途径即是通过大量训练数据并结合特定的分类算法生成相应 的“分类器”，利用“分类器”达到将数据分类的e l 的，典型的分类算法 如c 4 5 等； b ) 关联分析算法，用于发现数据间的关联特性，数据的关联性是区 分数据的重要依据； c ) 序列分析算法，通过对序列模式的的发掘和分析，能够为检测模 型提供有效的入侵分析特性。此外还有聚类分析，演进分析等。 ( 2 ) 数据融合技术 在大规模的网络环境下，要有效的检测到入侵行为以及评估整个网络 的安全性能，需要大量收集各种不同数据源的信息作为检测的依据。但 是，来自各种来源的大量泛滥的数据、系统消息等由于处理速度的关系都 无法得到及时有效的处理，在这种情况下不仅无助于解决问题，反而浪费 和降低系统的处理能力和检测性能。 数据融合技术能把各种数据和信息，如网络数据包，系统日志文件， 系统消息，操作命令等综合在一起，综合成一个统一的处理进程，高效处 理各种信息资源。t b a s s 4 4 1 提出了入侵检测中数据融合的一般层次结构模 型，如图2 3 所示。 推理类型 威胁分析 形式评估 入侵者行为 入侵者身份 入侵级别 入侵存在性 推理层次 高 由 低 图2 3 数据融合的层次结构模型 数据融合技术在入侵检测领域还需要做很多工作，如何开发出通用的 结构化“元语言”来描述入侵检测和网络管理的对象，以及对网络攻击行 第1 4 页 入侵检测系统中入侵分析技术研究 为的检测技术，还有将多传感器数据融合理论应用到实际i d s 系统中的相 关问题等都是值得进一步研究的。 ( 3 ) 遗传算法 遗传算法【5 3 1 是对生物界“优胜劣汰，适者生存”的自然规律的模拟， 它具有很好的学习功能，可以对已有规则进行优化和求精，也能挖掘出新 的规则。利用遗传算法可以对入侵知识库进行维护更新，优化知识库结 构。 在入侵检测中应用遗传算法 4 0 , 4 2 , 4 3 】，首先要对可能出现的检测结果进 行编码，生成染色体，再利用定义的适应性函数对这些染色体进行选取， 产生初始种群，然后对染色体执行遗传操作( 复制，变异，重组) ，经过 种群的若干代遗传操作直至得到预期的结果。 遗传算法是解决组合和优化问题的有效方法，不需要对目标有精确的 了解，能够处理大量带有噪声和无关数据的变化事件。其不足之处在于， 染色体编码没有一致的规范性，染色体选择，初始种群选取的困难，此 外，遗传算法在理论上还存在收敛性问题。 ( 4 ) 神经网络技术 神经网络是模拟人脑加工，存储和处理信息机制而提出的一种智能化 信息处理技术。神经网络对网络中模糊，不完整的输入信息有一定的容错 处理能力，同时，神经网络还具有高度学习和自适应能力3 4 , 3 5 , 3 9 , 4 1 。神经 网络是由大量基本的计算单元( 神经元) 相互连接构成的一个分布式网状 结构，它通过对神经元的调节来进行学习。神经网络的学习过程一般为： 1 ) 网络构造和训练，在训练中不断调整网络的权值； 2 ) 网络修剪，删除多余的隐含层节点和节点之间的联结； 3 ) 从网络中提取分类规则。 目前，由于神经网络的学习能力是有限的，面对网络环境的存在大量 的攻击特征，如何有效识别这些入侵攻击特征是神经网络技术需要解决的 问题，在计算速度上，当前的计算机体系结构无法真正实现神经网络的并 行计算潜能，此外，神经网络对于判定出的结果不能给出确定性的判定步 骤。 第1 5 页 硕士学位论文 ( 5 ) 计算机免疫学技术 计算机免疫技术是直接受到生物免疫机制的启发而产生的， s f o r e s t “ 等人在将计算机安全与生物免疫学进行类比研究后，最早提出 了计算机免疫学的概念，并将其应用到了入侵检测的研究领域。 生物免疫系统具有健壮性、记忆能力、容错能力、动态稳定性以及异 常检测等良好特性，这些特性与一个高性能的网络i d s 有很大的相似性。 生物免疫系统的主要目的是识别“本体”和“异体”，它是通过抗体和抗 原的结合来实现的，如何模拟基因库更新、否定选择、克隆选择等抗体生 成过程建立入侵检测器是建立基于人工免疫原理的i d s 的关键。例如，计 算机免疫系统可以按照系统调用序列来划分正常和异常行为，建立应用程 序模型，比较模型与所观测到的事件就可以分出正常与可疑的行为。 基于人工免疫的i d s 在实现异常检测方面具有很大潜力，不足之处在 于完善基于人工免疫的模型还有困难。需进一步找到合适的否定选择算法 和克隆选择算法，需要获取足够多的能代表系统行为的正常数据样本等。 除了上述的各项智能检测技术以外，还有粗糙集理论，模糊集理论等 智能检测技术。同时，上述智能检测技术又可以取长补短相互结合。 2 4 小结 入侵检测系统能够帮助网络系统快速发现入侵攻击行为，是防火墙技 术的合理补充，是继防火墙之后的第二道安全闸门。目前，入侵检测技术 还处在发展中，许多新的方法和技术不断被提出和研究，随着i d s 技术的 逐渐发展和成熟，i d s 在整个安全部署中的重要性将会被广泛认可和接 受。 第1 6 页 入侵检测系统中入侵分析技术研究 3 1 引言 第三章特征分析技术中的模式匹配算法研究 高速和准确是入侵检测系统( i d s ) 性能的主要指标。特征匹配分析 技术原理简单、易于实现且可扩展性好，在目前大部分实用的商业化i d s 产品中，采用的入侵分析技术基本上主要是基于特征匹配技术的，例如著 名开放源码的入侵检测系统s n o r t 等。模式匹配算法是基于特征匹配的入 侵检测系统中的核心算法，模式匹配的效率决定这类入侵检测系统的性能 1 1 5 j 6 。入侵检测引擎是基于特征的i d s 的重要功能组件，加快检测引擎对 特征库的匹配检测速度是提高i d s 的整体性能的关键因素。 但是在高速网络环境下，如果模式匹配算法来不及处理大量的实时网 络数据包，必然会丢弃部分数据包，而这些被丢弃的数据包中就可能包含 入侵信息，由于大量的网络数据来不及处理必然导致漏报的发生。此外， 由于特征匹配分析技术本身的局限性，它只能发现己知的攻击类型，因此 为了识别出尽量多的攻击特征，往往需要相对较大的特征库，在这种情况 下，进行特征匹配检测就会消耗大量的系统资源和处理时间，有研究表 明，在一般情况下，对数据包进行特征检测所需的匹配时间占到整个入侵 检测系统处理时间的3 1 ，当在某些网络流量特别集中的时候，这一时间 将会占到系统处理时间的8 0 左右。由此可见，解决基于特征分析技术的 入侵检测系统所存在的处理速度瓶颈，关键就是要设计出高效的模式匹配 算法陋1 8 1 。 3