（计算机应用技术专业论文）模糊序列网络异常检测建模方法研究.pdf

太原理工大学硕士研究生学位论文 模糊序列网络异常检测建模方法研究 摘要 网络入侵检测系统研究已成为计算机网络安全领域中的研 究热点。建立网络入侵检测系统的核心是为正常行为或异常行 为模式建模。由于大多数网络行为表现为一组与时间相关的序 列，而序列模式挖掘研究的正是与时间相关的数据。因此，采 用序列模式挖掘算法构建网络入侵检测模型，能够更好地表现 网络行为。 本课题对多种序列模式挖掘算法进行了深入分析，从算法 基本思想、数据存储结构、算法执行效率等方面对几种经典的 序列模式挖握算法进行分析比较之后，发现等价类序列模式算 法( s p a d e ) 具有较高的挖掘效率。它使用了等价类的概念和 “垂直”数据库的存储思想，完全避免了经典a p r i o r i 算法中多 次扫描数据库和采用哈希树作为主要存储结构的缺点，使得扫 描数据库的次数大大减少，对序列支持度的计算也简单高效。 但s p a d e 算法效率仍然有提升的空间。由于在挖掘序列模式 的过程中会产生大量冗余候选集，限制了算法效率的提高。我 们借鉴通用序列模式( g s p ) 算法中候选集的产生过程，通过 i 太原理工大学硕士研究生学位论文 有针对性地对两个序列进行中间匹配来产生候选集，达到了减 少冗余候选集产生、提高算法效率的目的。本课题使用改进后 的s p a d e 算法从网络连接记录中挖掘序列模式，据此构建网 络异常检测模型。 多数网络事件与时间相关，在为入侵检测系统构建检测模 型时，选取一些与时间相关的统计特征属性来表示网络连接记 录能够改善模型的检测精度。而这些统计特征属性通常是数值 型的，这就存在一个问题：对数值型属性使用序列模式挖掘会 出现所谓的“边界过硬”问题，从而导致检测模型的灵活性和 适应性都很差。同时网络安全事件本质上也具有模糊性，正常 行为和异常行为之间没有非常明确的界线，它们之间应当有一 个平滑的过渡。本文引入模糊逻辑理论来解决上述问题。为网 络连接记录中的每个统计特征属性划分模糊集，指定隶属函数， 用隶属度集合的形式来标识统计属性。然后用改进的s p a d e 算法进行模糊序列模式挖掘，在挖掘过程中，使用隶属度贡献 来计算序列支持度，有效地解决了从网络连接记录定量属性中 挖掘序列模式的问题。 已有的检测模型是用挖掘生成的全部序列模式规则来建立 网络行为模式库，这样做的弊端在于：最后建立的行为模式库 仆 太原理： 大学硕士研究生学位论文 中存在许多冗余低效规则，浪费了大量存储空间；而且在检测 阶段，这些规则也会参与模式比较，又浪费了大量检测时间， 甚至还会导致误报。我们提出“短规则存在”原则，采用规则 移项、消除属性集合和去除可重组规则这三种规则裁减策略来 剔除冗余规则，从而缩减了模式库，加快了检测过程，同时也 降低了误报率。 本课题主要是进行了网络入侵检测建模方法的研究，并提 出了一个基于模糊序列模式的网络异常检测模型。通过理论分 析和仿真实验证明，本文提出的模型不仅具有检测异常行为的 实际能力，而且与传统模型相比，由于引入了模糊逻辑理论和 规则裁减技术，我们的模型具有更简洁的行为模式库和更低的 误报率，检测效率和检测性能都得到了较大的改善。 关键词：入侵检测，序列模式，s p a d e 算法，模糊逻辑，规则 裁减 i i i 奎垦里三查堂堡主堑窒生兰竺笙茎一 r e s e a r c ho nm o d e l i n g o fn e t w o r k a n o m a l yd i e c t i o nw i t hf u z z y s e q u e n c e r e s e a r c ho nn e t w o r ki n t r u s i o nd e t e c t i o ns y s t e mh a sb e c o m ea h o ti s s u ei nt h ed o m a i no fc o m p u t e rn e t w o r ks e c u r i t y t h ek e r n e l o fb u i l d i n gan e t w o r ki n t r u s i o nd e t e c t i o ns y s t e mi sm o d e l i n gf o r n o r m a lb e h a v i o r so ra b n o r m a lb e h a v i o r s s i n c em o s to fn e t w o r k a c t i o n sb e h a v ea sas e to fs e q u e n c e sr e l a t e dt ot i m ea n dt h eo b j e c t o fm i n i n gs e q u e n t i a lp a t t e r n si sd a t ar e l a t e dt ot i m e ，a ni n t r u s i o n d e t e c t i o nm o d e lg e n e r a t e db ys e q u e n t i a lp a t t e r nm i n i n ga l g o r i t h m i sa b l et oa p p r o p r i a t e l yr e p r e s e n tn e t w o r kb e h a v i o r s t h i st h e s i sd e e p l ya n a l y z e ss e v e r a ls e q u e n t i a lp a t t e r nm i n i n g a l g o r i t h m sw i t hr e s p e c t t o a l g o r i t h m s b a s i ci d e a ，d a t as t o r a g e s t r u c t u r ea n de x e c u t i v ee f f i c i e n c y c o m p a r e dw i t ho t h e rc l a s s i c s e q u e n t i a lp a t t e r nm i n i n ga l g o r i t h m s ，s p a d e ( s e q u e n t i a lp a t t e r n d i s c o v e r yu s i n ge q u i v a l e n c ec l a s s e s ) a l g o r i t h mi sm o r ee f f i c i e n t i tc o s t sm u c hl e s st i m et os c a nd a t a b a s e ，a n di ti sv e r ys i m p l et o c a l c u l a t e s e q u e n c e ss u p p o r t i ns p a d e ，w h i c hb e n e f i t sf r o m e q u i v a l e n c e c l a s s e sa n d “v e r t i c a l ”s t o r a g em o d e i nc o n t r a s t ， v 查堕里三丕皇堡主堕塞竺堂垡笙奎 c l a s s i ca p r i o r ia l g o r i t h ms p e n d sm o r et i m eo ns c a n n i n gd a t a b a s e t i m ea f t e rt i m e ，a n da d o p t sh a s h - t r e ea sm a i n s t o r a g es t r u c t u r e b u t t h e r e ss t i l lr o o mt o i m p r o v es p a d e ，s p a d ep r o d u c e sal a r g e n u m b e ro fr e d u n d a n tc a n d i d a t es e t s ，w h i c hl i m i tt h ei m p r o v e m e n t o fs p a d e w eu s ef o rr e f e r e n c et h em e t h o do fc a n d i d a t e s e t s g e n e r a t i o ni ng s p , s p e c i f i c a l l ym a t c h i n gt w os e q u e n c e si nm i d d l e p l a c et og e n e r a t ec a n d i d a t es e t sw i t hl e s sr e d u n d a n c y i nt h i st h e s i s t h ei m p r o v e ds p a d ea l g o r i t h mi s a p p l i e dt om i n i n gs e q u e n t i a l p a t t e r nf r o mn e t w o r kc o n n e c t i o nr e c o r d s ，w h i c hr e s u l t si nam o r e e f f i c i e n tn e t w o r k a n o m a l yd e t e c t i o nm o d e l m o s to fn e t w o r ke v e n t sa r et i m e r e l a t e d ，s os o m et e m p o r a l s t a t i s t i cf e a t u r e sc a nb ec h o s e nt o r e p r e s e n tn e t w o r kc o n n e c t i o n r e c o r d s ，a n di sh e l p f u lt oi m p r o v et h em o d e l sd e t e c t i o na c e u r a c v i ng e n e r a l ，t h e s es t a t i s t i cf e a t u r e si n v o l v e di n t r u s i o nd e t e c t i o na r e q u a n t i t a t i v e ap r o b l e m ，s o c a l l e d h a r db o u n d a r y ”w i l la r i s ei f s e q u e n t i a lp a t t e r n sa r em i n e dd i r e c t l yf r o mq u a n t i t a t i v ef e a t u r e s ， w h i c hj e o p a r d i z e st h e f l e x i b i l i t ya n da d a p t a b i l i t yo ft h em o d e l w h a t sm o r e ，n e t w o r ks e c u r i t ye v e n t sa r ef u z z yi nn a t u r e i t ，sn o t r e a s o n a b l et oh a v ea na b r u p t s e p a r a t i o nb u ts m o o t ht r a n s i t i o n b e t w e e nn o r m a la n da b n o r m a lb e h a v i o r s a sas o l u t i o n ，t h ef u z z v l o g i ci si n t r o d u c e dt oa c h i e v et h es m o o t ht r a n s i t i o n e v e r ys t a f t s t i c f e a t u r ei nn e t w o r kc o n n e c t i o nr e c o r d si sd i v i d e di n t os e v e r a lf u z z v s e t s ，e a c ho fw h i c hh a sac o r r e s p o n d i n g m e m b e r s h i pf u n c t i o n v i 垄堕茎兰堡主塑壅圭兰垒笙塞 i h u sas t a t i s t i cf e a t u r ei s r e p r e s e n t e db yas e to fm e m b e r s h i d d e g r e e s a f t e rf u z z i l yp r e p r o c e s s i n go fs t a t i s t i cf e a t u r e s ，t h ef u z z v j 0 9 1 cl si n t e g r a t e dw i t hi m p r o v e ds p a d e a l g o r i t h mt om i n ef u z z v s e q u e n t l a l p a t t e r n ， w h e r e m e m b e r s h i pd e g r e e sc o n t r i b u t et o c 8 i c u i a i 。8 e q u e n c e ss u p p o r t ，w h i c hm a k e sm o r e e f f i c i e n t f h e m l n l n go fs e q u e n t i a lp a t t e r nf r o mq u a n t i t a t i v ef e a t u r e sc a r r i e di n n e t w o r kc o n n e c t i o nr e c o r d s e x l s t l n gd e t e c t i o nm o d e l ss e tu pn e t w o r kb e h a v i o rp a t t e m s w i t hw h o l e s e q u e n t i a lp a t t e r nr u l e sg e n e r a t e di n m i n i n gp r o c e s s ， w n l c hh a ss o m ed r a w b a c k s t h er e d u n d a n ta n d i n e f f i c i e n tm l e si n t h eb e h a v i o rp a t t e r na r en o t o n l ym e m o r y c o n s u m e db u ta l s of i m e e x p e n s l v e ，w h i c hr e s u l t sf r o mt h o s er e d u n d a n tr u l e si n v o l v e d i n t t l ep a t t e n lc o m p a f i s o n d u r i n gt h ec o u r s eo fd e t e c t i o n w ep r o p o s e “s h o 。tr u l e s e x i s t ，p r i n c i p l e ，a d o p tt h r e er u l e p r u n i n gt e c h n i q u e s ， 8 u c n8 8r u l e t r a n s p o s i t i o n ，e l i m i n a t i o no f a t t r i b u t es e t s a n d r e m o v l n gr e c o n s t r u c t e dr u l e ，t oe l i m i n a t e r e d u n d a n tm i e s t h e e w a r d sa r et h er e d u c e dp a t t e r n ，a c c e l e r a t e dd e t e c t i o n p r o c e s sa n d l e s sf a l s ep o s i t i v er a t e s t h l st h e s i s m a i n l yr e s e a r c h e so n m o d e l i n go fn e t w o r k i n t m s l o nd e t e c t i o na n d p r o p o s e san e t w o r ka n o m a l yd e t e c t i o n m o d e lb a s e do nf u z z ys e q u e n t i a l p a t t e r n a n a l y s i si nt h e o f va n d e m u l a t i o n e x p e r i m e n t sd e m o n s t r a t et h a tt h e r o o d e lp r o p o s e di s p r a c t i c a l l ya p p l i c a b l et od e t e c ta b n o r m a lb e h a v i o r s f u r t h e n n o r e i 太原理工大学硕士研究生学位论文 i t ss i m p l eb e h a v i o rp a t t e r na n dl o w e rf a l s ep o s i t i v er a t e sv e r i f yt h e b e t t e rd e t e c t i o ne f f i c i e n c ya n dh i g h e rp e r f o r m a n c eo ft h em o d e l ， w h i c hb e n e f i t sf r o mt h ei n t r o d u c t i o no ff u z z y l o g i ca n dr u l e p r u n i n gt e c h n i q u e s ， k e yw o r d s ：i n t r u s i o n d e t e c t i o n ，s e q u e n t i a lp a t t e r n ，s p a d e a l g o r i t h m ，f u z z yl o g i c ，r u l ep r u n i n g i i 太原理工大学硕士研究生学位论文 1 1 课题研究背景 第一章绪论 计算机与互联网在全球范围内的日益普及推动着信息技术和网络应 用的不断创新与升级，传统社会的运行模式也随之发生了深刻的变化。人 类对网络的依赖性越来越强，网络信息的安全可靠成为保证社会正常、平 稳运转的重要因素。而当前的形势不容乐观，针对计算机和网络基础设施 的攻击行为越来越严重，越来越多的网络系统面临攻击和入侵的威胁，特 别是各种政府机构的网站，更是成为黑客攻击的热门目标。黑客的攻击手 法复杂多变，他们或者攻击系统，进行恶意破坏，或者窃取个人信息。信 息的保密性和安全性亟需加强，网络安全已成为信息技术研究领域的重点 课题之一。 1 1 1 计算机安全概要 计算机安全是指实现计算机系统的保密性、完整性和可用性【1 】以保 护系统中有价值的数据与信息。 保密性( c o n f i d e n t i a l i t y ) ：是要确保计算机系统信息不为非授权用户 访问，它包括网络传输保密性和数据存储保密性。 完整性( i n t e g r i t y ) ：是要确保计算机系统上的数据和信息处于完整和 未受损害的状态，即数据和信息不会因突发事件和恶意攻击所改变或丢 失。完整性的丧失直接影响系统的可用性。完整性包括软件完整性和数据 完整性两个方面。 可用性( a v a i l a b i l i t y ) ：指系统能正常工作而不发生访问等级的变化， l 太原理工大学硕士研究生学位论文 同时当授权用户有访问需求时能提供相应资源。 1 1 2 计算机安全机制 实际上，构建一个绝对安全的系统几乎是不可能的。首先，应用软件、 操作系统变得越来越复杂软件设计者在设计阶段无法预料到程序运行时 的系统状态，更无法精确地预测在不同系统状态下会发生什么结果，所以， 系统往往存在漏洞；另外，现有的网络技术本身存在许多不完善之处。黑 客正是利用这些漏洞和缺陷来实施攻击和入侵。而系统管理和用户使用方 面存在的问题也给了黑客可乘之机。所以，绝对安全的系统是不存在的。 只能通过专门的安全措施来提高系统的安全性。 目前，针对计算机系统安全问题的解决方案大致可分为两类：安全保 护和入侵检测。传统的安全保护类手段主要有： 1 ) 物理安全( p h y s i c a ls e c u r i t y ) ：保证系统装置和硬设备的安全，防止 非法人员接近设备进行破坏或窃取机密信息： 2 ) 加密( c r y p t o g r a p h y ) ：是采用加密算法对原始的消息( 明文) 进行处 理，产生加密消息( 密文) 的过程；。 3 ) 身份认证( a u t h e n t i c a t i o n ) ：是通过用户标识和口令字、报文鉴别、 数字签名等方式来查明通讯对方的身份和拥有的特权，检验和确认其 合法性。 4 ) 访问控制( a c c e s sc o n t r 0 1 ) ：是按照事先定义好的规则决定主体对客 体的访问是否合法。 5 ) 防火墙( f i r e w a l l ) 防火墙技术是一组对于进入离开计算机网络的信 息进行认证、授权和审计等安全机制的集合。防火墙过滤网络数据包， 根据设定的安全策略决定是否让网络数据包通过，也可通过转换网络 地址将内部的配置细节隐藏起来，以防范潜在的入侵者。 上述传统安全机制大多采用被动防范的方法来提升系统安全性，这在 2 太原理工大学硕士研究生学位论文 一定程度上增强了计算机系统防范非法入侵的能力。但如果这些防范措施 被泄露或被绕过，那么一个滥用权利者将会获得未经授权的访问，从而可 能导致巨大的损失和系统运行的崩溃。另外，这些安全机制本身也会成为 网络入侵攻击的重要目标，一旦被攻击，缺乏有效的监控机制进行干预。 可见，一个安全的网络系统仅有防御手段是不够的。为了保障信息安 全，还需要有一种能够及时主动发现并报告系统非授权使用或异常现象的 技术，这就是入侵检测( i n t r u s i o nd e t e c t i o n ) 。 入侵检测提供了一种监控网络和系统攻击的动态实时的安全机制，它 能在不影响网络性能的情况下对网络进行监测，为系统提供有效保护。它 以探测与控制为技术本质，能弥补防火墙的不足，起着主动防御的作用， 是网络安全中极其重要的部分。作为一种新的信息安全防护技术，入侵检 测成为了网络安全研究领域的一个热点。 1 1 3 入侵检测技术发展历史及现状 1 9 8 0 年j a m e sa n d e r s o n 首次提出了入侵检测的概念，此后，围绕入 侵检测的研究不断深入。1 9 8 4 年到1 9 8 6 年，乔治敦大学的d o r o t h y d e n n i n g 和s r i 公司计算机科学实验室的p e t e rn e u m a n n 研究出了一个实 时入侵检测系统模型- - i d e s ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m s 入侵检测 专家系统) ，这是第一个运用了统计和基于规则两种技术的系统，是入侵 检测研究中最有影响的一个系统。 早期的入侵检测系统都是基于主机的，是通过监视与分析主机的审 计记录来检测入侵。1 9 9 0 年，h e b e f l e i n 提出了基于网络的入侵检测系统， 与以前的入侵检测系统最大的不同在于，它第一次直接将网络数据流作为 审计数据来源，因而可以在不将审计数据转换成统一格式的情况下监控异 种主机，追踪可疑行为。1 9 9 1 年，分布式入侵检测系统d i d s ( d i s t r i b u t e i n t r u s i o n d e t e c t i o n s y s t e m ) 出现，它的设计思路是收集和并行处理来自多 3 太原理工大学硕士研究生学位论文 个主机的审计信息，来检测对同一系统主机的协同攻击行为。m a r k c r o s b i e 和g e n es p a f f o r d 于1 9 9 4 年提出使用自治代理( a u t o n o m o u s a g e n t s ) 来提高入侵检测系统的可伸缩性、可维护性、效率和容错性。这 使得入侵检测的研究又向前发展了一步。而1 9 9 6 年基于图形学的入侵检 测系统g r i d s ( g r a p h b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 的设计和实现大 大弥补了绝大多数的入侵检测系统伸缩性不足的缺陷，使得对大规模自动 或协同攻击的检测更为有效。 近年来，研究人员提出了新的入侵检测技术，将免疫学、数据挖掘、 模式识别、模糊理论、神经网络、遗传算法等学科的知识应用到入侵检测 技术中，使入侵检测技术显示出了强大的泛化能力和适应能力，在预测入 侵行为、鉴别新型攻击、识别攻击变种等方面表现出卓越的性能。其中最 具有代表性的是基于免疫系统和基于数据挖掘的检测技术。 新墨西哥大学的s t e p h a n i ef o r r e s t 根据自然界生物免疫系统提出了与 其相似的计算机免疫系统，并使用主机系统调用短序列作为研究对象，构 建了基于主机系统调用序列的入侵检测模型。经过对模型的实验和测试， 得出了一个重要结论：一个运行的进程所产生的系统调用短序列，对于正 常的行为来说是稳定的；在有入侵或入侵企图发生时，系统调用短序列将 产生较大的波动。这一结论说明将系统调用序列运用于入侵检测是切实可 行的。 1 9 9 8 年，哥伦比亚大学的w e n k el e e 研究小组首次将数据挖掘技术 应用于入侵检测系统。针对主机系统调用序列数据，使用r i p p e r 分类算法 产生的分类规则对入侵行为进行检测。通过研究测试并与f o r r e s t 的实验数 据进行比较，表明将数据挖掘技术应用于入侵检测系统，不但在理论和技 术上都是可行的，而且可以从更高的层次上表达行为特征，简化了分类器， 缩减了存储空间，并在一定程度上提高了分类精度和分类器的泛化能力。 4 太原理工大学硕士研究生学位论文 当前对数据挖掘算法的研究已经比较成熟，一些算法尤其适用于入侵 检测，如：分类、关联规则分析、序列模式分析等。a g r a w a l 和s r i k a n t 提出的关联规则快速挖掘算法a p r i o r i 以及m a n n i l a 和t o i v o n e n 提出的基 于最小发生数的从事件序列中找出简单序列模式的算法都被用于异常入 侵检测中来建立系统的正常行为模型。但是单纯使用数据挖掘技术又会导 致所谓的“边界过硬”等问题，使检测缺乏灵活性；同时网络安全事件本 质上也具有模糊性。因此有些学者又提出将模糊逻辑与数据挖掘技术相结 合，应用到入侵检测中去。目前国内外学者对模糊数据挖掘进行了很多研 究，提出了一些从经典的数据挖掘算法演变来的模糊挖掘算法，也给出了 一些在入侵检测中应用模糊数据挖掘的解决方案，并做了大量实验，取得 了一定的成果。m i s s i s s i p p i s t a t eu n i v e r s i t y 研究小组提出的 l l d m ( i n t e l l i g e n ti n t r u s i o nd e t e c t i o nm o d e l ) 1 2 】【3 】1 4 】就是把模糊逻辑与数据挖 掘算法( 关联规则算法和频繁模式箕法) 结合起来应用到入侵检测系统中， 以提高系统的检测能力。 目前，国内也有很多人致力于基于数据挖掘的入侵检测系统的研究工 作，但都还处于起步阶段。 1 2 课题的主要研究内容 基于网络的入侵检测系统是通过在共享网段上侦听、采集通信数据来 分析可疑现象。它对主机资源消耗少，而且由于网络协议是标准的，所以 它可对网络提供通用的保护而无需顾及网络的不同架构。因为基于网络的 入侵检测系统具有上述优点，目前在这方面的研究已成为入侵检测领域研 究的热点。 建立一个网络入侵检测系统的核心是为正常行为或异常行为建模。由 于大多数网上操作表现为一组与时间相关的行为序列，因此可以考虑通过 5 太原理工大学硕士研究生学位论文 挖掘频繁的行为序列，得到一些操作模式。这些模式有正常的，也有攻击 行为的，我们可以用这些序列模式建立正常或者攻击行为的规则库，以此 为模型来检测是否有入侵行为发生。本课题主要是在网络异常检测建模方 面做了一些研究，提出了一个基于模糊序列模式的网络异常检测模型。具 体研究内容如下： 1 分析对比了几种经典的序列模式挖掘算法，指出了它们各自的优缺点。 2 在吸取s p a d e 挖掘算法优点的基础上，对其存在大量冗余候选集的缺 陷进行改进。将改进后的s p a d e 算法应用到网络入侵检测建模中。 3 针对网络安全事件的特点，引入了模糊逻辑理论，解决了网络连接记 录中定量属性挖掘问题。 4 采用规则裁减策略来剔除冗余规则，缩减了规则库的规模。 5 通过仿真实验验证了本文所提出的基于模糊序列模式的网络异常检测 模型的性能。 1 3 论文内容安排 本文首先介绍了入侵检测和数据挖掘的基本原理，然后分析比较了 几种序列模式挖掘算法，在此基础上提出了基于模糊序列模式的网络异常 检测模型，并对模型各组成部分的工作原理和工作过程进行了详细介绍， 最后是实验的设计和实验结果的分析。各章节的内容安排如下： 第一章介绍课题研究的背景、意义及主要研究内容。 第二章介绍入侵检测的相关概念、入侵检测建模方法、所采用的主 要分析技术，以及入侵检测系统的结构和工作原理。 第三章讲述了数据挖掘的相关知识及数据挖掘算法在入侵检测中的 应用。 第四章介绍了几种经典的序列模式挖掘算法，分析比较了各种算法 6 太原理工大学硕士研究生学位论文 的优缺点。 第五章针对s p a d e 算法的缺点提出了改进方法，并引入了模糊逻辑 理论，提出了基于模糊序列模式的网络异常检测模型，阐述了模型各部 分的原理和工作过程。 第六章讲解了具体的实验设计及实验结果。 第七章对全文进行概括性的总结，提出了未解决的问题及今后要做 的工作。 1 4 本章小结 本章介绍了课题研究的背景和意义，阐述了入侵检测的发展历史和 现状，简要说明了本课题的主要研究内容和论文的章节安排。 7 太原理工大学硕士研究生学位论文 第二章入侵检测基本原理 在入侵检测技术出现之前，大多数的安全机制都是从主观角度设计 的，没有根据网络攻击的具体行为来决定安全对策，所以它们对入侵行为 的反应非常迟钝，很难发现未知的攻击行为，不能根掘网络行为的变化及 时调整系统的安全策略。而入侵检测正是根据网络攻击行为设计的。它不 仅能够发现己知入侵行为，而且有能力发现未知的入侵行为，并可以通过 学习和分析入侵手段，及时地调整系统策略以加强系统的安全性。 2 1 入侵检测概念 入侵是指任何企图危及资源的完整性( i n t e g r i t y ) 、机密性 ( c o n f i d e n t i a l i t y ) 和可用性( a v a i l a b i l i t y ) 的活动【5 j 。j a m e sp a n d e r s o n 在 其技术报告“c o m p u t e rs e c u r i t yt h r e a tm o n i t o r i n ga n ds u r v e i l l a n c e ”中首 次提出了入侵与入侵检测的基本框架，他将入侵分为以下几类：1 外部渗 透者( e x t e r n a lp e n e t r a t o r ) ：指获得系统访问权的非法用户入侵；2 伪装 者( m a s q u e r a d e r ) ：包括外部渗透和系统其它授权用户的入侵，企图利 用他人授权信息对系统进行访问；3 滥用权力者( m i s f e a s o r ) ：指系统 合法用户违反系统安全策略滥用权力的入侵；4 秘密用户( c l a n d e s t i n e u s e r ) ：指在低于正常审计机制下对操作系统的入侵，由于入侵行为征兆 隐蔽，不容易被检测到。 入侵检测就是检测“未经授权使用计算机系统”的外部入侵行为和“合 法访问系统但滥用其特权”的内部入侵行为f 6 】，并采取对抗措施。d o r o t h y d e n n i n g 于1 9 8 6 年提出的通用入侵检测模型( 见图2 - 1 ) 真正揭示了入 8 太原理工大学硕士研究生学位论文 侵检测的实现过程，以后的实用系统大多是借鉴这一模型实现的。 审计记录网络报文应用程序记录 图2 - 1 通用入侵检测模型 f i g u r e2 - it h eg e n e r a li n t r u s i o nd e t e c t i o nm o d e l d e n n i n g 给出了入侵行为可检测条件，即系统能够为正常用户行为自 动建模，当某操作行为明显偏离正常模型时，系统认为处于异常状态并存 在入侵可能。 2 2 入侵检测建模方法 按照建模方法来分类，目前的入侵检测方法可分为：误用检测( m i s u s e d e t e c t i o n ) 、异常检测( a n o m a l yd e t e c t i o n ) 和混合检测( h y b r i dd e t e c t i o n ) 9 1 。 误用检测假定所有入侵行为和手段( 及其变种) 都能够表达为一种模 式或特征，那么所有已知的入侵方法都可以用匹配的方法发现。误用 检测的关键是如何表达入侵的模式，从而把真正的入侵与正常行为区 分开来。其优点是可以有针对性地建立高效的入侵检测系统，检测精 度高，误报率( f a l s ep o s i t i v er a t e ) 低，但它对未知的入侵及已知入 侵的变种检测性能较差，因此可能出现漏报率( f a l s en e g a t i v er a t e ) 较高的情况。 9 太原理工大学硕士研究生学位论文 异常检测假定所有入侵行为都与正常行为不同。它需要建立目标系统 ( 受监控系统) 及其用户的正常活动模型，然后基于这个模型对系统 和用户的实际活动进行审计。理论上可以把所有与正常活动模式不同 的系统状态视为可疑企图。对于异常阈值与特征的选择是异常检测技 术的关键。异常检测的优点是它不需要有系统缺陷的知识，具有较强 的适应性，缺点是难于提取完备的正常行为特征，这会导致检测的误 报率较高。在实际系统中，异常检测的结果往往都要提交给系统管理 员继续跟踪分析。 混合检测是把误用检测和异常检测集成起来进行建模的方法。由于异 常检测和误用检测在检测方式和适用领域存在着互补性，因此许多入 侵检测系统通过集成的方式将其混合使用，来承担系统安全监控任 务。 2 3 入侵检测分析技术 入侵检测技术主要研究的是如何对入侵行为进行分析和判定，入侵 分析是入侵检测的核心。目前主要的入侵检测技术有： 1 ) 基于统计方法的入侵检测技术 这种技术是通过对系统审计数据的分析，建立起系统主体( 单个用户、 一组用户、主机甚至是系统中某个关键程序和文件等) 的基于统计的正常 行为特征表述；进行检测时，检测模型将系统中的审计数据与已建立的主 体正常行为特征表述相比较，若相异部分超过设定阈值，即判断该行为是 入侵行为。也就是说，系统根据用户的历史行为来决定用户当前行为是否 合法。当用户改变其行为习惯时，这种“异常”就会被检测出来。 基于统计的入侵检测技术对历史数据的依赖型强，因此在此基础上构 建的检测系统灵活性较差。无法适应不同的安全策略和检测需求。 1 0 太原理工大学硕士研究生学位论文 2 ) 基于专家系统的入侵检测技术 专家系统是以专家的经验性知识为基础建立的，以知识库和推理机为 中心的智能软件系统结构。在这一系统中，入侵行为被编码成专家系统的 推理规则，每个规则具有“i f 条件t h e n 动作”的形式，其中条件为审 计记录中某个域的限制条件，动作表示规则被触发后入侵检测系统所采取 的行动。这些规则可识别单个的审计事件，也可识别表示一个入侵行为的 一系列事件。专家系统可以自动解释系统的审计记录并判断其是否满足描 述入侵行为的规则。最早出现的误用检测大部分都是基于规则的专家系 统。 基于专家系统的入侵检测技术对已知入侵和系统安全漏洞检测的精 度高，而对于未知行为不能进行有效检测。另外，系统开发的人为因素较 大，更新也比较困难。 3 ) 基于人工神经网络的入侵检测技术 人工神经网络具有许多优良的特征，这些特征对于入侵检测研究是十 分重要的：具有较强的容错性，能够识别带有噪声的输入模式；具有 较强的自适应学习能力：能够把识别和预处理融为一体；采用并行工 作方式，识别速度快；对信息采用分布式记忆方式，信息不易丢失。 由于简化了分析结构，基于人工神经网络的入侵检测速度得到了有效 提升；另外，当系统掌握了攻击的特征时，这种技术可提高系统响应的有 效性。它的缺点在于，神经网络的训练过程较长，同时还需考虑所采用的 网络模型的稳定性。 4 ) 基于模式预测的入侵检测技术 这种技术对事件的发生顺序加以考虑，使用动态规则集合检测入侵。 这些规则根据所观察事件的序列关系和局部特性归纳产生序列模式。每一 条规则描述了一个序列模式，它以一定的概率预测下一个可能的事件。通 1 1 太原理工大学硕士研究生学位论文 过识别过去所观察事件的规律，预测模式能够推理出下一时刻输入数据流 中某些更可能发生的情况。 这种技术适合检测基于时间关系的入侵，它的缺点是规则产生若不充 分，易导致高的误报率，而且计算开销较大。 除了以上介绍的几种分析技术，遗传算法、人工免疫、量化分析、状 态转移分析等方法也常被用到入侵检测中。这些方法各有其优缺点和应用 环境，有时单独使用并不能达到很好的检测效果，可以考虑将它们结合起 来使用。取长补短，提高入侵检测的性能。 2 4 入侵检测系统 入侵检测系统i d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) 是一种主动的安全防 护措施。它从系统内部和各种网络资源中主动采集信息，分析可能的入侵 攻击行为，有效扩展系统管理员的安全管理能力( 包括安全审计、监视、 进攻识别和响应) ，提高信息安全基础结构的完整性。i d s 所依据的前提 是：用户和程序行为是可见的；正常和入侵行为具有截然不同的迹象。 也就是说，可以通过提取行为的模式特征来分析判断该行为的性质。 一个基本的i d s 有两个核心问题需要解决：一是如何可靠地获取描 述行为特征的数据：二是如何根据特征数据有效地判断行为的性质。为此， i d s 应具备几个基本要素：1 ) 系统资源。如网络设施、用户账号、系统 内核等：2 ) 定义系统资源合法使用行为的模型：3 ) 用于行为监控的技术。 2 , 4 1 入侵检测系统的构成及工作原理 不同的入侵检测系统往往以不同的组件描述系统的组成结构。从功能 逻辑上讲，入侵检测系统是由三个必要的组件：探测器( s e n s o r ) 、分析 器( a n a l y z e r ) 和用户接口( u s e ri n t e r f a c e ) 1 4 组成。 1 2 太原理工大学硕士研究生学位论文 1 探测器 探测器主要负责收集数据，它的输入输出流包括任何可能包含入侵行 为线索的系统数据，比如说网络数据包、日志文件和系统调用记录等。探 测器将这些数据收集起来然后发送到分析器进行处理。 2 分析器 分析器又称为检测引擎( d e t e c t i o ne n g i n e ) ，它负责从一个或多个探 测器处接受信息，并通过分析来确定是否发生了非法入侵活动。分析器组 件的输出为标识入侵行为是否发生的指示信号，例如一个警告信号。该指 示信号中还可能包括相关的证据信息。此外，分析器组件还能够提供关于 可能的反应措施的相关信息。 3 用户接口 i d s 的用户接口使得用户易于观察系统的输出信号，并对系统行为 进行控制。用户接口又叫“管理器”或“控制台”等。 图2 - 1 入侵检测系统基本工作原理 f i g u r e2 - 1b a s i cp r i n c i p l eo fi n t r u s i o nd e t e c t i o ns y s t e m 太原理工大学硕士研究生学位论文 图2 - 2 1 】是一个i d s 的基本工作原理图。可以看出，i d s 主要由数据 提取、入侵分析和响应处理三部分组成。数据提取负责提取反映受保护系 统运行状态的数据，为入侵分析提供原始的安全审计数据：入侵分析负责 原始数据的格式规范、数据分类、入侵检测和响应生成；响应处理则以自 动或用户设置的方式阻断攻击过程，也可以报告或记录发生的事件。 2 4 2 入侵检测系统的分类 按照数据来源和监视对象