（计算机系统结构专业论文）基于关联规则挖掘的入侵检测技术研究.pdf

重庆大学硕士学位论文中文摘要 摘要 随着网络和其它信息技术的广泛应用，网络系统的安全变得至关重要。入侵 检测系统是保护网络系统安全的关键技术和重要手段，但现行的入侵检测不仅对 新的攻击或特征未知的入侵无能为力，而且检测的准确性与实时性均达不到实际 应用的需求。关联规则挖掘是数据挖掘研究中一个重要的研究内容，可以从海量 数据中发现正常和异常的行为模式，将其用于入侵检测不仅可以有效地检测已知 入侵，而且还具有检测未知攻击模式的能力，因此，研究关联规则的高效挖掘算 法对于提高入侵检测的准确性和时效性具有非常重要的意义。 本文主要包括以下内容：在分析a p n o f i 算法及其改进算法的基础上，针对其 存在的问题提出了一种自适应快速关联规则提取算法( as e l g a d a p t e df a s td a m m i n i n ga l g o r i t h mf o ra s s o d a t i o nr u l 锶，s a r m ) 。该算法的特点在于引入自适应步 长、基于连接的支持度统计与动态剪枝的概念，从而减少了对数据库的扫描次数， 解决了频繁项长度增加时运算时间显著增加的问题，提高了算法的效率。仿真结 果表明，s a r m 算法比a p f i o f i 算法有比较明显的优势，可以应用于大规模数据库 的关联规则数据挖掘中。通过对挖掘关联规则增量更新中f l i p 算法的关键思想以 及性能进行了研究，提出了改进的f u p 算法s f u p 。该算法充分利用原有挖掘结 果中候选频繁项集的支持数，能有效减少对数据库的重复扫描次数，并通过实验 对这两种算法进行比较，结果充分说明了s f u p 算法的效率要优于f l i p 算法。针 对现行的入侵检测方法建立的正常模式和异常模式不够准确、完善，容易造成误 警或漏警的问题，本文将改进后的关联规则挖掘算法- - s a r m 和关联规则增量更 新算法一s f u p 应用于网络入侵检测，提出了新的入侵检测方法，该方法通过挖掘 训练审计数据中的频繁项集建立系统和用户的正常行为模型以及入侵行为模型， 然后通过对实时网络数据进行增量挖掘来获取实时网络行为模式，通过与模式库 的匹配达到检测入侵的目的。实验结果表明，该方法具有较高的检测精度和时效 性。 关键词：入侵检测，数据挖掘，关联规则，网络安全 重庆大学硕士学位论文 英文摘要 a b s t r a c t w i t l lt h en e t w o r ka n do t h e ra d d i t i o n a li n f o r m a t i o nt e c h n o l o 百e s , w i d e rs p r e a d ，t h e s e c u r i t yo fn e t w o r ks y s t e mh a sb e c o m ec h a n g e sv e r yi m p o r t a n t c r u c i a l i n t r u s i o n d e t e c t i o ns y s t e mi san e t w o r ks y s t e ms e c u r i t yp r o t e c t i o no fk e yt e c h n o l o g i e sa n d i m p o r t a n tm e a n si d sp r o t e c t st h en e t w o r ks y s t e m s e c u r i t yt h ee s s e n t i a lt e c h n o l o g ya n d t h ei m p o r t a n tm e t h o d t h e nt h ee x i s t i n gi d st h e p r e s e n ti n v a s i o ne x a m i n a t i o nn o to n l yi s h e l p l e s st on o to n l yt h en e 。wa t t a c ko rt h ec h a r a c t e r i s t i cu n k n o w ni n v a s i o n , n l o i v e r t h e a c c u r a c ya n dt i m e l i n e s so fe x a m d e t e c t i o n i n e st h ea c o u r a c y a n dt i m e l i n e s sc a n n o tm e e t t h ea c h i e v et h ep r a c t i c a l a p p l i c a t i o n t h e d o r n a n d r c q u i r c m e n t s 1 1 1 e c o n n e c t i o n a s s o c i a t i o nr o l ee x c a v a t i o nm i n i n g ( a r m ) i sa ni m p o r t a n tr e s e a r c hc o n t e n ti nt h ed a t a m i n i n gr e s e a r c ha n i m p o r t a n tr e s e a r c hc o n t e n t ，w h i c hm a yc a nf i n dn o r m a la n d a b n o r m a lb e h a v i o rp a t t e r n sf r o mt h em a s s i v em a 印a n i m o md a t ad i s c o v e m o r m a la n d u n u s u a lb e h a v i o rp a t t e m d a t a w eu s e da r mi ni d sc 船n o to n l ye f f e c t i v e l yd e t e c t k n o w na t t a c k s ，b u ta l s ot od e t e c tu n k n o w na t t a c k sw i t hu n l 1 1 0 w np a t t e r n s o ，r e s e a r c ho f e f f i c i e n tm i n i n ga l g o r i t h mb a s e da r mf o ri m p r o v i n gt h ea c c u r a c ya n dt i m e l i n e s so f i n t r u s i o nd e t e c t i o ni sv e r yi m p o r t a n t u s e si ni tt oi n v a d et h e e x a m i n a t i o nn o to n l yt ob e a l l o w e de f f e c t i v e l yt oe x a m i n et h ek n o w n i n v a s i o n , m o r e o v e ra l s oh a st h ee x a m i n a t i o n u i l k n o w na t t a c k p a t t e r nt h e , a b i l i t y , t h e r e f o r e ，t h e r e s e a r c hc o n n e c t i o nr u l eh i g h l y e f f e c t i v e e x c a v a t i o na l g o r i t h mh a st h ec o u n tf o rm u c hs i g n i f i c a n c er e g a r d i n g t h e e n h a n c e m e n ti n v a s i o ne x a m i n a t i o na c c u r a c ya n dt h ee f f e c t i v e n e s sf o ra p e r i o do f t i m e t i l i sa r t i c l ew a st oc o n n e c t e dt h er u l ed a t am i n i n gt e c h n o l o g ya n di t s c a r r i e so ni n t h ei n v a s i o ne x a m i n a t i o na p p l i c a t i o nh a sb e e u s y s t e m a t i c ，t h o r o u g h l yt h es t u d ya n dt h e a n a l y s i sr e s e a r c h ，m a i n j i y i n c h i d i n gb e l o w c o n t e n t ：i na n a l y z e st h ea p r i o r ia l g o r i t h ma n d i t si n t h ei m p r o v e m e n ta l g o r i t h mf o u n d a t i o n ，p r o p o s e di nv i e wo fi t s e x i s t e n c eq u e s t i o n o n ek i n do fa u t o a d a p t e dl e n g t ho fs t r i d el e a p s f o r w a r di m p r o v e m e n ta p r i o r ia l g o r i t h m ( s a r m ) t h i sa l g o r i t h mc h a r a c t e r i s t i cl i e s i n i n t r o d u c e st h ea u t o a d a p t e d l e n g t ho f s t r i d e ，b a s e do nc o n n e c t i o ns u p p o r ts t a t i s t i c sa n dt h e d y n a m i cp r u n i n gc o n c e p t ，t h u s g r e a t l yr e d u c e dt ot h ed a t a b a s es c a n n i n g n u m b e ro ft i m e s ，h a ss o l v e dw h e n t h ef r e q u e n t l e n g t h i n e a s e t h o o p e r a t i o n t i m e r e m a r k a b l yi n a 脚e st h eq u e s t i o n e n h a n c e d t h e a i g o r i t h me f f i c i e n c y 1 1 1 es i m u l a t i o nr e s u l ti n d i c a t e dt h a t t h es a r ma l g o r i t h mh a s t h eq u i t c o b v i o u ss u p e r i o r i t yc o m p a r e dt ot h ea p r i o r ia l g o r i t h m , m a yw i d e l y a p p l yt oi n 重庆大学硕士学位论文英文摘要 t h el a r g e s c a l ed a t a b a s ec o n n e c t i o nr u l ed a t am i n i n g t h r o u g ht oe x c a v a t e dt h e c o n n e c t i o nr u l ei n c r e a s et or e n e wt h ef u p a l g o r i t h me s s e n t i a lt h o u g h ta sw e l la st h e p e r f o r m a n c eh a sc o n d u c t e d t h er e s e a r c h ，p r o p o s e di m p r o v e m e n tf u pa l g o r i t h ms f u p i nt h i sa l g o r i t h mf u l lu s eo r i g i n a le x c a v a t i o nr e s u l tc a n d i d a t e f i - e q u e n ti t e mo fc o l l e c t i o n s u p p o r tn u m b e r , c a l le f f e c t i v e l yr e d u c et o t h ed a t a b a s er e p e t i t i o ns c a n n i n gn u m b e ro f t i m e s ，a n dc a r r i e do nt h e c o m p a r i s o nt h r o u g ht h ee x p e r i m e n tt ot h e s et w oa l g o r i t h m s ， t h er e s u l t f o l l ye x p l a i n e dt h es f u pa l g o r i t h me f f i c i e n c yh a do b v i o u s l yt os u r p a s s t h e f u pa l g o r i t h m i nv i e wo fp r e s e n ti n v a s i o ne x a m i n a t i o nm e t h o de s t a b l i s h m e n t n o r m a l p a t t e r na n du n u s u a lp a t t e r ni n s u f f i c i e n t l ya c c n r a t e ，p e r f e c t ，w i l lb e e a s yt oc r e a t e h a r m st h ep o l i c eo rl e a k sp o l i c e sq u e s t i o n , t h i s a r t i c l ei m p r o v e sa f t e rc o n n e c t i o nr u l e e x c a v a t i o na l g o r i t h m s a r ma n d c o n n e c t i o nr u l ei n c r e a s er e n e w a la l g o r i t h m s f u p a p p l i e s t ot h e n c t w o r ki n v a s i o n e x a m i n a t i o n ，p r o p o s e d t h en e wi n v a s i o n e x a m i n a t i o n m e t h o d ，t h i sm e t h o dt h r o u g ht h ee x c a v a t i o nt r a i n i n ga u d i td a t ai n f r e q u e n t i t e mo fc o l l e c t i o ne s t a b l i s h m e n ts y s t e ma n du s e r sn o r m a l b e h a v i o rm o d e la sw e l la st h e i n v a s i o nb e h a v i o rm o d e l ，t h e nt h r o u g h w i l lc a r r yo nt h ei n c r e a s et ot h er e a l t i m e n e t w o r kd a t at oe x e a v a t e g a i n st h er e a l t i m en e t w o r kb e h a v i o rp a r e r n , t h r o u g hw i l l a c h i e v et h e e x a m i n a t i o ni n v a s i o nw i t ht h ep a t t e r ns t o r e h o u s em a t c ht h eg o a l t h e e x p e r i m e n t a lr e s u l ti n d i c a t e dt h a t ，t h i sm e t h o dh a st h eh i g h e r e x a m i n a t i o np r e c i s i o na n d t h ee f f e c t i v e n e s sf o rap e r i o do ft i m e t h i sp a p e ri n c l u e st h ef o l l o w i n g ：o nt h eb a s i so f a p r i o r ia l g o r i t h ma n a l y s i sa n di m p r o v e da l g o r i t h m ，t h i sp a p e rb r i n g s f o r w a r da s e l f - a d a p t e df a s td a t am i n i n ga l g o r i t h mf o ra s s o c i a t i o nr u l e sa g a i n s tt h ee x i s t e n c eo f p r o p l e m t h ef e a t u r eo f t h i sa l g o r i t h mi ss e l f - a d a p t e d ，s u p p o r ts t a t i s t i cb a s e dc o n n e c t i o n a n dd y n a m i cp r u n i n g , w h i c hg r e a t l yr e d u c e st h en u m b e ro fs c a n n i n gt h ed a t a b a s e t h e a l g o r i t h ms o l v e st h ep r o b l e mo fo p e r a t i o n a lt i m ei n c r e a s es i g n i f i c a n t l yw h e nl e n g t ho f f r e q u e n ti t e m si n c r e a s e d t h a tc a ni m p r o v et h ee f f i c i e n c y s i m u l a t i o nr e s u l t ss h o wt h a t s a r ma l g o r i t h mh a saq u i t eo b v i o u sa d v a n t a g e sw h i c hc a nb eu s e di na s s o c i a t i o nr u l e s m i n i n go f l a r g ed a t a b a s e t h r o u g ht h er e s e a r c ho f f l i pa l g o r i t h mf o ri t sc r i t i c a lt h i n k i n g a n dp e r f o r m a n c e t h i sp a p e rb r i n g sf o r w a r da ni m p r o v e df u p s f u p t h ef u pt a k ef u l l u s es u p p o r tn u m b e ro ff r e q u e n ti t e m s e t si nt h eo r i g i n a lm i i l i r l gr e s u l t ，t h a tc a nr e d u c e d a t a b a s es c a n n i n gn u m b e r se f f i c i e n t l y a f t e rc o m p a r i n gt h e s et w oa l g o r i t h m st h r o u g h e x p e r i m e n t ，t h er e s u l ts h o w ss f u pi sm o r ee f f i c i e n tt h a nf u p a g a i u s tt h ep r o b l e mo f f a l s ea l a r ma n dm i s sa l a r mb r o u g h tb yt h ee x i s t i n gi n t r u s i o nd e t e c t i o nm e t h o d sf o r n o 册a la n da b n o r m a lp a t t e r n sm o d e ln o ta c c u r a t ea n dp e r f e r te n o u g h , s a r ma n ds f u p a r ea p p l i e di n t on e t w o r ki n m m i o nd e t e c t i o ni nt h i sp a p e rw h i c hi san wm e t h o df o r m 重庆大学硕士学位论文 英文摘要 i n t r u s i o nd e t e c t i o n s y s t e ma n du s e r sn o r m a lb e h a v i o rm o d e la n di n t r u s i o nm o d e la f c f o u n dt h r o u g hm i n i n gf r e q u e n ti t e m s e t si nt r a i n i n ga u d i td a t a ，t h e nn e t w o r kb e h a v i o r m o d e li sg o tb yr e a lt i m en e t w o r kd a t ai n c r e m e n t a lm i n i n ga n dd e t e c t i n gi n t r u s i o nb y m a t c h i n gm o d e ld a t a b a s e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h em e t h o dh a sh i g h e r d e t e c t i o na c c u r a c ya n dt i m e l i n e s s k e y w o r d s ：i n t r u s i o nd e t e c t i o n , d a t em i n i n g , c o n n e c t i o nr u l e , n e t w o r ks e c u r i t y 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重庆态堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在沧文中作了明确的说明并表示谢意。 学位论文作者签名：多建砒 签字日期：刎7 年g 月，日 学位论文版权使用授权书 本学位沦文作者完全了解重麽太堂 有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许 论文被查阅和借阅。本人授权重庆太堂 可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 保密() ，在年解密后适用本授权书。 本学位论文属于 不保密( v ) 。 ( 请只在e 述一个括号内打“”) 学位论文作者签名：謦酬7 签字臼期：胡年月j 日 导师签名：杏辉 签字日期：矽刁年月厂日 重庆大学硕士学位论文1 绪论 1 绪论 1 1 选题的目的和意义 因特n ( i n t e m e t ) 起源于1 9 6 9 年的a r p a n e t ，最初用于军事目的，1 9 9 3 年开始 用于商业应用，进入快速发展阶段到目前为止，互联网己经覆盖了1 7 5 个国家和 地区的数千万台计算机，用户数量超过一亿。随着计算机网络的普及，计算机网 络的应用向深度和广度不断发展。企业上网、政府上网、网上学校、网上购物等， 一个网络化社会的雏形己经展现在我们面前。在网络给人们带来巨大的便利的同 时，也带来了一些不容忽视的问题，网络信息的安全保密问题就是其中之一。 一个安全系统至少应该满足用户系统的保密性、完整性及可用性要求。但是， 随着网络连接的迅速扩展，特别是i n t e m e t 大范围的开放以及金融领域网络的接入， 越来越多的系统遭到入侵攻击的威胁。这些威胁大多是通过挖掘操作系统和应用 程序的弱点或者缺陷( b u g ) 来实现的。目前，对付破坏系统企图的理想方法是建立 一个完全安全系统。但这样的话，就要求所有的用户能识别和认证自己，还要采 用各种各样的加密技术和强访问控制策略来保护数据。 目前，网络安全技术主要包括【1 - 2 ： 1 数据加密技术： 加密算法是网络安全的基石。数据加密实质上是对以符号为基础的数据进行 移位和置换的变换算法。这种变换是被称为密钥的符号串控制的。一般情况下， 我们用公开密钥算法建立通信，用对称密钥算法存储或传输中的数据进行加密， 而用m d 5 等报文摘要算法来验证数据的完整性。加密技术可运用于链路层、网络 层、传输层和应用层。加密产品主要包括链路密码机、m 协议密码机、邮件文件 加密产品、交易处理过程加密系统等。 2 身份鉴别和认证技术： 鉴别是确保所有安全应用和服务的基础，认证就是将特定实体从任意实体的 集合中识别出来的行为，而鉴别则是为认证提供充分保证的手段。鉴别和认证产 品主要包括：用于数字证书发行和管理的证书、卡片类、手持身份认证产品等。 3 访问控制技术： 其目的是防止对网络信息资源的非授权访问和操作。其技术原理包括：硬件物 理隔离，面向连接的中继，面向网络层的控制( 如i p 包过滤) ，协议层状态检查， 面向应用的转发与代理( 如s o c k s ) ，通过中继设备对实体标识进行变挟( 例如n a t ) 及基于授权等级分割的权限控制等。访问控制技术广泛应用于防火培设备、代理 服务器、鉴别与认证服务器、授权服务器中。 重庆大学硕士学位论文1 绪论 4 防火墙技术【3 1 ： 防火墙系统是外部网络与内部网络( 需受保护) 之间的物理与逻辑界面。目前使 用的防火墙构件，可分成信息包过滤器、线路中继器及应用网关三种不同的访问 控制系统，它们可单独使用，也可结合在一起共同使用。 防火墙作为网络安全的一种防护手段得到了广泛的应用，它可以起到一定的 防护作用。然而，防火墙技术有如下的不足： 入侵者可以寻找防火墙背后可能敞开的后门绕过防火墙； 防火墙完全不能阻止内部攻击，对于企业内部心怀不满的员工来说形同虚设； 防火墙是一种被动的防护机制，防火墙不能提供实时的入侵检测能力； 防火墙是一种静态的防护机制，需要人工来实施和维护，不能主动跟踪入侵 者。 由以上内容，我们可以发现现有安全防护措施的不足嗍： 1 被动地保护网络安全。现有的安全防范措施在保护网络安全方面虽然起到了 很大的积极作用，但这种保护常常是被动的，不能主动地发现一些安全隐患。比 如，在局域网内，假设员工在收发电子邮件、f t p 连接、传输机密文件等操作时 以明文方式进行的话( 实际上，在生活中，很多在局域网内传输的信息都是以明文 方式传输的) ，如果此时在局域网内有一个员工用s n i f f e r 嗅探软件进行监听，他可 以把在局域网上传输的机密信息如用户名和口令等全部截获，从而可以干一些超 出他权限范围内的事，如以他人身份收取邮件、查看或是修改他人计算机上的机 密文件等。又比如，即使局域网通过防火墙连接到i n t e m e t 上，但如果从i n t e m e t 上用诸如s y n f l o o d 和u d p f l o o d 软件向局域网发起攻击( 这是2 0 0 0 年初发生在a o l 、 y a h o o 等很多全球知名网站上的拒绝服务攻击事件) ，现有的安全防护措施不能 很好地检测此类攻击。 2 传统的安全防护措施对网络管理人员的素质要求较高。要想保证现有的安全 防范措施能完全充分地发挥作用，要想检测网络安全措施是否真正地发挥了作用， 就必须要求网络管理人员要有很高的业务素质，而这一点也常常不容易达到。要 较好地解决上面两个问题，就必须在现有的安全体系中引入入侵检测系统 ( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) 。入侵检测系统就是按此思路建立的安全系 统，即：先建立比较容易实现的安全系统，同时按照一定的安全策略建立相应的安 全辅助系统。现在安全软件的开发方式基本上就是按照这个思路进行的。就目前 系统安全状况而言，系统存在被攻击的可能性。如果系统遭到攻击，只要尽可能 地检测到，甚至是实时地检测到，然后采取适当的处理措施。i d s 一般不是采取预 防的措施以防止入侵事件的发生，入侵检测作为安全技术其作用在于：识别入侵者； 识别入侵行为；检测和监视已成功的安全突破；为对抗入侵及时提供重要信息， 2 重庆大学硕士学位论文1 绪论 阻止事件的发生和事态的扩大。因此，入侵检测非常必要5 】。 1 2 国内外研究概况 入侵检测的概念最早由j a m e sa n d e r s o n 于1 9 8 0 年提出。而d o r o t h yd e n n i n g 于1 9 8 4 1 9 8 7 年最早提出并实现一个通用的入侵检测模型i d e s ( i n t r u s i o n d e t e c t i o ne x p e r ts y s t e m ) 。受a n d e r s o n 和d o r o t h y 的影响在2 0 世纪8 0 年代出现大 量的原型系统如i d a u d i ta n a l y s i sp r o j e c t ，d i s c o v e r y , h a y s t a c k ，m i d a s ，n a d i r , n s m ，w i s d o ma n ds e n s e 等：商业化的入侵检测系统直到2 0 世纪8 0 年代后期才出 现，比如目前较有影响的公司i s s 是在1 9 9 4 年成立的国内的研究则从九十年代未 起步，至今方兴未艾。 然而，到目前为止，入侵检测技术仍然很不完善。一方面随着计算机技术、 网络技术自身的高速发展、千兆高速网、k c d 技术等的出现，又增加了入侵检测 实现的难度；另一方面，入侵技术也在不断地更新变化。可以说网络入侵检测技术 又面临者一个新的挑战。在大型网络中，入侵检测所面临的问题可以总结为：大型 分布、异构环境：庞大、时变、噪音信息数据；不完整信息的推理；处理不同类 型的探测器：网络结构的复杂性，致使协作、通讯的困难；大型网络中的信任关 系复杂；进攻模式的不断变化。 在目前入侵检测技术的研究中，一方面在检测技术上，针对越来越复杂的攻 击方法，如何提高人、检测能力。另一方面，利用a g e n t 技术在检测系统结构设 计上，实现对大型网络、高速千兆网、分布式异构平台环境的适应。目前的技术 研究主要集中在如下几个方面：检测系统的攻击反应机制；高度分布式的入侵检测 系统结构；入侵检测系统的互操作标准；新的入侵检测方法。 其中在新的入侵检测方法方面主要的研究方向有【5 】【8 删： 基于特征选择异常检测方法； 基于贝叶斯推理的异常检测方法； 基于贝叶斯网络的异常检测方法； 基于模式预测的异常检测方法： 基于贝叶斯聚类的异常检测方法： 基于机器学习的异常检测方法： 基于数据挖掘的异常检测方法； 基于统计异常的检测方法； 基于神经网络的检测方法； 基于条件概率的误用检测方法； 基于状态迁移分析的误用入侵检测方法； 重庆大学硕士学位论文1 绪论 基于键盘监控的误用入侵检测方法： 基于专家系统的误用入侵检测方法； 基于模型误用推理的误用入侵检测方法； 基于p c t r i 网状态转换的误用入侵检测方法 1 3 论文研究的目的 研究目的是将数据挖掘中关联规则算法引入到入侵检测中来，提高入侵检测 的准确率，降低起误报率和漏报率。 1 4 论文的创新点 1 、将数据挖掘理论中的关联规则算法引入到入侵检测中。 2 、构建适合网络入侵检测的关联规则分类器，用实验验证其性能。 1 5 论文的组织结构 本课题主要探讨了在入侵检测系统的设计和实现中应用数据挖掘技术的方 法。 下面介绍一下论文的内容安排。 第1 章简要地介绍了国内外网络安全和入侵检测技术的研究现状，阐述了本 课题的研究目的和意义。 第2 章讨论了入侵检测技术的一般原理和方法，详细地介绍了目前流行的几 种入侵检测系统的模型，并给出了入侵检测系统的分类。 第3 章详细介绍了a 埘o r i 算法的改进算法$ a r m 算法的改进原理和具体实 现，并通过实验证明其性能。 第4 章详细地讨论了关联规则增量更新改进算法s f u p 算法的改进原理和具 体实现，并通过实验证明其性能。 第5 章介绍了基于数据挖掘的入侵检测原型系统的设计和实现过程。 最后一章是对系统的评价和工作总结，并提出了今后的研究方向。 4 重庆大学硕士学位论文 2 入侵检测技术研究与分析 2 入侵检测技术研究与分析 2 1 入侵检测的定义 2 1 1 入侵 a n d e r s o n 在8 0 年代早期使用了“威胁”这一概念术语，其定义与入侵含义相同。 将入侵企图或威胁定义为未经授权蓄意尝试访问信息、窜改信息，使系统不可靠 或不能使用【6 1 。h e a d y 给出另外的入侵定义，入侵是指有关试图破坏资源的完整 性、机密性及可用性的活动集合【1 0 1 。s m a h a t l l 】从分类角度指出入侵包括尝试性闯入、 伪装攻击、安全控制系统渗透、泄漏、拒绝服务、恶意使用6 种类型。 2 1 2 入侵检测 国际上早在2 0 世纪8 0 年代就开始了对计算机和网络遭受攻击防范的研究， 审计跟踪为当时主要的方法。1 9 8 0 年，a n d e r s o n 首先提出了入侵检测的概念，他 将入侵尝试或威胁定义为：潜在的、有预谋的、未经授权的访问信息、操作信息， 致使系统不可靠或无法使用的企酬”。他提出审计追踪可应用于监视入侵威胁。但 这一设想的重要性当时并未被理解，但他的这一份报告被认为是入侵检测的开创 性工作。 从1 9 8 4 年到1 9 8 6 年，d e n n i n g 和n e u m a n n 研究并发展了一个实时入侵检测 系统模型，命名为i d e s ( x 侵检测专家系统) ，它是一种通过使用统计方法发现用 户异常操作行为并判断检测攻击的基于主机的入侵检测系统，将异常定义为“稀少 和不寻常”( 指一些统计特征量不在正常范围内) ，他们的这个假设是许多8 0 年代入 侵检测研究和系统原型的基础。1 9 8 7 年，d e n n i n g 提出关于这个问题的论文被认 为是另一篇入侵检测的开创之作【坦】。1 9 8 8 年，m o r i s si n t e m e t 蠕虫事件导致了许多 i d s 系统的开发研制。1 9 8 8 年，l u n t 等人进一步改进了d e n n i n g 提出的入侵检测 模型，他提出了与系统平台无关的实时检测思想。1 9 9 0 年，h e b e r l e i n 等人提出基 于网络的入侵检测- n i d s ，n i d s 可以通过在局域网上主动地监视网络信息流量 来追踪可疑的行为【1 3 】。1 9 9 1 年，n a d i r 与n i d s 提出了收集和合并处理来自多个 主机的审计信息从而用以检测针对一系列主机的协同攻击。1 9 9 4 年，m a r kc r o s h i e 和g e n ea f f o r d 建议使用自治代理以便提高i d s 的可伸缩性、可维护性、效率和容 错性。1 9 9 4 年b i s w a n a t hm u k h e r j e c 等【1 4 】对先前i d s 的研究做了较为完整的回顾和 分析，对各种i d s 的系统原型进行了分析和评述。1 9 9 5 年以后出现了很多不同的 新的i d s 研究方法特别是智能i d s ，包括神经网络、遗传算法、模糊识别、免疫 系统、数据挖掘等，这些方法目前都处在理论研究阶段。 入侵检测是指监视或在可能的情况下，阻止入侵或试图控制你的系统或网络 资源的那种努力。它通过对计算机网络或计算机系统中的若干关键点收集信息并 对其进行分析，从中发现网络或系统中是否有违反安全策略的行为和被攻击的迹 重庆大学硕士学位论文 2 入侵检测技术研究与分析 象。进行入侵检测的软件与硬件的组合便是入侵检测系统。与其他安全产品不同 的是，入侵检测系统需要更多的智能，它必须可以将得到的数据进行分析，并得 出有用的结果。一个合格的入侵检测系统能大大地简化管理员的工作，保证网络 安全的运行。入侵检测是一种主动的防护措施，它从系统内部和网络中收集信息， 从这些信息中分析计算机是否有安全问题，并采取相应的措施。一个入侵检测系 统应该具有以下功能： 监视系统和用户的行为； 审计系统配置和漏洞： 评估敏感系统和数据的完整性； 识别和攻击行为； 对异常行为进行统计； 进行审计跟踪，识别安全法规的行为； 自动地收集和系统相关的补丁； 安装诱骗服务器，记录黑客的行为。 这些特点组合起来，就可以使系统管理员轻松地监视、审计、评估网络系统 的安全性。 2 2 入侵检测系统的原理 入侵检测是用来发现外部攻击与合法用户滥用特权的一种方法。入侵挖掘是 根据用户的历史行为，基于用户的当前操作，完成对入侵的检测，并留下入侵证 据，为数据恢复和事故处理提供依据。入侵检测系统的功能原理如2 1 所示： 图2 1 入侵检测系统的原理 f i g 2 1p r i l l c i p l eo f i d s 6 重庆大学硕士学位论文 2 入侵检测技术研究与分析 在入侵检测系统中，系统将用户的当前操作所产生的数据同用户的历史操作 数据根据一定的算法进行检测，从而判断用户的当前操作是否是入侵行为，然后 系统根据检测结果采取相应的行动。入侵检测的过程是一个机器( 检测工具) 与人 ( 黑客) 对抗的决策分析过程。 2 3 入侵检测系统的模型 不同的入侵检测系统模型往往采用不同的组件描述系统组成。一般地，一个 入侵检测系统由以下组件组成【”3 】： 1 数据源d a t as o u r c e ；数据源是i d s 监视并发现未授权或异常行为的原始数据。 通常包括原始网络数据包、操作系统审计记录、应用程序审计记录以及系统校验 数据等等。 2 感应单元s e n s o r ：感应单元从数据源收集数据。不同的i d s 其感应单元收集 数据的频率也不同。 3 行为a c t i v i t y ：行为是数据源的实例，如某个网络连接、某个用户执行的一个 操作和某个应用程序的触发的一个事件等。行为既可以是危险的恶意攻击，也可以 是无害的用户偶然异常操作。 4 分析单元a n a l y z e r ：分析单元分析处理感应器收集到的数据( 如未授权或异常 行为和其它有用事件等) ，并产生告警。在现有i d s 系统中，感应单元和分析单元 往往是统一组件的一部分。 5 事件e v e n t ：事件是对数据源数据进行分析的结果。事件( 一个或多个) 触发告 警。 6 告警a l e r t ：告警消息由分析单元产生并发送到对应的响应单元。告警消息通 常包括事件的类型、事件发生的时间、事件处理的优先级等信息。 7 管理单元m a n a g e r ：- - 般地，管理单元的功能包括感应单元配置、分析单元配 置、事件告知管理、数据综合和报表等。 8 响应单元r e s p o n s o r ：响应单元是对告警作出反应的功能单元，它可以作出切 断连接、改变文件属性等强烈反应，也可以只是简单的报警。 在一些系统中，响应单元和管理单元的功能由同一个模块执行，既可称为管 理单元，也可称为管理单元，如告知模型和告知一询问模型。 9 反应r e s p o n s e ：反应是对事件发生采取的措施。反应可能由系统自动触发， 也可以由安全管理人员发动。其中，通知管理员是普遍反应。其它反应包括行为 记录、原始数据特征记录、切断网络连接、终止用户进程、改变网络或系统存取 属性等。 1 0 省理员a d m i n i s t r a t o r ：( 安全) 管理员负责整个i d s 的安全策略配