（计算机应用技术专业论文）数据挖掘技术在智能入侵检测中的应用研究.pdf

数据挖掘技术存智能入侵f 争删中的w 斤l 研究摘要 摘要 检测是计算机网络安全三个元素里不可缺少的一个重要因素，随着网络黑客 的攻击手段越来越高，并且很多的安全问题是由于公司企业的内部人员行为所致， 人们在享受计算机带来巨大便捷的同时，对计算机安全的要求也越来越强烈。简 单的通过预防已不能解决计算机的安全问题，入侵检测逐渐提高到和预防同一重 要的地位，甚至它的重要性要超过预防。 入侵检测是对网络数据或者主机数据的数据分析过程，从中实时检测出基于 网络或者主机的入侵行为，但是，计算机系统的复杂和网络数据的海量化，为我 们的入侵检测带来极大的困难。数据挖掘技术的出现提供了解决这一问题的有效 手段，对数据挖掘技术在入侵检测中的应用研究具有重大的理论意义和实用价值。 本文在入侵检测和数据挖掘做的研究工作基础之上将数据挖掘技术应用到入 侵检测中，从提高入侵检测的效率和提高入侵检测的实用性的角度出发，分别对 关联规则、决策树做了详细研究并用它们建立入侵检测系统模型。 第一章是绪言，详细地对入侵检测做出介绍。首先分析入侵检测在网络安全 愈来愈受到威胁的环境中，入侵检测的日益重要的作用，然后给出了入侵检测的 多种分类，并给出了入侵检测的一种通用的c i d f 结构模型。 第二章主要介绍入侵检测中的数据挖掘技术。首先对入侵检测的过程进行剖 析，然后给出入侵检测的一些常用技术，再重点对数据挖掘技术进行介绍。在第 三章里提出一种改进的关联规则算法，本文称之为哈希修剪算法，是对传统的 a p r i o n 算法的改进，然后结合入侵检测的需要，建立使用这个哈希修剪算法的入 侵检测系统模型。通过具体的实验。证实了这种算法应用的有效性。 决策树是最实用的一种数据挖掘技术，从提高入侵检测的实用性出发，在第 四章里研究了用经典的l d 3 算法进行入侵检测。并用实验来证明了决策树方法的 实用性和高效性。 第五章提出一种多a g e n t 的智能入侵检测系统模型。我们把数据挖掘的技术 应用到a g e n t 里来，这个模型能够充分提高入侵检测的效率，并且适合目前分布 式入侵检测的需要，并且入侵检测的自适应自学习的能力大大提高。 数据挖掘技术 。智能入侵挣洲中的i ”凋研札 摘舞 第六章对论文和研究工作的总结以及提出研究工作的展望。 论文的主要工作和特色如下： 1 ) 详细研究了a p r i o r i 算法的基于散列的改进技术，然后结合入侵检测， 提出改进的关联规则算法哈希修剪算法，通过入侵检测的实验比较两 种算法的效率。 2 ) 本文对决策树的i d 3 算法做了详细研究，并在实验中，对入侵检测数 据使用i d 3 算法做出入侵检测的决策树从中看出决策树技术应用于 入侵检测具有非常强的实用性和非常高的正确性。 3 ) 针对当前应用程序和系统开发朝着分布式、以及智能化的方向发展， 本文提出一种入侵检测的m a i l d s 模型，它是基于多a g e n t 的分布 式智能入侵检测系统，为分布式入侵检测系统的开发打下理论基础。 关键词：数据挖掘，入侵检测，哈希修剪。决策树，关联规则 鍪塑笙塑垫查垄塑堡垒堡堡型! 塑生里堕至 皇! ! ! ! 皇! ! a b s t r a c t d e t e c t i o ni sa ni m p o r t a n te l e n l e n t _ 、h i c hi s o n eo ft h et h r e ef a c t o r so f c o m 口u t e rn e mo r ks e cu r i 畔w i t hh a c k e r sa t t a c km e a n sb e c o m i n g 、i s e r a n d w i s e r a n dm o r ea n dm o r ec o m p u t e rs a f e t 、c a s e sb e i n gd o n eb ) i n - h o u s e e n l p l o ) e e s p e o p l e sr e q u i r e l l l e n to fc o n l p u t e rs a f 爸t jg e tm o r ea n dn l o r ei n t e n s e w h i l et h e ye n j o jl o t so fc o n 、e n i e n c eb r o u g h tb j 。c o n l p u t e r s s i m p l ep r e 、e n t i o n c a n n o ts 0 1 v ec o n l p u t e rs a f e t 、p r o b i e m s s oi n t r u s i o nd e t e c t i o n i s f a d u a l l y h e i g h t e n e dt o t h es a m ei m p o r t a n ts t a t i o nw i t hp r e 、e n t i o n e 、e ni t i sm o r e i m p o r t a mt h a np r e 、e n t i o n i n t r u s i o nd e t e c t i o ni sad a t aa 1 1 a l js i sp r o c e s so nn e t 、0 r k b a s e dd a t a o r h o s t c o m 口u t e 卜b a s e dd a t ai nf a c t i tc a nr e a l - t i m e l j d e t e c ti n b r e a k i n ga c t i o n s b a s e do nn e t w o r ko rh o s tc o m p u t e r h o 、e y e r t h ec o m p l i c a t i o no fc o m p u t e r s y s t e ma n dh u g eq u a n t i t yo fn e t 、o r k d a t at a k eg r e a tt r o u b l et oo u ri n t r u s i o n d e t e c t i o na p p e a r a n c eo fd a t am i n i n gt e c h n i q u eo f l e r e da ne 疗i c i e n tm e a s u r et o r e s o l 、- es u c ht r o u b l e ，r e s e a r c ho nd a t am i n i n gt e c h n i q u e sa p p l y i n gt oi n t r u s i o n d e t e c t i o nh a sg r e a tt h e o r e t i cs i g n i 矗c a n c ea n dp r a c t i c a l 、a l u e o nm eb a s i so fr e s e a r c hu p o ni n t r u s i o nd e t e c t i o na 1 1 d d a t am i n i n g t h i s d i s s e r t a t i o na p p l i e sd a t am i n i n gt e c h n i q u e st oi n t r u s i o nd e t e c t i o n f r o mt h ea n g l e o fe n h a n c ee f f i c i e n c ! a n dp r a c t i c a i i t j o fi n t n j s i o nd e t e c t i o n i tr e s p e c t l v e i ) r e s e a r c h e sa s s o c i a t i o nr u l e sa 1 1 dd e c i s i o nt r e e t h e n b u i l d si n t r u s i o nd e t e c t l o n s 、s t e m ( i d s ) m o d e l sw i t ht h e t 、om e t h o d s f i r s lc h a p t e fi sap r e f a c e 、h i c h d e t a i l e d l yi n t r o d u c ei n t r u s i o nd e t e c t i o n f i r s t o fa 1 1 i ta 1 1 a l js e st h em o r ea n d m o r ei m p o r t a mf u n c t i o no fm t m s i o nd e t e c t i o ni nt h es u r r o u n d i n go fn e t 、- o r k s a f e t yb e i n gi n c r e a s i n g l jt h r e a t e n t h e n i tg i 、e ss e 、e r a ls o r t sa n dp u tf o 。w a r da 2 e n e r a l i n t m s i o nd e t e c t i o nm o d e l - c i d f m o d e l 数据挖搌技术征智能入侵挣：刚中的i 越用疽 气b s t r a c t i nt h es e c o n dc h a p t e r t h i sp a p e rn l o s t l j 。i n t r o d u c e sd a t am i n i n gt e c h n i q u e s o fi n t r u s i o nd e t e c t i o n i tf i r s t l ja n a i js e st h ep r o c e s so fi n t r u s i o nd e t e c t i o n t h e n “ g i 、7 e s s o m ec o m m o nu s e d t e c h n j q u e s o fi n t r u s i o nd e t e c t i o n a tl a s ti t e m p h a t i c a l l yi n 仃o d u c ed a t am i n i n gt e c h n i q u e s i nt h et h i r dc h a p t e r a ni m p r o 、e da s s o c i a t i o nm l ea r i t h r n e t i cw a sp u tf o r w a r d w h i c hi sc a l l e d h a s h p r l l n i n g a r i t h m e t i c i t i n l p r o 、e dt r a d i t i o n a la p r i o r i 撕m m e t i c a c c o f d i n gt ot h en e e do fi n t m s i o nd e t e c t i o n t h i sd i s s e 九a t i o nb u i l d s a ni n t m s i o nd e t e c t j o nm o d e l 、i t ht h eh a s l l p r u n i n ga r i t h m e t i c ，ec o n 矗r n lt h i s a r i t h m e t i ch a sg r e a te 币c i e n c j d e c i s i o nt r e ei st h em o s tp r a c t i c a b l ed a t am i n i n gt e c h n i q u e i no r d e r1 0 e n h a n c et h ep r a c t i c a l i t + o fi n t m s i o nd e t e c t i o n i nt h ef o u n hc h a p t e r - 、er e s e a r c h c l a s s i ci d 3 撕t h m e t i ca n dd os o m ei n t r u s i o nd e t e c t i o ne x p e r i m e n t s 、i t ht h e a r i t h m e t i c a n dr e d u c et h e m p l i c a t e da n “b u t e so fk d d 9 9d a t a f r o mt h e e x p e r i m e n t 、ec o n c l u d h a td e c i s i o n t r e em e t h o dh a sp r a c t i c a l 酊a n dg r e a t e 伍c i e n c y i nt h ef i r hc h a p t er - 、ep u tf b n 、a r dam u l t ia g e n t si n t e l l i g e n ti n t n l s i o n d e t e c t i o ns y s t e mm o d e l s w ea p p l 、d a t am i n i n gt e c h n i q u e st oa g e n t ，t h i sm o d e l c a l ls u 衢c i e n t l yh e i 曲t e nt h ee f f i c i e l l c jo fi n t r u s i o nd e t e c t i o n a n di ti s 、e d mf o r t h en e e do fd i s t r i b u t e di n t m s i o nd e t e c t i o nc u r r e n t l y ，、h a ti sm o r e i tg r e a t l ) e n h a n c ea b i l i q o fi n t r u s i o nd e t e c t i o nu p o ns e i fa d a p t a t i o na 1 1 ds e l f1 e a m i n g i nt l l es i x t hc h a p t er - ls u m m a r i z em j r e s e a r c h 、o r ki nt h i sd i s s e 九a l i o n a n d p u tf o r w a r dm jp r o s p e c to fm ) 。f u t u r e 、o r k g e n e r a ls p e a k i l l g t h em a i n 、o r ka n df e a t u r eo ft h i sd i s s e r t a t i o n a r ea s 数据挖掘技术在智能入侵挣删中的j j ! 斤j 冗a b s t r a c t t o 儿0 。： ( 1 ) a s s o c i a t i o nr u i e sa r ea p p l i e dt oi n t r u s i o nd e t e c t i o ni nm a n ) p a p e r so f o t h e rr e s e a r c h e r s b u tt h ea “t 1 1 n l e t i c t h e ju s e da r em o s t l 、t r a d i t i o n a la p r i o r i a r i t h m e t i c t h i sa r i t h m e t i ch a s 、e dl o 、e f n c i e n c yo nm i n i n gg r e a to fd a t a t h i s d i s s e r t a t i o nb a s e so nt h ep r o b l e m d e t a i l e d l jr e s e a r c ho n eo ft h ei m p r o 、e d t e c h n i q u e so fa p “o r ia r i t h n l e t i c h a s h i n g b a s e dt e c h n i q u e t h e nb i n d s i tt o i m m s i o nd e t e c t i o n a n dp m sf o n y a r da ni m p r o v e da s s o c i a t o nn 1 1 ea r i t 胁e t i c w h i c hi sc a u e dh a s h p r u n i n ga r i t h m e t i c ，t h i sd i s s e n a t i o nt h e nc o n l p a r e s e m c i e n c yo f t h e t 、ok i n do f a r i t h m e t i cb j e x p e r i m e mo nk d d 9 9d a t a ( 2 ) d e c i s i o nt r e eh a sc h a r a c t e r i s t i co fh i g hp r a c t i c a l i q t h i sd i s s e n a t i o n d e t a j l e d l yr e s e a r c hi d 3a r i t h m e t i c o f d e c i s i o nt r e e i nt h ee x p e r i m e n t t h i s d i s s e 九a t i o np a i n t sd e c i s i o nt r e eo f | 1 1 t r u s j o nd e l e c t i o nd a t a 、i t hi d 3a r i t h m e t i c w ec o n m mt h a td e c i s i o nt r e et e c l m i q u eh a s 、e r ys t r o n gp r a c t i c a l 岭a n dv e g h i g h 、，a l i d i t ) 7o ni n t 八l s i o nd e t e c t i o n i nt h i s d i s s e n a t i o n 、eh a v ed o n es om u c h w o r ko nd a t aa b o u tk n o 、l e d g ed i s c 0 、e r j 。i nd a t a b a s e - k d d c u p 9 9 f r o mm a n y e x p e r i m e n t sw ec o n c l u d et h a td a t am i l l i l l gt e c h n i q u e sh a 、eh 逗he 饿c i e n c ya i l d i n t e l l i g e n c e0 n1 e a m i n gi a 唱eo f d a t ao fn e t 、o r k ( 3 ) a i m e da tt h ei s s u eo fa p p l i c a t i o np r o g 砌1a n ds ) 7 s t e md e s i g nh a sa t e n d e n c yo fd i s t r i b u t ea n di n t e l l i g e n t i z a t i o n t h i sd i s s e n a t i o np u t f b r 、。a r da n i n t r u s i o nd e t e c t i o l lm o d e l m a i l d s 、h i c hi s m u l t i - a 窑e n t _ b a s e dd i s t r i b u t e d i n t e l l 逗e mi m r u s i o nd e t e c t i o ns j s t e m a n dm a k e sa c a d e m i cb a s ef o rd e v e l o p i n g d l s t r i b u t e di n 协l s i o nd e t e c t i o ns 、s t e m k e j l v o r d ：d a t am i n i n g i n t m s i o nd e t e c t i o n h a s hp r u n i n g d e c i s i o nt r e e i d 3 撕m m e t i c i n t e l l i g e n ti d s a g e n t a s s o c i a t i o nr u l e 、 独创性声明 y7 6 5 s 2 9 本人声明所呈交的学位论文是本人在导师指导下进行的研兖工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获确餐k 鹭或其他教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 学位论文作者签名： 封、。卜井奄、 签字日期： 7 。口f 年f 月7 日 学位论文版权使用授权书 本学位论文作者完全了解杂擞、吠吗有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授撂毙封蟛可以将学位论文的全部或部分内容编入有关数据库进行 检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名1 苛、小穰 导师签名= 御砌 签字日期：卯疗年占月7 日 签字日期：年，月尹日 学位论文作者毕业去向： 工作单位：电话： 通讯地址：邮编： 数据挖掘技术在智能入侵检测中的应用研究绪言 1 1 入侵检测介绍 1 1 1 计算机安全要素 1 绪言 随着电子商务对经济发展的支配和对i m e m e t 的推进，各种规模的商业成功 已经开始依赖于计算机的互连性。我们要和合作伙伴、供应商、顾客连接起来， 甚至要和我们的竞争对手互连。在这种存在潜在危险的互连环境中，我们需要防 范对手的网络攻击，也迫切需要某种验证来增强互连双方的信任关系，入侵检测 提供了这种双方的安全验证。这就好像是一个商场，希望顾客越多越好，但是顾 客里会存在小偷，商场不能因为小偷的存在而关门，而会加强安全防范措施，例 如商场会在角落里安装摄像头来检测小偷的存在。 计算机安全学科涉及三个基本要素，它们是预防( p r e v e n t i o n ) 、检测( d e t e c t i o n ) 和响应s p o t l s e ) 【s e q l r i t y 】。 预防是安全的第一步，具体包括： 安全规章的制定：在安全策略的基础上制定安全细则。 系统的安全配置：针对现有网络环境的系统配置，安装各种必要的补丁软件， 并对系统进行仔细的配置，以达到安全策略规定的安全级别。 安全措施的应用：安装防火墙软件或设备、v p n 软件或设备等。 采用各种安全预防措施并不意味着网络系统的安全性就得到了完全的保障， 网络的状态是动态变化的，而各种软件系统的漏洞层出不穷，都需要采取有效的 手段对网络的运行进行监控。而且预防相对于攻击总是滞后的，一种漏洞的发现 或者攻击手段的发明与相应的预防手段的采用之间，总会有一个时间差，检测就 是弥补这个时间差的必要手段。 检测的作用包括： 异常监视：发现系统的异常情况，如重要文件的修改，不正常的登录等。 塑丝塑垫查垄塑丝堡垒塑! 箜皇旦堑壅篁重 模式监视：对己知的攻击模式进行发现。 所以检测具有很强的及时性和时效性。 响应是在发现攻击企图或者攻击之后，及时的对系统进行反应。主要包括： 口报告：无论系统的自动化程度有多高，都需要让管理员知道是否有入侵发生。 口记录：必须将所有的情况记录下来，包括入侵的各个细节以及系统的反应。 口 发应：进行相应的处理，以阻止进一步的入侵。 口 恢复：清除入侵造成的影响，使系统恢复正常运行。 这三者对计算机系统的综合防护都很关键。然而最近3 0 年来，许多资源都 花费在预防方面，几乎检测和响应被排除在外，这简直不成比例田m d _ o r 】。然而， 预防并没有完全保护公司财产，甚至由于这种比例的失调，导致巨大的损失。纽 约时报报道全美1 9 9 9 年由于计算机误用( m i s u s e ) 造成的损失超过7 0 亿美元。 1 2 2 什么是入侵检测 入侵检测( h i i n l s i d e t e c t i o n ) 是对计算机系统或网络计算机系统的运行状 态进行监视，发现各种攻击企图、攻击行为或者攻击结果，以保证系统资源的机 密性、完整性与可用性【h a n 】。入侵检测是防火墙的合理补充，帮助系统对付网 络攻击，扩展了系统管理员的安全管理能力，包括安全审计、监视、进攻识别和 响应，提高了信息安全基础结构的完整性。它从计算机网络系统中的若干关键点 收集信息，并分析这些信息，看看网络中是否有违反安全策略的行为和遭到袭击 的迹象。入侵检测被认为是防火墙之后的第二道安全闸门，在不影响网络性能的 情况下能对网络进行监测，从而提供对内部攻击、外部攻击和误操作的实时保护。 这些都通过它执行以下任务来实现： 口 监视、分析用户及系统活动； 口 系统构造和弱点的审计； 口 识别反映已知进攻的活动模式并向相关人士报警； 口 异常行为模式的统计分析： 口 评估重要系统和数据文件的完整性； 口 操作系统的审计跟踪管理，并识别用户违反安全策略的行为。 数据挖掘技术在智能入侵检测中的应用研究 绪言 对一个成功的入侵检测系统来讲，它不但可使系统管理员时刻了解网络系统 ( 包括程序、文件和硬件设备等) 的任何变更，还能给网络安全策略的制订提供 指南。更为重要的一点是，它应该管理、配置简单，从而使非专业人员非常容易 地获得网络安全。而且，入侵检测的规模还应根据网络威胁、系统构造和安全需 求的改变而改变。入侵检测系统在发现入侵后，会及时做出响应，包括切断网络 连接、记录事件和报警等。 1 2 3 入侵检测的分类 1 2 3 1 根据入侵检测原理 根据入侵检测的检测原理，入侵检测可以分为异常检测、误用检测和混合检 测。 口异常检测 在异常检测中，观察到的不是已知的入侵行为，而是所研究的通信过程中的 异常现象，它通过检测系统的行为或使用情况的变化来完成。在建立该模型之前， 首先必须建立统计概率模型，明确所观察对象的正常情况，然后决定在何种程度 上将一个行为标为“异常”，并如何做出具体决策。 异常检测只能识别出那些与正常过程有较大偏差的行为，而无法知道具体的 入侵情况。由于对各种网络环境的适应性不强，且缺乏精确的判定准则，异常检 测经常会出现虚警情况。 口误用检测 在误用检测中，入侵过程模型及它在被观察系统中留下的踪迹是决策的基 础。所以，可事先定义某些特征的行为是非法的，然后将观察对象与之进行比较 以做出判别。 误用检测基于已知的系统缺陷和入侵模式，故又称特征检测。它能够准确地 检测到某些特征的攻击，但却过度依赖事先定义好的安全策略，所以无法检测系 统未知的攻击行为，从而产生漏警 p m c t o r 】。 墼塑垄塑茎查垄塑些叁堡垒型! 堕皇旦里塞 塑童 误用检测通过对确知决策规则编程实现，可以分为以下四种： ( 1 ) 状态建模：它将入侵行为表示成许多个不同的状态。如果在观察某个 可疑行为期间，所有状态都存在，则判定为恶意入侵。状态建模从本质上来讲是 时间序列模型，可以再细分为状态转换和p e 订i 网，前者将入侵行为的所有状态 形成一个简单的遍历链，后者将所有状态构成一个更广义的树形结构的p e 面网 p e 衄】。 ( 2 ) 专家系统：它可以在给定入侵行为描述规则的情况下，对系统的安全 状态进行推理。一般情况下，专家系统的检测能力强大，灵活性也很高，但计算 成本较高，通常以降低执行速度为代价。 ( 3 ) 串匹配：它通过对系统之间传输的或系统自身产生的文本进行子串匹 配实现。该方法灵活性较羞，但易于理解，目前有很多高效的算法，其执行速度 很快。 ( 4 ) 基于简单规则：类似于专家系统，但相对简单一些，故执行速度快。 口混合检测 近几年来，混合检铡日益受到人们的重视。这类检铡在做出决策之前，既分 析系统的正常行为，同时还观察可疑的入侵行为，所以判断更全面、准确、可靠。 它通常根据系统的正常数据流背景来检测入侵行为，故而也有人称其为“启发式 特征检测”。 哥伦比亚大学w 缸k el e e 从数据挖掘得到启示，开发出了一个混合检测器 r 邛p e r c 0 1 啪b i a 】。它并不为不同的入侵行为分别建立模型，而是首先通过大量 的事例学习什么是入侵行为以及什么是系统的正常行为，发现描述系统特征的一 致使用模式，然后再形成对异常和误用都适用的检测模型。 1 2 3 2 根据数据来源 按获得原始数据的方法可以将入侵检测分为基于网络的入侵检测和基于主 机的入侵检测。 口 基于网络的入侵检测 墼塑整塑垫查查塑堡垒堡垫型! 堕坚旦里塞箜宣 基于网络的入侵检测系统( i d s ) 使用原始网络包作为数据源。基于网络的 入侵检测系统通常利用一个运行在随机模式下网络的适配器来实时监视并分析 通过网络的所有通信业务。如图所示，是一种标准的网络入侵检测结构。 网络命令 传感器控制台 t 倒i p 记录1 、。- 、 两n 遴稳- 剖7 幽i 一i 图1 1 标准的网络入侵检钡4 结构 它的攻击辩识模块通常使用四种常用技术来识别攻击标志： 口模式、表达式或字节匹配 口频率或穿越阀值 口次要事件的相关性 口统计学意义上的非常规现象检测 一旦检测到了攻击行为，i d s 的响应模块就提供多种选项以通知、报警并对 攻击采取相应的反应。反应因产品而异，但通常都包括通知管理员、中断连接或 者为法庭分析和证据收集而做的会话记录。 基于网络的m s 有许多仅靠基于主机的入侵检测法无法提供的功能。实际 上，许多客户在最初使用i d s 时，都配置了基于网络的入侵检测。基于网络的检 测有以下优点： 口 检测速度快。基于网络的监测器通常能在微秒或秒级发现问题。而大多 数基于主机的产品则要依靠对最近几分钟内审计记录的分析。 墼塑丝塑垫查垄塑墼垒堡竺型竺窒里墅窒 篁壹 口 隐蔽性好。一个网络上的监测器不像一个主机那样显眼和易被存取，因 而也不那么容易遭受攻击。基于网络的监视器不运行其他的应用程序， 不提供网络服务，可以不响应其他计算机。因此可以做锝比较安全。 口 视野更宽。基于网络的入侵检测甚至可以在网络的边缘上，即攻击者还 没能接入网络对就被发现并制止。 口 较少的监测器。由于使用一个监铡器就可以保护一个共享的网段，所以 你不需要很多的监测器。相反地，如果基于主机，则在每个主机上都需 要一个a g e n t ，这样的话，花费昂贵，而且难于管理。但是，如果在一个 交换环境下，就需要特殊的配置。 口 攻击者不易转移证据。基于网络的i d s 使用正在发生的网络通讯进行实 时攻击的检测。所以攻击者无法转移证据。被捕获的数据不仅包括的攻 击的方法，而且还包括可识别黑客身份和对其进行起诉的信息。许多黑 客都熟知审记记录，他们知道如何操纵这些文件掩盖他们的作案痕迹， 如何阻止需要这些信息的基于主机的系统去检测入侵。 口 操作系统无关性。基于网络的i d s 作为安全监测资源，与主机的操作系 统无关。与之相比，基于主机的系统必须在特定的、没有遭到破坏的操 作系统中才b 正常工作，生成有用的结果。 口基于主机的入侵检测 当用于处理来自网络上的数据，例如t c p 通信量，入侵检测是基于网络 的。而当系统用于分析计算机产生的数据，例如应用程序及操作系统的事件日志 时，入侵检测就是基于主机的。主机数据源的种类很多，包括操作系统事件日志 及应用程序日志。虽然网络入侵检测的应用非常广泛，但是基于主机的监控由于 内部人员的威胁正变得更加重要。 数据挖掘技术在智能入侵检测中的应用研究 绪言 图1 2 嘶n d o w s 系统的系统日志 基于主机的入侵检测出现在8 0 年代初期，那时网络还没有今天这样普遍、 复杂，且网络之间也没有完全连通。在这一较为简单的环境里，检查可疑行为的 检验记录是很常见的操作。由于入侵在当时是相当少见的，在对攻击的事后分析 就可以防止以后的再次攻击。 基于主机的入侵检测结构如图所示。 数据挖掘技术在智能入侵检测中的应用研究 绪言 目标机 命令 控制台 图1 3 标准的基于主机的入侵检测结构 现在的基于主机的入侵检测系统保留了一种有力的工具，以理解以前的攻击 形式，并选择合适的方法去抵御未来的攻击。基于主机的m s 仍使用验证记录， 但自动化程度大大提高，并发展了精密的可迅速做出响应的检测技术。通常，基 于主机的d s 可监测系统、事件和w i n d o wn t 构架下的安全记录以及u n i x 环 境下的系统记录。当有文件发生变化时，i d s 将新的记录条目与攻击标记相比较， 看它们是否匹配。如果匹配，系统就会向管理员报警并向别的目标报告，以采取 措施。 基于主机的i d s 在发展过程中融入了其它技术。对关键系统文件和可执行文 件的入侵检测的一个常用方法，是通过定期检查校验和来进行的，以便发现意外 的变化。反应的快慢与轮询间隔的频率有直接的关系。最盾，许多产品都是监听 端口的活动，并在特定端口被访问时向管理员报警。这类检测方法将基于网络的 入侵检测的基本方法融入到基于主机的检测环境中。 尽管基于主机的入侵检查系统不如基于网络的入侵检查系统快捷，但它确实 具有基于网络的系统无法比拟的优点。这些优点包括： 口性能价格比高。在主机数量较少的情况下，这种方法的性能价格比可能 更高。尽管基于网络的入侵检测系统能很容易地提供广泛覆盖，但其价 数据挖掘技术在智能入侵检测中的应用研究 绪言 格通常是昂贵的。配置一个入侵监测系统要花费$ l o ，0 0 0 以上，而基于主 机的入侵检测系统对于单独一a g e m 标价仅几百美元，并且客户只需很少 的费用用于最初的安装。 口 更加细腻。这种方法可以很容易地监测一些活动，如对敏感文件、目录、 程序或端口的存取，而这些活动很难在基于网络的系统中被发现。基于 主机的i d s 监视用户和文件访问活动，包括文件访问、改变文件权限、 试图建立新的可执行文件或者试图访问特许服务。例如，基于主机的i d s 可以监督所有用户登录及退出登录的情况，以及每位用户在连接到网络 以后的行为。基于网络的系统要做到这个程度是非常困难的。基于主机 技术还可监视通常只有管理员才能实施的非正常行为。操作系统记录了 任何有关用户帐号的添加、删除、更改的情况。一旦发生了更改，基于 主机的i d s 就能检测到这种不适当的更改。基于主机的i d s 还可审计能 影响系统记录的校验措施的改变。最后，基于主机的系统可以监视关键 系统文件和可执行文件的更改。系统能够检测到那些欲重写关键系统文 件或者安装特洛伊木马或后门的尝试并将它们中断。而基于网络的系统 有时会检测不到这些行为。 口视野集中。旦入侵者得到了一个主机的用户名和口令，基于主机的 a g e n t 是最有可能区分正常的活动和非法的活动的。 口 易于用户剪裁。每一个主机有其自己的a g e m ，当然用户剪裁更方便了。 口 较少的主机。基于主机的方法有时不需要增加专门的硬件平台。基于主 机的入侵检测系统存在于现有的网络结构之中，包括文件服务器、w 曲 服务器及其它共享资源。这些使得基于主机的系统效率很高。因为它们 不需要在网络上另外安装登记、维护及管理的硬件设备。 口 对网络流量不敏感。用a g e m 的方式一般不会因为网络流量的增加而丢掉 对网络行为的监视。 口 适用于被加密的以及切换的环境。由于基于主机的系统安装在遍布企业 的各种主机上，它们比基于网络的入侵检测系统更加适于交换的以及加 密的环境。交换设备可将大型网络分成许多的小型网络段加以管理。所 以从覆盖足够大的网络范围的角度出发，很难确定配置基于网络的i d s 数据挖掘技术在智能入侵捡测中的应用研究绪言 的最佳位置。业务镜像和交换机上的管理端口对此有帮助，但这些技术 有时并不适用。基于主机的入侵检测系统可安装在所需的重要主机上， 在交换的环境中具有更高的能见度。某些加密方式也向基于网络的入侵 检测发出了挑战。根据加密方式在协议堆栈中的位置的不同，基于网络 的系统可能对某些攻击没有反应。基于主机的i d s 没有这方面的限制。 当操作系统及基于主机的系统发现即将到来的业务时，数据流已经被解 密了。 口 确定攻击是否成功。由于基于主机的i d s 使用含有已发生事件信息，它 们可以比基于网络的m s 更加准确地判断攻击是否成功。在这方面，基 于主机的i d s 是基于网络的i d s 完美补充，网络部分可以尽早提供警告， 主机部分可以确定攻击成功与否。 1 2 4 入侵检测系统c i d f 模型 入侵检测系统i d s 是检测威胁、响应威胁的综合体。为了提高i d s 产品、 组件及与其他安全产品之间的互操作性，美国国防高级研究计划署( d a 船a ) 制订了一系列建议草案，从体系结构、a p i 、通信机制、语言格式等方面规范i d s 的标准。d a m a 提出的建议是公共入侵检测框架( c i d f ) ，最早由加州大学戴 维斯分校安全实验室主持起草工作。 c i d f ( c o m m o nh 1 仃u s i o nd e t e c t i o nf r 锄e w o r k ) 阐述了一个入侵检测系统 ( s ) 的通用模型【c i d f 】。它将一个入侵检测系统分为以下组件： 口事件产生器( e v e mg e n e r a t o r s ) 口 事件分析器( e v e ma i l a l y z e r s ) 口响应单元( r c s p o n s e u m t s ) 口事件数据库( e v e n td a t a b a s e s ) 数据挖掘技术在智能入侵检测中的应用研究 绪言 c d f 将入侵检测系统需要分析的数据统称为事件( 钾e n t ) ，它可以是基于网 络的入侵检测系统中网络中的数据包，也可以是基于主机的入侵检测系统从系统 日志等其他途径得到的信息。他也对于各部件之间的信息传递格式、通信方法和 标准a p l 进行了标准化。 事件产生器的目的是从整个计算环境中获得事件，并向系统的其他部分提供 此事件。事件分析器分析得到的数据，并产生分析结果。响应单元则是对分析结 果做出反应的功能单元，它可以做出切断连接、改变文件属性等强烈反应，甚至 发动对攻击者的反击，也可以只是简单的报警。事件数据库是存放各种中间和最 终数据的地方的统称，它可以是复杂的数据库，也可以是简单的文本文件。 在现有的入侵检测系统中，经常用数据采集部分、分析部分和响应部分来分 别代替事件产生器、事件分析器和响应单元这些术语。且常用日志来简单的指代 事件数据库。 c i d f 标准还没有正式确立，也没有一个入侵检测商业产品完全所用该标准， 但因为入侵检测系统的特殊性，其实各种入侵检测系统的模型都有很大的相似 性。各种入侵检测系统各自为阵，系统之间的互操作性很差，因此各厂商都在按 数据挖掘技术在智能入侵检测中的应用研究 绪言 照f 进行信息交换的标准化工作。 1 2 5 入侵检测的产品 入侵检测系统的典型代表是i s s 公司( 国际互联网安全系统公司) 的 r e a l s e c u r e 【i s s 】。它是计算机网络上自动实时的入侵检测和响应系统。该系统 采用分布式的体系结构，它有三个传感器，分别是网络传感器( n e t 、o 拙 s e i l s o r ) ，服务传感器( s e v e rs e n s o r ) 和系统传感器( o p e r a t i o ns y g t e ms e n s o r ) 。 它的一个弱点是它没有自学习能力，对新的攻击识别能力较差，需要编写新 的攻击识别程序来识别新的攻击。 n f r 公司的n i d ( n e 咖r kh l 机l s i o nd e t e c t i o n ) 口师r 】。它是一个基于误 用的商业软件，同时具有一定的异常检测能力。它对攻击的识别是通过把从 网络上抓取的报文和预先定义好的攻击标识进行匹配来实施的。例如，当定 义的报文头，包含球地址，端口，和网络抓取的报文头相同时，就会按照报 警配置文件进行报警。n f r 使用一种n c o d e 的语言来来预先定义攻击。哥 伦比亚大学w b n k el e e 小组则把n c o d e 结合入侵检测，并做出一个入侵检钡4 的模型【w j l l l ( 舒师r 9 9 】。 c i s c o 公司的c i s c os e c u r ei d s ，以前被称为n e u h n g e r 【c i s c o 】。它的部件 主要包括传感器、控制器和入侵检测系统模块。它的传感器分为主机传感器 和网络传感器，分别用于对主机日志的检测和对网络数据的分析检测。 c a