（计算机应用技术专业论文）基于数据挖掘的网络入侵检测系统研究.pdf

济南大学硕士学位论且： 摘要 入侵检测技术和其它防护技术的出现使网络信息安全保护从被动走向主动，进 一步完善了网络安全防御体系。入侵检测系统以数据分析为核心而计算机系统的 复杂化和网络数据的海量化，给我们处理审计数据带来极大的困难i 数据挖掘技术 的出现为解决这个问题提供了有效的手段，并使检测规则的自动提取成为可能。目 前将数据挖掘应用于入侵检测己成为一个研究热点。 任何一种检测方法都不能检测出所有入侵行为，一个完善的入侵检测系统应该 是多种检测手段的综合运用。本论文的研究目标是借用数据挖掘技术探寻一种检测 方法，使之有效识别已知入侵，并具备对未知类型数据的检测能力，从而达到对在 传统入侵检测系统中检测率较低的扫描与拒绝服务两种攻击类型较为理想的检测效 果。 针对误用检测不能发现未知入侵、异常检测具有较高误报率的现状，本文应用 了一个将两种分析手段相结合的检测方法，从网络历史审计数据里应用决策树算法 分别得到正常与异常行为规则库。以待检测数据与正常与异常行为规则分别比较， 从中得到最优匹配规则，从而判别该行为类型。当发现有系统不能识别的新的数据 模式出现时，采用人为干预的方式，将其提交管理员处理，系统在管理员的指导下， 更新规则库，使之完备从而有了识别新数据模式的能力。 为了避免因主机之问行为存在较大差异而引起的误判在本文中提出以网络历 史审计数据为数据源，统计网络中各主机单位时间内访问量。依据聚类算法将主机 按访问量聚类建立i p 群，以指导网络审计数据的分流，以分流后的审计数据分别建 立分类器。待检测数据则根据所属i p 群的不同，应用不同的匹配规则。 基于上述方法的网络入侵检测原型系统的实现依托于济南大学校园网环境。在 本文中对该原型系统的框架结构、功能实现等内容做了详细的描述。另外，本文对 系统性能测试实验步骤与结果进行了详细说明和深入剖析。为了验证系统的有效性， 我们做了大量的数据准备。在校园网环境下进行了攻击模拟，对捕获到的入侵数据 做了深入分析。并以捕获到的正常数据与入侵数据对系统进行了训练与测试。实验 结果表明，系统对已知入侵类型与已知正常数据模式具有较高的检测率和较低的误 摹十数据挖掘的| 叫绢入侵检测系统的研究 报率，并具各对未知类型数据良好的识别能力。 最后，论文对课题研究做了总结归纳，并对课题进一步的工作进行了讨论。 关键词：网络安全，入侵检测，数据挖掘，决策树，聚类 l i 济南人学颇1 1 学位论文 a b s t r a c t i n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) a n do t h e rp r o t e c t i o nt e c h n o l o g yb r i n gn e t w o r k i n f o r m a t i o ns e c u r i t yf r o mp a s s i v et op o s i t i v e d a t aa n a l y s i si sv e r yi m p o r t a n tt oi d s b u t o w i n gt oc o m p l i c a t i o no fc o m p u t e rs y s t e ma n dg r e a tm a g n i t u d eo fn e t w o r ka u d i td a t a ，i t i sd i f f i c u l tt oa u d i td a t a d a t am i n i n gi sa g o o dw a yo fs o l v i n gt h ep r o b l e ma n dm a k e si t p o s s i b l e t oe x t r a c tr u l e sa u t o m a t i c a l l y a tp r e s e n t ，i th a sb e e nah o tt o p i ct oa p p l yd a t a m i n i n gt oi d s n oad e t e c t i o nm e t h o dc a nd e t e c ta l lo fi n t r u s i o nb e h a v i o r s ，ap e r f e c ti d ss h o u l db e au n i t yo fm u l t i p l ed e t e c t i o nm e a n s t h i sp a p e r so b j e c ti st od e v e l o pad e t e c t i o n a p p r o a c hb a s e do nd a t am i n i n 碧t e c h n o l o g y ，w h i c hc a nd e t e c tk n o w ni n t r u s i o ne f f e c t i v e l y a n dh a sag o o dc a p a c i t yt or e c o g n i z eu n k n o w nd a t as c h e m aw h i c hc a n tb ed e t e c t e d e f f e c t i v e l yi nt r a d i t i o n a l1 d s m i s u s ed e t e c t i o nc a n tf i n du n k n o w ni n t r u s i o na n da n o m a l yd e t e c t i o nh a sah i g h f a l s ea l a r mr a t e ，f o rs o l v i n gt h ep r o b l e m ，ad e t e c t i o nm e t h o dc o m b i n i n gt w oa n a l y z i n g m e a n si sa p p l i e d w h i c hc a nl o o kf o rr u l e so fn o r m a lb e h a v i o ra n da b n o r m a lb e h a v i o r f r o mn e t w o r kh i s t o r i c a la u d i td a t ab yd e c i s i o nt r e ea l g o r i t h m d a t at ob ed e l e c t e da r e c o m p a r e dt ot h er u l e s ，a n dt h e nt h eb e s tm a t c h i n gr u l ei so b t a i n e d ，a c c o r d i n g l yt h ed a t a c l a s si sd i s t i n g u i s h e d w h e nt h ed a t as c h e m ac a n tb er e c o g n i z e db ys y s t e m ，t h ed a t ai s s u b m i t e dt oa d m i n i s t r a t o r u n d e ra d m i n i s t r a t o r sg u i d a n c e ，t h er u l e sb a s ei su p d a t e da n d b e c o m e sm o r es e l f - c o n t a i n e d ，a c c o r d i n g l ys y s t e mc a ur e c o g n i z en e wd a t am h e m a t h ei n d i v i d u a ld i f f e r e n c eo fm a i n f r a m ew i l lr a i s em i s c a r r i a g eo fj u s t i c e ，t oa v o i d t h i sp h e n o m e n o n ，i ti sp r e s e n t e di nt h ep a p e rt h a tt h en u m b e ro fv i s i tt i m e so c c u r r i n gp e r u n i tt i m ei sc o u n t e dw i t hn e t w o r kh i s t o r i c a la u d i td a t aa sd a t as o u r c e t h em a i n f r a m ei s l ob ec l u s t e r e dt ob ei pg r o u po nt h en u m b e ro fv i s i tb yc l u s t e r i n ga l g o r i t h m a n dt h e a u d i td a t aa r ed i v i d e di n t op a r t su n d e rt h ei pg r o u p sd i r e c t i o n t h ec l a s s i f e r sa l eb u i l tu p b yd i v i d e da u d i td a t ar e s p e c t i v e l y t h en e t w o r ki n t r u s i o nd e t e c t i o np r o t o t y p es y s t e mb a s e do nt h em e t h o da b o v en a m e d h i 壮j 一数捌挖掘的h 蠕入侵愉删系境的圳冗 i ss u p p o r t e db yj i n a nu n i v e r s i t yn e t w o r k t h ef r a m es t r u c t u r ea n df u n c t i o n so ft h es y s t e m a r ed e s c r i b e di nd e t a i l i na d d i t i o n ，t h ep r o c e s sa n dr e s u l to ft h ee x p e r i m e n tw h i c ha r ef o r t e s t i n gt h es y s t e mp e r f o r m a n c ea r ed e s c r i b e di nd e t a i la n da n a l y z e dd e e p l yi n t h i sp a p e r t ov a l i d a t et h es y s t e mp e r f o r m a n c e ，ag o o dd e a lo fe x p e r i m e n t a ld a t aw a sp r e p a r e d i n t r u s i o ns i m u l a t i o nh a sb e e nd o n ei ni n n e rn e t w o r ka n dt h ei n t r u s i o nd a t aw a sa n a l y z e d d e e p l y t h es y s t e mw a st r a i n e da n dt e s t e db yb o t hn o r m a ld a t aa n di n t r u s i o nd a t at h a t h a v eb e e nc a p t u r e d ，e x p e r i m e n t a lr e s u l t ss h o wt h a tt h es y s t e mh a sah i g hd e t e c t i o nr a t e a n dl o wf a l s ea l a r mr a t et ok n o w nd a t as c h e m a ，a n dh a sag o o dc a p a c i t yt or e c o g n i z e u n k n o w nd a t as c h e m at o o 二 f i n a l l y ，ac o n c l u s i o ni sg i v e ni nt h ep a p e ra n dt h ed e v e l o p m e n ts t r a t e g yo ft h es t u d y i sd i s c u s s e d k e y w o r d s ：n e t w o r ks e c u r i t y ，i n t r u s i o nd e t e c t i o ns y s t e m ，d a t am i n i n g ，d e s c i o n t r e e ，c l u s t e r i n g 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行 研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律责任 由本人承担。 论文作者签轹盘珥舔、日期： 翌苎：苎：! f 关于学位论文使用授权的声明 本人完全了解济南大学有关保留、使用学位论文的规定，同意学校保留 或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 餐：本人授权济南大学可以将学位论文的全部或部分内容编入有关数据席进 行愉索，可以采川影印、缩印或其他复制手段仪存论文和汇编本学位论文。 ( f 呆密论文在解密后j 、疆遵、) ：此舰定) 论文作者签名：墨叠垦查蚌帅签名： 论文作者签名：卫生氅艾蚌帅签名：h i j 济南人学硕i 学位论文 第一章绪论 1 1 课题背景 在全球信息技术高度发达的今天，随着i n t e m e t 的日益普及，网络作为一种重要 的信息传递手段，对于经济的发展和人们之间的交流起着越来越重要的作用，尤其是 电子政务、电子商务、家庭信息化以及军事信息战等诸多新概念和新领域的提出与应 用，一深刻改变着传统社会的运作模式，时刻影响着各国在政治、经济、军事等方面 的战略决策。信息网络国际化、社会化、开放化、个人化的特点，使吲家的“信息边 疆”不断延伸，甚至延伸到了每一个上网者个人。国际上围绕信息的获取、使片j 和控 制的竞争愈演愈烈，网络信息安全正在成为维护国家安全、保持社会稳定、影响长远 利益的一个焦点。作为一个亟待解决的重大关键问题，网络信息安全不但是发挥信息 革命带来的高效率、高效益的有力保证，而且是对抗信息霸权主义、抵御信息侵略的 重要屏障。网络信息安全保障能力是2 1 世纪综合国力、经济竞争实力和生存能力的 重要组成部分，是世界各国奋力攀登的制高点。 1 1 1 网络攻击现状 当人类文明完成了从2 0 世纪到2 l 世纪跨越的同时，网络安全状况也进入了个 新阶段。在最近几年里，网络攻击有了新的发展趋势： 攻击自动化程度和攻击速度提高 攻击工具越来越复杂 安全漏洞从出现到被利用形成攻击时间越来越短 网络攻击将黑客攻击和病毒特征结合于一体 攻击具有越来越高的防火墙渗透率 攻击对基础设施将形成越来越大的威胁 攻击动机已经由引起注意和名气转向取得利益 以窃取用户机密数据为目的的攻击将具有更大的破坏力 遭受攻击的可能性越来越取决于连接到i n t e m e t 上其他系统的安全状态 这些新出现的攻击特点使借助于互联网运行业务的机构正面临前所未有的风险。 摹于嚣据挖掘的嘲络入侵检测系统的研究 1 1 2 安全问题来源剖析 有诸多原因会导致网络安全问题1 2 羽。 首先，网络的脆弱性是与生俱来的。一方面，威胁来自物理结构设计上的缺陷， 广播式或点对点的通信方式使得信息极易被第三方窃听或劫获；另一方面，威胁来自 网络协议的安全漏洞。目前使用最广泛的网络协议是t c p i p 协议，而t c p i p 协议恰 恰存在许多安全漏洞，因此便产生了大量利用网络协议安全漏洞的阿络攻击。这些攻 击会采取异常网络行动使网络协议产生异常的状态转换或采取非异常行动对协议进 行欺骗和利用，其实质就是对网络狮议的滥用，而它造成的后果却是严重而目难于检 测：第三方面，威胁来自计算机操作系统与应用软件。计算机技术经过了几十年的发 展，目前已为人们提供了一个庞大且复杂的应用平台，而隐藏在功能完备、花样繁多 的服务背后的却是无法避免的大量安全漏洞。正是由于这些先天性的隐患的存在，造 成了大量安全事件发生，让网络用户防不胜防。 其次，网络的开放性决定了不存在绝对安全的网络。维护网络安全的目的是最大 程度地减少数据和资源被攻击的可能性。而互联网的最大特点就是开放性，其宗旨是 使资源可以被共享和有效利用，对于安全来说，这又是它致命的弱点。因为这恰恰将 内部系统的数据和资源暴露于外部网络，增加了被攻击的危险。 再次，随着网络技术的日益普及，系统的安全漏洞和加密措施被越来越多的人所 掌握，攻击软件也变的花样繁多且使用简单，这使得互联网上黑客越来越多，攻击行 为越来越猖獗。 从以上论述可以看出，网络安全问题是计算机网络技术飞速发展的必然结果。既 然安全问题不可能完全避免，那么我们所要做的事情就是尽量减少不安全因素，并把 不安全因素带来的危害降至最低。 1 1 3 入侵检测研究必要性 网络信息安全领域是一个综合、交叉的学科领域，它综合利用数学、物理、生化、 信息技术和计算机技术的诸多学科的长期知识积累和最新发展成果，提出了系统的、 完整的、协同的解决信息安全的方案 从技术层面来看，各种传统的安全技术，如加密技术、防火墙、口令认证、安全 审计等，总的来说，都属于一种静态防御技术，静态防御中过于严格的安全策略是以 2 济l 白凡 坝i 节住硷z 牺牲用户的方便性为代价，与目前网络的开放、共享特性不相容，很难做到一个好的 利弊权衡。而且，现有的各种安全防御机制都有自己的局限，如对于安全系数非常高 的加密技术、防火墙技术，却很难防止密码失窃和内部人员攻击：一个安全的系统也 很难保证内部人员的误操作，以及复杂的设置错误等系统漏洞产生。因此网络安全 不能只依靠单一的安全防御技术和防御机制。只有通过在对网络安全防御体系和各种 网络安全技术和工具的研究的基础上，制定具体的系统安全策略通过设立多道的安 全防线、集成各种可靠的安全机制建立完善的多层安全防御体系【6 j ，才能够有效地抵 御来自系统内、外的入侵攻击，达到维护网络系统安全的目的。 入侵检测是一种动态的监控、顾防和抵御入侵行为的安全机制，它能主动寻找入 侵信号，给网络系统提供对外部攻击、内部攻击和误操作的安全保护，是对传统计算 机安全机制的一种补充，其应用增加了网络与系统安全的保护纵深。入侵检测作为一 种安全技术其作用在于：( i ) 识别入侵者：( 2 ) 识别入侵行为；( 3 ) 检测和监视已成 功的安全突破：( 4 ) 为对抗入侵及时提供重要信息，阻止事件的发生和事态的扩大。 入侵检测技术是维护网络信息安全的重要保障。然而，入侵检测技术经过了二十 几年的发展，到目前为止，其应用现状并不乐观。网络技术在时间和空间上的延伸， 使得目前的网络发展成为个非常复杂的环境，网络基础设施不断升级带来的爆炸式 的网络数据流量，层m 不穷。扑i 趋多样化的攻击手段，使得传统的仪限于单一模式匹 配方法的入侵硷测技术不能适f f 】f 目前的网络状况。而近年束各种智能技术的加盟， 虽从理论l 二来讲，可以夫人的提，前入侵伶测的速度与准确性，但目前智能技术存入侵 捡删领域n j 应l | 研究仍处j 。丈验7 t 阶段，离实蹦：成l f j 还有定距高。 l l j 足j 二入慢拎测刈j ：h ；再发全领域贝仃匝婴意义，及其存技术l 。的4 ：j 己薄。r l ：， 听以找磁，八陂f ：3 ：洲的f i j | ：。，i f u f j 必篮。 1 2 课题研究思路 埘入侵揄；嘲技术进行了人搦茱入埘f 究后，我f 发现仃何利，拎测，j 法琊小能睑洲 出所有入侵行为，一个完善的入侵检测系统应该是多种检测于段的综合运川。 数据挖掘( d a t am i n i n g ) 是随着人工智能和数据库技术发展而出现的一种新| r | 勺信 息技术，通过运用各种数据挖掘工具从数据中提取模式，挖掘出隐含在大量数据中 的高效有用的规则。本课题的研究目的在于借用数据挖掘技术探寻一种检测方法，作 培f 数据挖掘的纠络入侵检测系统的研究 为单包模式匹配的有效合理补充，从历史网络审计数据里寻找正常行为与异常行为规 律，提取正常与异常行为模式，力求从更高层次上对数据进行剖析，从而完成单包模 式匹配所不能完成的攻击类型的检测。最终完成一个基于数据挖掘技术的网络入侵检 测原型系统的设计，使其正确率和可用性在一个比较理想的范围内，并在一个特定环 境中实现。 在研究过程中，我们注重在当前入侵检测技术的弊端上发现问题。比如，鉴于误 用检测与异常检测两种技术手段所固有的缺陷，提出了将二者相结合的方法：考虑到 机器学习的局限性给系统决策所带来的负面影响，突出了人在智能决策时所起到的重 要作用。 l _ 3 论文章节安排 论文从结构上分为以下六个部分： 第一章首先对课题的相关背景作了大体介绍分折了当今网络安全的发展态势 及出现安全问题的原因，阐述了入侵检测研究的必要性，并提出了本课题的研究思路。 第二章从深入分析入侵着手，详细介绍了入侵检测的概念、技术原理、发展历 史及现状，剖析了当前入侵检测技术存在的问题，并对其发展方向作了展望。 第三章介绍了数据挖掘的相关概念、步骤，并分析了数据挖掘技术在入侵检测 领域的应用现状。重点介绍了应用于本系统的数据挖掘方法与算法。 第四章介绍了原型系统的设计目标与设计思想重点介绍了陔系统的总体结构 和功能模块设计。 第血章通过几组实验对系统性能进行测试，验证了系统在入侵数搦硷测l + 的仃 效性对实验结粜进行了分析。 第六章结束语，对本文的论述进行总结，并提出了进一步的技术i 寸论和术求眨 掣。 4 济南大学硕士学位论文 2 1 入侵 第二章入侵检测系统 入侵检测安全机制的目的是动态监控、预防和抵御系统入侵行为。要实现有效的 入侵检测。必须深入地了解入侵行为。下面便对入侵原理做一个较为深入的剖析。 2 1 1 入侵的概念 根据h e a d y 等人的观点，入侵( i n t r u s i o n ) 【刀被定义为所有企图危及到计算机和 网络系统资源的机密性、完整性和可用性的行为。入侵行为试图暗中破坏系统的安全 措施，以达到非法访问信息、改变系统行为和破坏系统可用性的目的。入侵者可分为 两类：外部入侵者( 一般指系统中的非法用户，如黑客) 和内部入侵者( 有越权使用 系统资源行为的合法用户) 。 2 1 2 入侵过程分析 一个典型的攻击过程包含如图2 1 所示的以下步骤： 里! 吲竺! l 借助于 获得( 超级) 用户帐号 d o s 、 d d o s 攻击 达到使服务 摊簇的目的 擦掉踪迹 使 侵活动 不能被觉察 防止反跟踪 实埯攻击活动i ，一 窃取，篡改信息 进行非授权活动 厂一 安装后门 ：= 刳攻击其它机器 ，一i 。一 以便下次能顺 羊9 进入或使目i 以目标主机 探成为傀儡机l 为跳板 图2 - i典型攻击过程 黑客入侵的最终目的无非有以下几种：( 1 ) 窃取信息；( 2 ) 获得超级用户权限； ( 3 ) 使目标系统不可用；( 4 ) 控制系统作为中间站点；进一步攻击其他系统。在实 际攻击过程中，入侵者可能只实旄其中的几步，便可以达到自己入侵的目的。 2 1 _ 3 入侵原理分析 “入侵”是个广义的概念，不仅包括攻击者取得超出合法范围的系统控制权，也 包括信息泄露，拒绝访问( d e n yo fs e r v i c e ) 等对计算机系统造成危害的行为。按最 犍f 毁摄挖掘的州络入谨持测系统的研究 终实施攻击的手段可将网络入侵分为信息获取、系统破坏、系统控制三大类1 8 9 i ： 1 信息获取 信息获取就是利用非正常的、非授权的途径获取目标网络数据信息的技术，其目 的是破坏系统的机密性。常见的手段有以下几种： ( 1 ) 网络侦听 所谓网络监听就是获取在网络上传输的信息。入侵者将网络接口设为混杂模式， 以期从网络中截获流经本网段的数据，从中解析出自己感兴趣的秘密信息，如电子邮 件、用户帐号、用户口令等等。 ( 2 ) 扫描技术 扫描( s c a n ) 是一切入侵的基础。扫描方式有很多，包括p i n g 扫描( i c m p ) 、 t c pc o n n e 研扫描、t c ps y n 扫描、a c k 扫描、u d p 端口扫描、操作系统类别 扫描、系统及应用软件的弱帐号扫描、电子邮件扫描、i i s 或c g i 漏洞扫描等等。嘲 络扫描器能自动、快速地监测任意规模的网络，了解目标网络的配置信息、发现其安 全弱点，为进一步的攻击做准备。 ( 3 ) 网络欺骗 网络欺骗包括i p 欺骗、a r p 欺骗、d n s 欺骗和w w w 欺骗四种方式。它们的 实现方法是由入侵者胃充合法用户的身份，骗过目标主机的认证，或者入侵者伪造 个虚假的上下文坏境，诱使其他用户泄露信息。 2 系统破坏 系统破坏 = ；! r f ：破u 、网络与汁算 几系统的一川j 性，使系统不能i f 常提供服务，或降 低系统服务性能。常见的于段订以f ) l 种： ( 1 ) 拒绝服务 拒绝服务( d e n yo fs e r v i c e ，d o s ) 攻。k 般是针对某一利i j j l i 务他j 州务城填的 攻击有意鹰、降级汁算机或网络资源f i 删k 务，具h 的是破坏资源们”川】r l ：。血量常 见的d o s 攻c k 仃“并扣l 网络带宽攻击和连通t i ：攻击两种。带宽攻击指以撇大的通信 量冲击网络，使得所 埘t 用网络资源都被消l e 殆尽最后导致合法的_ f _ f j ，! ，请求无法通 过。连通性攻击指用大量的连接请求冲击计算机使得所有可用的操作系统资源都被 消耗殆尽，最终计算机无法再处理合法用户的请求。分布式拒绝服务攻击( d i s t r i b u t e d d e n i a lo f s e r v i c e ，d d o s ) 是在传统的d o s 攻击基础之上产生的一类攻击方式。它借 6 济南凡学破l 予住论之 助于客户服务器技术将多台主机联合起来作为攻击平台，对一个或多个目标发动 d o s 攻击，从而成倍地提高拒绝服务攻击的威力。 ( 2 ) 病毒与蠕虫 病毒是最常见的一种网络攻击手段，其目的同样是破坏系统的可用性，它具有传 染性、隐蔽性、寄生性、繁殖性等待点。蠕虫是一种通过网络传播的恶性病毒，它具 有病毒的一些共性，如传播性、隐蔽性、破坏性等等同时具有自己的一些特征，如 不利用文件寄生，对网络造成拒绝服务，以及和黑客技术相结合等等。蠕虫破坏性强， 可以在短短的时问内蔓延整个网络，造成网络瘫痪。 ( 3 ) 物理攻击 物理攻击一般柬晚部是山内部人员发动，危害是最直接的，而且往往能够造成最 大的破坏，如果某个入侵者能够直接接触计算机设备则基本匕可以认为该设备的安 全性已经畿失对于计算机系统来说， 一杯水可能就足够了。 3 系统控制 此类入侵的e i 的是为了获取系统的控制权。如果攻击成功，入侵肴便获得了系统 的最高权限，继而使系统的机密性、完整性、可用性遭到破坏部成为可能。 ( 1 ) 特洛伊水马 特洛伊木马( t r o j a nh o r s e ) 指的是一种隐蔽性极好的黑窖程序，它一般包括眄 部分，一个是服务器端程序，个是控制器端程序。如果目标：卜机安装了f | | 主务措端程 宁那么入侵行就- u 以使刚控制器端程序进入门标主机，通过命令服务器一挪i 达到 控制1 1 杯i ：机的| 1 的。 2 ) 缓；r i 墨溢t 迎过 绥；i x l j ，幽j ek 嫂的内容，造成缓川蔓n 0 溢，从曲j 4 、0 k ， 坎f i l ! 转l f j 执行k - 己f i j 4 彳令。小地的一l # 特权刚户n ，利川系统凇洲成为”h j 。，远雅 股川j i r 刮川列络服务们漏：来远程获得特投川p 的权力。 随计汁弹讥技术”m 络技术的发展，入缓于段也1 ：断翻新，并l l 再 ：1 1 l 入心儿m 脱i7 f _ f l t _ ! 合的念势。 琏j | 敬掰挖掘的州络入埕捡铡系绩的斜 完 2 2 入侵检测相关概念 2 2 1 入侵检测概念 入侵检测( i n t r u s i o nd e t e c t i o n ，i d ) f ，顾名恩义，就是对入侵行为的发觉，它 通过从计算机网络或计算机系统的关键点收集信息并进行分析，从中发现网络或系统 中是否有违反安全策略的行为和被攻击的迹象。 入侵检测系统，即i d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) 是完成入侵检测的软件和 硬件的集合。 一个完善的入侵检测系统必须具有f 列特点，1 2 l ： 准确性：指入侵检测系统能f 确地检测出系统入侵活动。以下三个概念可以作为 衡量系统准确性的标准： 夺检测率：指被监控系统受到入侵攻击时检测系统能f 确报警的概率。 夺虚警率：指检测系统将正常行为误认为入侵行为的概率。 夺漏报率：指检测系统将入侵行为误认为正常行为的概率。 时效性：要求入侵检测系统必须尽快地分析数据并把分析结果传播出去，以使系 统安全管理员能够在入侵攻击尚未造成更大危害以前做出反应。 完备性：指入侵检测系统能够检测出所有攻击行为的能力。在般情况下，很难 取得关于攻击行为以及对系统特权滥用行为的所有知识，所以完备性的评估十分 困难。 可扩展性：可扩展性有两方而的意义。函。先是h l n 与数据的分离，在现 变的前提下能够对新的攻击进行检测：第一，利，是体系结构的“r 扩允性， 的叫候可以在不埘系统的整体结构逃f i 修投n 勺| j i 挺。f 对睑测于段进仃撕 打啡0 小 仃必要 ，以倮 汪能够硷测到新的攻击。 容错性：入侵检测系统自身必须具有抵御攻击的能力，如果入侵检测系统f i 身安 全得不到保障，就意味着信息的无效。 2 2 2 入侵检测技术的发展历史 入侵检测技术的研究最早可追溯到j a m e sa d e r s o n 在1 9 8 0 年的工作。他首先 提出了入侵检测的概念。他将入侵定义为：“潜在的有预谋的未经授权的访问操作。 8 6 f t 涪l 螽凡# f 废卜 位葩z 入侵是致使系统不可靠或无法使用的企图”。1 9 8 7 年d e d e n n i n g 首次给出了入侵 检测的抽象模型1 ”i ，并将入侵检测作为一种新的安全防御措施提出。 1 9 8 6 年在i b m 主机上用c o b a l 丌发的d i s c o v e r y 系统可说是最早的i d s 雏形 之一。1 9 8 8 年t e r e a nl u n l 等人进一步改进了d e n n i n g 提出的入侵检测模型，并创 建了入侵检测专家系统1 d e s ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ) 【1 4 l ，提出了与系统 平台无关的实时检测思想。1 9 8 8 年为了协调美国空军安全官员检测误用空军基地 的大型主机，开发出了h a y s t a c k 系统i ”i 。同年。多入侵检测和报警系统m i d a s 1 6 l 被研制丌发。1 9 8 9 年，美田 i j 家实验室丌发了w & s 系统l ”i 。 1 9 9 0 年，基于网络的入侵榆测系统n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 出现， n s m 通过在局域网上主动地监视网络信息流量柬追踪可疑行为。从此，入侵检测被 分为两个基本类型：基于主机和基于网络。 1 9 9 1 年，n a d i r ( n e t w o r ka n o m a l yd e t e c t i o na n di n t r u s i o nr e p o r t ) i v l 与d i d s ( d i s t r i b u t ei n t r h s i o nd e t e c t i o ns y s t e m ) 1 2 0 1 提出了收集和合并处理来自多个主机的审 计信息以检测针对+ 个系统主机的协同攻击。1 9 9 4 年，m a r kc r o s b i e 和g e n es p a f f o r d 建议在用自治代理来提高i d s 的可伸缩性、可维护性、效率和容错性i “i 。1 9 9 5 年开 发的i d e s 的改进版本n i d e s ( n e x t g e n e r a t i o ni n t r u s i o nd e t e c t i o ns y s t g e m ) i “j 实现 了可以检测多个主机i - _ 的入侵。1 9 9 6 午，基于图形的入侵检测系统g r i d s ( g r a p h b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 1 2 3 i f f j 提m ，旨在解决当前绝大多数入侵检 测系统仲缩性不足1 6 j 题，这使得对大舰模自动或m 同攻i t j f l , j 检测更为便利。 近年来智能技术| _ l j 加眦使得入侵检测辅! 域的l i j f 究窄i j i 繁荣。1 9 9 6 ：f ，f o r r e s t 将 免疫原理运川到分tj 入侵 ；= 删领域i 二”。此后n ：i d sl i | 还现了遗f 0 弹法、遗传 编f i ! n 0 逢j t 】。1 9 9 8 , q - ，r o s sa n d er s o n 干a b i d ak h a t l a c k 将f 。j 乜舱索投术r j i 进刨丁入 侯f ：；：洲锁域川年w l e e 提“：；手l i 吱脱丁m c i d f ( c o m m o ni n t r u s i o nd e t e c t i o n f r a m e w o r k ) 上实现多级i d s ，并运刖数掘一；挖 j i 技术z 一，汀汁数据进行处j ! i ! 【。最近， c h e u n g s t e v e n 等人义提出了入侵容忍( i n t r u s i o nt o l e r a n c e ) 的概念 ”l ，正i d 8 。j l 入了容错技术，栅集理论1 2 7 l 也同样被运用钊入性舱测剑t p ： 基于数据挖掘的网络入侵检测系统的研究 2 3 入侵检测系统原理 2 3 1 入侵检测系统通用模型 在由c i d f f 2 8 1 阐述的入侵检测系统的通用模型中，将入侵检测系统化分为如图2 - 2 所示四个组件： 广 。i 1 一、 ；来源于网络上的数据包 图2 - 2 入侵检测系统的通用模型 事件产生器( e v e n tg e n e r a t o r s ) ：从整个计算环境中获德事件，并向系统的其他部 分提供此事件。 事件分析器( e v e n ta n a l y z e r s ) ：分析得到的数据，并产生分析结果。 响应单元( r e s p o n s eu n i t s ) ：对分析结果做出反应的功能单元，如切断连接、改 变文件属性或报警。 事件数据库( e v e n td a t a b a s e s ) ：是存放各种中间和最终数据的地方的统称，可以 是复杂的数据库，也可以是简单的文件。 从功能的角度，这种划分体现了入侵检测系统所必须具有的体系结构：数据获取、 数据分析、行为响应和数据管理。 2 3 ，2 入侵检测系统的分类 入侵检测系统可以从不同的角度进行分类，主要有以下几种分类方法： 1 根据其采用的分析方法分为异常检测和误用检测【2 9 】 异常检测( a n o m a l yd e t e c t i o n ) 的假设是入侵者活动异常于正常主体的活动。根 据这一理念建立主体正常活动的“活动简档”，将当前主体的活动状况与“活动 简档”相比当违反其统计规律时，认为该活动可能是“入侵”行为。该技术的关 键是异常阈值和特征的选择。其优点是可以发现新型的入侵行为，但误报率较高。 济m 人学坝i 学位篼殳 误用检测( m i s u s ed e t e c t i o n ) ，又称特征检测( s i g n a t u r e b a s e dd e t e c t i o n ) ，这一检 测假设入侵者活动可以用一种模式来表示，系统的目标是检测主体活动是否符合 这些模式。其误报率低检测速度快。它可以将己有的入侵方法检查出来，但对 新的入侵方法无能为力。其难点在于如何设计模式既能够表达“入侵”现象又不会 将币常的活动包含进来。目前大多数较为成熟的商用i d s 都采用的是误用检测。 2 根据检测的信息来源不同分为基于主机和基于网络 基于主机的i d s ( h i d s ) 1 3 0 1 ：通过监视与分析主机的审计记录( 系统同志、应用 程序f f 志) 检删入侵。这些系统的实现不全在目标主机上，有些采用独立的外 围处理机。但是它们全部是根据目标系统的审计记录工作。能否及时采集到审 计数据是系统实现难点之一。 基于网络的i d s ( n i d s ) 1 3 1 j ：通过在共享网段上对通信数掘侦听采集数据，分 析u r 疑现象。这类系统对入侵者是透明的，入侵者本身不知道存入侵检测系统存 在；山于这类系统并不需要主机提供严格的审计，因而对主机资源消耗少，并且 山于网络协议是标准的，它可以提供对网络通用的保护而无需顾及异构主机不 同架构。 3 舣据系统的：i 二作力1 式可分为离线检测和在线检测 离线榆测：往事斤亏分析审计事件，从中非实时检查入侵活动。 在线俭测：它包含实时网络数据包分折，实时t 机审计分析： 2 3 3 入侵检测系统的体系结构 a f t - 捡测系统体系结 f ：j 的划分足橄扪荇j j j f i b r i l 什tn ：似胃iz f t j 小| l i j 彤战的l i 。， i 集，f ，结均 入慢拎洲乐统投蜒的例! 】，i d s 火郝采川t f l的体系结铂。即呱f 巾0l ：作t 生托f 果集、分j k 址l pi ： li ：| 0 ，- 桔! 序来j j 成。i 童利t h i 架使j j t l 弛扪0i 二 l j ! ! l j ii t 追 踪或豁控 t q 络报文求收必数掘一：，使川o f , 独的顾块分f j t 数掳l ：，n ：存 k 影坦：( 1 ) m 络 流量的嫩5 1 ，刈粜， ，结构i d s 构成检测速度的挑战：( 2 ) t t 央分h i 器成为t 弘失效 点。( 3 ) 可扩襞性差，当系统需要加入新的功能时，整个系统就要修改和重新安装。 2 分布式结构 分布式结构采用多个代理在网络各部分分别进行入侵检测，并且协同处理可能的 培_ t _ 数挺挖掘的嘲络入侵拎捌系统的州咒 入侵行为：采用组件技术将功能模块分离，增强系统的可扩展性。与传统i d s 相比， 分布式i d s 具有很大的优势：( 1 ) 降低自身被攻击的风险，一旦某一个代理受到攻击， 还有其他的代理仍能正常工作，并在控制器的统一调配下将整个分布式入侵检测系统 尽快地恢复到先前的状态：( 2 ) 由于代理都是一些轻量级的程序模块，对系统资源的 占用率很小：( 3 ) 对于某些攻击，需要对来源于多处的信息的收集综合才可断定某一 攻击的发生，分布式i d s 的a g e n t 的相互协作正好可以激到这一点。 3 分层结构 出于单个主机资源的限制和攻击信息的分布+ 在针对高层次攻击( 如协同攻击) 上，需要多个检测单元进行协同处理，而检测单元通常是智能代理a g e n t ，因此近来 入侵检测结构开始考虑分层的结构柬检测越来越复杂的入侵。在树形分层体系中，最 底层的代理负责收集基本信息，并完成简单的判断和处理，它只能检测某些简单的攻 击。中删层代理起承上启下作用，一方面接受并处理下层节点处理后的数据，一方面 可以进行较高层次的关联分析、判断和结果输出，并向高层节点进行报告。最高层节 点主要负责在整体上对各级节点进行管理和协调，实现系统的动态配置。 2 4 入侵检测技术的研究现状 2 4 1 常用入侵检测方法 1 模式匹配：基于模式匹配的入侵脸测方法将已知的入侵特征编码成与审计记 录相符合的模式，当新的市汁事什产7 e 时，这一方法将寻找与它柑匹配的已知入侵模 式。当前模式匹配与协议分析牛 l 结合，大大缩减了计算量。 2 统计方法：是一种较成熟的入侵隐测方法，通常用于异常检测，它使得入侵 检测系统能够学习： 三体的r t 常行为，将邮砦与i f 常活动之f f 】j 存在较大统汁偏差的活动 标i ! 为异常活动。 3 专家系统：用专家系统对入侵进行俭测，经常是针对有特征的入侵行为。入 侵检测巾的号家系统是网络安全争家杓；埘可疑行为的分析后得到的一套推理规则。以 网络活动与专家系统的规则库进行匹配发现是否存在入侵。专家系统的建立依赖于 知识库的完备性，如何对入