（计算机应用技术专业论文）半径可调的覆盖聚类算法在入侵检测中的研究.pdf

太原理l ：人学硕十研究生学位论文 半径可调的覆盖聚类算法在入侵检测中的研究 摘要 计算机网络技术的迅猛发展和广泛应用，特别是i n t e m e t 的快速普 及，促进了计算机与互联网技术的不断创新与升级。社会信息化程度的提 高使人们的日常生活与网络的关系越来越密切，同时大量的网络系统面临 攻击和入侵。入侵检测是继防火墙、数据加密等传统安全保护措施后的更 为有效的安全保障技术，它广泛应用于识别和响应恶意使用计算机和网络 资源的行为。 当前多数入侵检测方法是使用大量的标记数据来训练入侵检测模型 的，然而很多情况下并没有已准备好的可供使用的标记数据。如果对收集 到的数据进行手工标记，由于数据量十分庞大，将会耗费大量的时间和精 力。而基于聚类的入侵检测方法以一组没有标记的数据作为输入，进而发 现其中存在的攻击数据，这与传统的检测方法相比，免去了手工标记数据 的繁琐性，因此具有一定的应用优势。 本文分析了传统聚类方法在入侵检测领域中的优势和不足，以提高对 异常攻击的检测有效性为目标，分别从检测率和误报率两个重要指标出 发，提出了半径可调的覆盖聚类算法( r a d i u sa d j u s t a b l ec o v e r i n g c l u s t e r i n ga l g o r i t h m ，r a c c a ) ，将其应用于入侵检测，并通过大量的仿真 实验验证了该检测算法的有效性。 本文的主要工作集中体现在四个方面： 1 在深入分析入侵检测技术和聚类技术的基础上，探讨了运用聚类算 法解决入侵检测问题的方法。由于聚类的方法可以在未标记数据集上找出 异常，因此可以采用聚类方法对数据集进行标记，以便于关联规则、序列 太原理1 ：人硕- i ：_ f i j f 究生学何论文 舰则、分类等数据挖掘方法在这些已标记好的训练数据集上进行模式挖 掘，迸一步更新规则库；也可以直接利用聚类算法在训练数据集上生成检 测模型，并进行实时入侵检测。 。 2 在入侵检测中使用了不需要进行初值选择且聚类速度快的覆盖聚类 算法( c o v e r i n gc l u s t e r i n ga l g o r i t h m ，c c a ) ，同时针对c c a 存在误报率高 的问题，设计了用于入侵检测的高效聚类方法r a c c a 。为了降低误报率 r a c c a 对c c a 的两个方面做了改进：一是增加两个改变覆盖半径的参 数，使覆盖半径变得可调：二是在确定下一步覆盖的中心时，选择离当前 所有剩余未聚类样本点重心最近的样本点为下一步覆盖的圆心。 3 用k d dc u p9 9 数据集对r a c c a 的效率进行了评估，实验结果显 示本算法在入侵检测误报率上和c c a 相比有很大程度的降低。 4 通过实验反复精简特征属性集，构造出一个在检测率和误报率方面 都有一定改善的重要属性集，并对利用重要属性集实现的聚类进行实验及 结果分析，证实采用r a c c a 检测入侵能有效提高检测率，同时降低误报 率。 关键词：网络安全，入侵检测，覆盖聚类，检测率，误报率 一一奎璺堡圭盔堂堡主竺塞尘堂壁笙塞一 一 r e s e a r c ho ni n t r u s i o n d e t e c t i o n w i t hr a d i u sa d j u s t a b l e c o v e r i n g c l u s t e r i n ga l g o r i t h m a b s t r a c t w i t hg r e a td e v e l o p m e n ta n de x t e n s i v ea p p l i c a t i o n so fc o m p u t e rn e t w o r k t e c l l n o l o g i e s ，e s p e c i a l l y t h ew o r l d w i d es p r e a do fi n t e m e t ，t e c h n o l o g i e so f c o m 口u t e ra n di n t e r n e t a r ec o n t i n u o u s l yi n n o v a t e da n du p g r a d e d w i t ht h e i n c r e a s eo fi n f o r m a t i o n b a s e d l e v e la n de n h a n c e m e n to fd e p e n d e n c e o n c o m p m e rn e t w o r k sf o rh u m a ns o c i e t y , m o r ea n dm o r en e t w o r ks y s t e m s a r e e ) p o s i n gt ot h r e a to fa t t a c k sa n di n t r u s i o n s ，f o l l o w i n gt r a d i t i o n a l s a f e g u a r d m e a s u r e ss u c ha sf i r e w a l la n dd a t ae n c r y p t i o n ，i n t r u s i o nd e t e c t i o ni s am o r e e f f e c t i v ek i n do fs e c u r i t yt e c h n o l o g ya n d u s e dt od e t e c ta n dr e s p o n s et o m a l i c i o u sa c t sd a m a g e dt ot a r g e ts y s t e m sa n dr e s o u r c e s n o w a d a y s ，m o s ti n t r u s i o n d e t e c t i o nm e t h o d st r a i n i d sm o d e l su s i n g 1 a b e l e dd a t a s e t s n e v e r t h e l e s s ，l a b e l e dd a t ai sn o tp r e p a r e de n o u g hi na d v a n c e w h i l el a b e l i n gc o l l e c t e dd a t am a n u a l l y , t h a tw i l ib ev e r yt i m e c o n s u m i n ga n d e n e r g y c o n s u m i n gb e c a u s eo ft h eg i g a n t i c a m o u n to fd a t a s e t s ，h o w e v e r , i n t r u s i o nd e t e c t i o nm e t h o d sb a s e do nc l u s t e r i n gw h i c hu s eu n l a b e l e dd a t a s e t sa s i n p u ta n dt h e nd e t e c ti n t r u s i o nd a t a ，e l i m i n a t et h ei n c o n v e n i e n c e o fl a b e l i n gd a t a m a n u a l l y c o m p a r i n gw i t ht r a d i t i o n a l d e t e c t i o nm e t h o d s ，i th a sa d v a n t a g ei n a p p l i c a t i o n t oac e r t a i ne x t e n t a d v a n t a g e sa n dd i s a d v a n t a g e s o ft r a d i t i o n a l c l u s t e r i n g m e t h o d sa r e a n a l y z e di nd e t a i l m e a n w h i l e ，i no r d e rt oe n h a n c et h e e f f e c t i v e n e s sf o ra n o m a l y a t t a c k s ，r a d i u sa d j u s t a b l ec o v e r i n gc l u s t e r i n ga l g o r i t h m ( r a c c a ) i sp u tf o r w a r d a n da p p l i e di n t oi n t r u s i o nd e t e c t i o n t h i sa l g o r i t h mi sm e a s u r e db yd e t e c t i o n i n 太原理! ：叁至受：塑塑尘：! ：垒堡兰一 _ 一 r a t ea n df a j s ea l a 珊r a t ea n dp r o v e di t se f f e c t i v i t yi n d e t e c t i n ga n o m a l ya t t a 。k 5 b yc o n d u c t i n gc o m p u t e r s i m u l a t i o ne x p e r i m e n t s - t h e r ea r ef o u ra s p e c t so f o u rm a i nr e s e a r c hw o r k - f i r s t l y u n d e ra n a l y z i n g i n t r u s i o nd e t e c t i o n a n dc l u s t e r i n gm e t h o d s , m e a s u r e so fr e s o l v i n gi n t r u s i o n d e t e c t i o nb a s e do nc l u s t e r i n g a r ed i s c u s s e d b e e a u s ea n o m a l ys a m p l e sc o u l db ef o u n df r o m u n l a b e l e dd a t a 5 。tb y 。l u 8 t e n n g ， i t i su s e dt oi a b e lt h ed a t a s e ts ot h a td a t am i n i n gm e t h o d s s u c ha sa s s o c l a t l o n r u l e s ，s e q u e n c er u l e sa n dc l a s s i f i c a t i o nc o u l d m i n et h ep a t t e r n sf r o mt h i sl a b e l e d d a 诅s e tt ou p d a t er u l es e t ；a l s o c l u s t e r i n gc o u l db ed i r e c t l y u 8 e dt o t r a m d e t e c t i o nm o d e lo nu n l a b e l e d d a t a s e tt oi m p l e m e n tt h e r e a l _ t i m ei n t r u s l o n d e t e c t i o n s e e o n d l v ，t h ec o v e r i n gc l u s t e r i n ga l g o r i t h m ( c c a ) w h i c h h a 8t w o c h a r a c t e r i s t i c so fn o s e l e c t i n gi n i t i a lv a l u ea n dc l u s t e r i n gs p e e d i n e s s i sa p p l l e d t oi n t m s i o nd e t e c t i o n ，a n de f f i c i e n c yr a c c a i sp r o p o s e dt or e d u c et h ef a l s e a 1 砌r a t eo fc c a t h e r ea r et w oi m p r o v e dp o i n t s ：o n t h eo n eh a n d ，t w o a d i u s t a b l ep a r a m e t e r sa r ej o i n e ds oa st oc h a n g ec o v e r i n gr a d i u s ；o nt h e o t h e r h a n d ，s a m p l ep o i n tw h i c hi s n e a r e s tt oc e n t e ro fg r a v i t yo fa l lt h eo v e r p l u 8 s a m p l e si sc h o s e na st h en e x tc o v e r i n gc e n t e r t h i r d l y ，t h ep e r f b 肌a n c eo f r a c c ai se v a l u a t e di nv i r t u eo fk d dc u p 9 9 d a t as e t s t h ee x p e r i m e n tr e s u l ts h o w sc l e a r l y t h a tt h ef a l s ea l a r mr a t eo f r a c c ai sl o w e rt h a nt h a to fc c a f i n a l l y ，t h ei m p o r t a n t a t t r i b u t es e t w a sc o n s t r u c t e db yr e p e a l n g e x p e r i m e n t i n gt o r e d u c et h ea t t r i b u t e s t h e e v a l u a t i o nr e s u l to fi n t r u s i o n d e t e c t i o nb a s e do nr a c c au s i n gt h ei m p o r t a n t a t t r i b u t es e ts h o w st h a t d e t e e t i o nr a t ei sh i g h e ra n df a l s ea l a r mr a t ei sl o w e r k e yw o r d s ：n e t w o r ks e c u r i t y , i n t r u s i o nd e t e c t i o n ，c o v e r i n gc l u s t e r i n g ， d e t e c t i o nr a t e ，f a l s ea l a r mr a t e i v 声明 本人郑重声明：所呈交的学位论文。是本人在指导教师的指导下。 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体。均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名：张 e t l t l l ： 珥：曼! ! 至一一 关于学位论文使用权的说明 本人完全了解太原理工大学有关保管、使用学位论文的规定，其 中包括：学校有权保管、并向有关部门送交学位论文的原件与复印 件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；学校可以学术交流为目的。 复制赠送和交换学位论文；学校可以公布学位论文的全部或部分内 容( 保密学位论文在解密后遵守此规定j o 签名：盐垫e i l t l l ：塑：! ：塑 导师签名： 彰趣圭 日期：型：t 2 太原理工人学硕士研究生学位论文 1 1 论文研究的背景及意义 第一章绪论 近年来i n t e m e t 的迅速发展，给人们的日常生活带来了全新的感受，人类社会 各种活动对信息网络的依赖程度已经越来越大，计算机网络已经成为信息化社会 发展的重要保证。互联网在中国的发展更是迅猛，中国互联网络信息中心( c n n i c ) 于2 0 0 6 年7 月1 9 1 3 在北京发布了第十八次中国互联网络发展状况统计报告【l j 。 报告显示，截止至1 j 2 0 0 6 年6 月3 0 日，我国网民人数达到了1 2 3 亿人，与去年同期相 比增长了1 9 4 ，网站总数达到了7 8 8 ，4 0 0 个，网络国际出口带宽总量则达到 2 1 4 1 7 5 m ，与去年同期相比增长率为1 5 9 2 ，而宽带上网的计算机数也迅速增长 至1 j 2 8 1 5 万台。互联网正在以超出人们想象的深度和广度迅速发展，它已经发展成 为中国影响最广、增长最快、市场潜力最大的产业之一，给人们的日常生活提供 了极大的便利。 然而，伴随着信息的获取、交换等各种机遇的增加，与i n t e m e t 广泛连接也使 得多种网络面临着网上盗窃、蓄意破坏等各种危险。目前大多数的攻击者只是恶 作剧地使用撰改主页面，拒绝服务等攻击。一旦他们的技术到达某个层次，攻击 者可以窃听网络上的信息，包括用户的口令、数据库的信息；还可以篡改数据库 内容，伪造用户身份，更有甚者，攻击者还可以删除数据库内容，摧毁网络节点， 释放计算机病毒等等。现在，计算机网络安全问题己经成为影响国家独立和安全， 影响经济运行和发展，影响社会稳定和繁荣的重大问题。 随着各种网络攻击手段的多元化、复杂化、智能化，单纯依赖“防火墙”、 “数据加密”等静态防御技术已难以胜任网络安全的需要。入侵检测( i n t r u s i o n d e t e c t i o n , i d ) 技术是继这些传统安全保护措施后又一代安全保障技术，作为一种 积极主动的安全防护技术【2 1 ，它有效地补充和完善了其他安全技术和手段，提高了 信息安全基础结构的完整性。入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m i d s ) 通过从系统内部和网络中收集信息，分析计算机是否有安全问题并采取相应的措 施，是安全防御体系的一个重要组成部分【3 1 ，针对i d s 方法和技术的研究工作已经 引起越来越多的重视。 网络安全已成为国家与国防安全的重要组成部分，没有网络安全就没有社会 信息化，如何争取在信息战中取得主动权，保护国家信息安全，是刻不容缓的研 究课题，也是在未来信息社会中能够生存的必由之路。综上所述，致力于入侵检 太原理工人学硕士研究生学位论文 测技术的研究具有非常重要的社会意义和现实意义。本论文工作旨在针对当前入 侵检测系统存在的不足进行深入地研究，提出对后续研究和产品开发工作具借鉴 意义的基于半径可调的覆盖聚类算法的入侵检测，以解决当前入侵检测模型建模 时收集数据难、自适应能力不强、可扩展性差的问题。 1 2 入侵检测系统发展动态 随着对入侵检测研究的深入，入侵检测的使用方法与技术也不断的在更新。 入侵检测系统按照其数据来源看，可以分为三类：基于主机的入侵检测系统；基 于网络的入侵检测系统；采用上述两种数据来源的分布式的入侵检测系统。入侵 检测这方面的研究开始主要集中在美国，而且多数得到政府和军方的支持，并在 实际环境中应用。现在，国内这方面的研究也发展起来了。下面介绍入侵检测系 统的发展和技术方法。 1 _ 2 1 入侵检测模型的提出 美国斯坦福国际研究所的d e n n i n gd e 于1 9 8 7 年首次提出一种入侵检测模型 【4 】。该模型建立在如下假设之上：安全破坏是有异于系统正常应用模式的行为， 因此可以通过监视系统的审计记录而检测到。例如，一个侵入可能会在某一账户 或系统范围内产生大量的口令错误；植入特洛伊木马的程序会在c p u 使用时间 和加活动方面与以往不同；受病毒感染的系统可能会有高频率的可执行文件重 写操作发生；拒绝服务攻击会垄断资源，造成其他用户的资源使用状况低下。因 此，入侵检测模型的检测方法就是建立用户正常行为的描述模型，并以此同当前 用户活动的审计记录进行比较，如果有较大偏差，则表示有异常活动发生。 描述模型是通过在用户历史审计记录中提取某些统计单位，并使用某种统计 模型建立的。检测模型定义了三种类型的统计单位：事件数量、间隔时间和资源 量。给定某统计单位x 的个值，统计模型的作用就是判断观测量五+ l ，对于前 个值来说是否异常。这种基于统计的检测方法能在一定程度上有效地发现系统 中的异常活动，检测到入侵行为。但是用户正常行为描述模型的建立依赖于对其 历史活动的观测，这就需要一定的时间。所以对于一个新用户来讲，其行为是否 异常就难以检测，而且用户可以采用逐渐改变自己活动方式的办法逃避检测。因 此，对于建立描述模型所使用的统计单位和统计模型是否恰当也需要认真考虑。 由于以上原因，人们又使用了一种基于规则的检测方法。这种方法试图建立 入侵活动的描述模型寻找那些表示有入侵发生的特定行为。这就必须了解入侵 2 太原理l ：人学硕十研究生学位论文 员，由他来确认是否是该职员在使用，如果不是就表示有入侵发生。但这种基于规则 的方法无法检测到未知的入侵，因此不了解这种入侵所使用的方法和其特定行为。而 基于统计的方法却有可能检测到，因为只要与正常行为有差异就能被发现。所以，实 际的入侵检测系统大都同时使用这两种检测方法。结合它们的优点以图达到最佳效 果。下面介绍实际的入侵检测系统。 1 2 2 基于主机的入侵检测系统 基于主机的入侵检测系统( h o s t b a s e di n t r u s i o nd e t e c t i o ns y s t e m ，h i d s ) 位于单 个主机，一般主要使用操作系统的审计跟踪日志作为输入，某些也会主动与主机系统 进行交互以获得不存在于系统日志中的信息。其所收集的信息集中在系统调用和应用 层审计上，试图从日志判断误用和入侵事件的线索。 在d e n n i n gde 提出的入侵检测模型基础上。美国斯坦福国际研究所建立了一个独 立于系统、应用环境、系统弱点和入侵类型的实时入侵检测专家系统i d e s ( i n t r u s i o n d e t e c t i o ne x p e r ts y s t e m ，i d e s ) ! 卯，它可以看作是一个基于规则的模式匹配系统，如 图1 1 所示的i d e s 系统模型。审计记录一旦产生，就与相应描述模型进行比较，与描 述模型中的特定信息进行比较，确定用什么规则来更新描述模型，检测异常活动和报 告检测异常结果。规则和描述模型结构是独立于系统的。i d e s 独立于系统的特点使其 拥有较强的可移植性。但是，如果对目标系统的弱点有充分的了解，有利于建立更有 效的入侵检测系统。i d e s 对入侵的反应仅是向系统安全管理员发出警告，反应能力有 限。除此之外，还有很多基于主机的入侵检测系统。在网络环境中，某些活动对于单 个主机来说可能构不成入侵，但对于整个网络却是入侵活动。例如“旋转门柄”攻 击，入侵者企图登录到网络主机，他对每台主机只试用一次用户i d 和口令，并不穷尽 搜索，如果不成功，便转向其他主机。这种攻击方式，各主机上的入侵检测系统显然 无法检测到，这就需要建立面向网络的入侵检测系统。 图1 - 1 i d e s 系统模型 f i g u r e1 1t h em o d e lo fi d e s 3 太原理 ：人学硕七研究生学位论文 全面部署主机入侵检测系统代价较大，企业中很难将所有主机用h i d s 保护，只 能选择部分主机保护。那些未安装h i d s 的机器将成为保护的盲点，入侵者可利用这 些机器达到攻击目标。主机入侵检测系统除了监测自身的主机以外，根本不监测网络 上的情况。对入侵行为分析的工作量将随着主机数目增加而增加。 1 2 3 基于网络的入侵检测系统 基于网络的入侵检测系统( n e t w o r k b a s e di n t r u s i o nd e t e c t i o ns y s t e m ，n i d s ) 通 过监控出入网络的通信数据流，依据一定规则对数据流的内容进行分析从而发现攻 击或企图破坏安全策略的特征，并做出入侵攻击判断1 6 】。 为了能够捕获入侵攻击行为，n i d s 必须位于能够看到所有数据包的位置。这包 括：环网内部、安全网络中紧随防火墙之后、以及其他子网的路由器或网关之后。最 佳位置便是位于i n t e m e t 到内部网络的接入点。但是，同一子网的两个节点之间交换数 据报文并且交换数据报文不经过i d s ，那么i d s 就可能忽略某些攻击。 与基于主机入侵检测系统相比，基于网络入侵检测系统具有单独的h i d s 无法轻 易提供的能力。 ( 1 ) n i d s 具有实时特性，能够在当可疑的流量流经网络时，实时发现他们且提供 比h i d s 更快的响应和通知。目标为一特定计算机上低层服务的攻击可能会在h i d s 检 测到此事件、采取反应前弄垮机器。拥有实时通知这一特性，使得n i d s 可以以预期 的方式快速并自动地采取反应。 ( 2 ) 由于n i d s 既检测包头，也检测包的载荷，因此它可以检测到h i d s 可能会遗 漏的攻击。 ( 3 ) 当安全探测器被配置成以混杂模式的方式运行，非常难以被检测，具有较强的 隐蔽性，这也就防止了入侵检测系统本身遭到直接攻击。 ( 4 ) 安全探测器使用的数据是实际的网络流量，一旦被捕捉到就不会丢失。 ( 5 ) n i d s 可以被置于一个关键入1 2 点来监视到许多需要被保护的系统的网络流量。 他是与操作系统无关的，不需要像h i d s 那样必须为不同平台开发不同的程序需在所 有被保护机器上安装，增加了系统负荷，且安装数量众多，费用较大。而n i d s 一个 网段上只需安装一个或几个这样的系统，便可以监测整个网段的情况。由于需要较少 的检测点，花费的费用通常也较少。由一个单独的计算机实现此应用，不会给运行关 键的计算机增加负载，且被动地网络监视避免了对网络性能的不利影响。 目前，大部分入侵检测产品是基于网络的。在网络入侵检测系统中，有多个久负 盛名的开放源码软件，它们是s n o r t ，n f r ，s h a d o w 等，其中s n o r t 的社区非常活跃， 4 太原理i ：人学硕十研究生学位论文 其入侵特征更新速度与研发的进展已超过了大部分商品化产品。 1 2 ，4 分布式入侵检测系统 分布式入侵检测系统( d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ，d i d s ) 仍属于网络 i d s ，但是进一步发展为分布式架构。d i d s 在网络中不同位置安放若干探测器，按照 制定的规则搜集、整理信息，然后统一提交给中央控制器，由中央控制器按照规则对 信息进行分析判断，从而做出入侵攻击的判断。 d i d s 在网络中有一个中央控制器，负责管理位于网络关键位置的一系列安全探测 器，安全探测器实现了事件产生器事件分析器组件的功能，分布的安全探测器通过中 央控制器集中控制，通知、告警通过中央控制器显示。中央控制器可对安全探测器进 行配置，经过选择、剪裁的安全策略被中央控制器推向安全探测器。安全探测器将原 始的网络数据包作为数据源。安全探测器通常将网卡设置为混杂模式，从而可以实时 监听、分析所有流经同一以太网网段的流量。在安全探测器端，包经过包捕获程序 ( 嗅探器) 被捕捉到，然后经过过滤器决定是被丢弃还是传送给攻击识别模块。过滤 器根据目前的安全策略做出决定，并且仅通过那些可能包含恶意或非授权行为的流 量，从而有助于性能和准确性的提高。将捕获到的包进行协议解析，解析成链路层 ( 如e t h e m e t ) 、网络层( 如i p ，i c m p ) 、传输层( 如t c p ，u d p ) 等各层的包头和纯 粹的载荷部分，然后包的包头和负载量都经过仔细检查来检测攻击特征，为降低误报 率和提高识别效率，还加上了对协议和语法的分析，如某一字符串出现在命令行中可 表示为攻击，在e m a i l 文件中出现并不表示攻击。一旦检测到攻击，响应模块就提供 一些选项来通知、告警并立即对攻击采取行动，典型的例子包括发送s n m pt r a p 或e m a i l ，在控制器上显示告警或发寻呼。响应还可能包括中止可疑会话或重新配置防火 墙，将攻击事件写入系统日志、数据库、指定文件以供事后调查取证。 由于通常一个安全探测器仅能得到并检测一个网段的流量。因而为检测一个大型 的分布式网络，需部署多个安全探测器。安全探测器的最佳位置为网络的关键位置， 将其置于防火墙前以检测企图对内网的攻击；或置于防火墙之后以检测成功地穿越防 火墙的攻击和来自内部的攻击。 d i d s 将信息搜集整理功能和入侵分析判定功能分散在整个网络范围内的多个检测 节点上，提高了整个系统的入侵检测效率，并具有了对多个节点同时进行入侵检测的 能力但由于全部节点依赖中央控制节点协同工作，一旦中央控制节点受到攻击，整 个系统也就瘫痪。因此，d i d s 的安全系数不高。 典型的d i d s 的实例便是美国p u r d u e 大学设计的a a f i d ( a u t o n o m o u sa g e n t sf o r 5 太原理i ：火学硕十研究生学位论文 i n t r u s i o nd e t e c t i o n ) i 该系统采用分布式部件a g e n t 进行数据收集，各部件按层次的结 构组织1 7 ，在各自所在的主机进行检测，相互之间交换信息，并在检测到入侵时采取响 应。a a f i d 结构包括四个组成部分即a g e n t 、过滤器、收发器、监控器，其逻辑组织 图如图1 2 所示。其中a g e n t 独立运行在网络中的各个主机上，收集一定数据并对主机 的某方面性能做出判断和分析，将分析结果送给收发器，每台主机上可能具有一个或 多个a g e n t 。过滤器作为a g e n t 的一个数据选择和提取层，对送入各个a g e n t 的数掘进 行预处理。收发器是每台主机的外部接口，它们有两个作用，一是跟踪和控制主机上 各个a g e n t 的执行，并向监控器提供所需信息。二是接收本主机各个a g e n t 的分析结 果，将结果进一步处理后发送给监控器或需要此结果的a g e n t 。监控器是a a f i d 结构 中最高层的实体，它的作用与收发器类似所不同的是它可控制运行在不同主机上的 实体，而收发器只能控制运行在本主机上的a g e n t ， 图卜2 a a f i d 逻辑组织图 f i g u r e 卜2l o g i c a ls t r u c t u r eo f a a f i d a g e n t 1 2 5 现有入侵检测系统存在的问题 目前还存在很多其他的入侵检测系统或模型，但大多数系统仍然存在各种各样的 问题，主要包括： ( 1 ) 缺乏有效性：当前大多数入侵检测产品中检测入侵的规则和模式以及统计的特 征往往是专家根据经验编写的，不能应对复杂的网络安全环境。 ( 2 ) 缺乏适应性：编写检测代码时，专家一般着眼于分析目前已知的系统漏洞或攻 击模式对未知的攻击手段缺乏检测能力。 ( 3 ) 有限的扩展性：由于专家根据经验设计检测模型，往往导致这样的模型只针对 6 太原理工人学硕士研究生学位论文 某一特定的检测环境，原有的检测规则和检测模型一般很难修改或与新的合并。 1 3 采用聚类技术的入侵检测 入侵检测的研究与发展已经有2 0 余年的历史了，国内外学者己提出大量的入侵检 测方法，如统计方法【8 j 、贝叶斯推理方法、机器学习方法、神经网络方法【9 l 10 】【j 1 】【1 2 】、 数据挖掘、遗传算法、支持向量机等方法。但上述方法存在一个缺点，即对建立 检测模型的训练数据要求较高：必须是“干净”的数据并且必须包含检测对象的大多 数正常行为，而同时做到这两点是非常困难的。因此，近年来研究人员将聚类 ( c l u s t e r i n g ) 的方法用于入侵检测，以达到检测异常数据的作用。基于聚类方法的异 常检测是一种无指导的异常检测，这种方法在未标记的数据上进行，它将相似的数据 划分到同一个聚类中，而将相异的数据划分到不同的聚类中，从而达到判断网络中的 数据是否异常的效果。 聚类分析的方法是指将物理的或抽象的对象分成几个簇( c l u s t e r ) ，在每个簇内 部，对象之间具有较高的相似性，而在不同的簇之间相似性则比较低。一般一个簇也 就是一个类，但与数据分类不同的是聚类结果主要是基于当前所处理的数据，我们事 先并不知道类的结构及每个对象所属的类别。基于聚类的入侵检测技术可以无监督的 检测入侵，并能够自适应的确定算法参数，并且不需要干净的训练数据对系统进行训 练。 1 4 本文的主要研究内容 本文详细论述了入侵检测基础理论知识，并在分析入侵检测和聚类技术的基础 上，给出了基于聚类的入侵检测方法。文中采用的是覆盖聚类算法( c o v e r i n g c l u s t e r i n ga l g o r i t h m ，c c a ) ，并对算法做了改进，提出了半径可调的覆盖聚类算法 ( r a d i u sa d j u s t a b l ec o v e r i n gc l u s t e r i n ga l g o r i t h m ，r a c c a ) ，使其更加适合于入侵检测 的研究，可以有效地将入侵数据和正常数据区分开，并且在检测率和误报率上也取得 了较好的效果。 具体来说，本文的研究内容如下： ( 1 ) 介绍入侵检测基础知识、入侵检测方法分类，对入侵检测进行动态分析，概述 了目前国内外入侵检测模型：另外还讨论了入侵检测系统当前存在的问题、发展趋 势。 ( 2 ) 探讨了运用聚类算法解决入侵检测问题的方法，介绍了聚类分析方法的基本知 7 太原理c 大学硕十埘究生学位论文 识，研究了基于层次和划分聚类算法思想及其优缺点。 ( 3 ) 在深入分析了入侵检测技术和聚类技术的基础上，论述了入侵检测中采用聚类 技术的必要性和可行性，及入侵检测对聚类的典型要求。详细介绍了球形覆盖及c c a 中的一些关键概念、公式及算法思想步骤，在此基础上提出了r a c c a ，并且在 m a t l a b 上实现了它。 ( 4 ) 通过实验对r a c c a 做出最佳半径参数选择，并且比较t c c a 和r a c c a ，证明 r a c c a 确实在降低误报率方面有较好的表现； ( 5 ) 在分析网路连接记录特征属性的基础上，通过属性选择实验分析t r a c c a 应该 利用连接记录的哪些特征属性来做聚类分析。 8 太原理l 。人学顷十 j 7 _ 究生学位论文 第二章入侵检测技术介绍 2 1 入侵检测概述 入侵是指有关试图破坏资源的完整性、机密性及可用性的活动集合i ”】。从分类角 度来看入侵包括尝试性闯入、伪装攻击、安全控制系统渗透、泄漏、拒绝服务、恶意 使用等类型。 入侵检测被定义为对计算机和网络资源上的恶意使用行为进行识别和处理的过 程，即采用预先主动的方式，对客户端和网络各层进行全面而有效的自动检测，以发 现和避免被保护系统可能遭受的攻击，它不仅能检测来自外部的入侵行为，同时也检 测内部用户的未授权活动。入侵检测是建立在这样的假设基础上的：安全破坏是有异 于系统正常应用模式的行为，因此可以通过监视系统的审计记录而检测入侵检测的安 全机制与传统的安全技术不同，其基本思想并不是设法建立安全、可靠的计算机系统 或网络环境，而是采用对网络活动和系统用户信息的分析技术达到对用户非法行为的 检测和报警的目的，进而由有关系统对非法行为进行控制，可与传统的安全技术相结 合达到比较理想的系统安全目的。 一个成功的入侵检测系统，不仅可使系统管理员时刻了解网络系统( 包括程序、 文件和硬件设备等) 的任何变更，还能给网络安全策略的制订提供指南。更为重要的 一点是，它应该宜于管理、配置简单，从而使非专业人员也能非常容易地获得网络安 全。入侵检测系统在发现入侵后，还必须能够及时响应，包括切断网络连接、记录事 件和报警等。 2 2 入侵检测系统 入侵检测系统从系统内部和各种网络资源信息中，分析可能的入侵攻击行为，扩 展系统管理员的安全管理能力( 包括安全审计、监视、进攻识别和响应) 提高信 息、安全基础结构的完整性。 2 2 1 入侵检测系统组件 不同的入侵检测系统往往以不同的组件描述系统的组成结构，通常入侵检测系统 由以下组件构成【1 6 1 ： ( 1 ) 数据源( d a t as o u r c e ) 数据源是i d s 用以监控未授权或异常行为的原始数据，包括原始网络数据包、操 9 太原理r 人学项士研究生学位论文 作系统审计记录、应用程序审计记录以及系统校验数据等。 ( 2 ) 传感器( s e n s o r ) 与分析器( a n a l y z e r ) 传感器的任务是完成从数据源收集必要数据的工作，不同的i d s 传感器收集数据 的频率和工作方式不同。分析器的任务是分析处理传感器收集到的数据( 如未授权或 异常行为和其它有用事件等相关的数据) ，并产生安全警报。 ( 3 ) 行为( a c t i v i t y ) 与事件( e 、，e n t ) 行为是数据源的表征实例，如某个网络连接、某个用户执行的操作或某个应用程 序触发的事件等，它既可以是危险的恶意攻击，也可以是无害的用户偶然异常操作， 当然也包括正常的用户行为。事件是对数据源某些数据的分析结果，事件( 一个或多 个) 用于触发安全警报。 ( 4 ) 安全警报( a l e r t ) 警报消息由分析器产生并发送到对应的响应器，内容通常包括事件的类型、事件 发生的时间、事件处理的优先级别等信息。 ( 5 ) 管理器( m a n a g e r ) 和响应器( r e s p o n s o r ) 管理器功能包括传感器配置、分析器配置、事件告知管理、数据综合和报表等。 响应器是对报警作出反应的功能单元，它可以作出切断连接、改变文件属性等强烈反 应，也可以只是简单报警。 ( 6 ) 反应( r e s p o n s e ) 反应是对事件发生采取的措施，可能由系统自动触发，也可以由安全管理人员发 起。其中，通知管理员是最常见的反应，除此之外还包括行为记录、切断网络连接、 终止用户进程、改变文件存取属性等方式。 ( 7 ) 管理员( a d m i n i s t r a t o r ) 和操作员( o p e r a t o r ) ( 安全) 管理员负责整个i d s 的安全策略配置和组件配置工作。操作员监视入侵检测 系统的输出，必要时采取一定的反应措施。 综上所述，入侵检测系统应具备3 个基本要素：( 1 ) 系统资源，如网络设施、用户 账号、系统内核等；( 2 ) 定义系统资源合法使用行为的模型：( 3 ) 用于行为监控的技术。 2 2 2 入侵检测系统通用模型 由t e r e s al u n t 等发起的开放性研究组织一入侵检测工作组( i n t r u s i o nd e t e c t i o n w o r k i n gg r o u p ，i d w g ) 开展了这方面的研究工作。它提出了一整套规范，称为通用入 侵检测框架( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ，c l d f ) 。c i d f 主要定义了i d s 表达检测信息的标准语言以及i d s 组件之间的通信协议。符合c i d f 规范的i d s 可 1 0 太原理一l ：人学硕j ：研究生学位论文 以共享检测信息，相互通信，协同工作，还可以与其他系统配合实施统一的配置响应 和恢复策略。c i d f 的主要作用在于继承各种i d s 并使之协同工作，实现各i d s 之间的 组件重用，所以，c i d f 也是构建分御式i d s 的基础。 c i d f 由4 个检测组件组成：事件产生器( e v e n tg e n e r a t o r ) 、事件分析器 ( e v e n ta n a l y z e r ) 、响应单元( r e s p o n s eu n i t s ) 和事件数据库( e v e n td a t a b a s e ) ， c i d f 的基本体系结构如图2 1 所示。 图2 - lc i d f 基本体系结构 f i g u r e2 - 1t h eb a s i ca r c h i t e c t u r eo f c l d f c i d f 将i d s 需要分析的数据统称为事件( e v e n t ) ，它既可以是基于网络的i d s 中的网络数据包，也可以是基于主机的i d s 从系统日志等其它途径得到的信息。事件 产生器是从整个计算环境中获得被监控的事件，并向系统的其它部分提供此事件，事 件分析器分析得到的数据，并产生