（计算机应用技术专业论文）入侵检测系统中的聚类算法研究.pdf

大连理r 大学硕士学位论文 摘要 随着互联网络的快速发展，人们在日常的工作生活中对于网络的依赖程度越来越 高，各种经济活动也逐渐在网上展开，对予计算枫网络安全的要求显著增加。但与此同 时，各种网络入侵、攻击等恶意行为层出不穷，严重的威胁了网络的安全。对于专业黑 客的攻击和授权焉户的恶意行为，现有的防火墙及各种身份验证系统等被动防护系统经 常无能为力。因此，迫切需要一种能够采取主动防护的技术来对各种未知的入侵攻击进 行检测，入侵检测系统就是在这样的背景下产生的。丽将聚类分析感用于入侵检测系统 的大规模的数据分析引擎中，也成为研究的热点。 本文在研究了国内外基于聚类分析的入侵检测系统的发展现状和分析前人工作的 基础上，提出了应用于入侵检测系统中的蘸种改进的聚类舞法。 一是对于聚类分析中最为常用的肛m e a i l s 算法的改进。提出一个修改的过滤方法， 通过构造一个嬲树来鸯瓣速新聚类中心的生成。对于怒树的节点，算法维持? 一个候选 聚类中心的集合。同时将簇归类成静态和动态，对于在算法迭代过程中的每个点，使用 中心替代的信息来决定候选点的集合。改进后的算法因为将每一步的信息都通过静态和 动态两个集合来带入下一步，因此能有效降低原算法的复杂度，提高其在高维数据上的 有效性，可以有效应用于入侵检测系统。 二是在研究小波聚类算法的基础上，将小波聚类算法与基于熵的特征筛选相结合， 利用两者的优点，给出了一种基于熵的特征筛选的小波聚类算法。该算法首先根据原始 数据对象间的相似度进行熵度量，根据熵的情况，进行特锰筛选，将原始高维数据降维。 量化降维后的子特征空间，在量化空间上应用小波聚类，得到检测数据，有效的克服了 小波聚类对高维数据效果较差的问题。， 对比实验表踞，本文提出的两种改进算法都在原有算法基础上有效的提高了入侵检 测系统的检测率。同时，实验结果也表明，基于小波聚类的方法在入侵检测系统中的应 用效采甓显好予常用的基于茹m e 鼹s 聚类的方法，为今蜃基于聚类的入侵检测系统豹发 展提出了一个新的研究方向。 关键词：聚类分析；入侵检测；雪均值；小波聚类 大连理丁大学硕十学位论文 r e s e a r c ho f c l u s t e r i n ga l g o r i t h mi ni n t r u s i o nd e t e c t i o ns y s t e m a b s t r a c t a st h er a p i dd e v e l o p m e n to fi n t e r n e t ，p e o p l ed e p e n dh i z h l yo nt h en e ti nt h e i rw o r ka n d t h e i rd a y - t o d a yl i f e a n dav a r i e t yo fe c o n o m i ca c t i v i t i e sh a v ea l s os t a r t e do nt h en e t g r a d u a l l y s ot h en e e do fc o m p u t e rn e t w o r ks e c u r i t yi n c r e a s e sr a p i d l y b u ta tt h es a m et i m e ， l o t so fn e t w o r ki n t r u s i o na n dm a l i c i o u sa t t a c k sh a p p e n , w h i c ht h r e a t e nt h en e t w o r ks e c u r i t y b a d l y t h ee x i s t i n gp a s s i v ep r o t e c t i o ns y s t e m s s u c ha sf i r e w a l la n di d e n t i t ya u t h e n t i c a t i o n s y s t e m ，c a nd on o t h i n gt ot h ep r o f e s s i o n a lh a c k e r sa n dm a l i c i o u sa c t so fa u t h o r i z e du s e r s t h e r e f o r e an e wt e c h n i q u ew h i c hc a np r o t e c tt h es y s t e mf o r w a r d l yi sn e e du r g e n t l y t h e i n t r u s i o nd e t e c t i o ns y s t e ma r i s e sf r o mt h i sb a c k g r o u n d t h er e s e a r c ho ft h ei n t r u s i o n d e t e c t i o ns y s t e mb a s e do nc l u s t e r i n ga l s ob e c o m e st h eh o ts p o t t 1 1 i sp a p e rp r e s e n t st w om o d i f i e dc l u s t e r i n ga l g o r i t h mf o r t h ei n t r u s i o nd e t e c t i o ns y s t e m b a s e do nt h ef o u n d a t i o no ft h ec u r r e n ts t u d yb o t hh o m ea n da b o a r d f i r s t ，i ti st h ei m p r o v e m e n to fk - m e a n sc l u s t e r i n ga l g o r i t h mw h i c hi su s e di n t h e c l u s t e r i n ga n a l y s i st h em o s tc o m m o n l y am o d i f i e df i l t e r i n ga l g o r i t h mi sp r e s e n t e dt h a tc o u l d s p e e dt h eg e n e r a t i o no ft h en e wc l u s t e r i n gc e n t e rb yc o n s t r u c t i n gak d t r e e f o rt h en o d e so f t h ek d t r e e ，t h ea l g o r i t h mr e m a i n sas e to ft h ec l u s t e r i n gc e n t e rc a n d i d a t e s e tt h ec l u s t e rt ob e s t a t i co rb ea c t i v e ，f o re a c hn o d ei nt h ei t e r a t i o n ，t h ea l t e r n a t i v ei n f o r m a t i o no fc e n t e r si su s e d t od e c i d et h es e to fc a n d i d a t e d u et ot h ei n f o r m a t i o ni sd e l i v e r e dt ot h en e x ts t e pb yu s i n gt h e s t a t i ca n da c t i v es e t s ，t h em o d i f i e da l g o r i t h mc a nr e d u c et h ec o m p l e x i t y ，a n de n h a n c et h e a v a i l a b i l i t yo fu s i n gi nh i g h - d i m e n s i o n a ld a t a s o ，t h em o d i f i e da l g o r i t h mi ss u i t a b l ef o rt h e i n t r u s i o nd e t e c t i o ns y s t e m s e c o n d ， an e wc h a r a c t e r i s t i c s b a s e dw a v e c l u s t e ra l g o r i t h mi s p r e s e n t e d ， w h i c h i n t e g r a t e st h eo r i g i n a lw a v e c l u s t e ra l g o r i t h ma n da ne n t r o p y - b a s e dc h a r a c t e r i s t i c ss c r e e n i n g a l g o r i t h mo ft h es o u r c ed a t a i ta s s e s s e st h ei m p o r t a n c eo ft h eo r i g i n a lc h a r a c t e r i s t i c ss e tb y c o n s t r u c t i n ga ne n t r o p ym e a s u r e m e n tb a s e do nt h es i m i l a r i t yo ft h eo b j e c t si no r d e r t of i n dt h e i m p o r t a n tc h a r a c t e r i s t i c ss u b s e t s b yt h i sw a y ，t h ed i m e n s i o ni sr e d u c e d t h ew a v e c l u s t e ri s u s e do nt h el o w d i m e n s i o n a ls u b s p a c ea n dc a nf i n dt h ei n t r u s i o nd a t ae f f i c i e n t l y t h ec o m p a r i s o ne x p e r i m e n t ss h o wt h a tb o t ho ft h et w om o d i f i e da l g o r i t h mp r e s e n t e di n t h ep a p e rc a nr a i s et h ed e t e c t i o nr a t eo fi n t r u s i o nd e t e c t i o ns y s t e m a l s o ，i tc a nb ef o u n dt h a t t h ew a v e c l u s t e ra l g o r i t h mi sm o r ee f f e c t i v et h a nt h ek - m e a n sa l g o r i t h mi nt h ei n t r u s i o n d e t e c t i o ns y s t e m i ts h o w san e wr e s e a r c hd i r e c t i o no ft h ec l u s t e r i n g b a s e di n t r u s i o nd e t e c t i o n s y s t e m 入侵检测系统中的聚类算法研究 k e yw o r d s ：c l u s t e r i n gm e t h o d s ；i n t r u s i o nd e t e c t i o n ；k - m e a n s w a v e c l u s t e r i v 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体己经发表的研究成果，也不包含其他己申请 学位或其他篇途使用过的成果。与我一黧工作的同志对本研究新做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目： 堡揸测丕统生鲍鬈娄簋洼盈究 作者签名：j 绰聋l 基期：坦l 年丝月k 露 大连理工大学硕士醭究生学侮论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理王大学，允许论文被查阅和借阕。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题管：堡撞巡歪缝生煎鐾娄差洼煎塞 作者签名：墨! ! 查鱼日期：五配年! 月上塑日 导师签名： 主2 乏毖日期：2 竺皇匿年卫月旦日 大连理工人学硕十学位论文 1绪论 1 1 研究背景和意义 从2 0 世纪7 0 年代开始，随着计算机数量的增长以及计算机网络的发展，个人、企 业和政府机构日益依赖于计算机网络进行通讯、协同工作，对计算机安全的要求显著增 加。现在广为使用的防火墙及各种身份验证虽然能够保护系统不受未经授权访问的侵 扰，但对专业的黑客攻击或授权用户的恶意行为却无能为力。而入侵检测系统是对防火 墙的有益补充，入侵检测能在入侵攻击对系统发生危害前检测到攻击，并利用报警和防 护系统驱逐攻击。入侵检测系统被人们认为是防火墙之后的系统第二道安全闸f - 1 。自从 1 9 8 0 年j a m e sa n d e r s o n 首次提出入侵检测的概念以后，对入侵检测系统的研究就逐渐 开始。早期的入侵检测系统基本上是基于主机的，适合在较为有限的网络环境中使用。 但随着网络的快速发展，主机式的入侵检测系统逐渐不能满足人们的要求。1 9 9 0 年，基 于网络的入侵检测系统的概念被提出，目前大部分的入侵检测系统已经都是基于网络的 了【l ，2 】 。 j o 基于网络的入侵检测系统要面临的第一个重要问题就是要有效处理海量的网络数 据，从中发现可疑数据。面对海量的数据，传统的数据分析工具只能进行一些表层的处 理，而不能获得数据之间的内在关系和隐含的信息。而数据挖掘作为用于大规模数据处 理的一种新的思维方法和技术手段近年来发展快速。因此，已经有越来越多的入侵检测 系统与数据挖掘技术相结合。将数据挖掘技术与入侵检测系统集成逐渐成为入侵检测系 统的研究热点p j 。 从2 0 世纪9 0 年代开始，数据挖掘技术的研究逐渐有了一些比较深入的成果，数据 挖掘的方法也日趋多样。若根据学习过程分类的话，这些方法主要可以分成有监督型的 和无监督型的【4 1 。有监督型的数据挖掘技术需要领域专家的经验进行干预和分析，而对 于快速增加的入侵攻击，预先完全的了解显然是非常困难的。而无监督型的数据挖掘技 术不需要过多的人工干预，减少了数据挖掘过程中的不确定因素，能更好的体现数据本 身的特点和内在关联，因此，更适合于在入侵检测系统中使用。 聚类分析方法是一种典型的无监督型的数据挖掘技术，它可以识别未知数据中的有 限种类集合或簇集合。通过聚类分析，人们能够识别数据集中的密集和稀疏的区域，从 而发现全局分布模式以及数据属性间的相互关系【4 】。由于聚类分析方法的良好的特性， 其已经被广泛的应用于入侵检测领域。通过对聚类分析方法的研究改进，对于提高入侵 检测系统的整体检测水平，提高网络应用安全水平有着非常重要的意义。 入侵检测系统中的聚类算法研究 1 2 研究现状 从1 9 9 7 年左右开始，就有美国学者着手将数据挖掘方法应用到入侵检测中，目前 已取得了一定的成果。国内也有一些高校，如清华大学、西安电子科技大学和华中科技 大学等的学者在关注这个领域的研刭5 7 1 。 目前国内外基于数据挖掘的入侵检测系统主要有m a d a mi d 、a d a m 、分布式协 同入侵检测系统以及无监督异常检测系统等。 ( 1 ) m a d a mi d m a d a mi d ( m i n i n ga u d i td a t af o ra u t o m a t e dm o d e l sf o ri n t r u s i o nd e t e c t i o n ) 是美国 哥伦比亚大学开发的最为有名的基于数据挖掘的入侵检测项目 8 - 1 2 】。它的主要思想包括 建立用于关联分析的关联规则，用于序列分析的频繁片段以及分类器 1 3 , 1 4 】。研究者对于 已有的算法，如a p f i o f i 算法和频繁片段算法等进行了一些改进。他们根据需要把记录 中的某些较重要的属性设为数据挖掘时的轴属性( a x i s a t t r i b u t e s ) ，另一些不太重要的则 设为参考属性( r e f e r e n c ea t t r i b u t e s ) 。例如反映网络连接特征的时间戳、源主机地址、 目的主机地址、源端口、目的端口和服务类型等可设为轴属性，因为它们可以用于定义 一条唯一的记录，而连接时间等则可设为参考属性。通过轴属性的使用可以减少无用规 则的产生量，并且为入侵检测提供了丰富有效的审计数据信息。 m a d a mi d 系统利用基于规则的分类算法r i p p e r 在训练数据集上进行归纳学习， 最终产生描述每个类( 正常类或入侵类) 的模型。r i p p e r 算法产生的规则简洁明了，并 且可以在任何需要的时候由安全专家进行检查和编辑。研究者通过使用不同的数据源和 不同的检测方法，进行了大量实验。这些数据包括来自主机的系统调用序列数据和来自 网络的数据包，主要分为网络层数据和应用层数据。m a d a mi d 是一种典型的误用检 测系统，由于误用检测系统的局限性，它无法检测到新类型的攻击。 ( 2 ) a d a m a d a m ( a u d i td a t aa n a l y s i sa n dm i n i n g ) 是乔治梅森大学设计的异常检测系统【l5 1 。异 常检测系统可以捕捉到偏离已建立的系统正常行为模式的行为，因此可以发现新类型的 攻击，但由于可能会把未知的正常行为标记为异常，因此具有较高的误报率，需要大量 的时间区分真正的入侵数据和被误报的正常数据。a d a m 采用了区分可疑事件为入侵 或误报事件的有效机制，具有两个方面的主要特点：一是使用数据挖掘技术建立正常行 为的模式，并且对于可疑攻击使用了分类器以区分其为误报或真实攻击；第二点是通过 使用具有滑动窗口的递增挖掘算法发现可疑事件，使其能够在实时状态下使用。 另外，a d a m 还使用了关联规则和分类算法来挖掘t c p d u m p 审计数据中所包含 的攻击数据。系统首先在正常数据集上挖掘出正常模式，接着通过使用具有滑动窗口的 大连理丁大学硕士学位论文 在线算法找出剩余数据中的频繁模式，把它们与已生成的正常模式库进行比较，丢弃掉 那些被认为是正常的数据。a d a m 对最后剩余的数据采用了分类器以区分其为己知攻 击形式、未知攻击形式或是正常数据。a d a m 从一定程度上解决了传统异常检测系统 误报率较高的问题。 ( 3 ) 基于数据挖掘的分布式协同入侵检测系统 为了提高对用户异常行为的识别能力和对未知攻击模式的检测能力，华中科技大学 的刘科等人提出了一种基于数据挖掘的分布式协同入侵检测系统框架，即在协同入侵检 测中采用了基于数据挖掘的入侵检测技术，并与常规入侵检测系统相结合【7 1 。其结构包 括数据采集器、常规入侵检测器、常规入侵规则库、常规安全事件库、协同安全事件库、 协同入侵检测器、协同入侵规则库和基于数据挖掘的规则生成器等部分。通过将基于专 家知识库的误用检测技术和协同入侵检测技术相结合，该系统具有一定的常规入侵检测 和协同入侵检测能力。使用基于数据挖掘的关联规则算法使系统可以自适应的产生一些 具有一定支持度和可信度的协同入侵规则，从而具备一定检测未知模式协同入侵能力。 ( 4 ) 无监督异常检测系统 前面提到的系统一般都需要在大量的已标记为正常或异常的训练数据集上进行训 练，在实际应用中通常没有已标记好的数据可供使用，因为原始的网络数据或系统调用 数据都是没有标记的，所以这些标记需要以手工的方式进行，因此会耗费大量的人力物 力。而无监督异常检测方法就没有这些限制，由于它们不需要使用任何已标记好的数据， 大大降低了训练数据集的生产要求，成为了近来研究的热点。聚类算法是一种典型的无 监督异常检测方法，这种类型的方法通常假设数据集包含了大量的正常数据和相对少量 的异常数据，并且异常数据与正常数据存在着本质的不刚幡1 8 】。 文献 1 8 中提出了一种基于聚类的入侵检测系统，它可以自动检测新的或其它未知 的攻击形式。在这个系统中，不需要在训练阶段提供手工或其它方式得到的标记数据， 并且能够检测多种不同类型的攻击，同时保持较低的误报率。此方法中用于建立模型的 训练数据集必须正确且充分的代表了整个网络或主机环境的数据分布情况。如果这个前 提不满足的话，那么对于来自于一个完全不同的数据分布区域，或者来源于一个不能由 己知聚类代表的聚类中的记录，系统中使用的判断入侵的方法就会变得不适应。 ( 5 ) 其它系统 w i s d o m 是最早的基于数据挖掘的入侵检测系统，它可以从系统审计数据中挖掘出 代表正常行为的关联规则。t e n g 等人采用了类似的方法自动学习代表正常用户行为的 频繁片段规则【l9 1 。m u k k a n m a l a 等人通过使用数据挖掘技术以减少在入侵检测中需要维 护和分析的审计数据量，l a m 等人也采用了类似的审计数据缩减技术【2 0 1 。另外还有大量 入侵检测系统中的聚类算法研究 研究致力于在系统调用序列中建立模型，采用的方法包括神经网络、隐藏m a r k o v 模型 以及固定和变化长度模式等，w a r e n d e r 和d e b a r 等研究都是这些研究工作的代表【2 1 ，2 2 1 。 1 3 目前存在的问题 目前的入侵检测系统存在的问题主要在以下三个方面： ( 1 ) 缺乏有效性。当前大部分入侵检测产品中检测入侵的规则和模式以及统计的特 征往往是专家根据经验编写的，然而，就目前复杂的网络状况，单凭专家的经验是不完 整、不精确的。 ( 2 ) 缺乏适应性。编写检测代码时，专家一般着重分析目前已知的各种攻击手法和 系统漏洞，导致入侵检测系统可能无法检测将来出现的未知的攻击。又由于其学习方法 的局限性，更新速度慢，使现有的入侵检测系统难以适应目前层出不穷的新的攻击手法 和各种系统漏洞。 ( 3 ) 有限的扩展性。由于入侵检测系统是专家根据经验设计的检测模型，这种模型 具有一定的针对性，只适合特定的网络环境。在新的网络环境中，原有的检测规则和检 测模型一般很难修改，并且也很难与新的检测模型合并。 针对目前网络环境复杂多变，用户及系统产生的审计数据量巨大的现状下，亟需一 种更加系统化、自动化的方法来构造入侵检测模型，它可以帮助系统实时监测网络攻击， 扩展系统的安全管理能力，提高信息安全基础结构的完整性。随着各种软件的层出不穷， 新的漏洞不断被发现，黑客入侵的技术日益提高，入侵检测系统需要完成的任务变得越 来越艰巨，聚类分析技术为入侵检测系统提供了新的方法和思路，它和入侵检测紧密结 合必将极大的提高现有入侵检测系统的性能，同时促进更多聚类分析算法的提出和应用 于入侵检测这个新的领域。 1 4 本文的主要工作 由于聚类算法在入侵检测中的应用的研究工作在国内还处于起步阶段，论文的研究 工作主要是在国内外学者和专家的研究工作的基础上进行的。论文的工作不能对所有的 聚类算法在入侵检测系统中的应用逐一研究，只对其中的k 均值算法和小波聚类算法在 入侵检测系统中的应用进行了研究。 ( 1 ) 简要的介绍了入侵检测中的聚类分析的应用发展概况，并阐述了课题的背景、 目的、意义及国内外的研究动态。 ( 2 ) 给出了入侵检测系统的一般组成，介绍了入侵检测系统的基本特征。 ( 3 ) 介绍了聚类分析的特点和常见的聚类分析方法以及它们的优缺点。 ( 4 ) 研究了应用于入侵检测系统中的改进的k 均值聚类方法和改进的小波聚类方 一4 一 大连理t 大学硕十学位论文 法，并通过实验对于改进算法的有效性进行了验证。 ( 5 ) 对本论文的主要研究工作给出了一个简要的总结，提出进一步的研究方向。 入侵检测系统中的聚类算法研究 2 入侵检测系统概述 2 1入侵检测的概念 入侵，是指任何试图危及计算机资源的完整性、机密性或可用性的行为。而入侵检 测是对入侵行为的发觉，它通过从计算机网络或系统中的若干关键点收集信息，并对这 些信息进行分析，从而发现网络或系统中是否有违反安全策略的行为和遭到攻击的迹 象。进而入侵检测的软件与硬件的组合便是入侵检测系统。国际计算机安全协会( i c s a ) 将入侵检测( i n t r u s i o nd e t e c t i o n ) 定义为“通过从计算机网络或计算机系统中的若干关键 点收集信息并对其进行分析，从中发现网络或系统中是否有违反安全策略的安全行为和 遭到袭击的迹象并同时做出响应的一种安全技术”。入侵检测是防火墙的合理补充，帮 助系统对付网络攻击，它扩展了系统管理员的安全管理能力，提高了信息安全基础结构 的完整性。入侵检测被认为是防火墙之后的第二道安全闸门，在不影响网络性能的情况 下能对网络进行监测，从而提供对内部攻击、外部攻击和误操作的实时保护。 图2 1 入侵检测的作用 f i g 2 1 t h er o l eo ft h ei n t r u s i o nd e t e c t i o ns y s t e m 在网络安全体系中，入侵检测系统是唯一一个通过数据的行为模式判断其是否有效 的系统，如图2 1 所示，防火墙可以阻止部分的外部非法访问，但对于专业黑客或内部 的恶意操作无能为力；访问控制系统可以不让低级权限的人越权获得高级权限，但并不 能保证具有高级权限的人的恶意行为，也无法阻止低级权限的人通过非法行为获得高级 权限；漏洞扫描系统可以发现系统和网络存在的漏洞，但不能对系统进行实时的扫描。 大连理工大学硕士学位论文 2 2 入侵检测的原理 为了实现对计算机系统的实时保护，入侵检测系统的主要工作过程包括监视、分析 用户及系统活动，对系统构造和弱点进行审计，识别反映已知进攻的活动模式并进行报 警，对异常行为模式进行统计分析，评估重要系统和数据文件的完整性，以及审计跟踪 管理操作系统并识别违反安全策略的用户行为。入侵检测的模式匹配算法将当前检测的 数据包与系统中的知识库进行比较，从而判断当前的数据包是否为入侵行为，然后根据 检测结果做出响应，其原理图如图2 2 所示。 图2 2 入侵检测系统过程原理图 f i g 2 2 t h ep r o c e s ss c h e m a t i co ft h ei n t r u s i o nd e t e c t i o ns y s t e m 入侵检测系统所使用的知识库来源主要是通过信息收集得到的数据，其内容包括系 统、网络、数据及用户活动的状态和行为，有四个重要的方面。 ( 1 ) 系统和网络日志文件 黑客经常会在系统日志文件中留下他们的踪迹，因此，充分利用系统和网络同志文 件信息是检测入侵的必要条件。日志文件中记录了各种行为类型，每种类型又包含不同 的信息。通过查看日志文件，能够发现成功的入侵或入侵企图，并很快地启动相应的应 急响应程序。 ( 2 ) 目录和文件中的不期望改变 网络环境中包含重要信息的文件和私有数据文件经常是黑客修改或破坏的目标。目 录和文件中的不期望改变( 包括修改、创建和删除等) ，特别是那些在正常情况下限制访 入侵检测系统中的聚类算法研究 问的，很可能就是一种入侵产生的指示和信号。 ( 3 ) 程序执行中的不期望行为 网络系统上的程序执行一般包括操作系统、网络服务、用户启动程序和特定目的应 用，每个在系统上执行的程序一般由一个到多个进程来实现，一个进程出现了不期望的 行为可能表明黑客正在入侵系统。 ( 4 ) 物理形式的入侵信息 这包括两个方面的内容： 未授权的对网络硬件的连接； 对物理资源的未授权访问。 黑客通常会想方设法地突破网络的周边防卫，因为如果他们能够在物理上访问内部 网，他们就能安装自己的设备和软件。 2 3 通用入侵检测系统模型 d e n n i n g 于1 9 8 7 年最早提出一个通用的入侵检测系统模型，如图2 3 所示。 规则设计与更新 图2 3 通用入侵检测系统模型 f i g 2 3 c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k 该模型由以下6 个部分构成： ( 1 ) 主体( s u b j e c t s ) 主体是指系统操作中的主动发起者，是在目标系统上活动的实体，例如计算机操作 系统的进程、网络的服务连接等。 大连理r 大学硕十学位论文 ( 2 ) 对象( o b j e c t s ) 对象指系统所管理的资源，如文件、设备、命令等。 ( 3 ) 审计记录( a u d i tr e c o r d s ) 审计记录是指主体对对象实施操作时，系统产生的数据，如用户注册、命令执行和 文件访问等。审计记录是格式为 的六元组。其中： s u b j e c t ( 主体) ，是活动( a c t i o n ) 的发起者。 a c t i o n ( 活动) ，是主体对目标实施的操作，对操作系统而言，这些操作包括读、 写、登录、退出等。 o b j e c t ( 对象) ，是活动的承受者。 e x c e p t i o n c o n d i t i o n ( 异常条件) ，是指系统对主体的该活动的异常报告，如违反 系统读写权限。 r e s o u r c e u s a g e ( 资源使用状况) ，是系统的资源消耗情况，如c p u 、内存使用率 盘莹 寸0 t i m e s t a m p ( 时标) ，是活动发生的时间。 ( 4 ) 活动简档( a c t i v i t yp r o f i l e ) 活动简档用以保存主体正常活动的有关信息，具体实现依赖于检测方法，在统计方 法中从事件数量、频度、资源消耗等方面度量，可以使用方差、马尔可夫模型等方法实 现。活动简档定义了以下三种类型的随机变量： 事件计数器( e v e n tc o u n t e r ) ，简单地记录特定事件的发生次数。 间隔计数器( i n t e r v a lt i m e r ) ，记录特定事件此次发生和上次发生之间时间间隔。 资源计量器( r e s o u r c em e a s u r e ) ，记录某个时间内特定动作所消耗的资源量。 活动简档的格式为： 。其中： v a r i a b l e n a m e ( 变量名) ，用来识别活动简档的标志。 a c t i o n p a t t e r n ( 活动模式) ，用来匹配审计记录中的零个或多个活动的模式。 e x c e p t i o n p a t t e r n ( 异常模式) ，用来匹配审计记录中的异常情况的模式。 r e s o u r c e - u s a g e p a t t e r n ( 资源使用模式) ，用来匹配审计记录中资源使用的模式。 p e r i o d ，测量的间隔时间或者取样时间。 v a r i a b l e t y p e ，一种抽象的数据类型，用来定义一种特定的变量和统计模式。 t h r e s h o l d ( 阈值) ，统计测试中一种表示异常的参数值。 入侵检测系统中的聚类算法研究 s u b j e c t p a t t e r n ( ：# _ 体模式) ，用来匹配审计记录中主体的模式，识别活动简档的 标志。 o b j e c t p a r e m ( 对象模式) ，用来匹配审计记录中的对象的模式，识别活动简档的 标志。 v a l u e ，当前观测值和统计模型所用的参数值，例如平均值和标准差模型中这些 参数可能是变量或者是变量的平方和。 ( 5 ) 异常记录( a n o m a l yr e c o r d ) 异常记录用以表示异常事件的发生情况，格式为 ，其 中： e v e n t ，指明导致异常的事件，例如审计数据。 t i m e s t a m p ，产生异常事件的时间戳。 p r o f i l e ，检测到异常事件的活动简档。 ( 6 ) 活动规则 活动规则指明当一个审计记录或异常记录产生时应采取的动作。规则集是检查入侵 是否发生的处理引擎，结合活动简档用专家系统或统计方法等分析接收到的审计记录， 调整内部规则或统计信息，在判断有入侵发生时采取相应的措施。规则由条件和动作两 部分组成，共有四种类型的规则，分别为： 审计记录规贝j j ( a u d i t r e c o r dr u l e s ) ：触发新生成审计记录和动态的活动简档之间 的匹配以及更新活动简档和检测异常行为。 定期活动更新规贝, l j ( p e r i o d i c a c t i v i t y - u p d a t er u l e s ) ：定期触发动态活动简档中的匹 配以及更新活动简档和检测异常行为。 异常记录规l j j ( a n o m a l y - r e c o r dr u l e s ) ：触发异常事件的产生，并将异常情况报告 给安全管理员。 定期异常分析规贝j j ( p e r i o d i c a n o m a l y - a n a l y s i sr u l e s ) ：定期触发产生当前的安全状 态报告。 2 4 入侵检测系统分类 现有的对入侵检测系统的分类，大都是基于数据源和检测方法的。本节阐述了入侵 检测系统的分类，并分析了各种类型系统的优缺点。 2 4 1 按数据源分类 按照输入数据的来源来看，入侵检测可以分为基于主机的入侵检测和基于网络的入 侵检测。 大连理丁大学硕十学位论文 ( 1 ) 基于主机的入侵检测 主要对主机的系统审计日志以及网络实时连接进行智能分析和判断，在宿主系统审 计日志文件中寻找攻击特征，然后给出统计分析报告，一般只能检测该主机上发生的入 侵 2 3 , 2 4 】。通常采用查看针对可疑行为的审计记录来执行。 基于主机的入侵检测的主要优点： 确定攻击是否成功：由于基于主机的i d s 使用含有己发生事件信息，它们可以 比基于网络的i d s 更加准确的判断攻击是否成功。 监视特定的系统活动：基于主机的i d s 可监视用户和访问文件的活动，包括文 件访问、改变文件权限，试图建立新的可执行文件或者试图访问特殊的设备。 能够检查到基于网络的系统检查不出的攻击。 适用被加密的和交换的环境。 基于主机的入侵检测的主要缺点： 影响所在主机的正常应用。主机入侵检测系统安装在需要保护的设备上，这会 降低应用系统的效率。 依赖于服务器固有的日志与监视能力。如果服务器没有配置日志功能，则必需 重新配置，这将会给运行中的业务系统带来不可预见的性能影响。 当要保护的主机数目较大时，成本会很高。 只能监测自身的主机情况，不监测网络上的情况。对入侵行为的分析的工作量 将随着主机数目增加而增加。 1 9 8 8 年，s r i 开始开发i d e s ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ) 原型系统，它是一 个实时入侵检测系统。它采用了统计技术来进行异常检测，用专家系统的规则进行误用 检测。i d e s 在实现双重分析( 分析和异常检测) 和实时分析两个方面迈出了关键的一步。 该系统被认为是入侵检测研究中最有影响的一个系统，也是第一个在一个应用中运用了 统计和基于规则两种技术的系统。 从1 9 9 2 年到1 9 9 5 年，s r i 对i d e s 在原有基础上加强了优化，在以太网的环境下 实现了产品化的n i d e s ( n e x t g e n e r a t i o ni n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ) ，它具有i d e s 的双重分析特性，采用更为通用、灵活的方法，对于目标系统和审计数据的类型没有限 制，采用c s 模式。但是在规模化和针对网络环境使用方面还有所欠缺，而且缺少协同 工作的能力。由于把用户作为分析的目标( 或者说单元) ，因此对于多域联合攻击无能为 力。 1 9 8 8 年，针对美国空军计算机系统的多用户环境，l o sa l a m o s 国家实验室的t r a c o r a p p l i e ds c i e n c e 和h a y s t a c kl a b o r a t o r i e s 采用异常检测和基于s i g n a t u r e 的检测，开发了 入侵检测系统中的聚类算法研究 h a y s t a c k 系统，该系统主要用于检测u n i s y s 大型主机。与以往的系统不同，该系统建立 了两个模型：为每个用户建立的用户模型和通用用户模型。 同时，出现了为美国国家计算机安全中心m u l t i c s 主机开发的多入侵检测及告警系 统( m u l t i c si n t r u s i o nd e t e c t i o na n da l e r t i n gs y s t e m ，m i d a s ) ，该系统是在国家计算机安 全中心的公共信息系统d o c k m a s t e r 上应用的第一个入侵检测系统。 1 9 8 9 年，l o sa l a m o s 国家实验室的h a n kv a c c a r o 为国家计算机安全中心( n a t i o n a l c o m p u t e rs e c u r i t yc e n t e r ，n c s c ) 和能源部( d e p a r t m e n to fe n e r g y ，d o e ) 开发了 w & s ( w i s d o ma n ds e n s e ) 系统，这是一个基于主机的异常检测系统。w & s 处理一个训 练用的数据集，并产生用于描述数据特征的元规则( m e t a r u l e ) ，随后当系统应用于新的 数据集时，该系统就用这些规则检测异常。w & s 最初被设计用于检测存储材料的数据 记录中的异常，后来被修改为检测v m s 操作系统的审计记录，以及检测人为的误操作。 由于检测到的异常和人为的误操作混合在一起，所以w & s 永远都不能应用于生产环境 中，因为构造、修剪元规则树的方式使得很难解释得到的结果。 同年，p r c ( p l a n n i n gr e s e a r c hc o r p o r a t i o n ) 公司开发了i s o a ( i n f o r m a t i o ns e c u r i t y o f f i c e r sa s s i s t a n t ) ，它由一套统计工具、一个专家系统和一套分级的“厉害关系级别 ( c o n c e r nl e v e l s ) 组成。其技术基于一种称为迹象与警告( i n d i c a t i o na n dw a r n i n g s ，i & w ) 的模型，应用该模型可以对即将发生的攻击预先告警。引入的审计数据与一组期望的迹 象相比较，并按层次排列以反映利害关系级别。异常是用三类参数来检测的：用户、节 点及整个系统。i s o a 后来用在了p r c 入侵检测系统p r e c i s 中。 以上研究虽然有的是在局域网环境下展开的，但是仍然是检测对主机的攻击，对于 协同攻击和多域联合攻击没有检测的能力。另外，这方面的研究仍未停止，2 0 0 1 年1 0 月2 3 日，s r i 发布了e x p e r t b s m t mf o rs o l a r i sv e r s i o n1 4 ，据称是当时最先进的基于 主机的i d s 。具有可升级、强大的事件分析能力、通用性能好以及可插的组件等特性。 ( 2 ) 基于网络的入侵检测 基于网络的i d s 系统使用原始的网络数据包作为信息源。它可利用工作在混合模式 下的网卡实时监视和分析所有的通过共享式网络的传输。一旦检测到攻击，响应模块按 照配置对攻击做出反应。通常这些反应包括发送电子邮件、寻呼、记录日志、切断网络 连接等。 基于网络的入侵检测的主要优点： 拥有成本较低：基于网络的i d s 可在几个关键访问点上进行策略配置，以观察 发往多个系统的网络通信。 检测基于主机的系统漏掉的攻击：基于网络的i d s 检查所有包的头部从而发现 大连理，l 火学硕十学位论文 恶意的和可疑的行动迹象。基于网络的i d s 可以检查有效负载的内容，查找用于特定攻 击的指令或语法。 攻击者不易转移证据：基于网络的i d s 使用正在发生的网络通讯进行实时攻击 的检测，所以攻击者无法转移证据。 实时监测和响应：基于网络的i d s 可以在恶意及可疑的攻击发生的同时将其检 测出来，并做出更快的通知和响应。 基于网络的入侵检测的主要缺点： 需要使用额外的硬件设备。由于网络入侵检测系统是独立运行的，这就需要有 独立的运行系统。 系统负载很重。由于要保护的网络主机数目很多，系统负载可能会很重。 不能处理加密协议。由于加密协议执行的往往是端对端加密，监测系统即使获 取了通信数据，也还是不能知道所要检测的数据的实际内容，因此在加密环境下，网络 入侵检测失效。 1 9 9 0