（计算机应用技术专业论文）聚类分析在入侵检测中的应用研究.pdf

，、 c l a s s i f i e x ii n d e x ：t p 3 9 3 0 8 u d c ：6 2 0 3 d i s s e r t a t i o nf o rt h em a s t e rd e g r e ei ne n g i n e e r i n g r es e a r c ha n da p p l i c a t i o no f c l u s t e i u n ga n a l y s i si ni n t r u s i o n d e t ec t i o n c a n d i d a t e ： s u p e r v i s o r ： a c a d e m i cd e g r e ea p p l i e df o r ： s p e c i a l i t y ： d a t eo fs u b m i s s i o n ： d a t eo fo r a le x a m i n a t i o n ： u n i v e r s i t y ： z h a n gx u e j i e p r o f z h a n gd o n g w e n m a s t e ro f e n g i n e e r i n g c o m p u t e ra p p l i c a t i o nt e c h n o l o g y s e p t ，2 0 0 9 d e c ，2 0 0 9 h e b e iu n i v e r s i t yo fs c i e n c ea n d t e c h n o l o g y iui8 54幔jj7iiiii洲y 一 。 河北科技大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工 作所取得的成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方 式标明。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体己经发 表或撰写过的作品或成果。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：敞誓刍 研年堋伽 指导教师签名： ，榜蚕 沙弋年f 2 r r 知 ；- - - i ：i l 科技大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权河北科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 口保密，在一年解密后适用本授权书。 本学位论文属于 翻不保密。 ( 请在以上方框内打“ ) 指导教师签名：l 2 q 晕l af 4 韩赏 一 摘要 摘要 随着网络安全问题日益突出，传统的安全防护措施( 如防火墙等) 已经无法保 护系统的安全。入侵检测技术作为一种新的安全保障技术，相对于传统的安全保护 措施，它不是处于被动激发，而是主动的检测，在网络系统受到危害之前拦截入侵， 有效的弥补了传统网络安全防护技术的缺陷，己经成为网络信息安全的一个重要研 究领域。但是，海量的计算机系统和网络数据给入侵检测带来了极大的困难。数据 挖掘技术的出现提供了解决这一问题的有效手段。数据挖掘可以从海量的数据中提 取出有用的信息，将数据挖掘技术与入侵检测技术相结合，增加了入侵检测系统对 海量数据的处理能力。数据挖掘中的聚类分析方法是一种典型的无监督学习技术， 可以在未标记数据集上直接建立入侵检测模型或者发现异常数据，对于提高入侵检 测系统的效率有着重大的研究价值。 本文以聚类分析技术为基础，以对聚类分析在入侵检测技术中应用的研究为核 心。首先，对入侵检测技术和聚类分析技术进行了研究和分析，探讨了目前聚类算 法在入侵检测中的应用情况。其次，对经典的聚类算法k m e a n s 进行了深入分析， 指出了传统k m e a n s 算法的不足( 需要事先输入最终的聚类个数k ) ，给出了针对这 个不足之处的改进方法，目的是在输入条件只有初始数据集的基础上，得到较好的 聚类结果。给出了一种新的集群评估指标d i s p e r s i o nm e a s u r ef o rc l u s t e r si n d e x ( d m c ) 指标。利用集群评估指标d a v i e s b o u l d i ni n d e x ( d b i ) 指标和本文给出的d m c 指标， 对k - m e a n s 进行改进，得到了两个k m e a n s 改进算法：d b i k m e a l l s 和d m c k - m e a n s 算法。详细分析了入侵检测的模型结构，针对入侵检测系统的高误报率的不足，给 出了一种入侵检测改进模型，在检测模块和报警模块之间加入了一个聚类检测模块， 将改进的算法加入到该模块中，以降低入侵检测系统的误报率。最后，采用k d d c u p 9 9 数据集作为源数据集，对k 。m e a n s 以及改进后的算法进行了检测实验，实验 结果证明对k m e a n s 算法的改进是有效的，将其应用到改进的入侵检测模型中，可 以降低系统的误报率，符合改进的目的。 关键词入侵检测；数据挖掘；聚类；集群评估指标；k 均值一一 河北科技大学硕士学位论文 a b s t a r c t w i t hn e t w o r ks e c u r i t yi s s u e sb e c o m i n gi n c r e a s i n g l yp r o m i n e n t ，t h et r a d i t i o n a l s e c u r i t ym e a s u r e s ( s u c ha sf i r e w a l l s ，e t c ) h a v eb e e nt m a b l et op r o t e c ts y s t e ms e c u r i t y i n t r u s i o nd e t e c t i o nt e c h n o l o g yi san e ws e c u r i t yt e c h n o l o g y , a so p p o s e dt ot h et r a d i t i o n a l s e c u r i t ym e a s u r e s ，i ti sn o ti nap a s s i v ee x c i t a t i o n ，b u tp r o a c t i v ed e t e c t i o n - i n t e r c e p tt h e i n v a s i o nb e f o r ei tf l o w si n t ot h en e t w o r k i ti sa ne f f e c t i v e l yc o m p l e m e n t a r yt ot h e t r a d i t i o n a ls e c u r i t ym e a s u r e s ，a n dh a sb e c o m ea ni m p o r t a n ta r e ai nt h er e s e a r c ho fn e t w o r k i n f o r m a t i o ns e c u r i t y h o w e v e r , t h em a s s i v ec o m p u t e rs y s t e m sa n dn e t w o r kd a t a ，b r o u g h t g r e a td i f f i c u l t i e st ot h ei n t r u s i o nd e t e c t i o n t h ee m e r g e n c eo fd a t am i n i n gt e c h n o l o g y p r o v i d e sa ne f f e c t i v e m e a n st os o l v et h i sp r o b l e m d a t am i n i n gc a l le x t r a c tu s e f u l i n f o r m a t i o nf r o mv a s ta m o u n t so fd a t a u s i n gt h ed a t am i n i n gt e c h n i q u e sc o m b i n e d 诵t h i n t r u s i o nd e t e c t i o nt e c h n o l o g y , c a ne n h a n c et h ei n t r u s i o nd e t e c t i o ns y s t e m sp r o c e s s i n g c a p a b i l i t i e sf o rm a s sd a t a c l u s t e ra n a l y s i sm e t h o di s at y p i c a lu n s u p e r v i s e dl e a r n i n g t e c h n i q u e ，a n dy o uc a nd i r e c t l ye s t a b l i s hi n t r u s i o nd e t e c t i o nm o d e lo rd e t e c ta n o m a l yd a t a o nt h en o m a r k e dd a t as e t s i th a sg r e a tr e s e a r c hv a l u ef o ri m p r o v i n gt h ee f f i c i e n c yo f i n t r u s i o nd e t e c t i o ns y s t e m t h ep a p e ri sb a s e do nt h ec l u s t e ra n a l y s i st e c h n i q u e sa n dt h ea p p l i c a t i o no fc l u s t e r a n a l y s i si ni n t r u s i o nd e t e c t i o na st h ec o r e f i r s t t h ec l u s t e ra n a l y s i sa n di n t r u s i o nd e t e c t i o n t e c h n o l o g yi s i n t r o d u c e da n dt o d a y sa p p l i c a t i o no fc l u s t e r i n ga l g o r i t h mi ni n t r u s i o n d e t e c t i o ni sd i s c u s s e d s e c o n d l y , t h ec l a s s i c a lk - m e a n sc l u s t e r i n ga l g o r i t h mi sa n a l y z e d d e e p l ya n dt h el a c ko fk - m e a n sa l g o r i t h mi sp o i n t e do u t ( n e e dt op r e e n t e rt h e f i n a l n u m b e ro fc l u s t e r sk ) f o rg e t t i n gt h eb e t t e rr e s u l tw h e nt h e r ei so n l yt h ed a t a s e ta st h e e n t r y , t h i sp a p e rh a sg i v e nai m p r o v et h i n k i n go fk - m e a n sa l g o r i t h m an e wc l u s t e r i n g v a l i d i t yi n d i c e s d i s p e r s i o nm e a s u r ef o rc l u s t e r si n d e x ( d m c ) i sg i v e na n dt w oi m p r o v e d a l g o r i t h m sf o rk - m e a n sa l g o r i t h mh a sb e e ng i v e nb yu s i n gt h ed a v i d e - b o u l d i ni n d e x ( d b i ) a n dd m ci n d e x c a l l e dd b i k m e a n sa n dd m c k m e a n s t h ei n t r u s i o nd e t e c t i o nm o d e l i s d e e p l ya n a l y z e d ，a n dh a sd e s i g n e dac l u s t e ra n a l y s i s - b a s e di n t r u s i o nd e t e c t i o nm o d e l i nt h i s m o d e lb e t w e e nt h ed e t e c t i o nm o d u l ea n dt h ea l e r rm o d u l et h e r ei sac l u s t e r i n gd e t e c t i o n m o d u l ew h i c hc a ne f f e c t i v e l yr e d u c et h es y s t e mf a l s ea l a r mr a t eb yu s i n gt h et w oi m p r o v e d k - m e a n sa l g o r i t h m s f i n a l l y , ae x p e r i m e n tu s i n gt h ek d dc u p 9 9d a t a s e ta st h es o u r c e d a t a s e th a sb e e nd o n e t h ee x p e r i m e n t a lr e s u l t sp r o v et h a tt h ei m p r o v e m e n t so fk m e a n s a l g o r i t h ma r em o r ee f f e c t i v e t h ea p p l i c a t i o no ft h ea l g o r i t h m st ot h ei m p r o v e dm o d e lo f l l i n t r u s i o nd e t e c t i o nc a nr e d u c et h es y s t e mf a l s ea l a r mr a t e t h i si sc o n s i s t e n tw i 也t h e p u r p o s eo fi m p r o v e m e n t 之 k e yw o r d s i n t r u s i o nd e t e c t i o n ；d a t ai t l i i l i l l g ；c l 呶甜n g ；c l 戚舐n gv a l i d i 哆i 砌c e s ；k m e a l l s ， ， ， 河北科技大学硕士学位论文 目录 摘要i a b s t a r c t ”i i 第1 章绪论1 1 1 研究的背景及意义1 1 2国内外研究现状”2 1 2 1 入侵检测国内外研究现状2 1 2 2 聚类的研究进展4 1 2 3 基于聚类的入侵检测的研究进展4 1 3 本论文研究的主要内容”5 1 3 1 研究内容5 1 3 2 文章结构5 第2 章相关的技术简介7 2 1入侵检测7 2 1 1 入侵检测的基本概念”7 2 1 2 入侵检测通用系统框架8 2 1 3 入侵检测的分类9 2 1 4目前入侵检测中存在的问题1 4 2 1 5 入侵检测未来的发展方向”1 5 2 2 聚类分析l6 2 2 1 聚类分析的定义1 6 2 2 2 聚类算法的要求“1 6 2 2 3 聚类分析中的数据类型”1 7 2 2 4 聚类的分类2 0 2 3 集群评估指标”2 2 2 4 本章小结2 4 第3 章改进的k - m e a n s 算法2 5 3 1 k m e a n s 算法2 5 3 2 k m e a n s 算法的改进思想2 6 3 3 基于d b i 改进的k m e a n s 算法2 8 3 3 1 改进的d b i k m e a n s 算法2 8 3 3 2d b i k m e a n s 的执行步骤和算法描述3 0 i v 目录 3 4 基于集群指标d m c 改进的k m e a n s 算法”3 1 3 4 1 d m c 指标31 3 4 2 改进的d m ck m e a n s 算法31 3 4 3d m c k m e a n s 算法的执行步骤及过程描述”3 2 3 5 本章小结3 3 第4 章基于聚类分析的入侵检测系统模型”3 4 4 1 入侵检测的系统模型3 4 4 1 1 数据采集3 4 4 1 2 数据预处理3 4 4 1 3 检测引擎3 5 4 1 4 报警模块”3 6 4 2 基于聚类分析的入侵检测改进模型3 6 4 3 聚类检测模块3 6 4 3 1 训练数据模块“3 7 4 3 2 检测模块3 8 4 4 本章小结3 9 第5 章实验及结果分析- 4 0 5 1实验数据集描述4 0 5 2 实验数据的选取4 1 5 3 实验结果分析：”4 3 5 3 1 对比k m e a n s 算法和d b i k m e a n s 算法4 3 5 3 2 对比d m c k m e a n s 算法和d b i k m e a n s 算法4 6 5 4 结果分析4 7 5 5 本章小结4 7 结论4 8 参考文献5 0 攻读硕士学位期间所发表的论文5 3 致 射5 4 v 卅 第1 章绪论 第1 章绪论 1 1 研究的背景及意义 由于互联网络的发展，整个世界经济正在迅速地融为一体，而整个国家犹如一 部巨大的网络机器，计算机网络已经成为国家的经济基础和命脉。计算机网络在经 济和生活的各个领域正在迅速普及，整个社会对网络的依赖程度越来越大。众多的 企业、组织、政府部门与机构都在组建和发展自己的网络，并连接到i n t e r n e t 上，以 充分共享、利用网络的信息和资源。网络已经成为社会和经济发展强大动力，其地位 越来越重要。伴随着网络的发展，也产生了各种各样的问题，其中安全问题尤为突出。 随着网络犯罪的递增，大量黑客网站的诞生，促使人们关注网络的安全性问题。 人们在享受信息化带来的众多好处的同时，面临着日益突出的信息安全与保密的问 题。比如在网络环境中，国家秘密和商业秘密的保护，特别是对涉密信息和敏感信 息的保护，网上各种行为者的身份确认与权责利的确认，高度网络化的各种业务( 商 务，政务等) 信息系统运行的正常和不被破坏，网络银行、电子商务中的支付与结 算的准确真实和金融机构数据保护与管理系统的不被欺诈，都将成为国家主权、政 治、经济、安全和社会稳定的焦点。在我国也不断发生黑客入侵网络和系统的事件。 对我国信息国防领域来说，还多一层更严重的问题：信息武器威慑方面的主权问题。 计算机不安全的最大的问题是美国垄断网络协议和操作系统等核心技术造成的。信 息系统对美国来说是没有国界的，但对其它国家来说，其信息系统日日刻刻都在遭 受着威胁。 了解网络面临的各种威胁，防范和消除这些威胁，实现真f 的网络安全已经成 了网络发展中最重要的事情。网络安全是网络应用最重要的基础，网络安全已经引 起了全世界人们的高度重视，每个国家都为了商业或者军事的目的，不惜重金来研 究网络安全，网络安全方面的研究是目前网络技术研究的重要课题之一。 网络安全技术也在与网络攻击的对抗中不断发展。从总体上看，经历了从静态 到动态、从被动防范到主动防范的发展过程。目前，网络安全防范技术主要从信息 安全、网络访问和网络协议入手，有下面一些具体的技术：密码学技术；身份验证 技术信息完整性技术；访问控制技术；漏洞扫描技术；安全监控技术；网络反病毒 技术等等。传统的保护网络安全的方法就是进行病毒防治和使用防火墙。这种被动 地对系统自身进行加固和防护的方法已经不能满足当今网络安全的需求，因此入侵 检测这种主动型的安全防御系统就出现了，并成为传统安全防御系统的有效补充。 入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ：i d s ) 是一种重要的安全防范技术，是能 够检测到网络上不正常、不合法活动的网络技术，是一个动态的主动的网络安全防 1 河北科技大学硕士学位论文 御系统。它通过从系统内部和网络中收集信息，分析计算机系统是否有安全问题并 采取相应的措施，能及时地发现恶意行为，并在这种行为对系统或数据造成破坏之 前采取一定的措施，如发出报警，切断连接等手段来制止入侵活动的发生，弥补了 防火墙的不足，实时地保护计算机和网络的安全。如何建立入侵检测模型，快速检 测入侵行为，从大量的审计数据中有效区分正常行为和异常行为是当前入侵检测领 域的研究重点。 1 9 9 9 年w e n k el e e 等首次将数据挖掘技术应用于入侵检测研究领域【l 】，开发出一 套可以从审计数据中自动生成攻击检测模型的入侵检测系统，较以往的系统有了很 高的智能性，之后数据挖掘技术成为入侵检测领域的研究热点，许多数据挖掘算法 比如说，聚类算法、分类和预测算法、序列分析算法等等都在入侵检测中得到应用。 数据挖掘( d m a m i n i n g ，d m ) 是一种新的信息处理技术，它融合了数据库技术、 数据仓库技术、高性能计算、机器学习、统计学、信息检索、模式识别等最新技术 的研究成果，是从大量的数据中，抽取出潜在的、有价值的知识的过程。利用数据 挖掘方法作为入侵检测的数据分析技术，从海量的信息中提取出尽可能多的隐藏安 全信息，抽象出有利于进行判断和比较的安全事件的普遍特征，从而发现未知的入 侵行为。通过研究数据挖掘的相关理论并将其运用到入侵检测系统的设计中，选择 合理的数据挖掘算法，设计相关的系统原型，将数据挖掘技术与入侵检测技术相结 合，增强了入侵检测系统对海量数据的处理能力和检测功能，减轻管理人员的负担， 具有较高的实用意义。 聚类是数据挖掘技术研究中的重要技术，能有效的通过分析数据并从中发现有 用的信息。聚类将数据对象分组成为若干个类或簇，使得在同一个簇中的对象之间 具有较高的相似度，而不同簇中的对象差别很大，通过聚类，人们能够识别密集和 稀疏的区域，发现全局的分布模式以及数据属性之间有趣的相互关系。聚类分析在 客户分类基因识别、文本分类、空间数据处理、卫星照片分析、医疗图像自动检测 等领域有着广泛的应用，而其本身的研究也是一个蓬勃发展的领域。数据挖掘、统 计学、机器学习、空间数据库技术、生物学和市场学的发展推动着聚类分析研究的 进展，使它已成为数据挖掘研究中的一个热点。 1 2 国内外研究现状 1 2 1 入侵检测国内外研究现状 入侵检测是在1 9 8 0 年由a n d e r s o n 首先提出的【2 】，他对不同类型的计算机系统安 全威胁划分为外部渗透、内部渗透和不法行为三种，并提出用审计追踪监视入侵威 胁。1 9 8 7 年d e n n i n g 提出了一个经典的异常检测抽象模型【3 】，为构造通用的入侵检 测系统提供了一个完整、可用的结构框架。1 9 9 4 年，m a r kc r o s b i e 和g e n es p a f f o r d 2 第1 章绪论 提出基于自治代理的入侵检测系统【4 】。1 9 9 6 年提出的致力于解决当代入侵检测系统 伸缩性不足问题的基于图的入侵检测系统g r i d s ( g r a p h b a s e di n t r u s i o nd e t e c t i o n s y s t e m ) ，使得对大规模自动或协同攻击的检测更为有利【5 l 。c r o s b i e 提出运用着色p e t r i 网的方法来检测入侵【6 】。1 9 9 7 年出现了基于神经网络的入侵检测系统1 7 j 。1 9 9 8 年， u n i v e r s i t yo f n e wm e x i c o 的s t e p h a n i ef o r r e s t 研究组提出将免疫原理运用到分布式入 侵检测领域【8 】。1 9 9 9 年w e n k e l e e 首次提出将数据挖掘技术应用于入侵检测【，并于 2 0 0 0 年提出了第一个基于数据挖掘的误用入侵检测系统j a m 系统。 从2 0 世纪9 0 年代到现在，入侵检测系统的研发呈现出百家争鸣的繁荣局面， 并在智能化和分布式两个方向取得了长足的进展。目前，s r i c s l 、普渡大学、加州 大学戴维斯分校、洛斯阿拉莫斯国家实验室、哥伦比亚大学、新墨西哥大学等机构 在这些方面的研究代表了当前的最高水平。 图1 1 是入侵检测系统发展过程图。 概念诞生 1 9 8 0 盔 产生模型 8 0 年代中期 基于主机 模型发展 8 0 年代后期到 9 0 年代初 网络l d s 9 0 年代今 异常检测 9 0 年代今 图1 1入侵检测系统发展过程图 f i g i l t h ec h a r to fi n t r u s i o nd e t e c t i o ns y s t e md e v e l o p i n gp r o c e s s 智能i d s 目 前 国内也产生了一股入侵检测技术研究的热潮，许多大学院校和科研单位成立专 门的研究小组从事入侵检测的研究，并提出了许多入侵检测技术的新的方法，但主 要是对国际上的一些入侵检测方法的改进和扩展。中科院高能物理研究所计算中心 许榕生研究员领导的课题组对这方面的课题进行过研究，提出了基于数据挖掘的入 侵检测系统原型，对其进行了分析和论证【9 】。同时，市场上也出现了一些国内开发的 入侵检测产品，主要有北京中科网威公司的“天眼入侵检测系统、启明星辰公司 的“天阗”入侵检测系统、绿盟科技的“冰之眼”和安氏互联网安全系统( 中国) 有限公司的l i n k t r u s t t m 入侵检测系统等。与国外相比，国内产品的差距还很大，总 体发展比较慢，目前的问题是检测技术单一，大多以仿国外产品为主。因此，非常 有必要系统地研究入侵检测技术和方法。此外，中国科学院软件所在入侵检测关键 技术研究上，提出了一种基于a g e n t 的分布式异常检测系统。远东安全产品系列中 的安全审计数据挖掘分析系统使用数据挖掘算法对安全审计数据进行处理，提出数 3 河北科技大学硕士学位论文 据中隐藏的知识，所涉及的算法包括数据分类、关联分析、序列挖掘等。 当前国内外都己有研究机构及大学在从事数据挖掘在入侵检测方面的研究工 作，而且国外的实验研究证明，该方法能够有效地提高入侵检测的自适应性、有效 性和可扩展性。但是还没有达到理想的效果，整个应用还在进一步的研究和完善中， 因此本课题对数据挖掘中聚类分析应用于入侵检测的研究，具有一定的基础理论价 值。 1 2 2 聚类的研究进展 聚类是把一组个体按照其相似性归成若干类别，即“物以类聚”。它的目的是 使得属于同一类别的个体之间的距离尽可能的小，而不同类别上的个体间的距离尽 可能的大。人们对于聚类算法在统计、机器学习和数据库等领域的应用都进行了广 泛而深入的研列1 0 】。聚类算法包括c l a r a n s ，b i r c h ，基于密度的方法如d b s c a n 等， 以及人工智能方法如自组织图、增长网络等l2 1 。聚类分析可以用于不同的应用， l a n k e w i c z 和b e n a r d 采用的方法是对审计日志进行聚类，这些典型的审计记录构成 了将来需要进行比较的审计记录模型【1 3 1 。l a n e 和b r o d l e y 则是对完全正常的s h e l l 命 令序列进行聚类，并定义每个聚类的中心代表一种正常行为，异常命令序列可以通 过它们与聚类中心的距离来发现【1 4 】。 聚类方法主要分为层次型聚类和非层次型聚类，其中，k 均值聚类是广为采用 的聚类方法，它是一种典型的迭代爬山算法，此算法在一定条件下收敛于局部最优 点1 1 5 。为获得全局最优聚类方案，t s e n g 等【16 】通过对不同聚类算法进行分析比较后， 提出种自动遗传聚类算法，其计算时间复杂度为o ( n 2 + g n m 2 ) ，其中n 为记录数， g 为进化代数，n 为种群规模，m 为染色体长度。文献 1 7 2 0 提出了利用进化策略 进行聚类分析，这些算法均要求用户提供聚类数目，如果聚类数目未知，则聚类结 果稳定性和可靠性较差。 1 2 3 基于聚类的入侵检测的研究进展 基于聚类的入侵检测方法己经成为现阶段入侵检测主要的研究方法之一。2 0 0 1 年，p o r t n o y 2 h 提出了一种基于距离度量的无监督聚类算法来解决无监督条件下的异 常检测问题，该方法设置一个簇半径参数，通过比较样本到簇心距离和簇半径的大 小来划分样本。这一算法能够在未标记数据上检测出已知或者未知的异常，但是它 必须预先定义聚类的半径。簇半径参数直接影响到最终的聚类结果，不合适的参数 会造成高的误报率。p r e r a u t 2 2 1 把优化的k a n 聚类算法应用到网络入侵检测，但其中 的k 参数很难确定。m i n n e s o t a 大学的l a z a r e v i c 【2 3 】等人提出了使用孤立点分析来检测 入侵的方法，该方法通过检查样本点的点间距离来决定哪些点属于孤立点。文献 2 4 】 提出了一种用于入侵检测的聚类启发式y m e a n s 算法，这种启发式的算法是基于 4 第1 章绪论 k - m e a n s 算法和其他相关联的算法的，它克服了k - m e a n s 算法的两个缺点：聚类个数的 依赖性和退化。该算法可以使数据集被划分为合适的聚类个数，并且可以直接用作 训练数据而不需要手动标记。但是像其他的中心聚类算法一样，它只能处理球形聚 类，另外还要预先定义置信区域的阈值。w a n g 2 5 1 等人提出f e e 算法来解决上述问题。 f c c 算法首先将特征数据映射到高维空间，进而进行相应操作。文献 2 6 】提出了一种 应用于入侵检测的改进的有监督的聚类方法，加入了数据重新分配方法，有效增强 了算法在训练数据和去除噪音方面的鲁棒性。文献 2 7 通过规范化数据集和建立数据 的模糊相似矩阵，把数据进行聚类，提出了一种应用于入侵检测的模糊聚类方法。 文献 2 8 1 提出了一种新的距离定义和基于聚类的有监督入侵检测方法c b s i d ，该方法 在带标记的训练集上进行聚类，以聚类结果作为分类模型对未知数据进行分类，此 方法对于参数和数据输入顺序具有稳健性。 1 3 本论文研究的主要内容 1 3 1 研究内容 1 ) 由第1 2 3 节基于聚类的入侵检测的研究进展中的描述可以看出，对于聚类算 法来说，初始的输入参数会直接影响到聚类结果的好坏，因此本文给出一种聚类的改 进算法，具体是对k m e a n s 算法的改进，目的是在初始条件只有初始数据集的基础上， 即无需输入其他参数( 如聚类个数k ，聚类半径r 等) ，得到最佳的聚类结果。 2 ) 针对入侵检测系统误报率较高的情况，本文提出一种入侵检测系统的改进模 型。将本文给出的改进的k m e a n s 算法，应用到其中，目的是降低入侵检测系统的 误报率。 3 ) 最后利用k d d c u p 9 9 数据集作为原始数据集，采用j 8 v a 语言编写实验代码， 进行相关的实验，给出实验结果分析。目的是比较本文改进的k - m e a n s 算法和k - m e a n s 算法对于入侵检测数据的检测效果，得出结论。 1 3 2 文章结构 全文共分六大部分，内容安排如下： 第1 章为绪论。主要介绍了本论文研究的背景和意义、入侵检测及基于聚类的 入侵检测研究的发展现状以及论文所研究的主要内容。 第2 章为相关的技术简介。主要介绍了入侵检测和聚类分析的相关技术，包括 入侵检测的基本概念、入侵检测系统的分类、入侵检测的基本方法以及常用的入侵 检测技术；聚类算法的基本要素、常用的聚类算法以及用于评价聚类结果的若干集 群评估指标。 第3 章为k m e a n s 及其改进算法。详细给出了k - m e a n s 算法的定义和执行过程， 指出了k - m e a n s 算法的不足之处。给出了k m e a n s 算法的改进思想，利用集群评估指 5 河北科技大学硕士学位论文 标对其进行改进，给出了改进算法的定义和执行过程。提出了一种新的评估指标， 并利用此指标，对k m e a n s 算法进行改进，给出了该算法的定义和相关描述。 第4 章为基于聚类分析的入侵检测系统模型。本章中首先介绍了入侵检测的系 统模型，各个模型的功能，之后给出了基于聚类分析的改进模型，详细介绍了改进 模型中涉及聚类分析的模块，给出了各个部分的过程描述。 第5 章为实验及结果分析。分别利用k m e a n s 算法和两个改进的k m e a n s 算法 对入侵检测数据集k d d c u p 9 9 进行聚类分析，并利用第五章中提到的检查模块，进 行检测分析，得到实验结果，对结果进行分析，得出结论。 最后为总结和展望，在总结本文的基础上指出了课题以后研究的方向及工作展 望。 6 第2 章相关的技术简介 第2 章相关的技术简介 2 1 入侵检测 2 1 1 入侵检测的基本概念 对于“入侵检测的概念定义存在很多提法，其中包括【2 9 ，3 0 】： 1 ) 检测对计算机系统的非授权访问。 2 ) 对系统的运行状态进行监视，发现各种攻击企图、攻击行为或者攻击结果， 以保证系统资源的机密性、完整性和可用性。 3 ) 识别针对计算机系统和网络系统，或者更广泛意义上信息系统的非法攻击， 包括检测外部非法入侵者的恶意攻击或试探，以及内部合法用户的超越使用权限的 非法行为。 美国国家安全通信委员会( n s t a c ) 下属的入侵检测小组( i d s g ) 在1 9 9 7 年给出的 关于“入侵检测”的定义为：入侵检钡t ( i n t r u s i o nd e t e e t i o n ) 是对企图入侵、正在进行 的入侵或者已经发生的入侵进行识别的过程。所有能够执行入侵检测任务和功能的 系统，都可称为入侵检测系统，其中包括软件系统以及软硬件结合的系统。 入侵检测通过收集和分析网络行为、安全同志、审计数据、其它网络上可以获 得的信息以及计算机系统中若干关键点的信息，检查网络或系统中是否存在违反安 全策略的行为和被攻击的迹象。入侵检测作为一种积极主动地安全防护技术，提供 了对内部攻击、外部攻击和误操作的实时保护，在网络系统受到危害之前拦截和响 应入侵。因此被认为是防火墙之后的第二道安全闸门，在不影响网络性能的情况下 能对网络进行监测。它以探测与控制为技术本质，起着主动防御的作用，是网络安 全不可缺少的组成部分。下面是入侵检测的一些概念： ( 1 ) 入侵( i n t r u s i o n )任何企图威胁信息资源完整性、机密性和可用性的行为。 ( 2 ) 警报( a l e r t )当入侵正在发生或者正在尝试进行时，i d s 向系统操作员 发出的消息。 ( 3 ) 漏报( f a l s en e g a t i v e s )指入侵事件没有被i d s 系统检测到或者检测到 的入侵事件未被分析员重视。 ( 4 ) 误报( f a l s ep o s i t i v e s )i d s 将正常事件识别为入侵事件并进行报警。 漏报和误报是i d s 研究的一个重要内容，降低漏报率和误报率对提高i d s 安全 性和准确度有着重要的作用。 入侵检测基于一个重要的前提是：入侵行为和合法行为是可以区分的，也就是 说可以通过提取行为模式的特征来判断该行为的性质，为发现入侵攻击和合法用户 7 河北科技大学硕士学位论文 滥用特权提供了方法。一个基本的入侵检测系统需要解决的两个问题：一是如何充 分并且可靠地提取描述行为特征的数据；二是如何根据特征数据，高效并准确地判 断行为的性质。 2 1 2 入侵检测通用系统框架 入侵检测从上个世纪8 0 年代初提出以来，已经有二十多年的历史了。许多机构 和组织都提出并实现自己的入侵检测系统模型，从d e n n i n g 于1 9 8 7 年提出的第一个 通用入侵检测模型1 3 1 到2 0 0 0 年普渡大学提出的入侵检测自治代理，入侵检测系统的 研究可以说是百花齐放。为解决入侵检测系统之间的互操作性，国际上的一些研究 组织丌展了标准化工作，目前对i d s 进行标准化工作的有两个组织：i e t f 的i n t r u s i o n d e t e e t i o nw o r k i n gg r o u p ( i d w o ) 牙t lc o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ( c i d f ) 。 c i d f 早期由美国国防部高级研究计划局赞助研究，现在由c i d f 工作组负责，是一 个开放组织。 c i d f 阐述了一个入侵检测系统( i d s ) 的通用模型( 见图2 1 ) 。它将一个入侵检 测系统分为以下组件：事件产生器( e v e n tg e n e r a t o r s ) ，用e 盒表示；事件分析器( e v e n t a n a l y z e r s ) ，用a 盒表示：响应单元( r e s p o n s eu n i t s ) ，用r 盒表示；事件数据库( e v e n t d a t a b a s e s ) ，用d 盒表示。在这个模型中，事件产生器e 、事件分析器a 和响应单 元r 通常以应用程序的形式出现，而事件数据库则往往是文件或数据流的形式。c i d f 将i d s 需要分析的数据统称为事件，