（检测技术与自动化装置专业论文）基于聚类分析的入侵检测方法研究.pdf

摘要 摘要 随着网络技术的飞速发展和网络应用范围的不断扩大，对网络的各类攻击与破坏与 日俱增。在网络安全问题日益突出的今天，如何迅速有效地发现各种入侵行为，对于保 证系统和网络资源的安全显得十分重要。入侵检测系统是一种积极主动的安全防护技 术，它是信息安全保护体系结构中的一个重要组成部分。 由于网络工作环节层次多，入侵模式不断变化，有大量研究计划将数据挖掘技术运 用到入侵检测中然而，面对网络环境中各类攻击与破坏的与日俱增，以及产生的海量 数据，人们需要一个良好的检测方法，使其对各种攻击行为都有较高的检测率和较低的 误检率，并且对海量的、高维的、混合型的复杂数据做出有效分析。 本文主要探讨数据挖掘的聚类分析及相关技术在入侵检测中的应用。传统的异常检 测方法需要从大量纯净的正常数据集中获得检测模型，而在现实网络环境中，很难保证 在数据采集阶段没有入侵的发生，也很难对采集的数据进行标识，这就使其应用受到很 大的限制。本文尝试在未标记的、混杂了少量入侵数据的正常网络审计数据源上，采用 聚类分析及相关技术，尽可能准确的将训练数据集中少量的入侵数据从大量正常数据中 分离开来，并给出使用该模型进行入侵检测的方法。 文章针对网络数据流海量、高维等特征，将聚类分析与异常挖掘的思想结合起来， 采用改进的k - p r o t o t y p e s 算法解决k - m e a n s 聚类算法不能处理混合型数据的缺点，以提 高聚类准确度。 本文用基于k p r o t o t y p e s 的算法对数据进行聚类，得到聚类结果。标记得到的聚类 结果，得出划分。但是该划分只是一个粗略的划分，为了优化聚类结果，文章采用孤立 点检测技术。聚类和孤立点检测是两个相辅相成的方面，聚类在某种程度上可能是个粗 糙的划分，在聚类的过程中和聚类之后要决定如何处理孤立点的问题对于优化聚类结果 很重要。本文提出了基于局部偏差系数的孤立点检测算法。结果表明，基于局部偏差系 数的孤立点检测算法优化了聚类结果，提高了检测率。 本文使用k d dc u p 9 9 数据集对检测模型进行了性能测试，实验结果表明，改进的 k p r o t o t y p e s 算法能较好地处理海量、高维、混合型数据。对聚类结果的孤立点检测提 高了检测模型的性能，优化了聚类结果。 关键词：入侵检测，数据挖掘，聚类 a b s t r a c t w i t ht h ed e v e l o p m e n to ft h en e t w o r kt e c h n o l o g ya n dt h eg r o w i n gu s a g eo fn e t w o r k , t h e n u m b e ro fa t t a c k si si n c r e a s i n g n o w a d a y s ，n e t w o r ks e c u r i t yp r o b l e m sa i n c r e a s i n g p r o m i n e n t , a n dh o wt of i n di n t r u s i o na 砸v i f i e sq u i c k l ya n de f f i c i e n t l yh a sb e c o m ei m p o r t a n t t ot h es e c _ i l r i t yo fs y s t e ma n dn e t w o r kr e s o u r c e i d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) i sa na c t i v e a n dd r i v i n gd e f e n s et e c h n o l o g y i ti sa ne s s e n t i a lc o m p o n e n to fi n f o r m a t i o ns e c u r i t y i n f i a s t r u c t u r ep r o t e c t i o nm e c h a n i s m b e c a u n e t w o r kl i n k sm a n yl e v e l s ，t h ec h a n g i n gp a t t e r ni n v a s i o n , al a r g en u m b e ro f r e s e a r c hp r o j e c t sw i l l 嘴d a t am i n i n gt e c h n o l o g yt oi n t r u s i o nd e t e c t i o n h o w e v e r , i nt h ef a c e o ft h en e t w o r ke n v i r o n m e n tt y p e so fa t t a c k sa n dd a m a g et ot h eg r o w i n gc o m p l e x i t ya n dt h e l a r g en u m b e ro fm a s s i v ed a t a , p e o p l en e e dag o o dm e t h o do fd e t e c t i o nt ot h ev a r i o u sa t t a c k s h a v eh i g h e rd e t e c t i o nr a t ea n dl o wm i s t a k e ns e i z u r er a t e ，a n dt h em a s s i v e ，h i g h - d i m e n s i o n a l ， m i x e d - e f f e c t i v e l yt ot h ec o m p l e xd a t aa n a l y s i s t h i sp a p e rm a k e sas t u d yo fa p p l y i n gc l u s t e r i n ga n dr e l a t e dd a t am i n i n gt e c h n i q u et o i n t r u s i o nd e t e c t i o n c o n v e n t i o n a la n o m a l y - b a s e dd e t e c t i o na p p r o a c h e ss h o u l du s ed a t ak n o w n t ob ep u r e dn o r m a la sar e f e r e n c em o d e lf o rd e t e c t i n ga n o m a l o u sd a t a h o w e v e r , w ed on o t h a v ep u r e dn o r m a ld a t ar e a d i l ya v a i l a b l ei nr e a ln e t w o r ke n v i r o n m e n t , b e c a u s ei tc o u l dh a r d l y 豇l s u r e1 1 0a t t a c k st a k i n gp l a c ei nt h ec o u r o fd a t ac o l l e c t i o n , a n di ti sd i f f i c u l ta n dt i r es o m e t ol a b e ld a t am a n u a l l y s ot h ep r a c t i c a b i l i t yo ft h e s ea p p r o a c h e si sl i m i t e d t h i sp a p e r a t t e m p t st ou s o c l u s t e ra n a l y s i sa n dr e l a t e dt e c h n o l o g i e si nt h ea b s e n c eo ft h em a r k e r , m i x i n g as m a l la m o u n to ft h en o r m a ld a t an e t w o r ki n t r u s i o na u d i td a t as o u r c e s ，t h et r a i n i n gw i l lb ea s a c 宅 u r a t ea sp o s s i b l ei nas m a l la m o u n to fd a t ao nal a r g en u m b e ro fd a t af r o mt h ei n v a s i o no f n o r m a ld a t ac o n c e r n i n gl e a v e ，a n dt ou s et h em o d e lt oi n t r u s i o nd e t e c t i o nm e t h o d s t h i sp a p e ru n i o nc l u s t e ra n a l y s i sa n dt h et h o u g ho fa b n o r m a lm i n i n gt od e a lw i n lt h e d a t a s e tw h i c hm a s s i v ed a t as t r e a mo fn e t w o r ka n dh i g h - d i m e n s i o n a lc h a r a c t e r i s t i c s t h e a d o p t i o no fi m p r o v e dk p r o t o t y p e sa l g o r i t h ms o l v ek - m e a n sc l u s t e r i n ga l g o r i t h mc a nn o t d e a lw i t l it h es h o r t c o m i n g so f m i x e dd a t a , t oi m p r o v ec l u s t e r i n ga c c u r a c y i nt h i sp a p e r ，d a t ac l u s t e r i n gb a s e do nt h ek p r o t o t y p e sa l g o r i t h ma n do b t a i n st h ec l u s t e r r e s u l t h o w e v e r , t h ed i v i s i o ni sj u s tar o u g hd i v i s i o n i no r d e rt oo p t i m i z et h ec l u s t e rr e s u l t ， t h ea r t i c l eu s e st h eo u t l i e rd e t e c t i o nt e c h n o l o g y c l u s t e r i n ga n do u t l i e rd e t e c t i o na r es u p p l y e a c ho t h e r c l u s t e r i n gs o m ee x t e n ti tm a yb eas k e t c h yd i v i s i o n , i nt h ep r o c e s so fc l u s t e r i n g a n dc l u s t e r i n ga f t e rd e c i d i n gh o wt od e a lw i t ht h ei s s u eo fo u t li e rp o i n t sf o ro p t i m i z i n g c l u s t e r i n gr e s u l t sa r ev e r yi m p o r t a n t t l l i sp a p e rp r e s e n t san o wo u t li e rd e t e c t i o na l g o r i t h m b a s e do nl o c a ld e v i a t i o nc o e 伍c i e n tf a c t o r t h er e s u l t ss h o w e dt h a t b a s e do nt h el o c a l d e v i a t i o nc o e f f i c i e n tf a c t o ra l g o r i t h mt oo p t i m i z et h er e s u l t so fc l u s t e r i n g , i m p r o v e dd e t e c t i o n e f f i c i e n c y t h i sp a p e ru s e dk d dc u p 9 9d a t as e tt ot e s tm o d e l so ft h ep e r f o r m a n c et e s t i n g , e x p e r i m e n t a lr e s u l t ss h o wt h a ti m p r o v e dk p r o t o t y p e sa l g o r i t h mc a nb e t t e rh a n d l em a s s i v e ， h i 曲一d i m e n s i o n a l ，m i x e dd a t a c l u s t e r i n go nt h eo u t c o m eo ft h eo u t l i e rd e t e c t i o ni m p r o v e s d e t e c t i o nm o d e lp e r f o r m a n c e ，o p t i m i z e dc l u s t e r i n gr e s u l t s a b s t r a c t k e y w o r d s ：i n t r u s i o nd e t e c t i o n , d a t am i n i n g , c l u s t e r i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含本人为获得江南 大学或其它教育机构的学位或证书而使用过的材料与我一同工作的同志 对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意 签名：叠叠日期：迎呈至墨巡旦 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留，使用学位论文的规定： 江南大学有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅，- - f 以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文， 并且本人电子文档的内容和纸质论文的内容相一致 保密的学位论文在解密后也遵守此规定 签名：轻壅 导师签名：赵盗堕 日 期：鲤笠垄丕旦旦 第一章绪论 第一章绪论 1 1 课题背景 随着计算机技术和网络技术的飞速发展，网络的开放性、共享性、互连程度随之扩 大，计算机与互联网技术得以不断的创新与升级，基于网络的应用也越来越多，网络上 各种业务也随之兴起。比如：网络银行、电子商务、电子政务等。家庭信息化和军事信 息战等诸多新概念和新领域也不断提出与应用。传统社会的运行模式正发生着深刻的改 变，这对全球的政治、经济和军事等诸多方面都产生了深远的影响。信息网络设施和资 源对于国家、企业和个人的重要性日益增强，在不断改变人们传统的生活、工作与学习 的同时，也带来新的问题和挑战，它们是：人类社会网络信息化程度日益增加；对网络 依赖性日益增强；信息安全问题日渐突出。 在单机时代，只有物理上接近计算机的人才有可能获取或破坏计算机上的信息。而 在i n t e m e t 时代，物理上的距离已不再成为攻击者的障碍。从1 9 8 8 年造成i n t e r n e t 近五 天瘫痪的著名的蠕虫事件，到2 0 0 0 年以y a h o o 为首的一系列大型网站相继遭到攻击， 反映出攻击的手段越来越高明，威胁越来越大。尽管防火墙和杀毒软件应用己十分普及， 但一个事实依然令人难以理解：据美国金融时报报道，现在平均每2 0 秒就发生一 次入侵计算机网络的事件，超过1 3 的防火墙被攻破。现在世界上每年利用计算机网络 进行的犯罪所造成的损失大得惊人。据i c s a ( 国际计算机安全协会) 统计，有1 1 的 安全问题来源于网络数据被破坏，1 4 的安全问题来源于数据失密，1 5 的安全问题来 自系统外部，而来自系统内部的安全威胁高达6 0 ，安全事件使公司声誉受到了沉重打 击，损失了大量的重要客户，蒙受巨大的经济损失。因此，对网络信息安全技术的研究 己成为计算机和通信界的热点，并成为信息科学的一个重要研究领域。 传统的信息安全方法采用严格的访问控制和数据加密策略来防护，但在复杂系统 中，这些策略是不充分的。虽然它们是系统安全不可缺少的部分，但是它们不能完全保 证系统的安全。与被动式的防御系统例如防火墙相比，入侵检测系统( i n t r u s i o nd e t e c t i o n s y s t e m , i d s ) 通过从系统内部和网络中收集的信息，分析计算机是否有安全问题并采取 相应的措施。 随着各个行业信息化建设进一步发展，计算机网络在现代社会中发挥越来越重要的 作用。由于系统安全脆弱性的客观存在，操作系统、应用软件、硬件设备不可避免的会 存在一些安全漏洞，网络协议本身的设计也存在一些安全隐患，这些都为黑客采用非正 常手段入侵系统提供了可乘之机。随着人们和各种机构对互联网的依赖，计算机网络安 全已成为一个国际化的严重问题。因而，保障计算机系统、网络系统以及整个信息基础 设施的安全已成为一个刻不容缓的问题。各种网络入侵事件促进了网络安全技术的发展 形成众多的安全防范技术，比如：防火墙技术、数据加密、授权、认证等。入侵检测是 继这些安全技术之后的又一种重要的信息安全保障措施11 - 5 1 。 江南大学硕士学位论文 1 2 当前主要的网络安全技术与安全产品 由于信息安全有着特殊的重要性，大量的科研和商业机构投入了大量的资源进行系 统而深入的研究，并取得了显著的进展。目前广泛采用的信息安全技术有： ( 1 ) 访问控制( a c c e s sc o n t r 0 1 ) ：将防止对资源的未授权使用分为自主访问控制和 强制访问控制。 ( 2 ) 鉴别与认证( c e r t i f i c a t i o na n da u t h e n t i c a t i o n ，c af o r b r i e f ) ：实现用户身份的鉴 别，并将身份表示与该用户所有可审计行为相关联。 ( 3 ) 加密( e n c r y p t i o n ) ：利用数学方法来重新组织数据，使得合法接收者之外的其 他人很难恢复原始数据( 明文) 或读懂变化后的数据( 密文) 。加密是信息安全的核心 技术，是实现身份鉴别、访问控制以及信息的保密性、完整性、不可否认性等安全机制 的不可缺少的重要手段。 利用上述技术，科研和商业机构研制了很多信息安全产品并将其推向市场，他们的 应用范围各异，主要包括： ( 1 ) 防火墙( f i r e w a l l s ) ：是一种被动的防范技术，采用隔离控制技术在网络之间 设置障碍。它主要分为三种，即包过滤( p a c k e tf i l t e r ) 、应用网关( a p p l i c a t i o ng a t e w a y ) 、 代理服务器( p r o x ys e r v e r ) 。 ( 2 ) 虚拟专用网( v i r t u a lp r i v a t en e t w o r k , v p nf o rb r i e o ：是利用公共基础设施建 立的网络数据传输能力，借助相关的安全技术和手段实现的一条保密数据通道，能够提 供安全可靠可控的保密数据通信。相对于传统的专用保密数据通讯网络，v p n 具有很高 的性能价格比。 ( 3 ) 漏洞扫描器( v u l n e r a b i l i t ys c a n n e r ) ：是一种自动监测远程或本地主机和网络 安全性漏洞的程序，它能直接或间接的反应系统安全性能并提供有价值的参考依据，是 一种用于主动改善信息系统安全的工具。他拥有强大的扫描识别能力，能发现远程的主 机和网络，进而发现在那些网络和主机所运行的服务，最终发现这些服务所存在的漏洞。 ( 4 ) 计算机病毒扫描程序( v i r u ss c a n n e r ) ：适用于监测和清除计算机病毒的安全 工具，一般利用模式匹配技术，配合定期更新的病毒特征库来监测和清除计算机中的病 毒。 ( 5 ) 入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，i d sf o rb r i e f ) ：是一种主动的信息安 全防范技术，能在入侵发生的过程中或之后监测到入侵的行为，并通过与其他安全组件 的协作以防止系统遭受进一步的损失，并为指定系统的安全策略和改善系统安全性能提 供有价值的参考依据。 1 3 入侵检测研究概况 1 3 1 入侵检测系统概述 入侵检测，是对入侵行为的发觉。它通过对计算机网络或计算机系统中的若干关键 点收集信息并对其进行分析，从中发现网络或系统中是否有违反安全策略的行为和被攻 击的迹象。入侵检测对网络或操作系统上的可疑行为做出策略反应，及时切断资料入侵 源、记录、并通过各种途径通知网络管理员，最大幅度地保障系统安全，是防火墙的合 第一章绪论 理补充。此外，入侵检测帮助系统对付网络攻击，扩展系统管理员的安全管理能力( 包 括安全审计、监视、进攻识别和响应) ，提高信息安全基础结构的完整性，被认为是防 火墙之后的第二道安全闸门。它在不影响网络性能的情况下能对网络进行监测，从而提 供对内部攻击、外部攻击和误操作的实时保护，最大幅度地保障系统安全。它在网络安 全技术中起到了不可替代的作用，是安全防御体系的一个重要组成部分。 与其他安全产品不同的是，入侵检测系统需要更多的智能，它必须可以将得到的数 据进行分析，并得出有用的结果。一个合格的入侵检测系统能大大的简化管理员的工作， 保证网络安全的运行。因此，入侵检测执行以下任务： 监视、分析用户及系统活动； 系统构造和弱点的审计： 识别反映已知进攻的活动模式并向相关人士报警： 异常行为模式的统计分析； 评估重要系统和数据文件的完整性； 操作系统的审计跟踪管理，并识别用户违反安全策略的行为。 1 3 2 入侵检测的诞生和发展 19 8 0 年4 月，j a m e sp a n d e e s o n 为美国空军做了一份题为( c o m p u t e rs c e u r i t yt h r e a t m o n i t o r i n ga n ds u r v e i l l a n c e ) ( 计算机安全威胁监控与监视) 的技术报告，第一次详细 阐述了入侵检测限引的概念。他提出了一种对计算机系统风险和威胁的分类方法，并将 威胁分为外部渗透、内部渗透和不法行为三种，还提出了利用审计跟踪数据监视入侵活 动的思想。这份报告被公认为是入侵检测的开山之作。 从1 9 8 4 年到1 9 8 6 年，乔治敦大学的d o r o t h yd e n n i n g 和s r f c s l ( s r i 公司计算机 科学实验室) 的p e t e r n e u m a n n 研究出了一个实时入侵检测系统模型，取名为i d e s ( 入 侵检测专家系统) 。该模型由六个部分组成：主体、对象、审计记录、轮廓特征、异常 记录、活动规则。它独立于特定的系统平台、应用环境、系统弱点以及入侵类型，为构 建入侵检测系统提供了一个通用的框架。 1 9 8 8 年，s r f c s l 的t e r e a sl u n t 等人改进了d e n n i n g t 9 1 的入侵检测模型，并开发 出了一个i d e s 。该系统包括一个异常检测器和一个专家系统，分别用于统计异常模型 的建立和基于规则的特征分析检测。 1 9 9 0 年是入侵检测系统发展史上的一个分水岭。这一年，加州大学戴维斯分校的 l t h b 甜e i i l 等人开发出了n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 。该系统第一次直接将网 络流作为审计数据来源，因而可以在不将审计数据转换成统一格式的情况下监控主机。 从此之后，入侵检测系统发展史翻开了新的一页，两大阵营正式形成：基于网络的i d s 和基于主机的i d s 。 1 9 8 8 年的莫罩斯蠕虫事件0 1 发生之后，网络安全才真正引起了军方、学术界和企 业的高度重视。美国空军、国家安全局和能源部共同资助空军密码支持中心、劳伦斯利 弗摩尔国家实验室、加州大学戴维斯分校、h a y s t a c k 实验室，开展对分布式入侵检测系 统( d i d s ) 的研究，将基于主机和基于网络的检测方法集成到一起。 江南大学硕士学位论文 d i d s 是分布式入侵检测系统历史上的一个里程碑式的产品，它的检测模型采用了 分层结构，包括数据、事件、主体、上下文、威胁、安全状态等六层。 从2 0 世纪9 0 年代到现在，入侵检测系统的研发呈现出百家争鸣的繁荣局面，并在 智能化和分布式两个方向取得了长足的进展。目前，s r f c s l 、普渡大学、加州大学戴 维斯分校、洛斯阿拉莫斯国家实验室、哥伦比亚大学、新墨西哥大学等机构在这些方面 的研究代表了当前的最高水平。 下图是入侵检测系统发展过程图。 图1 - 1 入侵检测系统发展过程图 f i g 1 1t h ec h a r to fi n t r u s i o nd e t e c t i o ns y s t e md e v e l o p i n gl m ) c , e s s 1 3 3 入侵检测系统原理 为实现对计算机系统的实施保护，入侵检测系统的主要工作过程包括监视、分析用 户及系统活动，对系统构造和弱点进行审计，识别反映已知攻击的活动模式并进行报警， 对异常行为模式进行统计分析，评估重要系统和数据文件的完整性，以及审计跟踪管理 操作系统并识别违反安全策略的用户行为。入侵检测的模式匹配算法将当前检测的数据 包与系统中的知识库进行比较，从而判断当前的数据包是否为入侵行为，然后根据检测 结果做出响应，其原理图如图1 2 所示。 图1 - 2 入侵检测系统过程原理图 f i g 1 2s c h e m a t i c so fi n t r u s i o nd e t e c t i o ns y s t e mp r o c e s sp r i n c i p l e 入侵检测系统所使用的知识库是根据收集到的数据进行挖掘的规律和知识以及专 家的经验，其数据内容包括系统、网络、数据及用户活动的状态和行为，主要分为四个 来源： 第一章绪论 ( 1 ) 系统和网络日志文件。 ( 2 ) 目录和文件中的不期望改变( 包括修改、创建、删除等) 。 ( 3 ) 程序执行中的不期望行为。 ( 4 ) 物理形式的入侵信息，包括未授权的对网络硬件的链接和对物理资源的未授权访 问。 1 3 4 入侵检测系统的分类 入侵检测系统的分类可以由图1 3 来说明。 控制策略i 同燃if 响应方式j 信息源| | 分析方法 骧 幽m si 巴 间 隔 批 任 务 处 理 型 m 6 耋l 差ll 重l | 茎il 量 图l 一3 入侵检测系统的分类 f i g 1 - 3i n t r u s i o nd e t e c t i o ns y s t e mc l a s s i f i f i m 这些不同的分类方法使我们可以从各个不同的角度了解、认识入侵检测系统，或者 是认识入侵检测系统所具有的不同功能。但就实际的入侵检测系统而言，基于实用性的 考虑，常常要综合采用多种技术，使其具有多种功能，因此很难将一个实际的入侵检测 系统归于某一类。它们通常是这些类别的混合体，某个类别只是反映了这些系统的一个 侧面。本文所研究的内容是按分析方法划分中的异常检测模型。 1 3 5 国内外主要入侵检测产品 目前，国际上主要的商用入侵检测产品有：n f r 公司的n d i ( n e t w o ki n t r u s i o n d e t e c t i o n ) ，i s s 公司的r e a ls e c u r e ，n a i 公司的c y b e r c o pi n t r u s i o np r o t e c t i o n 以及c i s c o 公司的c i s c os e c u r ei d s 卜1 2 1 等，而在以科学研究为主要目的非商用系统主要是s r i 的 n i d e s ( n e x t g e n e r a t i o ni n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ) 和e m e r a l d ( e v e n t m o n i t o r i n ge n a b l i n gr e s p o n s e s t oa n o m a l o t i sl i v ed i s t u r b a n c e s ) 等。 国内也产生了一股入侵检测技术研究的热潮，许多大学院校和科研单位成立专门的 研究小组从事入侵检测技术的研究，并提出了许多入侵检测技术的新方法，但主要是对 国际上的一些入侵检测方法的改进和扩展。同时，市场上也出现了一些国内开发的入侵 检测产品，主要有北京启明星辰公司的“天闻 入侵检测与管理系统、中科网威的“天 眼”入侵检测系统、西安信利网络科技公司的“网络巡警解决方案等。 江南大学硕士学位论文 1 4 数据挖掘技术在入侵检测中的应用 目前数据挖掘技术是入侵检测突破新的入侵的最有希望的途径之一。国际上在这个 方向的研究很活跃。1 0 多年来，基于数据挖掘的入侵检测方法得到了众多学者的研究。 目前常用的技术包括：关联规则技术、分类技术、聚类技术、序列分析、基于统计的方 法、从稀有类中学习的技术、代价敏感建模技术、贝叶斯分类、遗传算法、线性向量量 子化、神经网络、元分类技术等等。在一个具体的项目或系统中通常是多种技术结合在 一起使用。基于数据挖掘的入侵检测系统智能性好、自动化程度高、检测效率高、系适 应能力强等优点。 由于数据挖掘需要大量数据，系统庞大而复杂，所需训练数据来之不易，挖掘所花 费的计算力、时间、内存很难保证检测的实时性。对于异常检测的来说，数据挖掘所带 来的误警率也并不低。 目前国内外基于数据挖掘的入侵检测系统有美国哥伦比亚大学的m a d a mi d 1 1 3 - 1 5 1 、乔治梅森大学设计的异常检测系统a d a m 1 1 6 1 m i n n e s o t a 大学的m a h e s hv j o s h i 等人提出的针对稀有类的检测方法m i n d s “7 1 以及无指导异常检测系统等。 我国的基于数据挖掘的入侵检测研究情况近几年也有进展。2 0 0 0 年，中国科学院软 件研究所提出了一种基于a g e n t 分布式入侵检测系统模型，该模型是一个开放的系统模 型，具有很好的可扩充性，易于加入新的协作主机和入侵检测a g e n t ，也易于扩充新的 入侵检测模式。 中国科学院软件研究所提出了一种基于数据挖掘的协同入侵检测系统( c o i d s ) 框 架。 中国科学院研究生院，选择层次化协作模型，使用数据挖掘算法对安全审计数据进 行分析处理，帮助系统自动生成入侵检测规则以及建立异常检测模型。 1 5 面向入侵检测的传统数据挖掘的缺陷 入侵检测中的误用检测首先要定义违背安全策略的时间特征，即挖掘攻击事件的典 型特征，构造一个丰富的入侵检测特征知识库，然后用所收集到的事件特征与之进行匹 配，匹配成功则认为发生了入侵或入侵迹象。但该方法对未知攻击检测效果有限，而且 知识库需要不断更新。 异常检测根据使用者的行为或资源使用情况来判断是否入侵，不依赖于具体行为是 否出现。异常检测程序产生当前的活动模式并同原始模式进行比较，同时更新原始模式， 当发生显著偏离时即认为入侵发生。异常检测可以检测到从未出现过的攻击。但其缺陷 是误报率较高。 除此之外，为了建立有效的基于数据挖掘的入侵检测的模型，传统的数据挖掘算法 要在大量的标记数据上进行训练，对于误用检测系统来说，训练数据必须被正确的标记 成“正常 和“异常 。对于异常检测系统来说，提供的数据必须是干净正常的数据。 这就导致为了得到这样的数据，不得不手工对数据集进行标记，对于海量的数据集，这 样会耗费大量的时间和精力。如果标记错误还会使得检测模型不够精确，从而减低检测 效果。 第一章绪论 理想的情况是运用数据挖掘算法在收集到的未标记数据集上直接建立入侵检测模 型，或是找到能自动生成训练所用标记数据集的方法，不需要用手工事先进行标记。这 种类型的方法就是以聚类为代表的无监督异常检测方法。 1 6 本文的工作 从数据处理的角度来看入侵检测，入侵行为数据可以看成异常数据，因而入侵检测 问题就可以看成一种特殊的异常数据挖掘问题。由于入侵检测数据具有海量、高维、 混合等特点，原有常用的聚类算法，比如k - m e a n s 、k m e c l o i d s 算法等算法不能很好的 处理这一类数据，因而本文采用k - p r o t o t y p e s 算法并在其基础上对算法进行改进，用于 对数据进行处理。对聚类后的结果进行孤立点检测，以优化聚类结果。将聚类的方法与 异常检测的思想结合起来，以更好的检测攻击，提高检测效率。论文组织如下： 第一章为绪论，介绍课题背景、研究的现状、并对相关的入侵检测技术进行了概述。 概述了数据挖掘技术的国内外发展状况以及在入侵检测中的应用。 第二章详细阐述了入侵检测的概念及其分类，探索了入侵检测技术中存在的优缺 点，讨论了入侵检测目前面临的问题和以后的发展；阐述了数据挖掘的基本概念，体系 结构以及常用的数据挖掘方法，并阐述了数据挖掘与入侵检测之间的关系。 第三章分析现有聚类分析方法的过程、特点，针对本文所用数据集数据的特点阐述 了k - p r o t o t y p e s 算法，针对k p r o t o t y p e s 算法的缺陷之处，对算法进行了改进，重新定 义k p r o t o t y p e s 算法中的差异度和聚类中心。 第四章提出一类基于聚类的入侵检测方法。针对现实网络情况提出无指导的异常检 测方法，对数据进行预处理后通过聚类算法得到类，随后标记类，并提出对“可疑一类 进行孤立点检测，从而优化聚类结果，将异常检测思想与聚类结合从而检测出入侵，提 高检测效率。 第五章应用k d dc u p 9 9 数据集对算法和检测模型进行试验，给出结果。 第六章是结束语。 7 第二章入侵检测与数据挖掘 第二章入侵检测与数据挖掘 在给出入侵的定义之前，首先了解一下计算机安全的若干基本概念。通常，计算机 安全的三个基本目标是：机密性、完整性和可用性安全的计算机系统应该实现上述的 三个目标，即保护自身的信息和资源，不被非授权访问、修改和拒绝服务攻击。a n d e r s o n 在其1 9 8 0 年的技术报告中建立了关于威胁的早期模型，并按照威胁的来源分为如下三 类： ( 1 ) 外部入侵者：系统的非授权用户。 ( 2 ) 内部入侵者：超越合法权限的系统授权用户。其中又可分为“伪装者一和。秘 密活动者一 ( 3 ) 违法者：在计算机系统上执行非法活动的合法用户。 对具体的“入侵一定义，存在很多的提法。美国国家安全通信委员会( n s t a c ) 下属的入侵检测小组( i d s g ) 在1 9 9 7 年给出的关于。入侵一的定义为： 入侵是对信息系统的非授权访问以及( 或者) 未经许可在信息系统中进行的操作。 2 1 入侵检测的基本概念 对于_ 入侵检测”的概念定义存在很多提法，其中包括： ( 1 ) 检测对计算机系统的非授权访问。 ( 2 ) 对系统的运行状态进行监视，发现各种攻击企图、攻击行为或者攻击结果，以 保证系统资源的机密性、完整性和可用性；。o ( 3 ) 识别针对计算机系统和网络系统，或者更广泛意义上信息系统的非法攻击，包 括检测外部非法入侵者的恶意攻击或试探，以及内部合法用户的超越使用权限的非法行 为。 美国国家安全通信委员会( n s t a c ) 下属的入侵检测小组( d s g ) 在1 9 9 7 年给出 的关于。入侵检测”的定义为： 入侵检测是对企图入侵、正在进行的入侵或者已经发生的入侵进行识别的过程。所 有能够执行入侵检测任务和功能的系统，都可称为入侵检测系统，其中包括软件系统以 及软硬件结合的系统。图2 1 给出一个通用的入侵检测系统模型。 输入：原始事件源 4 2 1 通用入侵检测系统模型 f i g 2 1 g e n e r a li n t r u s i o nd e t e c t i o ns y s t e mm o d e l 9 江南大学硕士学位论文 c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ( c i d f ) 棚阐述了一个入侵检测系统的 通用模型。它将一个入侵检测系统分为四个基本组件：事件产生器、事件分析器、响应 单元和事件数据库。在c i d f 模型中，事件产生器、事件分析器和响应单元通常以应用 程序的形式出现，而事件数据库则往往采用文件或数据流的形式。c i d f 将入侵检测系 统需要分析的数据统称为事件( e v e n t ) ，它可以是基于网络的入侵检测系统中网络中的 数据包，也可以是基于主机的入侵检测系统从系统日志等其他途径得到的信息。它也对 各部件之间的信息传递格式、通信方法和标准a p i 进行了标准化。 事件产生器的目的是从整个计算环境中获得事件，并向系统的其他部分提供此事 件。事件分析器分析得到的数据，并产生分析结果。响应单元则是对分析结果做出反应 的功能单元，它可以做出切断连接、改变文件属性等强烈反应，甚至发动对攻击者的反 击，也可以只是简单的报警。事件数据库是存放各种中间和最终数据的地方的统称，它 可以是复杂的数据库，也可以是简单的文本文件。 事件产生器的任务是从入侵检测系统之外的环境中收集事件，并将这些事件转换成 c i d f 的g i d o ( g e n e r a l i z e di n t r u s i o nd e t e c t i o no b j e c t s 通用入侵检测对象) 格式传送给其 他组件。例如，事件产生器可以是读取c 2 级审计踪迹并将其转换为g i d o 格式的过滤 器，也可以是被动地监视网络并根据网络数据流产生事件的另一种过滤器，还可以是 s q l 数据库中产生描述事务的事件的应用代码。 事件分析器分析从其他组件收到的g d o ，并将产生的新g i d o 再传送给其他组件。 分析器可以是一个轮廓描述工具，统计性地检查现在的事件是否可能与以前某个事件来 自同一个时间序列，也可以是一个特征检测工具，用于在一个事件序列中检查是否有己 知的滥用攻击特征。此外，事件分析器还可以是一个相关器，观察事件之间的关系，将 有联系的事件放到一起，以利于以后进一步分析。 事件数据库用来存储g i d o ，以备系统需要的时候使用。 响应单元处理收到的g i d o ，并据此采取相应的措施，如杀死相关进程、将连接复 位、修改文件权限等。 目录服务器用于各组件定位其他组件，以及控制其他组件传递的数据并认证其他组 件的使用，以防止入侵检测系统本身受到攻击。目录服务器组件可以管理和发布密匙， 提供组件信息和用户组件的功能接口。 c i d f 标准建立以后，逐渐成为各种i d s 的标准，许多i d s 虽然没有完全依照c i d f 模型建立，但是都是参照c i d f 的模型或功能。使c i d f 模型己经成为i d s 系统的实际 的基本结构。 2 2 入侵检测技术方法 研究一种技术或者系统的基本方法之一是分类，分而治之也是人类学习的一种习 惯。对于入侵检测技术而言，也是如此。不同的分类方法是我们可以从不同的角度了解、 认识入侵检测系统，或者是认识入侵检测系统所具有的不同功能。 2 2 1 按数据源采集的不同位置分类 ( 1 ) 基于主机的入侵检测系统( h i d s ) 兰= 里生里堡塑! 塾塑丝塑 基于主机入侵检测系统的检测对象主要是主机系统和系统本地用户，检测系统可运 行在被检测的主机或单独的主机上。检测原理是以系统同志、主机的审计数据和应用程 序日志作为数据源，利用误用检测或异常检测技术从中友现可疑事件。图2 - 2 显示了基 于主机的入侵检测系统模型。 r h d l l d ， 旷一 。叠墼飘躺 司妒电去息熙息 围2 - 2 基于主机的入侵检渖】系统模型 f i g2 - 2 b a s e d o d h o s t i n u o s i 佣d e t e c t i o ns y s t m m o d e l 基于主机入侵检测系统的特点有： o 监视特定的系统活动：基于主机的入侵检测系统能监视用户对文件的访问活动， 包括访问文件、修改文件权限、执行文件、建立新的可执行文件、试图访问特许服务等。 适用于交换和加密环境：基于主机的检测系统通过