（控制理论与控制工程专业论文）模糊数据挖掘技术在入侵检测中的应用研究.pdf

摘要 摘要 随着网络技术的发展和i n t e m e t 在全球的普及，网络给人类社会带来便利， 但网络安全问题也困扰着网络技术的发展和应用。入侵检测系统是进一步研究 网络安全问题的基础，是解决网络安全问题的前提和保证。 数据挖掘是利用计算机从大量的数据中提取有用的、有意义的信息和知识 的过程。关联规则挖掘是数据挖掘的一种重要方法，按照属性值的不同，分为 布尔型关联规则和多值属性关联规则。在多值属性关联规则挖掘的过程中，将 属性值划分到不同的区间内，进而转换为布尔型关联规则挖掘，而区间的精确 划分将导致“尖锐边界 问题，“尖锐边界 是在入侵检测中应用数据挖掘方法 所需要解决的问题。本文引用模糊集合论概念，模糊集合论用单位闭区间 o ， 1 】中的某个数值来表示元素隶属某个集合的程度，从而使得区间的过渡比较平 滑，减少区间边界信息丢失的现象。 本文对入侵检测技术和模糊数据挖掘技术进行了较全面的综述，详细介绍 了模糊概念与传统关联规则挖掘算法相融合的模糊关联规则挖掘算法，阐述了 在模糊关联规则的挖掘中将事务属性的模糊集元素作为单一属性来处理的方 法，进行了实例推演。设计并实现了可以普遍使用的采用模糊关联规则挖掘算 法的入侵特征提取系统仿真测试平台，并用k d dc u p 9 9 测试数据包在此系统 平台上进行了仿真实验，并对实验结果给出了结论性意见。该系统具有数据特 征分析，模糊函数配置，常规频繁项集挖掘，模糊频繁项集挖掘，常规特征规 则挖掘，和模糊特征规则挖掘等较全面、较完善的功能，具有一定实用意义。 关键字：入侵检测，数据挖掘，模糊理论，模糊关联规则挖掘 a b s t r a c t w i t ht h ed e v e l o p m e n to fn e t w o r kt e c h n o l o g ya n dt h es p r e a do fi n t e r a c ti nt h e w o r l d ，o nt h eo n eh a n d , n e t w o r k sb r i n g sg r e a tb e n e f i tt oo u rs o c i e t y , o nt h eo t h e r h a n d ，n e t w o r ks e c u r i t yp r o b l e mh a sh i n d e r e dt h ea p p l i c a t i o na n dd e v e l o p m e n to f s u c ht e e h n o l o g y s ot h ei n t r u s i o nd e t e c t i o ns y s t e mi st h eb a s i so fr e s e a r c ho f n e t w o r ks e c u r i t y t h ed a t am i n i n gt e c h n o l o g yi st h ep r o c e s so fp i c k i n gu pt h eu s e f u la n d m e a n i n g f u li n f o r m a t i o na n dk n o w l e d g ef r o mag r e a td e a lo f d a t aw i t ht h ec o m p u t e r t e c h n o l o g y d a t am i n i n gi so n eo fs e v e r a lk i n d so fi n t e l l i g e n tm e t h o d si ni n t r u s i o n d e t e c t i o n a s s o c i a t i o nr u l em i n i n gi sam e t h o do fd a t am i n i n g a c c o r d i n gt on l e d i 毹r e n c eo ft h ea t t r i b u t ev a l u e s ，t h ea s s o c i a t i o nr u l e sa r ed i v i d e di n t ot h eb o o l e a n a s s o c i a t i o nr u l e sa n dq u a n t i t a t i v ea s s o c i a t i o nr u l e s t h eg e n e r a la p p r o a c ho f q u a n t i t a t i v ea s s o c i a t i o nr u l e sm i n i n gi s t om a pt h ea t t r i b u t ev a l u e si n t os e v e r a l i n t e r v a l sw h i c hw i l lm a k eh ep r o b l e mo f s h a r pb o u n d a r y a n d i n c r e a s et h e i n f o r m a t i o nl o s s t h u sw ea p p l yt h ef u z z yt h e o r yi no u rr e s e a r c h t h ef u z z ys e t t h e o r yu s e sa v a l u ei nt h ec l o s e di n t e r v a l 0 ，i 】t od e n o t et h ee x t e n tt h a ta ne l e m e n t b e l o n g st ot h ef u z z ys e ts ot h a tt h et r a n s i t i o no f i n t e r v a l si ss m o o t h e ra n di tr e d u c e s t l l ei n f o r m a t i o nl o s s i nt h i sp a p e r , t e c h n o l o g i e so ni n t r u s i o nd e t e c t i o na n df u z z yd a t am i n i n ga r e s u m m a r i z e d a na l g o r i t h mo ff u z z ya s s o c i a t i o nr u l em i n i n g ，i n t e g r a t e do f t h ef u z z y c o n c e p t , a n dt h et r a d i t i o n a la s s o c i a t i o nr u l em i n i n gw a sp r e s e n t e d i nt h i sa l g o r i t h m ， t h ef u z z ys e t so fe a c ht r a n s a c t i o n sa t t r i b u t e si sd i v i d e da n dc a l c u l a t e da ss e p a r a t e a t t r i b u t e sa n ds h o w nw i t he x a m p l e s an e ws i m u l a t i o nt e s tp l a t f o r mo fi n v a s i v e f e a t i l r ee x t r a c t i o nb a s e do nt h ef u z z ym i n i n ga s s o c i a t i o nr u l em i n i n ga l g o r i t h mw a s d e s i g n e d ，i m p l e m e n t e da n de v a l u a t e d t h en e ws i m u l a t i o nt e s tp l a t f o r mw a st e s t e d o nk i ) dc u p 9 9t e s t i n gd a t as e t s s o m ed i s c u s s i o n sa n ds u g g e s t i o n sw e r ep r e s e n t e d t h en e wp l a t f o r mc o m p o s e do fd a t af e a t u r ea n a l y s i s ，f u z z yf u n c t i o nc o n f i g u r e ， t r a d i t i o n a lf r e q u e n ti t e ms e tm i n i n g ，f u z z yf r e q u e n ti t e ms e tm i n i n g ，t r a d i t i o n a l a b s t r a c t f e a t h e rr u l em i n i n g ，a n df u z z yf e a t h e rr u l em i n i n g e x p e r i m e n t a lr e s u l t ss h o wt h a t t h ep l a t f o r mi sf e a s i b l ea n du s a b l e k e yw o r d s ：i n t r u s i o nd e t e c t i o n ；d a t am i n i n g ；f u z z y s e t t h e o r y ；f u z z y a s s o c i a t i o nr u l em i n i n g i i i 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名： 年月日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 解密时间：年月日 各密级的最长保密年限及书写格式规定如下： 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行研究工作 所取得的成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含 任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉 及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本学 位论文原创性声明的法律责任由本人承担。 学位论文作者签名： 年月曰 第一章入侵检测技术 第一章入侵检测技术 随着计算机技术和通信技术的迅速发展，计算机网络已普及并应用到社会 生活的方方面面，给人们的工作、学习和日常生活带来更多的方便。但是随之 也带来了巨大的安全问题，网络信息安全已受到人们越来越多的关注。入侵检 测就是用来解决这些安全问题的技术，数据挖掘技术是入侵检测中重要的一种 方法。本文讨论数据挖掘技术在入侵检测系统中应用的理论背景和实现方法。 本章首先简要回顾入侵检测技术的发展历史，然后依次对入侵检测系统的分类 以及常用入侵检测方法进行介绍。 第一节入侵检测技术的发展 1 1 1 入侵检测的起点 在入侵检测技术出现之前计算机系统采取的安全策略是主机审计，其定义 为：产生、记录并检查按照时间顺序排列的系统事件记录的过程【7 1 。在早期的 中央主机集中计算的环境下，主机审计的主要目的是统计用户的上机时间以便 于计费。随着计算机的普及，主机审计的用途扩展到跟踪记录计算机系统的使 用情况，进而扩展到追踪调查计算机系统中用户的不当使用行为。此时，主机 审计已逐步引入了安全审计的概念。 随着计算机网络的出现，网络信息安全越来越受到人们的关注。当然，在 计算机网络出现的最初几十年里，它主要用于在各大学和研究机构的研究人员 之间传递电子邮件，以及合作者之间共享打印机。在这种条件下，安全性未能 引起足够的重视。但是随着互联网和电子商务技术的普及和发展，众多的普通 用户使用网络来处理银行事务、购物和纳税等，信息安全逐渐成为一个潜在的 巨大问题。与此相应的是，信息安全技术也经历了一个从简单到复杂的发展历 程。 2 0 世纪7 0 年代以前人们就已认识到，在通信过程中，不仅有发送方和接 收方两方参与，实际上还存在一个第三方即敌人在那里时刻想窃听，因此要发 第一章入侵检测技术 展密码技术，通过对发送的信息进行加密致使敌人听不懂。1 9 4 9 年s h a n n o n 发 表的保密通信的信息理论标志着通信保密时代即c o m s e c ( c o m m u l l i c a t i o n s e c u r i t y ) 时代的到来。这个时期，人们强调的主要是信息的保密性，对安全理 论和技术的研究也只侧重于密码学。 2 0 世纪7 0 年代后，大规模和超大规模集成电路技术的飞速发展推动了计 算机软硬件的发展，计算机和网络技术的应用逐步进入了实用化阶段，人们对 安全的关注已经逐渐发展为以保密性、完整性和可用性为目标的信息安全阶段， 即i n f o s e c ( i n f o r m a t i o ns e c u r i t y ) 时代。美国军方在2 0 世纪7 0 年代支持了 一项内容广泛的关于计算机系统安全的研究计划，最终的研究成果是一项重要 的计算机安全评估标准，即1 9 8 3 年美国国防部国家计算机安全中心公布的可信 计算机系统评价标准( t m s t e dc o m p u t e rs y s t e me v a l u a t i o nc r i t e r i a ，t c s e c ) 。 9 0 年代欧洲四国( 英、法、德、荷) 提出的信息技术安全评价准则( i n f o r m a t i o n t e c h n o l o g ys e c u r i t ye v a l u a t i o nc r i t e r i a ，i t s e c ) 也提到了信息安全除了要关注 信息的保密性外还要关注信息的完整性和可用性，这就是信息安全强调的所谓 c i a ( c o n f i d e n t i a l i t y ，i n t e g r i t y ，a v a i l a b i l i t y ) 目标，这也是信息安全的基本要 素和安全建设所应遵循的基本原则，如图1 1 所示。 完整性 i n t e g r i t y 保密性 c o n f i d e n t i a l i t y 图1 1 信息安全基本原则 可用性 a v a i l a b i l i t y 其中每一个要素的含义如下： 1 保密性( c o n f i d e n t i a l i t y ) 。确保信息在存储、使用、传输过程中不会泄 漏给非授权用户或实体。 2 完整性( i n t e g r i t y ) 。确保信息在存储、使用、传输过程中不会被非授权 2 第一章入侵检测技术 用户篡改，同时还要防止授权用户对系统及信息进行不恰当的篡改，保持信息 内、外部表示的一致性。 3 可用性( a v a i l a b i l i t y ) 。确保授权用户或实体对信息及资源的正常使用不 会被异常拒绝，允许其可靠而及时地访问信息及资源。 在此之后，计算机安全问题得到了更多的注意和重视，其中，美国军方特 别设立了一个针对计算机审计机制的研究项目，该项目由j a m e sea n d e r s o n 负 责主持。a n d e r s o n 于19 8 0 年完成了技术报告计算机安全威胁监控与监视 ( “c o m p u t e rs e c u r i t yt h r e a tm o n i t o r i n ga n ds u r v e i l l a n c e ”) 【l j ，第一次明确提出 安全审计的目标，并强调应该对计算机审计机制做出若干修改，以便计算机安 全人员能够方便地检查和分析审计数据。a n d e r s o n 在报告中定义了3 种类型的 恶意用户。 1 伪装者( m a s q u e r a d e r ) 。此类用户试图绕过系统安全访问控制机制，从 而利用合法用户的系统账户。例如，使用盗窃而来的用户名和口令访问系统的 入侵者。 2 违法者( m i s f e a s o r ) 。在计算机系统上执行非法活动的合法用户。 3 秘密活动者( c l a n d e s t i n e du s e r ) 。此类用户在获取系统最高权限后，利 用该权限以一种审计机制难以发现的方式进行秘密活动，或者干脆关闭审计记 录过程。， a n d e r s o n 还提出了审计跟踪的一些关键信息，这些信息对跟踪误用行为和 理解用户行为很有帮助。a n d e r s o n 在报告中提出可以根据在审计数据记录中的 偏离历史正常行为模式的用户活动来检查和发现伪装者和一定程度上的违法 者。a n d e r s o n 对此问题的建议，实质上就是入侵检测中异常检测技术的基本假 设和检测思路，为入侵检测的理论和以后的入侵检测系统的设计和发展奠定了 基础。可以说，他的工作成为基于主机的入侵检测系统和其他入侵检测系统的 出发点。j a m e sp a n d e r s o n 在该文章中提出了一个基于审计跟踪数据的监视系 统，如图1 2 所示。 1 1 2 入侵检测基本模型的建立 这个想法在d o r o t h yd e n n i n g 的i d e s 项目中得以实现。1 9 8 3 年，d o r o t h y 3 第一章入侵检测技术 图1 2j a m e sp a n d e r s o n 的监视系统模型 d e n n i n g 为政府作一个致力于入侵检测研究的工程项目，他们的目标是分析从 政府主机来的审计数据并且针对用户的行为建立用户轮廓文件。她首先提出了 一个实时入侵检测系统模型，它独立于特定的系统平台、应用环境、系统弱点 以及入侵类型，为构建入侵检测系统提供了一个通用的框架。d e n n i n g 提出的 统计分析模型在早期研发的入侵检测专家系统( t h ei n t r u s i o nd e t e c t i o ne x p e r t 4 第一章入侵检测技术 s y s t e m ，i d e s ) 中得到较好的实现。i d e s 系统中的统计分析组，采用了一组 特征度量值( 例如文件访问、c p u 使用等) 来建立系统活动的正常行为模式， 之后计算出当前用户行为与先前正常活动模式的偏离程度，并根据偏离程度的 大小来判断是否发生了入侵活动。由此可见，d e n n i n g 的i d e s 系统主要采纳 了a n d e r s o n 的技术报告中给出的检测建议，当然，d e n n i n g 的论文中还提出了 用于入侵检测的操作模型、多元模型和马尔可夫过程模型等。d e n n i n g 的入侵 检测的基本模型如图1 3 所示【2 】。 图1 3 通用入侵检测模型 在图1 3 所示的入侵检测模型中，事件生成器从给定的数据源中( 包括主 机审计数据、网络数据包和应用程序的日志信息等) ，生成入侵检测事件，并分 别送到活动档案计算模块和规则库检测模块中。活动档案计算模块根据新生成 的事件，自动更新系统行为的活动档案；规则库检测模块根据当前系统活动档 案和当前事件的情况，发现异常活动，并可以按照一定的规则自动地删减规则 库中的规则集合。 1 9 8 8 年，s r f c s l ( s r i 公司计算机科学实验室) 的t e r e s al u n t 等人改进 了d e n n i n g 的入侵检测模型，并开发出了一个新的i d e s ( t h ei n t r u s i o nd e t e c t i o n e x p e r ts y s t e m ) 入侵检测专家系统。该系统包括一个异常检测器和一个专家系 统，分别用于异常模型的建立和基于规则的特征分析检测，如图1 4 所示。 第一章入侵检测技术 1 1 3 入侵检测技术的蓬勃发展 继a n d e r s o n 和d e n n i n g 的开创性工作后，1 9 9 0 年，加州大学d a v i s 分校 的t o d d h e b e r l i e n 等人开发出了n s m ( n e t w o r ks e c u r i t ym o n i t o r ，网络安全监 视系统) 【4 】。该系统第一次截获t c p i p 分组数据，直接将网络流作为审计数据 来源，因而可以在不将审计数据转换成统一格式的情况下监控异种主机。从此 之后，入侵检测系统的发展史翻开了新的一页，两大阵营正式形成：基于网络 的入侵检测系统和基于主机的入侵检测系统。n s m 的引入在入侵检测领域掀起 了一场革命，也迎来了入侵检测系统蓬勃发展的春天，将入侵检测系统带入了 商业化运作。 图1 4i d e s 结构框架 h e b e r l e i n 的贡献还在于他提出了分布式入侵检测系统( d i s t r i b u t e di n t r u s i o n d e t e c t i o ns y s t e m ，d i d s ) ，首次引入了混合入侵检测的概念。8 0 年代末9 0 年 代初，美国空军、国家安全局和能源部共同资助加州大学d a v i s 分校、空军密 码支持中心、劳伦斯利弗摩尔国家实验室以及h a y s t a c k 实验室，展开了对分布 式入侵检测系统的研究。d i d s 是一个大规模的合作开发项目，它第一次尝试 将主机入侵检测和网络入侵检测的能力集成，以便于一个集中式的安全管理小 组能够跟踪安全侵犯和网络间的入侵。在大型网络互联环境下跟踪网络用户和 文件一直是一个棘手的问题，但是这很关键，因为入侵者通常会利用计算机系 统的互联来隐藏自己真实的身份和地址，一次分布式攻击往往是每个阶段从不 同系统发起攻击的组合结果，d i d s 是第一个具有此类攻击识别能力的入侵检 6 第一章入侵检测技术 测系统，其结构框架如图1 5 所示。 图1 5 d i d s 结构框架 1 9 9 5 年，普渡大学的s k u m a r 提出基于有色p e t r i 网的模式匹配计算模型， 并实现了i d i o t 原型系统；1 9 9 6 年新墨西哥大学的f o r r e s t 提出了基于计算机 免疫学的入侵检测技术；1 9 9 7 年，c i s c o 公司开始将入侵检测技术嵌入到路由 器；w e n k el e e 提出了用于入侵检测的数据挖掘技术框架；2 0 0 0 年，普渡大学 的d i e g oz a m b o n i 和e s p a f f o r d 提出了的自治代理结构，并实现了原型系统 a a f i d 系统。从2 0 世纪9 0 年代到现在，入侵检测系统的研发呈现出百家争鸣 的繁荣局面，并在智能化和分布式两个方向取得了长足的进展。目前，s r i c s l 、 普渡大学、加州大学戴维斯分校、哥伦比亚大学、新墨西哥大学等机构在这些 方面的研究代表了当前国际上入侵检测技术的最高水平。 入侵检测技术自2 0 世纪8 0 年代提出以来，经过了2 0 多年的不断发展，在 发展的早期阶段( 1 9 8 4 1 9 9 2 年) ，入侵检测还仅仅是个有趣的研究领域，并没 有获得计算机用户的足够注意，当时的流行做法是将计算机安全的大部分预算 投入到预防性措施上，例如加密、身份验证、访问控制等，而将监测和响应排 斥在外。到了1 9 9 6 年以后，才逐步出现了大量的商用入侵检测系统，成为计算 机安全防护领域内不可缺少的一种重要安全防护技术。早期的入侵检测系统几 乎都是基于主机的，在过去的1 0 年里最流行的商用入侵检测系统大多是基于互 联网络的，现在和未来几年的发展趋势似更倾向于混合型和分布式系统。 第二节入侵检测系统的分类 入侵检测，简单地说就是从计算机网络系统或主机中的若干关键点收集信 息并进行分析，检测并判断出是否有入侵行为或安全问题，入侵检测技术是一 7 第一章入侵检测技术 种主动保护自己免受攻击的网络安全技术。入侵检测是访问控制的补充，帮助 系统对付网络攻击，扩展了网络管理员对网络的安全管理能力( 包括安全审计、 监视、进攻识别和响应) ，提高了信息安全基础结构的安全性。因此，入侵检测 被认为是防火墙之后的第二道安全闸门，在不影响网络性能的情况下对网络活 动进行检测，从而提高对内部攻击、外部攻击和非法操作的实时保护。 入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) 是执行入侵检测任务的 计算机系统，是对来自网络内部和外部攻击进行检测和响应的主要措施，是一 个完整的网络安全系统中不可缺少的部分，是网络防火墙的合理的补充，是自 动进行入侵检测的监视和分析过程的硬件或软件产品。i d s 根据数据来源可以 分为基于主机的入侵检测系统( h o s t b a s e di n t r u s i o nd e t e c t i o ns y s t e m ，h i d s ) 、 基于网络的入侵检测系统( n e t w o r k b a s e di n t r u s i o nd e t e c t i o ns y s t e m ，n i d s ) 和混合型( h y b r i d ) 入侵检测系统。i d s 根据检测部件部署方式可分为集中式 入侵检测系统( c n ) s ) 和分布式入侵系统( d i d s ) 7 - 1 3 】。本节将依次对它们做 简要介绍。 1 2 1 基于主机的入侵检测系统 h i d s 只关心某一特定主机本身的事件，其目标是对给定主机的用户行为、 系统活动和攻击进行监视、检测和响应。 h i d s 通常从主机的审计记录和日志文件中获得所需的主要数据源，在系 统日志里记录了用户进入系统的i d 、时间以及行为等，被设计用于监视、检测 对于主机的攻击行为，通知系统管理员并进行响应。有些功能强大的工具甚至 能提供审计策略管理与集中控制，提供数据对比、统计分析和证据支持。h i d s 非常适合配置来对抗内部的威胁，因为他能对指定用户的行为和对该主机文件 访问进行监视和响应。h i d s 具有性能价格比高，在网络传输被加密的情况下 仍能工作等优点，缺点是依赖于主机及其审计系统，实时性较差。 1 2 2 基于网络的入侵检测系统 直到1 9 9 0 年以前，入侵检测系统大都是基于主机的。进入9 0 年代后，由 于i n t e r n e t 的发展以及通信和网络带宽的增加，系统的互联性已经有了明显的 提高，此时，网络入侵检测系统的概念被提出。网络入侵者通常是利用网络的 8 第一章入侵检测技术 漏洞进入系统，如t c p i p 协议的三次握手，就给入侵者提供入侵系统的途径。 n i d s 的数据来源于网络中的数据包，n i d s 通常利用一个运行在混杂模式 下的网络适配器来实时监视并分析通过网络的所有通信业务。它能截取利用不 同传输介质以及不同协议进行传输的数据包，但大部分是t c p i p 数据包。截获 数据包后，对包进行一系列的分析，它的攻击识别模块通常使用以下四种常用 技术来识别攻击行为：模式、表达式或字节匹配、频率或穿越阀值、次要事件 的相关性和统计学意义上的非常规现象检测。 在一定程度上，网络入侵检测常常被用来当作一种网络周边环境防御的主 要方法，n i d s 具有检测速度快，监视器数目较少，攻击者不易转移证据，操 作系统无关性，占用资源少以及易于安装维护等优点。并且由于网络协议是标 准的，无需考虑被保护系统和操作系统平台的类型和版本号，可以对网络提供 通用的保护，降低了系统的复杂程度。但是，由于技术的限制，网络入侵检测 系统无法应用在下列的环境中： 交换式网络 加密的网络 高速网络 c i s c o 的一款用于c a t a l y s t6 0 0 0 系列交换机的入侵检测模块，它可以将网 络入侵检测直接植入交换机中，这样就克服了不能用于交换式网络的缺陷。人 们也曾考虑过采用负载平衡以克服了不能用于高速网络的缺陷，但负载平衡只 能是一个辅助手段，因为一方面开销加大，另一方面其稳定性并不可靠。 1 2 3 混合型入侵检测系统 混合型入侵检测系统是h i d s 与n i d s 的结合，它融合了h i d s 与n i d s 的 特点，这种混合的解决方案为n i d s 和h i d s 提供了互补，并提供了对基于主 机和网络的入侵检测设备进行集中管理。采用这种技术能实现对入侵检测行为 的全方位检测，避免入侵行为被忽略掉，使安全措施的实施更加有效。 1 2 4 集中式入侵检测系统 集中式入侵检测系统采用单台主机对其审计数据或网络流量进行分析，寻 找可能的入侵行为；由于采用集中处理的方式，实现入侵检测功能的主机会成 9 第一章入侵检测技术 为系统的瓶颈：一方面因承担过多的工作而影响系统的性能；另一方面该主机 也往往成为被攻击的首要目标，一旦被攻破，系统的安全就得不到保证。 1 2 5 分布式网络入侵检测系统 分布式网络入侵检测系统采用多个代理分布在网络的各个部分，分别进行 入侵检测，并且可以协同处理可能的入侵行为；这种方式将检测代理分布在网 络上感兴趣或重要的位置，独立、自治地运行，收集入侵信息，独立或协同地 检测网络入侵行为；这种入侵检测方式实现了功能和安全分散，解决了单点失 效问题，将入侵行为和造成的损失局限在一定范围内，不会对系统安全性能造 成严重影响。 第三节入侵检测方法 异常检测和误用检测是目前最成熟、最常用的入侵检测技术，本节将对它 们进行集中介绍；同时，我们还将简要介绍其他一些正在发展的入侵检测技术。 1 3 1 异常检测技术 异常检测( a n o m a l yd e t e c t i o n ) 是基于行为的检测，是将正常用户行为特 征轮廓和实际用户行为进行比较，并标识出正常和非正常的偏离。轮廓定义一 个度量集，度量用来衡量用户的特定行为。每一度量与一个阈值或域相联系。 即异常入侵检测通常都会建立一个关于系统正常活动的状态模型并不断进行更 新，然后将用户当前的活动情况与这个正常模型进行比较，如果发现了超过设 定阈值的差异程度，则指示发现了非法攻击行为。异常检测依赖于一个假定： 即用户表现为可预测的、一致的系统使用模式。这个方法也能随着事件的迁移 适应用户行为方面的变化。但是异常检测的完成仍必须验证，因为我们无法判 定给定的度量集是否完备。因此，异常检测作为一种可靠而强壮的系统保护机 制仍需要进一步的研究。异常检测技术通常包括： 1 统计分析 i d e s 系统实现了最早的基于主机的统计模型，d e n n i n g 博士在她里程碑式 的论文中提出了4 种可以用于入侵检测的统计模型。每一个模型适合于一个特 l o 第一章入侵检测技术 定的度量。这些模型包括：( 1 ) 操作模型：这个模型主要关心对系统中所发生 事件的计数度量情况，例如观察在一定时间间隔内发生登录失败事件的次数等。 当度量超过一个阈值时则出发一个异常；( 2 ) 均值与标准偏差模型：这个模型 提出系统当前状态特征可以采用均值和标准偏差两个参数度量来描述。即假定 系统行为度量是分布在某个平均值的标准偏差内。一个新的行为观察如果落在 信任间隔之外则被定义成异常；( 3 ) 多元模型：多元模型是对平均和标准偏差 模型的一个扩展，其主要思想是在多个参数度量之间进行相关分析，摆脱了单 纯依赖单个度量值来判断的限制。( 4 ) 马尔可夫过程模型：在这个模型中，检 测器把审计事件的每个不同类型作为一个状态变量，并且使用一个状态转换矩 阵来描述在不同状态间的转换频率。即用随机过程模型来刻画入侵检测系统的 输入数据流。如果当前审计事件按照状态转移矩阵计算出的发生概率小于某个 阈值，则定义为一个异常行为。 2 统计度量 统计度量是异常检测中最古老的方法之一。前面提到的早期系统，如i d e s 就使用了这个方法。统计分析起初是以伪装成合法用户的入侵者为目标的，但 是采用统计分析也可以捕捉到一些可疑的可能导致安全漏洞的活动，这其中有 些是别的检测方法不能实现的，甚至可以检测到一些未知的入侵行为。只要很 好的选择度量，统计分析可以大大增加其可靠性。 3 非参数统计度量 早期的统计方法都使用参数方法描述用户和其他系统实体的行为模式，这 些方法都假定了被分析数据的基本分布。如果一旦假定与实际偏差较大，那么 无疑会导致很高的错误率。l a n k e w i c a 和m a r kb e n a r d 提出了一种克服这个问题 的方法，就是使用非参数技术执行异常检测。这个方法只需要很少的已知使用 模式，并允许分析器处理不容易由参数方案确定的系统度量。 4 量化分析 量化分析是异常检测中最常用的方法，它将检测规则和属性以数值形式表 示，这些结果是误用检测和异常检测统计模型的基础。量化分析通常包括阈值 检测、启发式阈值检测、基于目标的集成检查和数据精简等。 5 基于规则的方法 另一个异常检测的变体是基于规则的异常检测。这个方法的潜在假定和统 计法相关的假定是一样的。主要不同是基于规则的异常检测系统使用规则集来 第一章入侵检测技术 表示和存储使用模式。与统计度量相比，这种方法没有行为渐变的问题，但在 基于学习的系统中，在早期会产生大量的漏报。 6 神经网络 神经网络使用自适应学习技术来描述异常行为，属于非参分析技术。神经 网络由许多称为单元的简单处理元素组成，这些单元通过使用加权的连接相互 作用。一个神经网络的知识根据单元和它们之间的连接权值编码而成。实际的 事件异常检测过程是通过改变单元状态、连接权值、加入或移去连接进行的。 在使用神经网络进行入侵检测时，主要不足是神经网络不能为它们提供任何信 服的解释，这使它不能满足安全管理需要。 1 3 2 误用检测技术 入侵特征( s i g n a t u r e ) 说明了导致误用行为的系统缺陷的特征、条件、序 列和关系。误用检测( m i s u s ed e t e c t i o n ) 技术根据系统缺陷( 特征) 和预先精 确定义的入侵模式对观察到的用户行为和资源使用情况进行模式匹配来进行检 测，因此误用检测又称为特征检测。误用检测的主要假设是攻击行为能够被精 确地按照某种方式进行编码。误用检测的误报率可以做到很低，但是它仅能检 测我们已经知道的。如果i d s 具有学习功能的话，那么就可以不断提高i d s 的 知识水平。误用检测包括下面一些方法： 1 专家系统 早期的误用检测都采用专家系统，如i d e s ，d i d s 等。使用专家系统的优 点在于可以把系统的控制推理从问题解决的描述中分离出去，这样就允许用户 以i f - - t h e n 的形式输入攻击信息和动作，而不需要用户理解专家系统的内部功 能。采用专家系统可以将误报率压得很低，但是它也存在一些不足：如不适用 于处理大批量数据，特别是规则数量的增加使系统性能下降的非常快，尽管对 规则进行分类索引可以取得一定效果，但是无法根本上解决问题；无法利用连 续有序数据之间的关联性；无法处理不确定性。 2 状态转换分析 采用状态转换法允许使用最优模式匹配进行结构化误用检测，速度快，灵 活性高。状态转换法使用系统状态和状态转换表达式描述和检测己知入侵，主 要有语言基于a p i 的方法、状态转换特征法、有色p e t r i 网( c p - n e t s ) 和状态 1 2 第一章入侵检测技术 转换分析法。 1 3 3 先进的入侵检测技术 一些最近出现的入侵检测方法从不同的技术角度来看待入侵检测的基本问 题，并利用许多人工智能或机器学习的算法，试图解决传统监测技术存在的若 干问题，例如虚假警报、缺乏检测未知或变形攻击的能力、扩展性和自适应性 等。这些新的检测技术既不属于异常检测，也不属于误用检测，但它们都可以 应用于上述两种检测方法。它们主要包括： 1 计算机免疫学方法 计算机免疫技术是直接受到生物免疫机制的启发而提出的。根据这种理论， 由于计算机网络受到安全策略、计算机程序以及系统配置等多种因素中可能包 含的错误的影响而总是处于易受入侵的状态，所以入侵检测技术必须面对这种 现实情况。在生物系统中所存在的种种脆弱因素都是由免疫系统妥善处理的， 而这种免疫系统机制在处理外来异体时呈现了分布的、多样性的、自治的和自 修复的特征。 f o r r e s t 等人在将计算机安全与生物免疫学进行类比研究的基础上，最早提 出了计算机免疫学的概念，并将其应用到入侵检测的研究领域。他们注意到免 疫系统最重要的任务是如何准确识别本体和异体，即一个免疫系统能决定哪些 东西是无害因素，哪些是有害因素。免疫系统和计算机系统保护机制之间有着 显著的相似性，即两者的关键是有识别“自我非自我”的能力，由于免疫系统通 过使用蛋白质片段( 肽) 等特征来完成本体的识别，而计算机系统同样具有多 个特征可供选择，因此，研究者们将注意力集中到与蛋白质片段相似的计算机 属性上来研究异常检测。 2 遗传算法 另一个比较复杂的异常检测方法是使用遗传算法执行事件数据分析。一个 遗传算法是一类称为进化算法的一个实例。进化算法吸收达尔文自然选择法则 ( 适者生存) 来优化问题解决。这些算法在多维优化问题处理方面的能力已经 得到认可，并且遗传算法对异常检测的实验结果也是令人鼓舞的，在检测准确 率和速度上有较大的优势，但主要的不足就是不能在审计跟踪中精确的定位攻 击，这一点和神经网络面临的问题相似。 1 3 第一章入侵检测技术 3 数据挖掘 另一个与一些基于规则异常检测相似的方法是使用数据挖掘技术建立入侵 检测模型。数据挖掘( d a t am i n i n g ) 是从大量实体数据中抽出模型，这些模型 经常隐藏在数据中，需要采用各种特定的算法在大量数据中发现有用的模型。 数据挖掘技术非常适合于从历史行为的大量数据中进行特征提取和对当前用户 行为数据进行行为特征提取，通常对挖掘数据最有用的三种算法包括分类算法、 关联分析算法和序列分析算法。l e e 提出以数据为中心的思想，研制出基于数 据挖掘的入侵检测系统m a d a m i d 。与此同时，i b m 、哥伦比亚大学、纽约州 立大学及国内研究人员都相继进行了基于数据挖掘的入侵检测研究并开发出标 准数据挖掘扩展算法来满足一些审计和系统时间日志处理的特殊需求【5 1 1 6 1 。 1 4 第二章模糊数据挖掘技术 第二章模糊数据挖掘技术 第一节数据挖掘技术 在过去的数十年中，随着信息科技的进步以及电子化时代的到来，数据库 应用的规模、范围和深度不断扩大，人们以更快捷、更容易、更廉价的方式获 取和存储数据，使得数据及信息量以指数方式增长。据粗略估计，一个中等规 模企业每天要产生1 0 0 m b 以上的商业数据。而电信、银行、大型零售业每天 产生的数据量以t b 来计算。快速增长的海量数据收集、存放在大型数据库中， 如果没有强有力的工具，理解它们已经远远超出了人的能力范围，高维海量的 数据增加了传统统计分析方法的难度，这样，对大型数据的处理和分析的需求 显得越来越迫切。如何才能不被信息的汪洋大海所淹没，从中及时发现有用的 知识，提高信息利用率昵? 无怪乎未来学家奈斯比特( j o h n n a i s b i t t ) 惊呼：“人 类正被信息淹没，却饥渴于知识 ，即“数据丰富，知识缺乏”。面对这一严峻 挑战，从数据库中发现知识( k n o w l e d g ed i s c o v e r yi nd a t a b a s e s ，k d d ) 及其核 心技术一数据挖掘( d a t am i n i n g ) 便应运而生，并得以蓬勃发展，越来越显示 出其强大的生命力。 2 1 1 数据挖掘的定义 数据挖掘有广义和狭义之分。广义的数据挖掘，指从大量的数据中发现隐 藏的、内在的和有用的知识或信息的过程。狭义的数据挖掘是指知识发现中的 一个关键步骤，是一个抽取有用模式或建立模型的重要环节。知识发现是识别 出存在于数据库中有效的、新颖的、具有潜在价值的乃至最终可理解的模式的 非平凡过程【l 7 】【l 引。数据挖掘则是指从数据库的大量数据中揭示出隐含的、先前 未知的并有潜在价值的信息的非平凡过程。这两个术语的内涵基本相同，对这 两个术语更严格的区分是在“知识发现9 6 国际会议”上，f a y y a d p i a t e t s k y s h a p i r o 和s m y t h 指出：“知识发现是从数据库中发现知识的全部过程， 而数据挖掘则是此全部过程的一个特定的关键步骤【1 9 】【2 0 】”。 第二章模糊数据挖掘技术 数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中， 提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 人们把原始数据看作是形成知识的源泉，就像从矿石中采矿一样。原始数据可 以是结构化的，如关系数据库中的数据，也可以是半结构化的，如文本、图形、 图像数据，甚至是分布在网络上的异构型数据。发现知识的方法可以是数学的， 也可以是非数学的；可以是演绎的，也可以是归纳的。发现的知识可以被用于 信息管理、查询优化、决策支持、过程控制等，还可以用于数据自身的维护。 因此，数据挖掘是一个多学科领域，这些学科包括数据库技术、人工智能、机 器学习、统计学、模式识别、知识库系统、知识获取、信息检索、高性能计算 和数据可视化等方面。 2 1 2 数据挖掘功能 数据挖掘功能用于指定数据挖掘任务