（计算机应用技术专业论文）基于数据预处理的入侵检测系统研究.pdf

山东师范人学颂i ：学位论文 基于数据预处理的入侵检测系统研究 摘要 随着互联网的迅速发展和网络环境的同趋复杂，新的攻击方法层出不穷，单纯的防火 墙策略己经无法满足当前的需要，网络的防卫必须采用一种纵深的、多样的手段。在这种 需求背景下，入侵检测系统应运而生，成为保证网络安全的第二道大门。但传统的入侵检 测系统仍存在一些缺陷，如在检测率和误报率等方面还不尽人意。 本文致力于对基于数据预处理的入侵检测系统的研究，即在常规入侵检测系统的基础 上，加入预处理子系统。通过巧妙设计，使数据预处理子系统和入侵检测子系统相互配合 工作，从而将异常检测技术与误用检测技术有机结合，使二者能够发挥各自的优势，最终 达到使入侵检测系统进一步提高检测率，降低误报率的目的。为此，主要做了以下几方面 的工作： 1 对入侵检测技术相关理论进行综合概述。包括对入侵检测技术的概述，对常见入 侵检测算法的对比、分析，对常见模式匹配算的对比、分析。通过对以上基础理论的研究 分析，得出一些有用结论。 2 提出基于数据预处理的入侵检测系统模型的新设计方案。通过对模型进行巧妙设 计，使数据预处理子系统和入侵检测子系统相互配合工作，从而达到将异常检测技术与误 用检测技术有机结合的目的。 3 提出赋权t c m k n n 算法。一方面，新定义的奇异值使不属于正常样本的奇异值 远远大于在该正常类中样本的奇异值，因而它能充分地将非正常数据与正常数据进行隔 离。另一方面，在k 值的确定过程中，针对不同类别分别采用赋权取整的方法来确定k 值， 进一步提高了算法的精确度。 4 对s n o r t 系统的预处理器和检测引擎进行改进，使其适用于本模型。经过改进的 s n o r t 系统，将预处理子系统聚类分析过的数据，分别送入相应知识库，对各类数据分别 进行误用检测。 关键词：入侵检测；数据预处理：聚类分析，赋权t c m k n n 算法；s n o r t 分类号：t p 3 9 3 山东师范人学硕一l ：学位论文 s t u d yo fi n t r u s i o nd e t e c t i o ns y s t e mb a s e do nt h ed a t ap r e p r o c e s s i n g a b s t r a c t a l o n gw i t ht h er a p i dd e v e l o p m e n to fi n t e r n e ta n dt h ei n c r e a s i n g l yc o m p l e xn e t w o r ke n v i r o n m e n t ，t h e n e wm e t h o do fa t t a c ke m e r g e so n ea f t e ra n o t h e r , s i m p l ef i r e w a l ls t r a t e g yi su n a b l et om e e tt h ec u r r e n tn e e d s ， t h en e t w o r kd e f e n s em u s tu s eo n ek i n do fd e p t h ，v a r i e t ym e t h o d u n d e rt h i sk i n do fd e m a n db a c k g r o u n d , i n t r u s i o nd e t e c t i o ns y s t e mc o m e si n t ob e i n g ，a n db e c o m e st h es e c o n dd o o rt oa s s u r en e t w o r ks e c u r i t y h o w e v e r , t r a d i t i o n a li n t r u s i o nd e t e c t i o ns y s t e ms t i l lh a ss o m ef l a w s ，f o re x a m p l e ，t h er a t eo fd e t e c t i o na n d f a l s ea l a r mi sa l s ou n s a t i s f a c t o r y m u c ha t t e n t i o nh a sb e e np a i dt os t i l d yo fi n t r u s i o nd e t e c t i o ns y s t e mb a s e do nt h ed a t ap r e p r o c e s s i n gi n t h i sp a p e r ，i no t h e rw o r d s ，b a s e do nt h ei nc o n v e n t i o n a li n t r u s i o nd e t e c t i o ns y s t e m ，a d dap r e - p r o c e s s i n g s u b s y s t e m t h r o u g hc l e v e rd e s i g n ，l e tt h ed a t ap r e - p r o c e s s i n gs u b - s y s t e ma n di n t r u s i o nd e t e c t i o ns u b - s y s t e m s w o r kt o g e t h e r ，、) l r i t ht h ea n o m a l yd e t e c t i o nt e c h n i q u e sa n dm i s u s ed e t e c t i o nt e c h n o l o g yc o m b i n e d 、析t l l o r g a n i c ，l e yc a np l a yt h e i rr e s p e c t i v ea d v a n t a g e s ，r e a c ht h ep u r p o s eo ff u r t h e re n h a n c et h ed b t e c t i o nr a t ea n d l o w e rf a l s ea l a r mr a t eo ft h ei n t r u s i o nd e t e c t i o ns y s t e m s e v e r a la s p e c tw o r km a i n l yh a sb e e nd o n ei nt h e f o l l o w i n gw o r k ： 1 s u m m a r i z e do nt h ei n t r u s i o nd e t e c t i o nt e c h n o l o g yr e l a t e dt h e o r yi n c l u d s ，s u m m a r i z e do nt h ei n t r u s i o n d e t e c t i o nt e c h n o l o g y ， c o m p a r e da n da n a l y z e dt h ea l g o r i t h mo fa n o m a l yd e t e c t i o n ，c o m p a r e da n da n a l y z e d t h ea l g o r i t h mo fp a t t e r nm a t c h i n g t h r o u g hr e s e a r c ha n da n a l y s i st h eb a s i ct h e o r ya b o v e ，g o ts o m eu s e f u l c o n c l u s i o n s ， 2 d e s i g n e dan e wp r o g r a mo ft h em o d e lo fi n t r u s i o nd e t e c t i o ns y s t e mb a s e do nt h ed a t ap r e p r o c e s s i n g t h r o u g hac l e v e rd e s i g no ft h em o d e l ，l e tt h ed a t ap r e - p r o c e s s i n gs u b s y s t e ma n di n t r u s i o nd e t e c t i o n s u b - s y s t e m sw o r kt o g e t h e r , r e a c ht h ep u r p o s eo fl e tt h ea n o m a l yd e t e c t i o nt e c h n i q u e sa n dm i s u s ed e t e c t i o n t e c h n o l o g yc o m b i n e dw i t ho r g a n i c 3 d e s i g n e dan e wa l g o r i t h mo fe m p o w e r i n gt c m k n na l g o r i t h m o nt h eo n eh a n d ，n e wd e f i n i t i o no f s i n g u l a rv a l u el e tt h es a m p l e sd on o tb e l o n gt ot h en o r m a ls i n g u l a rv a l u ei sm u c hl a r g e rt h a ni nt h en o r m a l c l a s so fs i n g u l a rv a l u es a m p l e s o ，i tc a l lb ef u l l yi s o l a tn o n n o r m a ld a t aa n dn o r m a ld a t a o nt h eo t h e rh a n d , i 1 1t l l ep r o c e s so fd e t e r m i n a t i n gk v a l u e ，m e t h o d sw e r eu s e dt od e t e r m i n et h ekv a l u ef o rd i f f e r e n tt y p e so f d a t a ，f u r t h e ri m p r o v e dt h ea c c u r a c yo ft h ea l g o r i t h m 4 i m p r o v et h es n o r tp r e p r o c e s s o rs y s t e ma n dt h ed e t e c t i o ne n g i n e ，t om a k ei ta p p l i c a b l et ot h em o d e l t h e i m p r o v e ds n o gs y s t e m ，s e n tt h ed a t af r o mc l u s t e ra n a l y s i s e db yp r e - p r o c e s s i n gs u b s y s t e mt ot h e c o r r e s p o n d i n gk n o w l e d g eb a s e ，d e t e c tv a r i o u st y p e so f d a t a k e y w o r d s ：i n t r u s i o nd e t e c t i o n ；d a t ap r e p r o c e s s i n g ；c l u s t e ra n a l y s i s ；e m p o w e r i n gt c m - k n na l g o r i t h m ； s n o a c l a s s i f i c a t i o n ：t p 3 9 3 v 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成 果。据我所知，除了文中特 l , j j r l 以标注和致谢的地方外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得( 注：如没有其他需要特别声明的， 本栏可空) 或其他教育机构的学位或证书使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示谢意。 一躲磊霞 导师签字纠弓良、 学位论文版权使用授权书 本学位论文作者完全了解堂撞有关保留、使用学位论文的规定，有权保留并向国 家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权堂撞可 以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等 复制手段保存、汇编学位论文。( 保密的学位论文在解密后适用本授权书) 签名绍、震 签字日期：2 0 0 7 年0 月- 2 _ 日 翩擗坼艮 签字日期：2 0 0 少年月z e t 山东师范人学顾 ：学位论文 第一章绪论 本章首先介绍入侵检测技术的研究背景和国内外研究现状，然后介绍本文的主要工 作。 1 1 论文的研究背景 i n t e r n e t 是信息时代的宠儿，自从问世以来，i n t e r n e t 就在不断地迅猛发展，人们 获取信息和相互交流更为便捷，企业的营销方式和管理机制也由i n t e r n e t 的发展而带来 了新机遇，但是，i n t e r n e t 的飞速发展也带来了无数的安全问题。i n t e r n e t 在设计初期， 主要考虑相互兼容和互通能力，并没有针对安全方面做太多设计，i n t e r n e t 的飞速发展 更使得之后对i n t e r n e t 协议进行全面修改成为难以解决的难题。 随着互联网的迅速发展和网络环境的r 趋复杂，新的攻击方法层出不穷。防火墙作为 一种静态的访问控制类安全产品通常使用包过滤的技术来实现网络的隔离，适当配置的防 火墙虽然可以将非预期的访问请求屏蔽在外，但不能检查出经过它的合法流量中是否包含 着恶意的入侵代码。因此，单纯的防火墙策略己经无法满足当前的需要，网络的防卫必 须采用一种纵深的、多样的手段。在这种需求背景下，入侵检测系统应运而生，成为保证 网络安全的第二道大门。 入侵检测是指发现非授权用户企图使用计算机系统或合法用户谧用其特权的行为，这 些行为破坏了系统的完整性、机密性及资源的可用性。为完成入侵检测任务而设计的计算 机系统称为入侵检测系统比1 ( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) 。i d s 的作用是检测对系 统的入侵事件，一个入侵检测系统应具有准确性、可靠性、可用性、适应性、实时性和安 全性等特点。它是网络安全技术极其重要的组成部分，目前已成为网络安全研究的一个热 点。 1 2 入侵检测技术的国内外研究现状 入侵检测系统的核心技术发展至今已经历了三代捌，每个发展阶段有其各自的阶段特 征和相应的代表产品，如表1 - 1 所示： 表l - 1 入侵检测系统发展的各阶段特征和主要产品 发展阶段阶段特征主要产品 第一代基于主机日志分析、模式匹配技术 i d e s ，d i d s ，n s m 等 第二代基于网络数据包截获、主机系统的审计数据分析 i s sr e a l s e c u r e ，c is c o ，s n o r t ( 2 0 0 0 年 技术开发代码并免费) 等 第三代基于协议分析、行为异常分析技术和基丁网络的 n e t w o r ki c e ，安氏l i n kt r u s tn e t w o r k n i d s 与基于主机的h i d s 的明确分工和合作技术d e f e n d e r ( v 6 。6 ) n f r ( 第二版) 等 山东师弛人学硕i ：学位论文 在国外，知名的入侵检测产品有c i s c o 公司的n e t r a n g e r 、n e t w o r ka s s o c i a t e s 公司 的c y b e r c o p 、i n t e r n e ts e c u r i t ys y s t e m 公司的r e a l s e c u r e 、i n t r u s i o nd e t e c t i o n 公 司的k a n e s e c u r i t ym o n i t o r 等等。这些产品既有基于主机的也有基于网络的，目前，越 来越多的产品都将二者结合起来，这些产品所基于的平台有u n i x 、l i n u x 、w i n d o w s 等， 分析引擎大多数采样误用检测技术，以r e a l s e c u r e 为代表。 在国内，入侵检测市场也发展迅速，主要产品有复旦光华的光华s - a u d i t 网络入侵检 测与安全审计系统、安氏的领信入侵检测系统、启明星辰的天闻千兆入侵检测与预警系统、 东软的入侵监测系统n e t e y e i d s 、金诺网安的k i d s 入侵检测系统、清华紫光的清华紫光 入侵检测系统、瑞星科技的瑞星入侵检测系统r i d s - 1 0 0 、东方龙马的东方龙马入侵检测 系统等。总的说来，与国外产品相比，国内产品仍有很大的差距，虽然国内产品数量较多， 但多集中在中低端。我国入侵检测技术应用较少，远远谈不到普及，一方面由于用户的认 知程度较低，另一方面由于入侵检测技术是- - r 7 比较新的技术，还存在一些技术上的困难， 大多数入侵检测产品都是近几年才研发成功，还存在一些不足之处。 目前，虽然入侵检测技术已经得到了比较广泛的应用，并且出现了一些商业化产品， 但是入侵检测技术仍然存在不少问题，有待继续完善和提高。现有入侵检测系统的主要问 题h 1 可以归结为以下几点： ( 1 ) 采用误用检测技术的入侵检测系统中，知识库得不到及时更新。在如今每天都 有新漏洞发布和新攻击方法产生的情况下，很多入侵检测系统并不能及时更新攻击特征。 ( 2 ) 采用误用检测技术的入侵检测系统中，对未知的入侵模式适应能力较差。虽然 误用检测能够利用已知攻击模式构造规则准确而高效地检测出大部分入侵行为，但是这种 系统自适应能力太弱，对未知的攻击模式无能为力。 ( 3 ) 采用异常检测技术的入侵检测系统中，虽然它与系统相对无关，通用性较强，并 且有可能检测出以前从未出现过的攻击方法，但是其误报率过高。 ( 4 ) 对加密攻击和分布式攻击，入侵检测系统的处理能力较差。随着入侵技术的不断 提高，很多攻击已经发展成大规模分布式、协作式、迂回式的攻击，现有的入侵检测系统 处理这类攻击的能力还很不理想。另外，现有的绝大多数入侵检测系统根本就没有考虑加 密攻击的问题，所以面对此类攻击入侵检测系统根本就无能为力。 ( 5 ) 在高带宽网络环境中，入侵检测系统的性能普遍不足。现在市场上的入侵检测系 统产品大多采用的是特征检测技术，这类产品是专门为小于1 0 0 m 的共享式网络环境设计 的。现在，这种入侵检测产品已经不能很好地适应交换技术和高带宽环境的发展，在大流 量冲击、多i p 分片的情况下都可能造成入侵检测系统的瘫痪或丢包，形成d o s 攻击。 ( 6 ) 不同入侵检测系统之间的互操作性较差。虽然，相关组织也出台了一些标准，比 如c i d f 和i d w g 组织定制的一些草案，虽然这些标准具有一定的影响力，但是都还没有得 到广泛的认同，未能形成国际统一的标准。大型网络的不同部分可能使用了不同的入侵检 测系统，由于缺乏统一的标准，因此，不同的入侵检测系统之间不能交换信息，使得发现 攻击时难以找到攻击源头，甚至给入侵者制造了攻击的漏洞。 2 山东师范人学硕l ：学位论义 ( 7 ) 入侵检测系统与其它网络安全产品的互操作差。一个安全的网络必须综合采用各 种安全技术，如防火墙、身份认证系统、网络管理系统等。但入侵检测系统还不能很好地 和其它安全产品协作。 ( 8 ) 入侵检测系统对自身的安全性考虑不充分。对入侵检测系统本身的攻击手段正逐 渐出现，入侵者先使入侵检测系统瘫痪，然后避开入侵检测系统的监视再实施对网络系统 的入侵。目前的入侵检测系统自身的安全性、健壮性和免疫力较差，甚至很多入侵检测系 统根本就没有考虑自身的安全性问题。 在入侵检测技术发展的同时，入侵技术也在不断更新。网络数据采集通常使用共享网 段侦听的方法进行，但是随着交换技术的发展和通过加密信道的数据通信技术的出现，使 原有数据采集方法愈显不足。因此，为了更好的适应网络安全的需要，入侵检测技术也在 不断地发展哺1 ，可概括为如下几点： ( 1 ) 大规模分布式入侵检测。第一层含义，针对分布式网络攻击的检测方法；第二层 含义，使用分布式的方法来实现分布式的攻击。传统的入侵检测技术一般只局限于单一的 主机或网络框架，显然不能适应大规模网络的监测，不同的入侵检测系统之问也不能协同 工作。因此，必须发展大规模的分布式入侵检测技术。 ( 2 ) 智能化入侵检测。使用智能化的方法与手段来进行入侵检测。所谓智能化方法， 现阶段常用的有神经网络、遗传算法、模糊技术、免疫原理等方法，这些方法常用于入侵 特征的辨别与泛化。 ( 3 ) 宽带高速网络的实时发展。大量高速网络的不断涌现，各种宽带接入手段层出不 穷，如何实现高速网络下的实时入侵检测成为一个现实问题。 ( 4 ) 数据融合技术的使用。目前的入侵检测系统还存在着很多缺陷。首先，目前的技 术还不能对付训练有素的黑客的复杂攻击。其次，系统的误报率太高。最后，系统对大量 的数据处理，非但无助于解决问题，还降低了处理能力。数据融合技术是解决这一系列问 题的好方法。 ( 5 ) 入侵检测技术与其它网络安全产品联动。结合防火墙，病毒防护以及电子商务技 术，提供完整的网络安全保障。 1 3 本文的主要工作及章节安排 本文的主要工作如下： 1 对入侵检测技术相关理论进行综合概述。包括对入侵检测技术的概述，对常见入 侵检测算法的对比、分析，对常见模式匹配算的对比、分析。通过对以上基础理论的研究 分析，得出一些有用结论。 2 提出基于数据预处理的入侵检测系统模型的新设计方案。通过对模型进行巧妙设 计，使数据预处理子系统和入侵检测子系统相互配合工作，从而达到将异常检测技术与误 用检测技术有机结合的目的。 3 提出赋权t c m k n n 算法。一方面，新定义的奇异值使不属于正常样本的奇异值 3 山东师范大学硕i j 学位论文 远远大于在该正常类中样本的奇异值，因而它能充分地将非正常数据与正常数据进行隔 离。另一方面，在k 值的确定过程中，针对不同类别分别采用赋权取整的方法来确定k 值， 进一步提高了算法的精确度。 4 对s n o r t 系统的预处理器和检测引擎进行改进，使其适用于本模型。经过改进的 s n o r t 系统，将预处理子系统聚类分析过的数据，分别送入相应知识库，对各类数据分别 进行误用检测。 论文的章节安排如下： 第一章：本章首先介绍入侵检测技术的研究背景和国内外研究现状，然后介绍本文的 主要工作。 第二章：对入侵检测技术的进行概述，并通过对主要异常检测算法、误用检测算法和 混合型入侵检测进行比较分析，得出一些有用结论。 第三章：主要介绍误用检测技术中的模式匹配算法，对列举的模式匹配算进行了系统 全面的分析比较，并进一步分析了模式匹配技术的原理和缺陷。 第四章：主要介绍基于数据预处理的入侵检测系统模型设计，通过对数据预处理子系 统和入侵检测子系统的合理设计，使两个子系统有机结合在一起配合工作。其中，提出赋 权t c m - k n n 算法，并应用于数据预处理子系统；对s n o r t 系统进行改进，并应用于入侵检 测子系统。 第五章：本章主要介绍对数据预处理子系统和入侵检测子系统进行实验和性能分析。 实验数据表明，本文对基于数据与处理的入侵检测系统的设计，显著地提高了检测率、降 低了误报率，结果令人满意。 第六章：对本文所做工作进行了总结，并提出了今后的研究方向。 4 山东师范人学硕i j 学位论文 第二章入侵检测技术概述 本章对入侵检测技术进行概述，并通过对主要异常检测算法、误用检测算法和混合型 入侵检测算法进行比较分析，得出一些有用结论。 2 1 入侵检测系统模型 最早的入侵检测系统模型是由d e n n i n g 给出的 6 l ，该模型主要根据主机系统审计记录 数据，生成有关系统的若干轮廓，并监测轮廓的变化差异发现系统的入侵行为，如图2 1 所示。 图2 1i d e s 入侵检测模型 入侵行为的种类不断增多，涉及的范围不断扩大，而且许多攻击是经过长期准备、网 上协作进行的。面对这种情况，入侵检测系统的不同功能组件之间、不同i d s 之间共享这 类攻击信息是十分重要的。为此c h e n 等提出一种通用的入侵检测框架模型，简称c i d f 。该 模型认为入侵检测系统由事件产生器( e v e n tg e n e r a t o r s ) 、事件分析器( e v e n t a n a l y z e r s ) 、响应单元( r e s p o n s eu n i t s ) 和事件数据库( e v e n td a t a b a s e s ) 组成如图 2 2 所示。 原事件来源 图2 2c i d f 各组件之间的关系图 山东师范人学硕1 ：学位论文 c i d f 将入侵检测系统需要分析的数据统称为事件，它可以是网络中的数据包，也可以 是从系统日志等其它途径得到的信息。事件产生器是从整个计算环境中获得事件，并向系 统的其它部分提供事件。事件分析器分析所得到的数据，并产生分析结果。响应单元对分 析结果做出反应，如切断网络连接、改变文件属性、简单报警等应急响应。事件数据库存 放各种中间和最终数据，数据存放的形式既可以是复杂的数据库，也可以是简单的文本文 件。c i d f 模型具有很强的扩展性，目前已经得到广泛认同。 2 2 入侵检测系统的功能及主要特点 入侵检测是指发现非授权用户企图使用计算机系统或合法用户谧用其特权的行为，这 些行为破坏了系统的完整性、机密性及资源的可用性。为完成入侵检测任务而设计的计算 机系统称为入侵检测系统。入侵检测系统的功能h 1 可以概括为以下六个方面： ( 1 ) 监视并分析用户和系统的活动，查找非法用户和合法用户的越权操作； ( 2 ) 检测系统配置的正确性和安全漏洞，并提示管理员修补漏洞； ( 3 ) 对用户的非正常活动进行统计分析，发现入侵行为的规律； ( 4 ) 评估系统关键资源和数据文件的完整性； ( 5 ) 能够实时对检测到的入侵行为作出反应； ( 6 ) 操作系统的审计跟踪管理，并识别用户违反安全策略的行为。 根据以上对入侵检测系统功能的概括，可以把它的功能结构分为两大部分：中。t l , 检测 平台和代理服务器。代理服务器是负责从各个操作系统中采集审计数据，并把审计数据转 换成与平台无关的格式后传送到中一t l , 检测平台，或把中一t l , 平台的审计数据要求传送到各个 操作系统中。而中，t l , 检测平台由专家系统、知识库和管理员组成，其功能是根据代理服务 器采集来的审计数据进行专家系统分析，产生系统安全报告。管理员可以向各个主机提供 安全管理功能，根据专家系统的分析向各个服务器发出审计数据的需求。另外，在中心检 测平台和代理服务器之间是通过安全的r p c 进行通信。一个合格的入侵检测系统能大大简 化管理员的工作，使管理员能够更容易地监视、审计网络和计算机系统，扩展了管理员的 安全管理能力，保证网络和计算机系统安全的运行。 入侵检测系统的特点1 可以概括为以下几个方面： ( 1 ) 人很少干预的情况下，能连续运行。 ( 2 ) 系统由于事故或恶意攻击而崩溃时，具有容错能力。当系统重新启动时，n i d s 能自动恢复自己的状态。 ( 3 ) 它必须能抗攻击。n i d s 必须能监测自己的运行，检测自身是否被黑客修改。 ( 4 ) 运行时，尽可能少地占用系统资源，以免干扰系统的正常运行。 ( 5 ) 对被监控系统的安全策略，可以进行配置。 ( 6 ) 必须能适应系统和用户行为的变化，如系统中增加了新的应用，或用户的应用改 变。 ( 7 ) 当要实时监控大量主机时，系统应能扩展。 6 山东师范人学硕j ：学位论义 ( 8 ) n i d s 一些部件因为某些原因停止工作时，应尽量减少对其它部分的影响。 ( 9 ) 系统应能允许动态配置当系统管理员修改配置时，不需要重新启动配置。 2 3 入侵检测技术的分类 根据检测技术分类，入侵检测技术主要分为两类阻1 ，即误用检测( m i s u s ed e t e c t i o n ) 和异常检测( a n o m a l yd e t e c t i o n ) 。误用检测是建立在使用某种模式或者特征描述方法对 任何已知攻击进行表达这一理论基础上的。误用检测系统是将己知的攻击特征和系统弱点 进行编码，存入知识库中，入侵检测系统( i d s ) 将所监视的事件与知识库中的攻击模式进 行匹配，当发现有匹配时，认为有入侵发生，从而触发相应机制。异常检测则是基于已掌 握了被保护对象的正常工作模式，并假定正常工作模式相对稳定，有入侵发生时，用户或 系统的行为模式会发生一定程度的改变。一般方法是建立一个对应“正常活动 的系统或 用户的正常轮廓，检测入侵活动时，异常检测程序产生当前的活动轮廓并同正常轮廓比较， 当活动轮廓与正常轮廓发生显著偏离时即认为是入侵，从而触发相应机制。 根据检测数据的来源分类，入侵检测系统( i d s ) 可以分成3 类：基于主机型( h o s t - b a s e d ) 、基于网络型( n e t w o r k b a s e d ) 和基于代理型( a g e n t b a s e d ) 3 种。( 1 ) 基于主机的入 侵检测系统用于监视主机系统和系统本地用户。它通过分析审计数据和系统的日志来发现 可疑连接、非法访问等入侵事件。它可以运行在被检测的主机或单独的主机上。这种系统 的优点是可以精确地判断入侵事件并可对入侵事件立即作出反应。缺点是主机的审计信息 易受攻击，攻击者也可以使用某些系统特权或调用比审计本身更低的操作来逃避审计。( 2 ) 基于网络的入侵检测系统用于监视网络关键路径信息。它通过分析网络流量、网络协议等 来检测可能的入侵。它可以被安装在局域网网段或防火墙后面。这种系统的优点是可以实 时监视网络，监视粒度可以更细。它的缺点是只能监视本网段的活动，检测精度较差。( 3 ) 基于代理的入侵检测系统用于监视大型网络系统。随着网络系统的复杂化和大型化，系统 弱点趋于分布式，而且攻击行为也表现为相互协作式的特点，所以不同的i d s 之间需要共 享信息，协同检测。整个系统可以由一个中央监视器和多个代理组成。中央监视器负责对 整个监视系统的管理，它应该处于一个相对安全的地方。代理则被安放在被监视的主机上 ( 如服务器、交换机、路由器等) 。代理负责对某一主机的活动进行监视，如收集主机运行 时的审计数据和操作系统的数据信息，然后将这些数据传送到中央监视器。代理也可以接 受中央监控器的指令。这种系统的优点是可以对大型分布式网络进行检测。 按照控制策略分类，i d s 戈i j 分为集中式i d s 、部分分布式i d s 和全部分布式i d s 。控制策 略描述了i d s 的各元素是如何控制的，以及i d s 的输入和输出是如何管理的。在集中式i d s 中，一个中央节点控制系统中所有的监视、检测和报告。集中式i d s 中有以下一些关键问 题需要解决：各系统组件的灵活启动和终止问题、它们之间信息的保护问题、它们发出的 信息有效性验证等问题。在部分分布式i d s 中，监控和探测是由本地的一个控制点控制， 层次式地将报告发向一个或多个中心站。在全部分布式i d s 中，监控和探测是使用一种叫 “代理”的方法，代理进行分析并做出响应决策。 按照同步技术分类，i d s 戈u 分为间隔批任务处理型i d s 和实时连续型i d s 。同步技术指 的是在监控的事件和对这些事件的分析之间经过的时间。在间隔批任务处理型i d s 中信息 7 山东师范人学硕上学位论文 源是以文件的形式传给分析器，一次只处理特定时间段内产生的信息，并在入侵发生时将 结果反馈给用户。很多早期的基于主机的i d s 都使用这种方案，因为早期的i d s 受到系统的 速度和通信带宽的影响。在实时连续型i d s 中，事件一发生，信息源就传给分析引擎，并 且立刻得到处理和反应。实时i d s 是基于网络i d s 首选的方案。 按照响应方式分类，i d s 划分为主动响应i d s 和被动响应i d s 。一旦i d s 获得了事件 信息并做分析发现了攻击症状，它们将产生响应，有些响应将结果报告到指定的地点。当 特定类型的入侵被检测到时，主动响应i d s 会采取3 种如下自动的响应行为：收集辅助信 息，对一个怀疑的攻击采取进一步收集辅助信息，这是最无害的也是使用最多的方法；改 变环境以堵住导致入侵发生的漏洞，这也是一种“自疫 或“免疫 系统的研究；对攻击 者采取行动，这是一种激进的做法，是一种不推荐的做法。被动响应i d s 将信息提供给系 统用户，依靠管理员在这一信息的基础上采取进一步的行动。它又分为如下几种方式：报 警和通知；s n m p 俘获和插入；报告和存档。 2 4 异常检测算法概述 异常检测的前提是异常行为包括入侵行为。理想情况下，异常行为集合等同于入侵行 为集合，此时，如果i d s 能够检测所有的异常行为，就表明能够检测所有的入侵行为。但 是在现实中，入侵行为集合通常不等同于异常行为集合。事实上，行为有以下4 种状况：、 ( 1 ) 行为是入侵行为，但不表现异常；( 2 ) 行为不是入侵行为，却表现异常；( 3 ) 行为 既不是入侵行为，也不表现异常；( 4 ) 行为是入侵行为，且表现异常。异常检测方法的基 本思路是构造异常行为集合，从中发现入侵行为。异常检测依赖于异常模型的建立，不同 模型构成不同的检测方法。异常检测需要获得入侵的先验概率，如何获得这些入侵先验概 率就成为异常检测方法是否成功的关键问题。下面对不同的异常入侵检测方法进行概述： 1 基于特征选择的异常检测方法 基于特征选择n 门的异常检测方法，是指从一组度量中选择能够检测出入侵的度量， 构成子集，从而预测或分类入侵行为。异常入侵检测方法的关键是，在异常行为和入侵行 为之间作出正确判断。但是，选择合适的度量是困难的，因为选择度量子集依赖于所检测 的入侵类型，一个度量集并不能适应所有的入侵类型。预先确定特定的度量，可能会漏报 入侵行为。理想的入侵检测度量集，必须能够动态地进行判断和决策。假设与入侵潜在相 关的度量有n 个，n n 个度量构成2 “个子集。由于搜索空间同度量数之间是指数关系，所以 穷尽搜索理想的度量子集，其开销是无法容忍的。m a c c a b e 提出应用遗传方法搜索整个度 量子空间，以寻找j 下确的度量子集。其方法是通过学习分类器方案，生成遗传交叉算子和 基因突变算子，允许搜索的空间大小比其它启发式搜索技术更加有效别。 2 基于贝叶斯推理的异常检测方法 基于贝叶斯推理n 3 1 的异常检测方法，是指在任意给定的时刻，测量a ，a z ，a n 的变 量值，推理判断系统是否发生入侵行为。其中，每个变量a 。表示系统某一方面的特征，例 如磁盘i o 的活动数量、系统中页面出错的数目等。假定变量a ；可以取两个值1 表示异常， 山东师范人学硕j ：学位论文 o 表不正常。令i 表不系统当前遭受入侵攻击。每个异常变量a ；的异常口】靠性和敏感性分别 用p ( a i = 1i ) 和p ( a i5 1i1 i ) 表示，在给定每个a ；值的条件下，由贝叶斯定理得出i 的可信度为 p ( i a t ，a z ，a n ) = p ( a - ，a z ，a n | i ) f 乙i 。其中，要求的可信度为r 。 l 2 “ n 7 。其中，要求 给出i 和1 i 的联合分布。假设每个测量a t 仅与i 相关，与其它的测量条件a j ( i j ) 无关， 则有： p ( a l ，a ：，a 。ii ) = 兀三。p ( a il i ) p ( a l ，a 2 ，a 。i i ) = 兀：。p ( a ii i 从而得虱i 。 p ( ila l ，a 2 ，a 。)：盟兰! ! 坠坐 p ( - - dfa l ，a 2 “a 。) p ( i ) 丌7 p ( a ；i1 i ) 工工l = i 。 因此，根据各种异常测量的值、入侵的先验概率、入侵发生时每种测量得到的异常概 率，能够判断系统入侵的概率。但是为了保证检测的准确性，还需要考查各测量a ；之间的 独立性。一种方法是通过相关性分析，确定各异常变量与入侵的关系。 3 基于贝叶斯网络的异常检测方法 贝叶斯网络实现了贝叶斯定理揭示的学习功能，用于发现大量变量之间的关系，是进 行预测和数据分类的有力工具。基于贝叶斯网络的异常检测方法，是指建立异常入侵检测 的贝叶斯网络，通过它分析异常测量结果。贝叶斯网络允许以图形方式表示随机变量之间 的相关关系，并通过指定的一个小的与邻接结点相关的概率集计算随机变量的联接概率分 布。按给定全部结点组合，所有根结点的先验概率和非根结点概率构成这个集。贝叶斯网 络是一个有向图d a g ，在d a g 中，弧表示父结点与子结点之间的依赖关系。这样，当随机变 量的值变为已知时，就允许将它吸收为证据，为其它的剩余随机变量条件值判断提供计算 框架。需要解决的关键课题是，判断根结点的先验概率值与确定每个有向弧的连接矩阵。 v a l d e s 和s k i n n e r 提出了一个基于贝叶斯网络的异常检测模型e b a y e st c p 用于发现网络中 针对t c p 协议的入侵行为u 引。 4 基于模式预测的异常检测方法 基于模式预测的异常检测方法的前提条件是，事件序列不是随机发生的而是服从某种 可辨别的模式，其特点是考虑了事件序列之间的相互联系。t e n g 和c h e n 给出一种基于时间 的推理方法，利用时间规则识别用户正常行为模式的特征n5 1 。通过归纳学习产生这些规则 集，并能动态地修改系统中的这些规则，使之具有较高的预测性、准确性和可信度。如果 规则大部分时间是正确的，并能够成功地用于预测所观察到的数据，那么规则就具有较高 的可信度。 例如，t i m ( t i m e - b a s e di n d u c t i v em a c h i n e ) 给出下述产生规则 9 山东师范大学硕1 ：学位论文 ( e l ! e 21e 3 ) ( e 4 = 9 5 ，e 5 = 5 ) 其中e 卜e 5 表示安全事件。上述规则说明，事件发生的顺序是e 1 ，e 2 ，e 3 ，e 4 ，e 5 。 事件e 4 发生的概率是9 5 ，事件e 5 发生的概率是5 。通过事件中的临时关系，t i m 能够 产生更多的通用规则。根据观察到的用户行为，归纳产生出一套规则集，构成用户的行为 轮廓框架。如果观测到的事件序列匹配规则的左边，而后续的事件显著地背离根据规则预 测到的事件，那么系统就可以检测出这种偏离，表明用户操作异常。这种方法的主要优点 有：( 1 ) 能较好地处理变化多样的用户行为，并具有很强的时序模式：( 2 ) 能够集中考察 少数几个相关的安全事件，而不是关注可疑的整个登录会话过程；( 3 ) 容易发现针对检测 系统的攻击。 5 基于贝叶斯聚类的异常检测方法 基于贝叶斯聚类的异常检测方法，是指在数据中发现不同数据类集合。这些类反映了 基本的类属关系，同类成员比其它成员更相似，以此可以区分异常用户类，进而推断入侵 事件发生。c h e e s e m a n 和s t u t z 在1 9 9 5 年提出的自动分类程序a u t o c l a s sp r o g r a m 是一种无 监督数据分类技术n 引。 a u t o c l a s s 应用贝叶斯统计技术，对给定的数据进行搜索分类。其优点是：根据给定 的数据，自动判断并确定类型数目；不要求特别的相似测量、停顿规则和聚类准则；可以 混合连续属性与离散属性。 基于统计的异常检测方法对所观测到的行为分类处理，到目前为止，所使用的技术主 要是监督式的分类，即根据观测到的用户行为建立用户行为轮廓。而贝叶斯分类方法允许 理想化的分类数、具有相似轮廓的用户群组以及遵从符合用户特征集的自然分类。但是， 该方法目前只限于理论讨论，还没有实际应用。自动分类程序怎样处理固有的次序性数据， 在分类中如何考虑统计分布特性等问题，还没有很好地解决。由于统计方法的固有特性， 自动分类程序还存在异常阈值的选择和防止攻击者干扰类型分布等问题。 6 基于机器学习的异常检测方法 基于机器学习的异常检测方法，是指通过机器学习实现入侵检测，其主要方法有死记 硬背、监督学习、归纳学习、类比学习等n7 1 。c a r l a 和b r o d l e y 将异常检测问题归结为，根 据离散数据临时序列特征学习获得个体，系统和网络的行为特征；并提出了一个基于相似 度的实例学习方法i b l ( i n s t a n c eb a s e dl e a r n i n g ) ，该方法通过新的序列相似度计算， 将原始数据如离散事件流和无序的记录转化成可度量的空间。然后，应用i b l 学习技术和 一种新的基于序列的分类方法，发现异常类型事件，从而检测入侵行为。其中，阈值的选 取由成员分类的概率决定n 8 1 9 舶1 。 新的序列相似度定义如下： 设l 表示长度，序列x = ( x 。，x l ，x i - 1 ) m y = ( y o ，y l ，y i - 1 ) ，、10 i fi 0o rx i y f w ( x y i ) = 。 1 1 + 以x ，】，f 一1 ) i f x