（计算机应用技术专业论文）基于聚类的入侵检测模型的研究.pdf

基于聚类的入侵检测模型的研究 摘要 随着网络技术的飞速发展和网络应用范刖的不断扩大，对删络的备炎攻 击与破坏与疆撰增。存网络安全问题h 益突出的今天，如河迅速有效地发现 各种入侵行为，对于保证系统和网络资源的安全显得十分重要。传统的防火 墙、数攒加密等静态防御方式已很难胜任网络安全的需要，而入侵捡测系统 是一种积极主动的安全防护技术，它是信息安全傈护体系结构巾的一个重要 组成部分，针对入侵检测方法和技术的研究己经引起人们越来越多的重视。 入侵检溅中对未知入侵鸵检测主要是囱异常检测来完成，传统瓣异常捡 测方法需要构造一个正常行为特征轮廓的参考模型，但建立该特征轮廓使系 统的开销非常大，此外，入侵检测系统的可扩展性、自适应性也较差，无法 检预l 出未知攻击，为了克服这些不足，本文重点研究了如何把聚类技术应用 于入侵检测这一领域。 首先，论文对入侵检测技术、模型以及无监督方法进行了简要分绍，然 后引出了聚类算法，在此基础上还建立了个基于聚类的入侵检测模型，陔 模型的优点在于不需要用人： ：的或其他的方法来对训练集进行标识，能够比 较有效的检测真实网络数据中的未知入侵行为，同时在检测过程中，随着有 效信息的不断增加，模型得到了更新，使增量聚类后的新梭型比原有模型的 捡测性能有了狠大提高。 关键词网络安全；入侵检测；无监督异常检测；聚类 吣：j 、mj l | _ l 、，l 孙i i 卜h e r e s e a r c ho fi n t r u s i o nd e t e c t i o nm o d e lb a s e do n c l u s t e r i n g a b s t r a c t w i t ht h ed e v e l o p m e n to ft h en e t w o r kt e c h n o l o g ya n dt h eg r o w i n gu s a g eo f n e t w o l k ，t h en u m b e ro f a t t a c k s i s i n t o e a s i n g n o w a d a y s n e t w o r ks e c u ! i t y p r o b l e m sa r ei n c r e a s i n gp r o m i n e n t ，a n dh o wt of i n di n t r u s i o na c t i v i t i e sq u i c k l y a n de f f i c i e n t l yh a sb e c o m ei m p m t a mt ot h e s e c u r i t yo fs y s t e ma n dn e t w o r k r e s o u r c e i ti sv e r yd i f f i c u l tt ok e e ps y s t e ms a f eo n l yb ys t a t i cs a f e g u a r d ss u c ha s f i r e w a l l ，d a t ae n c r y p t i o n t d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) i sa na c t i v ea n d d r i v i n gd e f e n s et e c h n o l o g y i ti s a l le s s e n t i a lc o m p o n e n to fi n f o r m a t i o ns e c u l i t y i n f r a s t r u c t u r ep r o t e c t i o nm e c h a n i s m b a s e do ni n s t r u s i o nd e t e c t i o nm e t h o da n d t e c h n o l o g y a l r e a d yc a u s em o r ea n dm o r ep e o p l en o t i c e u n k n o wi n t r u s i o nd e t e c t i o n a c c o m p l i s hb ya b n o r m a l d e t e c t i o ni nt h e j n t r u s i o nd e t e c t i o n t r a d i t i o n a la b n o r m a ld e t e c t i o nm e t h o d sn e e dar e f e r e n c e m o d e lw i t h 。ap r o f i l eo fn o r m a la c t i o n b u tb u i l d i n gt h ec h a r a c t e r i s t i cp r o f i l ea r e d i f f i c u l t 。i n a d d i t i o n ，i n t r u s i o n d e t e c t i o n s y s t e m m a t i ce x t e n s i b i l i t y a n d a d a p t a b i l i t ya r ep o o rt 0 0 i ti sd i f f i c u l tt od e t e c tu n k n o w nn e wt y p eo fa t t a c k s t o o v e r c o m eo ft h es h o r t a g eo ft h e s e ，w e e m p h a t i c a ll ys t u d yo nh o wt ot a k et h e c l u s t e r i n gt e c h n o l o g yt ot h ef i e l d so ft h ei d s t h et b e s i sb e g i n si t sd i s c u s s i o nb yi n t r o d u c i n gt h et e c h n o l o g ya n dm o d e lo f i d ，t h em e t h o d so ft h e u n s u p e r v i s i o n t h e n d l a wf o r t ht h e c l u s t e r i n g a l g o r i t h m o nt h eb a s eo fa b o v es t u d y ，w ep u tf o r w a r dt oac l u s t e r i n gb a s e do n i n t r u s i o nd e t e c t i o nm o d e i ，b yv i j 。m eo ft h i sm o d e list h a ti tn e c d n tl a b e l e d t r a i n i n g d a t as e t s b y h a n do ro t h e l m e t h o d s ，a n dt h i s a p p r o a c h c a nd e t e c t u n k n m 一ni n t r u s i o n se f f i c i e n t l yi nt h er e a ln e t w o r kc o n n e c t i o n s i nt h ed e t e c t i o n t h em o d e lm a yb ei n c r e m e n t a lu p d a t e db yt h e i n c l e a s i n gu s e f u li n f o r m a “i o n t h e n e wm o d e la f t er i n c r e m e n t a lc l u s t mi n gi s p 1 1 0 v e d t ob ew i t h h i g hd e l c c t i o n p l o d c r t yc o m p a t i n gt oo l i g i n a l m o d e l k e y w m d s n c t w o l k s e c u l i t y ：i n n u s i o nd e t e c t i o n ：t t n s t t p e r v i s e d a b n o m a l y d e t e c t i o n ：c l u s t e r i n g 哈尔滨理工大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕上学他论文纂f 聚炎的入侵枪测恢掣的 研究，足本人n ：导师指导f ，在哈尔滨理 犬学攻渡硕学位期f t , j 独怠进行 研究工作所取得的成果。据本人所知，论文中除已江明部分外不包含他人已发 表或撰写过的研究成果。对本文的研究工作做出曩要贞献的个人和集体，均已 在文中以明确疔式注明。本声明的法律结果将完令 4 l 本人承扪。 作凇：同茨删砧钔 哈尔滨理工大学硕士学位论文使用授权书 基f 聚炎的入侵检测模犁的研究系本人舀，哈尔滨理工大学攻读硕上学 位期l 日j 在导师指导下完成的硕学位论文。本论文的研究成果， 哈尔滨理工大 学所仃，本论文的研究内容不得以其它单位的名义发表。本人完全了解哈尔滨 理 人学关于保存、使用学位论文的规定，蘸学授保留并向仃关部门送交论 文的复印件和电f 版本，允许论文破盘阅和倡阅。本人授权哈尔滨理 大学， 町以采用影印、缩印或其他复制手段保存论文，町以公布论文的令部或部分内 容。 本学位论文瞩f 保密口，在年解密后适用本授权 5 。 f i 保簖 ( i 6 n 以i ：十l j 应厅枷内打) 作名签铭： 导帅签名： 同茨 刳毋描 , i i j l ：撕年；月歪1 1 期w ；q ，6 r l 第l 章绪论 i 1 计算机网络信息安全的研究背景 随着计算饥技术和嘲络技术的e 速发展，网络的砰放性、其莹性、互连程 度随之扩大。基于网络的应f j 也越末越多，比如电于商务、电f 政务等的兴 起，随之而柬的足网络信息安全问题。冈此，对h 络信息安全技术的研究已成 为计铮机和通信界的热点，并成为信息科学的一个重要研究领域。 现在世界上每年利用计算机网络进行的犯肾所造成的损，犬大得惊人。据 i c s a ( 困际计算机安全协会) 统计，有1 1 0 b 的安全l u 】题导致| 叫络数掩：被破坏，l 导致数据失密，1 5 的攻击柬自系统外部，柬自系统内部的安全威胁高达6 0 ， 安全事件使公司声誉受到了沉重打击，损失了大昂的t 要客户，蒙受巨大的经 济损失。 我国的信息化进程虽然起步较晚，但近几年发眨迅速，| 稠络已经渗透到了 国民经济的各个领域，渗透到了工作和生活的方方面面。更为重要的是，网络 上的信息安全问题直接关系到围家的经济利益和安全、社会的稳定。在国际大 环境下，我国政府对信息和网络安全事业的发展给予了高度的重视。 网络的安全措旌一般分为三类：逻辑上的、物理上的和政策上的。三种措 施应该互相配合。由于互联网上使用的t c p i p 协议在制订之考没有考虑安全 问题，所以报本没有安全可言。开放性和资源共事足计算机网络安全问题的e 要根源，它的安全性主要依赖于加密、网络用户身份鉴别、存取控制策略等技 术手段，因此，必须采取逻辑上的措施，即研究】弓发展有效的剐络安全技术， 安全协议、密码技术、数字签名、防火墙、入侵俭测、安全管理、安全审汁、 防璃毒技术等，以防止网络上的信息坡 | 法窃取、伪造和破坏，确保f q 络系统 和数据的真实性和完整性”1 。 1 2 论文研究的背景及意义 f ；f i ( i i n t c m e t 的飞速发眨，；i 钎0 l l l 络往现代 会- ，发托竹越术越t 要的作 川，它t fj i q 此也成为了n 彩恶患攻i i 行的攻。i 。| i ，j ：。箨川t q 络入f 2 j f f ，i 健姐了 h 络坟个技术的发眨绺众彩化，0 安个汜技术( f l 旧火j 出 i 术、数| 1 1 ：i l 佬、 “- 1 ii jf ：- 仲- i ? f j 卜t 授k 日l 认征) 后入他伶删戊勾疋+ f 要n 0 “总攻食保障1 8 渔。 入他轮。则系统通过从系统内部f h 络i t 收镌n 息分析汁 目l 足疗仃立令 | - u j 邀j 采取十l i 膨的措施。h 络岔伞怂个包岔内存很广泛的技术领域入促轮 测楚j t p 一个重要的分支和封i 成部分。其研宄包括i 叫络模型的建芷及数拆川复 集，入侵枪测馍型的建立，入侵伶测产晶开发，入仪舱：喇系统鄢冒，入侵枪：刚 技术研究等。我们研究的足入经伶测技术中的入他俭：则算法。入他捡测算法足 入促硷删系统中最为核心的部分它的舱测能力和效；簪直接决定了整个入侵怆 测系统的抢测能力。 翻前，大部分的入侵检测算法使用大量的带淋签数据或旨完全萨常的数据 束进行训练，使算法能发现系统 f 常或肯异常行为的内在数学模型。然而，实 际e 我们并不能在实际网络环境中实时地或学轻易地得到贴有形确杯签的或足 完全f 常的数据。为了解决这样的问题，人们提出了无监督入经检测的概念和 思想“，研究可以直接处理无标签原始网络数据的方法和技术，以减少入侵检 测算法的计算和存储资源，提高入侵检测的效率。 无监督入侵检测算法一方面可以作为一个预处理过程，为现仃的高效入侵 检测算法提供不带标签的正常、异常数据或者完全正常的数据，另一方面，它 也可以直接构造入侵检测分类器。作为一种新思想、新方法，以聚类 ( c l u s t e r i n g ) ) q 代表的无监督入侵检测算法具有广阔的研究i 讨景和重要的应用价 值。 1 3 入侵检测系统概述 大甓的实践证明，保障叫络系统的安全，仅仅依露传统的玻动防护 ( p r e v e n t i o n ) 是不够的。入侵检测作为一门新兴的安全技术，以其对网络系统的 实时监删特性，逐渐发展成为保障m 络系统安全的关键部件。 j a m e sa n d e r s o n 将入侵企 斟或威胁定义为未经授权蓄意尝试访问信息、窜 改信息，使系统不可铝或不能使用。h e a d y 给出了另外的入侄定义：有关试图 破m ：f j i 息资源的完整性、机密性及可用性的活动集合。s m a h a 从分炎角度指 ，入仪包括尝试性问入、伪装攻斤、安令拧：圳系统渗透、 i l 漏、射i 绝服务、 憾恋使川6 种炎型。在此辏础i ：，入他拎测则破；之义为埘；i 算机和i 叫络资源i ： 的甚意使j f j 行为进行谚l 刖和i 心的处，l l j 柙，即乐j 1 1 i = 6 1 ，尢l ：z j j 的厅式，对客广 端f l i l l j 络扦l ：进行个l | f j - 设的i ir 山伶洲以发j 砸和1 世纪被仙：护系统，i 能j 毪= 乏的 攻i i 和l 破h ：，它4 ：仪伶：州术n 外：的入仪i i 为，川叫也f j 叫4 内。w 川j 、的未授仪 ( a u t h o n z a u o n ) i 幼。入f 2 除测挺d 了j 技脱入f 2 攻山i 合法j j 户滥j 1 拍权的 一补疗法。它墙f 这样。个i 询捉键础：入f 2 f i 为f j l 合法f j - 为足町ix 分的电 就毡晓町以通过提取行为的模式特征宋削断泫i r 为的合法怍。 入旺拎硼系统( i n t r u s i o nd e t e c t i o ns y s t e m i d s ) 址进行入侵舱测的软什与蚀 件的组合，它足为保h n 镎饥系统的安令而没汁j 配胃的一种能够及时发观j ： 报告系统中未授权或异常现象的系统，足一种 jj ：舱测汁算机网络中违反安全 策略行为的系统。d s 通过实时的分析，伶奋特定的攻击模式、系统配霄、 系统漏洞、仔在缺陷的程序版本以及系统或j h 户的行为模式，监控j 安全行笑 的活动。一个基本的i d s 需要解决两个问题：一足如何觅分可稚地提取描述行 为特征的数据；二是如何报据特征数据，高效并准确地判定行为的合法性。 1 3 1i d s 的诞生及发展 从实验室原型研究到推出商业化产品、走向市场并捩得广泛认同，入侵俭 测系统( i d s ) 已经走过了二十多年的风阿历程。 1 审计是最早引入计算机安全领域的概念，像存取文件、变更他们的内 容或分类等的活动部记录在审计数据中，安全管理员、系统操作员和维护人员 和普通用户一样都要经过行为审孩。安德森提出要建立一个安全监督系统，保 护那些系统敏感信息。他还提出应该检查什么、如何分析它、以及如何保护监 督系统免受攻击，这成了今天i d s 研究的垓心内容。 2 以d e n n i n g 模型为代表的i d s 早期技术入侵愉测号家系统( i d e s ) ”项 目足1 9 8 4 年由乔治敦大学的佻乐茜顿宁( d o r o t h yd e n m n g ) 和彼得诺埃曼 ( p e t e r n e u m a n n ) 开始的，足i d s 早期研究中最重要的成就之一。i d e s 模掣整丁： 这样的假设：有可能建立一个框架束描述发尘在主体( 通常足用户) 和客体( 通 常足文件、程序或设备) 之问的矿常的交互作用。这个框架由一个使用觇则库 ( 上见则库描述了已知的违例行为) 的号家系统支持。返能防止使用肯逐渐训练 ( 误导) 系统把非法的行为当成 f 常的束接受。 顿j 。的模型似设：入侵行为1 1 日砬的区别j - j l i 常的i 幼，入侵在使用系统的 梭式f i 同j 二i f 常i h 户的使f j 倏式，通过监控系统的跟踪汇求，呵以谚l 别入促荇 井常使用系统的模式，从i 酊舱洲f l 入侵嚣违反系统安伞住的t ；兄。 顿宁的模型【p 仃6 个卜要构r ：土体、时象i 川数批、轮序i ：拍自f ：( 或“r 币尔 为“范l l ! ”p r o l 1 ) 、井常记求和行为觇| j ! | j 。池弘( p f 【) r ilr s ) 太1 ：i 纠- f 门 j 为 1 包。也址坎，弘阶：咧厅的父l 理。ij 为脱| j ! i j m 述系统蜘定祭盯拙呶n 勺 行为他们能也新总，l ! ! ，伶；则圩。：占“勾能把埽常和，叮陡的入他欠耳x 起术_ j + 挺 出撤矗。i _ i f 记求i lj 一个行为触发1 m 己求l i f 奉尝试们，j 上j ，fj ：为本身、行 动对准的【| 杯、f t 何i r 能导致例钋的t l ：i ：兄以及i i 为消f c 的资源f l l 扯特的时f i i j 艘 标记。审汁记j 曼会和范型进行比较( 他【 j 适“ 的姚则) _ | j | ：t 许合肆瞎条件的葬 件将破泌别出束。这个模型独立p 特定的系统平台、j 赶明环境、系统弱点以及 入侵的类型，也不需要额外的关安全机制、系统脆弱性或i 瞒：攻击疗面的知 识，他为构建入侵监测系统提供了一个通用的框架。 1 9 x 8 年，特丑萨兰特等人改进了帧7 j ：的入经拎：州成型，并开发出了一个 i d e s 。该系统包括一个异常俭测器和一个号家系统，分别f = if 异常模型的建立 和基于规则的特征分析检测。系统的框架如图卜l 所示。 | 芏| l - i 入仪检测客系统框架 f i g u r el - i i d e sf r a m e 3 中期：统； 学理论和号家系统+ | 结合8 0 年代术，一些其他值得注意 的系统开发f 来，大部分走的是将统计学理论和专家系统结合在一起的路子。 直到那时，i d s 系统仍| e | 依靠受保护主机收集的审计数据，但加州大学戴 维斯分拨开发的网络系统监控器n s m ( t h en e t w o r ks y s t e mm o m t o r ) 改变了 这个状况。s 在入侵检测技术发眨【史j ：足继i d e s 之后的义一个【l j 程碑，他监 控以太州段i ：的m 络流麓，j f 把他作为分析的、e 要数扼源。从“钾t 的怆测报告 上可以百到，n s 检测了超过1 0 0 0 0 0 n 勺州络连接，并从中u ) 川l i l 超过3 0 0 个入 侵。今天，人部分商业 d s 系统“于妾使从h 络探删的数据f f 为他们一卜要、共 夸足惟一的投弘源。 4 j 占j - h 络的n i d s j ：i = = | i | 1 1 】旧j i 洫 上术n i d s 彖统i i i 砭个拧：1 i 心剐多 个抓洲拼川 ，k ，。友个拧：l ，心允j j k 雌个分自jj 攻个删! 臀系统f 门竹川- j m t 饩。探删器仉六托则j 所n ：i j f 2j - f r , j 敏引流她f j 。戈时f i 功攻一l i 以圳f l 忡4 应。 n i d s i f jv 。疆辐媳“： ，( i ) n i d s 采t i 透i l j 】l ：f 1 ：，j | 式他r 静静地税4 m 段故州流坩h 络通f i 小附 加f e 何延时。不影i 剃h 络传输的效率： ( ! ) n i d s 采用集中管理的分佃i 作疗式，能够远砟监控。可以对缚一个探：则 器进行远程配置，可以监测多个嘲络i l 门或应i jr 广域i q 络：删，并支持加 密通信和认证； ( 3 ) n i d s f l 进行运行状念实时监：则，远程启停静理； ( 4 ) n i d s 的安全域过滤技术使其具有良珀应用扩充能| 了，叮以往单机处理 能力不足的情况下，通过安全域拆分，用多机辫行处理满足系统应f j 需求： ( 5 ) 以安全策略模扳，安全事作，安全事件响应方式支持安全策略定义； ( 6 ) 探测器支持多接口，；i 隐蔽自身的自我保护功能。 近年柬的技术创新还有：f o r r e s t 将免疫原珲运用到分白式入侵检测中； 1 9 9 8 年r o s sa n d e r s o n g l a b l d a k h a t t k 将信息捡索技术引入这个预域。 至此，入侵检测完成了从概念诞生、模型建立、产品实现、产业标准化的 过程。目前，入侵硷测仍在不断发展中。 1 3 2 入侵检测的分类 根据不同的分类角度，入侵检测有不同的分类。以下是几种重要分类。 1 按照捡测技术划分，入侵检测分为两类： ( 1 ) 异常捡测( a n o m a l yd e t e c t i o n ) ：建立用户i f 常的行为模型，通过判断用 户行为足否显苫偏离矿常的行为模型末进行入侵俭测。其优点足能及时检测 到来知的攻击。但目前尚未仃统一的模型能很好地描述各种复杂系统的j 下常 行为。而且庄现有技术下，误警率普遍较高： ( 2 1 误用检测( m i s u s ed e t e c t i o n ) ：也称滥用榆测。通过建立攻占行为的特征 库，采用特征匹配的方法柬确定攻击事件。其优点足对己知攻击的俭测率 高，误警率低。缺点足，它的伶；则能力侬帧j 特征库的正新，f ：能榆j 则剑术 知的攻击炎窄。 2 按照检测对象划分，入化伶；| 1 1 1 1 分为： ( 1 ) 土机型入侵检测：系统分析的教州圯i i 锋h l 操f 1 ：系统的j f r | f 1 忠、j tj j 柙f f 的- f ii ，占、系统州川、i ：* ll 州川嗣i 宜个；f 记爪。i j i j 入f 2 伶t 0 1 4 系 统仪护的。毁，l i i 所仃的1 f j 【系统： f i 、。f 、- r l i p ii ? i ：，i f ? t ( ! ) h 络，弘入f 2 舱删：系统分圻的投州址m 络i ：f i j 数抓也、h 络| | 忠、h 络 安个i 川记求等。网络弘入f 2 怜删系统| 1 i 负f t 保护个j 1 0 域h 或h 络投的住 务： ( 3 ) 混合氆入侵检测：综合丁墒】：h 络f | l 辏 二】：h l 的混合犁入促f ：l 。则系统既 可以发现网络中的攻击信息也町以从系统| 1 忠中发现异常t i i i 况。 3 按照数据分析发尘的时f 日j 不f d ，可以分为： ( 1 ) 脱帆分折：在行为发，后，对产7 t - ：n j 数扔：进f i 分析，而不足n ：f j 为发7 l 的n d 时进行分析。如对f 1 志的审核、对系统文件的完整。r 怆矗等部疆r 这种 类型： ( 2 ) 联机分析：在数据产生或荇发生改变的m 时对其进行俭查，以发现攻击 行为。这种方式一般用对网络数据的实时分折，对系统资源要求比较商。 1 3 3 入侵检测系统现存的问题 入侵检测系统在网络安全中有着重要的f t ：t | j ，但在n 内的应用远远谈不到 普及，一方面是由于用户的认知程度较低，另一方面足由于入侵检测是- - i 1 比 较新的技术，还存在一些技术上的困难，不是所有厂商部有研发入侵捡测产品 的实力。目盼的入侵检测系统存在的主要问题仃一： 1 有效性不高现有的 d s 入侵模式库中的模式大部由安全领域的专家通 过对现有入侵行为进行分机后9 ：l 纳得出，然l 而，面对r 趋复杂的网络状况，单 凭专家的经验通常并不具有足够的完备性和精确性：另外，由于系统所能处理 的数据源有限。这也在一定程度上限制了其俭测能力。 2 适应性不强，建摸代价高滥用检测模型的特征模式上要是对已知的 入侵方法和系统漏洞分析而得出的，这会导致系统) i 三法捡，则将束出现的新型的 攻击，并且由于其学习方法的局限性，更新速度慢，因而往往难以适应目时层 出不穷的新的攻击方式：异常俭测从方法自身的原理上讲具备检测新型攻击的 能力，但一方面异常检测的检测性能依赖于对训练数据集的学习，而实际上， 为系统的学习收集一个洁净敛槲粲f = 经i l 常【 1 难，凶为在现实| 圳络环境中，很 难保证在数据采集阶段没仃m 络入侵的发7 l ，一j t 仃入侵数拄 破作为i f 常数据 “5 现往洲练数据集中，必然旨敛该炎入f 2 i j 为殷其，曼种g i j 将破系统税为l i ：常效 掂，另外，系统和用户的行为小足一成4 ：变的，队i 此很难建z 一个珩确的、综 合的i i ：常 r 为轮咏；另一斤| | ，什常拎；枷小能为找j ：i | 的f r - i f 歼常挺d ! 仃t 鲋秆 或税l l j j 价，n ，m 厄江时入f 2 行为迎f ji 一小能满址宜个竹州的j j 喽。 3 仃限的町扩憾性滥i t 伶；蜘n 0 入f 2 艇j f i l ”j x 拎| ! i | 的统i f 删f i 乏址 宁之 于一定的环境和系统的许小见仃通忭，n ：新的络j 夺境- i ，暖f j f | 1 迁：b 1l 三纤 建t 起宋的入经伶测系统难度很久。 1 3 4 入侵检测面临的挑战及今后的发展方向 口前，入侵俭测系统也面i i 函蕾蕾于霞要的挑，1 1 髦。这些挑战仃些宋自技术方 面有些则来自 技术疗面。技术疗面的卜嵯挑r 1 浅包括”一： ( 1 ) 网络觇模和复杂程度的不断增k 。 ( 2 ) 如何在造成损失前及早发现入侵活动，即预警技术。 ( 3 ) 网络繁忙情况下的系统陀能问题。 ( 4 ) 入侵模式特征的准确性。 ( 5 ) 入侵检测系统的评估。 非技术方面包括： ( i ) 攻击者不断研究新的攻击模式，同时随着安全技术的普及，越柬越多 的人进行了越来越多的入侵攻击尝试。 ( 2 ) 自动攻击的软件工具不断得到改进，使普通用户也能够利用它柬进行 网络攻击。 ( 3 ) 各种机构对包括i b $ 在内的安全技术的认识不足或苦缺乏足够熟练的安 全管理员。 今后的入侵检测大致可朝下述方向发展： ( 1 ) 入侵 佥测技术的改进和创新减少入侵检测误报和漏报最终需要依 靠捡测技术的改进和创新。目耵入侵捡测分析方法主要有：统计分析、棋式匹 配、数据重组，协议分析、行为分析等。智能化入侵捡测则足目前较新的入侵 检测方法。智能具有以下特征：具有感知能力，具有记忆与思维的能力，具有 学习与自适应能力，具有行为能力，用智能化的方法与手段束进行入侵硷测， 现阶段的应用解决方案为：高效常规意义下的入侵硷测系统勺具何智能愉测功 能的检测软件或谈块的结合t 2 f f l l 。 ( 2 ) 分钿式入侵伶测分白式入经抢测仃两层含义，第一层含义足，针 对分却式纠络攻- 打的捡：则疗法：第二层含义足，使j f j 分和式的厅法术谂， 1 4 分和 式的攻 i 。j 中的天地技术为榆，则f 鼻息的协处刖j 入位攻fr 的伞l , , j f f i 息的提 取。 ( 3 ) 改逍对人数训流：“的l q 络的处州疗法? j 时人数州毓处州的婴求， 、“i llj ：i ：帅一i j j i p 入他拎测的t l ：能1 堪求也逐步提禹，h 也了f - ：j l i 入 2 伶并，“ hf t ! f n l 聚入经除 洲怜删产品不汉j ；备攻旨分f ，b 小j i f 街i 勺律f k 业_ i 州络1 i f 汁j j j 能，| i i l j f e 仃熊 系统也艰难完伞r 作在千兆j 1 、境f 。这种协；址卜h 络孜州分流也楚一个靛好 的解决方案，性价比也较好。 ( 4 ) 内容恢复和h 络审计功能的引入内容恢复即企协议分析的磕础l ， 刘l t q 络中发生的行为加以完整的霞组和记求，h 络i | 1 发生的f e 何行为部逃不过 它的监砚。网络审计即对网络中所仃的连接f f t 逃 j ：址采。内容恢复和刚络审 计让管理员看到网络的真i f 远行状况，调动箭胖员参与行为分析过程。此功能 不仅能使管理员看到孤立的攻击事件的报警，还i _ 以百到整个攻击过程，了解 攻击确实发尘与否，查看攻击者的操作过程，了解攻击造成的危害。不住i 发现 已知攻击、外部攻击，同时也发现未知攻击、内部j 日户的恶意行为。 ( 5 ) 全面的安全防御方案使用安全工程风险管理的思想与方法束处理网 络安全问题，将网络安全作为一个整体工程束处理。从管理、网络结构、加密 通道、防火墙、病毒防护、入侵检测多方位全面对所关注的刚络作全面的评 估，然后提出可行的全面解决方案。 1 4 采用聚类技术的入侵检测系统 入侵检测系统一般部需要在大量的已标记为萨常或异常的训练数据集上进 行训练，在实际应用中通常没有已轫 ：汜好的数据可供使用，因为原始的网络数 据或系统调用数据笳足没有杯汇的，所以这些扔：汇需要以手工的方式进行，两 此会耗费大量的人力物力。而无监督异常捡测方法就没有这些限制，由于它们 不需要使用任何己标记好的数据，大大降低了训练数据鬃的尘成要求，成为了 近柬研究的热点“。聚类算法足一种典型的无监督异常检测方法，这种类型的 方法通常假设数据集包含了大量的矿常数据和相对少量的肄常数据，并且异常 数据与萨常数据f l j 存在着本质的不同。 聚类分析的疗法是指将物理的或抽象的对象分成几个群体，在每个群体内 部，对缘之问具仃较高的+ 1j 似性，i 而在不f 蚰群体之f u j h i 似r ! i ! l j 比较低。一般 一个群体也就足一个类，f r l 与数就c 分炎不同的足 ! 炎结果卜要足毪r “1 l 讨所处 理的数捌，我们。妊先弗坷：知通类的结构及每个对象所腻的炎) ；l j 。屦r 聚炎的入 役f = ： ! 洲技术町以疋骼饼的竹刖入仪， 能够r | 适心的确j t 玎法参放j i | 4 q , ； 篮i 了 的训约数就：时表统边i j ：训约；。 i 5 论文主要内容安排 本沦文i m 绕上面所提的问题，没汁丁一个fj 通t 的、_ l i j 发的入他怜删政 进葬法使毖能够e j 动地处理系统所收集的刚络数据，生成入他伶：则谈型术仃 效地玲测未知刚络入侵行为。该 法在准确地怆：则入1 王的f 们十对器科，入旺行为 鄙订较高的枪测牢和较低的误警：莽。 文献 1 5 中指出：设计一个好的入慢捡测算法是j e 常v , - 1 口的。在设计箨法 时，主要需要考虑以下几个问题： ( t ) 算法应该不需要人工参与，能够自动的完成我们所, l j n j 操作： ( 2 ) 通常柬源于计算杉l , f l j 网络系统的故据曩足i 常巨大的。w 此算法应该 有较快的处理数据的速度： ( 3 ) 现实环境中收集的数据是无类杯的数据，用人工对其编码是作常 f j 难 且昂贵的。因此算法应该足一种无监督的算法； ( 4 ) 现实环境中系统收集到的数据一般足i e 纯净的、含何许多噪音的数 据，也就是说所收集的数据中既有币常数据又有异常数据。因此算法应该具有 容噪的性能： ( 5 ) 算法处理的数据通常是具有许多属性的高维数据。这蝗属陛中既有离 散型的属胜变量又有连续性的属性变量。因此算法应该其仃能够处理各种类型 的疆性变量的能力： ( 6 ) 在现实环境中正常行为和异常行为的轮廓( 或模型) 足会经常改变的， 因此一个可用的入侵检测系统也应该具有能够随时修改和增加新的检测砹型的 能力，例如：应该具有自动学习样本生成捡测模型的能力： ( 7 ) 算法应该能适应多种环境，便于系统的移植。 本论文的主要组织结构如下： 1 主要i 码述了计算机网络信息安全的研究背景及本论文研究的7 景、意 义，系统全面地综述了入侵检测系统的诞生和发展，指出了入侵硷测的发展方 向，引 j 了运用聚炎技术的入侵检测系统。 2 i f 细介绍了入侵枪测符梭弘的研究状况，指 j 了各模型仔存的优缺 点。 3 介绍了元船饼入他拎洲竹法的研究现状及i i l i l 临, 的挑战，抛m 了任现仃 资沥吖n t 1 ：址卜使川聚炎馆i 、_ ：鲥决i j q f j 数批无h 裕，嘲络教捌多苫0 d 趣。寸 口聚炎竹浊，支 聚炎分 ! f i i | l 处刖帕效= | l ：炎，p 酃i j j 行了i ( f i l l 蜕1 9 j i i 、- 、t ? “p fj ；l | f ：i j 、 1 提；j ；丁一种m 向混合炎型故壬【：的心上生紧炎锥法i l - ：1 ；z 介? i j 了奎钾法的 实现过程j i 对聚炎纳宋过行了h 、炎。 j 介绍了实验川数铡集和数据的颅处刖过p t ! 。i j 这唑数据坩段，p 上堕f i 了 r 能：则试。 最后对本论文工作做了总结，指出了下一步研究的疗向。 1 l - 坤l 0 t j 帅l l ：。f ：t 卜止 第2 章入侵检测模型研 入经谂：则膜掣足划i i j j j m 络或f j 户f 亍为足l r 常行为还足入侵行为的一垒 l 制。如似，迮芷入侵榆测膜型从大鞋的审计数据税性中生成最能有效地区分正 常i 为和肄常行为的萨常行为轮廓，或足从中钉效地提取：j j 入侵模式足入侵 检：则领域的研究重点。从d e n m n g 提出具仃划时代意义的d e n n i n g 通用入佳伶测 模氇至今，入侵睑测领域已经终历了二十多年的发腱历程。目前，已 现了许 多入旺摸型，有集中控制式的、分层式的、分布式的等等。下面从异常怆；则f l l 滥用舱测两方面概述目前国内外关于入侵检测模型的研究状况。 2 1 异常检测模型 i d e n n m g 模d e n n i n g 于1 9 8 7 年提出了一个通用的入侵怆测摸型”， 如图2 - i 所示 阳2 - i d e n n i n g 入f 2 舱删收掣 f i g u r e2 - 1d e n n i n gi n t r u s i o nd e t e c t i o nm t c i e 该嵌掣的二个 ：要的部什址l ：体i 玉功：扛f j i 产小器，异常；玉动记? 畏器f l l 脱则 鬟。它独f 1 1 , 仆系统、膨j ljj h n ) ，辟耵故挣：分巾址阳离, 1 - i ；：1 5 故拱，： 的分佃。 ( ! ) 训练故据中仃足够的数捧：手| j 分伽代辰，螋个i i i 常的故州。j f 件领域。 t 3 ) 在合理的计算际准f 1 l 仃4 1 1 分炎的数批乒作很接近 面不 1 1 j 的分炎 的聚炎则+ l 蔗很大。 聚类分析是一个富有挑战的研究领域，彳天雠一个应j j 酃挺h 了一个fjl 二 独特的要求。以一f 就是对聚炎分析窿不问应用中的一t ! 典犁要求。： ( 1 ) 可扩腠性许多聚类簿法在小数据集( 少于2 0 0 个数据对象) 时可以j ：作 很好，但一个大数据库可能会包禽数以百万的对象，利用采样疗法进行聚炎分 析可能得到一个有偏差的结果，这时就需要可扩眨的聚类分析算法。 ( 2 ) 处理不同类型属性的能力i ， = 多鲜法足针。对罄f 区m 的数值属性而设 计的。但是有些应用需要对其它炎型数据，如：二值类掣、符号类型、顺f 手类 型，或这些数据类型的组合。 ( 3 ) 发现任意形状的聚类许多聚类鲜法是恨据欧氏距离和m a n h a t t a n 距离 来进子亍聚类的。基于这类距离的聚类方法一般只能发现具有类似大小和密度的 圆形或球状聚类。而实际上一个聚炎足可以具有任意形状的，因此设计出能够 发现任意形状类集的聚炎算法是非常重要的。 ( 4 ) 需要( 由用户) 决定的输入参数最少许多聚炎算法需要用户输入聚类 分析中所需要的一些参数( 如：期望所获聚类的个数) 。聚类结果通常郜与输入 参数密切相关，而这些参数常常也很难决定，特别是包含高维对象的数据集。 这不仅构成了用户的负担，而且也使得聚类质量难以控制。 ( 5 ) 处理噪声数据的能力大多数现实世界的敛据唪均包含异常数据、不 明确数据、数据丢失和噪声数据，有些聚类算法对这样的数据非常敏感并会导 致获得质垦较差的聚炎结果。 ( 6 ) 对输入记录顺序不敏唾一些聚类算法对输入数据的顺序敏感也就是 不同的数据输入会导致获得非常不州的结果。因此设计时输入数据1 1 5 j 宁不敏感 的聚炎算法也是作常苣要的。 ( 7 ) 高维问题一个致据侔或一个数据仓库或许包禽符f ：维或属性。i ， = 多 聚炎玎法在处珲低维敏c i ：时( 仪包含二到三个维) 时友观破好。人的税麓也u n 奠 帮助削断低t 三维的放州聚炎分析顷“t ，然】| j 改i r 埘： 维卞| 1 l j 巾的放 l e 对象 j ) ) i j 址计- ：1 维宅m 稀疏f i ”f 什，如的敏州甜蒙能j ! ，j 圾t f 凝蹩分h i 的 f 乏炎砰 泛l 成为浆，j f 究- f ，勺蛐挑1 1 戊 ( 8 ) 谩j 。约轧的聚炎j 记实1 1 1 悍i i i 的j t “，能。 ；婴n ：箨钟约沫之卜过fj ：紧 炎分析。设汁能够发现满足特定约艇纂r l i i j ；仃较好聚炎质：i ；的l 襞炎婶法也址 一个匝要聚炎研究f e 务。 ( 9 ) 町懈释性和呵用陀用户n f ：希哩聚炎结槊魁, i y f i l ，钳的，i j r 解释的， 以及町盯j 的。这挽需要聚类分析要1 i 拍定的懈释和应f j 暇系在一起。i n 此研究 一个应用的i i f ，j 、足如何影l j 向聚炎疗法的遗抒也足 i 常t 婴的。 3 2 1 聚类分析方法 通常聚炎算法分为以下几类：划分_ 方法、层次方法、基于二密度的疗法、基 于网格的方法和基于模型的疗法。”。 1 划分方法给定一个包含n 个对象或数据行的数据集，划分疗法将数据 集划分为k 个子集( 划分) ，其中每个子集均代表一个聚炎( k n ) ，即将数据分 为k 组。这些组满足以下要求：( 1 ) 每组至少应包含一个对象；( 2 ) 每个对象必 须只能属于某一组。后一个要求在一些模糊划分方法中可以放宽。给定需要划 分的个数k ，一个划分方法首先创建一个初始划分，然后利用循环再定位技 术，即通过移动不同划分( 组) 中的对象柬改变划分内容。一个好的划分衡量标 准通常是使得同一个组中的对象“相近”或彼此相关，而不同组中的对象“较 远”或彼此不同。 2 层次方法层次方法足通过分解所给定的数据对象集束创建一个层 次。根据层；欠分解形成的方式，可以将层次方法分为自下而上和自上而下两种 类型。自下而上的层次方法从每个对象均为一个单独的组开始，逐步将这些 ( 对象) 组进行合并，直到这些组位于层次顶端或满足终止条件为止。自上而下 层次方法从所有均属于一个组的对象开始，每一次循环将组分解为更小的组， 直到每个对象构成一组或满足终止条件为止。 3 基于密度的方法大多数划分方法是基于对象j 日j 距离进行聚炎的，这 类方法仅能发现圆形或球状的聚类而较难发现具有任何形状的聚炎。而基于密 度溉念的聚类方法实际上就是f ：断增长所获得的聚类，直到“邻近”( 数据对 象或点) 密度超过一定阂值( 如：一个聚炎中的点致，或一个给定半径内必须包 含至少的点数) 为l f = 。这种方法“r 以f f jf 消除故据中的噪声( 蚌常致据) ，以及 帮助发现f 【意形状的聚类， 常f j 的l 占r 崭f 芟的厅法。如k ：近靠疗法芷敝槲址个埘象oj “i 邻n 勺k 个对象的趴离f 【i 宋州断! c 趾，r 乃砰常故