（计算机应用技术专业论文）入侵检测中的改进svm方法及报警偏离分析.pdf

中国科学技术大学硕士毕业论文入侵检测中的改进s v m 方法及报警偏离分析 摘要 在当今计算机应用曰益普及的时代，信息安全已经成为人们关注的焦点。现 实中频繁发生的计算机入侵行为向计算机安全保障提出了更高的要求。入侵检测 技术是继传统安全保护措施之后出现的安全保障技术。它通过相关技术手段及时 的检查出目前可能发生的入侵行为，并指导用户做出反应，从而较大的提高目标 系统的安全保障能力，降低出现安全危机的可能。作为其中的检测方式之一，异 常检测技术能够比较有效的检测出未知入侵，是目前入侵检测领域的研究热点。 因此，如何在异常检测中取得更好的检测效果和检测效率是值得进行更深入探索 的研究领域。此外，由于检测能力局限性导致的错误报警以及实际环境中的频繁 报警状况也给入侵检测系统的应用带来很大干扰。在这些方面的改善将有助于更 好的发挥入侵检测系统的作用。本论文即围绕上述内容开展相关研究，其主要工 作及特色是： 1 ) 在异常检测中所面临的困难是缺乏有效的计算机安全背景知识阱及样本 获取的不完备性，因此需要寻找有效的学习方法来提高检测能力。本文研究了将 支持向量机( s v m ) 技术应用于入侵检测的可能性及有效性，并在实验基础上分析 了不同训练样本集规模和支持向量机参数对检测性能的影响。 2 ) 当训练样本集较大时，s v m 需要较长的训练时间及测试时间，这导致了它 在入侵检测中的性能下降。随机选取少量样本对训练集进行裁剪的办法虽然能有 效的降低时间耗费，但其随机性很难保证检测的精确度。本文提出了一种改进 s v m 方法p l s v m ，它在随机小样本集指导下以特定概率删减训练集中的非有 效样本，从而建立起缩减训练集。同时，它还利用集成学习的方法提高分类器的 稳定性。算法分析及关于网络连接数据的实验表明，该方法能够较大的降低训练 时间并获得优良的检测结果。本文还给出了该方法在s n o r t 系统上的实现设计。 3 ) 针对目前入侵检测中存在的频繁报警与错误报警较多的情况，本文提出了 基于报警偏离的分析方法。它将报警信息向量化，并通过分析与正常状态向量的 偏离度来衡量当前安全状况。在此基础上，该方法还提供了层次化的安全评估方 式，可对整个系统的安全态势很好地做出评估。 关键词：入侵检测、异常检测、支持向量机、概率裁剪、报警偏离分析 中国科学技术大学硕士毕业论文 入侵检测中的改进s v m 方法及报警偏离分析 a b s t r a c t n o w a d a y si n f o r m a t i o ns e c u r i t yh a sb e c o m et h ef o c u so fo u ra t t e n t i o nw i t ht h e m o r ea n dm o r ep o p u l a r i t yo fc o m p u t e r s a p p l i c a t i o n f r e q u e n tc o m p u t e ri n t r u s i o n si n t h er e a l i t ) ，r e q u i r es t r o n g e rs a f e g u a r d so fc o m p u t e rs e c u r i t yi n t r u s i o nd e t e c t i o ni sa s u c c e e d i n gp r o t e c t i o nm e t h o da f t e rs o m et r a d i t i o n a ls e c u r i t ym e a s u r e s i tf i n d sc u r r e n tp o s s i b l ei n t r u s i o n sw i t hs o m et e c h n i q u e sa n dg u i d e su s e r si n t or e a c t i o n ，s ot h a t t h es a f e t yo ft h et a r g e ts y s t e mc a nb eg r e a t l yi m p r o v e da n dt h e r ew i l lb el e s sp o s s i b i l i t i e so fs e c u r i t yc r i s i s a so n eo ft h ed e t e c t i o nm e t h o d s ，a n o m a l yd e t e c t i o nc a ne l - f e c t i v e l yd e t e c t1 2 k l o w ni n t r u s i o n sa n di th a sb e e nt h eh o t s p o to fc u r r e n tr e s e a r c hi n i n t r u s i o nd e t e c t i o n t h e r e f o r e ，h o wt oo b t a i nb e t t e rr e s u l t sa n de f f i c i e n c yi na n o m a l y d e t e c t i o nw i l lb eav a l u a b l er e s e a r c hf i e l dw h i c hi sw o r t hf u r t h e rw o r k m o r e o v e r , f a l s ea l a r m sr e s u l t i n gf r o mt h el i m i t a t i o no fd e t e c t i o na b i l i t ya n df r e q u e n ta l a r m si n a c t u a le n v i r o n m e n tb r i n gg r e a td i s t u r b a n c et ot h ea p p l i c a t i o no fi n t r u s i o nd e t e c t i o n s y s t e m ( i d s ) t h ei m p r o v e m e n t si nt h e s ef i e l d sw i l lh e l p1 d sg e tb e t t e rp e r f o r m a n c e t h er e s e a r c hi nt h i sa r t i c l ec o n c e r n st h ea b o v ec o n t e n t sa n dt h em a j o rt a s k sa n di n n o v a t i o n sa r ea sf o l l o w s ： 1 ) t h ed i f f i c u l t i e sf a c e di na n o m a l yd e t e c t i o na r et h es h o r t a g eo fe f f e c t i v eb a c k g r o u n dk n o w l e d g eo fc o m p u t e rs e c u r i t ya n dn o n i n t e g r i t yo fs a m p l e s s oi t sn e c e s s a r yt of i n de f f e c t i v el e a r n i n gm e t h o d st oe n h a n c et h ed e t e c t i o na b i l i t y t h i sp a p e r m a k e sr e s e a r c h e so nt h ep o s s i b i l i t ym a d e f f e c t i v i t yo fs u p p o r tv e c t o rm a c h i n e ( s v m ) s u s i n gi ni n t r u s i o nd e t e c t i o n b e s i d e st h i s ，i ta n a l y z e st h ed e t e c t i o np e r f o r m a n c eu n d e r t h ei n f l u e n c eo f d i f f e r e n tt r a i n i n gs e ts c a l ea n dd i f f e r e n tp a r a m e t e r so nt h eb a s i so f t h e e x p e r i m e n t s 2 ) w h e nt h et r a i n i n gs e ti sq u i t el a r g ei ns v m ，t h et i m ec o s ti nt r a i n i n ga n dt e s t i n gw i l li n c r e a s eg r e a t l y , w h i c hl e a d st oi t sp e r f o r m a n c e sd r o pi ni n t r u s i o nd e t e c t i o n t h r o u g hs e l e c t i n gaf e wr a n d o ms a m p l e st oc u td o w no r i g i n a lt r a i n i n gs e t ，t h et i m e c o s tc a nb ed e c r e a s e d b u tt h er a n d o m i c i t yi ns e l e c t i n gc a nn o te n s u r et h ea c c u r a c yo f d e t e c t i o n i nt h i sp a p e r ，a ni m p r o v e ds v m m e t h o d ，i e p l s v m ，i sp r o p o s e d i tc u t s n o n 。e f f e c t i v er e c o r d sf r o mo r i g i n a lt r a i n i n gs e tw i t hs p e c i f i cp r o b a b i l i t i e su n d e rt h e i i ! 里型兰垫查查兰堡主望些丝兰 垒堡笙型! 塑整兰! 坚查笙墨! 墅塑坌i l 垡u i d a n c eo far a n d o ms m a l ls e t ，s ot h a tt h er e d u c e dt r a i n i n gs e tc a l lb es e tu p f u r 一 血e m o r e i tu s e se n s e m b l e st oe n h a n c et h ec l a s s i f i e r s s t a b i l i t y a l g o r i t h m i ca n a l y s i s a n dt h ee x p e r i m e n t sw i t hn e t w o r kc m m e c t i o nd a t as h o wt h a tp l s v mc a nr e d u c et h e t i m ec o s ti nt r a i n i n ga n do b t a i ne x c e l l e n td e t e c t i o nr e s u l t s t h ep a p e ra l s od i s c u s s e s t h ei m p l e m e n t a t i o nd e s i g no f t h i sm e t h o do nt h ep l a t f o r mo fs n o r t 3 1f o rt h es i t u a t i o no ff r e q u e n ta l a r m sa n dh i g hf a l s er a t ei ni n t r u s i o nd e t e c t i o n ， t h i sp a p e rb r i n g sf o r w a r da l la n a l y s i sm e t h o db a s e do na l a r md e v i a t i o n 、i tb u i t d sv e c t o r sw i t hp r e s e n ta l a r mi n f o r m a t i o na n da n a l y z e st h ed e v i a t i o nf r o mt h en o r m a lv e c t o r t oe v a l u a t ec u r r e n ts e c u r i t ys t a t u s o nt h i sb a s i s ，i ta l s op r o v i d e sah i e r a r c h i c a ls e g u r i t ye v a l u a t i o nm e t h o d ，w h i c hc a ne v a l u a t et h ew h o l es y s t e m ss e c u r i t ys i t u a t i o nq u i t e w e l l k e y w o r d s ：i n t r u s i o nd e t e c t i o n ，a n o m a l yd e t e c t i o n ，s u p p o r tv e c t o rm a c h i n e ， p r o b a b l er e d u c i n g ，a n a l y s i so fa l a r md e v i a t i o n i i 中国科学技术大学硕士毕业论文 入侵检测中的改进s v m 方法及报警偏离分析 1 1 入侵检测介绍 1 1 1 信息安全 第一章绪论 从1 9 4 6 年第一台电子计算机e n i a c ( e l e c t r o n i cn u m e r i c a li n t e g r a t o ra n d c o m p u t e r ) 诞生至今，计算机技术在社会生活的各个方面扮演着越来越重要的角 色。特别是在互联网技术和其他一些先进的通信技术出现后，它们极大的推动了 计算机技术的发展与应用，给人类的生活及工作方式带来巨大变革。目前，数目 庞大的计算机通过i n t e r n e t 全球互联网向人们提供各种服务，诸如w w w 、f t p 、 em a i l 、b b s 等。随着计算机技术的日渐完善与普及，i n t e r n e t 已经成为强大而 成熟的信息平台。最终，它将导致其他传统行业发生巨大变革甚至引发新的产业 革命，同时也将对未来人们的生活产生深远影响。 但凡事“有一利必有一弊”。当越来越多的事务交由计算机进行处理与保存 时，相应的一些危险也就出现了。当我们所依赖的计算机系统失效与异常时，其 用户从国家政府部门到家庭个人都必然遭受到损失，虽然其严重程度各 不相同。在互联网高速发展的今天，i n t e r n e t 本身具备的开放性与共享性决定 了它在给我们带来极大便利的同时，也会给我们带来严重的安全隐患。计算机的 操作系统、应用软件和硬件设备都不可避免地会存在一些安全漏洞，而i n t e r n e t 环境使得这些漏洞会轻易的被利用。根据美国计算机紧急反应小组协调中心 ( c e r t c c ) 的统计数据，从1 9 9 8 年该中心成立以来，收到的计算机安全事故报告 的数量一直呈上升趋势，1 9 9 9 年该中心收到了约1 0 0 份计算机安全事故报告， 2 0 0 0 年达到了2 1 7 5 6 份，而2 0 0 1 年更上升到了5 2 6 5 8 份，每年均以超过1 0 0 的速度递增。在国内，安全形势同样令人不容乐观。根据国家计算机网络应急技 术处理协调中心( 简称c n c e r t c c ) 发布的2 0 0 5 年c n c b r t c c 网络安全工作报 告“1 显示，我国大陆地区有2 万2 千5 百多个i p 地址的主机被植入木马，至少 有7 0 万台主机被植入了某种类型的间谍软件。这些都说明如何保障计算机系统 的安全和正常工作是我们所面临的一个重要问题。 广义上说，计算机安全是指计算机的硬件、软件和处理数据得到足够保护， 中国科学技术大学硕士毕业论文 入侵检测中的改进s v m 方法及报警偏离分析 使之不因为恶意或偶然的原因遭到破坏、更改和泄漏，保持正常工作状态。计算 机系统中的安全问题来源于系统的脆弱性，它是指系统中能够通过违反安全策略 的方式探测出来的弱点。一部分弱点是系统软件与硬件设计实现时就出现了的， 可称之为技术脆弱性；其他的弱点发生在安全策略、处理过程、控制和其他的系 统管理区，这些弱点称之为程序脆弱性或管理脆弱性。信息系统的安全问题是一 个十分复杂的问题。信息系统有多复杂，其安全问题就有多复杂。并且，“安全” 也是一个难以量化的指标。因此，它往往只在表面上而非实际里得到重视。“什 么事情都没发生”是安全的目标，但是“什么事情都没发生”也是导致忽略安全 问题的源头。实际上，安全就是防范潜在未知的威胁。一个安全的信息系统应具 备下面的一些特征：i 、机密性( c o n f i d e n t i a l i t y ) ，是指只允许授权用户访问 特定信息；i i 、完整性( i n t e g r i t y ) ，是指数据在未经授权情况下不被改变；i 、 可用性( a v s i l a b i l i t y ) ，是指信息与系统资源能够满足持续工作的要求，授权 用户能够在他们需要的时候，从其需要的地方，以需要的方式访问资源。 在信息安全的发展史中有一个重要的里程碑，它就是在1 9 8 5 年美国国防部 国家计算机安全中心( n c s c ) 发布的可信计算机安全评估准则( t c s e c ) ”1 ，俗称 橘皮书。橘皮书中使用了可信计算机基础( t r u s t e dc o m p u t i n gb a s e ，t c b ) 这 一概念，即计算机硬件与支持不可信应用及不可信用户的操作系统的组合体。这 个准则的发布对操作系统、数据库等方面的安全发展起到了很大的推动作用。其 后，针对越来越严重的网络安全问题以及保护各种信息系统的安全需求，产生了 “可适应网络安全模型”和“动态安全模型”。其中比较具有代表性的就是p d r 模型，它最早由i s s 公司提出。p d r 模型的一种为p 2 d r 模型，包括了四个主要 部分： p o l i c y ( 安全策略) p r o t e c t i o n ( 防护) d e t e c t i o n ( 检测) r e s p o n s e ( 响应) 他们之间的关系如图i 1 所示。 ! 里型兰垫查查兰塑主竺些丝苎 垒堡垒型! 塑墼墨j ! ! 型塑堕墨塑兰塑亘! ! ! l 图1 1p 2 d r 模型 策略是这个模型的中心，它体现了要达至0 的安全目标，同时决定了为之采取 措施的强度。在制定好策略之后，其他方面就围绕着策略进行。 夺防护( p r o t e c t i o n ) ：一般而言，安全的第一步是防护，其基础是检测 与相应的结果，其内容包括安全规章的制定、系统的安全配置，安全措 施的采用等等。 夺检测( d e t e c t i o n ) ：采取了各种的安全防护措施之后并不能保证系统已 经得到了完全的保障。网络与计算机系统的情况都是在不断变化的，并 借各种软硬件系统的漏洞也是被不断的发现的，这些都要求具备有效的 监控手段。一般来说，防护总是滞后于攻击的，在二者只见会有一个时 间差，而检测就是要弥补这点。 夺响应( r e s p o n s e ) ：在发现了攻击或攻击的企图时，系统就要及时地做 出反应，包括报告、记录、反应和恢复等。 而p z d r 模型中检测部分最主要的内容就是入侵检测，它的作用在于承接防 护与启动响应。 1 1 2 入侵检测的概念 入侵检测( i n t r u s i o nd e t e c t i o n ) 作为动态安全机制中的重要一环，在信 息系统的安全防护中起着十分关键的作用。关于入侵检测的研究可追溯至 a n d e r s o n 在1 9 8 0 年的工作。在文献【3 中，他首次提出了入侵检测的概念，并将 入侵( i n t r u s i o n ) 定义为：潜在的有预谋未经授权访问信息、操作信息、致使 系统不可靠或无法使用的企图。b e a d y 给出另外的入侵定义，他认为入侵是指有 中国科学技术大学硕士毕业论文入侵检测中的改进s v m 方法及报警偏离分析 关试图破坏资源的完整性、机密性及可用性的活动集合。s m a h a 从分类角度指出 入侵包括尝试性闯入、伪装攻击、安全控制系统渗透、泄漏、拒绝服务、恶意使 用等6 种类型，而入侵检测则是针对可能发生的入侵所采取的一种防范行为。i c s a 入侵检测系统论坛将其定义为：通过从计算机网络或计算机系统的中的若干关键 点收集信息并对其进行分析，从中发现网络或系统中是否有违反安全策略的行为 和遭到攻击的迹象的一种安全技术。入侵检测是防火墙的合理补充。它帮助系统 应对网络攻击，扩展了系统管理员的安全管理能力，提高了信息安全基础结构的 完整性。入侵检测系统( i d s ，i n t r u s i o nd e t e c t i o ns y s t e m ) 是安全体系的重 要一环，它试图检测、识别和隔离“入侵”企图或计算机的不恰当未授权使用。 入侵检测系统不仅能监视网上的访问活动，还能针对正在发生的攻击行为进行报 警，甚至采取相应的阻断或关闭设备的措施。具体来说，入侵检测系统的主要功 能有：监测并分析用户和系统的活动、核查系统配置和漏洞、评估系统关键资源 和数据文件的完整性、识别已知的攻击行为、统计分析异常行为、对操作系统进 行日志管理、并识别违反安全策略的用户活动、针对已发现的攻击行为做出适当 的反应等。 一个完善的入侵检测系统应该具备下面的特点： 经济性：出于保护与加强系统安全性的目的而引入入侵检测系统所导致 的系统性能降低应该在可接受范围内。 时效性：可以及时地发现入侵行为。实际中的情况一般是在攻击发生的 同时检测出来。如果是事后检测到，就需要注意时效，因为情况有可能 已经发生了改变。 安全性：入侵检测系统本身必须保证安全，如果自身安全都没有办法得 到保证，那么其检测结果也会是无效的。 可扩展性：这有两个含义。一方面要求数据与机制的分离，在现有机制 不变的前提下应该能够检测到新的攻击；另一方面则指系统结构的可扩 充性，可以在不对系统的整体结构进行重大修改的前提下加强检测，以 保证可应付新出现的攻击。 1 1 3 基本构成 通用入侵检测框架( c i d f ，c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ) 定 义了大多数入侵检测系统应具有的基本组件。c i d f 是为了解决不同入侵检测系 中国科学技术大学硕士毕业论文 入侵检测中的改进s v m 方法及报警偏离分析 统的互操作性和共存问题而提出的。c i d f 定义了以下的通用组件，其体系结构 如图1 2 所示： _ 事件生成器 事件生成器是入侵检测系统中负责原始数据收集和过滤的部分，它对数据 流、日志文件、系统运行参数等进行追踪，然后选择某些原始数据转换为事件， 并向系统的其他部分提供这些信息。 事件分析器 事件分析器接收事件信息，并对它们进行分析，判断其是否为入侵行为或异 常状况，最后将判断为入侵的结果转换为报警信息。 事件数据库 事件数据库是各种原始数据或已加工数据的存储器。它接收事件生成器或事 件分析器的数据并进行较长时间的保存。 响应单元 响应单元针对分析组件产生的分析结果，根据响应策略采取相应的行为。 - 目录服务器 目录服务器用于各组件定位其他组件，以及控制其它组件传递的数据并认证 其他组件的使用，以防止入侵检测系统本身遭受攻击。 输入：原始事件源 匪阐臣啊 输出：i 原始或低级事件输出：1 反应或事件 输出：l 高级中断事件输出 事件的存储信息 i 墨笪坌堑墅 l 壹壁塑量壁li 旦墨竖箜墨l 图1 2c i d f 定义的体系结构 一般的，各个组件可采用分析体系结构、网状体系结构或混合结构来组织。 1 1 4 系统分类 为了更好的研究入侵检测技术，可根据不同的角度对入侵检测系统进行分 类。下面将从数据源、检测方法、检测实时性和体系结构四个方面描述入侵检测 系统的分类。 中国科学技术大学硕士毕业论文入侵检测中的改进s v m 方法及报警偏离分析 1 1 4 1 基于数据源分类 入侵检测系统要对其监控的系统的运行状态做出判断，需要以原始数据中包 含的信息为基础。按照原始数据的来源，可将入侵检测系统划分为主机型i d s 、 网络型i d s 和混合型i d s 。 主机型i d s ：基于主机的入侵检测出现于8 0 年代初，系统获取数据的来 源是所在的主机，保护的目标也是其所在的主机。事实上，当时的网络 使用远不如今天复杂与广泛。在这样的简单环境中，检查可疑行为的检 验记录是很常见的操作。现在，基于主机的i d s 仍然使用检验记录，但 自动化程度大大提高，并发展了精密的可迅速做出响应的检测技术。同 时，在发展的过程中还融入了很多新的技术。它具有检测细腻、视野集 中、网络流量无关性和适用于加密与交换环境等优点。 网络型i d s ：基于网络的入侵检测系统使用原始的网络数据包作为数据 源，保护的目标是该网络中的计算机。这种类型的i d s 往往通过检测并 分析通过网络的所有通讯来发现有敌意的行为。基于网络的i d s 有许多 仅靠基于主机的入侵检测无法提供的功能。基于网络的i d s 的优点主要 有：检测速度快、隐蔽性好、视野宽阔和操作系统无关性等。 混合型i d s ：顾名思义，混合型就是既基于主机有基于网络，结合这两 种数据源，融合两者各自具有的一些特点。 1 1 4 2 基于检测方法的分类 根据检测方法的指导思想，可将入侵检测技术划分为两大类：异常检测技术 和误用检测技术“。因此，入侵检测系统也可划分为基于异常检测的和基于误 用检测的两大类。 异常检测模型( a n o m a l yd e t e c t i o nm o d e l ) ：指根据使用者的行为或资 源使用状况来判断是否入侵，而不依赖于具体行为是否出现来检测，所 以也被称为基于行为的检测。异常检测基于统计方法，使用系统或用户 的活动轮廓来检测入侵活动。活动轮廓由一组统计参数组成，通常包括 c p u 和i o 利用率、文件访t o 、出错率、网络连接等。这类i d s 先产生 主体的活动轮廓，系统运行时，异常检测程序产生当前活动轮廓并同原 中国科学技术大学硕士毕业论文 入馒检测中的改进s v m 方法及报篁堕孽! 坌塑 始轮廓比较，同时更新原始轮廓，当发生显著偏离时即认为是入侵。基 于行为的检测与系统相对无关，通用性较强。它甚至可以检测出以前从 未出现过的攻击形式，不像基于知识的检i l ! , l l i l 样受已知脆弱性的限制。 但因为不可能对整个系统内的所有用户行为进行全面的描述，况且每个 用户的行为是经常改变的，所以它的主要缺陷在于误检率很高。尤其在 用户数目众多，或工作目的经常改变的环境中。其次e l 于统计简表要不 断更新，入侵者如果知道某系统在检测器的监视之下，他们能慢慢地训 练检测系统，以至于最初认为是异常的行为，经一段时间训练后也认为 是正常的了。 误用检测模型( m i s u s ed e t e c t i o nm o d e l ) ：这种模型是收集非正常操作 ( 也就是指一些入侵行为) ，建立起相关的特征库；在之后的检测过程中， 将在检测过程中收到的数据与特征库中的特征代码进行比较，从而得出 是否发生攻击行为的结论。误用检测总的说来是基于已知的系统缺陷与 入侵模式，所以也可以称之为特征检测。他能够比较精确的检测到某些 特征的攻击，误保率较低：但是由于过度依赖事先定义好的安全策略， 往往无法检测到未知的攻击行为，从而产生漏警。主要的误用检测系统 类型有：专家系统、按键监视系统、模型推理系统、误用预测系统、状 态转化分析系统和模式匹配系统。当前流行的入侵检测系统基本上都采 用了误用检测模型。 基于异常检测和误用检测的入侵检测系统都有各i i i 的优势与不足。针对网络 系统的情况更多的使用误用检测，而对主机臼志进行分析时往往采用异常检测。 因此，它们是互补的关系，共同完善整个检测工作。 1 1 。4 3 基于检测实时性的分类 i d s 在处理数据时可以是实时的，也可以用批处理的方法，定时处理原始数 据，这两种方法各有特点。采用批处理方式的i d s 在收集到信息之后要隔一定的 时间才对其进行处理。如果在这段时间内有攻击发生就报警。这种方法不利于进 行有效的防范和响应，但可以保证系统的效率，同时也能很好应付计算量很大的 情形。实时处理是大多数i d s 所采用的办法，它以实时或近似实时的方式持续的 监控从信息源或许的信息并进行处理。由于计算机硬件速度的提高，使得对攻击 的实时检测和响应成为可能。从目前来看，批处理和实时处理这两种方法可以互 中国科学技术大学硕士毕业论文入侵检测中的改进s v m 方i 坚堡董堡重坌堑 相补充，实时处理先对数据进行初步的分析，检测明显的攻击特征，然后批处理 对数据进行更加详细的分析，分析的结果还可以用于训练异常检测系统。 1 1 4 4 基于体系结构的分类 按照体系结构，i d s 可分为集中式、等级式和协作式三种。集中式i d s 有多 个分布于不同位置的审计程序以及一个中央入侵检测器。审计程序将收集到的数 据发送至中央服务器进行分析处理。等级式i d s 则定义了若干个分等级的监控区 域，每个i d s 负责一个区域，每一级的i d s 负责其所在的监控区的分析，并将当 地的分析结果传送至上一级的i d s 。协作式i d s 将中央检测服务器的任务分配给 多个i d s ，这些i d s 不分等级，负责监控当地主机的活动。 上面分别根据数据源、检测方法、检测定时和体系结构对入侵检测系统进行 了分类。除了这些，还可依据事件收集方式、入侵响应方式等将入侵检测系统划 分为不同的类别。 1 1 5 研究热点 从1 9 8 7 年乔治敦大学的d e n n i n g 提出了具有历史意义的实时入侵检测系统 抽象模型i d e s ”1 ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ) 至今，人们对于入侵 检测系统的研究不断完善应用中的入侵检测技术。目前国外著名的入侵检测研究 机构包括s t a n f o r dr e s e a r c hi n s t i t u t e 的c o m p u t e rs c j e n c el a b o r a t o r y ( s r i c s l ) ，p u r d u eu n i v e r s i t y 的c o a s t ( c o m p u t e ro p e r a t i o n sa u d i ta n d s e c u r i t yt e c h n o f o g y ) 研究小组，美国国家能源部的l a w r e n c el i v e r m o r en a t i o n a ll a b o r a t o r y ，u cd a y i s 的c o m p u t e rs e c u r i t yl a b 等。对于入侵检测的 研究，从早期的审计跟踪数据分析，到实时网络入侵检测系统以及应用于大型网 络的分布式检测系统。在入侵检测领域，已经拥有了许多相对成熟的理论与研究， 这些都表明了入侵检测正步入更重要的阶段。 分布式入侵检测系统( d i d s ，d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ) 采 用分层的结构，能够将不同的检测方法集成在一起，具有较高的检测准确度和较 大的检测范围。特别随着近些年分布式拒绝服务攻击( d d o s ，d i s t r i b u t e dd e n i a l o fs e r v i c e ) 的出现，这种具备分布式结构的入侵检测系统成为入侵检测领域的 研究热点之一。而目前的原型系统采用的方法主要有两种：对现有的i d s 进行规 中国科学技术大学硕士毕业论文 入侵检测中的改进s v m 方法及报警偏离分析 模扩展或者通过i d s 之间的信息共享来实现。 在检测技术方面，许多开创性的研究也在进行，其中的一些方向就是将人工 智能技术引入入侵检测领域，如f o r r e s t 等将免疫原理运用于分布入侵检测”、 r o s sa n d e r s o n 和a b i d ak h a t t a k 将信息检索技术与入侵检测进行结合。1 等。此 外，目前i d s 研究领域受到重点关注的方向还有入侵检测系统与其他安全部件的 互动、入侵检测系统的标准化等。 1 2 异常检测技术 异常检测通过以定量的方式描述计算机系统可以接受的行为特征，用以在正 常的行为与事件中区分出潜在的入侵行为。这种检测方式不仅能够检测出己知的 入侵，还能够发现未知的攻击方式。 1 2 1 概述 异常检测是对正常行为建模，所有不符合这个模型的事件即被怀疑为攻击。 异常检测首先收集一段时期正常操作活动的历史数据，建立代表用户、主机和网 络连接的正常行为轮廓。然后收集事件数据，并使用种种方法来决定所检测到的 事件活动是否偏离正常行为模式。异常检测的关键问题在于正常使用模式的建立 以及如何利用该模式对当前的系统用户行为进行比较，从而判断出与正常模式的 偏离程度。 异常检测基于这样一个假设：无论是程序的数据分布还是用户的行为状态， 在系统特性上都从现出较强的相关性与规律性。这些性质使得建立用户正常使用 模型成为可能。对于异常检测系统来说，系统用户的正常模式应该是不断修正 和更新的。检测器所使用的度量也需要不断完善，因为不能保证使用当前所定义 的度量可以表示出所有的异常行为模式，而应当将检测看作不断进化的一个上升 过程。常用于进行异常检测的方法主要有量化分析方法、统计分析方法及其一些 智能计算技术。 量化分析是异常检测中使用最为广泛的方案。特点是使用数字来定义检测规 则和系统属性。d e n n i n g 所提出的操作模型中也包含了这种检测方案。量化分析 通常涉及到一系列的计算过程。从简单的计数到复杂的加密运算。计算的结果可 咀作为构造误用检测的入侵特征或者异常检测的统计模型的数据基础。通用的量 9 中国科学拄术大学硕士毕业论文入侵检测中的改进s v m 方法及报警偏离分析 化分析方法包括门限检测、目标完整性检测和数据精简等。 统计分析技术是较早运用于异常检测的技术。它通过将检测数据与已有的正 常行为的统计指标进行比较来判断是否发生入侵。常用的入侵检测统计分析模型 包括： 操作模型，该模型假设异常行为可通过测量结果与一些固定指标相比较 得到，固定指标可以根据经验值或一段时间内的统计平均确定： 方差模型，计算参数的方差，设定其置信区间，当测量值超过置信区间 的范围时表明有可能发生异常； 多元模型，是操作模型的扩展，通过同时分析多个参数实现检测： m a r k o v 过程模型“，将每种类型的事件定义为系统状态，用状态转移矩 阵来表示状态的变化，当一个事件发生时，如果状态矩阵该转移的概率 较小则可能是异常事件； 时间序列模型，将事件计数与资源耗用根据时间排成序列，如果一个新 事件在该事件发生的概率较低，则该事件可能为入侵。 统计分析最大的优点是具有良好的学习性，但这种学习能力也使得入侵者能 够通过逐步训练使入侵事件成为正常模型的一部分，从而穿透入侵检测系统。此 外，如何选择要监视的衡量特征及寻找主要有效特征子集市统计方法的关键。 除了上述技术，一些研究工作关注于将智能计算技术引入异常检测中。这些 智能计算技术包括有神经网络“、遗传算法“、模糊系统。”及数据挖掘“”等。这 些方法都拓展了异常检测技术的发展方向，并在研究中取得了一定效果。 1 2 2 支持向量机与入侵检测 在入侵检测中，所面临的检测数据往往存在比较复杂的关系，同时由于入侵 行为的不确定性，所能获得的入侵样本知识往往是比较有限的。而传统的一些基 于统计的方法都依赖于大数理论，它们往往需要大量且完整的训练数据支持下才 能保证获得较好的检测效果。在小样本条件下，这些传统方法的检测都不太理想。 支持向量机( s v m ，s u p p o r tv e c t o rm a c h i n e ) 技术是在统计学习理论基础上 提出的一种新型学习算法。它具有良好的学习性能及泛化能力。特别是在少量训i 练样本及缺乏足够先验背景知识的条件下，它仍然能取得较好的学习效果。在广 泛的应用中，s v m 的性能都胜过其他大多数的学习系统。实质上而言，入侵检 测可以归属于分类问题，即要求在检测中将异常状态数据与正常状态数据分开以 中国科学技术大学硕士毕业论文入侵检测中的改进s v m 方法及报警偏离分析 及将某类异常状态与其他异常状态区分开来。因此，可将入侵检测问题转化为特 定场景下的分类问题，然后利用支持向量机进行学习与分类，以分类结果作为检 测结论，从而取得良好的检测效果。 1 3 报警偏离分析 1 3 1 出发点 在目前越来越复杂的计算机应用环境中，入侵检测的决策与分析算法也变得 越来越复杂。尽管许多工作从不同角度对检测技术做了改进与提升，但是在实践 中仍然难以避免错误报警的情况频繁发生。这种状况导致了用于确认报警的人工 开销飞速增高，干扰了对入侵的反应行动，并且很大程度的影响了使用者对于入 侵检测系统的信心。在某种角度上说，这是当今i d s 都面临的一个重要问题。 造成目前这种情况的原因是多方面的。其中的一个原因是入侵行为本身的高复杂 性。入侵行为的复杂性实质上来源于计算机系统的复杂性。尽管已经出现了许多 更先进的检测方法，但是相对于原始问题本身来说还是远远不足的。对于误用检 测方法来说，虽然通过提取入侵攻击行为的特征码能够比较高效的检测出这些行 为，但实际上对一些复杂入侵行为特征的提取往往很难获得足够的精细度，从而 在检测过程中发生错误报警的情况。而异常检测方式所依赖的对象模型的建立是 存在一定的不确定性的，特别是在统计性质基础上的判决基本都不可避免的伴随 着符合某些分布的错误发生。希冀在具体检测实现技术的角度完全的解决这个问 题是不现实的。伴随着较高误警的还有另外一个问题频繁报警问题：在短时 间内的入侵检测系统收到大量报警。当这种情况出现时，整个系统的负荷急剧增 大，同时对报警信息的分析和处理变得十分困难。在实际系统应用中，它的出现 常常导致使用者无法及时地对报警信息进行有效分析，甚至使检测系统出现运行 故障。频繁报警的发生除了是检测系统的设置上出现错误这种原因外，还有可能 是某些攻击者根据探测到的检测规则发送大量特定数据包，从而造成i d s 的频繁 报警。在这种频繁报警情况下攻击者的真正攻击目的往往很难被用户察觉，也容 易使得混杂于大量伪攻击中的真正带来威胁的行为被忽略。同时大量的报警也容 易形成对i d s 本身的d o s 攻击。 偏离分析正是针对上述情况而提出的一种方法，它以新的角度对入侵事件进 行处理，在一定程度上克服了这些问题。 中国科学技术大学硕士毕业论文入侵检测中的改进s v m 方法及报警偏离分析 1 3 2 报警偏离分析思想 基于前面的分析，目前的入侵检测系统很难完全避免在检测过程中出现错误 报警及频繁报警的情况。因此，很重要一些工作应当集中于如何利用检测中获取 的报警信息评估出所检测的系统当前遭遇入侵的可能。同时，也注意到传统检测 都是以一些二值检测事件来说明当前安全状况，这样既损失了是非二值之外的有 用信息，也很难直观与有效的反映出得到的检测结果。 报警偏离分析的核心思想是将各类同构或异构报警信息统一规范化为一个 多维空间中的报警向量，并建立起监测域内正常运行状态下的报警向量常态。通 过计算当前报警向量与常态报警向量的偏离程度来指示该监测域的安全状况；更 进一步的，在考虑整个系统结构组成后综合各个监测域的安全状况，得出整个系 统的安全态势。 1 4 本文的组织结构 本文主要内容是在一个分布式入侵检测架构上进行两方面的研究：一方面是 将s v m 方法及改进s v m 应用于异常检测的研究，包括第三至第五章：另一方面提 出了一种报警偏离分析技术，主要内容安排在第六章。 每章内容安排如下： 第一章：绪论。分别介绍了入侵检测的原理和分类，以及研究热点，重点讨 论了本文涉及到的研究方面的研究背景和现状。 第二章：研究基础。本章介绍了本文的研究工作的基础：“科祯网侦”网络 入侵检测系统，介绍和分析了系统的结构机工作原理，阐述了系统的优缺点，针 对系统的一些缺点，提出了改进的思路。这是本文研究工作的基础与出发点。 第三章：支持向量机在异常检测中的应用。介绍了支持向量机的原理及其应 用于入侵检测上的方法。在此基础上，对支持向量机应用于异常检测的可行性与 检测性能进行研究，并给出相关结论。 第四章：改进s v m 在异常检测中的应用。提出了一种通过概率选择对训练集 进行裁剪的改进s v m 方法p l s v m ，并分析了该方法的优点及在异常检测上的 优势，然后给出研究结果。 第五章：p l s v m 的入侵检测实现设计。以跨平台的开源入