（通信与信息系统专业论文）基于系统调用的异常入侵检测系统研究.pdf

武汉理l ：人学硕士学位论文 摘要 基于主机系统调用序列的入侵检测技术，是针对主机系统调用数据进行监 测的一种安全技术。由于主机系统调用序列反映了系统内核的行为特征，有利 于对于系统自身特征的提取和针对系统自身的监测，从而可以不考虑用户差别， 从系统自身行为的合法性和破坏性上鉴别入侵行为，有效地控制和监管特权程 序的使用，辨别滥用职权的发生。同时，这种基于序列模式的分类研究对于其 他基于序列的检测技术，例如基于用户命令序列的入侵检测提供了可以借鉴的 方法。 本文主要研究了基于主机系统调用入侵检测系统的检测分类算法。基于主 机系统调用入侵检测模型的关键就是如何能够更准确地把从系统中得到的系统 调用序列进行分类，为此，文中引进了应用于文本分类系统中的k n n 分类算法 ( k - n e a r e s tn e i g h b o r ) ，原本用在w o r d 里面用来检测单词正确与否的算法。用 文本处理的方法，每个系统调用被看成是在一份很长的文档中的一个字，而且 一个进程所产生的系统调用集被看作是那份文档。这样一来就可以把原来用来 处理文本过程的方法完整的应用到入侵检测问题上。k n n 分析就是一种新的， 基于k n n 分类的入侵监测的方法。 本文把k n n 算法应用到基于主机入侵检测系统中，设计了一个基于k n n 算法的主机入侵检测系统，论文的研究、设计工作主要包括以下几个方面：1 分 析了网络安全的现状，对入侵技术及其发展作了总结；2 研究了基于系统调用 入侵检测系统的基本工作原理和算法实现，并介绍了k n n 算法，给出了算法的 向量空间描述以及特征值计算方法；3 设计了基于系统调用的入侵检测系统模 型，介绍了模型的设计思想，描述了模型的各个功能模块的详细实现；4 最后 对算法进行了测试，表明k n n 算法的分类检测准确率比较高，是一种比较好的 入侵检测分类算法。 关键词：系统调用，k n n ( k - n e a r e s t n e i g h b o r ) ，主机入侵检测 武汉理工人学硕士学位论文 a b s t r a c t t h et e c h n i q u eo fi n t r u s i o nd e t e c t i o nb a s e do ns e q u e n c eo fh o s ts y s t e mc a l l m a i n l yf o c u s e do nt h ed a t as e to fh o s ts y s t e mc a l l w h i c hi st h ek e m e lf u n c t i o no fa n o p e r a t i n gs y s t e m a st h ec h a r a c t e ro fk e m e lo fo p e r a t i n gs y s t e m ，s e q u e n c eo fs y s t e m c a l lc a nb eu s e dt od e t e c tt h eb e h a v i o ro fs y s l e mw i t h o u tc a r eo fd i f f e r e n t i a t i o no f u s e r , a n dc a nb em o r ee f f e c t i v ei nc o n t r o l l i n gt h eu s a g eo fp r i v i l e g ep r o g r a ma n di n p r e v e n t i n ga b u s i n g + t h ep a p e rm a i n l ys t u d y st h ed e t e c t i o nc a t e g o r i z a t i o na l g o r i t h mo fi n t r u s i o n d e t e c t i o ns y s t e mb a s e ds y s t e mc a l l k e yo ft h em o d e lo fh i d si sh o wt oc a t e g o r i z e t h es y s t e m sg o tf r o mp r o c e s s i o n sw e l la n dt r u l y f o rt h i sr e a s o n ，w ei n t r o d u c ei n t ot h e k n na l g o r i t h mw h i c hi su s e di nt e x tc a t e g o r i z a t i o ns y s t e m k n nn a m e l yk - n e a r e s t n e i g h b o r , i su s e dt ot e s tt h ew o r dr i g h to rn o ri nw o r d h e r ee a c hs y s t e mc a l li nt h e p r o c e s s e st r e a t e da saw o r da n dt h ec o l l e c t i o no fs y s t e mc a l l so v e re a c hp r o g r a m e x e c u t i o na sad o c u m e n t ，a n dt h u st h em e t h o dd e a l i n gt e x tp r o c e s si sa p p l i e dt o i n t r u s i o nd e t e c t i o n k n na n a l y s i si san e wi n t r u s i o nd e t e c t i o nm e t h o dw h i c hb a s e s k n n c a t e g o r i z a t i o n w ea p p l yk n ni n t oh i d s ，a n dd e s i g nah i d sb a s e dk n na l g o r i t h m t h e r e s e a r c h ，d e s i g na n dr e a l i z i n gw o r k i n gm a i n l yo ft h et h e s i si n c l u d es e v e r a lf o l l o w i n g r e s p e c t s ：1a n a l y s e st h ec u r r e n ts i t u a t i o no f t h en e t w o r ks e c u r i t y , m a k eas u m m a r yo f i n t r u s i o nt e c h n o l o g ya n dd e v e l o p m e n t ；t h r o u g ht h es t u d yo fb a s i cc o n s t r u c t i o na n d a l g o r i t h mr e a l i z i n go fi n t r u s i o nd e t e c t i o ns y s t e mo ns e q u e n c eo fh o s ts y s t e mc a l l ， i n t r o d u c et h ek n na l g o r i t h ma n dd e s c r i b et h ev e c t o rs p a c eo fk n n 3d e s i g nt h e m o d e lo fi n t r u s i o nd e t e c t i o ns y s t e mb a s e ds y s t e mc a l la n di n t r o d u c et h ef i m c t i o no f e a c hm o d u l ea n dr e a l i z a t i o n ；3f i n a l l y , w ed oat e s to fk n na l g o r i t h mt h r o u g h e x p e r i m e n t a t i o n ，a n dt h er e s u l ts h o wt h a tt h ek n na l g o r i t h m sa c c u r a t e l yl e a d si s s a t i s f y i n g ，a n di sag o o dc a t e g o r i z a t i o na l g o r i t h mi ni n t r u s i o nd e t e c t i o n k e yw o r d ：s y s t e mc a l l ；k n n ( k - n e a r e s tn e i g h b o r ) ；h i d s ( i n t m s i o nd e t e c t i o n b a s e dh o s t ) 1 1 武汉理i 大学硕十学位论文 1 1 课题研究的意义 第1 章绪论 随着i n t e r n e t 的迅速发展信息时代向人们展现出了巨大的魅力，政治、经 济和日常生活的方方面面无一不融入到i n t e r n e t 的开放式结构中去了。通过 i n t e r n e t 实现包括个人、企业和政府的全社会信息共享已经成为现实。不幸的是， 在人们的生活越来越依靠i n t e r n e t 的时候，人们也不得不面对越来越严峻的网络 和信息安全问题。据c e r t 数据表明，从有记录的1 9 8 8 年开始，c e r t 报告的 安全事件每年以指数级增长( h t t p ：w w w v c e r t o r g s t a l s c e r ts t a t s h t m l # i n c i d e n t s ) ， 如图1 一l 。 1 4 0 0 0 0 1 2 0 0 0 0 1 0 0 0 0 0 8 0 0 0 0 6 0 0 0 0 4 0 0 0 0 2 0 0 0 0 0 1 几 一汀 一一一r i | i 睫 图1 一lc e r t 报告每年发生的安全时问统计表 许多文献【1 6 】都曾经试图对信息和数据安全进行定义，在文献中，计算 机安全的定义是：只有当主体的行为完全符合表达系统期望的安全规则要求时， 系统才是安全的。而根据i s o 【2 】，数据与系统安全性定义包括： 1 保密性( c o n f i d e n t i a l i t y ) ：信息不泄漏给非授权的客体； 2 完整性( i n t e g r i t y ) ：数据没有遭受以非授权方式所做的纂改和破坏； 3 可确认性( a c c o u n t a b i l i t y ) ：确保一个实体的行为能够被明确的跟踪到； 武汉理工人学硕士学位论文 4 可用性( a v a i l a b i l i t y ) ：资源对授权实体的请求可被访问和使用。 然而信息安全的内涵在不断的延伸，从最初的信息保密性发展到信息的完 整性、可用性、可控性和不可否认性，进而又发展到攻击、防范、检测、管理 和评估等多方面的基础理论和实施技术。许多安全技术如防火墙、安全路由器 和v p n 等都从不同的角度来保障计算机系统和网络系统的完整性、保密性、可 用性和可确认性。由于现在的计算机系统和网络系统越来越复杂，即使使用了 防火墙和身份认证等传统的进入控制技术，仍然会发现有高明的黑客常常可以 渗透进入系统来。所谓道高一尺，魔高一丈，所以入侵和安全是一对对立统一 的矛盾。正因为如此，才有入侵检测系统i d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) 产生 和发展的必要。i d s 作为安全防范措施的重要环节，能够在入侵到来时检测到它， 并采取相应措施，将损失减少到最小。i d s 实现安全事件可见和可控的重要手段。 利用i d s 可以知道自己系统可能存在的弱点和了解黑客入侵技术，知己知彼才 能构筑一个更坚固的安全防御体系。 但是目前的i d s 还存在许多不理想的地方。首先一个重要的问题是现在的 监测技术都存在误警率高和漏报的问题。误警率高会导致“狼来了的问题”，而 漏报会导致黑客可能成功地入侵了系统而没有被发现。这两种情况都不是我们 期望发生的，所以更加合理精确的监测模型研究仍是入侵检测研究的核心。其 次，目前的1 d s 基本属于被动的安全事件信息收集的角色。尽管有入侵反映机 制的研究，但会导致反映机制被利用而发起d o s ( d e n i a l o f s e r v i c e ) 攻击，因 而在实际的环境中很少应用。而i d s 作为法庭上接受的数据证据可靠来源的研 究刚刚起步，许多问题包括法律上的核信息技术上的都还没有解决，数字证据 的研究越来越成为法律和计算机技术工作者迫在眉睫的重要课题。将i d s 作为 数字证据来源是期望i d s 系统能从被动收集信息到有目的地防御角色的转换。 利用法律的强制性和威慑性来限制棘手的信息安全问题。最后，i d s 的警报和其 安全日志中安全事件之间相关性的深层次的研究也是扩展i d s 功能和挖掘i d s 价值的一个重要方面。 综上所述，研究和发展并应用i d s 技术在保障网络和计算机系统安全上具 有重要的理论和实用价值。研究先进的i d s 技术对保证关键应用系统的数字信 息的可靠性，对减少入侵事件带来的损失等方面具有重大的意义。因此研究i d s 的关键技术是解决对国民经济发展和国防建设具有重大意义的网络与信息安全 领域所涉及的重大科学问题的关键基础技术。以i d s 领域所涉及的新检测模型、 新功能和新应用为突破口，力图实现在科学理论和技术上的创新，以提高我国 武汉理t 大学硕十学位论文 在网络与信息安全研究领域的整体创新能力和国际竞争力，形成我国自主的知 识产权i l l s 。 d s 研究的技术中相当部分具有广阔的应用前景，从而为我国信息 基础设旌建设的高效安全运行提供科学基础。 1 2 研究的主要内容和思路 入侵检测的核心技术是检测模型研究。以操作系统的系统调用为审计数据， 以提高用户异常行为的识别能力、未知模式攻击的检测能力和减少误警报率为 譬标。研究了一个基于系统调用的异常入侵检测系统，主要研究了其中的入侵 检测算法。并把新算法和传统的入侵检测算法进行了比较测试。 1 3 本文主要内容及结构安排 本文主要围绕基于系统调用的异常入侵检测系统进行研究，主要内容安排 如下： 第一章分析了计算机及网络信息安全研究现状，讨论信息安全应用的重要 意义，提出了论文所要解决的问题。 第二章对入侵检测系统的分类、体系结构、使用策略等进行研究、分析和 总结，我们发现主机系统调用是入侵实际发生的地方，也是最终的入侵检测点， 利用系统调用序列来检测入侵是一种比较有效、全面的入侵检测方式 第三章基于系统调用入侵检测系统的理论基础，包括如何获得进程的系统 调用及l i n u x 操作系统的l k m 机制。分析了在此基础上的入侵检测系统理论模 型。对入侵检测模型的基本构架以及本文所涉及的基于主机系统调用序列入侵 检测模型的基本构架做了解释和说明，是在前人所构建的基于主机系统调用序 列入侵检溅模型的基础上所傲的总结性描述。同时。本章对特征模式空问的有 关定义和基本概念给予解释，给出了基于主机系统调用序列入侵检测模型的特 征模式空间的数学表示和形式化描述。 第四章分析了在主机入侵检测系统中常用的一些检测算法的原理，包括单 模式匹配算法和多模式匹配算法，最后介绍分析了几种常用的算法的实现原理， 以及它们的各自的优缺点。 第五章首先详细介绍本文系统所使用的监测算法k n n ，然后在此算法基础 上设计了一个基于主机系统调用的入侵检测系统模型，并介绍了各个模块的具 武汉理l 人学硕士学位论文 体实现及功能。最后对本文实现的系统模型算法进行了测试仿真，结果显示k n n 算法应用到入侵检测系统中具有准确率高和检测时间花费少的优点。 武汉理上人学硕十学位论文 第2 章入侵检测技术 2 1 入侵检测的任务 计算机网络安全应提供保密性、完整性以及抵抗拒绝服务的能力，但是由 于联网用户的增加，很多系统都或多或少地受到入侵者的攻击。这些入侵者利 用操作系统或者应用程序的缺陷企图破坏系统。对付这些入侵者的攻击，可以 要求所有的用户确认并验证自己的身份，并使用严格的访问控制机制，还可以 用各种密码学方法对数据提供保护，但是这并不完全可行，而且访问控制和保 护模型本身也存在问题，这里有以下方面的因素。 1 ，口令。很多人使用他们自己的名字，孩子的名字，配偶的名字，宠物的 名字，或者小车的型号做口令。也有的照户使甩“p a s s v v o r d ”或者简单到什么也 没有。这给出了侵入者的进行攻击提供了方便，如果侵入者使用这些猜测进行 攻击失败，侵入者可以试图用“字典攻击”方法，尝试字典中的单词的每种可 能。字典攻击可以利用重复的登陆或者收集加密的口令并且试图同加密后的字 典中单词匹配。侵入者通常利用一个英语字典或其他语言的字典。他们也使用 附加的类字典数据库，比如名字和常用的口令。强力攻击( b r u t e f o r c ea t t a c k s ) 同字典攻击类似，侵入者可能尝试所有的字符组合方式。一个4 个由小写字母 组成的口令可以在几分钟内被破解( 大约的共有5 0 万个可能的组合) 。如果你 可以每秒试1 0 0 万种组合，一个较长的由大小写字母组成的口令，包括数字和 标点( 1 0 万亿种可能的组合) 可以在一个月内破解。如果口令已经被破解，那 么访问控制措施就不能够阻止受到危害的授权用户的信息丢失或者破坏。 2 静态安全措施不足以保护安全对象属性。通常，在一个系统中，静态的 安全特性( 例如不进行动态预测的防火墙) 可能过于简单并且不充分，或者是 系统过度地限制用户。例如，静态技术未必能阻止违背安全策略造成浏览数据 文件；而强制访问控制( 例如所有用户都不可以使用t e l n e t ) 仅允许用户访问具 有合适的通道的数据，这样造成系统使用麻烦。因此，一种动态的方法如行为 跟踪对裣溅和尽可能阻止安全突破是必要的。 由于蓄意的末授权尝试有可能造成非授权访问信息、泄露信息、系统不可 武汉理工人学硕士学侮论文 靠或不可用，因此必须设计系统的安全机制以保护系统资源与数据以防恶意入 侵，但是企图完全防止安全问题的出现在目前看来是不现实的。我们呵以尽力 检测出这些入侵以便在以后修补这些漏洞。 入侵检测作为安全技术主要任务为： 识别入侵者 识别入侵行为 检测和监视已成功的安全突破 为对抗措施及时提供重要信息 从这个角度看待安全问题，入侵检测非常必要，它将弥补传统安全保护措 施的不足。入侵监测系统处于防火墙之后对网络活动进行实时检测。许多情况 下，由于可以记录和禁止网络活动，所以入侵监测系统是防火墙的延续。它们 可以和防火墙和路由器配合工作。例如，入侵检测系统可以重新配置来禁止从 防火墙外部进入的恶意流量。 入侵监测系统扫描当前网络的活动，监视和记录网络的流量，根据定义好 的规则来过滤从主机网卡到网线上的流量，提供实时报警。大多数的入侵监测 系统可以提供关于网络流量非常详尽的分析。它们可以监视任何定义好的流量。 很多系统对f t p ，h t t p 和t e l n e t 流量都有缺省的设置，还有其它的流量像 n e t b u s ，本地和远程登录失败等等。你也可以自己定制策略。如果你定义了策 略和规则，便可以获得f t p ，s m t p ，t e l n e t 和任何其它的流量。这种规则有助 于你追查该连接和确定网络上发生过什么，以及现在正在发生什么。这些程序 在你需要确定网络中策略实施的一致性情况时是非常有效的工具。 2 2 入侵检测原理 2 2 1 入侵行为 入侵企图或威胁可以被定义为未经授权蓄意尝试访问信息、篡改信息、使 系统不可靠或不能使用。或者是只有关试图破坏资源的完整性、机密性及可用 性的活动。一般说来，按照入侵者的角度，我们可以将入侵分为六种类型： 尝试性闯入( a t t e m p t e db r e a k m ) ： 伪装攻击( m a s q u e r a d ea t t a c k ) ： 武汉理1 大学硕士学位论文 安全控制系统渗透( p e n e t r a t i o no f t h es e c u r i t yc o n t r o ls y s t e m ) ； 泄露( l e a k a g e ) ； 拒绝服务( d e n i mo f s e r v i c e ) ： 恶意使用( m a l i c i o u su s e ) 。 这种分类的方法是根据入侵方法的特征，它对检测入侵很有帮助。 2 2 2 公共入侵检测框架0 i d f 目前的入侵检测系统大都是独立研究与开发的，不同系统之间缺乏互操作 性和互用性。一个入侵检测系统的模块无法与另一个入侵检测系统的模块进行 数据共享，在同一台主机上两个不同的入侵检测系统无法共存，为了验证或改 进某个部分的功能就必须重新构建整个入侵检测系统而无法重用现有的系统和 构件，这对入侵检测系统的发展造成了极大的障碍。入侵检测系统的标准 c i d f ，就是为了解决不同入侵检测系统的互操作性和共存问题而提出的入侵 检测的框架。通用入侵检测框架( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k c i d f ) 由t e r e s al u n t 发起的，专门对入侵检测进行标准化工作的组织。开发一些协议 和应用程序接口，以便入侵检测研究项目能够共享信息和资源，同样入侵检测 系统组件也可以被其他系统应用。c i d f 主要有3 个目的：i d s 构件共享，一个 1 d s 系统的构件可以被另外一个i d s 构件使用；数据共享，通过提供标准的数据 格式，使得i d s 中的各类数据可以在不同的系统之间传递并共享；完善互用性 标准并建立一套开发接口和支持工具，以提供独立开发部分构件的能力。 c i d f 主要是通过定义数据格式和数据交换接口来实现其目标，在实现这些 目标时并没有对i d s 系统的体系结构进行任何约束，也没有限制他们的实现所 采用的编程语言和依赖的操作系统。首先，它根据1 d s 系统的普遍需求以及现 有的i d s 系统的结构，将i d s 系统的构成划分为5 类构件：事件构件、分析构 件、数据库构件、响应构件和目录服务构件。如下图2 1 所示： 事件( e v e n t ) 构件：进行信息收集的构件，应该具备一定的数据过滤功 能，之所以称为事件构件是因为该构件的输出就是事件：分析( a n a l y z e ) 构 件：分析事件数据，以及其他各构件的数据信息，根据数据分析确定应该采取 的行动；数据库( d a t a b a s e s ) 构件：对系统各个阶段的数据进行管理，在1 d s 系 统中，数据量很大，数据的动态性也很强，同时因为考虑到系统的处理层次需 武汉理t 大学硕士学位论文 要将数据用多种形式缓存，所以必须有一个数据库构件束缓存数据；响应 ( r e s p o n s e ) 构件：对于分析构件，响应构件根据晌应策略采取不同的行动； 目录服务( d i r e c t o r ys e r v e ) 构件：它用于各构件定位其他构件，更重要的是控制 其他构件传递的数据并认证其他构件的使用，以防止 d s 系统本身受到攻击。 目录服务构件可以管理和发布密钥，提供构件信息和告诉用户构件的功能接口。 图2 1i d s 系统构成 这里的划分是功能划分，而不是模块划分，在实际实现中事件构件可以是 多个构件，而分析构件可能包括事件分析构件和指令分析构件，这种划分是具 有通用性的。从上图中我们可以看出，各构件之间采用松散的耦合方式，实现 i d s 功能的4 个构件通过目录服务构件来进行定位、认证、通信和调用。 c i d f 定义构件的主要目的是为了制定构件之间交换数据的格式，这种格式 被称为通用入侵检测对象( g i d og e n e r a l i z e di n t r u s i o nd e t e c t i o no b j e c t ) ，c i d o 对象将所有需要交换的数据类型统一起来，无论是审计记录，还是响应指令， 都必须包装在g i d o 中进行传递和交换，g i d o 中设置s i d 项来标志对象中传递 的信息类型。这样在不同1 d s 构件之问就可以采用标准的g i d o 格式交换数据。 g i d o 具有非常好的扩展性，只要增加一项新的s i d 定义，就可以产生一项新的 g i d o 的数据类型。 2 3 入侵检测方法 从检测入侵的方法来分，可以分为异常检测和误用入侵检测，下面分别讨 论这两种检测方法的原理和他们之间的性能比较。 1 型一录 一旧一 日 一一厂。当 l 蒜五 广i l l m 西 3 i _ l4 武汉理1 - 人学硕士学位论文 2 3 1 异常入侵检测技术 异常检测指的是根据非正常行为( 系统或用户) 和使用计算机资源非正常 情况检测出入侵行为。例如，如果用户a 早上8 点钟到下午5 点钟之间在办公 室使用计算机，则他在晚上使用办公室计算机是异常的，就有可能是入侵；用 户b 总是在下班后登录到公司的终端服务器或是在深夜时来自b 的账号远程登 录都可能是不正常的。异常检测试图用定量方式描述常规的或可接受的行为， 以标记非常规的，潜在的入侵行为。这种非常规的，潜在的入侵行为我们可以 定义为“威胁”。 典型的威胁模型将威胁分为外部闯入、内部渗透和不当行为三种类型。并 使用这种分类方法开发了一个安全监视系统，可检测用户的异常行为。外部闯 入指的是未经授权计算机系统用户的入侵；内部渗透是指已授权的计算机用户 访问未经授权的数据： 不当行为据钓是用户虽经授权，但对授权数据和资源的使用不合法或滥用 授权。异常入侵检测的主要前提是入侵活动作为异常活动的子集。考虑这种情 况，若外部人闯入计算机系统，尽管没有危及用户资源使用的倾向和企图，可 是这存在一种入侵的可能性，还是将他的行为当作异常处理。这样做似乎合情 合理。但是，入侵性活动常常是由单个活动组合起来执行，单个恬动却与异常 性独立无关。理想的情形是，异常活动集同入侵性活动集是一样的。这样，识 别所有的异常活动恰恰正是识别了所有的入侵性活动，结果就不会造成错误的 判断。可是，入侵性活动并不总是与异常活动相符合。这里存在四种可能性， 每种情况的概率都不为零。 入侵性而非异常。活动具有入侵性却因为不是异常而导致不能检测到，这 时候造成漏检，结果就是i d s 不报告入侵。 非入侵性且是异常的。活动不具有入侵性，而因为它是异常的，j d s 报告入 侵，这时候造成虚报。 非入侵性非异常。活动不具有入侵性，i d s 没有将活动报告为入侵，这属于 正确的判断。 入侵且异常。活动具有入侵性并因为活动是异常，1 d s 将其报告为入侵。 异常入侵要解决的问题就是构造异常活动集并从中发现入侵性活动子集。 异常入侵检测方法依赖于异常模型的建立，不同模型就构成不同的检测方法。 武汉理工人学硕士学侮沦文 异常检测通过观测到的一组测量值偏离度来预测用户行为的变化，然后作出决 策判断的检测技术。 1 统计异常检测方法 统计异常检测方法根据异常检测器观察主体的活动，然后产生描述这些活 动行为的参数。每一个参数保存记录主体当前某种行为，并定时地将当前的参 数与存储的参数合并。通过比较当前的参数与已存储的参数判断异常行为，从 而检测出网络入侵。下面以i d e s 入侵检测系统为例来浇明一般统计异常检测方 法处理的过程。设m 1 ，m 2 ，m n 为参数集的特征变量，这些变量可以是c p u 的使用、i 0 的使用、使用地点及时间，邮件使用，文件访问数量，网络会话时 问等。用s 1 ，s 2 ，s n 分别表示参数集中变量m 1 ，m 2 ，m n 的异常测量值。 这些值表明了异常程度，若s i 的值越高，则表示m i 异常性就越大。将这些异 常测量值的平方后加权计算得出参数异常值( 见公式2 1 ) ： a l s l 2 + a 2 s 2 2 + + a n s n 2 ，a i o公式( 2 - 1 ) 这里a i 表示参数与变量m i 相关的权重，e a i = l 。一般而言，变量m 1 ，m 2 ， m n 不是相互独立，需要更复杂的函数处理其相关性。异常性测量值仅仅是数字， 没有明确的理论根据支持那样处理方式。例如，使用多个独立的异常性变量作 为结合的依据，理论上概率计算是正确的。但是，异常性测量和贝叶斯概率计 算的关系并不是很清晰。常见的几种测量类型如下。 活动强度测量( a c t i v i t yi n t e n s i t ym e a s u r e s ) ：描述活动处理速度。通常用作检 测突发性行为，而检测不出这种长时期的平均行为效果。 审计记录分布测量( a u d i tr e c o r dd i s t r i b u t i o nm e a s u r e s ) ：描述最近审计记录 中所有活动类型分布状况。如特定的用户在整个系统使用中文件访问和i o 活动 分布。 类型测量( c a t e g o r i c a im e a s u r e s ) ：描述特定的活动在各种类型分布状况。如 在系统中，从各个物理位置来的远程登录相关频度，每个邮件发送者、编译器、 s h e l l 、编辑器的相关使用。测量关注的是活动的出现的次数多少。 顺序测量( o r d i n a lm e a s u r e s ) ：描述活动的输出结果，以数字值来表示。如特 定的用户c p u 和i ，o 使用总量。 统计异常检测方法的有利之处是的应用的技术方法在统计学得到很好的研 究。但是这种方法有以下几点不利。 统计测量对事件的发生的次序不敏感，单纯的统计入侵检测系统可能不会 武汉理i 大学硕士。7 位论文 发觉事件当中互相依次相连的入侵行为。 蕾纯的统计入侵检测系统将逐渐地训练成单一点，要么行为是异常的，要 么是正常的。如累入侵者知道自己鹩入侵行为被这样的异常检测器监视，那么 他就可以诱导这个系统，使得那些大部分依靠行为统计测量的入侵检测方法对 监视的特定的事件模式失效。 难以确定异常闽值，闽值设置偏低或高均会导致误报警事件。 统计异常检测行为类型模型是有限的。运用统计技术对异常作形式化处理 需要假设数据来源稳定和具有相似性。但是这种假设并不总是能够满足。 2 基于特征选择异常检测方法 基于特征选择异常检测方法是通过从一组参数数据中挑选能检测出入侵参 数构成子集来准确地预测或分类已检测到的入侵。异常入侵检测的困难问题是 在异常活动和入侵活动之间作出判断。判断符合实际的参数很复杂，困为合适 地选择参数子集依赖于检测到的入侵类型，一个参数集对所有的各种各样的入 侵类型不可能是足够的。预先确定特定的参数来检测入侵可能会错过单独的特 别的环境下的入侵。最理想的检测入侵参数集必须动态地决策判断以获得最好 的效果。假设与入侵潜在相关的参数有n 个，则这i 1 个参数构成的子集有2 n 个。 由于搜索空间同参数数是指数关系，所以穷尽寻找最理想的参数子集的开销太 大。 3 ，基于贝叶斯推理异常检测方法 基于贝叶斯推理异常检测方法是通过在任意给定的时刻，测量a 1 ，a 2 一， a n 变量值推理判断是否有入侵事件发生。其中每个a i 变量表示系统不同的方面 特征( 如磁盘i o 的活动数量，或者系统中页面出错的数) 。假定舡变量具有两 个值，1 表示是异常，0 表示正常。i 表示系统当前遭受入侵攻击。每个异常变 量a i 的异常可靠性和敏感性分郧表示为p ( a 浮) 和v ( a i = _ l l n1 ) 。则在给定每个 a i 的条件下，由贝叶斯定理得出i 的可信度，根据各种异常测量的值、入侵的 先验概率及入侵发生时每种测量到的异常概率，从而能够检测判断入侵的概率。 但是为了检测的准确性，还要必须考虑各测量a i 间的独立性。 4 ，基于贝叶斯网络异常检测方法 见时斯统计分析把先验信息与样本信息结合，忍予统计推断之中。用贝时 斯公式先验信息与样本信息综台，得到后验信息，而得到的后验信息又可以作 为新轮计算的先验，与进一步获得的样本信息综合，求的下一个后验信息。 武汉理工大学硕士学位论文 随着这个过程继续下去，后验信息确实是越来越接近于真值。也就是晓，贝叶 斯方法的学习机制是确实存在而且有效的。这个学习的过程实际上是一个迭代 的过程，数据统计工4 乍者已经证明这个过程是收敛的，因为这样得到后验分布 密度有上界，而且单调递增。这意味着它将收敛于某个值。随着样本的增多， 先验信息的影响逐渐减弱，样本信息的影响将越来越显著。在样本很多的情况 下，先验分布密度的估计对结果的影响很小。换句话说，可以任意估计先验分 布密度。但是，在样本不多的情况下，先验分布密度估计得好坏对结果的影响 就比较大。如果能恰当地估计出先验分布密度，就可以使用少量样本数据，进 行几次迭代就得到比较满意的结果。这在样本不容易获得的情况。f 特别有用。 由于贝叶斯方法的学习机制存在，对于检测新的入侵方法将会有效。至今有关 贝叶斯网络的入侵检测实际系统尚未出现，目前只停留在理论研究上。 贝叶斯网络是一种基于网络结构的有向图解描述，适用于表达和分析不确 定和概率性事物，可从不完全或不确定的知识或信息中作出推理。目前贝叶斯网 络在故障诊断领域已有成功应用。 一个贝叶斯网络是一个有向无环图( d i r e m e d a c y c l i cg r a p h ，d a g ) ，由代表 变量节点及连接这些节点有向边构成。节点代表随机变量，节点间的有向边代表 了节点间的相互关系( 由父节点指向其后代节点) ，用条件概率进行表达关系强 度，没有父节点的用先验概率进行信息表达。节点变量可以是任何问题的抽象， 如测试值、观测现象、意见征询等。 贝叶斯网络实现了贝叶斯定理所揭示的学习功能，能发现大量变量之间的 关系，是进行预测、分类数据的有力工具。基于贝叶斯网络异常检测方法是通 过建立起异常入侵检测贝叶斯网，然后将其用作分析异常测量结果。贝叶斯网 络允许以图形方式表示随机变量间相关的原因。并通过指定的一个小的与邻接 节点楣关的概率集计算随机变量的联接概率分布。按给定全部节点组合，所有 根节点的先验概率和非根节点概率构成这个集。贝叶斯网络是一个有向图，有 向图中弧表示父节点和子节点依赖关系。这样，当随机变量的值变成可知时， 就允许把它吸收成为证据，根据这个证据，就可以计算出其它的随机变量条件 值。 5 ，基于模式预测异常检测方法 基于模式预测异常检测方法的假设条件是事件序列不是随机的而是遵循可 辨别的模式。这种检测方法的特点是考虑了事件的序列及相互联系。而基于时 武汉理工人学硕l 学位论文 问的推理方法则利用时问规则识别用户行为j f 常模式的特征。通过归纳学习产 生这屿规则集，能动态地修改系统中的规则，使之具有高的预测性、准确性和 可信度。如果规则大部分时间是正确的，并能够成功地运用预测所观察到的数 据，那么规则就具有高的要信度。根据观察到用户的行为，归纳产生出一套规 则集来构成用户的轮廓框架。如果观测到的事件序列匹配规则的左边，而后续 的事件显著地背离根据规则预测到的事件，那么系统就可以检测出这种偏离， 这就表明用户操作是异常。由于不可识别行为模式能匹配任何规则的左边，都 会导致不可识别行为模式作为异常判断，这是该方法的主要弱点。楣反，如果 能预测出不正常的后继事件的片段，则一定程度上断定用户行为的异常性。这 种方法的主要优点是： ( 1 ) 能较好地处理变化多样的用户行为，具有很强的时序模式； ( 2 ) 能够集中考察少数几个相关的安全事件，而不是关注可疑的整个登录 会话过程； ( 3 ) 对发现检测系统遭受攻击，具有良好的灵敏度。因为根据规则的蕴涵 语义，在系统学习阶段，能够更容易地辨别出欺骗者训练系统的企图。 6 基于神经网络异常检测方法 基于神经网络入侵检测方法是训练神经网络连续的信息单元，信息单元指 的是命令。网络的输入层是用户当前输入的命令和已执行过的若干个( 如s ) 个 命令：用户执行过的命令被神经网络使用来预测用户输入的下一个命令。若神 经网络被训练成预测用户输入命令序列集合，则神经网络就构成用户的轮廓框 架。当用这个神经网络预测不出某用户正确的后继命令，即在某种程度上表明 了用户行为与其轮廓框架的偏离，这时有异常事件发生，以此就能进行异常入 侵检测。 输入层指示出用户最近输入执行的s 个命令序列。通过将每个输入的某种 方式编码，把输入命令表示成几个值或级别，能够成为命令唯一标识。这样， 输入层上的输入值准确地同用户最近输入执行命令序列相符合。输出层由单一 的多层输出构成来预测用户发出的下个命令。这种方法的优点是： ( 1 ) 不依赖于任何有关数据种类的统计假设； ( 2 ) 能较好地处理噪声数据： ( 3 ) 能自然地说明各种影响输出结果测量的相互关系。 这种方法的弱点是： 武汉理i ：人学硕士学位论文 ( 1 ) 网络的拓扑结构和每个元素分配权重必须经过多次的尝试与失败的过程 才能确定。 ( 2 ) 在设计神经网络的过程中，s 的大小与其它的变量无关。如果s 设置太 低，则工作就差；设置太高，网络中需要处理的数据则太多。 7 基于贝叶斯聚类异常检测方法 基于贝叶斯聚类异常检测方法通过在数据中发现不同类别数据集合，这些 类反映了基本的因果机制( 同类的成员比其它的更相似) ，以此就可以区分异常 用户类，进而推断入侵事件发生来检测异常入侵行为。c h e e s e m a n 和s t u t z 在1 9 9 5 年开发的自动分类程序( a u t o e l a s sp r o g r a m ) 是一种无监督数据分类技术。自动 分类程序实现了使用贝叶斯统计技术对给定的数据进行搜索分类。这种方法尽 可能地判断处理产生的数据，没有划分给定数据类别，但是定义了每个数据成 员。其优点是： ( 1 ) 根据给定的数据，程序自动地判断决定尽可能的类型数目： ( 2 ) 不要求特别相似测量、停顿规则和聚类准则； ( 3 ) 可以自由地混合连续的及离散的属性。 统计入侵异常检测对所观测到的行为分类处理。到目前为止，所使用到的 技术主要集中于监督式的分类，这种分类是根据观测到的用户行为建立起用户 轮廓。而贝叶斯分类方法允许最理想化的分类数、具有相似的轮廓的用户群组 以及遵从符合用户特征集的自然分类。但是，该方法比较新，在入侵检测系统 中还没有实现测试。自动分类程序怎样处理好固有的次序性数据( 如审计跟踪) 以及将系统分布特性植入分类中等方面，效果并不是十分明显。当自动分类程 序支持处理在线数据时，对新的数据能否递增式地分类或者是否立即需要全部 输入数据等这些问题的处理还尚未定论。由于统计的固有的特性，自动分类程 序还存在选定合适的异常阁值和用户逐步迎影响类型分布能力的困难。 8 基于机器学习异常检测方法 这种异常检测方法通过机器学习实现入侵检测，其主要的方法有死记硬背 式、监督、学习、归纳学习( 示例学习) 、类比学习等。t e r r a n 和c a r l a e b r o d l e y 将异常检测问题归结为根据离散数据临时序列学习获得个体、系统和网络的行 为特征。并提出一个基于相似度实例学习方法( i b l ) 。该方法通过新的序列相 似度计算将原始数据( 如离散事件流，无序的记录) 转化成可度量的空间。然 后，应用i b l 学习技术和一种新的基于序列的分类方法，从而发现异常类型事 武汉理l ：人学硕十学位沦文 件，以此检测入侵，其中闽值的选取由成员分类的概率决定。实验结果表明这 种方法检测迅速，而且误警率低。然而，此方法对于用户动态行为变化以及单 独异常检测还有待改善。复杂的相似度量和先验知识加入到检测中可能会提高 系统的准确性，但需要做进一步工作。总的来说，机器学习中许多模式识别技 术对安全领域都有参考价值。 9 基于数据采掘异常检测方法 计算机联网导致大量审计记录，而且审计记录大多是文件形式存放。若单 独依靠手工方法去发现记录中异常现象是不够的，往往操作不便，不容易找出 审计记录间相互关系。w e n k el e e 和s a l v a t o r ej s t o l f o 将数据采掘技术应用到入 侵检测研究领域中，从审计数据或数据流中提取感兴趣的知识，这些知识是隐 含的、事先未知的潜在有用信息，提取的知识表示为概念、规则、规律、模式 等形式，并用这些知识去检测异常入侵和已知的入侵。基于数据采掘异常检测 方法目前已有现成的算法可以借用，这种方法的优点在于适应处理大量数据情 况。但是，对于实时入侵检测则还存在问题，需要开发出有效的数据采掘算法 和适应的体系。 2 3 2 误用入侵检测技术 误用入侵检测是指根据已知的入侵模式来检测入侵。入侵者常常利用系统 和应用软件中弱点攻击，而这些弱点易编成某种模式，如果入侵者攻击方式恰 好匹配上检测系统中的模式库，则入侵者即被检测到，误用入侵检测依赖于模 式库，如果没有构造好模式库，则i d s 就不能检测到入侵者。例如，i n t e m e t 蠕 虫攻击( w o r ma t t a c k ) 使用了f i n g e r e d 和s e n d m a i l 错误( b u g s ) ，可以使用误用检 测，与异常入侵检测相反，误用入侵检测能直接检测不利的或不能接通受的行 为，丽异常入侵检测是发现同正常行为相连背的行为。 误用入侵检测的主要假设是具有能够被精确地按某种方式编码的攻击，并 可以通过捕获攻击及重新整理，确认入侵活动是基于同一弱点进行攻击的入侵 方法的变种。误用入侵检测指的是通过按预先定义好的入侵模式以及观察到入 侵发生情况进行模式匹配来检测。入侵模式说明了那些导致安全突破或其它误 用的事件中特征、条件、排列和关系。一个不完整的模式可能表明存在入侵的