（计算机应用技术专业论文）典型集理论在入侵检测中的应用.pdf

摘要 摘要 随着网络技术的迅猛发展，黑客技术的平民化，网络环境变得越来越复杂， 同时信息安全问题也愈发严峻。入侵检测方法作为一种积极主动的安全防御技 术，也更加受到人们的关注。 本文首先介绍了入侵检测技术的概况以及国内外的研究现状，分析了基于 正常特征库的检测算法的不足，也就是正常特征库的规模一直在扩大。在检测 系统运行的过程中，正常特征库将占用更多的内存空间并且增加检测时间，这 就降低检测效率，尤其不适用实时检测系统。 然后针对使用正常特征库匹配方法的不足，根据信息论中典型集的思想， 将正常特征库看成是一个集合，并且把集合分为两个部分，其中一个是典型集 部分，典型集中的元素所体现出来的属性也就代表了整个集合的属性，另一部 分为非典型集。使用这个方法，我们可以对特征库中冗余的元素进行约简来提 高入侵检测系统的效率。 接着对l i n u x 系统调用之间的关系设计了三种模型，分别为系统调用独立模 型，短序列独立模型和马氏模型。在获得了全集正常库的基础上，从典型集的 定义出发，计算出每种假设模型下全集中每个元素的出现概率进而获得典型集。 最后把获得的典型集作为正常特征库，通过对特定数据的检测后，使用期 望代价和r o c 曲线等方法对i d s s 做出评测，得出了使用典型集的可行性结论， 并把它用于一个实时审计系统中。 总的来说，典型集方法适用于基于正常特征库的入侵检测算法，并且能够 提高系统性能。 关键词：入侵检测典型集短序列匹配算法 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fn e t w o r kt e c h n o l o g y , t h ep o p u l a r i z a t i o n o f h a c k i n gt e c h n o l o g ya n dt h ei n t r i c a t eo fn e t w o r ke n v i r o n m e n t ，i n f o r m a t i o ns e c u r i t y p r o b l e m sh a v eb e c o m em o r es e v e r e a sap r o a c t i v es e c u r i t yd e f e n s et e c h n o l o g y , t h e m e t h o d so fi n t r u s i o nd e t e c t i o na r e b e i n gc o n c e r n e db ym o r ep e o p l e f i r s t l y , t h i sp a p e ri n t r o d u c e st h ed e v e l o p m e n ta n ds i t u a t i o no fi n t r u s i o nd e t e c t i o n t e c h n o l o g y , a n a l y z e st h ed i s a d v a n t a g eo ft h ed e t e c t i o na l g o r i t h mu s i n gn o r m a l s i g n a t u r e sd a t a b a s e ，w h i c hi st h es i z eo ft h ed a t a b a s ea l w a y si n c r e a s e sa n dw o u l du s e m o r em e m o r ya n dd e t e c t i o nt i m es oa st od e p r e s st h e e f f i c i e n c yo ft h es y s t e m s e c o n d l y , t or e s o l v et h i sp r o b l e m ，b a s e do n et h e t y p i c a ls e tm e t h o di n i n f o r m a t i o nt h e o r y , t h en o r m a ls i g n a t u r e sd a t a b a s ei sr e g a r da sa s e ta n dd i v i d e di n t o t w op a r t s ，o n eo fw h i c hi st h e t y p i c a ls e tw h o s ep r o p e r t yi st h ed e l e g a t eo ft h ew h o l e s e t ，a n o t h e ri st h en o n t y p i c a ls e t u s i n gt h a tm e t h o d ，w ec a nr e d u c et h er e d u n d 锄c v d a t aa n dr a i s et h ed e t e c t i o ne f f i c i e n c y t h i r d l y , i no r d e rt og e tt h et y p i c a ls e to ft h ew h o l es e t , i ti sn e c e s s a r yt oo b t a i n t h ee n t i r ee l e m e n t so ft h es e ta n dt h e p r o b a b i l i t yo fe a c he l e m e n tu s i n gt h et y p i c a ls e t d e f i n i t i o n b e c a u s et h ep r o b a b i l i t yo fe a c he l e m e n tr e l a t e st ot h e r e l a t i o n s h i pb 咖e e n t h el i n u xs y s t e mc a l l s ，t h r e em o d e l sa r ed e s i g n e df 斫t l l er e l a t i o n s h i p ，w h i c ha r et h e s y s t e mc a l l si n d e p e n d e n tm o d e l ，t h es h o r ts e q u e n c ei n d e p e n d e n tm o d e la n dt h e m a r k o vm o d e l ，a n dt h et y p i c a ls e ts i g n a t u r e sd a t a b a s eo f e a c hm o d e li sg a i n e d l a s t l y , w em a k et h et y p i c a ls e ta st h en o r m a ls i g n a t u r e sd a t a b a s ea n dt e s ti t u s i n gs p e c i f i cd a t a , u s i n gt h ec o s te x p e c t a t i o nm e t h o da n dt h er o cc u r v et oi u d g et h e i d s s ，a n dg e tt h ec o n c l u s i o nt h a tt h et y p i c a ls e ti s f e a s i b i l i t y , w h i c hi su s e di na r e a l t i m ea u d i ts y s t e m i naw o r d ，t h et y p i c a ls e tm e t h o dc a na d a p tt ot h ei n t r u s i o nd e t e c t i o nb a s e d o n n o r m a ls i g n a t u r e sd a t a b a s ea n dr a i s et h ee f f i c i e n c yo f t h es y s t e m k e yw o r d s ：i n t r u s i o nd e t e c t i o n , t y p i c a ls e t , s h o r ts e q u e n c em a t c h i n gm e t h o d i i 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名：f 寸玉冰 沙p g 年r 月1 7 日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 解密时间：年月日 各密级的最长保密年限及书写格式规定如下： 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名：付至冰 刎胪7 日 第一章绪论 第一章绪论 第一节信息安全概述 当今社会科学技术飞速发展，计算机技术与网络技术逐步地进入了人们生 活的各个方面。网络信息技术也正逐渐地应用在一些大型、关键业务系统中。 网络电子信息系统也正在加大它的使用范围，慢慢地会在各个领域中被应用。 然而，信息技术在满足人们生活要求的同时，与其相关的安全问题也浮出 水面，而且有着愈演愈烈的迹象。 根据中国互联网信息中心2 0 0 8 年1 月公布的中国互联网络发展状况统计 报告显裂，截至2 0 0 7 年底，我国上网用户总数为1 3 7 亿人，其中宽带用户 已经突破l 亿，达到1 0 4 亿，另外手机上网用户已经达到1 7 0 0 万人。网络用户 和网络主机的数量仍然在持续增长，与此同时，电子政务、电子商务、网络游 戏、博客等互联网业务正在快速扩展，各种新的操作系统、新的软件不断投入 使用，伴随着各种业务的飞速发展，大量主观或者客观上的漏洞也都被挖掘出 来。黑客们的攻击动机已经从追求“认同感 转向获取实际利益或者表达一种 思想倾向。黑客组织已经逐渐向规模化集团化发展，网络上已经有专门出售被 感染的所谓的“肉鸡”的人员出现。因此，网络安全问题就变得越来越接近每 个网络使用人员的生活，变得越来越严重。 c n c e r t c c 是接收国内网络安全事件报告的重要机构，同时也是国际应急 组织f i r s t 和亚太地区应急组织a p c e r t 成员，c n c e r t c c 负责接收国际网 络安全事件报告。在c n c e r t c c 发布的2 0 0 7 年度网络安全工作报告中提到【l j ， 2 0 0 7 年各种网络安全事件与2 0 0 6 年比较都有明显的增加，c n c e r t c c 接收到 的网络仿冒事件和网页恶意代码事件，已经分别超出去年全年总数的1 4 倍和 2 6 倍。我国大陆地区被植入木马的主机i p 远远超过去年，增幅达2 2 倍。我国 大陆被篡改网站数量比去年增加了1 5 倍。 僵尸网络仍然是网络攻击的基本手段和资源平台，2 0 0 7 年c n c e r t c c 抽 样监测发现感染僵尸程序的境内外主机数达6 2 3 万个，其中我国大陆有3 6 2 万 个口地址的主机被植入僵尸程序，并有l 万多个境外控制服务器对我国大陆地 第一章绪论 区的主机进行控制。僵尸网络主要被利用发起拒绝服务( d d o s ) 攻击、发送垃 圾邮件、传播恶意代码，以及窃取受感染主机中的敏感信息，而由僵尸网络发 出的大流量、分布式d d o s 攻击是公认的世界难题，不仅严重影响互联网企业 的运作，而且严重威胁着我国互联网基础设施的运行安全。 2 0 0 7 年c n c e r t c c 接收非扫描类网络安全事件报告4 3 9 0 件( 已合并了通 过不同方式报告的同一网络安全事件) 。每月接收到的非扫描类事件具体数量 如图1 1 所示【i 】。其中，8 月和1 2 月接收的网络安全事件报告较多。 2 0 0 7 年网络安全事件报告数量统计 c h o 目玎托 令 枣 令枣 冬 枣 爹 图1 12 0 0 7 网络安全事件报告 综上所述，信息安全问题的解决已经迫在眉睫。安全计算机系统的定义是 “一个可以信赖的按照期望方式运行的系统”。还可以定义为安全三元组机 密性、完整性和可用性。机密性指只能由授权用户访问信息，完整性指防止信 息被修改，可用性指信息和系统资源能够持续工作。 导致网络安全产生的原因众多，要建立一个安全系统也基本上是不可能的 工作。操作系统和应用软件层出不穷，逐步复杂。而且安全系统的设计者往往 很难预测程序在运行时的状态。这就使系统本身存在很多的漏洞。再者，随着 互联网的发展，更多的本地网络服务将在互联网上出现。而且计算机网络的某 些关键技术，比如t c p i p 协议本身就有很多的漏洞。因此，不存在绝对安全的 计算机系统。 目前主要应用到网络信息安全的技术包括数据加密、漏洞扫描、计算机病 毒扫描、防火墙以及入侵检测等。这些技术几乎涉及到网络的各个领域，并且 都在不同程度地发展，这些技术也都是未来网络安全的发展方向。 2 第一章绪论 网络数据加密技术是通过将网络原始数据信息按照某种加密算法转换成密 文的过程。目前数据加密技术主要运用在i p 层( 包括i p v 6 协议标准中) ，d n s ， s n m p 等网络协议数据中。数据加密技术在网络上的应用需要有一个好的密钥管 理协议，i e t f ( i n t e m e te n g i n e e rt a s kf o r c e ) 开发中的新的密钥交换协议o a l d e y ， 它将提供完全前向加密特性。 漏洞扫描器是一种自动监测远程或本地主机和网络安全性漏洞的程序，它 能直接或间接的反应系统安全性能并提供有价值的参考依据，是一种用于主动 改善信息系统安全的工具。它具有强大的扫描识别能力，能发现远程主机和网 络，并发现其上运行的服务，最终将可能发现这些服务存在的漏洞。 计算机病毒扫描程序适用于检测和清除计算机病毒，一般利用模式匹配技 术，配合定期更新的病毒特征库来检测和清除计算机中的病毒。 防火墙是一种被动式防御的访问控制技术，它通过在网络边界建立相关系 统来隔离内部和外部网络，防止外部网络对于内网的攻击。目前防火墙技术包 括动态包过滤、内核透明代理、用户认证机制等。 入侵检测可以说是防火墙技术的必要补充，它可以在不影响网络性能的情 况下对网络进行检测，提供对内部攻击、外部攻击和误操作的监控。现在新的 入侵检测理论不断提出，人们将免疫算法、优化理论、a g e n t 技术和数据挖掘等 许多技术应用到入侵检测领域，做出了很多卓有成效的工作。哥伦比亚大学的 l e e 研究小组将数据挖掘中的分类算法、关联数据挖掘算法、序列挖掘算法等用 于入侵检测系统中。他们利用包括网络和主机的数据源，使用了不同的检测方 法，作了大量的实验工作，并且取得了重要的研究成果。另外，新墨西哥大学 的s t e p h a n i ef o r r e s t 研究组也研究开发了基于短序列匹配算法的系统来检测异 常。此外，哥伦比亚大学数据挖掘实验室的p o r t n o y 也利用聚类算法在异常检测 工作方面做了研究。 第二节本文研究目的 入侵检测算法可以分为两类，一种是误用检测，另一种是异常检测。在异 常检测中，很多的算法需要预先设置好一个正常库，比如f o r r e s t 提出的短序列 匹配算法。本文主要针对这类检测算法来进行分析与优化。 基于正常库的检测方式有着自身的缺点。由于对系统的使用具有随机性， 3 第一章绪论 随着系统使用的增减，将会有更多的正常行为产生并且加入到正常库之中。这 肯定会使正常序列个数增加，从而使正常库变得越来越大。而在进行检测的时 候，又需要将正常库中的所有记录取出，逐一进行匹配。这样，随着正常项目 记录数的增加，匹配次数随之增加，就降低了检测算法的效率，增加了检测时 间。 如果是在事后进行审计的系统中，可能效率不是最重要的，只需要得到检 测结果即可。但是在实时性要求很高的检测系统中，比如说对一台服务器进行 实时监测，那么对任何一个攻击的非及时响应，都可能导致整个系统的崩溃， 使服务器失去其功能，造成重大损失。 本文主要面向l i n u x 操作系统，所以对l i n u x 系统进行一下分析，内核版本 为2 6 1 8 的l i n u x 系统的系统调用数为3 1 9 ，再加上库函数调用，这个数字将到 达4 0 0 以上。如果检测长度标准为6 ，那么正常的短序列可能有4 0 0 6 种。当然正 常库中序列的个数是不可能达到的，但是持续增长并且接近于一个极值，这是 一个趋势。 在本文后面提到的l i n u x 审计系统中，在4 5 分钟内的训练中，仅仅s e n d m a i l 服务进程一项产生的j 下常序列个数就为2 4 4 1 7 个。这也就是说为了检测一个短 序列是否为异常，平均比较次数也将为1 2 0 0 0 次左右。而l i n u x 系统在正常操作 的情况下，系统负载非常低的时候，每分钟产生的系统调用也数以万计。如果 发生入侵，比如使用d d o s 攻击，在几秒钟之内，产生的系统调用为几万条。 这就对检测系统的检测能力和实时性造成很大的压力。 为了达到实时检测的目的，可以使用的方法有，增强监测机的性能，使用 更快的c p u ，更大的内存；简化正常库改进算法来达到提高效率的目的。前面 的方式是通过硬件的方法解决，后者使用软件上的算法来解决问题。这里使用 的就是后面提到的方式。 正常库扩大所造成的检测效率降低是使用正常特征库的检测方法的一个缺 点。在对这方面的研究上，有很多简化正常库的方法，其中包括极大似然的马 尔可夫模型方法【2 】，这个方法通过计算正常库中各个调用之间的转移矩阵，来获 得一个更加简化的正常库，这种方法的缺点是预处理时间过长；或者使用层次 隐马尔可夫模型【3 】；还有使用不定长系统调用序列进行匹配的方法【4 】【5 】，但是他 们的缺点是训练方法复杂，同时检测时间长；再就是使用数据挖掘的分类方法。 本文也提出了一种解决方案，在短序列匹配算法思想的基础上，使用信息 4 第一章绪论 论中的典型集的思想来简化和分类正常库，来达到提高检测系统效率的目的。 第三节本文的章节安排 本文主要针对基于主机系统调用检测模型进行分析，提出了使用信息论中 典型集来进行正常库约简的方法，并对其进行了可行性验证然后将其用于一个 实际系统中。 本文由六章组成，现在将各个部分的内容简要介绍如下： 第一章主要介绍了本文的写作背景和信息安全发展的基本情况，说明了入 侵检测在信息安全的地位与作用，并介绍了本文的章节安排。 第二章主要介绍了入侵检测的国内外研究现状和发展趋势，分析了基于特 征库的入侵检测算法的缺点。 第三章主要阐述了本文将要使用到的信息论中的一些基本概念，并介绍了 典型集的性质和应用。 第四章在对典型集的可用性做出了论证，通过实验的方法证明了典型集方 法的可行性。 第五章通过具体的攻防实验，实现了具体的原型系统，在实际中检验典型 集方法。 第六章对已经做出的工作与存在问题进行总结，并且对下一步的工作做出 展望。 5 第二章入侵检测技术概述 第二章入侵检测技术概述 第一节入侵检测研究发展 当前的计算机防护系统中，一般情况下都会把防火墙作为连接到网络的第 一道安全防线，而且防火墙也确实对于来自外部网络的攻击起到了非常优秀的 保护作用。但是防火墙也有着它自身的弱点，有很多攻击是可以透过防火墙的， 尤其对于网络内部的攻击更显的无能为力。鉴于防火墙的弱点，我们需要其它 的安全措施来保护计算机系统。那么入侵检测系统就成为防火墙的有效补充部 分。 入侵检测的开端可以追溯的1 9 8 0 年，j a m e sp a n d e r s o n 为美国空军作了一 份报告c o m p u t e rs e c u r i t yt h r e a dm o n i t o r i n ga n ds u r v e i l l a n c e ，这份报告提出 了基准监视器的概念，而且a n d e r s o n 首次明确的指出了从安全审计踪迹数据中 消除冗余或无关的记录是精简审计的目标，为入侵检测做出了开创性工作。 从1 9 8 4 年到1 9 8 6 年，d e n n i n g 和n e u m a n n 开发了一个实时入侵检测系统 模型 6 1 ，被命名为i d e s ，也就是入侵检测专家系统。这个系统从分析设计跟踪 数据和构建基于用户行为的描述文件开始来进行检测。这是一个专家系统模型， 它的检测是基于特征规则的，并且这个系统采用了与环境无关的设计，针对已 知的入侵行为来进行检测，并且为构建基于误用的入侵检测系统提供了一个通 用的框架，还给出了反常行为与计算机误用之间的关系。在这个系统中，反常 行为被定义为在统计意义上的小概率事件。这个假设也被作为很多8 0 年代提出 的入侵检测研究和系统原型的基础【_ 7 1 。d e n n i n g 在1 9 8 7 年发表了关于这个问题的 论文，这篇论文也被看作是入侵检测的一篇开山之作。 1 9 8 7 年2 月d e n n i n g 发表了著名论文 a ni n t r u s i o nd e t e c t i o nm o d e l ) ) ，在文 中，作者总结了前几年的研究与开发工作，提出了入侵检测系统的抽象模型。 入侵者使系统产生的行为与正常用户使系统产生的行为是不同的，因此可以通 过跟踪系统的记录来区分一个用户是否为一个入侵者【8 】。d e n n i n g 的这个抽象模 型是许多i d s 原型的基础。 1 9 8 8 年5 月，加州大学戴维斯分校的l a w r e n c el i v e m o r e ( l l n l ) 实验室承 6 第二章入侵检测技术概述 接了美国空军的一项课题项目- h a y s t a c k ，为美国空军基地的计算机系统开发 了一种新型的i d s 系统。该系统首先建立了一些攻击模式，并根据此来分析审 计数据，由此判断是否存在着入侵行为。h a y s t a c k 系统被称作是第一个误用检测 系统唧。 入侵检测发展史上另外一个里程碑就是n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 的 出现。它是第一个基于网络的入侵检测系统。它直接把网络流作为审计数据来 源，通过主动地监视网络流量来追踪可疑行为，这样就不需要将审计数据转换 成统一格式来进行监控，只需要监控网络即可。 1 9 9 6 年推出的g r i d s ，即基于图形的入侵检测系统，它的设计和实现大大 弥补了多数入侵检测系统伸缩性不足的问题，可以更加方便地来检测大规模自 动或协同式攻击。其他的入侵检测新的创新还有：f o r r e s t 等人将人体免疫学原 理入融入到入侵检测中【嘲，l e e 等人将数据挖掘和信息测度使用到入侵检测中 1 1 1 o 1 9 9 8 年，国际上举办了一个以入侵检测的最新进展为主题的研讨会r a i d ( r e c e n ta d v a n c e si ni n t r u s i o nd e t e c t i o n ) ，由此也可以看出来，入侵检测系统的研 究已经越来越受到人们的重视。 现在国内外对入侵检测研究的主要体现在以下几个方面： 1 智能化 现在使用的智能化技术主要有神经网络、遗传算法、模糊技术、免疫原理 等，这些方法被用于辨识与泛化入侵特征。 智能化的解决方案指的就是，常规意义下的比较高效的入侵检测系统与具 有智能检测功能的软件或者模块结合在一起来使用。新墨西哥大学主要在人工 免疫技术方面进行研究【1 0 1 ，这项技术为计算机提供了模仿生物学的计算机免疫 系统。哥伦比亚大学使用的是数据挖掘技术【n j ，他们从大量的网络数据中挖掘 出实际的入侵行为模型，并且把这些获得的入侵行为模型应用到实时检测系统 中。 2 分布式 分布式入侵检测系统有两个含义，其中之一指的是系统的结构是分布式的， 而不是集中式。另一种就是指对于攻击使用分布式的检测方法。分布式的结构 发展在一定程度上集合了基于主机的入侵检测系统和基于网络的入侵检测系统 的优点。传统的入侵检测系统在网络的不同网段放置多个探测器来收集网络信 7 第二章入侵检测技术概述 息，然后再将这些信息传送到中央服务器中，再由检测服务器进行处理分析。 这就造成了中央服务器负载过重，造成检测延时过长或者漏报：再有就是过多 的探测器在网络上的数据传输也会加大网络负担，导致网络性能降低。 3 协议分析技术 协议分析技术利用了网络协议的高度规则性来快速地探测攻击【l2 1 。它的优 势就在于能够详细解析各种协议，比如使用字符串解析器就能够对不同高层协 议的用户命令进行详细的分析。由于系统具有在每一层上都沿着协议栈向上解 码的特点，那么协议分析技术就可以凭借着所有当前已知的协议信息来检测出 所有异常协议结构的攻击，减少了系统资源消耗，加强了系统性能。 从国际现状来看，入侵检测的商业化产品都在整合基于主机和基于网络的 检测技术，这样做不但能提高检测率，而且可以让用户根据自己的需求来定制 入侵检测系统。但是i d s 产品在智能化和分布式方面还略有欠缺，最新的智能 检测技术还不能应用到其中。 入侵检测的研究在国内还处在起步阶段，或者是停留在研究和实验样品阶 段，或者是防火墙中集成较为初级的入侵检测模块，只有很少的一些商业化的 产品。 随着网络的普及，联入互联网的关键部门、关键业务越来越多，我国迫切 需要具有自主版权的高效的入侵检测产品。因此入侵检测产品在我国具有很大 的发展空间。不论是商业产品还是研究机构，在入侵检测系统方面，与国外对 比，我国的不足主要存在于入侵检测技术的智能化、检测性能、入侵检测系统 的多模块组合等方面。我们要作的工作还有很多，任重而道远。 第二节入侵检测相关定义与分类 2 2 1 入侵检测相关定义 入侵指的是非授权用户企图使用计算机系统或者合法用户滥用其特权的行 为，这些都将影响计算机系统的完整性、机密性和资源的可用性。为完成对入 侵的检测任务而设计的计算机系统称为入侵检测系统( i d s ) 。 入侵检测系统在原理上有一个最基本的假设，那就是入侵者产生的行为与 正常用户的行为是可区分的，这种可区分性通过某种方式表现出来就形成了“入 8 第二章入侵检测技术概述 侵迹象”，典型的入侵迹象包括：错误的网络请求或应答、系统文件完整性被改 变、异常的网络流量、重复尝试不成功的网络连接、异常的登录时间或会话持 续时间等。入侵检测系统通过收集、分析这些入侵迹象，来判断入侵事件是否 发生，进而做出适当的响应，以维持被监测系统正常、稳定的工作。 2 2 2 入侵检测分类 入侵检测系统可以从多个不同的角度进行分类，主要有以下几种分类方法： 2 2 2 1 根据数据来源分类 基于主机的入侵检测系统( h i d s ) ：主要根据主机的审计数据和系统日志来 发现入侵事件，检测系统安装并运行在被检测的单个主机上，这种类型的检测 系统的性能关键在于审计数据与系统日志的准确性和完整性上，以及对于安全 事件的定义方式。比较典型的h i d s 有：s n o r t 、d r a g o ns q u i r e 、e m e r a l d e x p e r t b s m 、n f rh i d 、i n t r u d e ra l e r t 等l ”】。 基于网络的入侵检测系统( n i d s ) ：主要根据网络数据包、网络流量、协议 分析、简单网络管理协议信息等数据来进行入侵检测。它通常利用一个使用混 杂模式的网络适配器或者是一个可以接收全部数据的交换机来监视并分析网络 业务。它的攻击识别模块基本上使用以下四种常用技术： 1 模式、表达式或字节匹配； 2 频率或穿越阈值； 3 低级事件的相关性； 4 统计学意义上的异常现象检测。 如果获得的数据信息包与特征库中的攻击特征相匹配，i d s 的反应模块就会 使用通知、报警或者中断连接等方式来对攻击做出反应。典型的n i d s 产品有 c i s c os e c u r ei d s 、h o g w a s h 、e t r u s ti d s 等【1 4 1 。 2 2 2 2 根据检测方法的不同分类 基于误用的入侵检测：也被称作基于特征知识的入侵检测。误用检测事先 就已经在知识库中存储了已知的入侵特征，在获得新的事件特征的时候，就与 知识库中的入侵特征进行匹配，如果匹配成功，则认为有入侵发生。 由于基于误用的入侵检测系统使用入侵特征进行匹配，那就是说它仅能检 9 第二章入侵检测技术概述 测已经定义好的入侵行为，所以当有新的入侵模式产生的时候，这类入侵检测 系统只有在更新入侵特征库之后才能检测到这种攻击。这也是这种类型的入侵 检测系统的最大的缺点。但是由于基于误用的i d s 实现简单，所以在商业上还 是具有广泛的应用。 基于异常的入侵检测：也称为基于行为的入侵检测。异常检测模型首先要 定义的是正常行为模式，然后根据这个已知的正常行为对获得的行为进行检测， 来判断是否有入侵发生，实现方法常常使用统计的方法对用户的行为进行统计 分析。但是由于正常行为不可能都被列举出来，因此异常检测可能会引起误报。 本文要使用的对正常行为的刻画方式为系统的正常系统调用序列。 基于异常的入侵检测的优点在于它不需要定义攻击和系统漏洞，可以检测 到未知的攻击行为，主要的缺点是由于用户的行为随机性，就使正常特征库不 能全面而导致误报产生。 第三节入侵检测研究现状 下面从误用检测和异常检测两个方面来阐述一下研究现状。 2 3 1 误用检测技术 1 基于条件概率的误用检测方法【1 5 】：指将入侵方式对应一个事件序列，然 后根据已观测到的事件对将要发生的事件序列进行估计，使用条件概率公式， 应用贝叶斯定理来推测将要发生的入侵行为。 2 基于状态迁移分析的误用检测方法：状态迁移分析方法把系统特征表述 为一个个的状态图，对于任意一个时刻使用不同的状态来进行刻画。入侵开始 前的系统状态被设定为初始状态，对于已经入侵成功的时刻，就被作为危害状 态。如果初始状态与危害状态之间的进行转移，中间就会出现一个或多个中间 状态。攻击者执行了一系列的操作之后，应该会使系统状态发生转移，很可能 使系统从其他状态迁移到危害状态。这样，只要检查系统的状态，入侵检测系 统就能够检测出系统中的入侵行为。现在使用这类方法的i d s 有s t a t ( s t a t e t r a n s i t i o n a n a l y s i st e c h n i q u e ) 1 6 】和u s t a t ( s t a t et r a n s i t i o na n a l y s i st o o lf o r u n i x ) t 1 7 1 。 1 0 第二章入侵检测技术概述 3 基于键盘监控的误用检测方法：这个方法是基于这样的一个假设，那就 是入侵行为与特定的敲击键盘的序列是一一对应的，那么就可以通过监测用户 击键序列，在获得了击键序列之后，再与已知的入侵方式的下的击键序列进行 匹配，匹配成功则可以判断出发生了入侵行为【l 引。但是这种方法有一个很大的 缺点，就是如果操作系统对此不支持，那么就没有一个可以值得信赖的捕获用 户击键的方法。另外，对于同一种攻击的击键序列也未必全部相同，而且，如 果不对击键的语义进行分析，这种检测技术是很容易被使用别名的用户欺骗， 最后，如果是自动攻击程序或者不产生击键序列的攻击，这个检测方法显得无 能为力。 4 基于规则的误用检测方法：这种检测方法指的是规则化各种攻击行为或 入侵模式来形成规则库，当检测到一种系统行为的时候进行规则检测，如果符 合了任意一条入侵规则，这个行为就被认定为入侵。s n o r t 入侵检测系统就是基 于误用检测规则的。 5 基于特征检测的误用检测方法：特征检测对已经确定的攻击或入侵方式 使用一定的描述方式做出了确定性的描述，形成此种方式下的事件模式。当对 一个被审计的事件也使用相同的描述方式进行描述的时候，如果发现已经存在 与之相同的入侵描述，那么这就是一个攻击事件，然后对攻击事件做出反应。 这个系统的原理与以前的专家系统很相似。与计算机病毒检测类似，使用了特 征匹配的方式。现在使用的主要描述方式就是数据包的特征描述，然后再对新 获得的数据包进行特征匹配检测。这种检测方法的检测率非常高，但是对于新 型的入侵与攻击行为的检测效果就不明显了，需要经常地对特征库进行升级。 2 3 2 异常检测技术 1 基于预测模式：这种异常检测方法的假设条件是事件序列不是随机的而 是遵循可辨别的模式。这种检测方法的特点是考虑了事件的序列及相互联系。 t e n g 和c h e n 给出了基于时间的归纳方法t i m e l 9 】，使用时间特征描述来识别用 户行为模式。使用归纳学习方法来产生规则集，并且能够近乎实时地对这些规 则进行修改，这就使这种方法具有了预测性，同时也提升了准确性和可信度。 t i m 给出了规则之一为： ( e l ! e 21 e 31 ) ( e 4 = 9 5 ，e 5 = 5 ) 第二章入侵检测技术概述 其中石，冯表示安全事件。 这条规则的意思是说，由于前面已经观测到了事件e ，、局、岛，那么接下 来应该观测到的事件，有9 5 的概率可以认为是目，有5 的概率认为是历， 其余事件不能发生，如果有小概率事件发生就认为这个是偏离事件，根据判断 准则就可以判断是否有入侵。把事件作为时间的函数，那么t i m 就能够产生更 多规则。根据观察到的j 下常用户行为，可以归纳出一套正常规则集来构成用户 行为的正常框架。当观测到一系列事件后，把这个事件应用到规则之中，如果 观测到的事件序列与正常规则在规则式的左边匹配成功，但是后续的事件明显 地不符合规则式右边预测到的事件，那么这就是一种偏离现象在发生，也就有 理由认为这个事件序列是一个不正常的操作。但是，并不能够把所有的规则全 部列举出来，那么这种方式的缺点就是在匹配上规则式左边的时候，右边很可 能被误判，这样就发生了误报，而且在有的系统中误报率可能很高。 2 基于统计的异常检测技术：这个方法根据异常检测器来观察被检测机的 活动，然后将获得的正常行为使用一种特定的格式进行描述，将产生的这些格 式放入到描述行为的特征数据库。每个特征数据库保存着记录来描述被检测机 的当前行为，并定时地将当前获得的特征数据与已有的特征数据库中的数据进 行合并。通过对当前行为与己建立的特征行为数据进行匹配来判断新的行为是 否为异常行为。s r ii n t e r n a t i o n a l 的n i d e s 就是基于这种模型的典型代表【2 0 l 。 n d e s 使用a j ( i = l ，2 ，刀) 变量来表示被检测系统的不同方面的特征( 例如s y n 数据包量、用户登录失败次数、c p u 使用率、网络流量等) ，通过在任意给定的 时间内，对么t ，4 ：，以的变量值进行测量，根据已有的公式来推理判断系统是否 有入侵发生。 使用统计异常检测方法的优点是它应用的技术方法在统计学上已经获得了 良好的研究，有很好的理论支持，可以使用的方法比较成熟。 3 基于数据挖掘的入侵检测系统：无论是基于网络的入侵检测还是基于主 机的入侵检测，都会面临的一个问题就是所获得的数据量要飞速扩大，检测的 时候要面对是大规模的网络数据包和日志等信息记录，如果使用人工的方法来 进行观察和审计，并且判断出是否有入侵发生，这基本上是不可能的。鉴于此， l e e 和s t o f o 使用了数据挖掘的方法，他们从规模庞大的数据中提取那些被认为 是有用的知识【2 1 】【2 2 1 ，这些知识都是在数据中隐藏的，对于使用者来说也是未知 的，但是却是潜在的有用信息。使用如概念、规则、规律、行为模式等方式对 1 2 第二章入侵检测技术概述 提取出来的知识进行表述，并且使用这些获得的知识进行入侵检测。 同前面提到的概率统计方法相比，数据挖掘方法具有很多的优点：数据挖 掘所体现的是一个完整的数据分析过程。一般上它包括的步骤有数据准备、数 据预处理、建立挖掘模型、模型评估和解释等。再者，数据挖掘方法是一个迭 代的过程，可以通过不断地调整参数和方法来获得更好的模型。基于数据挖掘 的异常检测方法，当前比较成熟的有k d d 算法可以利用。这种方法具有的优点 是它能够适应对于大规模数据的处理。但是在实时检测方面，它存在着很多的 问题，现在还需要做的是开发出更有效的数据挖掘算法，并且把它应用到相应 的分布式体系中。 4 基于神经网络的入侵检测：2 0 世纪5 0 年代，自r o s e n b l a t t 首次将单层 感知器应用到模式分类学习以来，人工神经网络己经经历了5 0 多年的研究。在 人工神经网络中，每个神经元的设计在结构和功能上都是相对简单和有限的， 但由这些众多结构简单、功能有限的神经元构成了一个复杂的整体系统，这个 系统能够完成多种复杂的信息识别和任务处理功能。人工神经网络对信息使用 分布式存储和并行式处理方式，这就为信息的高速处理创造了先决条件，而且 也加强了对不完整信息的容错性和联想记忆能力。运用其非线性全局作用特征， 它就能够有效的处理大规模非线性的复杂工作。人工神经网络能够通过训练来 获得事物的内在规律，它的这种自适应能力也是神经网络对于传统人工智能的 最大优势所在。现在的人工神经网络算法包括：模糊逻辑、概率推理、遗传算 法、混沌系统、支持向量机以及局部学习方法等。 现在的入侵检测研究中，已经广泛地应用了神经网络【2 3 】【2 4 1 。通过记录数据， 人工神经网络依靠自身学习这种能力，可以从大量的数据中提取出用户或系统 活动的正常行为模式，不需要从单个用户行为特征集和用户行为特征的统计分 布中来获得。并且神经网络也可以应用到误用检测中。只需要将大量的正常数 据替换为大量的入侵数据，然后通过对这些入侵数据的学习来建立起异常行为 模式，从而可以进行误用检测。人工神经网络的这一计算学习过程可以被看作 是完全抽象的，它本身就可以掌握调节所获得的各个信息量之间的关系，随时 进行调整就可以适应新的环境和新的攻击模式，这就可以对发生的事件做出更 准确的判断。 5 基于人工免疫的入侵检测系统：基于人工免疫技术的入侵检测系统首先 是由f o r r e s t 等人提出来的【2 6 】。免疫系统作为生物体的重要组成部分，它具有许 1 3 第二章入侵检测技术概述 多信息处理机制应该具有的功能特点，比如自我的抗原识别机制、学习和记忆 能力、自适应环境能力以及能与体内其它系统和组织进行协调共处的能力等。 现在对于人工免疫系统的入侵检测系统模型的研究，比较成熟的有两个方向。 一是针对主机系统的特权进程的系统调用序列模型【2 7 】【2 8 】【2 9 1 ，二是针对网络数据 包的免疫模型，但是两者使用的建模及检测方法基本相同。 6 基于隐马尔可夫模型的入侵检测：隐马尔可夫是一种二维的随机过程， 在语音识别上有着广泛的研究，并且效果非常好。1 9 9 9 年，w a r r e n d e r 提出把隐 马尔可夫模型应用到入侵检测中来【3 0 1 ， 行改进以适应入侵检测的要求3 1 】【3 2 】【3 3 】。 其后又有不少研究对隐马尔可夫模型进 马尔可夫模型的优点是对特定的攻击具 有较高的检测效率，它的缺点是建立模型的过程比较长，同时鲁棒性不是很好。 7 支持向量机的入侵检测技术：由于支持向量机是一种小样本统计学习算 法，它主要的研究对象是在小样本情况下的统计规律及学习方法，只能解决小 样本的学习问题。在入侵检测系统的研究中，获得足够多的样本是非常困难的， 这也是这种方法的缺点。由于这个原因，基于向量机的入侵检测效果并没有基 于神经网络的方法好】【3 5 】。 异常检测的技术种类繁多，每种技术都有自身的优势和弱点，具体采用什 么样的方法和技术，应该结合具体的应用情况来进行讨论。 1 4 第三章信息论概述 第三章信息论概述 本章将对后面要用到的基本概念进行介绍，首先给出了信息论中最基本的 概念，熵的定义，它具有的很多特性都符合人们度量信息时的直觉概念。后面 给出了渐进均分性，典型集以及马尔可夫随机过程的概念和性质。 第一节信息论相关 在通讯的科学理论还没有形成之前，信息与消息被大家认为是同义语，也 就没有被赋予严格的科学定义。十九世纪，吉布斯首次把统计学引进物理学， 使物理学必须去考虑事件的不确定性和偶然性，这在人类的科学史上，在把握 信息的意义上是一个里程碑。吉布斯的功劳在于他最早地指出了研究偶然性的 一种明确的科学方法，波尔兹曼把函数引进统计物理学中并指出熵是关于物 理系统信息不足的一个量度。虽然他们都涉及到了信息的问题，但由于当时科 学技术条件的限制，未能提出信息的数量理论。 进入二十世纪，雷达、无线电通讯、电子计算机和自动控制相继出现并且 有了长足的发展，在这种情况下，s h a n n o n 、f i s h e r 和w i e n e r 分别从不同方面展 开并形成了关于信息的统计理论。他们都认为通讯是一种随机的过程，那么对 它的研究就必须以随机事件为对象，获得各种消息的共同本质就是为了消除在 通讯中出现的不确定性。由于是随