（电路与系统专业论文）入侵检测算法研究.pdf

创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果：也0 i 包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同上作的同志对本研究所做 的任何贡献均己在论文中做了明确的说明并表示了谢意。 本人签名 瓣 日期：勿织，肪 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：学校 有权保留送交论文的复印件，允许齑阅和借阅论文；学校可以公布论文的仝部或 部分内容，i q 以允许采用影印、缩印或其它复制手段保存论文。 本人签名 导师签名 丛 塑& 日期：三锄t ，泸 f i 期：拗2 扩 摘要 摘要 入侵检测技术是在传统的安全策略无法满足曰益苛刻的安全需求的情形下产 生的，它的出现给计算机安全领域的研究带来新的活力。本文是在国内外关于入 侵检测的研究基础上，总结和分析现有的技术现状而作的综述性的论文。为了该 项研究的系统性和连续性，本文的内容涵盖面较广。首先，是对入侵检测基本理 论的介绍，包括对入侵、入侵检测的基本概念的介绍，入侵检测系统的基本概念、 分类、模型的介绍，重点讨论了入侵检测系统的不同分类的技术细节。其次是对 入侵检测算法的讨论和分析，包括各种算法的原理介绍、应用到入侵检测领域的 技术细节及各自的优点和不足。文章的最后是在前面的理论分析和算法介绍的基 础上提出的一种网络环境下的入侵检测系统的具体实现，它采用的是基于协议分 析的分布式的系统构架，这在高速宽带网络下有着明显的优势。 本文的研究工作是进行入侵检测研究的基础，为今后深入该项研究提供必要 的理论和技术依据。 关键词：入侵检测入侵检测系统入侵检测算法分布式入侵检测系统构架 塑至 ! a b s t r a c t t h et e c h n o l o g yo fi n t r u s i o nd e t e c t i o ni sp r e s e n t e du n d e rt h es i t u a t i o nt h a t t r a d i t i o n a ls e c u r i t ys t r a t e g i e sa r ei n c a p a b l eo fs a t i s f y i n ge v e ri n c r e a s i n g l yr i g o r o u s d e m a n d i t se m e r g e n c eb r i n g sn e v vv i t a l i t yt ot h er e s e a r c ho fc o m p u t e rs e c u r i t y o nt h e b a s i so fd o m e s t i ca n do v e r s e ar e s e a r c ho ni n t r u s i o nd e t e c t i o n ，t h i sd i s s e r t a t i o n s u m m a r i z e sa n da n a l y z e st h ep r e s e n tt e c h n i c a ls t a t o so fi n t r u s i o nd e t e c t i o nf o rt h e s ) ，s t e m a t i s ma n dc o n t i n u i t yo ft h i sr e s e a r c h ，e x t e n s i v et e c h n i q u ed o m a i n sa r ei n v o l v e d i nt h ec o n t e n t f i r s t a ni n t r o d u c t i o no ff u n d a m e n t a lt h e o r yo fi n t r u s i o nd e t e c t i o n ， i n c l u d i n gp r i n c i p l e so fi n t r u s i o na n di n t r u s i o nd e t e c t i o n ，b a s a ld e f i n i t i o n ，c l a s s i f i c a t i o n a n dm o d e lo fi n t r u s i o nd e t e c t i o ns y s t e m ，i sg i v e ni nt h i sp a p e r a n de m p h a s e sa r el a i d o nd i s c u s s i n gv a r i o u st e c h n i q u ed e t a i l so fi n t r u s i o nd e t e c t i o ns y s t e ms e c o n d ，t h e a l g o r i t h m so fi n t r u s i o nd e t e c t i o n ，i n c l u d i n gt h e i rp r i n c i p l e s ，t e c h n i q u ed e t a i l sa p p l i e di n i n t r u s i o nd e t e c t i o n t h e i rv i r t u e sa n dw e a k n e s s ，a r ed i s c u s s e da n da n a l y z e d ac o n c r e t e i m p l e m e n t a t i o no fi n t r u s i o nd e t e c t i o ns y s t e mj nn e t w o r kc i r c u m s t a n c e ，a sak e m e l c o n t e n t ，i sp r e s e n t e do nb a s i so fw h a ta r ed e s c r i b e da b o v e ad i s t r i b u t e df r a m e w o r ko f i n t r u s i o nd e t e c t i o ns y s t e mb a s e do np r o t o c o l a n a l y s i si sa d o p t e di nh i g h 。s p e e da n d b r o a d b a n dn e t u 7 0 r k a n di t so b x i o u sa d x a n t a g e sa r es h o w n i nc o n c l u s i o n ，a saf o u n d a t i o n t h i sd i s s e r t a t i o np r o v i d e se s s e n t i a lp r i n c i p l e sa n d t e c h n i q u e so fi n t r u s i o nd e t e c t i o ns y s t e mt of u r t h e rr e s e a r c h k e ”v o r d ：i n t r u s i o nd e t e c t i o n i n t r u s i o nd e t e c t i o ns y s t e mt h ea l g o r i t h m so f i n t r u s i o n d e t e c t i o nt h ef r a m e w o r ko fd i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m 第一章绪论 第一章绪论 本章主要介绍本文研究的技术背景和意义，同时对入侵检测的发展历史和研 究现状也进行详尽的介绍，最后是对本文内容的简要介绍。 1 1 研究的技术背景和意义 计算机网络的迅猛发展给当今社会人们所带来的各种便利是毋庸置疑的。它 在人们生活空间中扮演的角色目益突出，并且把人们的工作、生活和学习紧密联 系在了一起；与此同时人们对计算机网络的依赖性也在不断增强，这样计算机网 络在整个社会生活中所起的作用就显得至关重要了。对计算机网络的过分依赖使 得我们必须确保计算机网络的安全。那么关于如何增强计算机网络的安全性的研 究也就成了举世瞩目的焦点。 我们知道，计算机安全的三大中心目标是： 保密性( c o n f i d e n t i a l i t y ) 保证数据不会因为非授权操作而泄漏。 完整性( i n t e g r i t y ) 数据未经授权不能被修改，即经过授权的行为可 以修改数据，并能判断出数据是否已被修改。 有效性( a v a i l a b i l i t y ) 非授权操作不能独占所有信息或计算机资源，即 授权行为可以访问并可按需求进行使用。 人们在实现计算机安全目标的过程中不断进行着探索和研究。早在1 9 7 2 年 a n d e r s o n 就提出了计算机安全模型( 如图1 1 所示) 。 幽11 计算机安全摸刑 该模型的实现通常采用访问控制机制来保证系统安全。访问控制机制是指汁 入侵检测算法研究 算机系统首先识别与认证主体身份，然后根据授权数据库的记录判断是否允许主 体访问对象。需要说明的是，通过访问控制机制来实现安全目标其最终还得依赖 于主体，也就是说用户必须保证它所访问对象的安全。这样利用访问控制机制就 无法防止由系统所认定的授权用户的非法操作而引起的破坏安全的因素的发生。 那么对于合法用户的滥用特权、口令或密钥的泄漏、系统自身漏洞、应用软件的 缺陷以及拒绝服务攻击就更是无能为力了。 另外，加密技术的运用在定程度上为安全提供了一定的保障，但是，一旦 该技术被突破，安全也就无从谈起。 随后发展起来的防火墙技术通常采用的是包过滤技术、应用层网关、安全i p 通道或虚拟专用网( v p n ) 技术中一种或几种。这些技术的运用虽然防止了许多 如常见的协议实现漏洞、源路由、地址欺骗等多种攻击手段以及提供了安全的数 据通道，但它还是不能对付层出不穷的应用层后门、应用程序设计缺陷、通过加 密通道的攻击。另外，不是所有的对i n t e r n e t 的访问都要经过防火墙；而且对系统 及网络的威胁不一定都来自防火墙外；而防火墙本身也易受攻击，如现有的隧道 技术就能绕过防火墙。 上述各种技术都集中在系统的自身的加固和防护上，属于静态的安全防御技 术，对于网络环境下e t 新月异的攻击手段缺乏主动的反应。针对日益严重的网络 安全问题和越来越突出的安全需求，可适应网络安全技术和动态安全模型应运而 生。典型的就是p 2 d r 模型( 如图1 2 所示) 。 图l2p 2 d r 模型 p 2 d r 模型由这几个部分组成：p 0 1 i c y ( 安全策略) 、p r o t e c t i o n ( 防护) 、d e t e c t i o n ( 检 测) 、r e s p o n s e ( 响应) 。具体过程是：在整体的安全策略的控制和指导下，在综合运 第一章绪论 用防护工具( 如防火墙、操作系统身份认证、加密等手段) 的同时，利用检测工 具( 如漏洞评估、入侵检测等系统) 了解和评估系统的安全状态。通过适当的响 应将系统调整到“最安全”和“风险最低”的状态。防护、检铡和响应组成了一 个完整的、动态的安全循环。 入侵检测作为动态安全技术的最核心技术之一，是防火墙的合理补充，帮助 系统对付网络攻击，扩展了系统管理员的安全管理能力f 包括安全审计、监视、进 攻识别和响应) ，提高了信息安全基础结构的完整性。是安全防御体系的一个重要 组成部分。 1 2 入侵检测的发展历史和研究现状 1 2 1 入侵检测的发展历史 关于入侵检测的发展历史最早可追溯到1 9 8 0 年，当时j a m e sra n d e r s o n 在一 份技术报告中提出审计纪录可用于检测计算机误用行为的思想，这可谓是入侵检 测的开创性的先河。而另一位对入侵检测同样起着开箭作用的人就是d o r o t h ye d e n n i n g ，他在1 9 8 7 年的一篇论文中提出了实时入侵检测系统模型，它成为后来 的入侵检测研究和系统原型的基础。该模型在具有划时代意义的i d e s t 4 原型系统 中被实现。该系统由s r i 研究开发，它采用的是一个混合结构，包含了一个异常 检测器和一个专家系统。1 9 8 8 年m o r r i si n t e m e t 蠕虫事件的发生使得计算机安全的 需要迫在眉睫，从而导致了许多入侵检测系统的开发与研制。早期的入侵检测系 统都是基于主机的系统，它是通过监视和分析主机的审计记录来检测入侵。 而入侵检测发展历史上又一个具有重要意义的里程碑就是n s m ( n e t w o r k s e c u r i t ym o n i t o r ) 的出现，它是由lt o d dh e b e r l i e n 在1 9 9 0 年提出。n s m 与此前 的入侵检测系统相比，其最大的不同在于它并不检查主机系统的审计记录，而是 通过监视网络的信息流量来跟踪可疑的入侵行为。1 9 9 1 年，n a d i r ( n e t w o r k a n o m a l yd e t e c t i o na n di n t r u s i o nr e p o r t e r ) dd i d s f d j 5 一b u ! ei n t r u s i o nd e t e c t i o n s y s t e m ) f l q 出现，使得人们在入侵检测领域的研究又向前迈进了一步，它的设计思 路是收集和并行处理来自多个主机的审计信息柬检测一系列t 机的协同攻击行 为。1 9 9 4 年，m a r k c r o s b i e 和g e n es p a f f o r d 提出使用自治代理( a u t o n o m o u s a g e n t s ) 以便提高入侵检测系统的可伸缩性、可维护性、效率和容错性的思想，这使得入 侵检测的研究又向着更高层次发展了一步；而1 9 9 6 年g r i d s ( g r a p h b a s e di n t r u s i o n d e t e c t i o ns y s t e m ) 的设计和实现大大弥补了绝大多数的入侵捡测系统伸缩性不足的 问题，使得对大规模自动或协同攻击的检测更为便利。关于八侵检测的新的创新 入侵检测算法研究 有：s t e p h a n i ef o r r e s t 等人将免疫学原理应用到入侵检测中；w e n k el e e 等人将数 据挖掘和信息论测度引入到入侵检测中；r o s s a n d e r s o n 和a b i d a k h a t t a k 将信息检 索技术引入到入侵检测中。虽然很多都只是处在试验研究阶段，但是这些新思路 的开创为入侵检测领域打开了新的研究前景。 近年来，人们对入侵检测的研究仍如火如荼，1 9 9 8 年国际上启动了一个以入 侵检测最新进展为主题的研讨会( r a i d ：r e c e n t a d v a n c e si ni n t r u s i o nd e t e c t i o n ) ， 这里所涉及的入侵检测研究的涉猎面很广，可见入侵检测将是今后计算机安全研 究领域的热点。 1 2 2 入侵检测的研究现状 国外：自二十世纪八十年代以来，国外就开始对入侵检测的研究，最早资助 进行这方面研究的是美国国防部高级研究计划署( d a r p a ) ，这位启动计算机网络 研究的丌山鼻祖，对入侵检测的研究同样起着引路的作用。早期的研究只是一种 试验阶段，产品的针对性强，即为了保护专门的网络而进行研究设计的。而且系 统大多以基于主机的入侵检测系统为主。进入九十年代，随着基于网络的入侵检 测系统的问世，给入侵检测研究领域注入了新的活力。很多的网络公司开始开发 商业化的产品。而且对于入侵检测的研究已经进入很高涨盼阶段，在其它领域的 一些算法被人们引入到了该领域。像人工智能、数据挖掘、免疫学、甚至包括信 号处理领域的信息论测度也被考虑到。近几年来，从国外的研究态势来看，各种 可能的检测算法几乎差不多都为人们所想到，对于入侵检测的研究似乎处于一种 无法打开新局面的境地。从最新的r a i d 2 0 0 l 上的文章来看，这里的文章有偏重 于工程实践的倾向。这可能是未来入侵检测研究领域的一个发展方向。 但是，国外对入侵检测的研究热度仍然居高不下。因为网络的日益普及，人 们对网络的依赖日益增强，使得网络安全成了世人一直关注的焦点。国外对入侵 检测研究已经很具体细致，包括从对进攻手段研究到入侵数据预处理的研究、从 算法的理论分析到具体的工程应用、从产品开发到产品的评估，以及对入侵检测 的一些标准化问题的研究，几乎面面俱到。而且从参与的机构来看，包括政府的 研究机构、科研单位、大学、网络公司等等，涉及到各个层次的不同需求。 国内：由于网络登陆国内相对较晚，而且刚开始时人们对它的认识还不够， 所以普及面很窄。随着信息化进程不断推进，人们对网络有了全新的认识，越来 越多的人在使用网络，使得它成为人们生活的一部分。在人们对网络的优越性产 生认可的同时，安全问题不得不为人们所关注。近几年来，国内的网络的发展速 度是有目共睹的，而对网络安全的研究也日益被重视。当然对入侵检测的研究也 第一章绪论 受到各方面的关注，但是由于一些客观原因，同国外的差距还是很大。虽然一些 网络安全公司也相继推出自己的入侵检测产品，但是很多都是在借鉴国外的技术 手段。另外，国家对这方面研究的投入也在加大，而且启动了信息安全的8 6 3 紧 急应急计划。各科研单位和大专院校都有从事这方面的研究和开发的队伍。总之， 国内的水平同国外的差距还是很大，但是随着更多的人的关注和投入到这方面的 研究，相信在不久的将来，国内的水平将赶超国外并占有领先位置的一席之地。 1 3 本文内容简介 由于国外关于入侵检测的研究比较早，而且技术相对比较成熟。所以本文在 选题时考虑到现有的技术发展动态，在前人已有的技术基础上进行研究。同时考 虑到后续研究的需要和整个理论体系的完备性，本文先对入侵检测领域的一些基 础知识进行了较为详致的讨论，随后对入侵检测的算法进行详尽阐述；在此基础 之上提出一种分布式入侵检测架构：最后对入侵检测的未来发展方向进行了展望， 对进一步的研究工作提出了一些设想。文章的具体安排如下： 第二章是对入侵检测领域的基础知识进行介绍，包括关于入侵检测的一些基 本概念、入侵检测系统的分类以及入侵检测系统的模型等内容。 第三章是对现有的入侵检测算法的分析，包括对它们的原理分析、在对不同 攻击手段进行检测时的优点和不足的讨论以及在各种不同数据环境中不同算法的 适应性的介绍等内容。 第四章是在前面工作的基础上，提出+ 种分布式入侵检测架构，并具体讨论 了其中的实现细节。 最后，结束语是对本文的总结，同时对入侵检测领域未来发展方向的展望以 及对今后继续进行这方面的研究工作的一些设想和建议。 入侵检测算法研究 第二章入侵检测及入侵检测系统 本章首先从对入侵的概念性介绍入手，继而对入侵检测、入侵检测系统及分 类、入侵检测系统模型进行分析讨论。为我们从整体上把握入侵检测领域的研究 和发展方向起到抛砖引玉的作用。 2 1 引言 尽管人们对计算机安全的研究已经取得了很大的进步，但是网络安全问题并 没有因此而减少；相反，随着网络规模的飞速扩大、结构的日益复杂化和应用领 域的不断扩大，网络安全事件呈迅速增长的趋势，造成的损失也越来越大。而且， 由于网络资源的共享性使得现在的攻击者不需要很强的专业知识就能够完成复杂 的攻击过程。另一方面，对于任何一个计算机系统来讲，都会存在一些能够威胁 其自身安全的缺陷、漏洞或弱点。这样势必会遭到针对这些脆弱性的攻击行为。 传统的安全措旋，如访问控制、加密以及防火墙技术，在防御攻击方面的不足越 来越明显。而在这个安全问题厄待解决的节骨眼上，作为动态安全技术的典型代 表入侵检测技术应运而生。它是对传统的计算机安全机制的一种补充， 它的应用将大大增强网络与系统安全的保护纵深，是动态安全防御体系的最核心 技术之一。入侵检测技术的引入，将为我们更好地解决网络、系统的安全问题提 供新的发展机遇。我们将通过对该领域的基础知识的介绍，使得我们能从整体上 把握入侵检测领域的研究和发展态势，为进一步地深入该项研究工作做好铺垫。 2 1 1 入侵 2 2 入侵及入侵检测 从计算机安全的目标来看，入侵的定义是：企图破坏资源的完整性、保密性、 有效性的任何行为，也指违背系统安全策略的任何事件。入侵行为不仅仅是指来 自外部的攻击，同时内部用户的未授权行为也是一个重要的方面，有时内部人员 滥用他们特权的攻击是系统安全的最大隐患。 另外各种系统自身的缺陷、系统的不当配置、网络协议在实现上的漏洞、应 用软件在设计上的缺陷以及系统中安全策略规范在设计与实现上的缺陷和不足都 会给入侵者提供有利可乘的机会。 第二章入侵检测及入侵检测系统 从入侵策略的角度来看，入侵可分为：企图进入、冒充其它合法用户、成功 闯入、合法用户的泄漏、拒绝服务以及恶意使用等几个方面。 但是，对于具有一定安全级别的操作系统来讲，由于其自身有着审计跟踪的 功能，这样就为对入侵行为的检测提供了可能。另外，对于入侵的数据来讲，由 于其中必然包含有攻击的特征信息，势必与正常的网络通信数据存在着差异，于 是我们就有可能根据这样的差异来检测出入侵行为。 2 i 2 入侵检测 入侵检测( i n t r u s i o nd e t e c t i o n ) 就是通过从计算机网络或计算机系统 中的若干关键点收集信息并对其进行分析，从中发现网络或系统中是否有违反安 全策略的行为和遭到攻击的迹象同时做出响应。 从上述的定义可以看出，入侵检测的典型过程是：信息收集、信息( 数据) 预处理、数据的检测分析、根据安全策略做出响应。有的还包括检测效果的评估。 信息收集是指从网络或系统的关键点得到原始数据，这里的数据包括原始的网络 数据包、系统的审计日志、应用程序日志等原始信息；数据预处理是指对收集到 的数据进行预处理，将其转化为检测器所需要的格式，也包括对冗余信息的去除 即数据简约。这是入侵检测研究领域的个难点，因为针对不同的操作系统，其 审计记录的格式不尽相同，那么在运用检测算法时，就必须将其转化为算法所适 用的数据格式：另一方面对于不同的检测算法，要求输入的数据格式也是各不 相同的。入侵检测发展这么多年来，关于数据格式标准化问题的研究目前仅有 i n t e r n e t 草案，还没有形成f 式的r f c 文档。数据的检测分析是指利用各种算法 建立检测器模型，并对输入的数据进行分析以判断入侵行为的发生与否。这也是 入侵检测的关键环节之一，入侵检测的效果如何将直接取决于检测算法的好坏。 凶为针对不同的数据环境，所采用的算法是不一样的，而且各个算法都存在着自 身不可避免的不足。这旱所说的响应是指产生检测报告，通知管理员，断开网络 连接，或更改防火墙的配置等积极的防御措施。对于检测效果的评估也是入侵检 测研究领域比较关注的问题，一般采用虚警率( f a s ep o s i t i y e s ) 和漏警率( f a s e x e g a t iv e s ) 作为衡量入侵检测效果的重要指标。而检测算法在实现上，不可避免 地存在一些不足，这就为算法的改进提出了新的挑战。 入侵检测算法研究 2 3 1 基本概念 2 3入侵检测系统 入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) 是实现入侵检测功 能的一系列的软件、硬件的组合。它是入侵检测的具体实现。作为种安全管理 工具，它从不同的系统资源收集信息，分析反映误用或异常行为模式的信息，对 检测的行为作出自动的反应，并报告检测过程的结果。入侵检测系统就其最基本 的形式来讲，可以说是一个分类器，它是根据系统的安全策略来对收集到的事件 或状态信息进行分类处理，从而判断出入侵和非入侵的行为。一般来说，入侵检 测系统在功能结构上是基本致的，均由数据采集、数据分析以及用户界面等几 个功能模块组成，只是具体的入侵检测系统在采集数据、采集数据的类型以及分 析数据的方法等方面有所不同而已。但是由于入侵的技术手段的不断变化，使得 入侵检测系统必须能够维护些与检测系统的分析技术相关的信息，以使检测系 统能够确保检测出对系统具有威胁的恶意事件。通常这类信息包括： 系统、用户以及进程行为的正常或异常的特征轮廓 标识可疑事件的字符串，包括：关于己知攻击的特征签名 激活针对各种系统异常情况以及攻击行为采取响应所必需的信息 那么，作为新型的安全防御体系的一个重要组成部分，它的作用发挥的充分 与否将在很大程度上影响整个安全策略的成败。其主要功能有： 用户和系统行为的监测与分析 系统配置和漏渭的审计检查 重要的系统和数据文件的完整性评估 已知的攻击行为模式的识别 异常行为模式的统计分析 操作系统的审计跟踪管理及违反安全策略的用户行为的识别 显然，入侵检测系统完善了以前的静态安全防御技术的诸多不足，是对防火 墙的合理补充，为计算机网络、系统的安全防护提供了新的解决方案。 同样，入侵检测系统作为网络安全发展史上一个具有划时代意义的研究成果， 要想真正成为一种成功的产品，至少要满足以下的功能要求： 1 实时性 因为对于被保护的对象来讲，如果攻击或攻击的企图能够尽快及时地被发现， 那样就有可能将攻击拒之于门外，或阻止进一步的攻击行为的发生。并可能把破 坏控制在最小限度，同时能够记录下攻击者攻击过程的全部网络活动，并可作为 第二章入侵检测及入侵检测系统 证据回放。另外，实时的入侵检测可以避免通常情况下，管理员通过对系统日志 进行审计以查找入侵者或入侵行为线索时的种种不便与技术上的限制。实时性是 入侵检测系统的基本的功能需求。 2 可扩展性 由于网络技术在不断发展，同样地，攻击手段也在不断变化，来自各种知识 层面的攻击者五花八门。那么对于不断繁衍出的攻击手段，对入侵检测系统的要 求也就更苛刻。所以必须建立一种机制，把入侵检测系统的体系结构与使用策略 区分开。一个性能优良的入侵检测系统必须能够保证在新的攻击类型出现时，可 以通过某种机制在无需对入侵检测系统本身进行改动的情况下，使系统能够检测 到新的攻击行为。并且在入侵检测系统的整体功能设计上，也必须建立一种可以 扩展的结构，以便系统结构本身能够适应未来可能出现的扩展要求。 3 适应性 入侵检测系统必须能够适用于多种不同的数据环境，比如高速大容量计算机 网络环境，并且在系统环境发生改变( 比如增加环境中的计算机系统数量或改变 计算机系统类型) 时，入侵检测系统应当依然能够不必作改变就能正常工作。适 应性也包括入侵检测系统本身对其宿主平台的适应性，即跨平台工作的能力，适 应其宿主平台软、硬件配置的各种不同情况。 4 安全性和可用性 入侵检测系统必须尽可能的完善与健壮，不能向其宿主计算机系统以及其所 属的计算机环境中引入新的安全问题及安全隐患。并且入侵检测系统在设计和实 现中，应该能够有针对性地考虑几种可以预见的、对应于自身类型与工作原理的 攻击威胁，及其相应的抵御方法。确保该入侵检测系统自身的安全性和可用性。 5 有效性 能够证明根据某一设计思想所建立的入侵检测系统是切实有效的。即对于攻 击事件的误报与漏报能够控制在一定范围内。 入侵检测系统作为一个功能实体，在设计、实现以及维护等方面都有着不同 的层次需求。除了上述的功能要求以外，还有很多在实际实现和运作中遇到的问 颢。 2 3 2 入侵检测系统分类 入侵检测系统作为动念安全防御技术的应用实例，是继防火墙之后的第二道 安全防线，它将可大大提高系统安全防护水平。目前为大家所普遍认可的分类方 法有两种：一种是根据入侵检测系统的输入数据来源来分，可分为基于主机的入 侵检测系统和基于网络的入侵检测系统；另一种是根据入侵检测系统所采用的技 入侵检测算法研究 术来分，可分为误用检测和异常检测。但是，现在的入侵检测系统已不再是单纯 地采用一种技术手段或单一方式的设计方案，集成化将是未来入侵检铡系统发展 的主流。 下面就对这些入侵检测系统的基本分类进行逐一介绍。 2 3 2 1 按数据来源的分类 由于入侵检测是个典型的数据处理过程，那么数据采集是其首当其冲的第一 步，同时针对不同的数据类型，所采用的分析机理也是不一样的。根据入侵检测 系统的输入数据的来源来看，它可分为：基于主机的入侵检测系统和基于网络的 入侵检测系统。 一、基于主机的( h o s t b a s e d ) 入侵检测系统 基于主机的入侵检测系统( h i d s ) 通常以系统日志、应用程序日志等审计记 录文件作为数据源。它是通过比较这些审计记录文件的记录与攻击签名( a t t a c k s i g n a t u r e ，指用一种特定的方式来表示已知的攻击模式) 以发现它们是否匹配。如 果匹配，检测系统就向系统管理员发出入侵报警并采取相应的行动。基于主机的 i d s 可以精确地判断入侵事件，并可对入侵事件作出立即反应。它还可针对不同操 作系统的特点判断出应用层的入侵事件。 由于审计数据是收集系统用户行为信息的主要方法，所以必须保证系统的审 计数据不被修改。但是，当系统遭到攻击时，这些数据很可能被修改。这就要求 基于主机的入侵检测系统必须满足一个重要的实时性条件：检测系统必须在攻击 者完全控制系统并更改审计数据之前完成对审计数据的分析、产生报警并采取相 应的措旋。 。 早期的入侵检测系统大多都是基于主机的i d s ，作为入侵检测系统的一大重要 类型，它具有着明显的优点： 能够确定攻击的成功与否 由于基于主机的i d s 使用包含有确实已经发生的事件信息的日志文件作为数 据源，它可以比基于网络的i d s 更能准确地判断出攻击的成功与否。在这一点上， 基于主机的i d s 可谓是基于网络的i d s 的完美补充。 非常适合于加密和交换环境 由于基于网络的i d s 是以网络数据包作为数据源，那么对于加密环境来讲， 它就无能为力了，而对于基于主机的i d s 就不同了，因为所有的加密数据在到达 主机之前必须被解密，那样才能被操作系统所解析。而对于交换网络来讲，基于 网络的i d s 在获取网络流量上面l 临着很大的挑战。而基于主机的i d s 就没有这方 面的限制了。 第二章入侵检测及入侵检测系统 近实时的检测和响应 基于主机的i d s 不能提供真正的实时响应，但是由于现有的基于主机的i d s 大多采取的是在日志文件形成的同时获取审计数据信息，这样就为近实时的检测 和响应提供了可能。 不需要额外的硬件 基于主机的i d s 是驻留在现有的网络基础设施之上的，包括文件服务器、w e b 服务器和其它的共享资源等。这样就减少了基于主机的i d s 的实施成本，因为不 再需要增加新的硬件，所以也就减少了以后维护和管理这些硬件设备的负担。 可监视特定的系统行为 基于主机的i d s 可以监视用户和文件的访问活动，这包括文件访问、改变文 件的权限、试图建立新的可执行文件和或试图访问特权服务。例如，基于主机的 i d s 可以监视所有的用户登录及退出登录的情况，以及每个用户在连接到网络以后 的行为。而基于网络的1 d s 就很难做到这一点。基于主机的i d s 还可以监视通常 只有管理员才能实施的行为。操作系统记录了任何有关用户账号的添加、删除、 更改的情况。一旦发生了更改，基于主机的i d s 就能检测到这种不适当的更改。 基于主机的i d s 还可以跟踪影响系统日志记录的策略的变化。最后，基于主机的 i d s 可以监视关键系统文件和可执行文件的更改。试图对关键的系统文件进行覆盖 或试图安装特洛伊木马或后门程序的操作都可被检测出并可终止。而基于网络的 i d s 有时就做不到这一点。 除了t 述的优点外，基于主机的i d s 也存在一些不足：会占用主机的系统资 源，增强系统负荷，而且针对不同的操作系统必须开发出不同的应用程序，另外 所需配置的i d s 的数量众多。但是对系统内在的结构没有任何的约束，同时可以 利用操作系统本身提供的功能，并结合异常检测分析，更能准确的报告攻击行为。 二、 基于网络的( n e t w o r k - b a s e d ) 入侵检测系统 基于网络的入侵检测系统( n i d s ) 以原始的网络数据包作为数据源。它是利 用网络适配器来实时地监视并分析通过网络进行传输的所有通信业务。它的攻击 识别模块进行攻击签名识别的常用技术有： 模式、表达式或字节码的匹配 频率或闽值的比较 次要事件的相关性的处理 统计的异常检测 一旦检测到攻击，i d s 的响应模块通过通知、报警以及中断连接等方式来对攻 击行为作出反应。 作为入侵检测发展史上的一个里程碑，基于网络的i d s 是网络迅速发展，攻 击手段同趋复杂的新的历史条件下的产物，它以其独特的技术手段在入侵检测的 入侵检测算法研究 舞台上扮演着不可或缺的角色。较之于基于主机的i d s ，它有着自身明显的优势： 攻击者转移证据更困难 基于网络的i d s 使用正在发生的网络通信进行实时攻击的检测，因此攻击者 无法转移证据，被检测系统捕获到的数据不仅包括攻击方法，而且包括对识别和 指控入侵者十分有用的信息。由于很多的黑客对审计日志很了解，他们知道怎样 更改这些文件以藏匿他们的入侵踪迹，而基于主机的i d s 往往需要这些原始的未 被修改的信息来进行检测，在这一点上，基于网络的i d s 有着明显的优势。 实时检测和应答 旦发生恶意的访问或攻击，基于网络的i d s 可以随时发现它们，以便能够 更快地作出反应。这种实时性使得系统可以根据预先的设置迅速采取相应的行动， 从而将入侵行为对系统的破坏减到最低。而基于主机的i d s 只有在可疑的日志文 件产生后才能判断攻击行为，这时往往对系统的破坏已经发生了。 能够检测到未成功的攻击企图 由于有些攻击行为是旨在针对防火墙后面的资源的攻击，虽然防火墙本身可 能会拒绝这些攻击企图，如果利用放置在防火墙外的基于网络的i d s 就可以检测 到这种企图。而基于主机的i d s 并不能发现未能到达受防火墙保护的主机的攻击 企图。通常这些信息对于评估和改进系统的安全策略是十分重要的。 操作系统无关性 基于网络的i d s 并不依赖主机的操作系统作为检测资源。这样就与主机的操 作系统无关。而基于主机的系统需要特定的操作系统才能发挥作用。 较低的成本 基于网络的i d s 允许部署在一个或多个关键访问点来检查所有经过的网络通 信。因此，基于网络的i d s 系统并不需要在各种各样的主机上进行安装，大大减 少了安全和管理的复杂性，这样所需的成本费用也就相对较低。 当然，对于基于网络的i d s 来讲，同样有着一定的不足：它只能监视通过本 网段的活动，并且精确度较差，在交换网络环境中难于配置，防欺骗的能力也比 较差，对于加密环境它就更是无能为力了。 三、分布式的入侵检测系统 从以上对基于主机的i d s 和基于网络的1 d s 的分析可以看出：这两者各自都 有着自身独到的优势，而且在某些方面是很好的互补。那么采用这两者结合的入 侵检测系统，那将是汲取了各自的长处，又弥补了各自的不足的一种优化的设计 方案。通常这样的系统一般为分布式结构，有多个部件组成。能同时分析来自主 机系统的审计数据及来自网络的流量数据信息。 分布式的i d s 将是今后人们研究的重点，它是一种相对完善的体系结构。为 同趋复杂的网络环境下的安全策略的实现提供了最佳的解决对策。 第二章入侵检铡及入侵检测系统 2 3 2 2 按分析技术的分类 从入侵检测的典型实现过程可以看出，数据分析是入侵检测系统的核心，它 是关系到能否检测出入侵行为的关键。因为检测率是人们关注的问题的焦点，不 同的分析技术所体现的分析机制是不一样的，那么对数据分析得到的结果当然也 就大不相同。而且不同的分析技术对不同的数据环境的适用性也不一样。根据入 侵检测系统所采用的分析技术来看，它可以分为采用异常检测的入侵检测系统和 采用误用检测的入侵检测系统。 一、异常检测( a n o m a l yd e t e c t i o n ) 异常检测，也被称为基于行为的( b e h a v i o r - b a s e d ) 检测；其基本前提是：假 定所有的入侵行为都是异常的，即入侵行为是异常行为的子集。原理：首先建立 系统或用户的“正常”行为特征轮廓，通过比较当前的系统或用户的行为是否偏 离正常的行为特征轮廓来判断是否发生了入侵行为。而不是依赖于具体行为是否 出现来进行检测的，从这个意义上来讲，异常检测是一种间接的方法。( 图21 是 典型的异常检测系统示意图) 更新 动态产生新 的行为特征 图2 1 典犁的异常检测系统示意图 从异常检测的实现机理来看，异常检测所面临的关键问题有： 特征量的选择 异常检测首先是要建立系统或用户的“正常”行为特征轮廓，这就要求在建 立正常模型时，选取的特征量既要能准确地体现系统或用户的行为特征，又能使 模型最优化，即以最少的特征量就能涵盖系统或用户的行为特征。作为异常检测 的最关键的第一步，它将直接影响检测性能的优劣。 比较的闽值的选定 冈为在实际的网络环境下，入侵行为和异常行为往往不是一对一的等价关系 的，这样的情况是经常会有的：某一行为是异常行为，而它不一定是入侵行为： 同样存在某一行为是入侵行为，而它却不一定是异常行为的情况。这样就会导致 检测结果的虚警( f a l s ep o s i t i 、，e s ) 和漏警( f a l s en e g a t i v e s ) 的产生。由于异常检 入侵检测算法研究 测是先建立正常的特征轮廓并以此作为比较的基准，这个基准即阈值的选定是非 常关键的，闽值选的过大，那漏警率就会很高，这对被保护的系统的危害会很大； 相反，阈值选的过小，则虚警率就会提高，这对入侵检测系统的正常工作带来很 多的不便。总之，恰当地选取比较的阈值是异常检测的关键，它是直接衡量这一 检测方法准确率好坏的至关重要的因素。 比较的频率的选取 由于异常检测是通过比较当前的行为和已建立的正常的行为特征轮廓来判断 入侵的发生与否。比较的频率即经过多长时间进行比较的问题也是一个重要的影 响因素，经过的时间过长，检测的结果的漏警率会很高，因为攻击者往往通过逐 渐改变攻击的模式使之训练成系统所接受的行为特征，从而不能被检测出来；如 果经过的时间过短，就存在虚警率提高的问题，因为有的正常的进程在短时间内 的资源消耗会很大，这样检测系统就会误认为有入侵行为的发生。另外正常的行 为特征轮廓存在更新的问题，这也是在选取比较的频率时必须考虑的因素。 从异常检测的原理我们可以看出，该方法的技术难点在于：“正常”行为特征 轮廓的确定；特征量的选取：特征轮廓的更新。由于这几个因素的制约，异常检 测的虚警率会很高，但对于未知的入侵行为的检测非常有效，同时它也是检测冒 充合法用户的入侵行为的有效方法。此外，由于需要实时地建立和更新系统或用 户的特征轮廓，这样所需的计算量很大，对系统的处理性能要求会很高。 二、误用检测( m i s u s ed e t e c t i o n ) 误用检测，也被称为基于知识的( k n o w l e d g e b a s e d ) 检测；其基本前提是： 假定所有可能的入侵行为都能被识别和表示。原理：首先对已知的攻击方法进行 攻击签名( 攻击签名是指用一种特定的方式来表示已知得攻击模式) 表示，然后 根据已经定义好的攻击签名，通过判断这些攻击签名是否出现来判断入侵行为的 发生与否。这种方法是通过直接判断攻击签名的出现与否来判断入侵行为的，从 这一点来看，它是一种直接的方法。( 图2 2 是典型的误用检测系统示意图) 修改已有规则 时间信息 的规则 图2 2 典型的误用检测系统示意图 第二章入侵检测及入侵检测系统 同样，误用检测也存在着影响检测性能的关键问题： 攻击签名的正确表示 误用检测是根据攻击签名来判断入侵的，那么如何有效地根据对已知的攻击 方法的了解用特定的模式语言来表示这种攻击即攻击签名的表示将是该方法的关 键所在，尤其攻击签名必须能够准确地表示入侵行为及其所有可能的变种，同时 又不会把非入侵行为包含进来。 由于很大一部分的入侵行为是利用系统的漏洞和应用程序的缺陷，那么通过 分析攻击过程的特征、条件、排列以及事件间的关系，就可具体描述入侵行为的 迹象。而这些迹象不仅对分析已经发生的入侵行为有帮助，而且对即将发生的入 侵行为也有预警作用，因为只要部分满足这些入侵迹象就意味着可能有入侵行为 的发生。 误用检测是通过将收集到的信息与己知的攻击签名模式库进行比较，从而发 现违背安全策略的行为的。那么它就只需收集相关的数据，这样系统的负担明显 减少。该方法类似于病毒检测系统，其检测的准确率和效率都比较高。而且这种 技术比较成熟，国际上一些顶尖的入侵检测系统都采用的该方法，如c i s c o 的 n e t r a n g e r 、i i s 的r e a ls e c u r e 以及a x e n t 公司的i n t r u d e r a l e r t 等。但是其检测的完 备性则依赖于攻击签名知识库的不断更新和补充。另外，误用检测是通过匹配模 式库来完成检测过程的，所以在计算处理上对系统的要求不是很高。 通常这里所能检测到的入侵行为往往是利用操作系统的缺陷、应用软件的缺 陷或网络协议实现上的缺陷等来进行实施攻击的。误用检测通过检测那些与已知 的入侵行为模式类似的行为或间接地违背系统安全策略的行为，来识别系统中的 入侵活动。使用这种技术的入侵检测系统，可以避免系统以后再次遭受同样的入 侵攻击行为而且系统安全管理员能够很容易知道系统遭受到哪种攻击并采取相应 的行动。但是，知识库的维护需要对系统中的每一个缺陷都要进行详细的分析， 这不仅是一个耗时的工作，而且关于攻击的知识，依赖于操作系统、软件的版本、 硬件平