（计算机科学与技术专业论文）基于多代理的入侵检测系统的实现技术研究.pdf

国防科学技术大学研究生院学位论文 捅要 l i 随着黑客入侵事件的日益猖獗，人们发现只从防御的角度构造安全系统是不够 的。入侵检测技术是继“防火墙”、“数据加密”等传统安全保护措旌后新一代的动态 安全技术，它能够对计算机和网络资源上的恶意使用行为进行识别和响应。并且不仅 能检测来自外部的入侵行为，同时也能监督内部用户的未授权活动。 针对目前广泛应用的基于静态防护措施的安全体系存在的不足，本文紧密围绕基 于多代理的入侵检测系统的实现关键技术，在以下几个方面开展了研究与实现工作： 1 ) 在对国内外现有的入侵检测系统和技术进行分析与比较的基础上，提出了基于 多代理的分布式入侵检测系统( d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e mb a s e d0 nm u l t i a g e n t s - m a d i d s ) 模型，该模型使用厶王辇鳞单睾代理系统( m u l t i a g e n t ss y s t e m 即 m a s ) 结构将现有的各种安全技术包容在二- 个架构中，该模型实现了数据收集分布、 处理分布、响应分布、智能的自适应分级检测； 2 ) 为了有效提高基于代理的网络型入侵检测系统的检测效率，本文提出了基于散 列模式树的多模式检测算法： 3 ) 为了提高系统的可扩展性与维护性，本文研究和设计了具有一定通用性的攻击 特征库； 4 ) 对m a d i d s 模型中的两种典型代理网络型功能代理和通信代理的实现关 键技术做了研究： 5 ) 设计和实现二个基于代理的网络型入侵检测基本原型系统。原型中实现了基于 l i n u x 的网络型代理，它由通信代理和检测代理两部分共同协作组成；原型还在 w i n d o w s2 0 0 0 下实现了远程代理控制台。 本文的研究成果已经在“天一猎鹰”入侵检测系统( 已经形成销售市场) 中得到应 用，对于提高系统的检测效率、提高系统的可扩展性与维护性等均起到了重要作用。 关键词：入侵检测m a s 协作式入侵检测多模式匹配攻击特征库 乙 v 7v 7 l 一。+ 第1 页 国防科学技术大学研究生院学位论文 a b s t r a c t w i t hm o r ea n dm o r es i t e si n t r u d e db yh a c k e r s ，s e c u r i t ye x p e r t sh a v ef o u n dt h a ti ti s n o t e n o u g h t ob u i l dac o m p r e h e n s i v e s e c u r i t ys y s t e mo n l yu s i n gd e f e n s i v et e c h n i q u e s t h e i n t r u s i o nd e t e c t i o ni san e w d y n a m i cs e c u r i t yt e c h n i q u ei na d d i t i o nt ot r a d i t i o n a ls e c u r i t y p r o t e c tt e c h n i q u e s ，s u c ha sf i r e w a l la n dd a t ae n c r y p t i o n i d sw a t c h e st h ec o m p u t e ra n d n e t w o r kt l a f f i cf o ri n t r u s i v ea n d s u s p i c i o u sa c t i v i t i e s i td e t e c t sn o to n l yt h ei n t r u s i o nf r o m t h ei n t e r a c th a c k e r s ，b u ta l s of r o mt h ei n t r a n e tu s e r s a f t e ra n a l y z i n gt h e d i s a d v a n t a g e s o ft h et r a d i t i o n a ld e f e n s i v en e t w o r k s e c u r i t y a r c h i t e c t u r e s ，o u rw o r ka n dr e s e a r c h e sf o c u so nt h ek e yi m p l e m e n t a t i o nt e c h n i q u e so f d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e mb a s e do nm u l t ia g e n t s - m a d i d s n l ef o l l o w i n g c o n t e n t sa r cd i s c u s s e di nt h et h e s i s 1 ) a f t e ra n a l y z i n ga n dc o m p a r i n gt h ee x i s t i n gi d sa n di dt e c h n i q u e s ，t h i sp a p e r p r o p o s e sam a d i d s m o d e lw h i c h i n t e g r a t e sm o s te x i s t i n gs e c u r i t yt e c h n i q u e si n o n ea r c h i t e c t u r e b ya p p l y i n g t h e m a s ( m u l t ia g e n t ss y s t e m ) m o d e lo fa i s c i e n c e t h i sm o d e lm a k e st h ed i s t r i b u t e d d a t a - c o l l e c t i n g ，d i s t r i b u t e d d a t a - p r o c e s s i n g ，d i s t r i b u t e dr e s p o n s e ，i n t e l l i g e n ta d a p t i v eh i b e r a r c h yd e t e c t i o n 2 ) i no r d e rt oi m p r o v et h ed e t e c t i o ne f f i c i e n c yo fn e t w o r ki n t r u s i o nd e t e c t i o n ，w e d e s i g nah a s h - p a r e m - t r e e - b a s e dm u l t ip a r e m sm a t c ha l g o r i t h mu s e di ns i g n a t u r e d e t e c t i o n 3 ) i n o r d e rt oi m p r o v et h ee x p a n s i b i l i t ya n d m a i n t a i n a b i l i t yo fi d s ，w ed e s c r i b ea n d d e s i g na c o m m o na t t a c ks i g n a t u r ed a t a b a s e 4 ) w ed e s c r i b e t h e i m p l e m e n t a t i o nt e c h n i q u e s o fn e t w o r kf u n t i o n a g e n t a n d c o m m u n i c a t i o n a g e n t o fm a d i d sm o d e l 5 、w jd e s c r i b et h ed e s i g na n di m p l e m e n t i o no fa na g e n t - b a s e dn e t w o r ki n t r u s i o n d e t e c t i o np r o t o t y p es y s t e m n l i sp r o t o t y p ei m p l e m e n t san e t w o r k a g e n ti nl i n u x p l a t f o r mw h i c hi sc o m p o u n do fc o o p e r a t i v ed e t e c t i o na g e n ta n dc o m m u n i c a t i o n a g e n t ，a n dar e m o t ea g e n tc o n s o l ei nw i n d o w s2 0 0 0p l a t f o r m o u rw o r kh a sb e e na p p l i e di nt h et i a n y ia n g l ec o m m e r c i a li n t r u s i o nd e t e c t i o ns y s t e m w h i c hh a sf o r m e di t so w ns e l l i n gm a r k e t o u rw o r kp l a y sa ni m p o r t a n tr o l e i nt h e e x p a n s i b i l i t ya n dm a i n t a i n a b i l i t yo ft i a n y ia n g l es y s t e m k e y w o r d s ：i n t r u s i o nd e t e c t i o n ，m a s c o o p e r a t i v ei n t r u t i o nd e t e c t i o n m uiti p a t t e r n sm a t c h a t t a c ka ig n a t u r ed a t a b a s e 第1 i 页 国防科学技术大学研究生院学位论文 第一章绪论 1 1 课题研究背景 近年来，互联网在国际上得到了长足的发展，但网络本身的安全性问题也就显得 更为重要。网络安全的一个主要威胁就是通过网络对信息系统的入侵。相对传统的对 信息系统的破坏手段，网络入侵具有以下特点：( 1 ) 没有地域和时间的限制；( 2 ) 通 过网络的攻击往往混杂在大量正常的网络活动之间，隐蔽性强；( 3 ) 入侵手段更加隐 蔽和复杂。由于网络入侵的上述特点，如何通过计算机对其进行检测，就成为目前 众多网络安全手段中的核心技术。 入侵检测是指对于面向计算资源和网络资源的恶意行为的识别和响应0 1 。入侵是 指任何试图破坏资源完整性、机密性和可用性的行为。这里，应该包括用户对于系统 资源的误用。 入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ) 是对防火墙的必要补充，作为重要的 网络安全工具，可以对系统或网络资源进行实时检测，及时发现闯入系统或网络的入 侵者，也可预防合法用户对资源的误操作。入侵检测系统通过对系统或网络日志分析， 获得系统或网络目前的安全状况，发现可疑或非法的行为。入侵检测是为那些已经采 取了结合强防火墙和验证技术措施的客户准备的。入侵检测在其上又增加了一层安全 性。传统的操作系统加固技术和防火墙隔离技术等都是静态安全防御技术，对网络环 境下日新月异的攻击手段缺乏主动的反应。入侵检测技术是p 2 d r ( p o l i c y p r o t e c t i o n d e t e c t i o nr e s p o n s e ) 安全模型的一个重要组成部分，它是动态安全技术的最核心技术 之一。 本课题来源于“8 6 3 信息安全应急项目一基于代理的网络入侵检测”，课题目的 是设计并实现一个基于a g e n t 的网络入侵检测系统( i d s ) 基本原型，对网络入侵进 行及时检测，对信息系统和信息资源实施安全保护。 1 2 i n t e r n e t 网络安全研究的现状和发展动态 我国计算机网络信息安全存在相当大的漏洞。网络安全意识淡薄、制度不严、疏 于管理等使得黑客、病毒有机可乘；客观上则存在网络安全技术滞后的问题，尤其在 系统安全方面的工作与国外还有很大差距。在“信息战”、“电子战”愈演愈烈的今天， 信息安全问题已经成为我国信息化进程中突出而且亟待解决的难题；而防止用户非法 侵入网络和非法访问资源( 如盗用口令、帐号和带宽等) 是当前网络安全的主要问题。 一个安全系统应该满足用户系统的保密性、完整性及可用性要求。但是，随着网 络互连的迅速扩展，特别是i n e m e t 大范围的开放以及各种带有敏感信息网络的接入， 越来越多的系统遭到入侵的威胁。黑客的入侵手段越来越高明。在i n t e r n e t 上可以找 到很多攻击网络和系统安全漏洞的小程序，黑客使用这些小程序来进行网络攻击，如： 第1 页 国防科学技术大学研究生院学位论文 c r a c k 、s n i f f e r 、s a t a t n 、c o p s 、t i g e r 等等。而且有许多专门的黑客站点，提供网 络入侵的技术和工具，如v d v r r o o t s h e l l t o m 、w w w 2 6 0 0 c o r n 等。近年来，从著名商 业网站到政府重要部门，黑客攻击事件在世界范围内不断发生，尤其今年二月，美国 y a h o o 等8 家著名大型网站相继被黑客攻击，导致服务中断，造成1 2 亿美元以上的 经济损失。同时国内的一些著名网站也遭受黑客袭击。此外，美国在线a o l 六月被 入侵，部分用户资料被窃取；s l a s h d o t o r g 网站被攻击，导致服务中断，这个站点据 说是聚集顶尖电脑高手最多的地方，却无法抵挡来自网络黑客的攻击。这样的例子不 胜枚举，黑客已成为网络安全的最大威胁之一。也正是由于黑客的存在，极大地推动 了网络安全领域技术的发展和网络安全市场的形成。 随着攻击者知识的日趋成熟，攻击工具与手法的日趋复杂多样，传统的安全方法， 包括识别与验证( i d e n t i f i c a t i o na n d a u t h e n t i c a t i o n ) 、访问控制( a c c e s sc o n t r 0 1 ) 和防 火墙( f i r e w a l l ) ，已经无法满足需要，网络的安全防卫必须采用一种纵深的、多样的 手段，入侵检测系统( d s ) 已成为必不可少的重要手段。 目前，对付破坏系统企图的理想方法是建立一个完全安全系统。但这就要求所有 的用户能识别和认证自己，还要采用各种各样的加密技术和强访问控制策略来保护数 据。而实际上，这是根本不可能的。首先，在实践中，建立完全安全系统是根本不可 能的。m i l l e r 给出一份有关现今流行的操作系统和应用程序的研究报告，指出软件中 不可能没有缺陷，此外，设计和实现一个整体安全系统相当困难。其次，要将所有已 安装的带安全缺陷的系统转换成安全系统需要相当长的时间。第三，加密技术本身存 在的定问题。第四，安全系统易受内部用户滥用特权的攻击。第五，安全访问控制 等级和用户的使用效率成反比。第六，访问控制和保护模型本身存在一定的问题。第 七，在软件工程中存在软件测试不充足、软件生命周期缩短、大型软件复杂性等难解 的问题。第八，用户大量的应用程序和数据处理对现有系统的依赖性，使一个新的且 更具安全性的系统来替代有缺陷的系统的代价太高。 基于上述几类问题的解决难度，一个实用的方法是，建立比较容易实现的安全系 统，同时必须按照一定的安全策略建立相应的安全辅助系统，入侵检测系统( i d s ) 就是这样一类系统。如果系统遭到攻击，需要尽可能地检测、甚至是实时地检测到， 然后采取适当的处理措施。作为一种系统安全技术，入侵检测( 简称i d ) 现已成为 目前众多网络安全手段中的核心技术，它能弥补其他安全技术的不足。通过提供信息 给站点管理员，i d s 不仅可以检测被其他系统记录的攻击，而且试图检测那些被其他 手段难以预料的新型攻击。i d s 还可以提供适用于法庭的证据来发现攻击的来源，使 攻击者对他们的行为更加负责，而且从某种程度上讲，还可对将来的攻击造成威慑。 入侵检测作为一种重要的安全技术，其主要作用在于：识别入侵者( 法庭证据，威 慑作用) ；识别入侵行为；检测和监视已成功的安全突破；为对抗入侵及时提 供重要信息，阻止事件的发生和事态的扩大。因此，入侵检测非常必要。 1 3 入侵检测系统发展趋势及主要研究方向 随着网络攻击手段向分布式方向发展( 如目前出现的分布d o s 攻击) 并采用了 各种数据处理技术，其破坏性和隐蔽性也越来越强。相应地，入侵检测系统也向分布 第2 页 国防科学技术大学研究生院学位论文 式结构发展，采用分布收集信息、分布处理、多方协作的方式，将基于主机的i d s 和基于网络的i d s 结合使用，构筑面向大型网络的i d s 。同时，在处理速度及各类相 关性能上也有了更高的要求。 目前已有的i d s 还远远不能满足入侵检测的需要，如何采用更好的策略和体系结 构，综合应用多种i d 方法，实现对于网络入侵的实时检测仍是当前的主要方向。目 前的i d s 的研究方向主要有”l j ： 1 ) 1 0 s 体系结构研究 i d s 是包括技术、人、工具三方面因素的一个整体，如何建立一个良好的体系 结构，合理组织和管理各种实体，以杜绝在时间上和实体交互中产生的系统脆弱性， 是当前i d s 研究中的主要内容，也是保证系统安全性的首要条件。 关于i d s 的体系结构的研究主要包括：具有多系统的互操作性，重用性的通用 入侵检测框架；总体结构和各部件相互关系；系统安全策略：具有可伸缩性的统一的 i d s 系统结构；d s 的管理等。 研究d a r p 提出的通m x , 侵检测框架( c i d f ) ：设计具有可伸缩性、重用性的系统 框架；制定安全、健壮、可扩展的安全策略。 2 ) 安全通信技术研究 目前，分布式系统中的安全通讯机制也是研究领域的一个热点，研究i e t f 提出 的入侵检测报警协议 i n t r u s i o n a l e r tp r o t o c o l ( i a p ) 】，设计包括安全认证、远程控制 等机制的协议，建立高效、具有互操作性的安全通道。 3 ) 入侵检测( i d ) 技术研究 目前已有的入侵检测技术包括滥用检测和异常检测。 滥用检测包括专家系统 3 1 、模型推理【4 l 、状态转换刚5 1 、p e t r in e t s 图1 6 1 等：这种方 法由于依据具体特征库进行判断，所以准确度很高、方便响应。但与具体系统依赖性 太强，移植性不好，维护工作量大，受已有知识的局限，难以检测出权力滥用。 异常检测包括数据挖掘方法1 7 1 、概率统计方法 8 1 、神经网络方法 9 1 、计算机免疫 系统i l 。j 等；这种方法与系统相对无关，通用性较强。可能检测出以前未出现过的攻击 方法。它的主要缺陷在于误检率很高。 鉴于两者存在的优点和不足，而且已证明依靠单一的入侵检测方法不可能检测出 所有入侵，现在的研究主要集中在将已有的检测方法结合实用和对于新方法的探索 中，期望找到效率和效果相一致的方法。 4 ) 响应策略与恢复研究 i d s 在识别出入侵后所进行的响应是维护系统安全性、完整性的关键步骤。i d s 的目标是实现实时响应和恢复。 实现i d s 的响应包括：向管理员和其它实体发出警报；进行紧急处理的功能研究； 对于攻击的追踪、诱导和反击；对于攻击源数据的聚集i d 部件的自学习和改进。 实现i d s 的恢复包括：对于系统状态一致性的检测方法的研究：系统数据的备份； 系统恢复策略和恢复时机的研究。 5 ) 协作式入侵检测技术研究 第3 页 国防科学技术大学研究生院学位论文 随着黑客入侵手段的提高，尤其是分布式、协作式、复杂模式攻击的出现和发展， 传统的单一的、缺乏协作的入侵检测技术已经不能满足需求，需要有充分的协作机制。 所谓协作主要包括两个方面： 事件检测、分析和响应能力的协作； 各部分所掌握安全相关信息的共享。 尽管现在最好的商业产品和研究项目中也只有简单的协作，如i s s 的r e a l s e c u r e 入侵检测产品可以和防火墙协作，a a f i d 中同一主机上各主机型代理之间可进行简单 的信息共享，但协作作为一个重要的发展方向是毫无疑问的。协作的程度主要有以下 层次： 同一系统中不同入侵检测部件之间的协作，尤其是主机型和网络型入侵检测 部件之间的协作，以及异构平台部件的协作； 不同安全工具之间的协作： 不同厂家的安全产品之间的协作： 不同组织之间预警能力和信息的协作。 要实现协作，首先要考虑两个问题：一是信息表达的格式和信息交换的安全协议； 二是协作的模型。信息表达的格式有两个发展中的标准：d a r p a 的通用入侵检测框 架中提出了c i s l ( c o m m o ni n t r u s i o ns p e c i f i c a t i o nl a n g u a g e ) 语言；i e t f 的入 侵检测工作组( i d w g ) 中提出了在i a p 中使用的另一套方案。两者各有长短，有待进 一步研究以确定一个统一的能同时实现协作的控制信息交换和数据信息交换的通用 标准。 入侵检测协作模型应充分利用a g e n t 研究现有的技术和进展，将其应用到入侵检 测和攻击防护中。研究a g e n t 在安全系统中的角色和与其它安全实体的相互关系：研 究a g e n t 之间的信息交换格式和协作模型“”：研究各实体之间的分布结构和逻辑从属 关系，安全的互操作系统模型等。 6 ) 建立黑客攻击模型以及主机和网络安全状态模型的研究 对于黑客攻击的识别，现在实际应用的方法基本都是在已经知道的攻击的基础上 提取其特征，然后将其加入特征库。但是现有的攻击特征库较简单，没有扩展性和适 应性，造成较高的误报率和漏报率，并缺乏对未知攻击的预警。根据我们的研究和工 程经验，提出建立黑客攻击模型以及主机和网络安全状态模型的思路，从两个方面解 决以上问题。 黑客的攻击一般都和大量正常网络的通信混在一起，而对所有的海量的审计信息 都进行全面的检查是十分低效的，必须有高效的过程排除噪音。研究现有的黑客攻击 方式，归纳出有扩展性和适应性的较通用的几种攻击模型，在实际的检测中首先应用 黑客攻击模型排除绝大多数噪音后记录可疑信息，然后再聚焦检测具体的攻击形式， 这样可大大提高效率，减少误报和漏报。 安全是相对的，所以有必要建立状态模型监测主机和网络当前的安全状态，一旦 发现异常，很有可能是发生了未知的黑客攻击，则可采用应急措施，如进行全面的 日志记录、启动一般处于禁止态的开销较大的入侵检测模块、。对于存放高度机密信 息的机构这种特性尤其有用。安全状态模型应该是具有通用意义的，并有可调参数， 当系统置于一个新环境中，可由系统自适应或安全管理员设定这些参数。 第4 页 国防科学技术大学研究生院学位论文 1 4 本文的主要研究内容 本文的主要研究内容如下： 1 ) 分布式入侵检测系统的体系结构研究。提出了多代理的分布式入侵检测系统 ( m a d i d s ) ，该结构结合了网络安全技术分布式、智能化、整体化的趋势，能满足大 规模网络、协作攻击检测的需求； 2 ) 基于散列的多模式匹配算法研究。针对基于特征的网络入侵检测存在的问题， 设计和实现了一种高效的入侵检测算法该算法可有效提高系统的检测效率； 3 ) 入侵特征知识库的研究。设计和实现了较独立和有一定的通用性的入侵特征知 识库管理部件，它使知识库中的入侵特征可以用不同的插件，将其转换为不同格式的 规则语言，供不同的入侵检测系统使用； 4 ) 代理( a g e n t ) 的实现技术研究。对m a d i d s 模型中的两种典型代理网络 型功能代理和通信代理的实现关键技术做了研究； 5 ) 设计和实现了一个基本原型。原型中实现了基于l i n u x 的网络型代理，它由通 信代理和检测代理两部分共同协作组成，原型还在w i n d o w s2 0 0 0 下实现了管理控制 台。 论文组织结构如下： 全文共分八章，第一章为绪论部分，主要介绍了课题的研究背景、当前的网络安 全状况和本课题的主要研究内容；第二章为原理阐述部分，阐述了入侵检测系统和入 侵检测技术的分类和发展现状，并重点阐述了分布式入侵检测的必要性和介绍了典型 的分布式入侵检测系统；第三章阐述了基于多代理的分布式入侵检测系统的体系结构 研究；第四章提出了一种应用于网络型入侵检测的高效的多模式匹配算法；第五章阐 述了通用入侵特征库的关键技术和设计；第六章阐述了典型代理的实现技术研究；第 七章介绍了基于代理的网络入侵检测原型系统的设计和实现；第八章为结论部分，总 结了本文所做的工作和今后的研究方向。 第5 页 国防科学技术大学研究生院学位论文 第二章入侵检测技术发展现状研究 2 1 入侵检测系统的分类 入侵检测系统有多种分类方法。其中最常见的是按照数据来源的分类。入侵检测 系统按照数据来源可以分为主机型入侵检测系统( h i d s ) 、网络型入侵检测系统 ( n i d s ) ，节点型网络入侵检测系统( n n i d s ) ，应用型入侵检测系统( a i d s ) ，文 件型入侵检测系统( f i d s ) 。 2 1 1 主机型入侵检测系统 初期多以主机型入侵检测研究为主，即在每个要保护的主机上运行一个或多个 代理程序。由入侵检测工具对主机的审计信息分析来进行检测，并报告安全可疑事件。 主机型入侵检测技术研究比较成熟，开发出的入侵检测系统也比较多，部分已形 成实用产品，例如i n t r u s i o nd e t e c t i o n 公司的k a n es e c u r i t ym o n i t o r 1 3 j ，t r u s t e d i n f o r m a t i o ns y s t e m 公司的s t a l k e r “1 等。 它具有以下优点： 更加细腻，可以很容易和准确地监测系统相关的活动； 适用于加密和交换式的网络； 对网络流量不敏感，视野集中，一般不会因为网络流量的增加而失效； 可以验证一次袭击成功与否； 易于用户剪裁，每一个主机有其自己的代理： 不易被欺骗； 不需要额外的硬件。 2 1 2 网络型入侵检测系统 网络型入侵检测系统通过连接在网络上的站点捕获网上的包，并分析其是否具有 已知的攻击模式或将引起网络系统异常，以此来判别是否为入侵者。 目前，基于网络的入侵检测系统的商业化产品较多，多为基于网络关键节点，如 防火墙、路由器等进行检测，如i s s 公司的r e a l s e c u r e ”】以及c i s e o 的n e t r a n g e r 1 6 1 。 网络型检测有以下优点： 在关键路径上使用较少的监测器就能保护整个网络，配置代价低； 隐蔽性好，网络上的监测器不易遭受攻击，攻击者难于删除证据； 能检测到不成功的攻击和恶意行为； 不依赖所检测的系统的操作系统； 不占用被检测系统的资源。 第6 页 国防科学技术大学研究生院学位论文 2 1 3 节点型网络入侵检测系统 节点型网络入侵检测是网络型入侵检测的一种变种。它驻留于待保护的主机上， 不要求将网卡置于混杂模式，只检测本机的网络流，所采用的检测技术基本与网络型 入侵检测相同。 节点型入侵检测系统有以下优点： 适合于加密和交换式的网络 对网络流量不十分敏感 不易被欺骗 可以有效的阻挡入侵 不需要额外的硬件 2 1 4 应用型入侵检测系统 应用型入侵检测是比较新的一种入侵检测系统，其监测特定的应用，与特定的应 用集成，能够以更细的粒度，更高的效率检测关键应用。 应用型入侵检测检测的内容： 应用的日志： 应用的输入； 应用的输出： 应用本身的状态。 应用型入侵检测的优点： 能够细粒度的检测对该应用的入侵 能够与应用集成 能有效的阻挡入侵 2 1 5 文件型入侵检测系统 文件完整性检查系统检查计算机中自上次检查后文件变化情况。文件完整性检查 系统保存有每个文件的数字文摘数据库，每次检查时，它重新计算文件的数字文摘并 将它与数据库中的值相比较，如不同，则文件已被修改，若相同，文件则未发生变化。 文件的数字文摘通过h a s h 函数计算得到。不管文件长度如何，它的h a s h 函数计 算结果是一个固定长度的数字。与加密算法不同，h a s h 算法是一个不可逆的单向函 数。采用安全性高的h a s h 算法，如m d 5 、s h a 时，两个不同的文件几乎不可能得 到相同的h a s h 结果。从而，当文件一被修改，就可检测出来。在文件完整性检查中 功能最全面的当属t r i p w i r e ，其开放源代码的版本可从w w w t r i p w i r e o r g 中获得。 文件完整性检查系统的弱点： 1 ) 文件完整性检查系统依赖于本地的文摘数据库。与日志文件一样，这些数据 可能被入侵者修改。 2 ) 做一次完整的文件完整性检查是一个非常耗时的工作。 第7 页 国防科学技术大学研究生院学位论文 3 ) 系统有些正常的更新操作可能会带来大量的文件更新，从而产生比较繁杂的 检查与分析工作。 入侵检测还有很多其它的分类方式。比较重要的有以下几种。按照使用的检测技 术可分为异常检测和滥用检测。按照数据的处理地点可以分为分布式入侵检测系统和 单机入侵检测系统。 2 2 入侵检测技术 入侵检测技术可分为两大类：异常检测技术和滥用检测技术。 2 2 1 异常检测技术 异常检测的假设是入侵者活动异常于正常主体的活动。根据这一理念建立主体正 常活动的“活动简档”，将当前主体的活动状况与“活动简档”相比较，当违反其统 计规律时，认为该活动可能是“入侵”行为。异常检测的难题在于如何建立“活动简 档”以及如何设计统计算法，从而不把正常的操作作为“入侵”或忽略真正的“入侵” 行为。常用的异常检测技术如下： 2 2 1 1 基于统计方法的攻击检测技术 对攻击的统计检测系统的工作原理是基于对用户历史行为的建模以及在早期的 证据或模型的基础。审计系统实时地检测用户对系统的使用情况，根据系统内部保持 的用户行为的统计模型进行监测，当发现有可疑的用户行为发生时，保持跟踪并监测、 记录该用户的行为。 统计模型常用异常检测，在统计模型中常用的测量参数包括：审计事件的数量、 间隔时间、资源消耗情况等。常用的入侵检测5 种统计模型为： 1 ) 操作模型，该模型假设异常可通过测量结果与一些固定指标相比较得到，固 定指标可以根据经验值或一段时间内的统计平均得到，举例来说，在短时间 内的多次失败的登录很有可能是口令尝试攻击；、 2 ) 方差，计算参数的方差，设定其置信区间，当测量值超过置信区间的范围时 表明有可能是异常； 3 ) 多元模型，操作模型的扩展，通过同时分析多个参数实现检测； 4 ) 马尔柯夫过程模型，将每种类型的事件定义为系统状态，用状态转移矩阵来 表示状态的变化，当一个事件发生时，或状态矩阵该转移的概率较小则可能 是异常事件； 5 ) 时间序列分析，将事件计数与资源耗用根据时间排成序列，如果一个新事件 在该时间发生的概率较低，则该事件可能是入侵。 统计方法的最大优点是它可以“学习”用户的使用习惯，从而具有较高检出率与 可用性。但是它的“学习”能力也给入侵者以机会通过逐步“训练”使入侵事件符合 正常操作的统计规律，从而透过入侵检测系统。 第8 页 国防科学技术大学研究生院学位论文 2 2 1 2 基于神经网络的攻击检测技术 神经网络使用可适应自学习技术来描述异常行为。这种非参分析技术运作在历史 训练数据集上。历史训练数据集假定是不包含任何指示入侵或者其它不希望的用户行 为。 神经网络可能用于解决传统的统计分析技术所面临的以下几个问题： 难于建立确切的统计分布：统计方法基本上是依赖于用户行为的主观假设， 如偏差高斯分布；错发警报常由这种假设所导致： 难于实现方法的普适性：适用于某类用户行为的检测措施一般无法适用于另 一类用户； 算法实现比较昂贵：由于基于统计的算法对不同类型的用户行为不具有自适 应性，因此算法比较复杂而且庞大，导致算法实现上的昂贵。而神经网络技 术不存在这个问题，实现的代价较小： 系统臃肿难于剪裁：由于采用统计方法检测具有大量用户的计算机系统，将 不得不保留大量的用户行为信息，导致系统的臃肿和难于剪裁。 使用神经网络进行入侵检测的主要不足是神经网络不能为它们找到的异常提供 任何解释。这种情况防碍了用户获得说明性资料或寻求入侵安全问题根源的能力。这 使它不能满足安全管理方面的需求。尽管一些研究者已经提出复合方法来解决这些问 题，但发表的数据仍然没有说明神经网络方法的可行性【i ”。 2 2 2 滥用检测技术 滥用检测假设入侵者活动可以用一种模式来表示，系统的目标是检测主体活动是 否符合这些模式。它可以将已有的入侵方法检查出来，但对新的入侵方法无能为力。 其难点在于如何设计模式既能够表达“入侵”现象又不会将正常的活动包含进来。 2 2 2 1 基于专家系统的攻击检测技术 进行安全检测工作自动化的另外一个值得重视的研究方向就是基于专家系统的 攻击检测技术，即根据安全专家对可疑行为的分析经验来形成一套推理规则，然后再 在此基础之上构成相应的专家系统。 所谓专家系统是基于一套由专家经验事先定义的规则的推理系统。基于规则的专 家系统或推进系统也有其局限性，因为作为这类系统的基础的推理规则般都是根据 已知的安全漏洞进行安排和策划的，而对系统的最危险的威胁则主要是来自未知的安 全漏洞。实现一个基于规则的专家系统是一个知识工程问题，而且其功能应随着经验 的积累而利用其自学习能力进行规则的扩充和修正。一方面，推进机制使得系统面对 一些新的行为现象时可能具备一定的应对能力( 即有可能会发现一些新的安全漏洞) ： 另一方面，攻击行为也可能不会触发任何一个规则，从而不被检测到。 专家系统对历史数据的依赖性总的来说比基于统计的技术的审计系统较少，因此 系统的适应性比较强，可以较灵活地适应广泛的安全策略和检测需求。但是迄今为止 推理系统和谓词演算的可计算问题离成熟解决都还有一定的距离。 第9 页 国防科学技术大学研究生院学位论文 2 2 2 2 基于模型推理的攻击检测技术 攻击者在攻击一个系统时往往采用一定的行为程序，如猜测口令的程序，这种行 为程序构成了某种具有一定行为特征的模型，根据这种模型所代表的攻击意图的行为 特征。可以实时地检测出恶意的攻击企图。用基于模型的推理方法人们能够为某些行 为建立特定的模型，从而能够监视具有特定行为特征的某些活动。根据假设的攻击脚 本，这种系统就能检测出非法的用户行为。一般为了准确判断。要为不同的攻击者和 不同的系统建立特定的攻击脚本。当有证据表明某种特定的攻击模型发生时，系统应 当收集其他证据来确认它是否为真正的攻击，既要不能漏报攻击，对信息系统造成实 际的损害，又要尽可能地避免错报。 最近的一些新的入侵检测方法既不是异常检测也不是滥用检测。这样方案可用于 上述两种检测。这些方法有免疫系统方法、遗传算法、数据挖掘等。 2 3 通用入侵检测框架( c i d f ) 与入侵检测工作组( i d w g ) 的介绍 2 3 i 通用入侵检测框架( c i d f ) 1 8 1 通用入侵检测框架c i d f ( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ) 是d a r p a 支 持下的一个研究项目。c i d f 的目标是为入侵检测研究项目共享数据和资源，入侵检 测组件重用和可能的合作入侵检测而发展特定的协议和a p i 。 通用入侵检测框架c i d f 阐述了一个入侵检测系统( i d s ) 的通用模型。它将一 个入侵检测系统分为以下组件： 事件产生器( e v e n tg e n e r a t o r , ”e b o x ”) 事件分析器( e v e n t a n a l y z e r , ”a - b o x ”) 响应单元( r e s p o n s e u n i t r - b o x ”) 事件数据库( e v e n td a t a b a s e , d b o x ) 组件示意图如图2 1 所示。 c i d f 将i d s 需要分析的数据统称为事件( e v e n t ) ，它可以是基于网络的i d s 从 网络中提取的数据包，也可以是基于主机的i d s 从系统日志等其它途径得到的数据信 息。c i d f 组件之间是以通用入侵检测对象( g e n e r a l i z e d i n t r u s i o n d e t c c t i o n o b j e c t s ， 以下简称为g i d 0 ) 的形式交换数据的，个g i d o 可以表示在一些特定时刻发生的 些特定事件，也可以表示从一系列事件中得出的一些结论，还可以表示执行某个行 动的指令。 c i d f 中的事件产生器负责从整个计算环境中获取事件，但它并不处理这些事件， 而是将事件转化为g i d o 标准格式提交给其它组件使用，显然事件产生器是所有i d s 所需要的，同时也是可以重用的。c i d f 中的事件分析器接收g i d o ，分析它们，然 后以一个新的g i d o 形式返回分析结果。c i d f 中的事件数据库负责g i d o 的存贮。 它可以是复杂的数据库，也可以是简单的文本文件。c i d f 中的响应单元根据g i d o 做出反应，它可以是终止进程、切断连接、改变文件属性，也可以只是简单的报警。 第l o 页 国防科学技术大学研究生院学位论文 c i d f 将各组件之间的通信划分为三个层次结构：g i d o 层( g i d ol a y e r ) 、消息 层( m e s s a g el a y e r ) 和传输层( n e g o t i a t e dt r a n s p o r tl a y e r ) 。其中传输层不属于c i d f 规范，它可以采用很多种现有的传输机制来实现。消息层负责对传输的信息进行加密 认证，然后将其可靠地从源传输到目的地，消息层不关心传输的内容，它只负责建立 一个可靠的传输通道。g i d o 层负责对传输信息的格式化，正是因为有了g i d o 这种 统一的信息表达格式，才使得各个i d s 之间的互操作成为可能。 输出。对事件的响应 储 图2 - 1c i d f 组件的相互关系 c i d f 的重要工作之一是定义了一种用于i d s 组件描述事件、分析结果和响应指 示以供信息交换的语言：通用入侵描述语言c i s l ( c o m m o ni n t r u s i o ns p e c i f i c a t i o n l a n g u a g e ) 。上图所示的各组件之间交换的信息都是用这种c i s l 来描述的。 2 3 2 入侵检测工作组( i d w g ) 1 9 1 与c i d f 类似的研究工作还有i d w g ( i n t r u s i o nd e t e c t i o nw o r k i n gg r o u p ) 所从事 的相关研究。i d w g 是一个在i e t f ( i n t e m e te n g i n e e r i n gt a s kf o r c e ) 框架下运作， 主要由对c i d f 不太感兴趣的d s 产品开发商组成的工作组。 i d s 系统组件之间需要通信，不同的厂商的i d s 系统之间也需要通信。因此，定 义统一的协议，使各部分能够根据协议所致订的的标准进行沟通是很有必要的。 i d w g 工作组主要针对入侵检测系统共享所关注的信息定义了数据格式及其交换过 程。目前，它已讨论了入侵检测消息交换的需求说明和其所提议的协议，数据模型， 以及在需求说明框架内的数据表示方法。 i d w g 们制定了一个入侵检测消息交换格式( i d m e f ) ，i d m e f 采用了面向对象的 思想，使用x m l 语言描述入侵检测消息。i d w g 还制定了t a p 协议( i n t r u s i o na l e r t 第1 i 页 国防科学技术大学研究生院学位论文 p r o t o c 0 1 ) 在入侵检测系统之间交换入侵报警数据。该协议的设计目的是在i p 网络上安 全可靠地传输敏感的入侵检测报警数据。i a p 是一个运行于t c p 之上的应用层协议， 其设计在很大程度上参考了h t t p ，但补充了许多其它功能( 如可从任意端发起连接， 结合了加密、身份验证等) 。 i d w g 目前只有相关的草案( i n t e m e t d r a f t ) ，并未形成正式的r f c 文档。尽管如 此，草案为i d s 各部分之间甚至不同i d s 系统之间的通信提供了一定的指引。如果 按照正常的i e t f 程序，这些提议将可能为i e t f 接受。一旦其成果的互操作性得到 验证，这些提议将逐渐标准化，成为i e t f 的一个或多个r f c 。 2 3 3c i d f 与i d w g 的比较 c d f 标准没有正式确立，也没有一个入侵检测商业产品完全遵循所用该标准。 但因为入侵检测系统的特殊性，其实各种入侵检测系统的模型都有很大的相似性。 c i d f 提