（计算机应用技术专业论文）分布式入侵检测系统中的报警融合.pdf

北京交通大学硕士学位论文摘要 摘要 随着i n t e r a c t 的发展，计算机网络安全成为越来越受人们关注的问题。为了增 强计算机网络的安全性能，人们采用了多种安全技术，包括加密、身份认证、访 问控制等，随着入侵检测技术的发展和成熟，入侵检测系统( i n t r u s i o nd e t e c t i o n s y s t e m ) 已经成为安全防卫体系中一个重要的环节。 在实际的应用中，入侵检测系统往往会产生大量的误报警f f a l s ep o s i t i v e a l e r t s ) 、漏报警( f a l s en e g a t i v ea l e m ) 和重复报警( d u p l i c a t ea l e r t s ) ，使得管理员无 法有效分辨报警的真伪，从而降低了入侵检测系统的有效性。因此，寻求一种有 效的方法去除冗余报警并降低误报率和漏报率，是提高入侵检测系统效率的有效 途径。 本文在深入细致地分析了现有入侵检测系统的各种体系结构、数据源和检测 技术，并充分了解和认识了它们各自相应的特点及优缺点的基础上，对分布式入 侵检测环境中的报警管理进行了研究，主要包括以下内容： 1 ) 介绍了一个分布式入侵检测系统，并对该系统的体系结构和功能进行了全 面、完整的描述。 2 ) 重点研究了报警融合技术，设计并实现了报警融合模型，该模型包括报警 聚合和报警关联两个模块。 3 ) 利用具有自适应特性的算法进行报警聚合，可以有效地聚合重复报警，减 轻了网络负载。 4 ) 利用基于模糊综合评判( f u z z yc o m p r e h e n s i v ee v a l u a t i o n ) 的算法进行报警 关联，不但可以将来自于不同i d s 的报警关联在一起，而且可以将入侵不 同阶段的报警关联在一起，产生代表攻击过程的报警线程。算法在减少误 报的同时，为下面的在线风险评估和响应决策提供多种综合性参数，具有 较好的实时性。 5 ) 介绍了有监督的报警确信度学习算法和报警验证的概念与作用。 本文首先概述了入侵检测系统的模型结构、一般特性以及不同分类，然后对 研究重点分布式入侵检测系统中的报警融合技术进行了详细描述，并着重讨 论了其中的两个核心模块：报警聚合和报警关联，最后是系统的实验结果。 关键词：网络安全，入侵检测，报警融合，报警聚合，报警关联 分类号：t p 3 9 3 0 8 北京交通大学硕士学位论文 a b s t r a c t a b s t r a c t w i t ht h ed e v e l o p m e n to fi n t e m e t , c o m p u t e rn e t w o r ks e c u r i t yi sb e c o m i n gm o r e a n dm o r ec o n c e r n e dq u e s t i o n t oe n h a n c et h es e c u r i t yc a p a b i l i t yo fc o m p u t e rn e t w o r k , p e o p l eh a v ea d o p t e dm a n ys e c u r i t yt e c h n o l o g i e si n c l u d i n ge n c r y p t i o n , i d e n t i t y r e c o g n i t i o n ，a n da g e e s sc o n t r 0 1 w i t ht h ed e v e l o p m e n to f i n t r u s i o nd e t e c t i o nt e c h n o l o g y , i d s ( i n t r u s i o nd e t e c t i o ns y s t e m ) h a sb e c o m ea l li m p o r t a n tm e t h o di nn e t w o r ks e c u r i t y s y s t e m i nt h ep r a c t i c a le n v i r o n m e n t ，i d sa l w a y sp r o d u c e sal o to ff a l s ep o s i t i v e s ，f a l s e n e g a t i v ea l e r t sa n dd u p l i c a t ea l e r t s ，w h i c hc a l ln o te n a b l ea d m i n i s t r a t o rt od i s t i n g u i s h t h ea l e r t se f f e c t i v e l y , t h e r e b y r e d u c i n g t h ee f f e c t i v e n e s so fi d s t h e r e f o r e ，i ti s n e c e s s a r yt oa d o p ta ne f f i c i e n tm e t h o dt od e l e t er e d u n d a n ta l e r t s ，r e d u c ef a l s ep o s i t i v e r a t i oa n df a l s en e g a t i v er a t i oi no r d e rt or a i s et h ee f f i c i e n c yo fi d s i nt h i sp a p e r , w ed e e p l ya n a l y z et h ea r c h i t e c t u r e ，d a t as o u r c ea n dd e t e c t i o n t e c h n o l o g yo ft h ep r e s e mi d s w et a k ear e s e a r c ho nt h ea l e r tm a n a g e m e n ti nt h e d i s t r i b u t e di n t r u s i o nd e t e c t i o ne n v i r o n m e n t , a n dt h em a i nc o n t e n ti sa sf o l l o w s ： 1 ) i n t r o d u c i n gad i s t r i b m e d i n t r u s i o nd e t e c t i o ns y s t e m ，a n dd e s c r i b i n gi t s a r c h i t e c t u r ea n df u n c t i o n a l i t yc o m p l e t e l y 2 ) e m p h a s i z i n go nt h e r e s e a r c ho fa l e r tf u s i o nt e c h n o l o g y , d e s i g n i n ga n d i m p l e m e n t i n gt h em o d u l eo fa l e r tf u s i o n , w h i c hc o n s i s t so ft w os u b - m o d u l e s ： a l e r ta g g r e g a t i o na n da l e r tc o r r e l a t i o n 3 ) t h ea d a p t i v ea l e r ta g g r e g a t i o na l g o r i t h mc a l le f f e c t i v e l ya g g r e g a t ed u p l i c a t e a l e r t sa n dr e d u c en e t w o r kt r a f f i cc a u s e db yt h e m 4 ) t h e a l e r tc o r r e l a t i o na l g o r i t h mb a s e do nf u z z yc o m p r e h e n s i v ee v a l u a t i o nc a n n o to n l yc o r r e l a t et h ea l e r t sf r o md i f f e r e n ti d s ，b u ta l s ot h ea l e r t sf r o m d i f f e r e n ts t a g e so ft h ei n v a s i o n , w h i c hi sl p r e s e n t e db ya na l e r tt h r e a di nt h e m o d e l t h ea l g o r i t h mc a nr e d u c et h ef a l s ep o s i t i v ea l e r t sa n df a l s en e g a t i v e a l e r t s ，a n da l s o ，t h em o d e lc o u l dp r o v i d es o m ec o m p o u n dp a r a m e t e r sf o r f u r t h e ro n l i n er i s ka s s e s s m e n ta n di n t r u s i o nr e s p o n s ed e c i s i o n 5 ) i n t r o d u c i n gt h ec o n c e p ta n dr o l e o fa l e r tc o n f i d e n c el e a r n i n ga n da l e r t v e r i f i c a t i o na l g o r i t h m t h i sp a p e rf i r s ti n t r o d u c e st h em o d e ls t r u c t u r e ，g e n e r a lf e a t u r e sa n dd i f f e r e n t c l a s s i f i c a t i o no fi d s ，t h e nd e s c r i b e st h ed i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e ma l e r t s 北京交通大学硕士学位论文 a b s t r a c t f u s i o nm o d e li nd e t a i l ，w h i c hi st h ek e yc o n t e n to ft h i sp a p e r t h i sp a p e rp u t si t s e m p h a s i so nt w oc o r es u b - m o d u l e so fa l e r tf u s i o nm o d e l ：a l e r ta g g r e g a t i o na n da l e r t c o r r e l a t i o n f i n a l l y , t h ee x p e r i m e n t a lr e s u l to nt h es y s t e mi sp r e s e n t e c l k e y w o r d s n e t w o r k s e c u r i t y , i n t r u s i o nd e t e c t i o n , a l e r tf u s i o n ，a l e r ta g g r e g a t i o n , a i e f tc o r r e l a t i o n c l a s s n o ：t p 3 9 3 0 8 致谢 本文是在尊敬的导师田盛丰教授的精心指导和悉心关怀下完成的。导师渊博 的学识、严谨的治学态度、孜孜不倦的进取精神、对问题实质的洞察入微和高屋 建瓴、以及宽广豁达的长者风范，都给我留下了深刻的印象。这三年来导师对我 的学习、生活上给予了许多关心和帮助，不仅让我学到了很多的科研知识，而且 还给了我很好的实践机会，这些都将融入到我未来的奋斗当中，使我受益终身。 衷心感谢黄厚宽、于剑教授，瞿有利、林友芳、魏名元、田风占老师的谆谆 教导和帮助，他们一丝不苟的治学精神永远是我学习的榜样。 感谢穆成坡博士，在与他的合作过程中，我学到了很多的东西，同时他对本 论文给予了很大的帮助支持。感谢我的同学牛蔚衡、晏丰、陈亮、杨春丽、周斌 和实验室的各位博士、各位师兄、师姐、师弟、师妹。在本论文的完成过程中， 他们都给了我很大的帮助。 最后我要感谢我的父母和家人，他们给了我无私的爱，在写论文的日日夜夜 里，他们始终都在给我默默地支持和鼓励。 何肖慧 二零零六年十二月 北京交通大学硕士学位论文绪论 1 1 研究背景 1绪论 随着i n t e m e t 的发展，社会对网络信息和网络应用系统的需求和依赖日益增强， 计算机网络系统正在成为一个国家极为关键的政治、经济、军事和文教资源，同 时，它也正在成为一个国家实力的新的象征和社会发展的重要保证。在计算机网 络中存在着大量重要的、敏感的甚至是机密的信息，如国家的军事能源信息、政 府的调控决策信息、科研机构的研究技术信息和商业企业的技术经济信息等等； 在计算机网络中还存在着大量重要的应用系统，如金融、证券、商务、税务、文 教等电子系统。 然而一个国家的政府、组织、公司和个人在利用i n t e m e t 提高了效率的同时， 在保卫它们的系统免受网络入侵和网络攻击方面也正面临着巨大的风险和挑战， 越来越多的安全问题正在对网络应用造成巨大的威胁。世界著名的商业网站，如 y a h o o 、b u y 、e b a y 、a m a z o n 、c n n 都曾被黑客入侵，造成巨大的经济损失。甚 至连专门从事网络安全的r s a 网站也受到黑客的攻击。据美国g a o ( g e n e r a l a c c o u n t i n go f f i c e ) 、d i s a ( d e f e n s ei n f o r m a t i o ns y s t e ma g e n c y ) 、f b i 、n s a 以及 其它一些网络安全组织的统计调查表明，世界上黑客袭击计算机网络的事件每年 以3 0 的速度增长，商业信息被窃取的事件以每月2 6 0 的速率在增加。与此同时， 网络入侵者的经验正在变得越来越丰富，攻击工具和技术水平不断提高，攻击方 法也在不断地创新和更加丰富多样化。这些攻击轻则造成一些麻烦和经济上的损 失，重则严重地威胁到国家政治经济环境的稳定和国防安全。对入侵攻击的检测 与防范，保障计算机系统、网络系统及整个信息基础设施的安全已经成为刻不容 缓的重要课题。 从一开始，人们就企图先构筑某种安全的系统模型，然后想方设法地去实现【1 1 。 继而，人们制定了一系列的安全法则和评测标准，用来构筑一个相对稳固的安全 系统。无论是安全模型，还是系统安全等级评估标准，人们主要是从身份认证和 访问控制这两个方面来保证系统的安全性。但是，传统的身份认证技术，包括 k e r b e r o s 技术，并不能抵制脆弱性的口令、字典攻击、特洛伊木马、网络窥探器以 及电磁辐射等攻击手段。对于访问控制，入侵者也可以利用脆弱性程序或系统漏 洞绕过访问控制，或者提升用户权限，或者非法读写文件等。网络防火墙虽然为 网络服务提供了较好的身份认证和访问控制技术，但是防火墙并不能阻挡所有的 入侵行为，对于内部攻击更是无能为力。 北京交通大学硕士学位论文 绪论 入侵检测作为一种积极主动的安全防护技术，被认为是防火墙之后的第二道 安全闸门。它能在不影响网络性能的情况下对网络进行监听，可以识别入侵者、 识别入侵行为、检测和监视已经成功的入侵，并进行入侵响应，从而提供对内部 攻击、外部攻击和误操作的实时保护。 1 2 论文研究的内容和意义 如今，经过2 0 多年的研究和发展入侵检测系统( m s ，i n t r u s i o nd e t e c t i o ns y s t e m ) 已经不仅仅是应用于实验和科研的软件系统了，它的最终目标是能够在实际的网 络环境中发挥作用。因此，设计i d s 时必须同时考虑有效性和易用性。目前，一 般i d s 所共有的一个缺点是生成的报警和日志的数量过于庞大。就目前的发展现 状来看，d s 还不能做到完全的自动化，对于检测结果的最终确认必须有人的参与， 而数量庞大的报警和日志超出了人的处理能力，必须找到办法来解决这一问题。 目前，对i d s 原始报警进行管理和分析是解决这一问题的常用方法。本文首 先总结了现有入侵检测系统的体系结构、数据源和入侵分析技术，指出了现有入 侵检测系统存在的问题，介绍了入侵检测系统将来可能的发展方向。接下来，本 文重点研究了分布式入侵检测环境中的报警信息融合技术，具体研究内容包括： 分布式入侵检测系统的结构、基于模糊综合评判的报警融合算法及报警融合功能 模块的实现、报警验证、报警确信度学习的概念和意义等等。最后，针对某些攻 击做了大量的实验，并取得了不错的实验效果。 在分布式入侵检测环境中对报警进行融合的意义在于，一方面可以有效地过 滤掉冗余的报警信息，去掉重复报警，降低误报率，减轻安全管理员的工作负担； 另一方面可以生成抽象层次更高，更具有概括性的报警信息，预测攻击者的攻击 企图，为入侵响应做好准备。 1 3 论文组织与安排 本文共分为五章。除本章绪论外，其它各章的内容安排如下： 第二章，入侵检测系统概述。本章介绍了入侵和入侵检测系统的基本概念， 入侵检测系统的产生和发展，分析了现有入侵检测系统所采用的体系结构、数据 源以及入侵分析技术，总结了入侵检测技术的现状和发展方向。 第三章，报警融合技术综述。本章介绍了目前主流的各种报警融合技术，分 析了各种方法的优缺点，并介绍了有关报警融合一些基本概念。 第四章，分布式入侵检测系统中的报警融合。本章首先介绍分布式入侵检测 报警管理与入侵响应系统( i d a m & i r s ) 的体系结构和各部分的功能，然后重点介绍 2 北京交通大学硕士学位论文 报警融合模型的设计与实现过程，最后简单介绍了报警综合管理部分有关报警验 证和有监督的报警确信度学习两个模块的算法和功能。 第四章，实验与分析。本章介绍了实验环境和几个典型实验的实验结果。 第五章，结束语。本章总结了全文的主要内容，并对下一步要做的工作进行 了展望。 2 入侵检测系统( 10 s ) 概述 2 1入侵检测系统的产生和发展 定义2 1 入侵 入侵是指系统的未授权用户试图或已经窃取了系统的访问权限，以及系统的 授权用户超越或滥用了系统所授予的访问权限，从而威胁或危害了网络资源的完 整性、机密性或有效性的行为集合1 2 1 。从分类角度可将入侵划分为信息收集( 如路 由探测、拓扑重建、系统探查、端口扫描等) 、系统侵入、系统渗透、伪装隐形、 系统攻击( 如洪流、邮件炸弹等) 和恶意使用等类型 3 1 。 定义2 2 入侵检测系统 入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) 是一种计算机软件系统，用 于自动检测上述入侵行为，并收集入侵证据，为数据恢复和事故处理提供依据。 有些入侵检测系统在检测到入侵特征后还试图做出某些响应1 4 1 ，以遏制或阻止对系 统的威胁或破坏。 入侵检测系统通常包括以下功能【5 】： ( 1 ) 检查系统的配置和系统存在的脆弱性； ( 2 ) 评估关键系统和数据文件的完整性和一致性； ( 3 ) 分析用户和系统的活动情况； ( 4 ) 检测并响应正在进行的或已经实现的违反系统安全策略的入侵活动； ( 5 ) 收集入侵证据。 1 9 8 0 年，j a m e s p a n d e r s o n 在报告“计算机安全威胁的监察( c o m p u t e r s e c u r i t y t h r e a tm o n i t o r i n ga n ds u r v e i l l a n c e ) ”中第一次系统阐述了入侵检测的概念，并将入 侵行为分为外部渗透、内部渗透和不法行为三种，还提出了利用审计数据监视入 侵活动的思想【棚，此文被认为是有关入侵检测的最早论述。即其之后，1 9 8 6 年 d o r o t h y d e n n i n g 和p e t e r n e u m a n n 提出实时异常检测的概念【7 】并建立了第一个实时 入侵检测模型，命名为入侵检测专家系统( i d e si n t r u s i o nd e t e e t i o ne x p e r ts y s t e m ) ， d e n n i n g 于1 9 8 6 年发表的论文“入侵检测模型( a ni n t r u s i o nd e t e c t i o nm o d e l ) ”被 公认为是入侵检测领域的又一篇开山之作。1 9 9 0 年，l t h e b e r l e i n 等设计出监视 网络数据流的入侵检测系统，n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 。自此之后，入侵检 测系统才真正发展起来，商业化的i d s 直到2 0 世纪8 0 年代后期才出现，如目前 较有影响的i s s 公司就是在1 9 9 4 年成立的。经过2 0 多年的发展，入侵检测技术 正逐渐走向成熟，并在网络安全防御系统中变得越来越重要。 4 2 2 入侵检测系统的结构 美国斯坦福国际研究所( s r i ) 的d e d e n n i n g 于1 9 8 6 年首次提出一种入侵检 测模型嘲，该模型的检测方法就是建立用户正常行为的描述模型，并以此同当前用 户活动的审计记录进行比较，如果有较大偏差，则表示有异常活动发生。这是一 种基于统计的检测方法。随着技术的发展，后来人们又提出了基于规则的检测方 法。结合这两种方法的优点，人们设计出很多入侵检测的模型。通用入侵检测构 架( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k 简称c i d f ) 组织，试图将现有的入侵 检测系统标准化，c i d f 阐述了一个入侵检测系统的通用模型( 一般称为c 1 d f 模 型) 。它将一个入侵检测系统分为以下四个组件： 事件产生器( e v e n tg e n e r a t o r s ) 事件分析器( e v e n ta n a l y z e r s ) 响应单元( r e s p o n s eu n i t s ) 事件数据库( e v e n td a t a b a s e s ) 需要分析的数据通称为事件，事件可以是基于网络的数据包也可以是基于主 机的系统日志中的信息。 事件产生器的目的是从整个计算机环境中获得事件，并向系统其它部分提供 此事件。事件产生器的输入数据流包括任何可能包含入侵行为线索的系统数据， 比如说网络数据包、日志文件和系统调用记录等。事件产生器将这些数据收集起 来，然后发送到事件分析器进行处理。 事件分析器又可以称为检测引擎，它负责从一个或是多个事件产生器处接收 信息，并通过分析来确定是否发生了非法入侵活动。事件分析器组件的输出为标 识入侵行为是否发生的指示信号，例如一个警告信号。该信号中还可能包括相关 的证据信息。另外，事件分析器组件还能够提供关于可能的反应措施的相关信息。 响应单元则是对分析结果做出反应的功能单元，它可以做出切断连接、修改 文件属性等强烈反应。 事件数据库是存放各种中间和最终数据的地方的通称，它可以是复杂的数据 库也可以是简单的文本文件。 除了以上四个必要的组件外，某些入侵检测系统可能还包括一个所谓的“蜜 罐”诱饵机。该诱饵机被设计和配置成为具有明显的系统安全漏洞，并对攻击者 明显可见。诱饵机能够作为入侵检测系统中的一个专门提供给攻击者进行入侵的 探测器来使用，从而提供关于某次攻击行为发生过程的相关信息。 2 3 入侵检测系统的数据源 根据入侵检测所依据的数据源，可将入侵检测系统分为基于主机的、基于网 络的两种类型【9 】。基于主机的入侵检测系统是在被监视主机的配置文件、只志文件 和审计文件中寻找攻击特征和异常特征，而基于网络的入侵检测系统是在被监视 网络的网络分组流中寻找这些攻击特征和异常特征。通常来说基于主机的入侵检 测系统只能检测单个主机系统，而基于网络的入侵检测系统可以对本网段的多个 主机系统进行检测，多个分布于不同网段上的基于网络的入侵检测系统可以协同 工作以提供更强的入侵检测能力。 l 、基于主机的入侵检测系统( h o s t b a s e di d s ) 基于主机的入侵检测系统将检测模块驻留在被保护系统上，通过提取被保护 系统的运行数据并进行入侵分析来实现入侵检测的功能。这种入侵检测技术开始 并兴盛于2 0 世纪8 0 年代，也就是入侵检测系统发展的开始阶段。这主要是由于 那时的网络及网络互连还不像现在这样广泛和复杂，网络操作系统也主要是u n i x 系统，因此，入侵的主要手段是利用口令配置文件、远程访问配置文件和网络应 用中的无口令或弱口令账户侵入网络或主机系统，利用s u i d 和g u i d 程序获取普 通用户和超级用户的访问权限，或是内部人员物理地侵入主机系统进行违反安全 策略的活动【1 0 l 。这些入侵手段通常会在主机的审计日志文件中留下记录或者可以 通过对主机进行基线检测来发现，而利用网络分组流则无法或难以检测到这些入 侵。 主机数据源主要有： 系统配置文件，如g r o u p 、p a s s w d 、r h o s t 、h o s t s e q u i v 等； 系统日志文件，如a c c t 、s u l o g 、s y s l o g 、l a s t l o g 、u t m p 、w t m p 等； 系统审计文件。 目前，应用日志文件正在逐渐引起人们的关注，如w e b 服务器同志文件和数 据库日志文件。 基于主机的入侵检测系统具有如下的优点： 1 ) 能检测出物理地侵入主机系统所进行的违反安全策略的活动，能检测主机 系统运行和静止状态的异常变化( 如访问权限的提升、配置文件的修改和由缓冲 区溢出造成的优先级转移等) 。能准确地判定入侵是否已经成功，能够对内部入侵 分配责任，还能知道系统活动的细节。具有针对性强和准确率高的优点，特别是 合法用户在授权范围内从事的非法活动，而这些通常是基于网络的检测系统所检 测不到的，只有通过主机状态的异常变化才能反映出来。 2 ) 与基于网络的检测系统相比，数据量要小得多。随着高速网络应用的不断 6 广泛，这一点会更加突出。这相应地带来了检测的效率和准确性较高的优点。 3 1 不受加密通道应用日益增长的影响。 基于主机的入侵检测系统的不足之处也是很明显的： 1 ) 基于主机的入侵检测依赖于事件的生成能力和底层操作系统的日志登记能 力。通常很难明确地指出哪些事件确定与安全有关，入侵会造成主机状态的哪些 变化，会在哪些文件中留下踪迹以及会留下怎样的踪迹等等。因此，对于攻击特 征和异常行为的分析比较困难，如何选择正确的数据和采用何种方式收集这些数 据难于确定。 2 ) 基于主机的入侵检测系统必须配置在每一台需要保护的主机上，这必然给 被监视主机带来额外负担，对于分布式和层次式系统来说这个问题尤为重要。 3 ) 基于主机的数据源与所使用的操作系统及其版本密切相关。因此，基于主 机的入侵检测系统的移植性差，存在着要开发多个版本和随时升级以适应操作系 统版本多和不断升级的特性。 4 ) 基于主机的检测实时性较差。这种事后分析的主要不足在于它的被动特性， 到一个安全问题被检测出来时，通常就太迟了而错过了用有效方法进行响应的最 佳时机。事实上，入侵者对系统的突破可能已经远远延伸到公司内部了。由于不 能保证在入侵发生时采取行动，攻击者就可以获得很好的机会删除日志文件中的 入侵记录，并隐藏自己的踪迹，从而逃过入侵检测系统的审计检查。 基于主机的典型系统有：s r i 研制的i d e s i n i d e s ”，c a l i f o m i a 大学s a n t a b a r b a r a 分校开发的s t a t t l 3 l 和d a v i s 分校开发的d i d s t l 4 1 ，l o s a l a m o s 国家实验室 研制的n a d i r 1 5 】【1 6 1 ，p u r d u e 大学研制的i d i o p7 1 、b r a n d e n b u r gs e 业大学c o t t b u s 分校( 德) 开发的a i d t l 3 】和n a m u r 大学( 比利时) 开发的a s a x 。商业入侵检测 系统有a x e n t 公司的i n t r u d e r a l e r t ，h a y s t a c kl a b o r a t o r i e s 公司的s t a l k e r ，i n t r u s i o n d e t e c t i o n 公司开发的k s n 和s a i c 公司研制开发的c m d s 等。 2 、基于网络的入侵检测系统( n e t w o r k b a s e di d s ) 1 9 9 0 年，h e b e r l e i n 等提出了基于网络的入侵检测概念，并开发了系统n s m 。 n s m 与此前的入侵检测系统最大的不同在于它并不检查主机系统的审计记录，而 是通过在局域网上主动地监视网络分组流来追踪可疑的行为。基于网络的入侵检 测系统在共享网段上以混杂模式( p r o m i s c u o u s ) 进行侦听并采集数据，据此分析 可疑现象1 1 9 1 。 基于网络的入侵检测系统有许多优点： 1 ) 由于所有的网络都遵循着统一的协议标准，所以，基于网络的数据源是最 为通用的数据源，以之作为数据源的入侵检测系统具有移植性好的特点，可以提 供对网络通用的保护而无需考虑基于异构主机的不同架构。 7 2 ) 能检测许多基于主机的系统检测不到的攻击，而且比基于主机的系统更可 靠，特别是对通过网络发动的、通过低层协议和通过内嵌在有效负载中进行的入 侵和攻击。因为基于网络的入侵检测系统是在数据包协议头和有效载荷内容中寻 找各种攻击的特征、命令和语法，而且，通过网络数据并结合高层协议解析可以 恢复几乎所有的网络会话，而许多入侵在系统日志文件和系统审计文件中可能根 本没有任何踪迹或异常。基于网络的检测系统容易安装和配置，成本很低，也相 对较为容易实现，这也包括通过模拟攻击分析入侵特征时很方便，因为入侵在系 统日志文件和系统审计文件中是否会留下记录，会在哪些地方以及通过何种方法 可以获得入侵记录一般都是不确定的。虽然对于物理地侵入主机系统的活动存在 检测死角，但绝大多数的入侵活动还是通过网络进行的。 3 ) 基于网络的入侵检测系统具有更好的实时特性【2 0 j 。通过网络协议和网络应 用进行的攻击可能在基于主机的入侵检测系统发现事件并做出响应之前就使得该 主机系统崩溃了，而可疑的数据包在通过网络时就可以被及时发现并做出较快的 响应和警示，从而可以使我们在还不至于太迟的时候以期望的方式快速或自动地 进行反应。 4 ) 基于网络的入侵检测系统不需要配置在被监视的主机上，因而对受保护的 主机和网络系统的性能影响很小或几乎没有影响，并且无需对原来的系统和结构 进行改动。 5 ) 网络监听引擎无论对网络用户还是对入侵者都是透明的，因此，可以降低 检测系统本身遭受攻击的可能性。而且，引擎使用的是当时的网络流量。一旦被 捕获就不会被删除。入侵者及其入侵行为的信息都内嵌在包数据中，可作为诉讼 的证据。而基于主机的入侵检测系统有时会遇到的一个问题就是入侵者熟悉大多 数的系统日志文件，删除日志记录并隐藏入侵行踪通常是他们获得系统访问权限 后首先要做的工作。 基于网络的入侵检测系统也有其局限性： 1 ) 对物理地侵入被监视主机系统所从事的非法活动、内部人员在授权范围内 从事的非法活动和在网络数据中无异常而只能通过主机状态的异常变化才能反映 出来的攻击没有检测能力；而且，与基于主机的检测系统相比其准确性较低，特 别是误报较多。 2 ) 对高速网络和交换网络的适应能力口1 1 。基于网络的检测在协议解析和模式 匹配等方面的计算成本非常高，要保证可靠、准确、及时地检测入侵行为就必须 对网络分组流进行实时的监控。随着高速网络的不断应用，对基于网络的入侵检 测系统会产生两方面的重要影响：可能会有丢包现象，从而造成漏报可能性的增 大；产生巨量的网络数据，从而对存储资源和实时数据分析效率提出了更高的要 8 j 夏銮煎太堂亟堂焦论塞 厶岔捡测丕缝f ! q 扭述 求，这进而也会影响到系统的检测能力。在交换式网络中，需要通过分接器t a p 或利用交换机的监视口收集网络数据。 3 ) 不能检查加密的数据包，严重依赖于高层协议( 如应用层) 的解析能力( 应 用程序的知识则通常不是应该由它考虑的) ，不知道接收节点对数据包的处理过程 以及由此引起的状态变化。这些因素都会使其检测能力受到很大的限制。 典型的基于网络的入侵检测系统有：c a l i f o r n i a 大学s a n t ab a r b a r a 分校开发的 n s t a t 0 3 j 和d a v i s 分校开发的n s m 及g r i d s 、n e wm e x i c o 大学研究的l y s y s 等。 许多商业入侵检测系统，如i s s 公司的r e a l s e c u r e 、n e tf l i g h tr e c o r d e r 公司的n f r 、 c i s c o 公司的n e t r a n g e r 、c o m p u t e ra s s o c i a t e s 公司的s e s s i o n w a l l 3 和h a y s t a c k l a b o r a t o r i e s 公司的n e t s t a l k e r 等都采用或部分采用了网络数据源。 基于主机和基于网络的检测系统各有其自身的优点和缺陷，有些能力是不能 互相替代的。现在，综合利用两种类型的数据源以取长补短获得互补特性的系统 被称为是混合式系统。此外，许多其它类型的数据源，如防火墙系统【捌、识别和 认证系统、访问控制系统以及其他安全设备或予系统产生的活动日志，也是未来 入侵检测系统可能的数据来源，但是由于目前尚无业界一致认可的系统和标准， 因此，还没有得到广泛的使用。这些数据源及其应用都是可以进行研究的内容。 2 4 入侵检测技术的分析与比较 按传统的分类方法可以将入侵检测系统中的检测技术分为两大类，即滥用检 测和异常检测1 2 j 。滥用检测( m i s u s ed e t e c t i o n ) 是根据已知的入侵模式特征，通过对 被监视目标特定行为的模式匹配来进行的关于已知入侵的检测；而异常检测 ( a n o m a l y d e t e c t i o n ) 贝l j 是事先以最近的历史数据建立被监视目标( 用户，系统和网 络资源等) 在正常情况下的行为和状态的统计描述，通过检测这些统计描述的当 前值是否显著偏离了其相应的正常情况下的统计描述来进行入侵的检测。 2 4 1 滥用检测技术 滥用检测( m i s u s ed e t e c t i o n ) 技术的应用是建立在对过去各种已知网络入侵 方法和系统缺陷知识的积累上，它需要首先建立一个包含上述已知信息的数据库， 然后在收集到的网络活动信息中寻找与数据库项目匹配的相关的蛛丝马迹。当发 现符合条件的活动线索后，它就会触发一个警告，这就是说，任何不符合特定匹 配条件的活动都将会被认为是合法和可以接受的，哪怕其中包含隐藏的入侵行为。 因此，滥用检测系统具备较高的检测准确性，但是，它的完整性( 即检测全部入 侵行为的能力) 则取决于其数据库的及时更新程度。 9 可以看出，滥用入侵检测技术的优点在于具有非常低的虚警率，同时检测的 匹配条件可以进行清楚的描述，从而有利于安全管理人员采取清晰明确的预防保 护措施。然而，滥用入侵检测技术的一个明显缺陷在于，收集所有已知或是已发 现攻击行为和系统脆弱性信息的困难性以及及时更新庞大数据库需要耗费大量精 力和时间，这是一项艰苦工作。另一个存在的问题是可移植性，因为绝大多数的 网络攻击是与主机的操作系统、软件平台和应用类型密切相关的，因此带来的后 果是这样的入侵检测系统只能在某个特定的环境下生效。最后，检测内部用户的 滥用权限的活动将变的相当困难，因为通常该种行为并未利用任何系统缺陷。 在滥用入侵检测系统中，研究者们提出基于各种技术类型的检测器，如专家 系统技术、特征分析技术、p e t r i 网技术、状态转移分析技术等等。 专家系统技术在各种开发模型中得到广泛应用。通常，专家系统中包含一系 列描述攻击行为的规则，当审计数据事件被转换成为能够被专家系统理解的包含 特定警告程度信息的事实后，专家系统应用一个推理机在事实和规则的基础上推 理出最后结论。这里，原始的审计数据被抽象成系统能够理解的事实，有利于进 一步应用更高层次的各种分析技术。 采用专家系统技术的典型例子有s r i 公司开发的入侵检测专家系统( i d e s ， i n t r u s i o n d e t e c t i o n e x p e r t s y s t e m ) 。由于处理速度的原因，专家系统技术目前只是 在各种研究原型中得到应用，而商业化的软件产品采用了其他效率更高的技术， 其中目前应用最广泛的就是特征分析技术。与专家系统技术比较，相同之处是同 样要收集关于网络入侵行为的各种知识，不同点是特征分析技术更直接的运用收 集到的各种知识，例如入侵行为可以被转化成它们在实施过程中所产生的一个事 件序列或某种系统审计文件以及网络数据包中的数据样板模型。 2 4 2 异常检测技术 异常检测( a n o m a l yd e t e c t i o n ) 技术又称为基于行为( b e h a v i o rb a s e d ) 的入侵检 测技术，它是建立在如下假设基础上的，即任何一种入侵行为都能由于其偏离j 下 常或者期望的系统和用户的活动规律而被检测出来。描述正常或是合法的模型是 从对过去通过各种渠道收集到的大量历史活动资料的分析中得出来的。入侵检测 系统将它与当前的活动情况进行对比，如果发现了当前状态偏离了正常的模型状 态，则系统发出警告信号，这就是说，任何不符合以往活动规律的行为都将视为 入侵行为。因此，非规则入侵检测系统的检测完整性很高，但要保证它具有很高 的正确性很困难。 此类检测技术的优点在于它能够发现任何企图发掘、试探系统最新和未知漏 洞的行为，同时在某种程度上，它较少依赖特定的操作系统环境。另外，对于合 1 0 法用户超越其权限的违法行为的检测能力大大加强。 较高的虚警率是此种方法的主要缺陷，因为信息系统所有的正常活动并不一 定在学习建模阶段就被全部了解。另外，系统的活动行为是不断变化的，就需要 不断的在线学习。该过程将带来两个可能后果，其一是在线学习阶段，入侵检测 系统无法正常工作，否则生成额外的虚假报警信号。还有一种可能性是，在学习 阶段，信息正遭受着非法的入侵攻击，带来的后果是，入侵检测系统的学习结果 中包含了相关入侵行为的信息，这样系统将无法检测到该种入侵行为。 在非规则入侵检测中，最广泛使用的技术是统计分析( s t a t i s t i c sa n a l y s i s ) 。系 统或者用户的当前行为通过按一定时间间隔采样并计算出的一系列参数变量来描 述，如每个会话进程的登录和退出时间，占用资源的时间长短。在最初的模型中， 系统计算出所有的变量的平均值，然后根据平均偏差检测当前行为是否超过了某 一阈值，当然，这样的模型是很简单和粗糙的，无法准确检测异常活动。进一步 的算法将单个用户的参数变量数值与积累起来的群体参数变量进行比较，但是检 测能力的提高还是不大。目前在几种非规则检测系统中使用了一种更加复杂的模 型，检测系统同时计算并比较每个用户的长期和短期活动状态，而状态信息随着 用户行为的变化而不断更新。 另一种主要的非规则检测技术是神经网络技术。神经网络技术通过学习已有 输入输出矢量对集合，进而抽象出其内在的联系，然后得到新的输入输 出的关系，这种技术在理论上能够用来审计数据流中检测入侵的痕迹。然而，目 前尚无可靠的理论能够说明神经网络是如何学习范例中的内在关系的。神经网络 技术和统计分析技术的某些相似之处已经被理论证明，而使用神经网络技术的优 势在于它能够以一种更加简洁快速的方式来表示各种状态变量之间的非线性关 系，同时，能够自动进行学习重新训练的过程。 2 4 ，3 入侵检测技术的比较 我们从所需的知识、易于配置性和报告的数据三个方面来分析比较一下滥用 检测技术和异常检测技术。 1 所需的知识 对入侵行为的检测需要关于可能攻击行为的知识，或者系统已知和期望行为 的知识。对于基于滥用检测技术的入侵检测系统，如果要检测到所有攻击行为的 话，那么它就需要知道所有可能攻击行为的先验知识。该入侵检测系统为此必须 识别任何攻击行为的细节过程，或者标识该类攻击行为的特征模式。而对于异常 检测系统而言，它必须拥有系统已知和期望行为的所有信息，才能够检测到所有 的入侵行为。而在实践中，这两种情况都不可能存在。它们只代表了理想的状况。 毡基塞适太堂亟堂焦盈塞摄捡捌丕统( ! q s 2 趣姿 2 易于配置性 一般来说，滥用检测系统比起非规则检测系统来说，需要少的多的配置工作， 因为后者需要更多的数据收集、分析和更新工作。有些滥用检测系统允许用户创 建自己的特征模式文件，这样将会增加建立系统配置的难度。 一般来