（计算机应用技术专业论文）多探测器网络入侵检测系统中的报警验证.pdf

摘要 摘要 随着i n t e r n e t 的发展，计算机网络安全成为越来越受人们关注的 问题。为了增强计算机网络的安全性能，人们采用了多种安全技术， 包括加密、身份认证、访问控制等，随着入侵检测( i n t r u s i o n d e t e c t i o n ) 技术的发展和成熟，入侵检测系统( i n t r u s i o nd e t e c t i o n s y s t e m ) 已经成为安全防卫体系中一个重要的环节。 人们对入侵检测技术的研究开始于上个世纪8 0 年代初，由j a m e s a n d e r s o n 所提交的“计算机安全威胁的监察( c o m p u t e rs e c u r i t y t h r e a t n i t o “n ga n ds u r v e “l a n c e ) ”报告被认为是第一篇关于 入侵检测概念的文章。经过2 0 多年的发展，入侵检测技术正逐渐走 向成熟，并在网络安全防御系统中变得越来越重要。但是在实际的应 用中，入侵检测系统往往会产生大量的报警( a l e r t ) 和误报( f a l s e p o s i t i v e ) ，使得管理员无法有效分辨报警的真伪，从而降低了入侵 检测系统的有效性。因此，寻求一种有效的方法去除冗余报警并降低 误报率，是提高入侵检测系统效率的有效途径。 本文在深入细致地分析了现有入侵检测系统的各种体系结构、数 据源和检测技术，并充分了解和认识了它们各自相应的特点及优缺点 的基础上，对多探测器网络入侵检测环境中的报警管理进行了研究， 取得了以下工作成果： 设计了一种多探测器网络入侵检测系统，并对该系统的体系结 构和功能进行了全面、完整的描述。 重点研究了基于多层模糊综合评判的报警验证算法，并完成了 报警验证模块的功能设计与实现。 介绍了报警聚集、报警融合和报警关联的概念和作用。 关键词：网络安全，入侵检测，报警验证，报警融合，报警关联 a b s t r a c t w i t ht l l ed e v e l o p m e mo fi n t e m c t ，c o m p u t c rn e t w o r l 【s e c i l r i t yi s b c m i n gm o 坞柏dm o r c0 0 n c e m c dq u c s t i o n t oc n h a n t h es e c l l r i t y 删i l i t yo fc o 唧u t c r t w 0 咄p c o p l eh a v ea d o p t c dm 勰ys c c i i r i t y t o c h n o i o g i c s蛔d u d i n ge n a y p t i ，i d c n t i t ym o o g n i t i o n ， 觚da c o c s s o 叩t i o l - p e o p l eh a v eb e g u nt l l ei n t n 】s i o nd c t c c t i 蚰t e c h n o l o g y 陀s e 砌丘_ 0 m l i i eb e g i n n i n go f1 9 8 0 s “c o m p u t e fs 咖i t yt h r e a tm o n i t o r i n g 柚d s u r v e i l l a n c e ”i sr e g a r d c d 鸱t h ef i r s ta f t i c i ea b o u tt h ec o n c e p to fi i i t 兀l s i o n d e t c c t i 触盯2 0y 娜d e v e l o p m e n ki i l t n l s i o nd e t e c t j o n 把c h n o l o g yi s b e m i n gm a t u 咒鞠dt a i 【i n gm o r ca n dm o r ei m p o r t 柚tm l ei nn e t o r k s c c u r i t yd e f c n 辩s y s t e m ，b u ti nt h ea c | i l a la p p l y i n ge n v i r o n m e n t ，i d s a l w a y sp m d u sal o to fa l e n s卸df a l s ep o s i t i v e s ， w h i c he n a b l e a d m i n i s l f a t o f 聃t l od i s l i l i g l i i s ht h et r u ea l 味s n e r c b y i ti sn e c c s s a r y 幻 a d o p ta ne f f i c i e n tm e t h o dt od e l e t er c d u n d 卸ta l e r t sa n df c d u c ef a l s e p o s i t i v e 船t i oi n0 r d e rt o 糟i 辩t h ee 简c i c n c yo fm s i n t h i sp a p c lw ed e e p l ya n a i y z et h ea r c 量i i t e c t u r e ，d a t as o u r c ea n d d e t e c t i o nl c c h n o i o g yo ft h ep r e s e n t i d s w bt a i 【ear c s e a r c ho nt t i ea i e r t m a n a g c m e n ti nt l l em u l t i s e n s o rn e t w o r ki n t 阳s i o d e t e c t i o ne n v i r o n m e n t ， 粕dh a v ea c h i e v c dt h ef 0 1 l o w i n ga c h i c v e m e m s ： d c s i 弘i n ga 枷l t i - 辩n s o rn l d s e t 、v o r ki n t m s i 帆d e t e c t i o n s y s t c i n ) ，a n dd e 刚b 诅gi 乜眦h i t e c t u 咒a n df l i n c t i a l i t y 。勘叩h 鸪i z i n g 加t l l e 蕾c 辩a r c ho fa l c nv c r i f j c a t i a 1 9 0 f i t l l l n ，粕d i m p l e m e n 血g t h ev 砌训o nf u n c t i o nm 饿l u l e i 曲f ；0 d u c i n gt h c n 优p t sa n df u n c t i o 鲢o fa l e f td u 啦咖岛a k r tf 嘁o n a n da 】e f ta 枇l a d 蚰 k e yw o r d sn e t w o r k 饥r i t y i m m s i 彻d e t e c t i o n ，a l e nv e r i f i c a t i 叽，a l c r t 如s i o n ，a k n n c l a 6 北京交通大学硕士学位论文 。y8 7 9 5 8 独创性声明 本人声明，所呈交的学位论文是我个人在导师指导 下进行的研究工作及取得的研究成果。尽本人所知，除 了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北 京交通大学或其他教学机构的学位或证书而使用过的材 料。与我一起工作的同志对本研究所做的任何贡献已在 论文中作了明确的说明并表示了谢意。 本人签名：j ，舡丽 日期：迸年土月日 北京交通大学硬士学位论文 关于论文使用授权的说明 本人完全了解北京交通大学有关保留、使用学位论 文的规定，即：学校有权保留送交论文的复印件，允许 论文被查阅和借阅；学校可以公布论文的全部或部分内 容，可以采用影印、缩印或其他复制手段保存论文。论 文中所有创新和成果归北京交通大学计算机与信息技术 学院所有。未经许可，任何单位和个人不得拷贝。版权 所有，违者必究。 本人签名：至缝庙 日期：盟年月立日 绪论 第一章绪论 本章首先介绍了网络安全现状，接着在阐述传统安全模型局 限性的基础上，介绍了现在比较流行的网络安全体系结构模型以 及入侵检测系统的产生和发展，进而提出了论文研究的内容和意 义，最后对论文内容的组织和安排进行了说明。 1 1 网络安全现状 i n t 唧e t 是一个全球各种计算机网络的互连系统，它把政府组 织、金融证券、商业企业、国防军事等各种计算机网络系统相互 连接在了一起。目前，通过l i l t c m c t 实现包括政府、企业与个人 的全社会信息共享已经逐步成为了现实。随着社会对网络信息和 网络应用系统的需求和依赖日益增强，计算机网络系统正在成为 一个国家极为关键的政治、经济、军事和文教资源，同时，它也 j 下在成为一个国家实力的新的象征和社会发展的重要保证。在计 算机网络中存在着一些重要的信息系统，其中存储着大量敏感的 甚至是机密的信息，如国家的军事能源信息、政府的调控决策信 息、科研机构的研究技术信息和商业企业的技术经济信息等等； 在计算机网络中还存在着大量重要的应用系统，如金融、证券、 税务、商务、文教等电子系统。由于上述原因，一个国家的政府、 组织、公司和个人在利用i n t e m e t 提高了效率的同时，在保卫它 们的系统免受网络入侵和网络攻击方面也正面临着巨大的风险和 挑战，越来越多的安全问题正在对网络应用造成巨大的威胁。据 美国g a o ( g c n e r a l 觚。雌t i n g o d 妇) 、d i s a ( d e f e n s e h i f o 珊a l i o n s y s t e f na g c n c y ) 、f b i 、n s a 以及其它一些网络安全组织的统计 北京交通大学硕士学位论文 调查表明，世界上“黑客”袭击计算机网络的事件每年以3 0 的 速度增长，商业信息被窃取的事件以每月2 6 0 的速率在增加。 与此同时，网络入侵者的经验正在变得越来越丰富，攻击工具和 技术水平不断提高，攻击方法也在不断地创新和更加丰富多样化。 这些攻击轻则造成一些麻烦和经济上的损失，重则严重地威胁到 国家政治经济环境的稳定和国防安全。 1 2 传统安全模型的局限性 从一丌始，人们就企图先构筑某种安全的系统模型，然后想 方设法地去实现。继而，人们制定了一系列的安全法则和评测 标准，用来构筑一个相对稳固的安全系统。无论是安全模型，还 是系统安全等级评估标准，人们主要是从身份认证和访问控制这 两个方面来保证系统的安全性。但是，传统的身份认证技术，包 括k c r b c r o s 技术，并不能抵制脆弱性的口令、字典攻击、特洛伊 术马、网络窥探器以及电磁辐射等攻击手段。对于访问控制，入 侵者也可以利用脆弱性程序或系统漏洞绕过访问控制，或者提升 用户权限，或者非法读写文件等。网络防火墙虽然为网络服务提 供了较好的身份认证和访问控制技术，但是防火墙并不能阻挡所 有的入侵行为，最常见的有t c s t e g i 和p h f 攻击。 2 绪论 1 3 网络安全体系结构 幽1 1 安全系统管理模型 针对原有安全模型的缺陷有些学者提出计算机信息系统安 全的管理模型应包括4 部分，如图1 1 所示。在这个模型中， 构筑一个安全系统防御模块只是其中的一小部分。检测模块用于 发现各种违反系统安全规则的入侵行为。调查模块将检测模块所 获得的数据加以分析，并确认当前所发生的有关入侵企图。事后 分析模块分析将来如何抵制类似的入侵行为。在这以前，人们的 注意力集中在防御模块上，随着系统脆弱性评估及入侵检测工作 的深入，检测模块也越来越受到人们的重视，而后两个模块的工 作尚有待于进一步的开展。 当今社会，对于信息系统的攻击日趋频繁。安全的概念已经 不局限于信息的保护，人们需要的是对整个信息和信息系统的保 护和防御，从而确保它们的保密性、完整性、可用性、可控性、 不可否认性等，包括了对信息的保护、检测、反应和恢复能力 ( p d i 汛) ，其基本组成如图1 2 所示。 北京交通大学硕士学位论文 图1 2 信息保障的基本内容 1 4 入侵检测系统的产生和发展 1 9 8 0 年，a n d e r s o n 在报告“计算机安全威胁的监察( c o m p u t e f s e c u r i t y l r h r t m o n i 矧n g 卸d s u r v e i i l a n ) ”中提出，必须改变现 有的系统审计机制，以便为专职系统安全人员提供安全信息，此 文被认为是有关入侵检测的最早论述。从1 9 8 4 年到1 9 8 6 年， d o m t h y d i i l g 和p e t e r n e 哪a 仙研究和发展了一种命名为入侵 检测专家系统( i d e s ，j n t m s i o nd e t c c i i o ne x p e r ts y s t e m ) 实时模式 的入侵检测系统。d c n n i n g 于1 9 8 6 年发表的论文“入侵检测模型 ( a j li n t m s i 咖d e t e 甜0 nm 0 d e l ) ”被公认为是入侵检测领域的又 一篇开山之作。受a _ d c 】n 和i d e s 的影响，在2 0 世纪8 0 年代 出现了大量的入侵检澍原型系统，d e 肌i n g 在1 9 8 7 年的这方面的 论文被认为是另一个在入侵检测方面的推动性工作。商业化的 i d s 直到2 0 世纪舳年代后期才出现，如目前较有影响的l s s 公 司就是在1 9 9 4 年成立的经过2 0 多年的发展，入侵检测技术正 逐渐走向成熟，并在网络安全防御系统中变得越来越重要。 4 1 5 论文研究的内容和意义 如今，入侵检测系统( 1 d s ，i n t m s i o nd e t c c t i o ns y s t e m ) 已经不仅 仅是应用于实验和科研的软件系统了，它的最终目标是能够在实 际的网络环境中发挥作用。因此，设计i d s 时必须同时考虑有效 性和易用性。目前，一般i d s 所共有的两个主要缺点是生成的报 警和日志的数量过于庞大和无关报警率、误报率过高。就目前的 发展现状来看，m s 还不能做到完全的自动化，对于检测结果的 最终确认必须有人的参与，而数量庞大的报警和同志和过高的误 报率超出了人的处理能力，必须找到办法来解决这一问题。 目前，对i d s 原始报警进行管理和分析是解决这一问题的常 用方法。本文首先总结了现有入侵检测系统的体系结构、数据源 和入侵分析技术，指出了现有入侵检测系统存在的问题，介绍了 入侵检测系统将来可能的发展方向。接下来，本文重点研究了多 探测器网络入侵检测环境中的报警管理，具体研究内容包括：网 络入侵检测系统的结构、基于多层模糊综合评判的报警验证算法 及报警验证功能模块的设计与实现、报警聚集、报警融合和报警 关联的概念和意义等等。最后，将该报警验证模块融入本试验室 丌发的入侵检测控制与管理系统，并取得了不错的应用效果。 在多探测器网络入侵检测环境中对报警进行验证的意义在 于，一是有效地减少误报，对不同情况下的无关报警进行滤除和 标记等不同的操作。二是，报警验证所得的报警相关度参数有利 于制定细致、灵活的报警处理策略，对报警进行更深入的自动化 处理，如报警关联、自动入侵响应等等。 北京交通大学硕士学位论文 1 6 论文组织与安排 本文共分为五章。除本章绪论外，其它各章的内容安排如下： 第二章，入侵检测系统概述。本章介绍了入侵和入侵检测系统的 基本概念，分析了现有入侵检测系统所采用的体系结构、数据源以及 入侵分析技术，总结了入侵检测技术的现状和发展方向。 第三章，多探测器网络入侵检测系统中的报警验证。本章定义了 入侵目标、恶意攻击、可疑攻击、误报等基本概念，设计了一个多探 测器网络入侵检测系统，详细描述了报警数据库的表结构，重点研究 了基于多层模糊综合评判的报警验证算法、完成了报警验证模块的功 能设计与实现，另外本章还介绍了报警聚集、报警融合、报警关联的 概念和作用。 第四章，应用示例。本章介绍了出本实验室研发的入侵检测控制 与管理系统的基本概况和报警验证模块的界面和功能使用说明。 第五章，结束语。本章总结了全文的主要内容，并对下一步要做 的工作进行了展望。 6 入侵检测系统( i d s ) 概述 第二章入侵检测系统( i d s ) 概述 2 1 入侵和入侵检测系统 入侵是指系统的未授权用户试图或已经窃取了系统的访问权限， 以及系统的授权用户超越或滥用了系统所授予的访问权限，从而威胁 或危害了网络资源的完整性、机密性或有效性的行为集合【2 l 。其中， 完整性是指防止网络资源被非法删改和破坏；机密性是指防止网络系 统内信息的非法泄漏：有效性是指网络系统数据资源可以被授权用户 随时f 常地访问，以及程序资源能够按期望的方式和作用正常地运行 1 3 】。从分类角度可将入侵划分为信息收集( 如路由探测、拓扑重建、 系统探查、端口扫描等) 、系统侵入、系统渗透、伪装隐形、系统攻击 ( 如洪流、邮件炸弹等) 和恶意使用等类型【4 】o 入侵检测系统( i n t n i s i o nd e t c c t i o n s y s t e m ，i d s ) 是一种计算机软 件系统，用于自动检测上述入侵行为，并收集入侵证据，为数据恢复 和事故处理提供依据。有些入侵检测系统在检测到入侵特征后还试图 做出某些响应1 5 】，以遏制或阻止对系统的威胁或破坏。 入侵检测系统通常包括以下功能1 6 i ： ( 1 ) 检查系统的配置和系统存在的脆弱性； ( 2 ) 评估关键系统和数据文件的完整性和一致性； ( 3 ) 分析用户和系统的活动情况； ( 4 ) 检测并响应正在进行的或已经实现的违反系统安全策略的 入侵活动； ( 5 ) 收集入侵证据。 在设计网络入侵检测系统时，要特别对来自组织机构内部的入侵 行为予以更多的重视。据f b i 的研究，8 0 的入侵和攻击行为来自于 组织机构内部。这是由于内部人员具有访问系统资源的合法身份、 7 北京交通大学硕士学位论文 了解系统数据的价值和熟悉系统的安全措施从而可以使用某些系统 特权或调用比审计功能更低级的操作来逃避审计。 2 2 入侵检测系统的结构 从功能逻辑上讲，入侵检测系统由探测器、分析器和用户接口组 成l ”。下面分瓢对这三部分进行简要介绍。 探测器 探测器主要负责收集数据。探测器的输入数据流包括任何可能包 含入侵行为线索的系统数据，比如说网络数据包、同志文件和系统调 用记录等。探测器将这些数据收集起来，然后发送到分析器进行处理。 分析器 分析器又可以称为检测引擎，它负责从一个或是多个探测器处接 收信息，并通过分析来确定是否发生了非法入侵活动。分析器组件的 输出为标识入侵行为是否发生的指示信号，例如一个警告信号。该信 号中还可能包括相关的证据信息。另外，分析器组件还能够提供关于 可能的反应措施的相关信息。 用户接口 入侵检测系统的用户接口使得用户易于观察系统的输出信号，并 对系统行为进行控制。在某些系统中，用户接口又可以称为“管理器” 或者“控制台”等。 2 3 入侵检测系统的数据源 根据入侵检测所依据的数据源，可将入侵检测系统分为基于主机 的、基于网络的两种类型嘲。入侵检测系统在被监视主机的配置文件、 日志文件和审计文件中寻找攻击特征和异常特征时被称为是基于主 机的系统，在被监视网络的网络分组流中寻找这些特征时被称为是基 于网络的系统 1 、基于主机的入侵检测系统( 陆i - b 鹤e dm s ) 8 入侵检测系统( i d s ) 概述 利用主机数据源进行入侵检测开始并* 盛于2 0 世纪8 0 年代，也 就是入侵检测系统发展的开始阶段。这主要是由于那时的网络及网络 互连还不像现在这样广泛和复杂，网络操作系统也主要是u n i x 系统， 因此，入侵的主要手段是利用口令配置文件、远程访问配置文件和网 络应用中的无口令或弱口令账户侵入网络或主机系统，利用s u m 和 g u l d 程序获取普通用户和超级用户的访问权限，或是内部人员物理 地侵入主机系统进行违反安全策略的活动【9 l 。这些入侵手段通常会在 主机的审计只志文件中留下记录或者可以通过对主机进行基线检测 来发现，而利用网络分组流则无法或难以检测到这些入侵。 主机数据源主要有： 系统配置文件，如掣o u p 、p a s s w d 、r h o s t 、h o s t s e q u i v 等； 系统f 1 志文件，如a o c t 、s u l o g 、s y s l o g 、l a s t l o g 、u t m p 、w t m p 等： 系统审计文件。 目前，应用只志文件正在逐渐引起人们的关注，如w 曲服务器同 志文件和数据库r 志文件。 基于主机的入侵检测系统具有如下的优点： 能检测出物理地侵入主机系统所进行的违反安全策略的活动， 能检测主机系统运行和静止状态的异常变化( 如访问权限的提升、配 置文件的修改和由缓冲区溢出造成的优先级转移等) 。能准确地判定入 侵是否已经成功，能够对内部入侵分配责任，还能知道系统活动的细 节。具有针对性强和准确率高的优点，特别是合法用户在授权范围内 从事的非法活动，而这些通常是基于网络的检测系统所检测不到的， 只有通过主机状态的异常变化才能反映出来。 与基于网络的检测系统相比，数据量要小得多。随着高速网络 应用的不断广泛，这点会更加突出。这相应地带来了检测的效率和 准确性较高的优点。 不受加密通道应用日益增长的影响。 基于主机的入侵检测系统的不足之处也是很明显的： 9 北京交通大学硕士学位论文 基于主机的入侵检测依赖于事件的生成能力和底层操作系统 的日志登记能力。通常很难明确地指出哪些事件确定与安全有关，入 侵会造成主机状态的哪些变化，会在哪些文件中留下踪迹以及会留下 怎样的踪迹等等。因此，对于攻击特征和异常行为的分析比较困难， 如何选择正确的数据和采用何种方式收集这些数据难于确定。 基于主机的入侵检测系统必须配置在每一台需要保护的主机 上，这必然给被监视主机带来额外负担，对于分布式和层次式系统来 说这个问题尤为重要。 基于主机的数据源与所使用的操作系统及其版本密切相关。因 此，基于主机的入侵检测系统的移植性差，存在着要开发多个版本和 随时升级以适应操作系统版本多和不断升级的特性。 基于主机的检测实时性较差。这种事后分析的主要不足在于它 的被动特性，到一个安全问题被检测出来时，通常就太迟了而错过了 用有效方法进行响应的最佳时机。事实上，入侵者对系统的突破可能 已经远远延伸到公司内部了。由于不能保证在入侵发生时采取行动， 攻击者就可以获得很好的机会删除r 志文件中的入侵记录，并隐藏自 己的踪迹，从而逃过入侵检测系统的审计检查。 基于主机的典型系统有：s r i 研制的i d e s 1 0 恼1 d e s l l l l ，c a l i f o m i a 大学s 枷ab a r b a r a 分校开发的s 1 ：f 州”l 和d a v i s 分校开发的d m s 【1 3 j ， l 0 sa l 锄o s 国家实验室研制的n a d i r 【“”j ，p u r d u e 大学研制的 l d l 0 一“ 、b 砌d e n b u r g 工业大学c 眦f b u s 分校( 德) 开发的a 耐”l 和 n 枷u f 大学( 比利时) 开发的a 鼢。商业入侵检测系统有a x t 公 司的i n 缸i i d e r 舢e n ，h a v s t a c kl 叠蛐r i 髂公司的s t a l k c r ，l h l l s i o n d c t c c t i 叫公司开发的k s n 和s 朋c 公司研制开发的c m d s 等。 2 、基于网络的入侵检测系统( n c m o r k - b a s 。di d s ) 1 9 9 0 年，h e b e d c i n 等提出了基于网络的入侵检测概念，并开发了 系统n s m 。n s m 与此前的入侵检测系统最大的不同在于它并不检查 主机系统的审计记录，而是通过在局域网上主动地监视网络分组流来 抛 入侵检测系统( i d s ) 概述 追踪可疑的行为。基于网络的入侵检测系统在共享网段上以混杂模式 ( d m m i s c i i o u s ) 进行侦听并采集数据，据此分析可疑现象l 。 基于网络的入侵检测系统有许多优点： 由于所有的网络都遵循着统一的协议标准，所以，基于网络的 数据源是最为通用的数据源，以之作为数据源的入侵检测系统具有移 植性好的特点，可以提供对网络通用的保护而无需考虑基于异构主机 的不同架构。 能检测许多基于主机的系统检测不到的攻击，而且比基于主机 的系统更可靠，特别是对通过网络发动的、通过低层协议和通过内嵌 在有效负载中进行的入侵和攻击。因为基于网络的入侵检测系统是在 数据包协议头和有效载荷内容中寻找各种攻击的特征、命令和语法， 而且，通过网络数据并结合高层协议解析可以恢复几乎所有的网络会 话，而许多入侵在系统日志文件和系统审计文件中可能根本没有任何 踪迹或异常。基于网络的检测系统容易安装和配置，成本很低，也相 对较为容易实现，这也包括通过模拟攻击分析入侵特征时很方便因 为入侵在系统f | 志文件和系统审计文件中是否会留下记录，会在哪些 地方以及通过何种方法可以获得入侵记录一般都是不确定的。虽然对 于物理地侵入主机系统的活动存在检测死角，但绝大多数的入侵活动 还是通过网络进行的。 基于网络的入侵检测系统具有更好的实时特性i l 。通过网络 协议和网络应用进行的攻击可能在基于主机的入侵检测系统发现事 件并做出响应之前就使得该主机系统崩溃了，而可疑的数据包在通过 网络时就可以被及时发现并做出较快的响应和警示，从而可以使我们 在还不至于太迟的时候以期望的方式快速或自动地进行反应。 基于网络的入侵检测系统不需要配置在被监视的主机上，因而 对受保护的主机和网络系统的性能影响很小或几乎没有影响，并且无 需对原来的系统和结构进行改动。 网络监听引擎无论对网络用户还是对入侵者都是透明的，因 1 1 北京交通大学硬士学位论文 此，可以降低检测系统本身遭受攻击的可能性。而且，引擎使用的是 当时的网络流量，一且被捕获就不会被删除。入侵者及其入侵行为的 信息都内嵌在包数据中，可作为诉讼的证据。而基于主机的入侵检测 系统有时会遇到的一个问题就是入侵者熟悉大多数的系统日志文件， 删除日志记录并隐藏入侵行踪通常是他们获得系统访问权限后首先 要做的工作。 基于网络的入侵检测系统也有其局限性： 对物理地侵入被监视主机系统所从事的非法活动、内部人员在 授权范围内从事的非法活动和在网络数据中无异常而只能通过主机 状态的异常变化才能反映出来的攻击没有检测能力；而且，与基于主 机的检测系统相比其准确性较低，特别是误报较多。 对高速网络和交换网络的适应能力i 删。基于网络的检测在协 议解析和模式匹配等方面的计算成本非常高，要保证可靠、准确、及 时地检测入侵行为就必须对网络分组流进行实时的监控。随着高速网 络的不断应用，对基于网络的入侵检测系统会产生两方面的重要影 响：可能会有丢包现象，从而造成漏报可能性的增大；产生巨量的网 络数据，从而对存储资源和实时数据分析效率提出了更高的要求，这 进而也会影响到系统的检测能力。在交换式网络中，需要通过分接器 t a p 或利用交换机的监视口收集网络数据。 不能检查加密的数据包，严重依赖于高层协议( 如应用层) 的 解析能力( 应用程序的知识则通常不是应该由它考虑的) ，不知道接收 节点对数据包的处理过程以及由此引起的状态变化。这些因素都会使 其检测能力受到很大的限制。 典型的基于网络的入侵检测系统有：例j 姗i a 大学s 卸t ar 盯b a 豫 分校开发的硒肿一1 和d a v i s 分校开发的n s m 及g r m s 、n e wm c x i 0 0 大学研究的l y s y s 等。许多商业入侵检测系统，如玲s 公司的 l s ：c i u e 、n dh i g h tr e f d e r 公司的n f r 、c 玲c o 公司的n c t r 卸船r 、 c o m p u t e r a 辫d c i a t e s 公司的s 髂s i 彻啪u 3 和h a y s t a c kl a b 嘶i t o r i 髓公司 入侵检测系统( i d s ) 概述 的n e t s t a l k c f 等都采用或部分采用了网络数据源。 基于主机和基于网络的检测系统各有其自身的优点和缺陷，有些 能力是不能互相替代的。现在，综合利用两种类型的数据源以取长补 短获得互补特性的系统被称为是混合式系统。此外，许多其它类型的 数据源，如防火墙系统1 2 ”、识别和认证系统、访问控制系统以及其他 安全设备或子系统产生的活动同志，也是未来入侵检测系统可能的数 据来源，但是由于目前尚无业界一致认可的系统和标准，因此，还没 有得到广泛的使用。这些数据源及其应用都是可以进行研究的内容。 2 4 入侵检测技术的分析与比较 按传统的分类方法可以将入侵检测系统中的检测技术分为两大 类，即滥用检测和异常检测【2 j o 滥用检测( m i s u s ed e t c c t i o n ) 是根据 己知的入侵模式特征，通过对被监视目标特定行为的模式匹配来进行 的关于己知入侵的检测；而异常检测( a i i o m a l yd e t e c t i o n ) 则是事先 以最近的历史数据建立被监视目标( 用户，系统和网络资源等) 在f 常情况下的行为和状态的统计描述，通过检测这些统计描述的当前值 是否显著偏离了其相应的正常情况下的统计描述来进行入侵的检测。 2 4 1 异常入侵检测技术 又称为基于行为( b e h a v i o tb 嬲e d ) 的入侵检测技术，它是建立在如 下假设基础上的，即任何一种入侵行为都能由于其偏离正常或者期望 的系统和用户的活动规律而被检测出来。描述正常或是合法的模型是 从对过去通过各种渠道收集到的大量历史活动资料的分析中得出来 的。入侵检测系统将它与当前的活动情况进行对比，如果发现了当前 状态偏离了正常的模型状态，则系统发出警告信号，这就是说，任何 不符合以往活动规律的行为都将视为入侵行为。因此，非规则入侵检 测系统的检测完整性很高，但要保证它具有很高的正确性很困难。 北京交通大学硕士学位论文 此类检测技术的优点在于它熊够发现任何企图发掘、试探系统最 新和未知漏洞的行为，同时在某种程度上，它较少依赖特定的操作系 统环境。另外，对于合法用户超越其权限的违法行为的检测能力大大 加强。 较高的虚警率是此种方法的主要缺陷，因为信息系统所有的正常 活动并不一定在学习建模阶段就被全部了解。另外，系统的活动行为 是不断变化的，就需要不断的在线学习。该过程将带来两个可能后果， 其一是在线学习阶段，入侵检测系统无法正常工作，否则生成额外的 虚假报警信号。还有一种可能性是，在学习阶段，信息正遭受着非法 的入侵攻击，带来的后果是，入侵检测系统的学习结果中包含了相关 入侵行为的信息，这样系统将无法检测到该种入侵行为。 在非规则入侵检测中，最广泛使用的技术是统计分析( s t a t i s t i c s a m a l y s i s ) 。系统或者用户的当前行为通过按一定时间间隔采样并计算 出的一系列参数变量来描述，如每个会话进程的登录和退出时间，占 用资源的时间长短。在最初的模型中，系统计算出所有的变量的平均 值然后根据平均偏差检测当前行为是否超过了某一阈值，当然，这 样的模型是很简单和粗糙的，无法准确检测异常活动。进一步的算法 将单个用户的参数变量数值与积累起来的群体参数变量进行比较，但 是检测能力的提高还是不大。目前在几种非规则检测系统中使用了一 种更加复杂的模型，检测系统同时计算并比较每个用户的长期和短期 活动状态，丽状态信息随着用户行为的变化而不断更新。 另一种主要的非规则检测技术是神经网络技术。神经网络技术通 过学习已有输入输出矢量对集合，进而抽象出其内在的联系，然 后得到新的输入输出的关系；这种技术在理论上能够用来审计数 据流中检测入侵的痕迹。然而，目前尚无可靠的理论能够说明神经网 络是如何学习范例中的内在关系的。神经网络技术和统计分析技术的 某些相似之处已经被理论证明，而使用神经网络技术的优势在于它能 够以一种更加简洁快速的方式来表示各种状态变量之间的非线性关 入侵检测系统( i d s ) 概述 系，同时，能够自动进行学习重新训练的过程。 2 4 2 滥用入侵检测技术 滥用入侵检测技术的应用是建立在对过去各种已知网络入侵方 法和系统缺陷知识的积累上，它需要首先建立一个包含上述已知信息 的数据库，然后在收集到的网络活动信息中寻找与数据库项目匹配的 相关的蛛丝马迹。当发现符合条件的活动线索后，它就会触发一个警 告，这就是说，任何不符合特定匹配条件的活动都将会被认为是合法 和可以接受的，哪怕其中包含隐藏的入侵行为。因此，滥用检测系统 具备较高的检测准确性，但是它的完整性( 即检测全部入侵行为的 能力) 则取决于其数据库的及时更新程度。 可以看出，滥用入侵检测技术的优点在于具有非常低的虚警率， 同时检测的匹配条件可以进行清楚的描述，从而有利于安全管理人员 采取清晰明确的预防保护措施。然而，滥用入侵检测技术的一个明显 缺陷在于，收集所有已知或是已发现攻击行为和系统脆弱性信息的困 难性以及及时更新庞大数据库需要耗费大量精力和时间，这是一项艰 苦工作。另一个存在的问题是可移植性，因为绝大多数的网络攻击是 与主机的操作系统、软件平台和应用类型密切相关的，因此带来的后 果是这样的入侵检测系统只能在某个特定的环境下生效。最后，检测 内部用户的滥用权限的活动将变的相当困难，因为通常该种行为并未 利用任何系统缺陷。 在滥用入侵检测系统中，研究者们提出基于各种技术类型的检测 器，如专家系统技术、特征分析技术、p e t r i 网技术、状态转移分析 技术等等。 专家系统技术在各种开发模型中得到广泛应用。通常，专家系统 中包含一系列描述攻击行为的规则，当审计数据事件被转换成为能够 被专家系统理解的包含特定警告程度信息的事实后，专家系统应用一 北京交通大学硕士学位论文 个推理机在事实和规则的基础上推理出最后结论。这里，原始的审计 数据被抽象成系统能够理解的事实，有利于进一步应用更高层次的各 种分析技术。 采用专家系统技术的典型例子有s i 【l 公司开发的入侵检测专家系 统( i d e s ，i “t n l s i o nd e t t i o ne x p c ns y s t 锄) 。由于处理速度的原因， 专家系统技术目前只是在各种研究原型中得到应用，而商业化的软件 产品采用了其他效率更高的技术，其中目前应用最广泛的就是特征分 析技术。与专家系统技术比较，相同之处是同样要收集关于网络入侵 行为的各种知识，不同点是特征分析技术更直接的运用收集到的各种 知识，例如入侵行为可以被转化成它们在实施过程中所产生的一个事 件序列或某种系统审计文件以及网络数据包中的数据样板模型。 2 4 3 分析技术的比较 所需的知识 对入侵行为的检测需要关于可能攻击行为的知识，或者系统已知 和期望行为的知识。对于基于滥用检测技术的入侵检测系统，如果要 检测到所有攻击行为的话，那么它就需要知道所有可能攻击行为的先 验知识。该入侵检测系统为此必须识别任何攻击行为的细节过程，或 者标识该类攻击行为的特征模式。而对于异常检测系统而言，它必须 拥有系统已知和期望行为的所有信息，才能够检测到所有的入侵行 为。而在实践中，这两种情况都不可能存在。它们只代表了理想的状 况。 易于配置性 一般来说，滥用检测系统比起非规则检测系统来说，需要少的多 的配置工作，因为后者需要更多的数据收集、分析和更新工作。有些 滥用检测系统允许用户创建自己的特征模式文件，这样将会增加建立 系统配置的难度。 入侵检测系统( i d s ) 概述 一般来说，异常检测系统是比较难于配置的，因为它需要对系统 的已知和期望行为模式做全面综合的定义。这就要求用户去发现、理 解并表示和维护目标系统的所有正常行为状态。 报告的数据 滥用检测系统一般在模式匹配的基础上生成最后结论。其具体输 出形式可以是一条指示特定攻击行为发生的警告信号，其中还可包含 相关的数据。而异常检测系统的输出结论通常是建立在实际活动行为 与系统期望行为的统计相关处理的基础上。异常检测常常生成更多的 数据量，因为任何超出期望行为范围的事件都将被报告给系统管理 员。 2 5 入侵检测系统的发展方向 2 5 1 宽带高速网络的实时入侵检测技术 大量高速网络技术如a t m 、千兆以太网、g 比特光纤网等在近几 年不断出现在此背景下的各种宽带接入手段层出不穷，其中很多已 经得到了广泛的应用。如何实现高速网络下的实时入侵检测已经成为 一个现实的问题。目前，国外市场已经推出了几款基于千兆以太网环 境的入侵检测系统产品，但是其性能指标还远未成熟。 这需要考虑两个方面的问题。首先，入侵检测系统的软件结构和 算法需要重新设计，以适应高速网络的新环境，重点是提高运行速度 和效率。开发与设计相适应的专用硬件结构，加上配合设计的专用软 件是解决这方面问题的途径。另一个问题是，随着高速网络技术的不 断进步和成熟，新的高速网络协议的设计也将成为未来的一个发展趋 势，如对t c p 册协议的重新设计等，所以，现有的入侵检测系统如 何适应和利用未来新的网络协议结构是一个全新的问题。 1 7 北京交通大学硕士学位论文 2 5 2 大规模分布式入侵检测技术 传统的集中式入侵检测技术的基本模型是在不同网段中放置多 个探测器用来收集当前网络状态信息，然后这些信息被送到中央控制 台进行处理和分析。或者更进一步的情况是，这些探测器具有某种主 动性，能够接受控制台的某些命令和下载某些识别模板等。 这种集中式模型具有几个明显的缺陷。首先，面对大规模的、异 构网络基础上发起的复杂攻击行为，中央控制台的业务负荷将会达到 不可承受的地步，以至于无法具有足够能力处理来自四面八方的消息 事件。这种情况会造成对许多重大消息事件的遗漏，大大增加漏警概 率。其次，出于网络传输的延时问题( 这在大规模异质网络中尤其如 此) ，到达中央控制台的数据包中的事件消息只是反映了它刚被生成 时的环境状态情况，已经不能反映可能随着时间改变的当前状态。这 将使基于过时信息做出的判断的可信度大大降低，同时也使得返回去 确认。异质网络环境所带来得平台差异性也将给集中式模型带来诸多 困难。因为每一种攻击行为在不同的平台操作环境中表现出不同类型 的模式特征，而已知的攻击方法数目非常之多。这样，在集中式模型 中，想要进行较为完全的攻击模式的匹配已经非常困难，更何况还要 面对不断出现的新型攻击手段。 面对诸多难题，很多新的思路已经出现，其中一种就是攻击策略 分析( a t t a c k s 仃a t e g y a n a l y s i s ) 方法。它采用了分布式智能代理的结 构方式，由几个中央智能代理和大量分布的本地代理组成，其中本地 代理负责处理本地事件，而中央代理负责整理分析工作。与集中式不 同的是，它强调的是通过全体智能代理协同工作来分析入侵者的攻击 策略，中央代理扮演的是协调者和全局分析员的角色。但绝不是惟一 的事件处理者。这种方法有其明显的优点，但同时又带来了其他的一 些问题，如大量代理的组织和协作问题、相互之间的通讯、处理能力 和分析任务的分配等等。 入侵检测系统( i d s ) 概述 2 5 3 入侵检测技术中的数据融合技术 目前的入侵检测系统还存在诸多的缺陷。首先，实时检测系统在 技术上还不具备检测到由受到良好训练的黑客发起的复杂隐蔽攻击 行为的能力。其次，检测的虚假警报问题也是一个令许多管理员头疼 的事情。同时，来自各个渠道的大量泛滥数据、系统消息等常常没有 得到很好和及时的处理，这样非但无助于解决问题，反而浪费和降低 了i d s 系统的处理能力和检测性能。 为解决上述问题，多探测器数据融合技术提供了一条重要的技术 途径。它能够把多个异质分布式探测器处得到的各种数据和信息综合 成为一个统一的处理进程，柬评估整个网络环境的安全性能。数据融 合入侵检测系统输入可以是从网络嗅探器处得到各种网络数据包，也 可以是系统同志文件、入侵者的活动信息、危险性信息、攻击等级和 对整个入侵行为危险程度的评估等。 入侵检测数据融合技术同样面临着若干挑战，例如开发一种通用 的结构化“元语言”，用来描述入侵检测和网络管理的对象以及对动 态网络攻击行为的检测技术，还有将具有强烈数学背景的多探测器数 据融合理论应用到实际l d s 系统所面临的若干复杂问题等。 2 5 4 先进检测算法的应用 下面将要介绍3 种机器学习算法在入侵检测中的应用情况。它们 分别是计算机免疫技术、神经网络技术和遗传算法。 计算机免疫技术是直接受到生物免疫机制的启发而提出的。根据 该种理论，由于计算机网络受到安全策略、计算机程序以及系统配置 等多种因素都是由免疫系统来妥善处理的，而这种免疫系统机制在处 理外来异体时呈现了分布的，多样的、自治的以及自修复的特征。生 物免疫系统通过识别出异常或者以前从未出现的特征，来确定入侵异 北京交通大学磺士学位论文 体。 受到上述思想的激励，计算机免疫技术为入侵检测提供了以下思 路，即通过正常行为样本的学习来识别出不符合常态概念的行为序 列。在此方面已经做了若干研究工作。早期的些实验建立在系统识 别代表正常执行程序活动的系统调用序列的基础上。这些实验发现若 干系统调用形成稳定的特征，可用于检测在使用诸如s e n d m a i l 和l p r 程序时的异常情况。 神经网络技术在入侵检测中的应用历史比较长，并且一直在不断 发展。早期的一些研究人员通过训练后向传播神经网络( b p 神经网络) 来识别已知的网络攻击行为。更进一步的实