（计算机应用技术专业论文）基于扩展ds证据融合算法的网络异常入侵检测研究.pdf

山东大学硕士学位论文 摘要 计算机网络的广泛应用和黑客攻击的频繁出现使得人们更加关注网络安全问 题。入侵检测技术作为保障计算机和网络安全的重要手段，成为近年来网络安全 领域的研究热点。随着攻击手段的复杂化和网络规模的发展，基于网络的入侵检 测越来越发挥更大的作用。网络入侵检测系统通过执行监测、预警、识别、决策 和响应等一系列任务，完成网络对抗过程的重要功能，已经成为网络安全系统工 程的重要组成部分。 目前，网络异常入侵检测仍然是入侵检测研究领域的热点和难点，存在着检 测率不够高、检测范围不够全面、检测效率不能满足大规模高速网络实时检测的 要求等问题。在无人指导的网络异常入侵检测领域，基于d s 证据理论的网络异 常入侵检测技术已经吸引了国内外诸多学者的研究，但大都停留在应用经典的d s 证据理论对网络特征数据进行融合；然而网络数据不可避免地存在冲突，经典d s 证据理论对存在严重冲突的证据进行融合时却不能得到合理的结果，因此会导致 检测系统的误报率和漏报率较高等问题。 本文结合经典的d e m p s t e r s h a r e r 证据理论和f a b i o 等提出的扩展d s 证据融 合理论，提出一种证据融合算法e d s 。该算法可实时地对大量存在严重冲突的证 据进行融合并能够得到更加合理的结论：在两互斥目标的辨识框架下，该算法的 时间复杂度仅为o ( n ) ，具有较高的融合效率，可应用于网络实时检测。鉴于此， 本文将e d s 融合算法应用于网络入侵检测，针对目前网络异常检测的不足，提出 一种实时网络异常入侵检测模型。该模型对存在严重冲突的网络数据进行融合后 能够获得较为合理的结果，从而降低模型系统的误报率和漏报率：同时该模型检 测算法效率较高，可适用于大规模网络实时检测，并具有较大的检测范围。该模 型属于无人指导的网络异常检测范畴，利用统计特征的期望偏方差确定基本概率 分配函数，使用显著特征粗集分类机制降低融合严重冲突数据的频率来提高特征 学习的准确性；同时采用数据区分度机制来实时反映网络流量特征，以提高模型 系统的检测率。 最后通过u c iw b c d 小维数据集和k d dc u p l 9 9 9 多维数据集的实验表明， 该模型检测引擎基于有限维数据特征就能够在较低算法复杂度和较低误报率的前 山东大学硕士学位论文 提下达到较高的检测率，具有实时检测的能力和良好的可扩展性，并对新型攻击 有一定的免疫力。 关键词：d s 证据理论；扩展；融合；异常检测；入侵检测 i l 山东大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e rn e t w o r k sa n dt h ep o p u l a r i z a t i o no ft h e i r a p p l i c a t i o n s ，m o r ea t t e n t i o n sh a v eb e e np a i do nt h ec o m p u t e rs e r c u r i t yp r o b l e m s a s a l l i m p o r t a n tt o o la s s u r i n gc o m p u t e ra n dn e t w o r k ss e c u r i t y , i n t r u s i o nd e t e c t i o nt e c h n o l o g y h a sb e c o m eah o tr e s e a r c h i n gp o i n ti nr e c e n ty e a r s w i t ht h ec o m p l e x i t yo ft h ea t t a c k s a n dt h ed e v e l o p m e n to fn e t w o r k ss c a l e ，n e t w o r k b a s e di n t r u s i o n d e t e c t i o np l a y s i n c r e a s i n g l yam o r ei m p o r t a n tr o l ei nd e t e c t i n gi n t r u s i o n s n e t w o r ki n t r u s i o nd e t e c t i o n s y s t e m ( a b b r n r d s ) ，w h i c hp e r f o r m sas e r i e so ft a s k si n c l u d i n gm o n i t o r i n g ，e a r l y w a r n i n g ，i d e n t i f i c a t i o n , d e c i s i o n - m a k i n ga n dr e s p o n s e ，c a nc o m p l e t et h ei m p o r t a n t f u n c t i o n so fn e t w o r ks y s t e mc o n f r o n t a t i o n i ti sa ni m p o r t a n tc o m p o n e n to fn e t w o r k s e c u r i t ys y s t e m a t i cp r o je c t a tp r e s e n t n e t w o r ka n o m a l yi n t r u s i o nd e t e c t i o ni ss t i l lo fa c t i v ea n dd i f f i c u l tf i e l di n t h er e s e a r c ho fi n t r u s i o nd e t e c t i o n h o w e v e li th a sn o tb e e nw i d e l yu s e di np r a c t i c ed u e t os o m ei s s u e s ，w h i c hi n c l u d e sl o w e rd e t e c t i n gr a t e ，l i m i t e dd e t e c t i n gr a n g ea n dl a c ko f p e r f o r m i n gr e a l - t i m ei n t r u s i o nd e t e c t i o ni nl a r g ea n dh i 曲s p e e dn e t w o r k s n e t w o r k a n o m a l yi n t r u s i o nd e t e c t i o nt e c h n o l o g yb a s e do nd e m p s t e r - s h a f e r ( a b b r d s ) e v i d e n c e t h e o r y , w h i c hi so fu n s u p e r v i s e dn e t w o r ki n t r u s i o nd e t e c t i o n ，h a sa t t r a c t e dl o t so f r e s e a r c h e r s b u tm o s to ft h e ms t a yi nt h ea p p l i c a t i o no ft h ec l a s s i c a ld se v i d e n c e t h e o r yw h i c hi n d e e dc a i ln o tm a k eb e t t e rf u s i o n sf o rs o m es e v e r e l yc o n f l i c t e dn e t w o r k s d a t as ot h a ti tr e s u l t si nh i g h e rf a l s ea l a r mr a t ea n dh i g h e ro m i t t e da l a r mr a t e b a s e do nt h ec l a s s i c a ld se v i d e n c et h e o r ya n da ne x t e n d e dd se v i d e n c ef u s i o n t h e o r yp r o p o s e db yf a b i oe ta l ，t h i sp a p e rp r e s e n t san o v e le v i d e n c ef u s i o na l g o r i t h m n a m e de d sw h i c hc a nf i n i s hb e t t e re v i d e n c ef u s i o n sf o rs e v e r e l yc o n f l i c t e dd a t as oa s t og e tm o r er e a s o n a b l er e s u l t s t h et i m ec o m p l e x i t yo fe d si so n l yo fo ( n ) s ot h a ti t c a nb ea p p l i e dt or e a l - t i m ed e t e c t i o nb e c a u s eo fi t ss h o r te x c u t i o nc y c l e f o l l o w i n gt h i s e d si si m p o r t e di n t on i d sa n dt h e nar e a l - t i m en i d sm o d e li sa d v a n c e db a s e do ni t t h em o d e lc a l lg e tm o r er e a s o n a b l ec o n c l u s i o n sf o rs e v e r e l yc o n f l i c t e dn e t w o r k sd a t a s ot h a ti tr e d u c e sf a l s ea l a r mr a t ea n do m i t t e da l a r mr a t e b e s i d e si th a saw i d er a n g eo f i n t r u s i o nd e t e c t i o na n dc a nb ea d a p t e df o rr e a l - t i m en e t w o r kd e t e c t i o n i ti so f u n s u p e r v i s e dn e t w o r ka n o m a l yd e t e c t o rw h i c hd e f i n e st h ep r o b a b i l i t ya s s i g n m e n t f u n c t i o nb a s e do nt h ed e v i a t i o nf r o me x p e c t e dv a l l a n c eo fs t a t i s t i c a lc h a r a c t e r i s t i c s i n i i i 山东大学硕士学位论文 a d d i t i o n ，ar o u g hs e t s c l a s s i f i c a t i o nm e c h a n i s mo fl i g h t - r e m a r k a b l ef e a t u r e si sp r o d u c e d t or u d u c et h ef r e q u e n c yo ft h es e v e r e l yc o n f l i c t e dn e t w o r kd a t aa n dt oe n h a n c et h e a c c u r a c yo ff e a t u r el e a r n i n gp r o c e s s as e l f - a d a p t i v em e c h a n i s mb a s e do nt h ed a t a d i s t i n c t i o ni sa l s op r o p o s e dt or e f l e c tt h er e a ls t a t u so fn e t w o r k sd a t af l o w s f i n a l l y , a c c o r d i n gt ot h er e s u l to ft h ee x p e r i m e n t sw i t hu c iw b c d f e w - d i m e n s i o n a l d a t a s e ta n dk d d c u p 19 9 9m u l t i d i m e n s i o n a ld a t a s e t ，i ts h o w st h a tt h ed e t e c t i n ge n g i n e o ft h em o d e lc a na c h i v eh i g h e rd e t e c t i o nr a t ew i t hs e v e r a ls e l e c t e df e a t u r e su n d e rt h e p r e m i s eo f l o w e rc o m p u t a t i o n a lc o m p l e x i t ya n dl o w e rf a l s ea l a r mr a t e f u r t h e r m o r e ，i t c a nb ea p p l i e dt or e a l t i m ed e t e c t i o na n di m m u n ef r o mn e wp a t t e mi n t r u s i o n s k e v w o r d s ：d - se v i d e n c et h e o r y ；e x t e n d e d ；f u s i o n ；a n o m a l yd e t e c t i o n ；i n t r u s i o n d e t e c t i o n i v 原创性声明和关于论文使用授权的说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：国坞日期：竺坌：! ：竺 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：盘! 垦导师签名：期：二吖。廿 山东大学硕士学位论文 1 1 课题研究的背景 第一章绪论 网络的发展及其应用的深入使得网络安全问题成为网络研究的重要分支。入 侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) 作为一种主动检测工具，有效地增强 了网络安全体系的防御能力。传统用户普遍使用口令和防火墙技术来保护计算机 和网络不受非法和未经授权的使用。然而，如果这些访问控制措施被泄漏或被绕 过，会导致巨大的损失。同时由于防火墙处于网关的位置，不可能对进出攻击作 太多判断，否则会严重影响网络性能。于是在传统的访问控制技术己不能完全满 足网络安全需求的同时，i d s 作为一种新的安全手段，正受到越来越多的重视i l j 。 i d s 是针对计算机系统和网络系统的外界非法入侵者恶意攻击或试探以及内 部用户越权使用的非法行动进行识别和响应的软件系统【2 】【3 1 ，它通过旁路监听方式 不问断地收取网络数据，对网络的运行和性能无任何影响，不仅能检测来自外部 的入侵行为，同时也能发现内部用户未授权活动，能够主动保护自己免受网络攻 击，是防火墙、虚拟专用网的进一步深化。d s 能够实时地全面监控网路、主机、 应用程序的运行状态，在网络入侵的初期就能够发现入侵，并且能够通过多种报 警方式通知系统管理员，也可以采用自动响应措施【4 1 【5 】【6 】。在无线移动网络，入侵 检测的研究也逐步深入，已经取得了有效的尝试7 】【8 l 。入侵检测作为一种积极主动 的安全防护技术，提供了对内部攻击、外部攻击和误操作的实时保护，能够在网 络系统受到危害之前拦截和响应入侵。与其它的安全产品比较，i d s 具有更多的智 能化功能，它在保证网络的安全运行的同时，还能大大简化系统的管理【9 1 ，因此i d s 逐渐成为网络安全的重要工具。 i d s 的发展依赖于检测技术的研究。m c h u g h 认为“入侵检测中有意义的进步 将依赖于基础理论的发展【6 】，入侵检测技术的发展一定程度上取决于理论和方法 的研究进展。现有的入侵检测技术大致可以分为误用检测、异常检测和混合检测 三类。其中，滥用检测方法主要包括模式匹配、状态迁移分析、条件概率、专家 系统、模型推理等；异常检测方法主要包括阈值、轮廓、统计、b a y e s i a n 推理、模 式预测、博弈论方法等；混合检测方法主要包括免疫系统、智能代理、规范、神 山东大学硕士学位论文 经网络、遗传算法、数据挖掘、模糊逻辑等。目前学术界研究的趋势基本上是： 入侵检测方法研究的手段已经从自发地采用人工智能技术转向自觉地采用人工智 能技术。智能化入侵检测算法的设计需要考虑两个方面：特征选择和攻击检测。 智能化入侵检测算法的期望特性包括：准确性( 包括学习准确性、推广准确性) 、( 对 在线系统要求) 模型实时生成、模型自动更新( 在线学习增量学习非监督学习) 、抗 噪声、能处理不完备和不确定信息以及融合成本等因素。按照上述标准，目前还 没有一种算法能够达到这些特性，入侵检测技术需要更加深入的研究。随着网络 规模的扩大和入侵手段的复杂化，对入侵检测的要求逐渐提高，虽然基于主机的 i d s 仍然在某些领域卓有成则1 0 】，但是它已经不能满足目前网络的安全需要，研究 开发多层次实时1 1 】【1 2 1 的网络入侵检测系统( n e t 、o r ki d s ，n i o s ) 是今后入侵检测技 术发展的重要方向。 1 2 国内外研究现状 异常检测的思想最早i 扫d e n n i n g 提出，即通过监视系统审计记录上系统使用的 异常情况，可以检测出违反安全的事件，该思想很快被应用到网络异常检测。网 络异常检测方法可分为两类：有指导异常检测( s u p e r v i s e da n o m a l yd e t e c t i o n ) 和无 指导异常检钡j ( u n s u p e r v i s e da n o m a l yd e t e c t i o n ) 。对于前者，如概率统计分析方法、 人工免疫算法、数据挖掘方法等都属于该类范畴；然而，该类方法需要完全“干 净”的数据集来生成模型，这在复杂的网络条件下常常是不可满足的，因而在实 际中的应用并不是很普遍。对于后者，如基于聚类的估计算法、改进的k l 近邻方 法以及o n e c l a s ss v m ( s u p p o r tv e c t o rm a c h i n e s ) 方法都属于此类范畴；这些方法相 对于有指导异常检测方法来说，在应用范围上更加广泛，它们并不需要完全“干 净”的数据集建立模型，仅仅需要提供的训练集中正常数据相对于异常数据来说 占绝大多数( 通常情况下，正常数据的比率通常占9 8 5 - 9 9 左右，而异常数据占 l 1 5 左右) 。其中o n e c l a s ss v m 方法的检测率高达9 8 ；然而其误报率同样较 高( 高达1 0 ) 1 3 】。而d a r p a l 9 9 9i d s 评测优胜者e m e r a l d 项目中的e b a y e s 组件和 以s n o r t 的第三方异常检测插件发布的s p a d e 等，除了误报率和漏报率比较高，检测 率也仅5 0 左右；而且由于应用负载的数据量过大，导致检测算法不能满足高速 网络实时检测的要求f 1 4 1 。i d s 普遍存在误检率和漏检率都比较高、检测效率不能满 2 山东大学硕士学位论文 足大规模实时检测的要求以及检测范围不够大等问题1 2 】【1 5 】1 1 6 1 。 d e m p s t e r - s h a f e r ( 简写为d s ) 证据理论形成于2 0 世纪6 0 年代，眭i d e m p s t e r 提 出，s h a r e r 进一步完善而来。目前d s 证据理论在许多场合得到研究与应用，比如 医学诊断、决策支持【1 7 1 【1 8 】、知识学习和入侵检测领域【2 0 】【2 1 1 。基于d s 证据理论 的i d s 2 0 】【2 l 】【2 2 】【2 3 】【2 4 1 研究也取得了良好的检测率，但是由于这些研究大都基于经典 的d s 证据理论，需要假设截获的数据相互独立无冲突。然而网络数据不可避免的 存在冲突，因此用经典的d s 证据理论对网络数据进行融合，必然导致融合结果不 够合理【2 5 1 ，造成较高的误报率和漏报率。针对此问题，本文提出一种新的融合算 法e d s 应用于网络异常入侵检测，能改进对存在严重冲突的网络特征数据的融合， 获得更加合理的结论，从而提高了检测系统的检测率。 1 3 本文主要工作及论文组织 本文基于经典d s 证据理论，创造性地将其与扩展的d s 证据融合理论1 相结 合，提出一种证据融合算法e d s ，对存在严重冲突的证据融合能得到更加合理的结 论。然后基于e d s 融合算法，提出一种实时网络异常入侵检测模型，因其可对存在 严重冲突的网络数据进行合理的融合，从而降低了模型系统的误报率和漏报率。 该模型属于无指导的网络异常检测范畴，利用统计特征的期望偏方差确定基 本概率分配函数，使用显著特征粗集分类机制降低存在严重冲突的融合数据的频 率，提高特征学习的准确性；同时保证模型数据具备自适应机制来实时反映网络 特征，以期提高模型系统的检测率。本模型提出的的融合算法e d s 能在o ( n ) 时间复 杂度内完成，具有良好的实时性和可扩展性。通过u c iw b c d 2 6 】j 、维数据集和k d d c u p l 9 9 9 2 7 1 多维数据集的实验表明，本模型检测引擎基于有限维数据特征就能在较 低算法复杂度和较低误报率的前提下达到较高的检测率，并具有实时检测的能力， 对新型攻击也有一定的免疫力。 本文后续章节安排如下： 第二章是入侵检测技术概述，主要概述入侵检测的提出、发展、系统模型、 系统分类、常用检测技术、系统不足及研究进展等。 第三章讲述经典d s 证据理论基础，通过实例展现经典d s 证据理论应用于 网络异常入侵的优缺点。 山东大学硕士学位论文 第四章针对目前基于d s 证据理论的网络入侵检测模型的不足，提出一种证 据融合算法e d s 并基于此算法提出一种实时网络异常入侵检测模型，从总体架构、 关键实现技术及模型性能分析等角度进行阐述。 第五章通过u c iw b c d 小维数据集和k d dc u p l 9 9 9 多维数据集进行模型实 验，并对结果进行分析。 第六章是本文的结论，对本文提出的模型进行扼要的总结，并提出进一步完 善和研究所做的工作。 4 山东大学硕士学位论文 第二章i d s 概论 弟一早 慨化 一个完善的i d s 必须具有经济性、时效性、安全性及可扩展性等特点。开发 一个成熟的i d s 产品需要成熟的检测技术的支持。本章从入侵检测的产生开始， 概述i d s 的分类、常见模型、检测技术及其发展趋势。 2 1 入侵检测发展简史 入侵的最早定义是h e a d y 给出的：入侵是“试图破坏资源的完整性、保密性、 可用性的行为的集合”1 2 8 1 。s m a h a 进- - 步指出入侵包括尝试性闯入、伪装攻击、安 全控制系统渗透、泄漏、拒绝服务、恶意使用6 种类型 2 9 1 。相应地，入侵检测定 义为“识别企图破坏计算机资源的完整性、保密性和可用性的行为” 3 0 1 。i d s 定义 为监视计算机和网络流量并获取组织外部敌对攻击和组织内部系统滥用或攻击的 安全系统【3 1 】。 2 1 1 入侵检测的提出 随着网络规模的扩大及网络应用的深入，入侵攻击频繁出现。网络中存在入 侵的技术原因很多，如操作系统的漏洞、应用系统的漏洞、技术管理方面的失误( 如 不安全密码和系统配置不当) 等；t c p i p 协议本身在设计方面的缺陷是攻击的主要 来源，如s y nf l o o d i n g 、i ps p o o f i n g 、序列号攻击、t c p 连接劫持、r s t f i n 拒绝 服务攻击、死亡之p i n g 等都是基于t c p i p 协议缺陷的网络攻击。基于t c p i p 协 议应用的安全缺陷，如电子邮件、远程登录、文件传输以及w w w 浏览等应用程 序也存在一些安全缺陷。于是，入侵攻击产生，入侵手段逐渐复杂化。 入侵攻击一般经过以下三个阶段： ( 1 ) 准备阶段 被动的侦察：包括嗅探流量或口令，以及用各种方法如搜索引擎或社会工 程等方法进行信息收集； 主动的侦察：包括i p 扫描，端口扫描以及探测操作系统版本和漏洞等。 ( 2 ) 入侵阶段 山东大学硕士学位论文 入侵系统：利用操作系统或协议漏洞或是配置错误等侵入系统或使得系 统不可用，或以该系统为跳板侵入到其他系统： 上传程序：上传一些工具软件； 下载数据：非授权下载数据。 ( 3 ) 善后阶段 利用一些方法保持以后方便访问：如安插后门或安装木马； 隐藏踪迹：修改系统日志，隐藏入侵行为。 随着入侵攻击的扩大，入侵检测应运而生，它发端于安全审计。a n d e r s o n t 3 2 1 在 1 9 8 0 年写的一份未公开的报告被认为是入侵检测的开创性工作。在报告中， a n d e r s o n 提出一种对计算机系统的风险和威胁的分类方法。如表2 1 所示。a n d e r s o n 的报告指出攻击者获得系统最高权限时没有可靠的补救办法。但是对于伪装者， a n d e r s o n 建议某些用户行为的一些统计分析应当具备判断系统不正当使用模式的 能力。入侵检测的下一个里程碑式的i d e s ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ) 项目就 是采纳了这个建议。 表2 - 1a n d e r s o n 的威胁矩阵 渗透者未经授权使用数据程序渗透者经授权使用数据程 资源 序资源 渗透者未经授权使用计算机c a s e a 外部渗透 | 渗透者经授权使用计算机c a s e b内部渗透c a s e c 不法行为 i d e s 是1 9 8 4 1 9 8 6 年d o r o t h yd e n n i n g 矛f i p e t e rn e u m a n n 研究开发的实时入侵检 测模型，它提出了反常活动和计算机不正当活动的相关性。在i d e s 中反常被定义 为统计意义上的“稀少和不正常 ( 统计特征不在正常范围内) 。这个假定是早期入 侵检测研究的基础。1 9 8 7 年d e n n i n g 发表了关于这个问题的论文，是入侵检测的又 一篇开山之作，该文主要提出t d e n n i n g n 侵检测模型【3 3 1 。 2 1 2 入侵检测的发展 1 9 8 8 年，加州大学戴维斯分校的l a w r e n cl i v e r m o r e 实验室设计了h a y s t a c k 系统。h a y s t a c k 系统是通过与已知攻击模式进行匹配比较来分析审计数据，以此 判断是否存在入侵行为。h a y s t a c k 系统是第一个采用误用检测的入侵检测系统。 1 9 9 0 年，加州大学戴维斯分校的t o d dh e l b e r l e i n 引入了网络入侵检测的概念， 6 山东大学硕士学位论文 他提出并开发了第一个网络入侵检测系统n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 。n s m 安装在政府网络中，通过分析网络流量来获取大量的信息。n s m 的出现使入侵检 测领域产生了革命性的变化，也使入侵检测技术开始引起众多研究者和商家的注 意。本文侧重研究网络入侵检测，关于入侵检测的其它内容可参阅相关文献。 2 2i d s 分类 i d s 可以根据多种标准对之进行分类【3 4 1 。根据数据来源的不同，i d s 可以分为 基于主机的入侵检测、基于网络的入侵检测、基于内核的入侵检测、基于应用的 入侵检测和基于目标的入侵检测。根据检测方法的不同，可以将入侵检测分为异 常检测、误用检测和混合检测。根据响应方法的不同可以分为主动式m s 和被动式 入d s 。根据体系结构不同可以分为集中式i d s 、分布式i d s 和对等式l i d s 。根据实 时性的要求，可以分为批处理s 、实时处理d s 和周期性处理m s 。 目前国内外己有很多公司开发i d s ，有的作为独立的产品，有的作为防火墙的 一部分，其结构和功能也不尽相同。非商业化的产品如s n o a 这一类的自由软件： 优秀的商业产品有如：i s s 公司的r e a l s e c u r e 是分布式的i d s ，c i s c o 公司的 n e t r a n g e r 、n e t w o r k ss e c u r i t yw i z a r d s 公司的d r a g o ni d s 、n a i 公司的c y b e r c o p 是基于网络的i d s ，i n t r u s i o nd e t e c t i o n 公司的k a n es e c u r i t ym o n i t o r 和t r u s t e d i n f o r m a t i o ns y s t e m 公司的s t a l k e r s 是基于主机的i d s ；国内启明星辰等公司也已经 开发出比较成熟的产品了。下面针对l i d s 的分类分别进行阐述。 2 2 1 基于数据源的分类 ( 1 ) 基于主机的入侵检测 基于主机的入侵检钡l ( h o s t b a s e di n t r u s i o nd e t e c t i o n ) 通过监测和分析如下信息 来检测入侵行为p 3 】 3 5 】： 主机的审计数据、系统日志： 主机进程的行为如c p u 利用率、i o 操作等； 用户行为特征如登陆时间、敲键频率、敲键错误率、键入的命令等； 进程的系统调用序列。 基于主机的入侵检测通过全面地监测主机的状态和用户的操作，可以检测主 7 山东大学硕士学位论文 机、进程或用户的异常行为，并发送告警信息和采取相应措施来阻止攻击。其缺 点在于受操作系统平台的约束，可移植性差，需要在每个被检测的主机上安装入 侵检测系统，难以配置和管理，难以检测网络攻击如d o s ，端口扫描等。 基于主机的m s 用于保护关键应用的服务器，实时监视可疑的连接、系统日 志、非法访问的闯入等，并且提供对典型应用的监视，如w e b 服务器应用。基于 主机的i d s 通常采用查看针对可疑行为的审计记录来执行。它能够获得比较新的 记录条目与攻击特征，并检查不应该改变的系统文件的校验，分析系统是否被侵 入或者被攻击。主机数据源的优势在于：针对性强、检测准确性高、适于检测复 杂的攻击、不受交换式网络环境和数据加密的影响，并且可以准确的判定攻击是 否成功。 ( 2 ) 基于网络的入侵检测 基于网络的入侵检钡l j ( n e t w o r k b a s e di n t r u s i o nd e t e c t i o n ) 通过侦听网络中的所 有报文，并分析报文的内容、统计报文的流量特征来检测各种攻击行为。 基于网络的i d s 主要用于实时监控网络关键路径的信息。它可利用工作在混 合模式下的网卡实时监视和分析所有通过共享网络的传输。基于网络的i d s 一般 被放置在比较重要的网段内，部分也可以利用交换式网络中的端口映射功能来监 视特定端口的网络入侵行为。一旦攻击被检测到，响应模块按照配置对攻击做出 反应。通常这些反应包括发送电子邮件、寻呼、记录日志、切断网络连接等。 基于网络的入侵检测具有以下优点：与被检测的系统平台无关；实时性高： 在一个口子网只需要安装一个检测节点，就可以对整个子网进行监测；不会对网 络通信产生影响。 ( 3 ) 基于应用的入侵检测 可以针对特定的服务程序进行入侵检测，称为基于应用的入侵检测 ( a p p l i c a t i o n b a s e di n t r u s i o nd e t e c t i o n ) ，如针对w w ws e e r 进行检测p 6 1 ，对数据库 服务器进行检测等1 3 7 。 ( 4 ) 基于内核的入侵检测 从操作系统内核收集数据，作为检测入侵或异常的根据。特点是具备良好的 检测效率和数据源的可信度。基于内核的入侵检测通常集成了数据收集、数据分 析和响应机制。 山东大学硕士学位论文 ( 5 ) 基于目标的入侵检测 使用哈希等算法来检测系统对象的更改，并将更改与系统的安全策略对照， 以判断是否出现入侵或异常。 2 2 2 基于检测方法的分类 ( 1 ) 异常检测 异常检测( a n o m a l yd e t e c t i o n ) 也称为基于行为的入侵检测，如图2 1 所示。通 过为用户、进程或网络流量等处于正常状态时的特征建立参考模型，然后将其当 前行为特征同已建立的正常行为模型比较，若存在较大偏差，则认为发生异常。 修改现有规则 动态产生新规则 图2 1 异常入侵检测示意图 异常检测的优点在于不需要获取攻击的特征。它即可以检测已知攻击，也可 以检测未知的各种攻击，并可以使用户模型随用户行为的改变而自动更新。 异常检测方法的主要缺点在于：阈值难以设定；检测错误率较高；攻击者可 以通过渐进的方式改变用户模型；无法识别攻击的类型，因此难以采取相应措施 来阻止攻击。 ( 2 ) 误用检测 误用检测( m i s u s ed e t e c t i o n ) 也称为基于知识的入侵检测或基于签名的入侵检 测，如图2 - 2 所示。首先建立已知各种攻击的特征( 也称为攻击签名) 库，然后将用 户的当前行为依次同库中的各种攻击签名( a t t a c ks i g n a t u r e ) 进行比较，如果匹配， 则可以确定发生入侵行为。 误用检测的优点在于攻击检测准确率高，能够识别攻击的类型，因此可以采 取相应措施来阻止攻击其缺点在于总是滞后于新出现的攻击；由于采用精确匹配 技术，难以检测攻击的各种变形：需要不断地更新攻击签名库。 ( 3 ) 混合检测 9 山东大学硕士学位论文 修改现有规则 添加新规则 图2 - 2 基于误用的检测模型 由于异常检测和滥用检测具有不同的优点，许多入侵检测系统都同时支持这 两种检测方法【1 0 】。混合检测分为两种情况： 组合型入侵检测：由于异常检测和滥用检测具有不同的优点，可以组合这两 种检测方法，如将滥用检测用于网络数据包，而将异常检测用于系统日志，两者 同时检测，并相互配合。 学习方法：这类混合型检测是当将学习方法用于训练用户行为时被称为异常 检测，而当用于训练入侵模式时被称为滥用检测。这是现在很流行的重要技术。 2 2 3 基于响应方法的分类 ( 1 ) 主动式i d s - 系统能够在线检测并自动响应，甚至对攻击者发起攻击。 ( 2 ) 被动式i d s 系统检测到入侵后，产生警报甚至采用手工响应，在批处理 检测方法中很广泛。 2 2 4 基于体系结构的分类 ( 1 ) 集中式 d s 集中式s 3 5 1 可以有多个监测器( s e n s o r ) ，但是每个监测器只完成数据搜集的 工作，然后将所搜集的数据发送到中央管t - 里器r ( a n a l y z e r ) ，由其完成对数据的分析 工作。 ( 2 ) 分布式i d s 分布式i d s 3 8 1 中存在多个域分析器( d o m a i na n a l y z e r ) ，从本域内的多个s e n s o r 接收数据，完成本域的数据分析，并将分析的结果以及与整个网络有关的信息发 送给主分析器( m a s t e ra n a l y z e r ) 。m a s t e ra n a l y z e r 通过对各+ d o m a i na n a l y z e r 发送 的告警信息进行相关性分析，从而可以获得整个网络的安全状态。 1 0 山东大学硕士学位论文 ( 3 ) 对等式i d s 该类系统的特点是在每个主机运行相同的监控程序( s e c u r i t ym a n a g e r ) p 卅。 s e c u r i t ym a n a g e r 具有相同的对等地位。 2 2 5 基于实时性要求的分类 ( 1 ) 批处理i d s ：关注的事件获取后被存储起来，在安全管理员需要时对之进 行分析。 ( 2 ) 实时处理i d s ：关注的事件一旦获取以后，随即分析，中间不存在( 或几乎 不存在) 时间间隙。 ( 3 ) 周期性处理i d s ：关注的事件获取后被存储起来系统自动按照一定的周期 模式对之进行分析。 2 3i d s 模型 2 3 1d e n n i n g 模型 d e n n i n g 提出的模型是一个基于主机的入侵检测模型p 3 1 ，也是最早的入侵检测 模型，如图2 3 所示。由于这个模型和具体的系统与输入信息无关，因此对目前的 多种入侵检测技术及其体系结构都有很好的借鉴和推广的作用。模型首先对主机 事件按照一定的规则学习产生用户或系统的行为模型( a c t i v i t yp r o f i l e ) ，然后将当前 的事件和模型进行比较，如果不匹配，则认为异常。 审计记录网络报文应用程序记录 事件产生器 泌改 活动记录规则集 lt 匹配 7 t 动态产生记录 时钟 图2 - 3 d e n n i n g 入侵检测模型 d e n n i n g 模型由事件产生器、活动记录模块和规则模块三个构件产生。 ( 1 ) 事件产生器 山东大学硕士学位论文 事件产生器用来产生具体的事件，事件通常来自审计记录、网络数据包、应 用程序记录等，这些事件构成入侵检测的基础。 ( 2 ) 活动记录模块 活动记录模块是整个入侵检测系统的核心，主要包括计算机用户活动特征的 所有变量。这些变量可以根据运用的统计分析方法等定义，并根据匹配的记录数 据来变更变量值。如果统计变量值偏离正常行为范围，则认为是异常。 ( 3 ) 规则模块 规则模块主要由系统安全策略和入侵模式组成，为负责判断是否入侵提供参 考机制，并根据事件记录、异常记录等控制并更新其他模块的状态。 一般情况下活动记录模块用来执行异常检测，规则模块用来执行滥用检测。 在实际应用中常常将两者结合在一起使用 2 3 2 公共入侵检测模型c i d f c i d f ( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ) 是一个通用入侵检测框架，阐述 了一个入侵检测的通用模型，如图2 4 所示，由d a r p a 在1 9 9 8 年提出。c i d f 是 一个规范集，定义了入侵检测中表达检测信息的统一的标准语言以及不同i d s 组 件之间的通信协议，其主它将i d s 分为以下部分： 事事 件件 i 原始数据i - 产 分 生 析 子 子 系 系 统统 图2 - 4c i d f 模型 ( 1 ) 事件产生子系统( e v e n tg e n e r a t o r ) 事件产生子系统的任务是从入侵检测系统之外的计算环境中收集事件，并将 这些事件转换成c l f 的g i d o 格式传送给其他组件。 ( 2 ) 事件分析子系统( e v e n ta n a l y z e r ) 事件分析子系统从其他组件收到的g i d o 进行分析，并将产生的新g i d o 再 传送给其他部件。 ( 3 ) 响应数据库( r e s p o n s eu n i t s ) 山东大学硕士学位论文 响应数据库处理收到的g i d o 并根据此采取相应的措施，它可以是终止进程、 切断连接、改变文件属性，也可以只是简单的报警。 ( 4 ) 事件数据库( e v e n td a t a b a s e ) c i d f 中的事件数据库负责g d o 的存贮，它可以是复杂的数据库，也可以是 简单的文本文件。 在这个模型中，事件产生子系统、事件分析子系统和响应数据库通常以应用 程序的形式出现；而事件数据库则往往是文件或数据流的形式。图2 4 中四个组件 知识逻辑实体，以g i d o ( 统一入侵检测对象) 格式进行数据交换。g i d o 格式提高 了模型组件之间的消息共享和互通。c i d f 模型具有较好的扩展性，因此目前已经 得到了广泛