（计算机应用技术专业论文）可扩展异常检测系统的研究与实现.pdf

r e s e a r c ha n d i m p l e m e n t a t i o n o fe x t e n s i b l e a n o m a l y b a s e d d e t e c t i o ns y s t e m s - 一 a b s t r a c t i n t r u s i o nd e t e c t i o ni sn e e d e da sa n o t h e rw a l lt o p r o t e c tc o m p u t e rs y s t e m s t h e t r a d i t i o n a l p u r em i s s - b a s e dd e t e c t i o ns y s t e mp r o v i d e l i t t l ed e f e n s ea g a i n s tn o v e l a t t a c k s ，u n t i lt h e yc a nl e a r nt og e n e r a l i z ef o r mk n o w ns i g n a t u r e so fa t t a c k s a n o m a l y d e t e c t i o nt e c h n i q u e s ，o nt h eo t h e rh a n d ，d i r e c t l ya d d r e s st h ep r o b l e mo fd e t e c t i n g n o v e la t t a c k sa g a i n s ts y s t e m s t h et e c h n i q u e sd on o ts c a nf o rs p e c i f i cp a t t e r n s b u t i n s t e a dc o m p a r ec u r r e n ta c t i v i t i e s a g a i n s tm o d e l so fp a s tb e h a v i o r i ns p i t e o ft h e p o t e n t i a ld r a w b a c k s ：i n a b i l i t yt oi d e n t i f yt h es p e c i f i ct y p eo fa t t a c ka n dh i g hf a l s e p o s i t i v er a t eo fa n o m a l yd e t e c t i o n ，h a v i n gt h ea b i l i t yt o d e t e c tn o v e la t t a c k sm a k e s a n o m a l y d e t e c t i o nar e q u i s i t ei ff u t u r e ，u n k n o w n ，a n dn o v e la t t a c k sa g a i n s tc o m p u t e r s y s t e m s a r et ob ed e t e c t e d i nt h i s p a p e r , w ed e s c r i b e an o v e lf r a m e w o r k ，e x t e n s i b l ea n o m a l y - b a s e dd e t e c t i o n s y s t e m s - 一e a i d s ，f o ri m p l e m e n t i n gs e v e r a lt e c h n i q u e sf o ri n t r u s i o nd e t e c t i o nt h a ta r e b a s e do na n o m a l yd e t e c t i o n 刀j ea r c h i t e c t u r eo fe a i d si se x t e n s i b l eb e c a u s ei t u t i l i z e saf l e x i b l em o d u l a rp l u g - i n t h e r ea r et w ok i n d so fc o r ep l u g - i n ，s e n s o ra n dd e t e c t o r t h e s e c u r i t ym a n a g e r c a ni n t e g r a t ea n yn e ws e n s o r sa n dd e t e c t o r si n t ot h es y s t e mt oi m p l e m e n tn e w t e c h n i q u e sf o r i n t r u s i o nd e t e c t i o n i nt h i sp a p e r , w ei n t r o d u c et h r e et e c h n i q u e sb a s e do na n o m a l yd e t e c t i o n ，w h i c ha r e e q u a l i t ym a t c h i n g ，d a t am i n i n ga n da r t i f i c i a ln e u r a ln e t w o r k s o u ra p p r o a c h i st o l e a r nt h en o r m a lb e h a v i o ro fp r o g r a m s ( u s i n gd i f f e r e n tt e c h n i q u e s ) a n dt h e nf l a g s i g n i f i c a n td e p a r t u r e sf r o mn o r m a lb e h a v i o ra sp o s s i b l ei n t r u s i o n t h ee f f e c t i v e n e s s o ft h es y s t e mi sv e r i f i e db yt e s t i n gi tw i t hd a t ap r o v i d e db yt h ed a r p ai n t r u s i o n d e t e c t i o ne v a l u a t i o np r o g r a m k e y w o r d s ：i d s ，a n o m a l y - b a s e dd e t e c t i o n ，d a t am i n i n g ，a r t i f i c i a ln e u r a ln e t w o r k s ， m i s s b a s e dd e t e c t i o n 引言 1 引言 入侵检测在网络安全领域中的地位已经越来越重要。协同网络安全领域的其他技术，入 侵检测已逐渐发挥出它特有的优势，保护着网络正常可靠的运行。随着网络的发展，基于网 络的计算机系统扮演着越来越重要的角色，网络环境中的信息安全问题已成为亟待解决的重 大问题，防火墙、病毒防范、加密认证、漏洞检测、数据恢复等技术只能解决各自领域的安 全问题，面对内部入侵者以及越来越新奇和复杂的攻击，这些技术已不能完全胜任，入侵检 测更好的补充了这些技术，成为完整的网络安全策略中的重要组成部分。 1 1 入侵检测的重要性 在技术角度，网络安全领域包括多项研究主题，如防火墙、病毒防范、加密认证、漏洞 检测、入侵检测、数据恢复等技术。在这些技术中，直接针对网络攻击的主要是防火墙和入 侵检测技术。防火墙是最常见的安全产品，技术已经相当成熟，它一般处于网络的边界，防 范来自外部网络的攻击；而入侵检测系统则处于内部网络，是目前研究的一个热点，也是本 论文中将要讨论的安全技术。防火墙主要是通过包过滤、应用级网关和代理服务器等技术在 内部网络和外部网络之间树起一道闸门，从而在端口、i p 地址等一些策略上限制外部主机 对内部网络的访问。本质上讲，防火墙仅仅是降低了系统和网络的暴露程度而并不是消除了 漏洞。攻击者旦成功地绕过防火墙，内部信任的网络就完全暴露给他，网络安全也就形同 虚设了。总之，已有的入侵防御技术，例如防火墙、认证( 密码、签名等) ，避免编程错误、 信息加密等技术已用来在第一线保护计算机系统。随着系统越来越复杂，只是这些入侵防御 技术烂不够的，因为系统中总是会出现可以被利用的弱点和漏洞，这是由于程序设计和编码 所造成的错误或者各种十分成熟的攻击技术导致。例如许多年以前就出现了“缓冲区溢出” 的漏洞，直到现在，由于编程错误致使该漏洞依然存在于最近发布的一些软件中。系统的易 用性和严格限制访问的策略总是一对不可调和的矛盾。这使得构造一个完全的系统是不可能 的。因此入侵检测作为保护计算机系统的第二道防线非常必要。 入侵检测系统能够在安全受到威胁之前实时地检测可能的攻击，从而为防火墙提供了一 种合理的补充，扩展了管理员的安全管理能力，包括监视、进攻识别和响应。八侵检测能在 对网络性能影响较小的情况下对网络进行监视，提供对内部攻击、外部攻击和误操作的实时 检测，成为完整的网络安全策略中的一个重要部分。 防火墙已经能够过滤掉部分非法的数据包，之所以在防火墙之外还要安装i d s 是因为： o 入侵检测系统以监听方式工作，不会对网络或主机性能造成影响，因此检测机制可以做 到很复杂，功能也就要比防火墙强大 口很多攻击是在内部网发起的，而处于网络边缘的防火墙对此无能为力 口 人多数防火墙的日志、报警、主动反应能力有限 口随着新的攻击方法的层出不穷，防火墙的更新速度跟不上 口 多数黑客认为越过防火墙之后便没有安全屏障，但是不知道i d s 可记录他们的行为 由此可以看出，防火墙只是通过严格限制内部网络访闽的策略来保护系统而信息的限 制访问又与系统的易用性和功能性是不可调和的矛盾，因此入侵检测系统在不影响网络和系 统性能的前提下，合理而且必要的补充了防火墙技术，已成为网络安全领域不可缺少的组成 部分。图1 1 表示了入侵检测系统在个比较完整的网络安全防御体系中的地位。 引言 1 引言 入侵检测在网络安全领域中的地位已经越来越重要。协同网络安全领域的其他技术，入 侵检测已逐渐发挥出它特有的优势，保护着网络正常可靠的运行。随着网络的发展，基于网 络的计算机系统扮演着越来越重要的角色，网络环境中的信息安全问题已成为亟待解决的重 大问题，防火墙、病毒防范、加密认证、漏洞检测、数据恢复等技术只能解决各自领域的安 全问题，面对内部入侵者以及越来越新奇和复杂的攻击，这些技术已不能完全胜任，入侵检 测更好的补充了这些技术，成为完整的网络安全策略中的重要组成部分。 1 1 入侵检测的重要性 在技术角度，网络安全领域包括多项研究主题，如防火墙、病毒防范、加密认证、漏洞 检测、入侵检测、数据恢复等技术。在这些技术中，直接针对网络攻击的主要是防火墙和入 侵检测技术。防火墙是最常见的安全产品，技术已经相当成熟，它一般处于网络的边界，防 范来自外部网络的攻击；而入侵检测系统则处于内部网络，是目前研究的一个热点，也是本 论文中将要讨论的安全技术。防火墙主要是通过包过滤、应用级网关和代理服务器等技术在 内部网络和外部网络之间树起一道闸门，从而在端口、i p 地址等一些策略上限制外部主机 对内部网络的访问。本质上讲，防火墙仅仅是降低了系统和网络的暴露程度而并不是消除了 漏洞。攻击者旦成功地绕过防火墙，内部信任的网络就完全暴露给他，网络安全也就形同 虚设了。总之，已有的入侵防御技术，例如防火墙、认证( 密码、签名等) ，避免编程错误、 信息加密等技术已用来在第一线保护计算机系统。随着系统越来越复杂，只是这些入侵防御 技术烂不够的，因为系统中总是会出现可以被利用的弱点和漏洞，这是由于程序设计和编码 所造成的错误或者各种十分成熟的攻击技术导致。例如许多年以前就出现了“缓冲区溢出” 的漏洞，直到现在，由于编程错误致使该漏洞依然存在于最近发布的一些软件中。系统的易 用性和严格限制访问的策略总是一对不可调和的矛盾。这使得构造一个完全的系统是不可能 的。因此入侵检测作为保护计算机系统的第二道防线非常必要。 入侵检测系统能够在安全受到威胁之前实时地检测可能的攻击，从而为防火墙提供了一 种合理的补充，扩展了管理员的安全管理能力，包括监视、进攻识别和响应。八侵检测能在 对网络性能影响较小的情况下对网络进行监视，提供对内部攻击、外部攻击和误操作的实时 检测，成为完整的网络安全策略中的一个重要部分。 防火墙已经能够过滤掉部分非法的数据包，之所以在防火墙之外还要安装i d s 是因为： o入侵检测系统以监听方式工作，不会对网络或主机性能造成影响，因此检测机制可以做 到很复杂，功能也就要比防火墙强大 口 很多攻击是在内部网发起的，而处于网络边缘的防火墙对此无能为力 口 人多数防火墙的日志、报警、主动反应能力有限 口 随着新的攻击方法的层出不穷，防火墙的更新速度跟不上 口 多数黑客认为越过防火墙之后便没有安全屏障，但是不知道i d s 可记录他们的行为 由此可以看出，防火墙只是通过严格限制内部网络访闽的策略来保护系统而信息的限 制访问又与系统的易用性和功能性是不可调和的矛盾，因此入侵检测系统在不影响网络和系 统性能的前提下，合理而且必要的补充了防火墙技术，已成为网络安全领域不可缺少的组成 部分。图1 1 表示了入侵检测系统在个比较完整的网络安全防御体系中的地位。 1s f 言 图1 ，1 集成入侵检测的网络防御体礤 1 2 入侵检测面临的困难 入侵检测技术可以分为两种：误用检测和异常检测。误用检测方法试图把攻击建模成特 定豹模式( 特征字符串、规则等) ，然后扫描系统或捌络数据包以发现与既定横戏匹配的攻 击；而辩常检灏女g 认为入侵与用户或程序簸舜常佳斋饭强静关联，它的主要思糠就是建立被 监测对缘( 一般是操作系统或网络) 的行为活动的基线，然后标记那些与此基线相差很大的 异翥牙燕，郄霹糍静入授。 目前许多成熟的商业产品主要是采用基于误用的检测方法，即在网络数据包羊n 审计数据 中寻找模式，而这些模式袭征了特定攻击的靛名，所以利用匹配模式的方法即可知道发生了 凌壹事终并置辘潦楚静甄遂发生7 傍释竣拳，其蘸毽类觳与瘸毒扫疆。摄然嗣蠲这释方法进 行入侵检测效率高，误报率低，但是它强烈的依赖于模式，而这些模式又是提前根据已有的 攻击定义好的，这就决定了它的几点不足： 口不能检测出新的、未知的攻击或者已知攻击的变种 口 模式必须依靠经验和知识手动建立，这将是一项复杂、耗时而且容易出错的工作， o玫蠢类型静不断交像帮增多蠹接导蘩瓣库不断彩蔽，从而影嘛嚣蘸检蓑 | 的效率 虽然某些商业产品做了很多教进和努力，例如最著名的i s s 公司入侵检测产品 r e a l s e c u r e 就撬馁类钕瘾涛津懿撬簧孽痒及辩跫薪l 务豁应嚣最薪豹玫蠢，毽是遮蕊还是不是 以跟上新型未知攻击的出现速度以及无法适应不断聪新的攻击变种。 1 3 基于异常的入侵检测的优势 基于异常的入侵检溅不同于篓于误用的入侵检溯，它并不辛薯播特定的特征字符率，丽蹙 比较系统当前的活动与以前的活动如果发现异常，则报警或记录日志。这种检测方法基于 这榉一转缓设：黠系统瀑溺熬攻击娃缝涉及誉4 对系统异常豹搜髑。强她，入侵缝往可班通过 系统的辩常模式检测出来。以下几个经典的攻击例予证明了遮个假设： 口试撵密码蔼强行避入。进行此颈行为的入侵者必然有不弼予平常的行为，即燕子一般水 平的密码输入错误次数。 1s f 言 图1 ，1 集成入侵检测的网络防御体礤 1 2 入侵检测面临的困难 入侵检测技术可以分为两种：误用检测和异常检测。误用检测方法试图把攻击建模成特 定豹模式( 特征字符串、规则等) ，然后扫描系统或捌络数据包以发现与既定横戏匹配的攻 击；而辩常检灏女g 认为入侵与用户或程序簸舜常佳斋饭强静关联，它的主要思糠就是建立被 监测对缘( 一般是操作系统或网络) 的行为活动的基线，然后标记那些与此基线相差很大的 异翥牙燕，郄霹糍静入授。 目前许多成熟的商业产品主要是采用基于误用的检测方法，即在网络数据包羊n 审计数据 中寻找模式，而这些模式袭征了特定攻击的靛名，所以利用匹配模式的方法即可知道发生了 凌壹事终并置辘潦楚静甄遂发生7 傍释竣拳，其蘸毽类觳与瘸毒扫疆。摄然嗣蠲这释方法进 行入侵检测效率高，误报率低，但是它强烈的依赖于模式，而这些模式又是提前根据已有的 攻击定义好的，这就决定了它的几点不足： 口不能检测出新的、未知的攻击或者已知攻击的变种 口 模式必须依靠经验和知识手动建立，这将是一项复杂、耗时而且容易出错的工作， o玫蠢类型静不断交像帮增多蠹接导蘩瓣库不断彩蔽，从而影嘛嚣蘸检蓑 | 的效率 虽然某些商业产品做了很多教进和努力，例如最著名的i s s 公司入侵检测产品 r e a l s e c u r e 就撬馁类钕瘾涛津懿撬簧孽痒及辩跫薪l 务豁应嚣最薪豹玫蠢，毽是遮蕊还是不是 以跟上新型未知攻击的出现速度以及无法适应不断聪新的攻击变种。 1 3 基于异常的入侵检测的优势 基于异常的入侵检溅不同于篓于误用的入侵检溯，它并不辛薯播特定的特征字符率，丽蹙 比较系统当前的活动与以前的活动如果发现异常，则报警或记录日志。这种检测方法基于 这榉一转缓设：黠系统瀑溺熬攻击娃缝涉及誉4 对系统异常豹搜髑。强她，入侵缝往可班通过 系统的辩常模式检测出来。以下几个经典的攻击例予证明了遮个假设： 口试撵密码蔼强行避入。进行此颈行为的入侵者必然有不弼予平常的行为，即燕子一般水 平的密码输入错误次数。 1s f 言 图1 ，1 集成入侵检测的网络防御体礤 1 2 入侵检测面临的困难 入侵检测技术可以分为两种：误用检测和异常检测。误用检测方法试图把攻击建模成特 定豹模式( 特征字符串、规则等) ，然后扫描系统或捌络数据包以发现与既定横戏匹配的攻 击；而辩常检灏女g 认为入侵与用户或程序簸舜常佳斋饭强静关联，它的主要思糠就是建立被 监测对缘( 一般是操作系统或网络) 的行为活动的基线，然后标记那些与此基线相差很大的 异翥牙燕，郄霹糍静入授。 目前许多成熟的商业产品主要是采用基于误用的检测方法，即在网络数据包羊n 审计数据 中寻找模式，而这些模式袭征了特定攻击的靛名，所以利用匹配模式的方法即可知道发生了 凌壹事终并置辘潦楚静甄遂发生7 傍释竣拳，其蘸毽类觳与瘸毒扫疆。摄然嗣蠲这释方法进 行入侵检测效率高，误报率低，但是它强烈的依赖于模式，而这些模式又是提前根据已有的 攻击定义好的，这就决定了它的几点不足： 口不能检测出新的、未知的攻击或者已知攻击的变种 口 模式必须依靠经验和知识手动建立，这将是一项复杂、耗时而且容易出错的工作， o玫蠢类型静不断交像帮增多蠹接导蘩瓣库不断彩蔽，从而影嘛嚣蘸检蓑 | 的效率 虽然某些商业产品做了很多教进和努力，例如最著名的i s s 公司入侵检测产品 r e a l s e c u r e 就撬馁类钕瘾涛津懿撬簧孽痒及辩跫薪l 务豁应嚣最薪豹玫蠢，毽是遮蕊还是不是 以跟上新型未知攻击的出现速度以及无法适应不断聪新的攻击变种。 1 3 基于异常的入侵检测的优势 基于异常的入侵检溅不同于篓于误用的入侵检溯，它并不辛薯播特定的特征字符率，丽蹙 比较系统当前的活动与以前的活动如果发现异常，则报警或记录日志。这种检测方法基于 这榉一转缓设：黠系统瀑溺熬攻击娃缝涉及誉4 对系统异常豹搜髑。强她，入侵缝往可班通过 系统的辩常模式检测出来。以下几个经典的攻击例予证明了遮个假设： 口试撵密码蔼强行避入。进行此颈行为的入侵者必然有不弼予平常的行为，即燕子一般水 平的密码输入错误次数。 引言 口伪装：攻击者利用一个合法用户的帐号伪装登录成功，但是登录时间、源主机以及帐号 的登录类型可能会与该帐号的用户平常不同。除此之外，攻击者登录后的行为也与该帐 号的台法用户的行为也有很大的不同，例如他可能会花很多时间浏览目录以及执行查看 系统状态的命令，而合法用户也许平常只是进行程序开发，诸如编辑源代码编译链接程 序的工作。 口合法用户刺探：一个用户试图穿透操作系统的安全机制，他势必执行一些不同于平常的 程序和违反系统的保护机制而访问未授权的文件和程序。如果他成功了，他将会使用一 些平时未给他授权的命令和文件。 口 合法用户泄密t 一个试图泄漏敏感文档的用户也许会在一个特殊的时间登录或者把数据 传送到一个远程的不经常使用的打印机上。 口 特洛伊木马( t r o j a nh o r s e ) ：一般特洛伊木马程序总是隐藏的很深或者替换系统内的一 个程序但是不管怎样，它在c p u 使用时间、1 1 3 活动或者系统调用的指令序列方面都 会有显著不同。 口d o s 拒绝服务攻击；一个独占资源( 例如网络带宽) 的入侵者也许在资源使用方面有 着很异常的活动，而其他正常用户的资源使用率异常很少。 d e n n i n g 在1 9 8 5 年依据该假设例提出了第一个比较完整的入侵检测原型，这个i d s 的 原型虽然没有成为任何产品，但是却非常有理论价值，后来的异常检测系统都是在此模型上 应用各种方法进行研究。 异常检测的优势在于可以弥补误用检测带来的不足。误用检测最显著的缺点就是只能检 测已知的攻击，任何新的攻击或现有攻击的变种都不能被检测出来。当新的安全漏洞被发现 后，误用检测这种后反应的检测机制显然已经让攻击者利用漏洞很长一段时间了。而异常检 测最大的优点就是可以检测出新型的攻击、己知攻击的变种、与系统正常时的偏差而不管是 特权用户或者未授权的外部用户。 随着数据挖掘、神经网络的不断深入研究和逐步应用到异常检测系统中来，异常检测误 报率高的缺点也在不断改进，因此基于异常的检测技术越来越显示出它的优势。 1 4 当前研究现状 目前，国外许多公司、研究机构都在进行着异常检测的研究。大部分成熟商业产品型的 入侵检测系统大都采用和扩展了d e n n i n g 在1 9 8 5 年提出的异常检测模型基于统计方法 的模型。例如斯坦福研究院( s r i ) 研究并开发的e m e r a l d t 3 l ( m o n i t o r i n g e n a b l i n g r e s p o n s e s t oa n o m a l o u sl i v ed i s t u r b a n c e s ) 入侵检测系统使用了基于事件监控的异常检测技术，以检 测跨越大型网络的恶意行为。著名的开放源码的入侵检测系统s n o r t 就使用了基于统计的异 常检测的插件s p a d e l 4 1 ( s t a t i s t i c a lp a c k e ta n o m a l yd e t e c t i o ne n g i n e ) 。该插件使用基于 统计的技术和b a y e s i a n 网模型来检测那些隐蔽的端口扫描，在实际中已被证实卓有成效。 很多专业性的研究机构都在从事一些更前沿的方法的尝试。例如著名的乔治亚理工学院 ( g e o r g i ai n s t i t u t eo f t e c h n o l o g y ) 一直尝试把数据挖掘技术麻川到入侵检测中来，井j = i 通过 实验数据验证了其方法的优越性”j 。新墨西哥大学( u n i v e r s i t yo f n e wm e x i c o ) 进行了把生 物学的免疫学原理应用到计算机的入侵检测中来的研究 6 1 。某些研究机构也使用了神经网络 来进行异常检测1 7 】，此外还有规则推理f s 】、粗糙集1 9 】以及临时队列学习等方法。 引言 口伪装：攻击者利用一个合法用户的帐号伪装登录成功，但是登录时间、源主机以及帐号 的登录类型可能会与该帐号的用户平常不同。除此之外，攻击者登录后的行为也与该帐 号的台法用户的行为也有很大的不同，例如他可能会花很多时间浏览目录以及执行查看 系统状态的命令，而合法用户也许平常只是进行程序开发，诸如编辑源代码编译链接程 序的工作。 口合法用户刺探：一个用户试图穿透操作系统的安全机制，他势必执行一些不同于平常的 程序和违反系统的保护机制而访问未授权的文件和程序。如果他成功了，他将会使用一 些平时未给他授权的命令和文件。 口 合法用户泄密t 一个试图泄漏敏感文档的用户也许会在一个特殊的时间登录或者把数据 传送到一个远程的不经常使用的打印机上。 口 特洛伊木马( t r o j a nh o r s e ) ：一般特洛伊木马程序总是隐藏的很深或者替换系统内的一 个程序但是不管怎样，它在c p u 使用时间、1 1 3 活动或者系统调用的指令序列方面都 会有显著不同。 口d o s 拒绝服务攻击；一个独占资源( 例如网络带宽) 的入侵者也许在资源使用方面有 着很异常的活动，而其他正常用户的资源使用率异常很少。 d e n n i n g 在1 9 8 5 年依据该假设例提出了第一个比较完整的入侵检测原型，这个i d s 的 原型虽然没有成为任何产品，但是却非常有理论价值，后来的异常检测系统都是在此模型上 应用各种方法进行研究。 异常检测的优势在于可以弥补误用检测带来的不足。误用检测最显著的缺点就是只能检 测已知的攻击，任何新的攻击或现有攻击的变种都不能被检测出来。当新的安全漏洞被发现 后，误用检测这种后反应的检测机制显然已经让攻击者利用漏洞很长一段时间了。而异常检 测最大的优点就是可以检测出新型的攻击、己知攻击的变种、与系统正常时的偏差而不管是 特权用户或者未授权的外部用户。 随着数据挖掘、神经网络的不断深入研究和逐步应用到异常检测系统中来，异常检测误 报率高的缺点也在不断改进，因此基于异常的检测技术越来越显示出它的优势。 1 4 当前研究现状 目前，国外许多公司、研究机构都在进行着异常检测的研究。大部分成熟商业产品型的 入侵检测系统大都采用和扩展了d e n n i n g 在1 9 8 5 年提出的异常检测模型基于统计方法 的模型。例如斯坦福研究院( s r i ) 研究并开发的e m e r a l d t 3 l ( m o n i t o r i n g e n a b l i n g r e s p o n s e s t oa n o m a l o u sl i v ed i s t u r b a n c e s ) 入侵检测系统使用了基于事件监控的异常检测技术，以检 测跨越大型网络的恶意行为。著名的开放源码的入侵检测系统s n o r t 就使用了基于统计的异 常检测的插件s p a d e l 4 1 ( s t a t i s t i c a lp a c k e ta n o m a l yd e t e c t i o ne n g i n e ) 。该插件使用基于 统计的技术和b a y e s i a n 网模型来检测那些隐蔽的端口扫描，在实际中已被证实卓有成效。 很多专业性的研究机构都在从事一些更前沿的方法的尝试。例如著名的乔治亚理工学院 ( g e o r g i ai n s t i t u t eo f t e c h n o l o g y ) 一直尝试把数据挖掘技术麻川到入侵检测中来，井j = i 通过 实验数据验证了其方法的优越性”j 。新墨西哥大学( u n i v e r s i t yo f n e wm e x i c o ) 进行了把生 物学的免疫学原理应用到计算机的入侵检测中来的研究 6 1 。某些研究机构也使用了神经网络 来进行异常检测1 7 】，此外还有规则推理f s 】、粗糙集1 9 】以及临时队列学习等方法。 引言 1 5 论文大纲 本论文分为七个部分，其具体结构为：第一章介绍了入侵检测的重要性、面临的困难以 及系统设计的目标。第二章介绍了入侵检测系统的相关知识；第三章提出了可扩展的异常检 测系统的体系结构以及总体设计框架；第四章详细叙述了该系统各个模块的的具体设计与实 现：第五章介绍系统所使用的几个异常检测算法并辅以实验结果的说明；第五章对本系统进 行了总结，并提出了系统今后的研究方向。 4 第2 章入侵检测技术 2 1 网络安全综述 第2 章入侵检测技术 随着网络的不断发展，网络的安全问题也变得越来越重要，总的来说，计算机和网络的 安全性包括以下方面： 口可用性( a v a i l a b i l i t y ) ：保证用户可以正常访问系统资源。 口 完整性( i n t e g r i t y ) ：保证系统资源只能被授权用户修改，接收到的是原始数据。 口 真实性( a u t h e n t i c i t y ) ：正确识别消息的来源，保证连接的可靠性。 口机密性( c o n f i d e n t i a l i t y ) ：保证系统中存储或传输的数据只能被授权用户访问。 为了防止网络攻击，首先应该对网络攻击有所了解，目前网络攻击的手段多种多样，下 面就是一些常见的网络攻击手段，这些方式在真正攻击中经常是结合运用的。 口 信息收集：通过收集对方信息，据此得知目标是否有缺陷和应该采取的攻击方法。信息 收集的方法有很多，例如：扫描、利用f i n g e r 协议等。 口 拒绝服务攻击：拒绝服务攻击是攻击目标喇络，使之丧失可用性为目的的攻击方法，这 是目前很常用且很难防范的一种攻击方式，具体方法包括i c m p 广播报文攻击 ( s m u r f i n g ) 、碎片攻击( f r a g m e n t a t t a c k s ) 、t c p 连接请求重置位攻击 ( s y n r s tf l o o d i n g ) 等等。 口恶意程序；恶意程序主要指置于系统中后会产生不良影响的程序，包括：逻辑炸弹 ( l o g i c a lb o m b ) 、后门( b a c k d o o r ) 、病毒( v i r u s ) 、特洛伊木马( t r o j a n ) 等。 口漏洞攻击：根据操作系统和应用程序( 如l i s ) 中存在的漏洞实施攻击，包括强行密码 猜测、缓冲区溢出等。 口i p 数据包攻击：利用精心制作的数据包来逃避检查或者骗取信任等，包括端口欺骗、碎 片攻击等。 网络安全是个较广泛的概念，针对网络安全中的具体问题，出现了多种网络安全技术。 从技术层面上讲，网络安全策略中多采用防火墙、加密认证、入侵检测、漏洞检测、病毒防 护和数据恢复等技术，这几种技术的综合应用，可以形成一个完善的防御体系，常见的安全 体系如图2 1 所示。下面分别对这些技术作简单介绍。 图2 1 完整的安全防御体系结构图 口 防火墙t 它是保护网络安全的一项常见而重要的措施，它的主要目的是控制和保护内部 网络与i n t e m e t 之间的连接。它能够跟踪流经它的所有通信信息，并访问、分析和利用 - 5 第2 章入侵检测技术 2 1 网络安全综述 第2 章入侵检测技术 随着网络的不断发展，网络的安全问题也变得越来越重要，总的来说，计算机和网络的 安全性包括以下方面： 口可用性( a v a i l a b i l i t y ) ：保证用户可以正常访问系统资源。 口 完整性( i n t e g r i t y ) ：保证系统资源只能被授权用户修改，接收到的是原始数据。 口 真实性( a u t h e n t i c i t y ) ：正确识别消息的来源，保证连接的可靠性。 口机密性( c o n f i d e n t i a l i t y ) ：保证系统中存储或传输的数据只能被授权用户访问。 为了防止网络攻击，首先应该对网络攻击有所了解，目前网络攻击的手段多种多样，下 面就是一些常见的网络攻击手段，这些方式在真正攻击中经常是结合运用的。 口 信息收集：通过收集对方信息，据此得知目标是否有缺陷和应该采取的攻击方法。信息 收集的方法有很多，例如：扫描、利用f i n g e r 协议等。 口 拒绝服务攻击：拒绝服务攻击是攻击目标喇络，使之丧失可用性为目的的攻击方法，这 是目前很常用且很难防范的一种攻击方式，具体方法包括i c m p 广播报文攻击 ( s m u r f i n g ) 、碎片攻击( f r a g m e n t a t t a c k s ) 、t c p 连接请求重置位攻击 ( s y n r s tf l o o d i n g ) 等等。 口恶意程序；恶意程序主要指置于系统中后会产生不良影响的程序，包括：逻辑炸弹 ( l o g i c a lb o m b ) 、后门( b a c k d o o r ) 、病毒( v i r u s ) 、特洛伊木马( t r o j a n ) 等。 口漏洞攻击：根据操作系统和应用程序( 如l i s ) 中存在的漏洞实施攻击，包括强行密码 猜测、缓冲区溢出等。 口i p 数据包攻击：利用精心制作的数据包来逃避检查或者骗取信任等，包括端口欺骗、碎 片攻击等。 网络安全是个较广泛的概念，针对网络安全中的具体问题，出现了多种网络安全技术。 从技术层面上讲，网络安全策略中多采用防火墙、加密认证、入侵检测、漏洞检测、病毒防 护和数据恢复等技术，这几种技术的综合应用，可以形成一个完善的防御体系，常见的安全 体系如图2 1 所示。下面分别对这些技术作简单介绍。 图2 1 完整的安全防御体系结构图 口 防火墙t 它是保护网络安全的一项常见而重要的措施，它的主要目的是控制和保护内部 网络与i n t e m e t 之间的连接。它能够跟踪流经它的所有通信信息，并访问、分析和利用 - 5 第2 章入侵检测技术 通信信息、通信状态、应用状态等，做出相应的处理。 口入侵检测系统：入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m i d s ) 可通过对网络或系统 的状态和行为的检测，分析出非授权的网络访问和恶意的网络行为，迅速发现入侵行为 和企图，为安全防范提供有效的手段 口 加密认证：加密的作用是保护数据在存储和传输过程中的安全性，它对用户数据采用一 定的加密算法，使得源数据发生变化，防止非法用户对其的使用；加密技术的关键在于 加密算法的实现，目前加密方法主要有私钥和公钥两种技术。认证技术则主要用于身份 验证，通过认证算法对数据进行处理，可以使接收方确认发送方的身份，这种技术包括 数字签名等。 口漏洞检溅系统t 漏洞评估系统是一个漏洞和风险评估工具。用于发现、发掘和报告网络 安全漏洞。一个出色的安全评估系统不仅能够检测和报告漏洞而且还可以发现漏洞发 生在什么地方以及发生的原因。它在系统间分享信息并继续探测各种漏洞直到发现所有 的安全漏洞；还可以通过发掘漏洞以提供更高的可信度以确保被检测出的漏洞是真正的 漏洞。 口 防病毒软件：防病毒软件的应用也是多层安全防护的一项必要措施。它是专门为防止已 知病毒感染信息系统而设计的。它的针对性很强，但是需要不断更新，以跟上病毒技术 的发展。 口 恢复技术：恢复技术是网络安全体系中的最后一个保障技术，它是一种补救手段，以求 尽量减少损失包括系统恢复和数据恢复两方面内容：系统恢复是指去除网络攻击所造 成的影响，如删除后门、堵截漏洞等；数据恢复则是指恢复被替换掉或者损坏的数据内 容。 在上述体系中，防火墙、加密认证、病毒防范等技术比较成熟，相对而言，入侵检测系 统是比较新的领域，也是目前网络安全研究中的熟点，它可作为防火墙的合理补充，识别防 火墙通常不能识别的攻击，如来自企业内部的攻击，以及主机中的非法行为；在发现入侵企 图之后能够采取必要的措施。 2 2 入侵检测介绍 2 2 1 定义 当入侵发生时，计算机系统的安全就会受到威胁。“入侵”被定义为“任何企图危及资 源的完整性、机密性和可用性的动作” 1 1 10 入侵检测就是通过对网络或主机系统的状态和 活动的检测分析出非授权的网络访问和恶意的网络行为，迅速发现入侵行为和企图，为安 全防范提供有效的手段，而入侵检测系统就是实现入侵检测功能的软硬件系统。图2 2 描述 了一种入侵检测系统的部署方式。 第2 章入侵检测技术 通信信息、通信状态、应用状态等，做出相应的处理。 口入侵检测系统：入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m i d s ) 可通过对网络或系统 的状态和行为的检测，分析出非授权的网络访问和恶意的网络行为，迅速发现入侵行为 和企图，为安全防范提供有效的手段 口 加密认证：加密的作用是保护数据在存储和传输过程中的安全性，它对用户数据采用一 定的加密算法，使得源数据发生变化，防止非法用户对其的使用；加密技术的关键在于 加密算法的实现，目前加密方法主要有私钥和公钥两种技术。认证技术则主要用于身份 验证，通过认证算法对数据进行处理，可以使接收方确认发送方的身份，这种技术包括 数字签名等。 口漏洞检溅系统t 漏洞评估系统是一个漏洞和风险评估工具。用于发现、发掘和报告网络 安全漏洞。一个出色的安全评估系统不仅能够检测和报告漏洞而且还可以发现漏洞发 生在什么地方以及发生的原因。它在系统间分享信息并继续探测各种漏洞直到发现所有 的安全漏洞；还可以通过发掘漏洞以提供更高的可信度以确保被检测出的漏洞是真正的 漏洞。 口 防病毒软件：防病毒软件的应用也是多层安全防护的一项必要措施。它是专门为防止已 知病毒感染信息系统而设计的。它的针对性很强，但是需要不断更新，以跟上病毒技术 的发展。 口 恢复技术：恢复技术是网络安全体系中的最后一个保障技术，它是一种补救手段，以求 尽量减少损失包括系统恢复和数据恢复两方面内容：系统恢复是指去除网络攻击所造 成的影响，如删除后门、堵截漏洞等；数据恢复则是指恢复被替换掉或者损坏的数据内 容。 在上述体系中，防火墙、加密认证、病毒防范等技术比较成熟，相对而言，入侵检测系 统是比较新的领域，也是目前网络安全研究中的熟点，它可作为防火墙的合理补充，识别防 火墙通常不能识别的攻击，如来自企业内部的攻击，以及主机中的非法行为；在发现入侵企 图之后能够采取必要的措施。 2 2 入侵检测介绍 2 2 1 定义 当入侵发生时，计算机系统的安全就会受到威胁。“入侵”被定义为“任何企图危及资 源的完整性、机密性和可用性的动作” 1 1 1 0 入侵检测就是通过对网络或主机系统的状态和 活动的检测分析出非授权的网络访问和恶意的网络行为，迅速发现入侵行为和企图，为安 全防范提供有效的手段，而入侵检测系统就是实现入侵检测功能的软硬件系统。图2 2 描述 了一种入侵检测系统的部署方式。 第2 章入侵检测技术 通信信息、通信状态、应用状态等，做出相应的处理。 口入侵检测系统：入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m i d s ) 可通过对网络或系统 的状态和行为的检测，分析出非授权的网络访问和恶意的网络行为，迅速发现入侵行为 和企图，为安全防范提供有效的手段 口 加密认证：加密的作用是保护数据在存储和传输过程中的安全性，它对用户数据采用一 定的加密算法，使得源数据发生变化，防止非法用户对其的使用；加密技术的关键在于 加密算法的实现，目前加密方法主要有私钥和公钥两种技术。认证技术则主要用于身份 验证，通过认证算法对数据进行处理，可以使接收方确认发送方的身份，这种技术包括 数字签名等。 口漏洞检溅系统t 漏洞评估系统是一个漏洞和风险评估工具。用于发现、发掘和报告网络 安全漏洞。一个出色的安全评估系统不仅能够检测和报告漏洞而且还可以发现漏洞发 生在什么地方以及发生的原因。它在系统间分享信息并继续探测各种漏洞直到发现所有 的安全漏洞；还可以通过发掘漏洞以提供更高的可信度以确保被检测出的漏洞是真正的 漏洞。 口 防病毒软件：防病毒软件的应用也是多层安全防护的一项必要措施。它是专门为防止已 知病毒感染信息系统而设计的。它的针对性很强，但是需要不断更新，以跟上病毒技术 的发展。 口 恢复技术：恢复技术是网络安全体系中的最后一个保障技术，它是一种补救手段，以求 尽量减少损失包括系统恢复和数据恢复两方面内容：系统恢复是指去除网络攻击所造 成的影响，如删除后门、堵截漏洞等；数据恢复则是指恢复被替换掉或者损坏的数据内 容。 在上述体系中，防火墙、加密认证、病毒防范等技术比较成熟，相对而言，入侵检测系 统是比较新的领域，也是目前网络安全研究中的熟点，它可作为防火墙的合理补充，识别防 火墙通常不能识别的攻击，如来自企业内部的攻击，以及主机中的非法行为；在发现入侵企 图之后能够采取必要的措施。 2 2 入侵检测介绍 2 2 1 定义 当入侵发生时，计算机系统的安全就会受到威胁。“入侵”被定义为“任何企图危及资 源的完整性、机密性和可用性的动作” 1 1 10 入侵检测就是通过对网络或主机系统的状态和 活动的检测分析出非授权的网络访问和恶意的网络行为，迅速发现入侵行为和企图，为安 全防范提供有效的手段，而入侵检测系统就是实现入侵检测功能的软硬件系统。图2 2 描述 了一种入侵检测系统的部署方式。 第2 章入侵检测技术 2 2 3 组成要素 图2 2i d s 的一种部鬻方式 入馁捡溅基予一个莺溪前提；嗣户或程序静活动燕可蕊测酶，例如通过系统调用；而强 更重要的是，正常和入侵活动是可隧分的。因此入侵检测包含以下要素： 口资潞：舀标系统上被保护的费潦，饲翔黼络月务、舔户襁号、系统内核等 口 模溅：用来标识影响资源的活动是正常还是非法的 。技拳；用来熟观测到敢活动和投建立的模型挥比较+ 如暴活动不正常就被标识为入役。 结合这些组成要素，入侵检测系统工作的粗略步骤一般如下： l 。蓿纛唆囊 2 检涌分析 3 响应 2 2 。4 分类 入侵检测系统有很多种分类方法，其中i b m 研究院的h d e b a r 等人曾经总结过一种最 为详缨的分类标攘”2 】，分类静辕摄涉及垂捡测方法 劳髻，误蠲) 、检测瑟瑟行为、审诗添、 检测范激以及使糟频率等多项因素。 众多的分类方法中有两种最为常用。第一种是根摇信息来源可以分为基于网络和基于主 撬豹a 援捡测系统，僵是依嚣蘸静趋势来看，萃纯袄赣其中一静熬系统如不多冕。鑫予本论 文得到的数据大部分是来自主机的，因此本文讨论的方法主要是基于主机的审计记录，但魁 同样适朋于来自嘲络的数摄。本论文中对这两类入侵检测系统并不作严格区分。 第