（计算机系统结构专业论文）基于免疫神经网络和漏桶算法的入侵检测系统研究.pdf

顾l j 学位论文 摘要 随着计算机技术和网络技术的迅猛发展，计算机系统已经从独立的主机发展 到复杂的、互联的开放式系统，入侵检测的问题变得越来越突出。生物免疫系统 基本功能是识别自我和非我，并会清除非我，这与入侵检测系统有着许多相似之 处，也为入侵检测系统提供了天然的研究模版，生物免疫系统中的自适应，自学 习，自组织的主动防御过程，为入侵检测提供了新的思路，传统入侵检测方法已 经不能满足现代复杂网络安全需要，如何对计算机和网络中的非法行为进行主动 防御和有效抑制，成为当今计算机安全亟待解决的重要问题。 本文建立一种基于b p 和漏桶算法混合神经网络模型的入侵检测系统用于异 常检测和误用检测。本模型具有记忆功能可以有效的检测离散而又相联系的协作 攻击行为。b p 神经网络实现了一个实时的模式分类器，而漏桶算法以b p 神经 网络的输出作为输入，并实现了对近期的事件的记忆功能。本文建立的混合模型 具有模块化的结构，具有很强的可扩展性和复用性。基于此混合模型的入侵检测 系统使用d a r p a 数据集进行训练和测试评估，使用r o c 曲线对系统的性能进 行分析。经实验证明基于此混合模型的入侵检测系统可以有效的提高检测率、降 低误报率和漏报率。 关键词入侵检测；人工免疫；b p 神经网络；系统调用 a b s t r a c t w 1 t ht h er a p i dd e v e l o p m e n to fc o m p u t e ra n dn e t w o r k t e c h n o l o g i e s ，c o m p u t e r s y s t e mh a sb e e nd e v e l o p e dt oac o m p l i c a t e da n di n t e r c o n n e c t e d o p e n i n gs y s t e m ， w h l c hr e s u l t si nm o r es e r i o u s p r o b l e m s o fi n t r u s i o nd e t e c t i o n t h eb a s i cf u n c t i o no f b l o i 0 9 1 c a ll m m u n es y s t e mi st or e c o g n i z es e l fa n dn o n s e l f ， a n dt h e nt oc l a s s i f ya n d e l i m i n a t en o n s e l f , w h i c hh a sal o to fs i m i l a r i t i e s w i t hi d ss y s t e m ，a n di t m a k et h e l m m u n es y s t e mo f f e ran a t u r a lr e s e a r c ht e m p l a t ef o ri n t r u s i o n d e t e c t i o n b i o l o g i c a l 蛐m u n es y s t e mo fa d a p t i v e ，s e l f - l e a r n i n g ，s e l f - o r g a n i z a t i o n p r o c e s so fa c t i v ed e f e n s e f o rt h ei n t r u s i o nd e t e c t i o nt o p r o v i d ean e ww a yo ft h i n k i n g ，t r a d i t i o n a li n t r u s i o n d e t e c t l o nm e t h o d sc a nn o l o n g e rm e e tt h en e e d so fam o d e r nc o m p l e xn e t w o r k s e c u n t y , h o w t 0n e t w o r kc o m p u t e r sa n d i l l e g a la c t sa c t i v ea n de f f e c t i v ed e f e n s e s u p p r e s s l o n ，c o m p u t e rs e c u r i t yh a sb e c o m ea ni m p o r t a n tp r o b l e md e m a n d i n gp r o m p t t h eh y b r i db pa n dl e a k yb u c k e tn e u r a ln e t w o r k m o d e lt h a tc a nb ee m p l o y e df o r b o t na n o m a l yd e t e c t i o na n dm i s u s ed e t e c t i o ni s p r e s e n t e di nt h i sp a p e r t h ei d s s u s l n gt h eh y b r i dn e u r a ln e t w o r kc a n d e t e c t t e m p o r a l l yd i s p e r s e da n dp o s s i b l y c o l l a b o r a t i v ea r a c k s e f f e c t i v e l yb e c a u s eo fi t sm e m o r yo fp a s t e v e n t s t h eb p n e t w o r ki s e m p l o y e da sar e a l t i m ep a t t e r nc l a s s i f i c a t i o na n dt h el e a k yb u c k e ti s e m p l o y e dt or e s t o r et h em e m o r yo fp a s te v e n t s t h eo u t p u t so fb pn e t w o r ki s t h e 1 n p u t so l ：t h el e a k yb u c k e t t h ei d s su s i n gt h eh y b r i dn e u r a ln e t w o r ka r ee v a l u a t e d a g a l n s tt h el m r u s i o nd e t e c t i o ne v a l u a t i o nd a t as p o n s o r e db yu s d e f c n s ea d v a n c e d k e s e a r c hp r o j e c t s a g e n c y ( d a r p a ) e x p e r i m e n t a lr e s u l t sa r ep r e s e n t e di nr o c c u r v e s e x p e r i m e n ts h o w si d s s u s i n gt h i sh y b r i dn e u r a ln e t w o r ki m p r o v et h e d e t e c t i o nr a t ea n dd e c r e a s ef a l s ep o s i t i v er a t e - e f f e c t i v e l y k e yw o r d si n t r u s i o nd e t e c t i o n ；a r t i f i c i a li m m u n e ；b p n e t w o r k ；s y s t e mc a l l - l i 硕i ：学位论文 第1 章绪论 1 1 课题的背景和意义 1 1 1 网络安全的现状 随着i n t e m e t 的飞速发展，信息技术在政治、经济和日常生活的方方面面都 展现了巨大的魅力。c n n i c 发布了第2 1 次中国互联网发展状况统计报告一一 中国互联网络发展状况统计报告l l 】。该报告显示：截至2 0 0 7 年1 2 月，网民 数已达到2 1 亿人。中国网民数增长迅速，2 0 0 7 年一年增加了7 3 0 0 万，年增长 率为5 3 3 。从以上数据表明，互联网已经与人们的日常生活息息相关。随着互 联网的不断发展，网络安全作为一个无法回避的问题呈现在人们面前。 随着计算机网络知识的普及，攻击者越来越多，知识日趋成熟，攻击工具与 手法日趋复杂多样，单纯的防火墙策略已经无法满足对安全高度敏感的部门需 要，网络的防卫必须采用一种纵深的、多样的手段。同时，网络环境也变得越来 越复杂，需要不断升级、补漏的系统使得网络管理员的工作不断加重，不经意的 疏忽便有可能造成安全的重大隐患。 在互联网飞速发展的同时，信息安全越来越受到重视。加强信息安全是目前 运营和维护网络生态环境的关键。必须采取各种可能的手段保护网络世界的信息 安全。而入侵检测系统作为安全防御的最后一道防线，有效地弥补了传统防护技 术的缺陷。 于是，入侵检测系统成为了安全市场上新的热点，不仅越来越受到人们的关 注，而且已经在各种不同的环境中发挥作用 所谓网络安全就是指网络系统的硬件、软件及其系统中的数据受到保护，不 因偶然的或者恶意的原因而遭到破坏、更改、泄露，系统可以连续可靠正常地运 行，网络服务亦不被中断。也就是说，计算机网络的安全性是由数据的安全性、 系统的安全性和内部管理人员的安全意识等几部分组成。 攻击方式有很多种。一般来讲，攻击总是利用“系统置的缺陷 、“操作系统 的安全漏洞”或“通信协议的安全洞 来进行的。 这些攻击大概可以划分为以下几类： ( 1 ) 拒绝服务攻击：一般情况下，拒绝服务攻击是通过使被攻击对象( 通常 是工作站或重要服务器) 的系统关键资源过载，从而使被攻击对象停止部分或全 部服务。目前已知的拒绝服务攻击就有几百种，它是最基本的入侵攻击手段，也 是最难对付的入侵攻击之一。典型的拒绝服务攻击有s y nf 1o o d 攻击、p i n g f l o o d 攻击、l a n d 攻击等。 ( 2 ) 非授权访问尝试：攻击者对被保护文件进行读、写或执行的尝试。 基于免疫神经| 】c 】4 络和漏桶算法的入侵伶测系统研究 ( 3 ) 探测攻击：在连续的非授权访问尝试过程中，攻击者为了获得网络内部 的信息进行攻击尝试。典型的包括s y n 扫描、端口扫描和i p 半途扫描等。 1 1 2 网络安全的防范技术 由于网络面临上面描述的种种威胁，使得网络管理人员不得不采取多种网络 安全措施补救安全漏洞、保障系统安全。当前采用较多的网络安全技术：数据加 密技术、访问控制术、认证技术、数据完整性控制技术、漏洞扫描技术、防火墙 技术和入侵检测技术等【2 1 。 ( 1 ) 数据加密技术 所谓加密是将一个信息经过加密钥匙及加密函数转换，变成无意义的密文， 接收方则将密文经过解密函数、解密钥匙还原成明文。加密技术是一种最基本的 安全机制，它能防止息被非法读取。数据加密是保护数据的最基本的方法，是一 种在网络环境中对抗被动攻击行之有效的安全机制。但这种方法只能防止第三者 获取真实数据，仅解决了安全问题的一方面，并且加密技术也不是牢不可破的。 一般来说，数据加密技术分为对称型加密、不对称型加密和不可逆加密等3 类。 对称型加密技术使用单个密钥对数据进行加密和解密，其特点是计算量小、 加密效率高，这类算法在分布式系统上使用较为困难，使用成本较高，安全性能 也不易保证，这类算法的代表算法是d e s 算法。 不对称型加密算法也称公开密钥算法，其特点是有两个密钥( 即公开密钥和 私有密钥) ，只有二者搭配使用才能完成加密和解密的全过程。由于不对称算法 拥有两个密钥，因此特别适用于分布式系统中的数据加密，在i n t e r n e t 中得到了 广泛应用。这类算法的代表是r s a 算法和d s a 算法。 不可逆加密算法的特征是加密过程不需要密钥，且经过加密的数据无法被解 密，只有同样的输入数据，经过同样的不可逆加密算法才能得到相同的加密数 据。不可逆加密算法不存在密钥保管和分发问题，适合在分布式网络系统上使 用，但因其加密计算工作量相当大，通常用于数据量有限情形下的加密。这类算 法的代表是r s a 公司发明的m d 5 算法。 实际应用中常采用d e s 与r s a 的混合方法，即将d e s 用于明文的加密， 而将r s a 用于d e s 密钥的加密，这样既利用d e s 速度快的特点加密j f 文，又 利用了r s a 公开钥的特点解决密钥分配的难题。 ( 2 ) 访问控制技术 在计算机系统中，安全机制的核心是访问控制。访问控制技术按照事先确定 的规则决定主体对客体的访问是否合法。它要确定合法用户对哪些系统资源享有 何种权限、可进行什么类型的访问操作，防止非法用户进入计算机系统和合法用 户非法使用系统资源。当一个主体试图非法使用一个未经授权使用的客体时，访 问控制将拒绝这一企图，并向审计跟踪系统报告。若系统具有安全控制策略和保 硕上学位论文 护机制，便可将非法入侵者拒之门外；否则，非法入侵者便可攻破设防获取资 源。访问控制是维护系统运行安全、保护系统资源的重要技术手段。访问控制技 术的实现一般有4 种策略：程序权限限制、用户权限限制、文件属性限制和留痕 技术。 ( 3 ) 认证技术 认证就是将特定实体从任意实体的集合中识别出来的行为。它以交换信息的 方式来确认实体的身份。它是进行访问控制必不可少的条件，因为如果不知道用 户是谁，就无法判断用户的访问是否合法。认证的技术主要有以下几个： 使用实体的特征或实体所有的物件的技术：如指纹和身份卡。 口令技术：一种简单有效的资格审查技术，以口令作为鉴别依据，通过核 对口令来确认用户身份。一般来说，口令由访问者提供，由被访问者检测验证。 安全协议技术：收发双方根据事先约定的协议进行鉴别交换。 密码技术：将交换的数据加密，只有合法的用户才能解密，得到有意义的 明文。 ( 4 ) 数据完整性控制技术 4 ； 数据完整性控制技术是指能识别有效数据的一部分或全部信息被篡改的技 术。数据完整性控制包括文件系统完整性控制及网络传输信息的完整性控制。 文件系统完整性控制检测系统关键应用程序、重要数据的完整性，以免被非。 法修改。其工作过程是：首先在系统未受到入侵时建立系统中关键文件的数据 库，然后定期或者在需要的时候对文件系统进行审核，并将审核结果与最初的数 据库对比，以检查文件是否有异常变化。 对网络传输信息的完整性控制可通过报文认证和通信完整性控制来实现。报 文认证是将报文各字段( 域) 通过一定的操作组成一个约束值，称为该报文的完 整性检测向量i c v ，将它与数据封装在一起进行加密。接收方收到数据后解密并 计算i c v ，若与明文中的i c v 字段不同，则认为此报文无效。通信完整性控制 是为了防止破坏者删除或添加报文，在每个报文中加入该报文的序列号、报文生 成时间等信息，目的端将加密报文解密后只接收所期望序列号的报文。数据完整 性控制技术可发现数据的非法修改，从而使用户不会被非法数据所欺骗。 ( 5 ) 安全漏洞扫描技术 漏洞扫描是一种自动检测远程或本地主机安全性弱点的技术，通过使用漏洞 扫描器，系统管理员能够发现所维护的服务器的各种端口的分配、提供的服务、 服务软件版本和这些服务及软件呈现在上的安全漏洞，为修补漏洞打下基础。 漏洞扫描器可分为两种类型：网络漏洞扫描器( n e t w o r ks c a n n e r ) 和主机 漏洞扫描器( h o s ts c a n n e r ) 。网络漏洞扫描器是指基于远程检测目标网络和主机 系统漏洞的程序，如提供网络服务、后门程序、密码破解和阻断服务等的扫描测 基于免疫神绛网络和漏桶算法的入侵枪测系统研究 试。主机漏洞扫描器是指针对操作系统内部进行的扫描，如：u n i x 、n t 、 l i n u x 系统日志文件分析，可以弥补网络型安全漏洞扫描器只从外面通过网络检 查系统安全的不足。除了上述二大类的扫描器外，还有一种专门针对数据库作安 全漏洞检查的扫描器，主要功能为找出不良的密码设定、过期密码设定、侦测攻 击行为、关闭久未使用的帐户，而且能追踪登录期间的限制活动等。 ( 6 ) 防火墙技术 防火墙是指安装在内部网络与外部网络之间或者网络与网络之间的可以限制 相互访问的一种安全保护措施。防火墙是在被保护网络周边建立的，分隔被保护 网络与外部网络的系统，它在内部网与外部网之间形成了一道安全保护屏障。防 火墙作为一种边界安全，能够有效地保护网络内部的安全，并在保护网络安全中 起到了重要的作用。 防火墙技术是通过对网络作拓扑结构和服务类型上的隔离来加强网络安全的 一种手段，它应该是不同网络之间的惟一出入口。其目的是保护一个网络不受来 自另一个网络的攻击。其特征是通过在网络边界上建立相应的网络通信监控系 统，根据制定的安全策略，进行监测、限制或更改跨越防火墙的数据流，尽可能 地对外部网络屏蔽有关被保护网络的信息和结构，实现对网络的安全保护，降低 网络安全的风险。它的保护对象是网络中有明确闭合边界的一个网段，防范对象 则是来自被保护网段外部的对网络安全的威胁。防火墙技术是一种被动式防御的 访问控制技术。 ( 7 ) 入侵检测技术 入侵检测系统是从计算机网络系统中的关键点收集信息，分析这些信息，并 跟据这些信息检查网络中是否有违反安全策略的行为和遭到袭击的迹象。入侵检 测作为一种积极主动的安全防护技术，提供了对内部攻击、外部攻击和误操作的 实时保护，在网络系统受到入侵之前拦截和阻止入侵。如果说防火墙是大厦的防 护门、电子锁，那么入侵检测系统就是大厦的监视系统。入侵检测系统( i d s ) 具有实时性、动态检测和主动防御为特点，有效弥补了其它静态防御工具的不 足。入侵检测系统的主要功能有： 监测并分析用户和系统的活动； 核查系统配置和漏洞； 评估系统关键资源和数据文件的完整性； 识别己知的攻击行为； 统计分析异常行为： 操作系统日志管理，并识别违反安全策略的用户活动。 1 1 3 入侵检测系统的必要性 随着互联网技术的飞速发展，网络的结构变得越来越复杂，网络安全也变得 硕i 二学位论文 日益重要和复杂。一个健全的网络信息系统安全方案应该包括防护( p r o t e c t ) 、检 测( d e t e c t ) 、反应( r e a c t ) 和恢复( r e c o v e r y ) 4 个层面【2 】。目前经常使用的安全技术主 要有防火墙、防病毒软件、用户认证、加密等技术属于防护层面的措施，也是多 年来维护信息系统安全时常用的安全技术。然而，近年来随着各种网络安全事件 的发生，使得人们越来越清醒地认识到仅仅依靠现有的防护措施来维护系统安全 是远远不够的。入侵检测是一种从更深层次上进行主动网络安全防御措施，它不 仅可以通过监测网络实现对内部攻击、外部入侵和误操作的实时保护，有效地弥 补防火墙的不足，而且能结合其它网络安全产品，对网络安全进行全方位的保 护，具有主动性和实时性的特点。 1 2 入侵检测系统概述 1 2 1 入侵检测系统的概念 系统的安全特性主要包括：机密性、完整性和可用行。而入侵就是指任何危 及资源的完整性、机密性和可用性的活动。入侵检测( i n t r u s i o nd e t e c t i o n ) ，是 指对入侵行为的发现，它通过在计算机网络或计算机系统中的若干关键点收集信 息并对收集到的信息进行分析，从而判断网络或者系统中是否有违反安全策略的，a 行为和被攻击的迹象，如果在特定的网络环境中发现和识别未经授权的或恶意的 攻击和入侵，并对此做出反应的过程。 入侵检测是一种主动的网络安全防御措施，它不仅可以通过监测网络实现对 内部攻击、外部攻击和误操作的实时保护，有效地弥补防火墙的不足，而且还能 结合其它网络安全产品，对网络安全进行全方位的保护，具有主动性和实时性的 特点，是防火墙重要的和有益的补充。 入侵检测系统主要通过监控网络、系统的状态、行为以及系统的使用情况， 来检测系统用户的越权使用以及系统外部的入侵者利用系统的安全缺陷对系统进 行入侵的企图。 1 2 2 入侵检测系统的系统结构 入侵检测系统的组成结构因网络坏境和安全策略而不同。尽管在实现上有所 不同，但它至少要包括三个基本组成部分：数据提取、入侵分析和响应处理。另 外还可能包括安全知识库、数据存储等模块，如图1 1 所示。其中，数据提取 是入侵检测系统的数据采集器，它是入侵检测中的基础工作，提供受保护系统的 运行状态特征，是安全审计的原始数据。入侵分析是入侵检测的核心，它的功能 是对原始数据进行分类，判断状态是正常运行或是入侵。响应处理是发现入侵者 的攻击之后，进行的反应和处理。 堆，：免疫神绎嬲络和漏桶算法的入侵捡测系统研究 图1 1 入侵检测系统的结构 1 2 3 入侵检测系统的分类 入侵检测系统根据检测的对象可分为基于主机的入侵检测系统h i d s ( h o s t i n t r u s i o nd e t e c t i o ns y s t e m ) 和基于网络的入侵检测系统n i d s ( n e t w o r k i n t r u s i o nd e t e c t i o ns y s t e m ) 。入侵检测根据检测分析方法的不同，可以将入侵检 测分为异常( a n o m a l y ) 检测和误用( m i s u s e ) 入侵检测。另外，入侵检测根据 工作方式的不同可以分为离线检测和在线检测。 基于主机的入侵检测系统【3 】是根据主机系统的系统日志和审计记录来进行检 测分析，通常在要受保护的主机上有专门的检测代理，通过对系统日志和审计记 录不问断地监视和分析来发现攻击。从技术历程上来看，入侵检测是从主机审计 的基础上开始发展起来的，因而早期的入侵检测系统都是基于主机的入侵检测技 术的。它主要的目的是在事件发生后提供足够的分析来阻止进一步的攻击。基于 主机i d s 缺点是：会占用主机的资源，在服务器上产生额外的负担；缺乏平台 的支持，可移植性差，因而应用范围会受到严重限制。 基于网络的入侵检测系统【3 】主要用于实时监控网络关键路径的信息，侦听网 络上的所有分组，分析可疑现象。基于网络的入侵检测系统使用原始网络包作为 数据源。它通常利用一个运行在混杂模式下的网卡来实现监视并分析通过网络的 所有通信业务，当然也可能采用其他特殊硬件来获得原始网络包。通常，将基于 网络的入侵检测系统放置在防火墙或网关后，就像网络窥探器一样捕获所有内传 或者外传的数据包。但是它不延误数据包的传送，因为它对数据包来说仅仅是监 视。通过在共享网段上侦听采集通信数据、分析可疑现象，因此它对主机资源消 耗少。并且由于网络协议是标准的，可以对网络提供通用的保护而无需顾及异构 主机的不同架构。 基于网络的i d s 的主要缺点是：只能监视它直接连接网段的通信，不能检 测在不同网段的网络包；在交换环境下难以配置；防入侵欺骗的能力较差；难以 定位入侵者。 基于主机i d s 与基于网络i d s 的对比如表1 1 所示。 硕f ? 学位论文 表1 1 基于主机i d s 与基于网络i d s 的对比 基丁主机i d s 基丁网络i d s 核实攻击的成功和火败 检测指定的系统行为 适合于加密和交换环境 准实时的检测和响应 无需另外硬件 低花销 对基丁二网络检测的补偿 实时检测、响应与攻击预警 检测不成功的攻击和恶意企图 与操作系统无关 低成本 攻击者转移数据更加困难 对基于主机检测的补偿 异常检测也称为基于行为的检测，基于行为的检测是根据使用者的行为或资 源使用状况来判断是否存在入侵【3 】。将攻击视为不同于正常的行为，通过识别任 何违反正常的行为检测入侵。异常检测系统试图建立一个对应“正常的系统轮 廓”的特征原型，然后把与所建立的特征原型中差别“很大 的行为标志为异常 行为。 误用检测也被称为基于知识的检测，它指运用已知攻击方法，根据已定义好 的入侵检测模式，通过判断这些入侵模式是否出现来检测【3 1 。因为很大一部分的 入侵是利用了系统的脆弱性，通过分析入侵过程的特征、条件、排列以及事件间 关系能具体描述入侵行为的迹象。这种方法由于依据具体特征库进行判断，所以 一 检测准确率很高，并且因为检测结果有明确的参考，也为系统管理员采取相应措 施提供了方便。 异常检测的分析机制基于正常行为模板建立，这种分析机制对未知的攻击模 式具有一定的检测能力，但在实现上，模板的维护及分析的虚假警报存在技术瓶 颈，因此，形成的商用产品不多。误用检测的分析机制基于攻击方法或攻击特征 库建立，这种分析机制只能对已知的攻击模式具有检测能力，对未知攻击无能为 力，绝大多数商用网络入侵检测系统都只具有误用检测功能。 检测误报率的减少和对未知攻击的检测分别是异常检测和误用检测技术的重 大挑战，机器学习与信息融合是解决这个问题的技术途径。从技术功能上讲，同 时具有异常检测和误用检测功能、基于主机和基于网络相结合的入侵检测系统是 入侵检测系统的理想形式，但是，安全防护需要是分层次的，入侵检测系统的选 择，应该建立在威胁与风险平衡的基础上。 离线检测是一种非实时工作的系统，在事件发生后分析审计事件，从中检查 入侵事件。这类系统的成本低，可以分析大量事件，调查长期的情况，可以为在 线检测提供攻击信息。但由于是在事后进行，不能对系统提供及时的保护。而且 很多入侵在完成都将审计事件去掉，使其无法审计。 在线检测对网络数据包或主机的审计事件进行实时分析，可以决速反应，保 护系统的安全；但在系统规模较大时，难以保证实时性和较低的误报警率和漏报 警率。 桀于免疫神经网络和漏桶算法的入侵柃测系统研究 1 3 国内外研究现状分析 1 3 1 入侵检测系统的发展及研究现状 对入侵检测的研究最早可追溯到2 0 世纪8 0 年代，但受到重视和快速发展还 是在i n t e m e t 兴起之后。按时间顺序，入侵检测技术研究和发展历史概况【4 】如 下： 1 9 8 0 年4 月，j a m e sp a n d e r s o n 为美国空军做了一份题为c o m p u t e r s e c u r i t yt h r e a tm o n i t o r i n ga n ds u r v e i l l a n c e ) ) ( 计算机安全威胁监控与监视) 的技 术报告【5 1 ，第一次详细阐述了入侵检测的概念。他提出了一种对计算机系统风险 和威胁的分类方法，并将威胁分为外部渗透、内部渗透和不法行为三种，还提出 了利用审计跟踪数据监视入侵活动的思想，这份报告被公认为是入侵检测的开山 之作。 1 9 8 7 年，d o r o t h ye d e n n y i n g 提出了入侵检测系统的抽象模型【6 】，首次将入 侵检测的概念作为一种计算机系统安全防御问题的措施提出。 1 9 9 0 年，加州大学戴维斯分校的l t h e b e r l e i n 等人开发出了n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 。该系统第一次直接将网络流作为审计数据来源， 因而可以在不将审计数据转换成统一格式的情况下监控异种主机。从此之后两大 阵营正式形成：基于网络的i d s 和基于主机的i d s 。 1 9 9 6 年，g r i d s ( g r a p h - - b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 的设计和实现 使得对大规模自动协同攻击的检测更为便利。同年，美国人f o r r e s t 将免疫原理 运用到分布式入侵检测领域。此后，在i d s 中还出现了遗传算法、遗传编程的 运用f 7 1 。 e l e a z a re s k i n ，m a t t h e wm i l l e r 发表论文“入侵检测系统适应模型的产生 ， 其基本思想是应用数据挖掘方法【7 】自动产生检测模型。 s t e v e nrs n a p p 发表论文“分布式入侵检测系统 ( d i d s ) ，入侵检测系统检 测范围从局域网到具有异种类型拓扑结构的广域网，技术中采用了专家系统，它 用于评估和报告所监控的网络状态，专家系统由描述网络事实的证据、推理机和 控制推理过程的推理机制三部分组成。 从2 0 世纪9 0 年代到现在，入侵检测系统的研发呈现出百家争鸣的繁荣局 面，并在智能化和分布式两个方向取得了长足的进展。这几年，美国人 c h e u n g 、s t e v e n 等人又提出了入侵容忍( i n t r u s i o nt o l e r a n c e ) 的概念，在i d s 中 引入了容侵技术。 ： 在2 0 多年的发展中，入侵技术方法上的综合化和复杂化，入侵规模不断扩 大、入侵者呈现分布特性、入侵对象也有所转移和变化的特点，入侵检测系统 ( i n t r u s i o nd e t e c t i o ns y s t e m ，记作i d s ) 适应安全形势的需要，取得了很大的进 展，正同益成为安全技术领域中一个重要的安全措施。特别是近几年，入侵检测 硕 ：学位论文 系统不断采用新的技术和方法，在检测效率和性能上有了很大提高；所检测的数 据对象不断扩大，而且逐步进行各种资源的关联分析；系统结构与功能不断延 伸，逐渐与其他安全技术进行联动。另外，入侵检测系统作为重要的安全措施， 针对其测试与评估的研究也开始成为一个热点；标准化方面，尤其是信息交换格 式与协议的标准化工作也在有条不紊地进行。 入侵攻击技术与检测技术在一定程度上是相互促进的，为了准确、有效地识 别出已知和未知的攻击，在入侵检测系统中不断采用优越的算法和技术，主要是 人工智能技术、移动代理技术、数据融合和信息关联技术。同时，由于攻击呈现 的分布式特点和犯罪特性，入侵检测系统在结构与功能方面也在不断地发展、变 化，与其他安全技术逐渐进行联动与融合。 现阶段新的入侵检测法有以下几种： ( 1 ) 智能性技术 在早期的入侵检测系统中，多采用专家系统来检测系统中的入侵行为。将入 侵行为编码成专家系统的规则，每个规则具有“i f 条件、t h e n 动作 的形 式。其中条件为审计记录中某些域的限制条件；动作表示规则被触发时入侵检测 系统所采取的处理动作。根据这些规则进行正向或者反向的推理，得出新断言或 用于提高某个用户行为的可疑度。这就是入侵检测具备智能的雏形，像以前的 i d e s 、n i d e s 、n a d i r 都有专家系统模块【引。近年来不断发展的各种人工智能 技术也逐步应用到了入侵检测系统中，特别是仿生系统的应用越来越多。主要有 以下几个方面： 生物神经网络的模拟 9 , 1 0 , 1 1 】。人工神经网络( a n n ) 是指模拟人脑神经网络 系统的结构和某些工作机制而建立的一种计算模型。 生物免疫系统运行机制的模拟【1 2 , 1 3 , 1 4 】。人工免疫系统( a i s ) 是从生物免疫系 统的运行机制中模仿而来的，借鉴了一些生物免疫系统的功能、原理和模型，并 用于复杂问题的求解。 生物进化机制的模拟【1 5 】。遗传算法( g a ) 是基于自然选择中优胜劣汰原理， 实际上是一种寻优搜索算法。 ( 2 ) 基于移动代理的入侵检测 这种方法就是在一个主机上执行某种安全监控和入侵检测功能的软件实体， 具备自治性、智能性、适应性等。这些代理自动运行在主机上，并且可以和其他 相似结构的代理进行交流和协作，在需要时能从一个主机移动到另外一个主机进 行工作。代理的功能根据需要进行配置，可以简单到记录在一个特定时间间隔内 特定命令触发的次数，也可以很复杂，例如捕获并分析数据。基于代理的检测方 法是非常有力的，它允许基于代理的入侵检测系统提供异常检测和误用检测的混 合能力l6 1 。 慕于免疫神经网络和漏桶算法的入侵伶测系统研究 ( 3 ) 信息融合技术 信息融合是对多源信息的自动化处理过程，目前基于信息融合入侵检测系统 有三个特点：一是分布层次式结构【1 7 】，这符合日常的网络结构：二是有多个探 测器，来发现攻击信息或者是获得系统状态的准确评估；三是每个探测器都使用 融合技术，每个探测器都有目标识别和智能决策的过程。融合的过程是将不同传 感器产生的、具有相关性的低级别警告根据一定的算法融合成更高级别的警告信 息，这有助于解决误报和漏报问题。整个融合过程是一个从海量的、带有巨大观 测噪声的检测信息中发现和提取检测目标的过程。因此，这个过程实际上是一个 目标的识别过程，也是一个对原始数据做出智能决策的过程。融合技术可以发出 早期攻击警告，能够发现单个传感器不能察觉的入侵信息。 ( 4 ) 关联分析技术 一般情况下，攻击的发生都有一定的条件，当攻击发生时可能会触发一系列 的事件。从某种意义上说，警告事件都不是孤立产生的，相互之间存在着某种联 系，而这种联系可以抽象为冗余关系和因果关系。数据融合的方法是在没有区分 这两种关系的前提下直接进行工作的，而事件关联分析技术是在没有冗余关系或 者没有噪音的情况下，对警告事件进行相关性分析【i8 1 。 1 3 2 入侵检测系统的发展方向研究 目前，入侵检测系统有以下几个发展方向【l 引。 ( 1 ) 面向i p v 6 目前绝大多数网络系统是面向i p v 4 的。下一代互联网络采用i p v 6 协议， i p v 6 扩展了地址空问，支持超大规模的网络环境，因此面向i p v 6 的入侵检测系 统要解决大数据量的问题，需要融合分布式体系结构和高性能计算技术。i p v 6 协议本身提供加密和认证功能，这就增加了面向i p v 6 的入侵检测系统监听网络 数据包内容的难度。随着i p v 6 应用范围的扩展，入侵检测系统支持i p v 6 将是一 大发展趋势，是入侵检测技术未来几年该领域研究的主流。 ( 2 ) 智能型协作i d s 现在的分布式i d s 利用分布在网络中的探测器扩大了数据源的范围，因而 可以更好地检测入侵，同时实现了i d s 内部信息的共享。但多数d i d s 只是简单 地丰富了数据来源，并未有效地对信息共享进行协作。另外，虽然这种混合的入 侵检测系统中数据的采集工作分布在不同的主机上进行，但最终的数据分析却是 集中进行的。这样做带来的问题有两个：一是整个系统有一个中心控制点，该点 的失效将导致整个系统失效；二是集中进行数据分析使负载集中在承担分析工作 的主机上，限制了系统的可扩展性与效率的提高。因此，需要开发智能协作i d s 进行灵活分配角色的协作机制，有效抑制短时间内产生的关于同一攻击的告警数 量，减少不必要的信息传输，提高监测系统得性能和本身的安全性。 硕1 ：学位论文 ( 3 ) 行为分析技术的引入 行为分析技术不仅简单分析单次攻击事件，还根据前后发生的事件确认是否 确有攻击发生、攻击行为是否生效。这要求在协议分析的基础上，对网络中发生 的行为加以完整的重组和记录，进行行为审计时可以进行内容恢复。这样，不仅 能使管理员看到孤立的攻击事件的报警，还可以看到整个攻击过程，了解攻击确 实发生与否，查看攻击者的操作过程，了解攻击造成的危害。不但发现已知攻 击，同时发现未知攻击。不但发现外部攻击者的攻击，也发现内部用户的恶意行 为。同时，有利于日后的取证分析。 ( 4 ) 面向应用层的i d s 近年来，网络攻击的发展趋势是逐渐转向高层应用。根据g a r t n e r 的分析， 目前对网络的攻击有7 0 以上是集中在应用层，并且这一数字呈上升趋势。在 对应用层的攻击中，大部分是通过h t t p 协议( 8 0 端口) 进行。虽然这些站点通过 部署防火墙在网络层以下进行了很好的防范，但其应用层的漏洞仍可被利用，进 而受到入侵和攻击。而对应用层的攻击有可能造成非常严重的后果。因此，对具 体应用的有效保护就显得越发重要。但是目前的i d s 仅能检测如w e b 之类的通 用协议，而不能处理如l o t u sn o t e s 、数据库系统等其他的应用系统。对于面向 应用层入侵检测系统，许多入侵的语义只有在应用层才能理解，是用来保护特定 应用服务的网络设备，通常部署在应用服务器之前，防止基于应用协议漏洞和设 计缺陷的恶意攻击，对特定应用进行有效保护。 1 4 本论文的研究内容和组织结构 面对网络安全日益严峻的形势以及入侵技术的不断提高，普通的方法难以适 应不断增加的新的入侵技术和不断扩大的入侵规模，从而需要比较智能化的入侵 检测系统来满足发展的要求。 本文主要研究了入侵检测的基本理论和实现技术，重点研究了用于基于人工 免疫的有效检测器生成算法。前人已经证明神经网络在入侵检测系统中的取得了 较好的结果，而本文是在总结了前人的成果的基础上，根据免疫理论提出了一种 新型的混合神经网络模型用于入侵检测系统中，该模型改进了原有神经网络在入 侵检测系统中的不足。 从当前已经完成的现状出发，通过对当前入侵检测的特征和技术进行研究， 提出了2 种有效的检测器生成和入侵检测算法，并对其进行了改进。具体的工作 包括： ( 1 ) 研究了当前入侵检测的发展现状，对不同的入侵检测实现技术做了概 述，并对其优缺点做出了评价，总结了入侵检测的基本特征，并指出了当前入侵 检测技术中一些算法存在的一些问题和今后主要的研究方向。 ( 2 ) 研究了免疫理论的生物学基础知识。简要概述了生物免疫机理过程，详 1 1 雉于免疫冲绛m 络和漏椭算法的入侵 ：；：测系统研究 细分析了生物免疫的基本特征，了解了入侵检测和生物免疫之间的异同。 ( 3 ) 提出了一种基于b p 神经网络和漏桶算法的模式库处理算法，该算法可 以有效的区分“自我和“非我 行为，能够有效提高入侵检测的准确率，减少 误报率和漏报率。 本论文结构如下： 第一章，绪论。介绍了课题的背景和意义和国内外研究的现状。介绍了入侵 检测系统的概念、发展历史、标准入侵检测系统的系统结构、入侵检测系统的分 类、常用的入侵检测技术和未来入侵检测系统的发展方向。 第二章，免疫理论的生物学基础。具体阐述了生物免疫的机理，并总结了生 物免疫的基本特征，最后对入侵检测与生物免疫的异同进行了比较。 第三章，系统的数据源。本章介绍了s u ns o l a r i s 的b s m 审计记录的相关概 念，详细的描述了本系统中用到的b s m 审计记录中的字段的格式和作用。然后 介绍了本系统的数据源d a r p a 数据集，阐述了数据集的构成和使用数据集的原 因。 第四章，课题的研究对象和对象的预处理。本章首先说明了监控特权程序来 判断入侵的优越性。然后介绍了操作系统的分层机制，说明了系统调用在用户态 和核心态之间的桥梁作用。最后说明了如何从b s m 审计记录中提取系统调用序 列并转化为神经网络可以识别的向量的过程。 第五章，基于免疫的混合网络的入侵检测系统。本章首先介绍了本系统模型 结构。然后，描述了b p 神经网络的网络结构和各自训练算法，即b p 算法。最 后描述了本文提出混合神经网络，介绍了混合网络的工作步骤和算法，并指出了 该混合网络的优越性。 第六章，基于免疫理论的实验测试及性能评估。首先介绍了i d s 性能评估 的指标。然后介绍了r o c 曲线的评估方法。最后给出了本系统的仿真实验结果 分析。 最后，结论部分对整个论文研究进行了总结，对基于免疫理论的入侵检测 系统的好处与不足进行了分析总结，并根据工作中的一些存在未解决的问题指出 下一步要进行的工作。 硕。l ：学位论文 第2 章免疫理论的生物学基础 2 1 概述 传统免疫学起源于抗感染的研究，是在1 9 世纪末2 0 世纪初逐渐形成和发展起 来的。在以后长达半个世纪的历史时期内，免疫一直被理解为机体的抗感染能 力，被描述为宿主对病原微生物的不同程度的不感受性。2 0 世纪中期以后，免疫 学的发展逐渐突破了抗感染研究的局限。事实上，机体不仅是对微生物，而且是 对各种抗原都能够进行识别和排斥，以维持正常的生命内环境。所以，免疫是机 体识别和排斥抗原性异物的一种生理功能。 免疫学是研究机体免疫系统的组织结构和生理功能的科学。免疫系统的重要 生理功能是对“自己 和“非己一抗原的识别和应答。它有着自身的运行机制， 并可与其他系统相互配合、相互制约，共同维持机体在生命过程中总的生理平 衡，具体表现为免疫防御( i m m u n o l o g i c a ld e f e n s e ) 、免疫自稳( i m m u n o l o g i c a l h o m e o s t a s i s ) 、免疫监视( i m m u n o l o g i c a ls u r v e i l l a n c e ) 等生理功能。 免疫防御：机体排斥外源性抗原异物的能力，是人体籍以自净、不受外来物 质干扰和保持物种纯洁的生理机制。 免疫自稳：机体识别和清除自身衰老残损的组织、细胞的能力，是机体籍以 维持正常内环境稳定的重要机制。 免疫监视：指机体杀伤和清除异常突变细胞的能力。 2 2 生物免疫机理 2 2 1 免疫应答 免疫应答( i m m u n er e s p o n s e ，i r ) 指抗原进入机体后，免疫细胞对抗原分子 的识别、活化、分化、效应过程其中抗原( a n t i g e n ，a g ) 指能被t 细胞和b 细胞识 别并刺激t 和b 细胞进行特异性免疫应答的病原体。t 细胞和b 细胞均为免疫细 胞。t 细胞( t c e l l ) 是t 淋巴细胞简称，其主要功能为调节其他细胞的活动以及直 接袭击宿主感染细胞，分为毒性( c y t o t o x i c ) t 细胞和调节t 细胞调节t 细胞又分为 辅助性t 细胞( th e l p e rc e l l s ，t h ) 年h 控制性t 细胞( ts u p p r e s s o rc e l l s ，t s ) 。毒性t 细胞能够发现侵入体内的微生物、病毒或者癌细胞，向它们注入毒素，使其死 亡