（计算机软件与理论专业论文）基于免疫与数据挖掘的入侵检测系统研究.pdf

摘要 随着计算机网络的逐渐普及，通过网络进行的攻击事件同趋频繁。网络信息 安全逐渐成为人们广泛关注的问题。入侵检测系统作为一种主动防御的信息安全 系统，已经成为保障网络信息安全的重要手段。 入侵检测系统近几年得到了长足的发展，但其技术尚不成熟。特别是在检洲 新型攻击方面，还有很多不完善之处。本文根据入侵检测系统的现状，全面地分 析了入侵检测的常用技术，对目前各种入侵检测的方法进行了研究。 目前最有效的入侵检测技术是使用签名库特征匹配，它能高效地检测出已知 的入侵行为。在使用此技术的基础上，本文将基于图的数据挖掘和人工免疫鹿用 到入侵检测系统中，构建了一个功能比较全面的入侵检测系统。系统由基于主机 的子系统和基于网络的子系统组成，其中使用了基于误用的检j 9 | 技术和基于异常 的检测技术，具备检测己知攻击和新型攻击的能力。 基于图的数据挖掘是数据挖掘技术的一个新分支，主要对结构化的数据进行 挖掘处理。本文根据图的数据挖掘理论，设计了个适用于入侵检测的子图挖掘 算法d j s c o v e r s u b s 算法，并应用于基于主机的子系统中。人工免疫技术也是 最近的研究热点之一，在前人研究的基础上本文提出了一个新的人i ：免疫模型， 并设计了与之适应的免疫算法k 分距离算法，将其应用到基于网络的予系统 中。 本文的工作得到上海市教委科技发展基余项目“基于免疫与数据挖掘的入侵 检测系统研究”的支持。 关键词：入侵检测，图的数据挖掘，人工免疫模型，子图挖掘算法，k 分距 离算法 a b s t r a c t w i t ht h er a p i dp o p u l a r i z a t i o no fc o m p u t e rn e t w o r k s ，e v e n t so fn e t w o r ki n t r u s i o n h a v eh a p p e n e dm o r ef r e q u e n t l yt h a ne v e r s e c u r i t yo fn e t w o r k sh a sa t t r a c t e dm o r e a n dm o r ea t t e n t i o ni nt h i sf e wy e a r s ，i n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) ，a sas e c u r i t y i n s u r a n c es y s t e mw h i c hc o u l dp r o t e c tc o m p u t e rs y s t e mf r o mb e e na t t a c t e di n i t i a t i v e l y ， h a sb e e na ni m p o r t a n tm e a n so f n e t w o r ki n f o r m a t i o np r o t e c t i o n a l t h o u g hg r e a td e v e l o p m e n to fi d sh a sb e e na c h i e v e di nt h e s er e c e n ty e a r s ，i t s t e c h n i q u e sa r es t i l ln o tm a t u r e t h e r ea r em a n yw o r k sn e e dt ob ed o n ee s p e c i a l l yi n t h ed e t e c t i o no fu n k n o w na t t a c k s i nt h i sp a p e r , a c c o r d i n gt ot h es t a t u sq u oo fi d s ，w e a n a l y z e dt h eg e n e r i ct e c h n i q u e so fi n t r u s i o nd e t e c t i o na n ds t u d i e dv a r i o u sm e a n so f i n t r u s i o nd e t e c t i o n t h em o s tc o m m o nw a yo fd e t e c t i n gt e c h n i q u e si su s i n gt h es i g n a t u r em a t c h i n g w h i c hc o u l dd e t e c tk n o w ni n t r u s i o n se f f i c i e n t l y b a s e do nt h i sm a t c h i n gt e c h n i q u e ， w e v ec o n s t r u c t e da l li d si n t ow h i c hw ea l s oa p p l i e dg r a p h b a s e dd a t am i n i n g t e c h n i q u ea n da r t i f i c i a li m m u n e t h i ss y s t e mi sc o m p o s e do fh o s t b a s e ds u b s y s t e m a n dn e t w o r k - b a s e ds u b s y s t e m ，i tu s e db o t hm i s u s e b a s e da n d a n o m a l y b a s e d d e c t e c t i o nt e c h n i q u e st h u sh a st h ea b i l i t yo fd e t e c t i n gb o t hk n o w na n du n k n o w n i n t r u s i o n s g r a p h b a s e dd a t am i n i n gi san e wb r a n c ho fd a t am i n i n gt e c h n i q u e s ；i tm a i n l y p r o c e s s e ss t r u c t u a ld a t a a c c o r d i n gt ot h et h e o r yo fg r a p h b a s e dd a t am i n i n g ，w e d e s i g n e da na l g o r i t h mn a m e dd i s c o v e r s u b sw h i c hc o u l dm i n es u b g r a p h si nag r a p h a n di ss u i t e df o ri n t r u s i o nd e t e c t i o nw ea l s oa p p l i e dt h i sa l g o r i t h mi n t oh o s t b a s e d i n t r u s i o nd e t e c t i o ns u b s y s t e m a r t i f i c i a li m m u n et e c h n i q u ei sa n o t h e rr e s e a r c hh o t s p o ti nc o m p u t e rs c i e n c e w ep r o p o s e dan e wm o d e lo fa r t i f i c i a li m m u n ea n dd e s i g n a na l g o r i t h mn a m e dk - p a r t i t i o n i n g d i s t a n c ea c c o r d i n gt oi ta n da p p l i e db o t ho ft h e m i n t on e t w o r k b a s e di n t r u s i o nd e t e c t i o ns u b s y s t e m t h i sw o r ki ss u p p o r t e db y “s t u d yo fi n t r u s i o nd e t e c t i n gs y s t e mb a s e do ni m m u n e a n dd a t a m i n i n g , t h ep r o j e c t o fs c i e n c ef o u n d a t i o no fs h a n g h a ie d u c a t i o n c o m m i t t e e k e yw o r d ：i n t r u s i o nd e t e c t i o n ，g r a p h - b a s e dd a t am i n i n g ，a r t i f i c i a li m m u em o d e l s u b g r a p hm i n i n ga l g o r i t h m k p a r t i t i o n i n g - d i s t a n c ea l g o r i t h m i l 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人己发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：鬈! 匝缱e l签名：丞! 豳照 本论文使用授权说明 期丛：丕! ! 本人完全了解上海大学有关保留、使用学位论文的规定，即：学校有权保留 论文及送交论文复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容。 ( 保密的论文在解密后应遵守此规定) 丝至：! 乏 上海大学硕士学位论文 ! 堕! ! 坠掣! ! 堡! ! 塑i ! ! ! ! ! ! 吐! ! ! ! ! ! ! ! ! 垒 1 1 引言 第一章绪论 计算机网络从二十世纪开始逐渐普及，它极大地方便了人们的生活，提高 了工作和生产效率。但由于网络规模的不断扩大、复杂度也不断增加，加之各 种病毒和攻击手段的快速传播等因素，网络攻击变得越来越泛滥和防不胜防， 信息安全因此受到了前所未有的挑战。 日渐增长的网络攻击事件，使人们越来越重视对网络安全的研究。目前经 常使用的安全技术主要有防火墙、病毒防护、用户认证、加密和入侵检测等技 术。其中使用最广泛的是防火墙。由于近年来各种黑客攻击技术层出不穷，人 们逐渐认识到仅仅依靠防火墙来维护系统安全还远远不够。作为防火墙的有效 补充，入侵检测技术越来越受到人们的重视，已经成为网络安全研究的核心之 1 2 入侵检测系统概述 入侵检测系统( i d s ，i n t r u s i o nd e t e c t i o ns y s t e m ) 是一种主动防御的网络 安全措施，用来检测针对计算机系统和网络系统的非法攻击。它通过对收集的 信息进行分析，发现网络或系统中是否存在违反安全策略的行为和被攻击的痕 迹。它可以实现对内部攻击、外部攻击及系统误操作的实时保护。一旦出现攻 击行为，可立即向管理员发出警报。 所有的信息系统都不可能设计得绝对安全，如果对系统引入太多的安全限 制，系统性能将大为降低甚至变得不可实现】。而各种安全防范措施都有其优 点和不足之处。防火墙是根据预先设置的安全策略对进出网络的数据流进行访 问控制，屏蔽外部攻击。在信息系统中使用防火墙进行访问控制，同时使用入 侵检测系统进行系统监测，是十分必要和可行的方法。如果将一个信息系统与 一辆汽车相类比，防火墙就类似于汽车上的防盗锁，而入侵检测系统则对应于 警报装置。两者协同工作，互为补充。 1 2 1 基本概念 入侵是个广义的概念，它包括发起攻击的人取得超出合法范围的系统控制 权、收集漏洞信息、拒绝服务( d o s ) 等对计算机造成危害的行为。入侵者一般可 第1 页 上姆火学硕上学位论文 ! 生! ! ! ! g 些! ! ! 塑! ! ! ! 竖巫! b 塑吐型型! ! ! ! ! ! ! 型 以分为两类：外部入侵者，一般指系统中的非法用户，比如平常所说的黑客： 内部入侵者，是指越权使用系统资源行为的内部合法用户。入侵行为包括：试图 闯入、伪装攻击、安全控制系统渗透、泄漏、拒绝服务和恶意使用等6 种类型。 因此，可将“入侵”定义为：对系统资源的非授权使用【2 】。入侵行为可造成系统 数据泄露和破坏等严重后果。 入侵检测则是对入侵行为的监测，它识别企图破坏信息系统的完整性、保密 性和可用性的恶意行为。通过从计算机网络或计算机系统中收集信息并进行分 析，发现网络或系统中是否有违反安全策略的行为和被攻击的痕迹。 入侵检测系统则是实现检测过程的软件和硬件的总和。本文中的入侵检测 系统特指其中的软件部分，它由一些功能模块组成。入侵检测技术是指实现入 侵检测系统所使用的方法。入侵检测系统的结构如图1 1 所示1 3 1 。 圈1 1 入侵检测系统结构示意图 1 2 2 入侵检测系统的发展历史 作 入侵检测系统的研究最早可追溯到2 0 世纪8 0 年代。因特网普及之后，它 就受到了更广泛的关注，从而得到快速发展。入侵检测技术概念始于1 9 8 0 年4 月，j a m e sp a d e r s o n 为美国空军作了份题为c o m p u t e rs e c u r i t yt h r e a t m o n i t o r i n ga n ds u r v e i l l a n c e 的技术报告。首先提出了入侵检测的概念，他将入 侵划分为外部闯入、内部授权用户的越权使用和滥用三种类型，并提出用审计 追踪来监视入侵威胁。这份报告成为入侵检测技术研究的开创性文献忙】。 1 9 8 4 至1 9 8 5 年间，s y t e k 的一个研究小组开始了由s p a w a r s 资助的“自动 审计分析”系统。该系统使用数据库工具分析u n i x 系统中s h e l f 。接收的数据， 从中找出不正常的信息。 1 9 8 6 年，为检测用户对数据库的异常访问，在i b m 主机上用c o b 0 1 语- 5 玎 发的d i s c o v e r y 系统成为最早的基于主机的 d s 雏形之。它是为t r w 公司的在 线数掘库设计的专家系统，它由数据库应用程序对入侵进行监控，从而发现未 第2 页 上坶尤常颁士学位论业 以分为两类：外部入侵者，一般指系统中的非法用户，比如平常所说的黑客： 内部入侵者，是指越权使用系统资源行为的内部合法用户。入侵行为包括：试圈 j 砑入、伪装攻击、安全控锖i 系统渗透、泄漏、拒绝服务和恶意使用等6 种类型。 冈此，可将“入侵”定义为：对系统资源的非授权使用【”。入侵行为可造成系统 数据泄幕和破坏等严重后果。 入侵检测则是对入侵行为的监测，它识别企图破坏信息系统的完整性、保密 件和可用性的恶意行为。通过从计算机网络或计算机系统中收集信息并进行分 析，发现网络或系统中是否有违反安全策略的行为和被攻击的痕迹。 入侵检测系统则是实现检测过程的软件和硬件的总和。本文中的入侵捡测 系统特指其巾的软什部分，它由一些功能模块组成。入侵检测技术是指实现入 侵检测系统所使用的方法。入侵检测系统的结构如图l1 所示 l 。 图1 1入侵检测系统结构示意图 1 2 2 入侵检测系统的发展历史 作 入侵检测系统的研究最早可追溯到2 0 世纪8 0 年代。因特网普及之后，它 就受到了更广泛的关注，从而得到快速发展。入侵检测技术概念始于i 9 8 0 年4 月，j a m e sp a d e r s o n 为美国空军作了一份题为c o m p u t e rs e c u r i t yt h r e a t m o n i t o r i n ga n ds u r v c i l l a n c e ) b 的技术报告。首先提出了入侵检测的概念，他将入 侵划分为外部闯入、内部授权用户的越权使用和滥用三种类型，井提出用审计 追踪来监视入侵威胁。这份报告成为入侵检测技术研究的丌创性文献【2 j 。 1 9 8 4 至1 9 8 5 年间，s y t e k 的一个研究小组开始了由s p a w a r s 资助的“自动 审计分析”系统。该系统使用数据库工具分析【n t x 系统巾s h e l l 接收的数据， 从中找出不j f 常的信息。 1 9 8 6 年，为检测用户对数据库的异常访问，在t r m 主机上用c o b o l 语卣丌 发的d i s c o v e r y 系统成为最早的基于主机的i d s 雏形之一。它是为t r w 公司的在 线数据库设计的专家系统，它由数据库应用程序对入侵进行监控，从而发现未 线数据库设计的专家系统，它由数据库应用程序对入侵进行监控，从而发现未 第2 页 上海大学硕士学位论文 ! 堕! ! 塾g ! 鲤! 坐! ! ! i ! ! ! ! ! 翌g ! ! ! 塑! ! ! ! ! ! 皿 经授权的访问和不正当的使用。 1 9 8 7 年，乔治敦大学的d o r o t h yd e n n i n g 提出了一个经典的入侵检测模型， 首次将入侵检测的概念作为种计算机系统的安全防御措施提出。它提出了异 常活动与不正当使用之间的相关性。建立在统计学基础一h ，将异常行为定义为 “稀少和不寻常”的行为。 1 9 8 8 年，t e r e s al u n t 等人改进了d e n n i n g 提出的入侵检测模型，开发了 l d e s ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ) ，提出了与平台无关的实时检测思 想。该系统包括一个异常检测器和一个专家系统，用于统计异常模型和特征分 析检测。 1 9 8 9 年至1 9 9 1 年，美国空军在u n is y s 大型机上开发了l t a y s t a c k 系统， 主要是为了发现内部人员的不正当使用。它用“特征”集合描述系统审计踪迹数 据，包括会话持续时间、打开文件数、打印的页数、会话所用资源及创建的进 程数等。 1 9 8 9 年，美国l o sa l a m o s 国家实验室开发了n a d i r ( 网络审计执 - f , n 入侵 报告) ，在专用网络服务器上产生审计踪迹数据，从来达到监视主机的作用。 1 9 9 0 年，美国加州大学d a v i s 分校的h e b e r l e i n 等人提出新概念：基于网络 的入侵检测n s m ( n e t w o r ks e c u r i t yr o n i t o r ) 。它是最早把网络流量作为数 据源的入侵检测系统。通过截获网络数据包，分析网络协议发现攻击。从此， 入侵检测分为两大类型：基于主机的和基于网络的。 1 9 9 1 年，d i d s ( d i s t r i b u t ei n t r u s i o nd e t e c t i o ns y s t e m ) 收集和合并处理主机 中的审计信息，从而检测针对一系列主机的协同攻击。 1 9 9 4 年，m a r k c r o s b i e 和g e n e s p a f f o r d 等人在i d s 中使用自治代理 ( a u t o n o m o u s a g e n t s ) 来提高i d s 的可伸缩性、可维护性、效率和容错性。 1 9 9 5 年，i d e s 的完善版本n i d e s ( n e x t g e n e r a t i o ni n t r u s i o nd e t e c t j o d s y s t e m ) 实现了枪测多个主机上的入侵。 1 9 9 6 年，f o r r e s t 首次将免疫原理应用到分布式入侵检测领域。使用人：l ： 免疫模拟入侵检测过程，使入侵检测系统具有检测新型攻击的能力。 1 9 9 8 年，w l e e 提出和实现了在c l d f ( c o m m o ni n t r u s i o nd e t e c t i o n f r a m e w o r k ) 上实现多级i d s ，并运用数据挖掘技术对审计数据进行处理。c i d f 是由美国国防部高级研究计划局资助的入侵检测和响应( i n t r u s i o nd e t e c t io n a n dr e s p o n s e ) 研究组设计开发的，它为不同类型的i d r 子系统和构件之问实 现信息共享和协同工作提供一组规范。 虽近，c h e u n g 、s t e v e n 等人又在i d s 中引入了容错技术，提出了入侵容忍 ( i n t r u s i o n t o l e r a n c e ) 的概念。然而，入侵检测技术发展到今天，面对层出不穷、 变化多端的攻击仍然疑得十分不成熟。特别是在识别新型攻击方面，还需要进 第3 页 上海大学硕士学位论文 ! 皇! ! 坠g ! 型! 型! ! ! ! ! ! ! 坐兰! ! ! g j 型堕! ! ! ! 垡! 型 行大量的研究工作进行完善。 1 3 国内外研究现状 由于入侵检测是较新的研究方向，加之检测环境异常复杂，所以在理论和 实现技术方面都有不足之处。人们也在不断地探索新的方法用于提高入侵检测 系统的性能。 国际h 入侵检测系统主要使用了如下的一些检测方法：基于特征选择的异 常检测方法、基于贝叶斯推理的异常检测方法、基于条件概率的误用入侵检测 方法、机器学习、神经网络、数据挖掘等。入侵检测系统与生物免疫系统有谗 多相似之处，新墨西哥大学的s t e p h a n i ef o r r e s t 将免疫学原理应用到网络安全领 域。此后使用免疫思想进行入侵检测的研究逐渐成为研究的热点之一。 国内大学和中科院研究所在网络安全领域进行了长期的研究工作，在网络 安全协议、入侵检测系统构造、分布式入侵检测模型等多方面开展研究工作， 并取得了大量研究成果。 但有效检测出新型攻击仍然是研究的大难点，目前尚处于不成熟的阶段。 1 4 本文的主要研究内容 本文结合数据挖掘和人工免疫的理论，研究功能全面的新型入侵检测系统， 使系统既能高效地检测已知攻击，又能检测出新型攻击。数据挖掘技术在处理 数据时具有很多优点，它能从大量数据中抽取人们感兴趣的知识和规律，另外 还具有专家系统和统计方法不具备的优点它不依赖于经验。图的数据挖掘 是其中的一个重要分支，它对结构化的数据进行挖掘。人工免疫系统是生物免 疫的模拟，通过区分“自我”和“非我”识别异常信息。 结合这些理论，本文研究新型的入侵检测系统，主要研究内容有： l 。对当酶的入侵检测技术进行全面的分析，包括入侵检测系统的分类、检 测技术的分类及使用的主要方法。 2 根据图的数据挖掘理论，设计子图挖掘算法，并应用到基于主机的检测 子系统中，在用户命令级别上发现异常行为。 3 在基于网络的子系统中应用特征匹配技术，使其快速检测出已知攻击。 4 在人工免疫理论基础上，设计一个新型人工免疫模型和免疫算法，并改 进抗体的生成方法，将其应用到基于网络的入侵检测子系统，使孩予系统能检 测新型攻击。 第4 页 上海大学硕士学位论文 ! ! ! ! ! ! ! 趔! ! 生! ! ! ! ! ! 韭! ! 塑g ! ! ! ! l ! 笪! ! 啦 第二章入侵检测技术研究 本章主要讨论入侵检测技术的相关理论。首先介绍入侵检测系统的分类及 检测技术的分类，然后就常用的入侵检测方法进行分类讨论。 2 1 入侵检测系统分类 根据处理信息的来源的不同，可以将入侵检测系统分为弧大类：基于主机 的入侵检测系统( h o s t - b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 和基于网络的入侵检 测系统m e t w o r k b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 。 2 1 1 基于主机的入侵检测系统 基于主机的入侵检测系统是入侵检测中发展最早的，它的应用目标是台 计算机主机及其周围连接设备。其检测原理是在需检测主机中运行入侵检测系 统，分析主机提供的审计信息，找出其中的可疑行为。另外它还可以监视主机 的状态，检测到r 2 l 和u 2 r 等攻击。r 2 l ( r e m o t e - t o l o c a l ) 攻击是远程攻击者 在没有获得用户资格的情况下，进入本地主机并执行本地命令的攻击；u 2 r ( u s e r - t o r o o t ) 攻击则是攻击者窃取了系统管理员权限后进行的攻击1 4 】口 基于主机的入侵检测系统的信息来源有： 系统信息：主要包括主机当前激活的进程状态信息和内核程序的内存信 息等。 记账：主要记录用户对计算机资源的使用，如处理器占用时间，存储器、 外存的使用情况，及网络状况等信息。 - 系统日志：是操作系统提供的服务，用户行为如登陆时间、键入的命令 等信息都会被系统存档。 安全审计：记录所有与安全性有关的事件。 基于主机的入侵检测系统的优点是：可以精确判断入侵事件，并及时地做 出相应的反应。其缺点主要有：系统必须安装和运行在被监测的主机二，占用 宝贵的主机资源：主机的日志和审计系统如果被攻击，入侵检测系统则失去信 息来源【3 1 。 2 1 2 基于网络的入侵检测系统 基于网络的入侵检测系统用于监视进出主机的网络流量，它可以在物理上 第5 负 上姆人学硕士学位论文 ! 生! s 皿型竺! 生! ! 塑堡垡兰! ! ! g ! 型堕坠! ! 坚监 分散存放并监视多台主机。可以检测到探测攻击( 如端口扫描) 、拒绝服务攻击 ( 如服务器溢出攻击) 和r 2 l 攻击( 远程非法闯入攻击) 等各种攻击行为。 基于网络的入侵检测系统的主要信息来源有： 网络数据包在网络的关键点使用截包工具截获网络数据包，通过列其 进行分析，发现异常信息。它能很好地对付通过网络发起的攻击。 简单网络管理信息简单网络管理协议( s n m p ) 的管理信息库中存放了 大量的网络信息。包括网络配置信息，如路由表、i p 地址和名称等。还包含了 大量的记账信息。 基于网络的入侵检测系统不需要主机进行严格的审计，对主机资源的消耗 较小。另外它具有跨平台的优点，只需对网络流量进行分析，对主机的架构无 任何特殊要求。但它也有一些难于避免的缺点，它只能监视本网段的网络流量， 对于交换网络环境则无能为力，所以防欺骗能力较差。另外，基于网络的入侵 检测系统要对所有的数据包进行报文分析、报文重组、报文内容及相关性分析， 所以在网络流量大的情况下容易出现数据包遗漏的现象。 2 2 入侵检测技术分类 网络入侵检测技术主要有误用检测( m i s u s ed e t e c t i o n ) 和异常检钡q ( a n o m a l y d e t e c t i o n ) 两类。两者的检测思想不同，有其各自的优缺点。 2 2 1 基于误用的入侵检测技术 误用检测是根据己知的攻击特征建立一个入侵模式库，然后将网络采集的 数据跟模式库中特征进行一一匹配，若存在匹配的特征，则表明其是一个入侵 行为【s 1 。误用检测首先要收集已知的入侵特征，所有与这些特征不匹配的数据 都认为是正常的。因此检测的能力依赖于入侵模式库的完善程度。 误用检测的主要优点是能精确和有效检测出已知攻击，并可以根据攻击的 类型采用相应的措施。其对已知攻击的检测效率非常高。例如对于“猜测口令” 攻击，其特征可以定义为“在2 分钟内存在超过四次失败连接企图”，满足此特 征的行为可以拒绝其继续连接。误用检测的主要缺点是它缺乏检测新型攻击的 能力。其检测依赖于特征库中的模式，对于攻击的变形则不能识别，对新型攻 击更是无能为力。因此需不断地更新特征库，使其对更多的已知攻击具有检测 能力。 第6 负 上海凡学硕士学位论文 ! 些! s 旦鲤坠坐! ! ! ! ! ! 旦! ! ! 垫g ! ! ! 型! ! ! ! ! ! 盟 2 。2 2 基于异常的入侵检测技术 异常检测是将用户正常的行为特征存储在特征数据库中，然后将用户当前 的行为与特征库中的特征进行比较，若偏离达到了一定程度，则说明存在异常 行为。正常的行为特征是从以往的活动规律中总结出来的，很多研究人员都致 力于用户正常特征的建模”j 。 异常检测的优点是它不需要入侵的先验知识，并可检测出新型的入侵，还 能够发现任何对系统未发现的漏洞的试探。它不需要获取攻击行为的特征，检 测新型攻击一般使用此技术。 其主要缺点是不能描述这个入侵是什么，即无法识别攻击的类型。因此系 统本身很难对攻击行为采取相应的措施。另外，此技术具有较高的误检率。因 为出现比较少却正常的用户行为，也可能跟特征数据库中的模式相偏离，此时 检测系统也会将其作为攻击行为报警。 2 3 入侵检测系统的主要方法 为了提高入侵检测系统的效率，人们尝试着将各个学科知识应用到入侵检 测系统中，并取得了不少研究成果。归纳起来主要有：统计的方法、状态转换 分析、专家系统、模式匹配、移动代理和神经网络，最近又有不少研究人员应 用数据挖掘的方法和人工免疫的方法研究入侵检测系统。 2 3 1 统计方法 统亡1 方法是产品化的入侵检测系统中常用的方法，它建立一个对应“i 卜常 活动”的特征原型，然后把与建立的特征原型中差别“很大”的行为标识为异 常【3 】。因此，当入侵集合与异常活动集合不完全相等时，一定会存在漏报( f a l s e n e g a t i v e ) 和误报( f a l s ep o s i t i v e ) 问题。为了使“漏报”和“误报”的概率较 为符合实际需要，必须选择个区分异常事件的“闽值”。而调整和更新某些系 统特征度量值的方法非常复杂，开销巨大。在实际情况下，试图用逻辑方法明 确划分“正常行为”与“异常行为”两个集合非常困难。 统计手段的主要优点是可以自适应地学习用户的行为，主要缺点是其可能 被入侵者逐渐训练以至最终将入侵事件误认为正常。并且闽值设置不当会导致 大比例的“误报”与“漏报”。此外，由于统计量度对事件顺序的不敏感，事件蚓 的关系可能会被遗漏，这个问题可以用预测模式生成的方法解决。它通常用于 异常检测。在统计方法中，主要需要解决四个问题： 第7 页 ：海大学硕士学位论文 ! 堑! 旦塾墨! ! ! ! 生! ! j ! 出! ! ! ! 竺g ! 型塑幽! 塑! ! 生 选取有效的统计数据测量点，生成能够反映主体特征的会话向量； 根据主体活动产生的审计记录，不断更新当前主体活动的会话向量； 采用统计方法分析数据，判断当前活动是否符合主体的历史行为特征； 随着时间变化，学习主体的行为特征，更新历史记录。 统计方法是比较成熟的入侵检测方法，它使得入侵检测系统能够学习主体 的日常行为，将那些与正常活动之间存在较大统计偏差的活动标识为异常活动。 2 3 2 预测模式生成 预测模式生成也是一种用于异常检测的方法，它的理论基础是：假设审计 事件的序列不是随机的，而是符合可识别的某种模式。通过生成基于已经发生 的事件来预测未来事件，如果一个与预测统计概率偏差较大的事件发生，则被 标志为攻击。比如规则e 1 一 e 2 一 e 3 = 8 0 ，e 4 = 1 5 ，e 5 = 5 ，即假定事件 e 1 和e 2 已经发生，e 3 随后发生的概率是8 0 ，e 4 随后发生的概率是1 5 ， e 5 随后发生的概率是5 ；若e 1 、e 2 发生了，接着e 3 发生，则为正常的概 率很大；若e 5 发生，则为异常的概率很大：若e 3 、e 4 、e 5 都没有发生，而 是发生了模式中没有描述到的e 6 ，则可以认为发生了攻击j 。 与纯粹的统计方法相比，预测模式生成增加了对事件顺序与相互关系的分 析，从而能检测出统计方法所不能检测的异常事件。这一方法首先根据已有的 事件集合按时间顺序归纳出一系列规则。在归纳过程中，随着新事件的加入， 它不断地改变规则集合，最终得到的规则能够准确地预测下一步要发生的事件。 预测模式生成技术的问题在于未被这些规则描述的入侵会被漏检。此技术较容 易发现在系统学习期间试图训练系统的用户。 2 3 3 状态转换分析 状态转移的理论根据是：网络在正常情况下和受攻击情况下的删络状态、 链路状态的变化是不同的。它实时分析当前网络状态、链路状态的变化情况， 运用有限自动状态机进行状态转移，若转移到告警状态，就认为受到了攻击， 并发出警告【1 2 1 。状态转移分析方法的优点是与攻击的过程无关，只与系统状态 的变化相关，所以无需对攻击手段进行研究。 在状态转移分析中，入侵被表示成为目标系统的状态转换图。当分析审计 事件时，若根据对应的条件布尔表达式，系统从安全状态转移到不安全的状态， 则把该事件标记为入侵事件。 第8 页 卜海大学硕士学位论文 ! 些里! 型! ! 堡! ! ! ! ! ! 堕! ! 塑g ! 型竖! ! ! ! 竖i 旦 2 3 4 专家系统 专家系统也是入侵检测中运用较多的方法之。专家系统包含描述可疑行 为的规则，这些规则是建立在关于过去行为的知识、已知的系统脆弱性漏洞和 特定安装的安全策略基础之上的。规则所描述的可疑行为与用户行为是否偏离 过去行为模式是相互独立的【l ”。 专家系统的建立依赖于知识库的完备性，面知识库的完备性又取决于审计 记录的完备性与实时性。所以专家系统面临的问题主要是全面性问题和效率问 题。这种方法的缺陷也和其他所有基于知识的检测方法一样，需要经常为新发 现的系统漏洞更新知识库。 2 3 5 模式匹配 基于模式匹配的入侵检测方法是将已知的入侵特征编码成与审计记录相 符合的模式。当新的审计事件产生时，它就寻找与之相匹配的已知入侵模式。 它首先编码已知入侵特征，作为与审计数据匹配的模式，然后将外来事件与代 表入侵脚本的模式相匹配以报告攻击行为【l 。 模式匹配方法有其独特的优点，它将入侵检测转化为模式匹配，则系统的 审计日志可以作为模式匹配器。模式识别技术现在比较成熟，在构造一个系统 时，可以围绕它的实用性和有效性作很多的优化。因此，使用模式匹配方法检 测入侵行为往往比专家系统更有效。 模式匹配的主要缺点是，必须对攻击模式本身进行描述，并只能检测已知 模式的攻击手段。另外，提取攻击手段的特征，把己知攻击脚本翻译成可以被 检测模型使用的模式也是一个难点。 2 3 6 神经网络 神经网络用给定的n 个动作训练神经网去预测用户的下一步行为。训练 结束之后，神经网络用神经网中的用户特征匹配实际的用户行为，其中统计差 异较大的事件为异常行为。 常见的神经网络模型有感知器、线性神经网络、b p 神经网络、径向基函数 恻络等，其中b p 神经网络是一种使用非常，“泛的模型。b p 网络是一种多层前 馈神经网络，各层神经元之间的关联强度( 权值) 的调整使用反向传播( b a c k p r o p a g a t i o n ) 学习算法，因此被称为b p 网络。网络除输入输出节点外，有 个或多个隐层节点同层节点之间没有任何耦合。信号从输入层节点输入，依 第9 页 上海大学硕：卜学位论文 ! ! ! ! ! 蟾! 些坠! ! ! ! ! ! ! ! ! ! ! 垫墨! 型型! ! ：! 垡! 生 次穿过各个隐层节点。最后传到输出节点。每层节点的输出为下一层节点的 输入。神经网络中各网络结点的传递函数可以为s i g m o i d 函数： 0 。2 1 ( 1 + e x p 一【w j o ，+ qj 】) 其中，o 是网络结点j 的输出，q ，是结点j 的闽值；w ，。是从结点i 到 j 的权值。b p 神经网络的结构如图2 1 所示“。 z _ 输出向量 输出层 隐层 输入层 输入向量 图2 1b p 神经网络结构 在图2 1 中，输入向量由被监控的系统服务程序的部分输入以及程序内部 部分变量的取值组成。输入分量在提交给bp 神经网络之前，由预处理模块完 成数值化。输出向量包含两个分量y 。- 5y 2 ，它们被用来表示正常行为和异常行 为的概率，取值在0 - - 1 之间。el 和02 分别表示正常行为和异常行为的阈值。 若yj = 1 ，y 2 = 0 ，表示行为正常；y l = o ，y 2 = 1 ，表示行为异常；y l y 2 且y l 0l ， 也认为行为正常，同时发出提示信息；y l v x v 。在图3 3 所示的图中，v = v l ，u 9 3 v 4 v 5 ) ，e 一 e 1 ，e 2 ，e 3 ，e 4 ，e 5 e 6e 7 e 8 e 9 ) 。边与结点的映射关系为f i e 0 = ( v ，v 2 ) ，以e 2 ) = ( v 1 v 2 ) ，f ( e 3 ) = ( ”，v 2 ) ，f i e 4 ) = ( v i 9 4 ) ，一e s ) 2 ( v 2v 3 ) ，舅e 6 ) = ( v 3 y 4 ) ，苁e 7 ) 2 ( v 4 v 4 ) ，苁e s ) 2 ( 9 4 v 5 ) ，( e 9 ) 2 ( v 4 ，- 9 5 ) 。 图3 - 3 图例 此图例是个无向图，图的数据挖掘技术对有向图和无向图都可以进行处 理。 在图的数据挖掘领域，图的结点标识可以不唯一，边的标识也可以不唯 。 即一个图中可以有多个具有相同标识的结点和边。 基于图的数据挖掘的主要目标是，通过有效的算法挖掘出图中符合特定要求的 拓扑子结构( 即子图) 。如果对g ( v ，e 1 力有v 1 e v 、e 1c e ，则g 为g 的予 图。其中有两种特殊的子图，即树和路径。图3 4 中子图( a ) 和( b ) 是树，其中( a ) 中的边都有标记，称为顺序树；树( b ) 称为无序树。子图( c ) 则是一个路径。 r 卜厂卜 ( a )( b ) 图3 4 予图示例 第1 8 页 l 海大学坝卜学位论史 ! 鲢盥虫趔! ! 堕旦! i 堡2 1 。i ! 翌g ! 型型! ! ：曼! ! 型 一 3 2 免疫系统 在生物学领域中，免疫学是一门相对年轻的学科，但人类对自然免疫的认 识可以追溯到3 0 0 年以前。早在1 7 世纪，我国医学家就发明了人痘用于预防天 花。1 7 9 6 年英国医生e d w a r dj e n n e r 发明了牛痘，取代了人痘苗，成为现代免 疫学的开端。法国免疫学家p a s t e u r 发明的减毒细菌疫苗，成为经典免疫疫苗。 现在，免疫学已经发展为一门独立的学科，并派生出若于分支。例如，细胞免 疫学、分子免疫学、神经与内分泌免疫学、生殖免疫学和行为免疫学等口”。 3 2 1 生物免疫原理 免疫系统是生物所具有的防御系统，它由免疫效应分子及有关的基因和具 有免疫功能的细胞、组织、器官等组成，可以保护机体，抵御病原体、有害异 物等致病因素的侵害。免疫系统的主要功能是：免疫防御、免疫稳定和免疫监 督。免疫系统的基本元素包括巨噬细胞、淋巴细胞及其抗体。生物系统具有大 量发达的抗体系统，抗体识别特定抗原并消除抗原，处理不断变化的环境。 一旦病原体侵入肌体，首先被单核巨噬细胞吞噬、消化，然后将其分解为抗 原片段。这些片段能和主组织相容复合体结合，结合物位于细胞膜上，可被t 细胞识别，使t 细胞活化、激发，释放出细胞因子。细胞园子作为第二：信号，加 速已结合抗原的b 细胞活化、增殖和分亿，产生浆细胞。b 细胞不仅产生大量的 分泌型的抗体，也产生膜结合型的抗体。在b 细胞的增殖、分化过程中，细胞同 时经历着超变异。抗体与抗原发生特异性结合后，通过中和、溶解和调理等作用， 最终使抗原从体内清除。另有一些b 细胞变成了长期存活的记忆细胞，它通过血 液和淋巴组织循环，暂不分泌抗体。记忆细胞的存在，为下一次快速、高效的消 除相同或者类似抗原引起的感染奠定了基础【3 “。 3 2 2 人工免疫系统 人工免疫系统是生物免疫系统的模拟。f a r m e r 等人在1 9 8 6 年率先基于免 疫网络学说给出了免疫系统的动态模型，并探讨了免疫系统与其他人工智能方 法的联系，这是人工免疫系统研究的开端。但真正成为研究热点是在1 9 9 6 年 1 2 月举行“基于免疫系统的国际专题讨论会”之后。此会上首次提出了“人工免疫 系统”的概念。 人 ：免疫系统模拟生物免疫系统，继承自然免疫系统的各项优点。它的主 要研究领域有： 第1 9 页 上海人学碗士学位论文 ! 鲢! ! ! ! g 堡垒! 型! ! ! 塑l ! 旦i ! ! ! g ! 型型! ! 竖堡! 堕 人工免疫系统模型研究 人工免疫系统模型是免疫系统复杂的抗原抗体识别物理、化学过程的简化。 由于免疫系统异常复杂，因此对人工免疫系统模型的研究相对比较少。但人工 免疫模型利用抽象出的免疫系统的性质和功能，能很好地解决工程中的问题。 基于抗原、抗体相互结合的特征，a t a r a k a n o v 等人在2 0 0 0 年建立了个比较系 统的人工免疫系统模型，该模型经过改进后，用于评价加里宁格勒生态学地图 集的复杂计算。j t i m m i s 等人于2 0 0 1 年提出了一种资源限制的人工免疫系统方 法，该算法基于自然免疫系统的种群控制机制，控制种群的增长和算法终止的 条件，并成功用于f i s h e r 花瓣问题中 3 6 j 。 目前对免疫系统模型的研究主要有人工免疫网络模型和人工免疫系统模 两种。 人工免疫机制研究 为了适应环境的复杂性和异敌的多样性，生物免疫系统采用了单纯冗余策 略。这是一个具有高稳定性和可靠性的方法。免疫系统是由1 0 7 个免疫子网络 构成的个大规模网络。其免疫机理非常复杂，尤其是它所具有的信息处理与 机体防御功能，为工程应用提供了新的概念、理论和方法 3 7 】。其中，主要的人 工免疫方法有i ”j