（计算机应用技术专业论文）稀有类入侵检测分类算法研究.pdf

太原理工大学硕士研究生学位论文 稀有类入侵检测分类算法研究 摘要 入侵检测技术是一种主动保护系统或网络免受攻击的一种 信息安全技术。数据挖掘是从海量的数据中提取出用户感兴趣 的数据信息( 知识) ；针对其特点目前很多人把数据挖掘技术用 到入侵检测中获得相关的入侵知识、系统特征知识。分类是数 据挖掘的重要技术之一，把分类技术用到入侵检测中主要是为 了建立分类模型，能更精确的区分正常和异常行为。 分类的方法很多，比如决策树、神经网络、规则归纳等分 类方法，其中规则归纳算法中的r i p p e r 算法是在入侵检测领 域常用的一种算法。与其它分类算法相比，它能够直接较快的 建立简单、易于理解的模型，而且r i p p e r 算法具有较好的泛 化精度( g e n e r a l i z a t i o n a c c u r a c y ) ，规则中的条件也比较简洁明 了，这两点对于入侵检测来说非常重要。 在入侵检测中会出现一些小概率事件，这些事件或者是入 侵行为或者是正常行为，我们称其为是稀有类。而r i p p e r 算 法是通用的算法对于这种小概率事件的发生不具有分类能力， 太原理工大学硕士研究生学位论文 所以r i p p e r 算法用在入侵检测中还存在不足之处。本文针对 r i p p e r 算法这个不足进行了研究，并且提出了一种改进方案， 具体思想就是把r i p p e r 算法的学习( 生长) 阶段分成两个过 程r p 过程和r n 过程。r p 过程放宽了精确度限制提高了覆 盖率：r n 过程在r p 过程的基础上去掉多覆盖的反例。经过这 种改进之后提高了r i p p e r 算法对于稀有类的分类能力。 通过实验证明，经过改进后的算法在精确度上没有太大变 化，但是在稀有类分类方面有很好的分类效果。可见改进后的 笪法覃j 舌会入停柃洲 而怫 关键词：入侵检测系统，数据挖掘，分类算法，稀有类，两 阶段方法 i i 奎堕里三盔堂堡主堕壅圭堂些堡墨 一 r e s e a r c h0 ni n t r u s i o nd e t e c t i o n c l a s s i f i c a t i o na l g o r i t h mb a s e d o nr a r e c l a s s e s a b s t r a c t t h et e c h n o l o g yo fi n t r u s i o nd e t e c t i o ni sn o wa ni m p o r t a n t i n f o r m a t i o n s e c u r i t ys t r a t e g y t o p r o t e c tc o m p u t e rs y s t e m sa n d n e t w o r k d a t am i n i n gh a sb e e na p p l i e dt oi n t r u s i o nd e t e c t i o ni n o r d e rt oa c q u i r ek n o w l e d g eo fi n t r u s i o nd e t e c t i o ni nv i r t u eo fi t s c h a r a c t e r i s t i c s ，s i n c e i ta i m st od i s c o v e rt r u s t f u l ，u s e f u la n d i n t e r e s t e dk n o w l e d g eo rd a t ai n f o r m a t i o nf r o mag r e a td e a lo fd a t a c l a s s i f i c a t i o ni sac o r et e c h n i q u ei nd a t am i n i n g ，w h i c hc a l lb eu s e d t ob u i l dac l a s s i f i c a t i o nm o d e lf o rt h es a k eo fd i s t i n c t i o nb e t w e e n t h en o r m a la n da b n o r m a l i ni n t r u s i o nd e t e c t i o n s e v e r a lc l a s s i f i c a t i o na l g o r i t h m sh a db e e np r o p o s e do v e rt h e y e a r s ，i n c l u d i n gd e c i s i o nt r e e ，n e u r a ln e t w o r ka n dr u l ei n d u c t i o n a l g o r i t h me t c r i p p e r ，b a s e do nr u l ei n d u c t i o nt e c h n o l o g y ，i so n e i i i 奎璺垄三查堂堡主婴窒圭兰垡笙塞一 o ft h o s ea l g o r i t h m sw i d e l yu s e di ni n t r u s i o nd e t e c t i o nd o m a i n r i p p e rc a nb ed i r e c t l ya p p l i e dt o c o n s t r u c tas i m p l ea n d c o m p r e h e n s i b l e c l a s s i f i c a t i o nm o d e l i ta l s op r o v i d e sp r e f e r a b l e g e n e r a l i z a t i o na c c u r a c y s i m p l e c o n d i t i o n si nr u l e s ，w h i c ha r e c r u c i a lt oa ni n t r u s i o nd e t e c t i o nm o d e l l i t t l e p r o b a b i l i t ye v e n t sd oo c c u ri ni n t r u s i o nd e t e c t i o n t h e y c a nb en o r m a lo ra b n o r m a l ，a n da r ec a l l e dr a r ec l a s s e s r i p p e ri s i n c a p a b l eo fc l a s s i f y i n g r a r ec l a s sb e c a u s eo fi ti s a l l p u r p o s e d t h e r e f o r e ，r i p p e rn e e d st ob ei m p r o v e di fi ti sa p p l i e di ni n t r u s i o n d e t e c t i o n t h i st h e s i ss t u d i e dc a u s e so fs h o r t c o m i n g s ，a n db r o u g h t f o r w a r da ni m p r o v e dm e t h o d t h ek e yf e a t u r eo ft h em e t h o di st h a t i ti sc o m p o s e dw i t ht w op h a s e s t h ef i r s tp h a s ea i m sf o rh i g hr e c a l l b yi n t r o d u c i n gr u l e sw i t hh i g h l ys u p p o r t e da n dr e a s o n a b l el e v e lo f a c c u r a c y t h es e c o n dp h a s et r i e s t o i m p r o v e t h e p r e c i s i o nb y l e a r n i n gr u l e s t or e m o v ef a l s e p o s i t i v e s i nt h ec o l l e c t i o no ft h e r e c o r d sc o v e r e db yt h ef i r s tp h a s er u l e s t h e e x p e r i m e n tp r o v e dt h a t t h e i m p r o v e da l g o r i t h m c a n e f f e c t i v e l yc l a s s i f y r a r e c l a s s e s ，h o w e v e r , d o e sn o t h i n gw i t h i v 太原理工大学硕士研究生学位论文 a c c u r a c y t h u s ，w em a k eac o n c l u s i o nt h a tt h ei m p r o v e da l g o r i t h m i sm o r ea d a p t i v et oi n t r u s i o nd e t e c t i o nt h a nr i p p e r k e y w o r d s ：i n t r u s i o nd e t e c t i o n s y s t e m ，d a t am i n i n g ， c l a s s i f i c a t i o na l g o r i t h m ，r a r ec l a s s e s ，t w o p h a s em e t h o d v 太原理工大学硕士研究生学位论文 第一章绪论 随着计算机网络和i n t e m e t 的发展，人们在进行资源共享芰同时也日 益感受到网络安全的重要性。在网络安全产品中发展最早也景袁熟的是防 火墙，但是由于防火墙本身的局限，不能阻止日益复杂的黑客攻击。能否 使网络采取某些技术，主动保护自己，入侵检测系统由此产生：国内外对 入侵检测系统的研究大约有二十多年，从无到有，成为一个菲善活跃的研 究领域。入侵检测( i n t r u s i o nd e t e c t i o n ) 是检测任何企图危及变源的完整 性、机密性和可用性的活动，并采用相应的对抗措施。本章主要介绍入侵 检测及入侵检测系统的发展历史和研究现状，以及有关入侵箜瓤领域中的 概念，最后是对本论文内容的简要介绍。 1 1 入侵检测及入侵检测系统的发展历史 关于入侵检测的发展历史最早可追溯到1 9 8 0 年，兰时j a m e s p a n d e r s o n 为美国空军做了一份题为 c o m p u t e rs e c u r i t yn r c 乏tm o n i t o t i n g a n ds u r v e i l l a n c e ( 计算机安全威胁监控与监视) 的技术报告| ! 第一次详 细阐述了入侵检测的概念。这份报告被公认为是入侵检测的尹一之作。紧 接着从1 9 8 4 年到1 9 8 6 年，乔治敦大学的d o r o t h yd e n n i n g 和s p d ；c s l ( s r i 公司计算机科学实验室) 的p e t e rn e u m a n n 研究并提出了一“妄时入侵检 测系统模型，敢名为i d e s l 2 i 1 9 l ( 入侵检测专家系统) 。1 9 8 7 兰，d e n n i g 提出了一个通用的入侵检测模型，他的这篇论文被认为是入至圣测领域的 里程碑之作。1 9 8 8 年，s r i c s l 的t e r e s al u n t t 剐等人改进了d e n n i n g 的入 侵检测模型，提出了与系统平台无关的实时检测思想，并开发一个i d e s 。 该系统包括个异常检测器和一个专家系统，分别用于统计导雩模型的建 立和基于规则的特征分析检测( 如图1 - 1 所示) 。 1 太原理工大学硕士研究生学位论文 图1 - 1 i d e s 结构框架 f i g 1 - 1 t h ef r a m e w o r ko fi n t r u s i o nd e t e c t i o ne x p e r ts y s t e m 而入侵检测发展历史上又一个具有重要意义的里程碑是n s m t 4 】 ( n e t w o r ka n o m a l yd e t e c t i o na n di n t r u s i o nr e p o r t e r ) 的出现，它是由加州 大学戴维斯分校的l t h e b e r l e i n 等人开发的。该系统第一次直接将网络流 作为审计数据来源，因而可以在不将审计数据转换成统一格式的情况下监 控异种主机。从此之后，入侵检测系统发展史翻开了新的一页，两大阵营 正式形成：基于网络的i d s 和基于主机的i d s 。1 9 9 1 年，n a d i r 5 j ( n e t w o r k a n o m a l yd e t e c t i o na n di n t r u s i o nr e p o r t e r ) 和d l d s i q ( d i s t r i b u t ei n t r u s i o n d e t e c t i o ns y s t e m ) 的出现，使得人们在入侵检测领域的研究又向前迈进了 一步，它的设计思想是收集和并行处理来自多个主机的审计信息来检测一 系列主机的协同攻击行为。1 9 9 4 年，m a r kc r o s b i e 和g e n es p a f f o r d t 7 l 提出 使用自治代理( a u t o n o m o u s a g e n t s ) 以便提高入侵检测系统的可伸缩性、 可维护性、效率和容错性的思想，这使得入侵检测的研究又向着更高层次 发展了一步：而1 9 9 6 年的g r i d s 8 i ( g r a p h - b a s e di n t r u s i o nd e t e c t i o n s y s t e m ) 的设计和实现大大弥补了绝大多数的入侵检测系统伸缩性不足的 问题，使得对大规模自动或协同攻击的检测更为便利。 1 9 8 8 年的莫旱斯蠕虫事件发生之后，网络安全才真正引起军方、学术 界和企业的高度重视。美国空军、国家安全局和能源部共同资助空军密码 支持中心、劳伦斯利弗摩尔国家实验室、加州大学戴维斯分校、h a y s t a c k 实验室，丌展对分布式入侵检测系统( d i d s ) 的研究，将基于主机和基于 网络的检测方法集成到一起，其结构如图1 2 所示。 2 太原理工大学硕士研究生学位论文 e 固 竺至l 图1 - 2d i d s 结构框图 f 电i - 2t h ef r a m e w o r ko fd i s t t a b u t em t r u s i o nd e t e c t i o ns y s t e m d i d s 是分布式入侵检测系统历史上的一个里程碑式的产品，它的检 测模型采用了分层结构，包括数据、事件、主体、上下文、威胁、安全状 态等6 层。 目前在这方面的新思路有：新墨西哥大学的s t e p h a n i ef o r r e s t 【9 】等人将 免疫学原理应用到入侵检测中；哥伦比亚大学的w e n k el e e 等人将数据挖 掘和信息论中熵的概念引入到入侵检测中：1 9 9 8 年r o s s a n d e r s o n 和a b i d a k h a t t a k 1 0 】将信息检索技术引入到入侵检测中。现在的趋势是将其他领域及 相关学科的知识综合应用于入侵检测系统，比如，p u r d u eu n i v e r s i t y 的 s a n d e e pk u m a r 和g e n es p a f f o r d 设计的着色p e t r i 网( c p n e t ) ，采用状 态转移技术来优化误用检测系统的方法。i d i o t ”】系统就是该方法的具体 实现。另一种比较新的检测方法是基因算法，典型代表是由f r e n c h e n g i n e e r i n g u n i v e r s i t y 的l u d o v i c m eo f s u p e l e c 开发的g a s s a t a n l 系统。 这些研究代表了当前的最高水平。 1 2 入侵检测研究现状 自二十世纪八十年代以来，国外就有一些机构开始对入侵检测的研 究，最早资助进行这方面研究的是美国国防部高级研究计划署( d a r p a ) ， 这位启动计算机网络研究的开山鼻祖，对入侵检测的研究同样起着导航的 作用。早期的研究只是一种实验阶段，产品的针对性强，即为了保护专门 的网络而进行研究设计的。而且系统大多以基于主机的入侵检测系统为 主。进入九十年代，随着基于网络的入侵检测系统的问世，给入侵检测研 3 太原理工大学硕士研究生学位论文 究领域注入了新的活力。很多的网络公司开始开发商业化的产品，而且对 于入侵检测的研究已经进入很高涨的阶段，在其它领域的一些算法被人们 引入到了该领域。像人工智能、数据挖掘、免疫学、甚至包括信号处理领 域的信息论测度也被考虑到。发展到现在，国外主要研究者是a t & t 实验 室的w i l l i a mw , c o h e n 对i r e p 算法提出了改进，也就是r i p p e r k 算法： 哥伦比亚大学的w e n k el e e ，利用数据挖掘中的分类算法( r i p p e r ) 、关 联模式( a p r i o r i ) 、序列模式( a p r i o r i a l l ) 实现了自动构建入侵检测系统的 框架，最后解决了将该系统转换为n f r 模型来进行实时检测的问题；此 外新墨西哥大学的s t e p h a n i ef o r r e s t 根据生物免疫系统提出了与其相似的 计算机免疫系统，认为正常程序的所有系统调用都是相当稳定的，根据主 机系统调用序列分析，可以推断出是否存在入侵活动。目前国外一些研究 机构已经开发出了应用于不同操作系统的几种典型的入侵检测系统 ( i d s ) ，它们通常采用静态异常模型和规则的误用模型来检测侵入。这 些i d s 的检测基本是基于服务器或基于网络的。基于服务器的i d s 采用服 务器操作系统的检测序列作为主要输入源来检测侵入行为，而大多数基于 网络的i d s 则以监控网络故障作为检测机制，但有些则用基于服务器的检 测模式和典型的i d s 静态异常算法。早期的i d s 模型设计用来监控单一服 务器，是基于主机的入侵检测系统；然而近期的更多模型则集中用于监控 通过网络互连的多服务器，是基于网络的侵入检测系统。 由于网络登陆国内相对较晚，而且刚开始时人们对它的认识还不够， 所以普及面窄。随着信息化进程不断推进，人们对网络有了全新的认识， 越来越多的人使用网络，使得它成为人们生活的一部分。在人们对网络的 优越性产生认可的同时，安全问题不得不为人们所关注。近几年来，国内 的网络的发展速度是有目共睹的，而对网络安全的研究也同益被重视。当 然对入侵检测的研究也受到各方面的关注，但是由于一些客观原因，同国 外的差距还是很大。虽然一些网络安全公司也相继推出自己的入侵检测产 品，但是很多都是在借鉴国外技术手段。另外，中国科学信息安全国家重 点实验室在做相关的研究工作，主要研究方向是如何利用数据挖掘方法构 建有效的入侵检测系统，该研究得到了国家重点基金研究发展规划项目的 支持。 4 太原理工大学硕士研究生学位论文 1 3 什么是入侵检测 入侵检测技术是p 2 d r ( p r o t e c t i o nd e t e c t i o nr e s p o n s ep o l i c y ) 动态安 全模型的一个重要组成部分，是动态安全技术的最核心技术之一。入侵检 测f 1 3 】( i n t r u s i o nd e t e c t i o n ) 是防火墙的合理补充，它从计算机网络系统中 的若干关键点收集信息，并分析这些信息，检测网络中是否有破坏资源完 整性、机密性和可用性的行为和用户对系统资源的误用等，同时做出反应。 入侵检测的典型过程是：信息收集、信息( 数据) 预处理、数据的检 测分析、根据安全策略做出响应。甚至还包括检测效果的评估。信息收集 是入侵检测的第一步，内容包括系统、网络、数据及用户活动的状态和行 为。数据预处理是对收集到的数据进行预处理，将其转化为检测器所需要 的格式，也包括对冗余信息的去除即数据约简。数据的检测分析是利用各 种算法建立检测器模型即分类器( c l a s s i f i e r ) ，并对输入的数据进行分析以 判断入侵行为的发生与否。这也是入侵检测的关键环节之一，入侵检测的 效果如何将直接取决于分类算法的好坏。因为针对不同的数据环境，所采 用的算法是不一样的，而且各个算法都存在着自身不可避免的不足。本文 就是着重针对r i p p e r 算法的不足之处在入侵检测环境下它不能很好 的对稀有类( r a r ec l a s s ) 进行分类这个问题提出了改进，把p n 规则引入 到r i p p e r 算法学习规则的过程中，遇到稀有类分类能得到比r i p p e r 更 高的精确度。响应是指产生检测报告，通知管理员，断开网络连接，或更 改防火墙的配置等积极的防御措施。对于效果的评估也是入侵检测领域关 注的问题，一般采用误报率( f a l s ep o s i t i v e s ) 和漏报率( f a l s en e g a t i v e s ) 作为衡量入侵检测效果的重要指标。而检测算法在实现上，不可避免地存 在一些不足，本文的工作就是如前所述针对算法的不足进行了一点改进。 1 4 什么是入侵检测系统 1 4 1 入侵检测系统概念及模型 入侵检测系统【1 4 1 ( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) 是实现入侵 5 太原理工大学硕士研究生学位论文 检测功能的一系列软件、硬件的组合。它是入侵检测的具体实现。入侵检 测系统在结构体系上的具体实现即入侵检测系统模型，比较有影响力的 有：o ) d e n n i n g 的通用入侵检测系统模型；c i d 一1 5 】【1 6 ”l 【1 8 1 模型。d e n n i n g 通用入侵检测模型，作为入侵检测发展历程中颇具影响力的实例，给入侵 检测领域的研究带来相当重要的启示；而c i d f 模型是在对入侵检测系统 进行规范化的进程中提出的，逐渐被入侵检测领域所采纳的模型。 d e n n i n g 于1 9 8 7 提出的通用入侵检测模型由六个主要部分构成( 如图 1 3 所示) ：主体( s u b i e c t ) 、对象( o b j e c t ) 、审计记录( a u d i tr e c o r d s ) 六元组： 、活动简档( a c t i v i t yp r o f i l e ) 、异常记录( a n o m a l yr e c o r d ) 、 活动规则( a c t i v i t yr e g u l a t i o n ) 。 从各个方面进行入侵检测的系统往往相互独立，缺乏互用性，缺乏统 一的标准。不利于入侵检测系统向纵深和协同的方向发展。 尉i - 3 通用入侵检测系统模型 f i g 1 - 3c o m m o nm o d e lo fi n t r u s i o nd e t e c t i o ns y s t e m c i d f ( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ) 阐述了一个入侵检测 的通用模型，是当前i d s 的典型结构。它将个入侵检测系统分为4 个构 件：事件产生器( e v e n tg e n e r a t o r s ) 、事件分析器( e v e n ta n a l y z e r s ) 、响应 单元( r e s p o n s eu n i t s ) 、事件数据库( e v e n td a t a b a s e s ) 。各功能单元间的 6 太原理t 大学硕士研究生学位论文 数据交换采用的是c i s l 语言。在四个构件中事件数据库是更重要的核心， 它很明显体现了i d s 的检测能力( 不是性能) ，也同检测引擎有密切关系， 因为通常的误报和漏报都同事件定义明确相关。( 当然，检测引擎本身的 性能也很重要) 图1 - 4 是入侵检测系统的一个简化模型，它给出了入侵检测系统的一 个基本框架。一般地，入侵检测系统由这些功能模块组成。在具体实现上， 由于各种网络环境的差异以及安全需求的不同，所以在实际的结构上就存 在了一定程度上的差别。 1 4 2 入侵检测系统的分类 1 4 2 。1 根据信息源分类 原始数据辣 图1 4 简化的入侵检测a d f 模型 f i g 1 - 4s i m p l i f i e dm o d e lo fi n t r u s i o nd e t e c t i o ns y s t e m 入侵检测先后经历了三个阶段，也就是现在的主要三种类型 2 0 】 2 l 】【2 2 】： 基于主机的入侵检测、基于网络的入侵检测和分布式入侵检测。 、基于主机的( h o s t b a s e d ) 入侵检测 初期多以基于主机的入侵检测系统( h i d s ) 研究为主，即在单个主机 上运行一个或多个代理程序，该代理程序作为检测引擎，对受检测主机上 的数据进行采集、分析和判断，根据主机行为特征库确定是否为入侵行为， 并把警报信息发送给控制端程序，由管理员集中管理。基于主机的i d s 可 7 太原理工大学硕士研究生学位论文 以精确的分析入侵活动，能精确的决定是哪一个用户和进程对操作系统的 攻击。但该种检测的数据源一股只是本机的数据，而且它只能检测该主机 上发生的入侵，尤其对来自网络底层的攻击无能为力，所以基于主机的入 侵检测系统在网络系统中有很大的局限。 二、基于网络的( n e t w o r k b a s e d ) 入侵检测 基于网络的入侵检测系统( n i d s ) 的数据源主要是网络中的数据流， 通过采集网络中的数据包，提取其特征并与已知的知识库中的攻击模式相 比较，进行检测。通常情况下是将网卡的接收模式进行适当的设置就可以 改变网卡的过滤策略，使网卡可接收经过本网段的所有数据包。网卡的这 种接收模式称为混杂模式【2 3 】，目前的大部分网卡都提供这种设置。 基于网络的i d s 也有着定的不足：它只能监视通过本网段的活动， 而且精确度较差，在交换网络环境中难于配置，防欺骗的能力也较差，对 于加密环境它就更是无能为力了。 三、分布式入侵检测系统 从以上分析我们可以看出基于主机的和基于网络的i d s 都各自有着自 身独特的优势，而且在某些方面是很好的互补。采用这两者结合的入侵检 测系统，可以汲取各自的长处，又弥补各自的不足，通常这样的系统一般 为分和式结构【2 “，有多个部件组成，能同时分析来自主机系统的审计数据 及来自网络的流量数据信息。 分布式i d s 是人们研究的重点，它是一种相对完善的体系结构。为日 趋复杂的网络环境下策略的实现提供了最佳的解决对策。 1 4 2 2 根据分析技术分类 由入侵检测实现过程可以看出，数据分析是入侵检测系统的核心，它 关系到能否检测出入侵。不同的分析技术体现的分析机制是不一样的，对 数据分析的结果也不一样，而且不同的分析技术对不同的数据环境的适用 性也不同。根据入侵检测系统所采用的分析技术来看，它可以分为采用异 常检测的入侵检测系统和采用误用检测的入侵检测系统。 一、异常检测( a n o m a l yd e t e c t i o n ) 异常检测，也被称为基于行为的( b e h a v i o r b a s e d ) ；基本前提是：假 8 太原理工大学硕士研究生学位论文 定所有的入侵行为都是异常的，即入侵行为是异常行为的子集。原理是： 首先建立系统或用户的“正常”行为特征轮廓，通过比较当前的系统或用 户的行为是否偏离正常的行为特征轮廓来判断是否发生了入侵行为。而不 是依赖于具体行为是否出现来进行检测的。从这点来看，异常检测是一种 陋j 接的方法。( 图1 5 是典型的异常检测系统示意图) 更新 匝亘卜 l 审计数据卜呻 特征 动态产生新的行为特征 图1 - 5 典型的异常检测系统示意图 f 追1 - 5e x a m p l eo fa n o m a l yd e t e c t i o ns y s t e m 大多数异常检测方法从本质上说都是基于统计的方法。比如s r i 的 i d e s 和n i d e s ，它们都基于一套统计值给用户建立正常使用时的特征模 型，这些统计值既有数值统计，也有类型统计。i d e s 和n i d e s 通过一种 加权合并的方法把各个特征的偏离值综合起来，以计算实际行为相对正常 特征模型的偏离。已经建立的正常特征模型也需要根据用户的行为定期更 新，以保证一些新的用户正常行为也能用这个特征模型描述。 二、误用检测( m i s u s ed e t e c t i o n ) 误用检测，也就是基于知识的( k n o w l e d g e b a s e d ) 检测；该方法事 先假设所有可能的入侵行为都能被识别和表示。具体原理是：第步先对 已知的攻击方法建立一个攻击类型库并对每一个已知的攻击类型做标签， 然后判断这些规定好的标签名是否出现来判断入侵行为的发生与否。由此 可见，误用检测是一种直接的方法。如图1 6 直观的表明了典型的误用检 测系统示意图。 误用检测有多种方法，这些方法主要的不同之处在于入侵的表示方法 和检测入侵的匹配算法，比如：n i d e s 用一种基于规则的专家系统来进行 误用检测，在n f r 2 5 】中由监控引擎执行用n c o d e 编写的b a c k e n d 程序 来检测入侵，s t a t 用状态转换分析适用于误用检测，i d i o t 用一个更正 9 太原理工大学硕+ 研究生学位论文 修改已有规则 规则盐主丘， 匹配规则 、 入侵 行为 时间信息添加新的规则 图1 - 6 典型的误用检测系统示意图 f i g 1 - 6e x a m p l eo fm i s u s ed e t e c t i o ns y s t e m 式的正交分类和着色p e t r i 网( c o l o r e dp e t r in e t s ) 模式匹配方法来误用检 测。 三、混合入侵检测 由于异常检测和误用检测两者都存在不能检测某些类型入侵的主要 缺点，实际的入侵检测常常结合使用这两种方法。例如n i d e s 既具有一 个基于统计的异常检测模块又具有一个基于规则的专家系统适用于误用 检测。统计的和基于规则的组件各司其职而且互不相干。一个分离组件即 问题解析器( r e s o l v e r ) 被用来过滤和合并来自两个检测模块的证据以决定 最后的结果。 1 4 3 主要的检测方法 一、专家系统 专家系统是最早的误用检测方案之一，被许多经典的检测模型所采 用，例如m i d a s 、i d e s 、n e x tg e n e r a t i o ni d e s ( n i d e s ) 、d i d s 和c m d s 。 在m i d a s 2 ”、i d e s 4 】和n i d e s l 2 8 】中，所采用的专家系统是由a 1 a nw h i t e h u r s t 设计的p b e s t ；d i d s 和c m d s 则使用了由美国国家航空和宇宙航 行局( n a t i o n a l a e r o n a u t i c sa n ds p a c e a d m i n i s t r a t i o n ，n a s a ) 开发的c l i p s 系统。专家系统是以专家的经验性知识为基础建立的，以知识库和推理机 为中心的智能软件系统结构；同时，专家系统可以实现基于知识的推理和 自动学习的功能，使规则不断增多，推理能力逐步提高。在检测过程中， 系统可以采用人工智能的方法，把己知的攻击手段抽象成一条条的推理规 则，构成一棵判定树，然后，所有的网络活动都经过特征提取，最后输入 1 0 太原理工大学硕士研究生举位论文 到专家系统中得到判定结果。可以看出，入侵检测专家系统具有易于扩充 和判断准确的优点。但利用专家系统进行入侵检测具有一些不足，如难于 抽取攻击知识，难于把这些知识表述推理规则，由于审计记录的不完全也 给知识的抽取带来了困难，另外针对一种脆弱性有多种攻击方法，会产生 多个规则，使用专家系统很难检测出对系统的协同攻击。同时，处理海量 数据时存在效率问题。 二、状态转换分析 状态转换分析【2 9 】最早由r k e m m e r e r 提出，状态转换分析是使用高层 状态转换图( s t a t et r a n s i t i o nd i a g r a m s ) 来表示和检测已知攻击的误用检测 技术。 在状态转换法中，入侵活动被看成是入侵者进行的将系统由初始的安 全状态转换成被侵入状态的一系列动作，通过在这一系列动作中的某些特 征来判定入侵，从其实质上可以看作误用类型的检测模型。初始状态是指 系统在入侵发生前与入侵活动相关的系统状态；被侵入状态是指入侵刚刚 完成后的状态。该方法利用这两种状态之间一个或多个的状态转换来描述 入侵过程。当初始状态和被侵入状态确定后，导致状态转换完成的关键的 行为称为特征动作( s i g n a t u r e a c t i o n ) ，如果在入侵场景中去掉这些动作就 无法完成入侵。在目前的入侵检测系统中利用状态转换法的很少，状态转 换分析技术的典型代表是s t a t 及u s t a t ( s t a t 的u n i x 版本) ，其中s t a t 是基于主机的入侵检测系统，由u cs a n t ab a r b a b a 的p h i l l i pp o r r a s 和 r i c h a r dk e m m e r e r 开发；n e t s t a t 是基于网络状态的入侵检测系统，由 k o r a ll l g u m 和k e m m e r e r 完成。 三、统计分析 统计分析【3 。】是最早出现的异常检测技术，i d e s 、n i d e s 以及h a y s t a c k 系统中所包含的异常检测模块都属于这个类别。基于统计检测的分析规则 认为入侵行为应该符合统汁规律，可以通过对统计量的偏差进行异常检查 来检测出不正常行为，给用户、工作站、服务器、文件、网络适配器及其 他资源等主体和对象定义一系列的变量。在假设用户操作正常情况下，通 过观察历史数据或声明期望值为每个变量建立基值。它静态分析用户当前 行为参数，将之与用户历史行为( 基值) 进行比较。 太原理t 大学硕士研究生学位论文 四、基于规则的检测 另一种异常检测技术是基于规则的检测。这种技术所基于的前提与统 计异常检测相类似。这种分析规则认为入侵行为是可以用特征代码来标识 的。利用人工智能的方法，定义已知攻击手段的入侵模式，将它们抽象成 一条条推理规则，然后对所有网络活动进行特征提取，观察能与模式匹配 的事件数据，从而发现入侵。基于规则的入侵检测具有易于扩充和判断准 确的优点，但它只能对已知的攻击手段进行检测。基于网络的入侵检测通 常采用基于规则的入侵检测，它使用报文的模式匹配序列来定义规则，检 测时将监听到的报文与模式匹配序列进行比较，根据比较的结果来判断是 否有非f 常的网络行为。 基于规则的入侵检测代表系统是由l o sa l a m o s 国家实验室和o a k r i d g e 国家实验室的研究人员设计并实现的w i s d o ma n ds e n s e ( w s ) 3 1 】 和由数字设备公司( d e c ) 提出的t i m e b a s e di n d u c t i v em a c h i n e ( t i m ) 。 五、神经网络方法 作为人工智能( a i ) 的一个重要分支，神经网络( n e u r a ln e t w o r k ) 在入侵检测领域得到了很好的应用，它使用自适应学习技术来提取异常行 为的特征，需要对训练数据集进行学习以得出正常的行为模式。神经网络 由大量的处理单元件“单元”( u n i t s ) 组成，单元之间通过带有权值的“连 接”( c o n n e c t i o n ) 进行交互。学习过程也就表现为权值的改变和连接的添 加或删除。神经网络使用用户行为的历史数据进行训练构造检测器，构建 神经网络；网络接收输入的事件数据，与参考的历史行为相比较，判断出 两者的相似度或偏离度。改变单元的状态、改变连接的权值、添加连接或 删除连接，来标识异常的事件。 神经网络对所选择的系统度量( m e t r i c s ) 也不要求满足某种统计分布 条件，因此与传统的统计分析相比，具备了非参量化统计分析的优点。 最早提出使用神经网络来构造系统用户行为模式的是f o x ，他使用 k o h o n e n 的s e l f o r g a n i z i n g m a p ( s o m ) i 划自主学习算法来发现数据中隐 藏的结构。 六、基于a g e n t 的检测 近年来，一种基于a g e n t 的检测技术【3 4 】【3 5 】( a g e n t b a s e dd e t e c t i o n ) 】2 太原理上大学硕士研究生学位论文 逐渐引起研究者的重视。所谓a g e n t ，实际上可以看作是在执行某项特定 监视任务的软件实体。a g e n t 通常以自治的方式在目标主机上运行，本身 只受操作系统的控制，因此不会受到其它进程的影响。 使用自主代理采集数据的i d s 跨越了基于主机和基于网络的传统界 限，基于主机和基于网络的两种代理协同操作，可以构造一个完整的网络 防御体系，比如可以更好地阻止插入和逃避攻击。将基于主机和基于网络 的检测技术集成起来，也是下一代i d s 的发展方向。 p u r d u eu n i v e r s i t y 的研究人员为基于a g e n t 的入侵检测系统提出了一 个基本原型，称为入侵检测自治代理( a u t o n o m o u sa g e n t sf o ri n t r u s i o n d e t e c t i o n ，a a f i d ) 。针对基于a g e n t 的检测技术，p u r d u e u n i v e r s i t y 的t e l t a n l a n e 提出了一种基于用户行为等级模型的异常检测引擎a g e n t 生成方法。 综上所述，专家系统、状态转换分析、统计分析、基于规则的检测、 神经网络方法和基于a g e n t 的检测技术等方法极大的拓展了入侵检测的检 测方法种类，但是对于主机和网络系统中大量数据：主机系统日志和网络 中的系统、用户命令，这些数据仅用上述检测方法是不够的，上述各种方 法对海量的数据进行特征分析、规则提取方面还不是十分完善，所以，我 们引入数据挖掘的对入侵检测系统进行处理。 1 4 4 基于数据挖掘的入侵检测系统 本文主要研究把数据挖掘用到入侵检测中，使其满足当前入侵检测发 展的要求，即有效性、适应性和可扩展性。 中心思想就是应用目前发展较为成熟的数据挖掘技术到入侵检测中 【3 7 】，应用其中的分类算法来构造分类模型，通过改进已有分类算法使其 更适应用于入侵检测环境。数据挖掘在第二章会有详细的介绍。通过数据 挖掘算法，从审计数据中获取用户正常行为和攻击行为的模式，并以此为 依据构造系统特征，建立入侵检测模型。这样做的好处主要有以下几点： 根据数据挖掘技术构造出来的特征可以更加精确、有效地区分用户 的正常行为和异常行为，因此，在这些特征的基础上建立的入侵检测模型 检测率会更高。 通过机器学习算法从挖掘数据中学习到的模型，不仅对学习过的数 1 3 太原理下大学硕士研究生学位论文 据有总结作用，还对未学习过的数据也有好的预测作用。因此，通过这种 方法学习到的入侵检测模型对已知攻击方法的变种有着更好的适应能力。 构造检测模型的分类算法不仅可以从特征中构造分类器( 即入侵检 测模型) ，还可以构造高层的分类器，形成一个组合多重检测模型的层次 型体系结构。也就是构造不同的入侵检测模型部件分别检测不同类型的攻 击或新类型，然后通过分类算法的高级学习过程合并各个检测模型的部件 的结果，得到一个高层的检测模型。这样的好处是可以把检测最新攻击的 检测模型合并到当前的入侵检测模型中，使之具有好的可扩展性。 文章的第四章详细介绍了如何改进r i p p e r 算法，使其更适应于入侵 检测中稀有类发生的情况，比同类数据挖掘算法更有效的分类稀有类。 1 5 论文的主要工作 本课题的任务是在r i p p e r 算法的基础上对其进行改进，使之能够更 好的对入侵检测中的稀有类分类。通过对r i p p e r 算法的分析可知，该算 法应用在入侵检测环境下海量数据上的结果显示，这一传统分类算法强大 的归纳能力在遇到入侵检测环境下稀有类时没有很好的分类效果，所以有 必要对其进行适应性改造。核心思想是把p n 规则引入到r i p p e