（通信与信息系统专业论文）基于数据挖掘的入侵检测研究.pdf

摘要 从大量审计数据中提取出具有代表性的系统特征模式，用于对程 序和用户行为作出描述，是实现入侵检测的关键。作为一项通用的知 识发现技术，数据挖掘技术旨在从海量数据中提取出人们感兴趣的数 据信息，论文开展入侵检测方法的研究，将数据挖掘技术应用于入侵 检测领域，并完成了一种入侵检测模型的设计。 论文在深入研究数据挖掘技术应用于入侵检测的理论和方法的 基础上，提出了基于数据挖掘的入侵检测模型d m i d m ，该模型以训 练数据为中心，把入侵检测看成一个审计数据的分析和分类过程。论 文重点对d m i d m 中频繁模式挖掘模块进行了改进，引入关键属性和 参考属性的约束条件增强了模式挖掘的有效性：采用增量更新算法和 基于栈结构的支持度计算算法有效提高实时入侵检测中的挖掘效率， 为自适应入侵检测的研究提出了一种新的思维方式。论文最后阐述了 d m i d m 的构建过程并通过s y nf l o o d 和p o r t s c a n 攻击分析了模型的 检测原理。模型的构建以分类算法和频繁模式挖掘算法为工具，通过 频繁模式的合并、分析比较以及专门的特征构造算法来构造附加统计 特征，在此基础上利用统计特征由分类算法针对不同攻击生成相应的 分类模型。 d m i d m 利用系统化和自动化程度很高的数据挖掘技术提出通 用的检测方法，满足当前入侵检测发展趋势的要求。最后测试结果表 明d m i d m 能有效检测出部分攻击，值得继续深入研究，但在系统实 用性、自学习能力等方面仍须改进。 关键词入侵检测，数据挖掘，分类模型，频繁模式，特征构造 a b s t r a c t h o wt oc o n s t r u c tt h er e p r e s e n t a t i v es y s t e mc h a r a c t e r i s t i cp a a e r n b a s e do nal a r g eq u a n t i t yo fa u d i td a t aa n dt h e nu s ei tt od e s c r i b et h e p r o g r a ma n du s e r sb e h a v i o ri st h ek e yi or e a l i z et h ei n t r u s i o nd e t e c t i o n a sag e n e r a l l yu s e dk n o w l e d g ed i s c o v e r i n gt e c h n o l o g y ，d a t am i n i n g t e c h n o l o g ya i m sa tp i c k i n gu pt h ed a t ai n f o r m a t i o n ( k n o w l e d g e ) w h i c h p e o p l ea r ei n t e r e s t e di nf r o ml a r g ea m o u n to fd a t a t h i st h e s i sl a y s e m p h a s i so nt h es t u d yo ft h ei n t r u s i o nd e t e c t i o nm e t h o d sb ya p p l y i n g d a t am i n i n gt e c h n o l o g yt oi n t r u s i o nd e t e c t i o na n de n d su pw i t ht h ed e s i g n o fai n t r u s i o nd e t e c t i o nm o d e l t h et h e s i sh a sa d v a n c e da l li n t r u s i o nd e t e c t i o nm o d e ld m i d m b a s e do nt h es t u d yo ft h et h e o r ya n dm e t h o do fa p p l y i n gt h ed a t am i n i n g t e c h n o l o g yt ot h ei n t r u s i o nd e t e c t i o n c e n t e r e dw i t ht r a i n i n gd a t a ，t h i s m o d e lr e g a r d st h ei n t r u s i o nd e t e c t i o na sa na n a l y s i sa n dc l a s s i f i c a t i o n p r o c e s so ft h ea u d i td a t a t h et h e s i sh a sg r e a t l yi m p r o v e m e n to nt h e d m i d m f r e q u e n tp a t t e r nm i n i n gm o d u l e t h ee f f e c t i v i t yo ft h ep a r e m m i n i n gh a sa l s ob e e ni m p r o v e db yi n t r o d u c i n gr e s t r i c t i o nc o n d i t i o n so f t h e k e yp r o p e r t ya n dr e f e r e n c ep r o p e r t y ；t h ei n c r e m e n t a lu p d a t i n g a l g o r i t h ma n ds u p p o r tc o m p u t i n ga l g o r i t h mb a s e do nt h es t a l ks t r u c t u r e c a ni n c r e a s et h em i n i n ge f f i c i e n c yi nt h er e a l t i m ei n t r u s i o nd e t e c t i o na n d p r o v i d ean e wm o d eo ft h i n k i n gf o rt h es t u d yo fs e l f - a d a p t a t i o ni n t r u s i o n d e t e c t i o n i nt h ee n d ，t h et h e s i sd i s c u s s e st h ec o n s t r u c t i o np r o c e s so f d m i d ma n di t sd e t e c t i o nt h e o r yt h r o u g ht w ok i n d so f s p e c i f i c a l l ya t t a c k w h i c ha r es y nf l o o da n dp o r t s c a n t h em o d e li sc o n s t r u c t e db yt a k i n g c l a s s i f i c a t i o nm o d e la n df r e q u e n tp a r e mm i n i n ga l g o r i t h ma st o o l sa n d t h e nc o n s t r u c tt h ea d d i t i o n a ls t a t i s t i c a lc h a r a c t e r b yc o m b i n i n g ， a n a l y z i n ga n dc o m p a r i n gt h ef r e q u e n tp a r e ma n dm a k i n gu s eo ft h e s p e c i a lf e a t u r ec o n s t r u c t i o na l g o r i t h m a tl a s t ，o nt h eb a s eo f a l lt h e s e ， b ym a k i n gu s eo fs t a t i s t i cc h a r a c t e r ，c l a s s i f i c a t i o na l g o r i t h mw i l lp r o d u c e c o r r e s p o n d i n gc l a s s i f i c a t i o nm o d e la c c o r d i n gt od i f f e r e n ta t t a c k s d m i d ma d v a n c e sg e n e r a l l yu s e dd e t e c t i o nm e t h o d sb yu s i n gt h e d a t am i n i n gt e c h n o l o g yw h i c hh a sv e r yh i g hd e g r e eo fs y s t e m a t i s ma n d a u t o m a t i z a t i o na n dc a nb es u r et om e e tc u r r e n td e m a n d so ft h ei n t r u s i o n d e t e c t i o n d e v e l o p m e n tt e n d e n c y t h e f i n a lt e s tr e s u l tp r o v e st h a t d m i d mc a nd e t e c te f f e c t i v e l yp a r to ft h ea r a c ka n dw o r t hf u r t h e rs t u d y ， b u tn e e d s i m p r o v e m e n t o nf o l l o w i n g a s p e c t s l i k et h e s y s t e m a t i c p r a c t i c a b i l i t ya n ds e l f - s t u d ya b i l i t y ，e t c k e yw o r d si n t r u s i o nd e t e c t i o n ，d a t am i n i n g ，c l a s s i f i c a t i o nm o d e l ， f r e q u e n tp a t t e m ，f e a t u r ec o n s t r u c t i o n i i i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名 日期：丛生年月立日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位 论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论 文；学校可根据国家或湖南省有关部门规定送交学位论文。 作者签名：拙师签名期：丛正年月且日期：逊盘年月卫日 硕士学位论文第一章引言 第一章引言 1 1 论文研究的背景及意义 近年来i n t e r n e t 的迅速发展，给人们的日常生活带来了全新的感受，人类社 会各种活动对网络信息的依赖程度已经越来越大，计算机网络已经成为信息化社 会发展的重要保证，同时网络开放性、互连性、共享性的特点，使其遭受网络入 侵的风险日益严重。如何保证信息安全，己经成为安全领域中十分重要的课题“ 。 从最初的访问控制机制到结合包过滤及应用层网关的防火墙技术，每一个都并非 是完美的解决方案。存在的主要问题在于： ( 1 ) 在现实中，建立完全安全的系统几乎是不可能的。现今的操作系统和 应用程序中不可能没有缺陷。在软件工程中存在测试不充分、软件生命周期缩短 等问题。 ( 2 ) 加密技术方法本身存在一定的问题，如密钥的生成、传输、分配和保 存，加密算法的安全性6 】。 ( 3 ) 安全系统易受内部用户误用特权的攻击，一些安全技术( 如防火墙) ， 能够防止一些外部攻击，但对来自内部的攻击就无能为力“。 ( 4 ) 无论是安全模型还是系统安全等级评估标准，人们主要是从身份认证 和访问控制这两个方面来保证系统的安全性。但是，传统的身份认证技术并不能 抵制脆弱性口令、字典攻击、特洛依木马等攻击手段。对于访问控制，入侵者也 可以利用脆弱性程序或系统漏洞绕过访问控制，或者提升用户权限，或者非法读 写文件等”“。 ( 5 ) 作为计算机网络的关键技术，t c p i p 协议本身存在安全问题“1 ，许多 网络攻击手段就是利用t c p i p 协议本身漏洞来进行，如拒绝服务攻击等。 基于上述几类问题的解决难度，一个实用的方法是建立一个比较容易实现的 安全系统，同时按照一定的安全策略建立相应的安全辅助系统和一种能够及时发 现并报告系统中未授权或异常现象的技术，入侵检测( i n t r u s i o nd e t e c t i o n ，i d ) 技 术就是这样一类技术。入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) 通常并不 采取预先措施以防止入侵事件发生，其主要作用在于“+ ”： ( 1 ) 识别入侵者 ( 2 ) 识别入侵行为 ( 3 ) 检测和监视安全突破 ( 4 ) 为对抗入侵提供重要信息，阻止入侵事件的发生及事态扩大。 硕士学位论文 第一章引言 i d s 利用优化匹配模式和统计学等方法把传统的电子数据处理和安全审查结 合起来，己经成为构筑完整的现代网络安全技术的一个必要部分“6 。同样作为 网络安全体系结构中的重要一环，针对入侵检测方法和技术的研究工作已经引起 越来越多的重视。 入侵检测技术实质上可以归结为对安全审计数据的处理，这种处理可以针对 网络数据，也可以针对主机的审计记录或应用程序的日志文件“1 。安全事件审 计系统作为保障信息系统安全的基础部件，己经越来越多的被应用到操作系统和 网络安全管理工具之中。针对安全事件审计数据的分析处理，其目的正是为了发 现系统或用户行为的异常。然而随着操作系统和各种应用程序的日益复杂化以及 网络流量的急剧膨胀，导致了安全审计数据同样以惊人的速度递增。激增的数据 背后隐藏着许多重要的信息，人们希望能够对其进行更高层次的分析，以便更好 的利用这些数据。目前的审计系统可以高效地实现安全审计数据的输入、查询、 统计功能，但无法发现数据中存在的关联、关系和规则，无法根据现有的数据预 测未来的发展趋势，缺乏挖掘数据背后隐藏的知识的手段，导致了“数据爆炸但 知识贫乏”的现象”。 作为一项通用的知识发现技术，数据挖掘( d a t am i n i n g ) 目的是要从海量数 据中提取出有用的数据信息( 知识) 3 7 o 本课题对入侵检测进行了深入的探索研 究，将数据挖掘技术应用于入侵检测领域，目的是针对当前入侵检测模型存在的 不足进行基础方法的探索，提出在方法上、技术上均可行的且对后续研究工作具 有铺垫和借鉴意义的入侵检测方法，并根据所提出的方法构建i d s 模型， 毫无疑问，在网络犯罪日益猖撅的今天，保障计算机系统、网络系统及整个 信息系统基础设施的安全己经成为刻不容缓的任务，如何争取在信息战中的主动 权，保护国家信息安全，是科研人员必须研究的重大课题，所以致力于入侵检测 方法研究工作无疑具有重要的科研意义和社会意义。 1 2 国内外研究现状与水平 数据挖掘是数据库研究、开发和应用最活跃的分支之一。数据挖掘通常又称 数据库中知识发现( k n o w l e d g ed i s c o v e r i n g i nd a t a b a s e ，k d d ) ，是自动的或方 便的模式提取。数据挖掘出现于2 0 世纪8 0 年代后期，于9 0 年代至今有了突飞猛进 的发展，在商务管理、生产控制、市场分析、工程设计和科学探索等方面有了广 泛的应用”“。 自2 0 世纪9 0 年代起，采用数据挖掘技术等智能方法应用于信息安全领域，对 安全审计数据进行分析来进行入侵检测，已是当前的研究热点，并有很多相关的 研究成果，以下为一些具有代表性的工作： 硕士学位论文第一章引言 1 t i m e - b a s e di n d u c t i v em a c h i n e 2 0 世纪9 0 年代初，t e n g 等人提出将数据挖掘方法应用于入侵检测中，提出了 t i m ( t i m e b a s e di n d u c t i v em a c h i n e ) 模型。t i m 模型是一个通用模型，它使用时 间序列挖掘方法，从一系列事件中发现时间序列模式。该模式具有代表性，并能 够用于预测。这些时间模式，以规则形式表示，是依据输入数据产生并被修改的， 它使用一种被称为概括感应( i n d u c t i v eg e n e r a 1 i z a t i o n ) 的逻辑推理方式。在入侵检 测应用中，描述用户或用户组的行为模式是基于用户历史数据的。每一个规则描 述一个序列时间模式，并能根据一个给定的序列，预测下一个事件。 t i m 的缺陷是仅能考虑紧密相邻的事件之间的关系。而用户在同一时间内， 可能会作两件或者更多的事件，t i m 方法对这种情况却无法解决。 2 i n s t a n c eb a s e dl e a r n i n g l a n d 和b r o d l e y 使用i b lf i n s t a n c eb a s e dl e a r n i n g ) 来学习实体( 例如用户) 的 正常行为模式，它学习的原料是时间序列数据”1 。i b l 使用典型例子来代表概念， 一系列的例子被称为例子字典。i b l 需要计算例子间的距离来衡量例子间的关 系，并将他们分类存储。一个新的例子要根据它同已存储例子间的这种关系来分 类。 为了减少模式所需要的存储空间，i b l 使用最近最少剪枝策略来保证模式在 一个可以存储的空间内。当模式所占用的存储空间接近上限时，那么最近最少使 用的模式将会被删除。i b l 使用聚类技术将模式集中的例子聚集在一起，并且为 每个类选择一个代表性的例子。 同t i m 一样，i b l 从序列时间中寻找模式。在试验中发现有时一个用户可能 会终止其正常工作( 如编程) 而去做其它一些事情( 如回复e m a i l ) ，这样就会产生 一个同正常序列不一致的序列。为解决这个问题，在i b l 中引入了时间参数。， 但是时间参数的引入可能会导致异常行为的正常化。而且i b l 中的最近最少剪枝 策略也可以造成漏洞，攻击者可以通过缓慢的训练，将入侵行为转换为正常行为。 3 a d a m a d a m ( a u d i td a t aa n a l y s i sa n dm i n i n g ) 提出使用数据挖掘技术从大量的网 络元数据中发现异常的使用模式“1 。其工作重点是t c p 连接数据。使用数据挖 掘技术，a d a m p 够提供一种可变的代表网络状态的模式。 a d a m 使用多种数据挖掘技术来检测网络中的异常行为： ( 1 ) 关联：a d a m 并不是简单的直接使用关联。它引入最大项目集的概念， 使用最大项目来代表网络中的行为模式。特别的，使用一组属性值来描述网络中 的事件( e v e n t ) 并把每个事件当做一个事务。a d a m 为正常网络行为建模，这些模 型中存储的是大项目集。在进行检测时，它使用滑动窗i ：l ( s l i d i n g w i n d o w ) 方法来 硕士学位论文第一章引言 增量式地发现网络中的事件。在窗口中，a d a m 寻找没有出现在模型中的大项目， 并将其视为嫌疑行为。 ( 2 ) 域级挖掘( d o m a i n l ev e l mi n i n g ) ：这是一种分层挖掘方法。例如，一个 属于i s e g r n u e d u 子网 i p 地址可以被概化为i s e g m u e d u 、g m u e d u 、e d u 。然后使 用这些概化的属性来发现大项目。这种方法的优点是提供了一种聚集的方法，它 将具有共同特性的元数据聚集起来，这样可以发现更多的攻击。但是该系统的概 化只使用了对i p 地址的概化。 ( 3 ) 分类“2 1 “：在a d a m 中，使用了下列分类方法：c 4 5 决策树、层叠分 类( c a s c a d i n gc l a s s i f i e r ) 和规则学习等。 ( 4 ) 朴素贝叶斯分类( p s e u d ob a y e se s t i m a t o r ) “”：a d a m 使用朴素贝叶 斯分类将未知的攻击聚集起来，a d a m 认为未知的攻击就是没有被观察到的攻 击。训练数据用一组向量代表，每一个数据都具有标识。这就需要用一组附加的 标识来标明未知的攻击。最后这些标识被用来生成一个贝叶斯分类器。 a d a m 的局限性在于无法识别隐蔽性的攻击和在短时间中具有大量事件的 攻击，这是因为a d a m 发出警告的条件是未知规则的支持度要超过一个阈值。但 是这不仅是a d a m 的限制，大多数异常检测模型都有这样的问题“。 4 m a d a m i d m a d a m i d ( m i n i n ga u d i td a t af o ra u t o m a t e dm o d e l sf o ri n t r u s i o nd e t e c t i o n ) 系统是将数据挖掘方法应用于入侵检测中的研究的先驱，它是哥伦比亚大学计算 机系庞大的j a m 2 程的一部分，它的领导者是s a l v a t o r es t o l f o “。j a m 的原始计划 是使用数据挖掘技术将从分散的、异类的数据集中获得的知识关联起来，形成一 个可以用来描述环境的规则库。这项工作导致后来使用数据挖掘技术中的关联规 则和频繁项目的方法来分析元数据并建立更好的入侵检测模型。这项工作在 d a r p a1 9 9 8 年脱机入侵检测评估中获得高分，并且在k d d 9 9 资助项目中获得最 优论文奖“。 在哥伦比亚大学的相关工作中，w e n k el e e 在入侵检测中数据挖掘的应用方 面做了较多开创性研究，w e n k el e e 研究组将关联规则挖掘、序列模式挖掘和分 类算法应用于i d s ，利用不同的数据源，使用不同的检测方法作了大量实验，第 一次系统研究并实现了基于数据挖掘的i d s 系统“”“1 ，根据d a r p a 的报告，这套 系统在检测拒绝服务攻击和扫描方面优于其他系统，在检测本地用户非法提升权 限方面与其他系统大概持平，在检测远程攻击如缓存区溢出等方面，所有的系统 的检测效果都不是很好”1 。 5 i d s 工程 作为以上工作成就的延伸，哥伦比亚大学正在实施一个计划，该计划将建造 硕士学位论文 第一章引言 一个实时操作的i d s 。这个计划被命名为i d s 工程8 ”。这个工程的目标是： ( 1 ) 实时性( r e a l - t i m e ) ：实时进行入侵检测工作并且自适应完成异常训练。 ( 2 ) 覆盖性( c o v e r a g e ) ：能够覆盖整个入侵空间，包括异常检测、误用检测 和入侵行为的解释。 ( 3 ) 自动构建特性( a u t o m a t i cf e a t u r ec o n s t r u c t i o n ) ：可以自动地在从多数据 源收集的数据上构建特性。 ( 4 ) 基于代价的算法( c o s tb a s e da l g o r i t h m s ) ：使用基于代价的算法来决定是 否值得去控制某种入侵。 ( 5 ) 关联分析( l i n ka n a l y s i s ) ：使用关联分析来检测在时间和空间上分散分 布的复杂入侵。该i d s 的体系结构是高度模块化的，通过内部模块之间的关联工 作来判断网络系统中的攻击。 6 国外其它研究工作 爱荷华州立大学的i d s 中数据挖掘技术被结合在基于智能体的体系结构中 的高层，这样就可以协调低层智能体收集的信息。低层智能体被设计用来收集信 息。这种设计的目的是为了获得在空间和时间上广泛分布的入侵行为。该系统也 证明了数据挖掘在入侵检测应用中的有效性“。 f l o r i d ai n s t i t u t eo f t e c h n o l o g y 的p h i l i pk c h a n 卿j 针对目前商业交易中普遍存 在的信用卡欺诈问题，提出了分布式数据挖掘( d i s t r i b u t e dd a t am i n i n g ，d d m ) 和 元学习( m e t al e a r n i n g ) 概念，用于检测欺诈行为和进行入侵检测“1 。 g l f l o r e z 等人将模糊数据挖掘的方法应用于入侵检测中，同时针对a p r i o r i 算法的候选集的生成提出了一个新的剪枝规则。新的剪枝方法不但减少了生成规 则的数量，同时还提高了i d s 的正确率o 。 7 国内研究工作现状 虽然国内在数据挖掘和入侵检测领域的研究水平相对落后，但许多研究人员 也对相关研究进行了大量的工作，信息安全国家重点实验室在g l f l o r e z 提出的 检测模型上建立了基于安全审计数据挖掘的入侵检测方法，包括针对网络数据源 的连接记录误用检测、t e l n e t 会话记录误用检测、用户行为模式异常检测，以及 针对主机系统调用数据源的短序列匹配、滑动窗口序列分析、序列预测和m a r k o v 链随机过程分析等算法。其中包含了大量的数据挖掘算法“2 “”，例如用于数据分 类的r i p p e r ( r e p e m e di n c r e m e n t a lp r u n i n gt op r o d u c ee r r o rr e d u c t i o n ) 。c 4 5 ， 用于关联分析的a p r i o r i ，滑动窗1 ：3 分割算法等5 “。 1 3 论文研究内容 由国内外的研究现状可以看出，将数据挖掘技术应用于入侵检测在理论上是 硕士学位论文 第一章引言 可行的，在技术上建立这样一套系统是可能的。但是目前成功的数据挖掘技术， 并不足以构造一个完全实用的i d s ，主要问题是“： ( 1 ) 实用性问题，许多的基于数据挖掘的i d s 比较难于扩展，数据挖掘算 法往往需要排除干扰数据后才能进行，另外随着网络活动的变化，通过重新训练 所有数据来建立模型也是不现实的。 ( 2 ) 效率问题，由于挖掘算法必须处理大批量的审计数据，典型的基于数 据挖掘的i d s 的模式挖掘过程是离线的，为了尽可能早地发现入侵行为，必须改 进实时模式挖掘技术。 ( 3 ) 行为特征的构建问题，需要决定从大量的原始数据中提取什么样的证 据才最有利于入侵行为的检测。 针对上述三个问题，论文设计了一个基于数据挖掘的入侵检测模型 d m i d m ( d a t am i n i n gb a s e di n t r u s i o nd e t e c t i o nm o d e l ) ，并重点研究了数据挖掘关 联分析算法和序列分析算法在入侵检测行为模式挖掘中的应用，由于这两个算法 不是专门用于入侵检测，论文对其进行了改进，引入数据源质量分析理论和属性 约束来去除大量无用的原始审计数据和用户模式；提出增量更新算法和基于栈结 构的支持度计算算法来提高系统效率和实时挖掘能力；使用了统计特征构造程 序，改变了传统的由专家根据经验手动分析攻击模式中的有用特征的方法，有利 于以后的建立入侵检测模型的自动化过程。论文的主要创新之处在于： ( 1 ) d m i d m 学习阶段使用a p r i o r i 算法高效挖掘审计数据中的关联规则，在 实时挖掘过程论文提出了一种对关联规则的增量更新算法，对于数据库中大量的 新增数据，该算法只须对扩展后的数据库扫描一次，提高了模式挖掘效率和模型 的实时检测能力。 ( 2 ) 将栈结构引入序列模式分析，进行支持度计算，在模式匹配计算过程 中只须对数据库扫描一次，提高了算法效率，并且出栈和入栈操作也比较简单， 便于进行间断序列模式的挖掘，提高了算法的实用性。 1 4 论文结构安排 论文第一章引言，阐述课题的研究背景及意义，系统的介绍了数据挖掘技术 应用于入侵检测的研究现状，指出了当前所存在的问题，并提出了解决问题的思 路。最后给出了论文的主要内容安排。 第二章概述i d s 和数据挖掘的基本算法，对数据挖掘技术在入侵检测中的 具体应用作了基本介绍。 第三章阐述d m i d m 系统建模原理，该模型构建的基本思想是把入侵检测看 成是一个审计数据的分析和分类过程，论文从设计原则、设计思路和对分类算法 6 硕士学位论文第一章引言 的阐述说明了该模型的理论依据和可行性。建立分类模型一个关键问题是数据源 的质量问题，通过引入信息论中熵和信息增益的概念分析了审计数据源选择和评 估的理论依据。 第四章对d m i d m 行为模式挖掘算法进行设计。研究了数据挖掘关联分析算 法和序列分析算法在入侵检测行为模式挖掘中的应用，并针对算法应用中的不足 之处设计改进算法，引入数据源质量分析理论和属性约束来去除无用的数据和用 户模式、提出增量更新算法和基于栈结构的支持度计算算法来提高系统效率和实 时挖掘能力。 第五章利用前面介绍的基本数据挖掘算法和工具，构造了一个完整的入侵检 测模型并进行误用检测和用户异常行为检测。系统的构造过程包括审计数据预处 理，利用频繁模式生成用户和网络行为模式库，r i p p e r 分类器形成正常行为库 和入侵行为库分别用于异常和误用检测。最后对检测结果进行分析。 第六章对论文内容和d m i d m 模型作了简要总结并指出其创新和不足之处， 并展望下一步的研究和工作重点。 硕士学位论文第二章数据挖掘应用于入侵检测的理论及方法分析 第二章数据挖掘应用于入侵检测的理论及方法分析 如何从大量的审计数据中提取出具有代表性的系统特征模式，用于对程序或 用户行为作出描述，是实现入侵检测的关键。“1 。利用数据挖掘技术对审计数据 进行全面、高速和准确的分析，可以从包含大量冗余信息的数据中提取出尽可能 多的隐藏的安全信息，抽象出有利于进行判断和比较的基于误用检测的特征向量 模型或基于异常检测的行为描述模型。”3 。根据这些模型，可以由计算机利用相 应的算法判断出当前网络或用户行为的性质。 2 1 入侵检测概述 i d s 是安全界新的发展成果，e d a m o r o s o 对入侵检测定义为“入侵检测是 指对向计算和网络资源的恶意行为的识别和响应过程“_ ”3 。”入侵检测可以说是 一种主动的安全防护措施，它从系统内部和各种网络资源中主动采集信息，分析 可能的入侵攻击行为，有效扩展系统管理员的安全管理能力( 包括安全审计、监 视、进攻识别和响应) ，提高信息安全基础结构的完整性。 21 1i d s 体系结构 针对不同的检测目标，i d s 的体系结构主要分为“：基于主机的入侵检测 系统( h o s t b a s e di n t r u s i o nd e t e c t i o ns y s t e m ，h i d s ) 、基于网络的入侵检测系 统( n e t w o r k b a s e di n t r u s i o nd e t e c t i o ns y s t e m ，n i d s ) 和分布式入侵检测系统 ( d i s t r u b u t e di n t r u s i o nd e t e c t i o ns y s t e m ，d i d s ) 。 1 h i d s h i d s 的检测对象主要是主机系统和系统本地用户。检测原理是根据主机的 审计数据和系统的日志发现可疑事件，检测系统可运行在被检测的主机或单独的 主机上。此类系统依赖于审计数据或系统日志的准确性、完整性以及安全事件的 定义。h i d s 具有以下特征”1 ： ( 1 ) 能够监视特定的系统行为。如用户登录和退出、用户进行的操作、审 计系统日志记录的策略改变等。 ( 2 ) 能判断攻击是否成功。由于基于主机的入侵检测使用了包含己发生事 件的信息，这样就可比基于网络的入侵检测更准确地判断攻击。 ( 3 ) 某些攻击行为在网络数据流中很难发现，甚至根本没有通过网络而在 本地进行，这就只能借助基于主机的i d s 。 与此同时，这类系统仍然存在着安全隐患，如入侵者设法逃避设计或进行合 硕士学位论文 第二章数据挖掘应用于入侵检测的理论及方法分析 作入侵，特别是在网络环境下，仅依靠主机审计信息进行入侵检测难以适应网络 安全的要求。主要表现在： ( 1 ) 主机审计信息的弱点容易受攻击，入侵者可通过使用某些系统特权或 调用比审计本身更低级的操作来逃避审计。 ( 2 ) 不能通过分析主机的审计记录来检测网络攻击( 域名欺骗、端口扫描 等) 。 2 n i d s n i d s 使用原始网络数据包作为数据源，通常使用报文的模式匹配或模式匹 配序列来定义规则，检测时将监听到的报文与模式匹配序列进行比较，根据比较 的结果来判断是否有非正常的网络行为。其攻击辩识模块通常有：模式、表达式 或字节匹配，频率或穿越阈值，低级事件的相关性，统计学意义上的非常规现象 检测等。此类系统具有以下特征“1 ： ( 1 ) 拥有较低的安装成本。 ( 2 ) 能够检测到h i d s 无法检测的入侵行为，如能检查数据包的头部而发 现非法的攻击。 ( 3 ) 入侵对象不容易销毁证据，被截取的数据不仅包括入侵的方法，还可 定位入侵对象的信息。 ( 4 ) 能够进行实时检测和响应，一旦发现入侵行为就立即中止攻击。 ( 5 ) 可以检测到未成功的入侵。 ( 6 ) 此类系统不依赖于被保护的主机操作系统。 3 d i d s 近来对分布式的入侵检测逐步引起重视，通过数据收集和数据分析的分布式 处理，能够提高检测系统应对协作入侵攻击和日趋分散化的系统漏洞。其中基于 a g e n t 的入侵检测成为重要的研究内容“3 1 ”1 。 d i d s 可以从不同的主机系统、网络部件和通过网络监听方式收集数据，这 些系统可以利用网络数据，也可收集并分析来自主机系统的高层事件，发现可疑 行为。 虽然d i d s 实现的功能可以很强大，但要适应现代千兆比特的高速网络和交 换式网络方面也有许多难以克服的困难。而且基于主机的i d s 也有其独特功能， 所以未来的i d s 要想取得成功必须将基于主机和基于网络的两种i d s 无缝的结 合起来，这就是混合分布式i d s ”1 。 21 2 入侵检测技术分类 i d s 根据其采用的检测技术，可以分为异常检测( a n o r m a l yd e t e c t i o n ) 和误 硕士学位论文 第二章数据挖掘应用于入侵检测的理论及方法分析 用检测( m i s u s ed e t e c t i o n ) ”。： 1 异常检测 异常检测又称为基于行为的检测( b e h a v i o u r b a s e dd e t e c t i o n ) ，其特点是通 过对系统异常行为的检测，可以发现未知的攻击模式。异常检测的关键问题在于 正常使用模式的建立以及如何利用该模式对当前的系统用户行为进行比较，从 而判断出与正常模式的偏离程度。“模式”通常使用一组系统的度量来定义。所 谓“度量”，则是系统用户行为在特定方面的衡量标准。每个度量都对应于一 个阂值或相关的变动范围“。 对于异常检测来说，系统用户的正常模式应该是不断修正和更新的。检测 器所使用的度量也需要不断完善，因为无法保证使用当前所定义的度量可以表示 所有的异常行为模式。针对这一问题，也需要进行大量的研究工作，检查异常检 测系统是否具有检测所有攻击行为的能力，从而为目标系统提供强健的安全防范 机制。 2 误用检测 误用检测又称为基于知识的检测( k n o w l e d g e b a s e dd e t e c t i o n ) 或特征检测 ( s i g n a t u r e b a s e dd e t e c t i o n ) ，误用检测对系统事件的检测基于这样一个问题： 系统行为是否代表特定的攻击模式? 首先对标识特定入侵的行为模式进行编码， 建立误用模式库，然后对实际检测过程中得到的审计事件数据进行过滤，检查是 否包含入侵行为的标识。执行误用检测，需要具备以下条件： ( 1 ) 了解误用行为模式的组成部分； ( 2 ) 完备的检测规则库； ( 3 ) 可信的用户记录； ( 4 ) 可靠的行为记录分析技术。 误用检测的缺陷在于只能检测己知的攻击模式，当出现针对新漏洞的攻击手 段或针对旧漏洞的新攻击方式时，需要由人工或者机器学习系统得出新攻击的特 征模式，添加到误用模式库中，才能使系统具备检测新的攻击手段的能力。 由于异常检测与误用检测各有优缺点，许多实际i d s 通常同时采用这两种 方法嘲。 2 2 数据挖掘概述 数据挖掘是针对特定应用的数据分析处理过程。”。如何选择输入数据、变换 数据及对应的挖掘算法，取决于具体的数据挖掘目标，即期望从数据中发掘出何 种类型的“知识”。按照挖掘目标的不同，数据挖掘可以分为以下几种类型：关 联分析、数据分类、聚类分析、序列模式分析。相应的数据挖掘算法也可以以此 硕士学位论文第二章数据挖掘应用于入侵检测的理论及方法分析 分类：关联分析算法“7 ”1 ( 如a p r i o r i ) 、数据分类算法“2 4 4 ( i d 3 、r i p p e r ) 、聚 类分析算法“”( c l a r a n s 、b i r c h ) 、序列分析算法_ ”1 ( a p r i o r i a l l ，a p r i o r i s o m e ， d y n a m i c s o m e ) 。对于应用到入侵检测中的数据挖掘技术，目前主要集中在关联、 序列、分类这几种类型上。8 8 ，下面简要介绍这几种技术。 2 2 1 关联规则挖掘 关联规则挖掘是分析数据间隐含的相互关联关系的技术，对数据源关联规则 的挖掘可以得出同一条记录不同属性之间的联系。目前，挖掘关联规则的算法比 较多，d m i d m 中关联规则挖掘运用的是a p f i o r i 算法。 关联规则的形式描述是：设r = 1 1 ，1 2 ，1 3 ，i 。j 是一组数据项集，w 是 一组事务集。w 中每个事务t 是一组数据项，且满足t _ c r 。假设有一个数据项集 x ，一个事务t ，如果x 互t ，则称事务t 支持数据项集x 。 所要挖掘的关联规则是指如下形式得一种数据隐含规则： x 号y ，其中x ，y 是两组数据项，x c t ，y c t ，x f l y = ( 1 ) 一般用置信度( c o n f i d e n c e ) 、支持度( s u p p o r t ) 、期望置信度( e x p e c t e d c o n f i d e n c e ) 、作用度( 1 i f t ) 这四个参数来描述一个关联规则的属性。 ( 1 ) 置信度：如果在事务集w 的所有支持数据项集x 的事务中，有c 的事 务同时支持数据项集y ，则c 称为关联规则x 号y 的置信度。简单地说，置信度 就是指出现了集x 的事务t 中，数据项集y 也同时出现的概率，e i p ( y l x ) ，它是对 关联规则准确度的衡量。 ( 2 ) 支持度：如果w 中有s 的事务同时支持数据项集x 和y ，则s 称为关 联规贝j j x a y 的支持度，即p uy ) 。支持度描述x 和y 这两个数据项集的并集c 在所有的事务中出现地概率，它是对关联规则重要性的衡量。 ( 3 ) 期望置信度：如果w 中有e 的事务支持数据项集y ，则e 称为x j y 的 期望置信度，l i p ( y ) 。期望置信度描述了在没有任何条件影响的情况下，数据项 集y 在所有事务中出现的概率。 ( 4 ) 作用度：作用度是置信度与期望置信度的比值。作用度描述数据项集 x 的出现对数据项集y 的出现的影响程度，l j p ( y i x ) p ( y ) 。 关联分析的目的是从己知的事务集w 中，产生数据项集之间的关联规则， 保证其支持度和置信度大于用户预先指定的最小支持度( m i n i m u ms u p p o r t ) 和最 小置信度( m i n i m u mc o n f i d e n c e ) ，这里也称为支持度阈值和置信度阈值。 2 2 2 序列模式挖掘 关联分析用于发掘数据记录中不同数据项之间的关联性，而序列分析则是发 硕士学位论文 第二章数据挖掘应用于入侵检测的理论及方法分析 现不同数据记录之间的相关性。序列分析的目标是在事务数据库中发掘出序列模 式( 1 a r g es e q u e n c e s ) ，即满足用户指定的最小支持度( m i n i m u ns u p p o r t ) 要求的大序 列，并且该序列模式必须是最高序y l j ( m a x i m a ls e q u e n c e ) 。 序列模式挖掘通常分以下5 个阶段进行： ( 1 ) 排序阶段( s o r t p h a s e ) ：以事务的主体为主键，事务的时间为次键，对 原始数据库进行排序，将其转换为