（检测技术与自动化装置专业论文）数据挖掘技术在网络入侵检测中的应用研究.pdf

数据挖掘技术在两络入侵检测中的应用研究 摘要 随着计算机网络技术的不断发展，众多的企事业单位、政府部门将其核心业 务向互联网转移，网络安全作为一个无法回避的问题呈现在人们面前。网络用户 一般采用防火墙作为安全的第一道防线。而随着攻击者知识的日趋成熟，攻击工 具与手段的日趋复杂多样，单纯的防火墙策略已经无法满足对安全高度敏感的部 门的需要，网络的防卫必须采用一种纵深的、多样的手段。与此同时，网络环境 也变得越来越复杂，设备的更换、软件的升级、系统的补漏使网络管理员的工作 不断加重，不经意的疏忽便可能造成重大的安全隐患。在这种情况下，入侵检测 系统成为安全市场上的热点。鉴于入侵检测技术对网络安全所起的重要作用，对 入侵检测技术进行研究具有重要意义。 本文对网络入侵检测技术进行了研究。论文分析了入侵检测系统的实现方式 和安全性能，介绍了误用检测与异常检测各自的优缺点。针对传统入侵检测系统 存在的问题，提出将数据挖掘技术、蜜罐技术等技术应用到入侵检测系统中，对 数据挖掘算法和如何将数据挖掘算法应用到入侵检测系统中进行了研究。探讨了 从网络数据采集、数据预处理、构造训练数据集、数据过滤，到利用数据挖掘技 术生成入侵检测规则的整个过程的机理和实现方法。在上述研究的基础上设计了 一个基于网络的入侵检测系统，阐述了该系统的结构及主要功能并研究了其在网 络控制系统中的应用，进行了相关实验，实验结果达到了预期的目标。 论文包括六章内容：第一章简要说明了入侵检测技术及本文所作的工作；第 二章介绍了入侵检测的一些概念、技术；第三章介绍了数据挖掘的概念和几种常 用的挖掘算法，以及挖掘算法在入侵检测中的应用；第四章主要讲述数据采集预 处理系统的设计和如何利用数据挖掘技术生成入侵检测规则；第五章讲述了基于 数据挖掘的网络入侵检测系统的设计和应用；第六章对所做的工作进行了总结， 指出了未来研究的重点和方向。 关键词入侵检测，数据挖掘，蜜罐技术，数据过滤，检测规则 郑州大学工学硕士论文 a b s t r a c t a l o n gw i t ht h ec o n t i n u o u sd e v e l o p m e n to fc o m p u t e rn e t w o r k ，m o r ea n dm o r e e n t e r p r i s e sa n dg o v e m m e n l st r e a lt h e i rb u s i n e s so ni n t r a n e ta n di n t e r n e t ；n e t w o r k s e c u r i t ys h o w si t s e l fa sas e r i o u sp r o b l e mi nf r o n to fp e o p l e t r a d i t i o n a l l y , u s e r su s e d f i r e w a l la st h e i rf i r s tl i n eo fd e f e n s e b u t 、v i t l lt h ei n c r e a s i n gm a t u r i t yo fc r a c k e ra n d t h ei n c r e a s h a ga t t a c km e a n s ，p u r ef n - e w a l ls t r a t e g yc a n ts a r i s f yt h er e q u e s t s a tt h es a m e t i m e ，t h en e t w o r ke n v i r o n m e n tb e c o m em o r ea n dm o r ec o m p l i c a t e da n da l lk i n d so f c o m p l i c a t e de q u i p m e n t sn e e dc o n t i n u o u su p g r a d ea n df i l l i n gl e a k a l lt h o s ea g g r a v a t e t h ew o r ko fn e t w o r ka d m i n i s t r a t o r s al i t t e ro fn e g l i g e n c ec o u l dr e s u l ti ng r e a t1 0 s s i n s u c hc i r c u m s t a n c e ，i n t r u s i o nd e t e c t i o ns y s t e mb e c o m e st h eh o t s p o ti ns e c u r i t ym a r k e t i t w i i sm o r ea n dm o r ea t t e n t i o n s a n db e g i n st oe x e r ti 招k e yf u n c t i o ni nv a r i o u s e n v i r o n m e n t s i nt h i st h e s i s n e t w o r ki n t m s i o nd e t e c t i o nt e c h n o l o g yi sr e s e a r c h e d i t si m p l e m e n t a n dp e r f o r m a n c ea r ea n a l y z e d t l 赡a d v a n t a g e sa n dd i s a d v a n t a g e so fm i s u s ed e t e c t i o n a n da n o m a l yd e t e c t i o na r er e s p e c t i v e l ya n a l y z e d 。i no r d e rt os o l v ep r o b l e m se x i s t i n gi n t r a d i t i o n a li n t r u s i o nd e t e c t i o ns y s t e m s t h i st h e s i sp u t sf o r w a r dt h ea p p l i c a t i o no fd a t a m i n i n gt e c h n o l o g ya n dh o n e y p o tt e c h n o l o g yi n i n t r u s i o nd e t e c t i o n d a t am i n i n g a l g o r i t h m sa n di t sa p p l i c a t i o ni ni n t r u s i o nd e t e c t i o na r er e s e a r c h e d ；t h ew h o l ep r o c e s so f n e t w o r kd a t ac o l l e c t i o n ，d a t ap r e t r e a t m e n t , c o n f o r m a t i o no ft m i n i n gd a t av o l u m e ，d a t a f i l t r a t i o na n dc r e a t i n gi n t r u s i o nd e t e c t i o nr u l e sb yu s i n gd a t am i n i n ga r ed e s i g n e d a n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e mp r o j e c ti sd e s i g n e d ；i t sf r a m e w o r ka n dm a i nf u n c t i o n a n di t sa p p l i c a t i o ni nn e t w o r kc o n t r o ls y s t e m sa r ee x p o u n d e d t i l i st h e s i si sd i v i d e di n t os i xc h a p t e r s c h a p t e rli sa l li n t r o d u c t i o n i tm a i n l y i n t r o d u c e si n t r u s i o nd e t e c t i o nt e c h n o l o g ya n dt h ew o r ko ft h i st h e s i s c h a p t e r2 d i s c u s s e st h ec o n c e p t i o no fi n t r u s i o nd e t e c t i o nt e c h n o i o g y c h a p t e r3i n t r o d u c e dt h e t e c h n o l o g yo f d a t am i n i n g ，c o m m o na l g o r i t h m sa n di t sa p p l i c a t i o ni ni n t r u s i o nd e t e c t i o n c h a p t e r4d i s c u s s c st h ed e s i g no fd a t ac o l l e c t i o np r e t r e a t m e n ts y s t e ma n dh o w t oc r e a t e i n t r u s i o nd e t e c t i o nr u l e s c h a p t e r5d i s c u s s e st h ed e s i g na n da p p l i c a t i o no fi n s t r u c t i o n d e t e c t i o ns y s t e mb a s e do nd a t am i n i n g t l l i st h e s i sf m a l l ys u m m a r i z e st h ew o r ka n d p o i n t s0 u tt h ee m p h a s e sa n dd i r e c t i o ni nt h ef u t u r e k e yw o r d s i n t r u s i o nd e t e c t i o ns y s t e m ，d a t am i n i n g ，h o n e y p o tt e c h n o l o g y ，d a t a f i l t r a t i o n ，d e t e c t i o nr u l e s 郑重声明 本人的学位论文是在导师指导下独立撰写并完成的，学位论文没有剽窃、抄 袭等违反学术道德、学术规范的侵权行为，否则，本人愿意承担由此产生的一切 法律责任和法律后果，特此郑重声明。 学位论文作者( 签名) ： 旌磊 二醇年j 月夕日 数据挖掘技术在网络入侵检涮中的应用研究 1 1 课题的提出背景及意义 1 绪论 在信息时代采用计算机进行犯罪的事情越来越多，尤其随着因特网的高速发 展，这类事件更是频频发生。计算机网络不断被非法入侵，重要情报资料被窃取， 甚至造成网络系统的瘫痪，给各个国家以及众多公司造成巨大的经济损失，严重 的已经危害到国家和地区的安全。目前我国信息与网络安全的防护能力处于发展 的初级阶段，当务之急是要用我国具有自主技术的安全设备加强信息与网络的安 全性，大力发展基于自主技术的信息安全产业。而自主技术的发展又必须从信息 与网络安全的基础研究着手，全面提高创新能力。对入侵攻击的检测与防范、保 障计算机网络系统及整个信息基础设施的安全已经成为网络安全技术人员刻不容 缓的研究课题。本文所研究的网络入侵检测系统正是实现我国自主信息安全技术 的一个重要组成部分，将推进我国具有独立知识产权的信息安全技术的发展。 任何试图非授权或越权访问计算机系统资源，或破坏资源的完整性、可信性 的行为，无论成功与否，都被认为是入侵，入侵可以被定义成：任何尝试破坏资 源的完整性、机密性或者可用性的行为，对这些入侵行为的识别就是入侵检测【1 l 口1 。 入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) 就是完成上述入侵检测任务的计算 机软件和硬件系统。入侵检测系统是为了保证计算机系统的安全而设计与配置的 一种能够及时发现并报告系统中未授权或异常现象的系统，是一种用于检测计算 机网络中违反安全策略行为的系统。入侵检测系统的应用，能在入侵攻击对系统 发生危害前，检测到入侵攻击，并利用报警与防护系统驱逐入侵攻击。在入侵攻 击过程中，能减少入侵攻击所造成的损失，在遭到入侵攻击后，收集入侵攻击的 相关信息，作为防范系统的知识，添加到知识库内，以增强系统的防范能力。 入侵检禊9 的前提是：用户或者程序的行为是可以被观察的，例如使用侦听技 术来达到这一目的；另一个更为重要的前提是：正常行为和入侵行为之间存在着 明显的不同。 在设计入侵检测系统时，常采用以下两种技术：( 1 ) 误用检测口】( m i s u s e d e t e c t i o n ) ，又被称为基于规则的检测，它是根据已知的攻击行为建立一个规则库， 然后去匹配已发生的动作，如果一致则表明它是一个入侵行为。它的优点是误报 郑州大学工学硕士论文 率低，但是由于攻击行为繁多，这个规则库会变得越来越大，并且它只能检测到 已知的攻击行为；( 2 ) 异常检测【2 1 ( a n o m a l yd e t e c t i o n ) ，又被称为基于行为的检 测，它是建立一个正常的行为模型，根据使用者的行为或资源使用状况来判断是 否入侵。异常检测基于统计方法，使用系统或用户的活动轮廓( a c t i v i t yp r o f i l e ) 来检测入侵活动。它的优点在于与系统相对无关，通用性较强，有可能检测出以 前从未出现过的攻击方法。但由于产生的正常轮廓不可能对整个系统内的所有用 户行为进行全面的描述，况且每个用户的行为是经常改变的，所以它的主要缺陷 在于误检率很高，尤其在用户数目众多、工作目的地经常改变的环境中。其次由 于活动轮廓要不断更新，入侵者如果知道某系统在检测器的监视之下，他们就能 慢慢地训练检测系统，以至于最初认为是异常的行为，经过一段时间训练后也认 为是正常的了。 由于入侵检测要处理的信息量非常大，所以如何建立一个攻击行为的分类模 型将直接影响到检测的效率。建立一个有效的入侵检测系统是一个巨大的知识工 程，多数时候需由专业人员根据经验来选择分类方法。专家首先分析并分类攻击 行为或正常行为，然后手工编码定制相应的规则和模式用于进行误用检测和异常 检测。但由于开发过程是手工的，致使目前入侵检测系统的可扩展性和适应性都 受到限制。实际应用中的入侵检测模型仅能处理一种特殊的审计数据源，其更新 费用较高，速度也较慢。 为了克服现有入侵检测系统的局限性，在设计入侵检测系统时应采用一种系 统化和自动化更高的方法，数据挖掘( d a t a m i n i n g ) d i l 4 1 就是这样一种有效的方法。 数据挖掘，指的是从大量数据中提取人们感兴趣的知识，这些知识是隐含的、事 先未知的潜在有用信息。数据挖掘研究的主要目标是从大量数据中提取有用的知 识和模式。知识发现和数据挖掘技术在国外各个领域已经得到了广泛的应用。将 数据挖掘技术应用于入侵检测能够广泛地审计数据来得到模型，从而精确地捕获 实际的入侵和正常行为模式。这种自动化的方法无需再手工分析和编码入侵模式， 同时在创建正常使用轮廓时不再像以前一样凭经验来选择统计方法。它更主要的 优点是相同的数据挖掘工具可应用于多个数据流，从而有利于建造适应性强的入 侵检测系统。 将误用检测和异常检测融为一体，将基于主机和基于网络的系统有机的结合 起来，采用蜜罐技术和数据挖掘技术实现网络入侵检测系统，可尽量满足入侵检 测系统的要求，当检测环境变化或者保护机器数量增减时检测系统不需要做大的 改动；或当出现新的攻击类型时系统能够有效的识别并自动扩充规则库，以提高 其扩展性和实用性。 数据挖掘技术在冈络入侵检测中的应用研究 ! e ! ! e 曼! ! ! ! ! 自! ! ! 鼍! ，! ! e ! ! ! ! ! ! ! ! | 自e j 目! e ! ! ! 目! ! ! s ! 一i ! ! ! ! ! ! 鼍目自! 曼 1 2 国内外相关研究 国内外经过近几年的发展，i d s 产品开始步入一个快速的成长期，用户也开始 认可i d s 在网络安全防御中不可替代的作用。但与此同时，用户也逐渐意识到i d s 自身有难以克服的缺点“较高的漏报率和误报率”。在i d s 系统中，所谓漏报， 是指攻击事件没有被i d s 检测到。而误报是指i d s 将正常事件识别为攻击。发生 这些问题主要有两个原因： ( 1 1i d s 通过网络嗅探( s n i f f e r ) 技术获取网络数据包后，需要进行协议分析、 模式匹配或异常统计才可能发现入侵行为。协议分析是很复杂的，当涉及到数目 庞大的应用协议、各种加密或编码方式、以及针对i d 8 的规避技术时，则更是如 此。在没有透彻分析数据包涉及协议的情况下，发生漏报和误报是在所难免的。 ( 2 ) 随着网络系统结构的复杂化和大型化，系统的弱点和漏洞将趋向于分布 式。此外，随着黑客入侵水平的提高，入侵行为也不再是单一的行为，单个的i d s 设备( 无论是主机型还是网络型) 应对分布式、协同式、复杂模式攻击的入侵行 为时，就显得十分力单势薄。 要解决第一类问题，除了加大协议分析的深度和细度外，还有待于理论和技 术上的突破。目前，国内外这方面的研究取得了迅速的发展。首先是基于神经网 络的入侵检测技术，该技术的关键在于在正式检测之前要用入侵样本进行训练， 使其具备对某些入侵行为进行分类的能力，从而能够正确地“认识”各种入侵行 为。另外，基于模型推理的入侵检测技术和基于免疫的入侵检测技术也是研究的 热点。但值得注意的是，这些技术大多只是作为高校和研究所的科研成果，可运 行的系统一般也只是远未成熟的演示版本，到真正产品化和进入网络安全市场仍 然有很长的距离。 应对第二类问题的方法是：入侵检测系统也向分布式结构发展，采用分布收 集信息，分布处理多方协作的方式。这里的“协作”有多个层次的含义：同一系 统不同入侵检测部件间的协作，尤其是主机型和网络型入侵检测部件之间的协作； 异构平台部件之间的协作；不同安全工具之间的协作；不同厂家安全产品之间的 协作；不同组织间预警能力和信息的协作。可以说，“协作”是网络安全产品的 一个重要发展方向! 目前，在“协作”方面有两个方向的努力：一是系统结构的改善。二是协同 工作接口的标准化和开放。系统结构改善方面具有代表性的是基于a g e n t 的分布 式入侵检测系统。这种a g e n t 代理结构具有适应性和自主性，能连续外界和内部 的变化，并做出相应的反应。利用a g e n t 的推理机制和多a g e n t 阅的协同工作，可 以完成知识库更新、模型过程描述、动态模式识别等功能，比传统的专家系统效 郑州大学工学硕士论文 率要高。 协同工作接口的标准化首先要解决的是交换信息格式标准化。目前正在制定 的相关标准有：i e t f ( i n t e r a c t 工程任务组) 的入侵检测信息交换格式( i n l i u s i o n d e t e c t i o nm e s s a g ee x c h a n g ef o r m a t 。简称i d m e f ) 和事件对象描述交换格式 ( i n c i d e n to b j e e td e s c r i p t i o na n de x c h a n g ef o r m a t ，简称i o d e f ) ；还有一个项目引 发的通用入侵检测框架( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ，简称c i d f ) 协 议组和开发接口旧。此外，还有d m t f 组织制定的更通用的标准一通用信息模型 ( c o m m o ni n f o r m a t i o nm o d e l ，简称c i m ) ，其中也包含不少网络安全和网络管理 产品协同工作的标准格式。值得一提的是，在近来标准制定的过程中，x m l ( e x t e n s i b l em a r k u pl a n g u a g e ) 语言成为基本信息交换格式的首选。 1 3 本文所作的工作及论文的组织结构 本文的课题来源是河南省自然科学基金项目“智能化计算机网络入侵检测系 统”( 项目编号：0 4 1 1 0 1 0 3 0 0 ) 。本论文主要研究的问题是：将数据挖掘技术、蜜罐 技术等技术应用到入侵检测系统中，对数据挖掘算法和如何将数据挖掘算法应用 到入侵检测系统中进行研究，探讨从网络数据采集、数据预处理、构造训练数据 集、数据过滤，到利用数据挖掘技术生成入侵检测规则的整个过程的机理和实现 方法，在此基础上设计一个基于网络的入侵检测系统并进行相关实验。 主要的研究工作如下： ( 1 ) 针对传统入侵检测技术存在的缺陷，提出利用数据挖掘技术和蜜罐技术的 入侵检测系统方案，设计了基于数据挖掘的入侵检测系统框架。 ( 2 ) 对网络连接数据进行处理，便网络连接数据转化成适合数据挖掘的格式。 ( 3 ) 利用关联规则和序列规则挖掘算法构造异常检测模型，对所有网络连接数 据进行过滤，得到较为纯净的入侵数据，再用分类算法提取入侵检测规则，以得 到较为完备的规则库。 ( 4 ) 设计了包含误用检测和异常检测的混合型入侵检测系统框架，既能实现异 常检测方法，又能实现误用检测方法，二者相互弥补了对方的不足，共同完成入 侵检测。 ( 5 ) 利用蜜罐技术获得到较为全面的，纯净的入侵数据，以便于挖掘出较为完 备的规则。 论文共包括六章内容： 第一章简要说明了课题的提出背景，意义及本文所作的工作： 第二章介绍了网络安全与入侵检测的一些概念和相关的研究； 第三章介绍了数据挖掘的概念和几种常用的挖掘算法，接着介绍了数据挖掘 4 数据挖掘技术在同络入侵检稠中的应用研究 算法在入侵检测中的应用； 第四章主要讲述入侵检测数据采集处理系统的设计和如何利用数据挖掘技术 生成入侵检测规则； 第五章介绍了基于数据挖掘的入侵检测系统的设计及其应用； 第六章对作者所做的工作进行了总结，并指出了未来研究工作的重点和方向。 郑州大学工学硕士论文 2 1 入侵检测的基本概念 2 入侵检测技术 随着计算机网络技术的不断发展，越来越多的企事业单位、政府部门等将其 核心业务向互联网转移，网络安全1 6 l 作为一个无法回避的问题呈现在人们面前。传 统上，网络用户一般采用防火墙1 7 1 作为安全的第一道防线。而随着攻击者知识的日 趋成熟。攻击工具与手段的日趋复杂多样，单纯的防火墙策略已经无法满足对安 全高度敏感的部门的需要，网络的防卫必须采用一种纵深的，多样的手段。与此 同时，当今的网络环境也变得越来越复杂，设备的更换，软件的井级、系统的补 漏使网络管理员的工作不断加重，不经意的疏忽便能造成重大的安全隐患。在这 种情况下，入侵检测系统成为了安全市场上新的热点，鉴于入侵检测技术对网络 安全所起的重要作用，对入侵检测技术进行研究具有重要意义。 入侵检测是指“通过对行为、安全日志或审计数据或其它网络上可以获得的 信息进行操作，检测到对系统的闯入或阉入的企图，是检测和响应计算机误用的 学科，其作用包括威慑、检测、响应、损失情况评估、攻击预测和起诉支持。入 侵检测技术是为保证计算机系统的安全而设计与配置的一种能够及时发现并报告 系统中未授权或异常现象的技术，是一种用于检测计算机网络中违反安全策略行 为的技术，进行入侵检测的软件与硬件的组合便是入侵检测系统( i n t r u s i o n d e t e c t i o ns y s t e m ，i d s ) i s j 。 1 9 8 0 年j a m e sp a n d e r s o n 在给一个保密客户写的一份题为计算机安全威胁 监控与监视的技术报告中指出，审计记录可以用于识别计算机误用，他给威胁 进行了分类，第一次详细阐述了入侵检测的概念。1 9 8 4 年到1 9 8 6 年乔治敦大学的 d o r o t h yd e n n i n g 和s r i 公司计算机科学实验室的p e t e rn e u m a n n 研究出了一个实 时入侵检测系统模型i d e s ( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m s 入侵检测专家系统) ， 是第一个在应用中运用了统计和基于规则两种技术的系统，是入侵检测研究中最 有影响的一个系统。1 9 8 9 年，加州大学戴维斯分校的t o d dh e b e r l e i n 写了一篇论 文a n e t w o r ks e c u r i t ym o n i t o r ) ) ，该监控器用于捕获t c p i p 分组，第一次直接将 网络流作为审计数据来源，因而可以在不将审计数据转换成统格式的情况下监 控异种主机，网络入侵检测从此诞生。 为解决入侵检测系统之间的互操作性，国际上的一些研究组织开展了标准化 敢据撼掘技术在阿咯入侵检测中的应用研究 工作，目前对i d s 进行标准化工作的有两个组织：i e t f 的i n t r u s i o nd e t e c t i o n w o r k i n gg r o u p ( i d w g ) 和c i d f 。c i d f 早期由美国国防部高级研究计划局赞助 研究，现在由c i d f 工作组负责，是一个开放组织。c i d f 阐述了一个入侵检测系 统的通用模型。它将一个入侵检测系统分为以下组件：事件产生器( e v e n t g e n e r a t o r s ) ，用e 盒表示；事件分析器( e v e n ta n a l y z e r s ) ，用a 盒表示：响应单元 ( r e s p o n s eu n i t s ) ，用r 盒表示；事件数据库( e v e n td a t a b a s e s ) ，用d 盒表示。 事件产生器事件分析器 事件数据库响应单元 图2 1c i d f 模型结构图 f i g 2 1a r c h i t e c t u r eo f c i d f c i d f 模型的结构如下：e 盒通过传感器收集事件数据，并将信息传送给a 盒， a 盒检测误用模式；d 盒存储来自a 、e 盒的数据，并为额外的分析提供信息：r 盒从a 、e 盒中提取数据，d 盒启动适当的响应。a 、e 、d 及r 盒之间的通信都 基于g i d o ( g e n e r a l i z e di n t r u s i o nd e t e c t i o no b j e c t s ，通用入侵检测对象) 和c i s l ( c o m m o ni n t r u s i o ns p e c i f i c 撕o nl a n g u a g e ，通用入侵规范语言) 。如果想在不同种 类的a 、e 、d 及r 盒之间实现互操作，需要对g i d o 实现标准化并使用c i s l 。 事件产生器的功能是从整个网络环境中捕获事件信息。并向系统的其他组成 部分提供该事件数据。事件分析器分析得到的事件数据，并产生分析结果。响应 单元则是对分析结果做出反应的功能单元，它可以做出切断连接、改变文件属性 等有效反应，当然也可以只是报警。事件数据库是存放各种中间和最终数据的地 方的统称，指导事件的分析及反应，它可以是复杂的数据库或简单的文本文件。 2 2 入侵检测的分类 按照检测技术划分，入侵检测有两种检测模型： ( 1 ) 异常检测模型：检测与可接受行为之间的偏差。如果可以定义每项可接受 郑州大学工学硕士论文 j ! ! ! ! ! ! ! 鼍置_ 1 ，自ie 目自_ - | 日_ _ ! ! ! ! e ! e ! ! _ _ _ _ ! 自s | ! ! 暑_ _ _ e ! 暑e ，! _ _ 蕾 的行为，那么每项不可接受的行为就应该是入侵。总结正常操作应该具有的特征 ( 用户轮廓) ，当用户活动与正常行为有重大偏离时即被认为是入侵。这种检测模 型漏报率低，误报率高。因为不需要对每种入侵行为进行定义，所以能有效检测 未知的入侵。 ( 2 ) 误用检测模型：检测与已知的不可接受行为之间的匹配程度。如果可以定 义所有的不可接受行为，那么每种能够与之匹配的行为都会引起告警。收集非正 常操作的行为特征，建立相关的特征库，当监测的用户或系统行为与库中的记录 相匹配时，系统就认为这种行为是入侵。这种检测模型误报率低、漏报率高。对 于已知的攻击，它可以详细、准确地报告出攻击类型，但是对未知攻击却效果有 限，而且特征库必须不断更新。 按照检测对象划分： f 1 ) 基于主机：系统分析的数据是计算机操作系统的事件日志、应用程序的事 件日志、系统调用、端口调用和安全审计记录。主机型入侵检测系统保护的一般 是所在的主机系统。是由代理( a g e n t ) 来实现的，代理是运行在目标主机上的小 的可执行程序，它们与命令控制台( c o n s o l e ) 通信。 ( 2 ) 基于网络 9 1 ：系统分析的数据是网络上的数据包。网络型入侵检测系统担 负着保护整个网段的任务，基于网络的入侵检测系统由遍及网络的传感器( s e n s o r ) 组成，传感器是将以太网卡置于混杂模式的计算机，用于嗅探网络上的数据包。 ( 3 ) 混合型：基于网络和基于主机的入侵检测系统都有不足之处，会造成防御 体系的不全面，综合了基于网络和基于主机的混合型入侵检测系统既可以发现网 络中的攻击信息，也可以从系统日志中发现异常情况。 2 3 入侵检测过程分析 入侵检测过程分为三部分：信息收集、信息分析和结果处理“o l i nj f l 2 j 。 ( 1 ) 信息收集：入侵检测的第一步是信息收集，收集内容包括系统、网络、数 据及用户活动的状态和行为。由放置在不同网段的传感器或不同主机的代理来收 集信息，包括系统和网络日志文件、网络流量、菲正常的目录和文件改变、非正 常的程序执行。 ( 2 ) 信息分析：收集到的有关系统、网络、数据及用户活动的状态和行为等信 息，被送到检测引擎，检测引擎驻留在传感器中，一般通过三种技术手段进行分 析：模式匹配、统计分析和完整性分析。当检测到某种误用模式时，产生一个告 警并发送给控制台。 ( 3 ) 结果处理：控制台按照告警产生预先定义的响应采取相应措施，可以是重 新配置路由器或防火墙、终止进程、切断连接、改变文件属性，也可以只是简单 8 数据挖掘技术在网络入侵检测中的应用研究 的告警。 2 4 入侵检测系统部署实例 图2 2r e a l s e c u r e 的结构图 f i g 2 2a r c h i t e c t u r eo f r e a l s e c t t w , 图2 2 为i s s ( i n t e r n e t s e c u r i t ys y s t e m s ) r e a l s e c u r e 的部署结构图，r e a l s e c u r e 是一种混合型的入侵检测系统，提供基于网络和基于主机的实时入侵检测。 其控制台运行在w i n d o w s 2 0 0 0 上。r e a l s e c u r e 的传感器是自治的，能被控制台控 制1 1 3 】。各部分的功能如下： ( 1 ) r e a l s e c u r e 控制台：对多台网络传感器和服务器代理进行管理，对被管理 传感器进行远程的配置和控制，各个监控器发现的安全事件实时地报告控制台。 ( 2 ) n e t w o r ks e n s o r ( 网络引擎) ：对网络进行监听并t l 动对可疑行为进行响 应，最大程度保护网络安全；运行在特定的主机上，监听并解析所有的网络信息， 及时发现具有攻击特征的信息包；检测本地网段，查找每一数据包内隐藏的恶意 入侵，对发现的入侵做出及时的响应。当检测到攻击时，网络引擎能即刻做出响 应，进行告警通知( 向控制台告警、向安全管理员发e - m a i l 、s n m pt r a p 、查看实 时会话和通报其他控制台) ，记录现场( 记录事件日志及整个会话) ，采取安全响 应行动( 终止入侵连接、调整网络设备配置，如防火墙、执行特定的用户响应程 序) 。 郊州大学工学硕士论文 f 3 1s e r v e rs e n s o r ( 服务器代理，安装在各个服务器上) ：对主机的核心级事 件、系统日志以及网络活动实现实时入侵检测；具有包拦截、智能报警以及阻塞 通信的能力，能够在入侵到达操作系统或应用之前主动阻止入侵；自动重新配置 网络引擎和选择防火墙阻止黑客的进一步攻击。 2 5s n o r t 入侵检测系统 目前国外有许多实验室和公司在从事入侵检测系统的研究和开发，并己完成 一些原型系统和商业产品。常见的如：( 1 ) c i s c o 公司的n e t r a n g e r ；( 2 ) i n t e r n e t s e c u r i t y s y s t e m 公司的r e a l s e c u r e ：( 3 ) 启明星辰公司的天阗入侵检测系统等。 下面简要介绍一下s n o r t 入侵检测系统，然后重点介绍了利用s n o r t 构建一个 入侵检测系统的主要步骤，并详细叙述了怎样编写入侵检测规则。 s n o r t 是一个轻量级的入侵检测系统，它小巧免费，具有很好的配置性和可移 植性，是基于网络的入侵检测系统( n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m ，n i d s ) 。 它具有截取网络数据报文，进行网络数据实时分析、报警、以及日志的能力。s n o r t 的报文截取代码是基于l i b p c a p 库的，继承了l i b p c a p 库的平台兼容性。它能够进 行协议分析，内容搜索，匹配，能够用来检测各种攻击和探测，例如：缓冲区溢出、 隐秘端口扫描等等。s n o r t 使用种灵活的规则语言来描述网络数据报文，因此可 以对新的攻击做出快速地翻译。s n o r t 具有实时报警能力，可以将报警信患写到 s y s l o g 、指定的文件、u n i x 套接字或者使用w i n p o p u p 消息。s n o r t 具有良好的扩 展能力。它支持插件体系，可以通过其定义的接口，很方便地加入新的功能。s n o r t 还能够记录网络数据，其日志文件可以是t c p d u m p 格式，也可以是解码的a s c i i 格式。 基于规则的体系结构使s n o r t 非常灵活，它的设计者将它设计的很容易插入和 扩充新的规则，这样它就能够对付那些新出现的威胁。下面详细讨论s n o r t 的体系 结构和规则，以及如何运行它。 s n o r t 是由m a r t i n r o e s c h 编写的，在本文完成时。它的最新版本是2 1 。 s n o r t 的结构由三个主要的部分组成，在图2 3 中显示的是这些部分的简化表 示，对它们的描述如下： ( 1 ) 包解码器；s n o r t 的包解码器支持以太网等媒体介质。包解码器所做的所 有工作就是为检测引擎准备数据。 偿) 检测引擎：检测引擎是s n o r t 的心脏。它主要负责的工作：按照启动时加 载的规则，对每个数据包进行分析。检测引擎将s n o r t 规则分解为链表头和链表选 项进行引用。链表头由诸如源目标i p 地址及端口号这些普通信息标识。链表选项 定义些更详细的信息如t c p 标志、i c m p 代码类型、特定的内容类型、负载容 10 专曼宝兰专鼍要! 暑暑署! 曼置e 量鼻l - _ 置毫置e 毒毫岛墨毫量鼍_ - _ ! ! 皇墨曼l 一 量等。检测引擎按照s n o r t 规则文件中定义的规则依次分析每个数据包。与数i i 石 中数据匹配的第一条规则触发在规则定义中指定的动作。凡是与规则不匹配的数 据包都被丢弃。 ( 3 ) 日志记录告警系统：告警和日志是两个分离的子系统。日志允许将包解 码收集到的信息以可读的格式或以t c p d u m p 格式记录下来，可以配置告警系统， 使其将告警信息发送到s y s l o g 或数据库中。在进行测试或在入侵学习过程当中， 还可以关掉告警。缺省情况下，所有的日志将会写茔r j v a r l o g s n o r t 文件夹中，告警 文件将会写到v a f f i o g s n o r t a l e r t s 文件中。 图2 3s n o r t 的体系结构 f i g 2 3a r c h i t e c t u r eo f s n o r t 日志记录告警系统 s n o r t 规则文件是个a s c i i 文本文件，可以用常用的文本编辑器对其进行编 辑。规则文件的内容由以下几部分组成： ( 】) 变量定义：在这里定义的变量可以在创建s n o r t 规则时使用。 ( 2 ) s n o r t 规则：在入侵检测时起作用的规则，这些规则应包括了总体的入侵 检测策略。在本小节的后面给出了一个s n o r t 规则。 ( 3 ) 预处理器：即插件，用来扩展s n o r t 的功能。 ( 4 ) 包含文件i n c l u d ef i l e s ：可以包括其它s n o r t 规则文件。 ( 5 ) 输出模块：s n o r t 管理员通过它来指定记录日志和告警的输出。当s n o r t 调用告警及日志子系统时会执行输出模块。 s n o r t 规则逻辑上可以分为两个部分：规则的头部和规则选项部分。对s n o r t 规则的描述必须在一行之内完成，另外它必须包含i p 地址，以便在不能按照主机 名进彳亍查找使用。 在写规则前，写出网络入侵检测策略，这包括先定义出进行日志记录、忽略 或发出告警信息的事件。下面给出一个非常简单的规则： 姑 样d e f i n eo u rn e t w o r ka n do t h e rn e t w o r k 挣 , c a ro u r n e t 2 0 8 1 7 7 1 3 0 2 4 v a l 0 t h e r n e t ! $ o u r n e t 1 1 郑州大学工学硕士论文 v 耵n i d s h o s t2 0 8 1 7 7 1 3 2 5 1 v a r p o r t s1 0 v a t s e c s3 捍拌 拌l o gr u l e s 群捍 l o gt e p $ o t h e r n e ta n y - $ o u r n e t 2 3 l o gt e p $ o t h e r n e ta n y 一 $ o u r n e t 2 1 l o gt o p $ o t h e r n e ta n y $ o u r n e t 7 9 捍样 # a l e r tr u l e s 黼 a l e r tn a pa n ya n y s o u r - n e t5 3f m s g ：”u d pi d s d n s - v e r s i o n - q u e r y “；c o n t e n t ： ”v e r s i o n ”；) a l e r tt c pa n ya n y 一 $ o u r n e t5 3f m s g ：”t c pi d s d n s - v e r s i o n - q u e r y ”；c o n t e n t ： ”v e r s i o n ；) a l e r tt e pa n ya n y - $ o u r n e t8 0 ( m s g ：p h fa t t e m p t ”；c o n t e n t ：”c 西- b i n p h f ；) 删 捍l o a dp o r t s c a np r e - p r o c e s s o rf o rp o r t s c a na l e r t s 槲 p r e p r o c e s s o rp o r t s c a n ：$ o t h e r n e t $ p o 霞t s $ s e c s v a r l o e d s n o r t p s c a n _ a l e r t s p r e p r o c e s s o rp o r t s c a n i g n o r e h o s t s ：$ 0 1m n e t 拌拌 # p a s sr u l e s ( i g n o r e ) 黼 p a s st e p $ o u r n e ta n y 一 $ o t h e r n e t8 0 p a s su d pa n y1 0 2 4 ：a n y1 0 2 4 ： p a s st e pa n y2 2 一 s n i d s h o s t 2 2 该规则要求，记录下网络外部主机所做的下列行为：t e l n e t 、f t p 通信、f i n g e r 。 对以下行为发出告警：从本网以外的机器中发出的端口扫描行为，并将告警信息 写入到，v a r ，l o g ，s n o r t p