（计算机应用技术专业论文）基于数据挖掘的入侵检测方法研究(1).pdf

摘要随着网络和其它信息技术的广泛应用，网络系统的安全变得至关重要。入侵检测技术作为一种主动的安全保障措施，有效地弥补了传统网络安全防护技术的缺陷，已经成为网络信息安全的一个重要研究领域。将数据挖掘技术应用于入侵检测也取得了一些成果和进展。如何将数据挖掘算法更有效地结合到入侵检测中，是研究要解决的问题之一。本文通过分析数据挖掘技术，将关联规则算法和聚类算法运用于入侵检测。所作的工作主要有以下几点：为了对未标识网络数据进行入侵检测，提出了二种新的基于聚类的无监督检测方法。该方法通过欧氏距离度量数据之间的差异，根据相似性准则建立初始聚类簇，然后用混合遗传算法对初始聚类进行优化组合，进行入侵检测。该方法不需要预设聚类数目，克服了初始聚类对结果的影响，提高了聚类质量，实验结果表明该方法有较好的检测率和较低的误警率。在用关联规则算法进行入侵检测中，关联规则算法直接影响到入侵检测的效率，因此本文提出一种改进的基于f p t r e e 的关联规则算法，该算法将数据库划分为不重叠的几部分，对各部分进行关联规则挖掘，在挖掘过程中采用对事务集进行重新排序的方法，最后合并满足最小支持度的各部分频繁模式得到全局频繁模式。该方法避免了产生大量侯选集，减少了建树时间，降低了内存开销，从而提高了算法的效率。本文还采用基于f p - t r e e 的增量更新算法对模式库进行更新，从而对入侵模式库进行补充，来提高检测的效率。最后提出一种实时的检测方法思想。该方法通过采用改进关联规则算法来建立正常行为模式库和入侵行为模式库，然后通过对实时网络数据进行增量挖掘，来更新模式库，通过与模式库的匹配实现入侵检测。关键词数据挖掘，入侵检测，关联规则，聚类，混合遗传算法a b s t r a c tw i t ht h ew i d ea p p l i c a t i o no fn e t w o r ka n do t h e r1 n f o r m a t i o nt e c h n o l o g i e s ，t h es e c u r i t yo fn e t w o r ks y s t e mb e c o m e sv e r yi m p o r t a n t a sa l la c t i v es a f e g u a r dm e a s u r e ，i n t r u s i o nd e t e c t i o nt e c h n o l o g yr e m e d i e st h es h o r t c o m i n go ft r a d i t i o n a ls a f e g u a r dt e c h n o l o g y ，a n di tb e c o m e sa ni m p o r t a n tr e s e a r c hf i e l do fn e t w o r ks e c u r i t y n o w ，t h e r ea r es o m ea c h i e v e m e n t sa n dp r o g r e s so ni n t r u s i o nd e t e c t i o na r ep u ti n t op r a c t i c e a n dh o wt oa p p l i e dd a t am i n i n ga r i t h m e t i ct oi n t r u s i o nd e t e c t i o ne f f i c i e n t l yi so n eo fm a n yi m p o r t a n tp r o b l e m s t h i st h e s i sa n a l y s e sd a t am i n i n gt e c h n o l o g y ，a n da p p l i e sa s s o c i a t er u l e sa n dc l u s t e r i n ga r i t h m e t i ci n t oi n t r u s i o nd e t e c t i o n i ti n c l u d e sm a i n l yc o n t e n t sa sf o l l o w s ：i no r d e rt oc l u s t e rt h eu n l a b l e dd a t a s ，an e wu n s u p e r v i s e dc l u s t e r i n gm e t h o di sp r o p o s e di nt h i st h e s i s t h em e t h o dm e a s u r e st h ed i f f e r e n c eb e t w e e nd a m sb ye u c l i d e a nd i s t a n c e ，a n dc r e a t ei n i t i a lc l u s t e r i n ga c c o r d i n gt os i m i l a r i t yp r i n c i p l e ，t h e no p t i m a z ei tw i t hh y b r i dg e n e t i ca r i t h m e t i c ，t h i sm e t h o dd o e s n tn e e dt ok n o wt h ec l u s t e rn u m b e rb e f o r ei tw o r k s ，a l s oi tc a no v e r c o m et h ei n f l u e n c eo fi n i t i a lc l u s t e r so nr e s u l t sa n di m p r o v et h ec l u s t e r i n gq u a l i t y e x p e r i m e n tr e s u l t sd e m o n s t r a t et h a tt h i sm e t h o dh a sab e t t e rd e t e c t i o nr a t ea n df a l s ep o s i t i v er a t e w h e nu s i n ga s s o c i a t er u l ea r i t h m e t i ct od e t e c t i o ni n t r u s i o n ，t h ea r i t h m e t i cw i l la f f e c tt h ee f f i c i e n c yo fi n t r u s i o nd e t e c t i o nd i r e c t l y ，s ow ep r o p o s ea ni m p r o v e da r i t h m e t i cb a s e do nf p t r e e ，w h i c hp a r t i t i o n sd a t a b a s ei n t os e v e r a lp a r t st h a tt h e yw i l ln o tc r o s se a c ho t h e r ，t h e nm i n i n ga s s o c i a t er u l e si ne a c hp a r t d u r i n gt h em i n i n gp r o c e s s ，i ta d o p t sr e o r d e rt h et r a n s a c t i o ns e t s a tl a s t ，w ec o m b i n ee a c hp a r t sf r e q u e n tp a t t e r nw h i c hs a t i s f i e sm i n i m u ms u p p o r tt og e tg l o b a lf r e q u e n tp a t t e m t h i sm e t h o da v o i d sp r o c e d u c i n gt o om a n yc a n d i d a t es e t sa n ds a v e st h et i m e o fc r e a t i n gt r e e ，a tt h es a m et i m ei tc a nd e c r e a s em e m o r ys p e n d i n g ，s oi ti m p r o v e st h ee f f i c i e n c yo fa r i t h m e t i c a n dt h i s t h e s i sa d o p t si n c r e m e n tu p d a t ea r i t h m e t i cb a s e do nf p t r e et ou p d a t em o d e lb a s e ，s oi tc a ni m p l e m e n tt h ei n t r u s i o nm o d e ll ib a s ea n di m p r o v ed e t e c t i o ne f f i c i e n c y a tl a s t ，w ep r o p o s ear e a lt i m ed e t e c t i o nm e t h o dt oi n t r u s i o n t h i sm e t h o de x p l o i t st h ei m p r o v e da s s o c i a t er u l e sa r i t h m e t i ct ob u i l dn o r m a lm o d e lb a s ea n di n t r u s i o nm o d e lb a s e ，t h e nm i n i n gn e t w o r kd a t a sm o d e lb a s et od e t e c ti n t r u s i o n t ou p d a t em o d e lb a s e ，b yc o m p a r i n gk e yw o r d s ：d a t am i n i n g ，i n t r u s i o nd e t e c t i o n ，a s s o c i a t er u l e s ，c l u s t e i n g ，h y b r i dg e n e t i ca r i t h m e t i ci i i原创性声明本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。驴n作者签名：塾型1 日期：竺旦年 月卫e t学位论文版权使用授权书本人了解中南大学有关保留、使用学位论文的规定，即：学校有权保留学位论文并根据国家或湖南省有关部门规定送交学位论文，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通过网络向社会公众提供信息服务。作者签名：塑导师签名f 鎏虫型日期：型年上月日硕士学位论文第一章绪论1 1 论文的研究目的第一章绪论弟一旱三百了匕随着i n t e m e t 高速发展，计算机网络已成为信息社会重要的基础设施之一。由于网络规模扩大，复杂性增加，网络安全问题也日益突出。黑客的网络攻击与入侵行为对于国家安全，经济，社会生活造成了极大的威胁。据国家计算机网络应急技术处理协调中心的统计【，2 0 0 7 年上半年c n c e r t c c 接收的网络仿冒事件和网页恶意代码事件，己分别超出2 0 0 6 年全年总数的1 4 6 和1 2 5 。而且各种网络安全事件数量均有显著增加。因此，安全技术是处理威胁的重要手段。目前常用的安全技术有防火墙、防病毒软件、用户认证、加密、入侵检测系统等。其中防火墙是防范网络入侵最常用的方法。但是，防火墙只是一种被动防御性的网络安全工具，仅仅使用防火墙来保证网络安全是远远不够的。适当配置的防火墙虽然可以将非预期的访问请求屏蔽在外，但不能检查出经过的合法流量中是否包含着恶意的入侵代码，对于来自内部的攻击无能为力，入侵者可以找到防火墙的漏洞，绕过防火墙进行攻击，在这种需求背景下，入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) 应运而生。入侵检测具有监视分析用户和系统的行为、审计系统配置和漏洞、评估敏感系统和数据的完整性、识别攻击行为、对异常行为进行统计、自动地收集和系统相关的补丁，进行审计跟踪识别违反安全法规的行为、使用诱骗服务器记录黑客行为等功能，使系统管理员可以较有效地监视、审计、评估自己的系统。入侵检测系统在未来的网络安全预防中将起到非常重要的作用。在企业网中它可以及时发现、租拦入侵行为，保证企业信息平台的正常运转。入侵检测系统是防火墙等安全措施的合理补充，它可以帮助系统对付网络攻击，扩展系统管理员的安全管理能力( 包括安全审计、监视、进攻识别和响应) ，增强信息安全基础结构的完整性。因此，研究网络安全技术，特别是入侵检测技术及其应用，对于保障计算机系统、网络系统和整个信息基础设施的安全具有非常重要的现实意义。由于计算机和网络各种攻击手段的多元化、复杂化、智能化，单纯依赖数据信息加密，防火墙等静态防御技术已难以胜任计算机和网络安全的需要。尽管对入侵的研究已经有2 0 多年，但仍然有待进一步改进。由于入侵检测能在不影响网络性能的情况下对网络进行监测，为系统提供对内部攻击，外部攻击和误操作的有效保护，所以它能为网络安全提供高效的检测和防护手段，弥补传统保护机制所不能解决的问题，已成为安全防御体系的一个硕士学位论文第一章绪论重要组成部分，但是入侵检测系统同样有一些弱点。误报和漏报严重：i d s 常用的检测方法存在缺陷，比如异常检测通常采用的统计方法，其中阀值难以有效确定，太小的值会产生大量的误报，太大的值会产生漏报；在误用检测中，模式匹配算法的好坏直接影响到检测结果。在协议分析的检测方式中，一般的i d s 只简单地处理了常用的如h t t p 、f t p 、s m t p 等。可扩展性较差。专家规则和统计方法一般都是针对特定网络环境的，因此，很难在新的网络环境将现有i d s 的再利用。同时，i d s 往往是很庞大的系统，给i d s中加入新的检测模块也是一件很困难的事情。现有的i d s 自适应性较差。当用户或系统的正常行为发生变化的时候，基于异常检测的系统往往不能及时自动更新其正常轮廓，从而往往将用户或系统的正常行为误报为异；当新的入侵或攻击形式出现时，基于误用检测的系统不能及时发现这些新型入侵，从而更谈不上及时更新规则库。海量信息实时分析困难：实时的分析虽然意义重大但难以实现，这样不少反映入侵活动的特征数据，就可能被漏掉或发现不及时。因此，进行入侵检测非常有必要。1 2 入侵检测国内外研究现状计算机和网络的发展要求入侵检测系统应该具有有效性，自适应性和可扩展性。目前入侵检测系统所采用的检测方法大多是基于规则的。这种基于规则的方法从各种不同的审计数据中提取特征，然后和已有的规则比较来识别入侵，这样只能对特定的或已知的入侵行为取得比较好的结果。为了更好地检测入侵行为，提出了基于数据挖掘的方法，基于统计的方法等等。在检测技术的研究上，主要有基于专家系统的，基于统计分析技术和基于生物模拟技术【2 1 ( 包括人工神经网络，进化计算和人工免疫系统) 。其中，将数据挖掘技术用于入侵检测，通过选择合理的数据挖掘算法，设计相关的系统原型，能够使入侵检测系统具有自学习能力，增强入侵检测系统对海量数据的处理能力，得到数据中潜在的规则，大大提高了系统效率。国外对入侵检测的研究比较早。1 9 8 0 年美国学者j a m e sa d e r s o n 首先提出入侵检测概念，他将入侵行为划分为外部闯入，内部授权用户的越权使用和误用等三种类型，首次将入侵检测作为一种计算机安全系统的防御措施提出。1 9 8 7 年d o r o t h yed e n n i n g 提出了入侵检测的模型p j ，首次将入侵检测作为一种计算机安全防御措施提出。国外已有很多研究机构从事入侵检测系统的研究 4 1 。其中包括s t a n f o r dr e s e a r c hi n s t i t u t e 的c o m p u t e rs c i e n c el a b o r a t o r y ( s r i c s l ) ，2硕士学位论文第一章绪论p u r d u e u n i v e r s i t y 的c o a s t ( c o m p u t e ro p e r a t i o n sa u d i ta n ds e c u r i t yt e c h n o l o g y ) 研究小组，c o l u m b i au n i v e r s i t y 的w e r el e e 研究组，u n i v e r s i t yo fn e wm e x i c o 的s t e p h a n i ef o r m s t 研究组等。新的入侵检测模型和系统不断出现，主要有：( 1 ) n s m ( n e t w o r ks e c u r i t ym o n i t o r ) t 习：加州大学戴维斯分校的l t h e b e r l e i n等人开发的n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 。该系统第一次直接将网络数据流作为审计数据来源，因而可以在不将审计数据转换成统一格式的情况下监控异种主机。( 2 ) r e a l s e c u r e 6 1 ：i s s 开发的在w i n d o w sn t 下运行的分布式网络入侵检测系统，被人们广泛使用。( 3 ) n e t s t a t l 7 1 ：u c s b 的可靠软件小组开发的n e t s 剧汀，将状态迁移技术扩展到网络环境中，用状态图描述攻击过程。( 4 ) j i n a oi d s 硼：m c n c 和n o r t hc a r o l i n as t a t eu n i v e r s i t y 开发的j i n a oi d s ，通过分析路由和网络的管理协议的逻辑行为来觉察攻击的状态，并集成了网络管理功能，使得它能够融合到现有的管理框架作为容错管理扩充。( 5 ) a a f i d t 9 ( a u t o n o m o u sa g e n t sf o ri n t r u s i o nd e t e c t i o n ) ：美国p u r d u e 大学设计的a a f i d ( a u t o n o m o u sa g e n t sf o ri n t r u s i o nd e t e c t i o n ) 。该系统采用分布式部件进行数据收集，各部件按层次的结构组织，在各自所在的主机进行检测，相互之间交换信息，并在检测到入侵时采取响应。g e o r g em a s o n 大学d a n i e lb a r b a r a 等人研究了面向入侵检测的数据挖掘a d a m ( a u d i td a t aa n a l y s i sa n dm i n i n g ) t 1 0 1 。a d a m 通过从t c p d u m p 审计轨迹中挖掘频繁模式，以此来发现入侵。对t c p i p ( t r a n s m i s s i o nc o n t r o lp r o t o e o l i n t e m e tp r o t o c 0 1 ) 流量数据进行预处理，从每个数据包中抽取其头部信息，为每个t c p i p连接建立一个连接记录，挖掘过程在连接记录数据集上进行。a d a m 的主要缺点是对纯净数据的依赖较多，虽然具有一定的检测未知入侵类型的能力，但误报率较高。此外，针对入侵检测问题本身的模糊性和连续属性的离散化产生的“尖锐边界 问题，m i s s i s s i p p i 州立大学的j i a n x i o n gl u o 和s u s a nm b r i d g e s 等人作出了突出的贡献，提出了将模糊逻辑引入入侵检测【l 。采用模糊关联规则和模糊频繁情节算法挖掘审计数据，能够得到更加抽象和灵活的模式。武汉大学电子信息学院的朱天清等将模糊技术应用到入侵检测中，对传统a p r i o r i 算法进行了改进，提出了在模糊关联规则的挖掘中将事务属性模糊集作为单一属性来处理，详细描述了在异常检测中应用模糊关联规则挖掘的具体步骤，即建立系统正常模式下的关联规则集，然后挖掘系统在某暂态模式下的关联规则集，通过计算两规则集的相似度来确定系统是否处于异常状态b 2 1硕士学位论文第一章绪论华中科技大学的王卉将最大频繁项集挖掘算法用于入侵检测【1 3 j 【1 4 1 。武汉大学电子信息学院凌军等人提出并实现了一个基于规则的、层次化的智能入侵检测原型系统( r i d e s ) t 1 5 l 。杭州电子科技大学计算机学院的丁宏等针对网络入侵检测领域使用关联规则挖掘关联模式精度不够，效率不高的问题，提出了一种新的基于最大值限制的关联规则算法【1 6 1 。中国科学院研究生院信息安全国家重点实验室连一峰等人对t e l n e t 会话中用户执行的s h e l l 命令序列进行挖掘，建立用户异常行为模型【1 7 1 。对于入侵检测，常用的有基于统计分析的方法，基于神经网络的方法，基于数据挖掘的方法，基于进程行为的方法，基于机器学习的方法和有限状态等。基于数据挖掘的方法有：关联分析( a s s o c i a t i o n s ) ，序列模式分析( s e q u e n t i a lp a t t e r n s ) ，分类分析( c l a s s i f i e r s ) ，聚类分析( c l u s t e r i n g ) 。总之，目前基于数据挖掘的入侵检测研究主要集中在基于关联规则入侵检测方法研究1 1 8 】和基于序列模式挖掘的入侵检测方法研究。对于关联规则的研究主要是针对入侵检测的特点改进通用的关联规则算法，例如加入领域知识、引入逐层近似挖掘概念等：针对入侵检测问题本身的模糊性和连续属性的离散化产生的“尖锐边界 问题，将模糊逻辑引入入侵检测；对于使用关联规则挖掘关联模式精度不够的问题，运用领域划分到充分研究，主要集中在基于关联规则入侵检测系统的研究和基于序列模式挖掘的入侵检测系统研究。对于关联规则的研究主要是针对入侵检测的特点改进通用的关联规则算法，例如加入领域知识、引入逐层近似挖掘概念等；针对入侵检测问题本身的模糊性和连续属性的离散化产生的“尖锐边界 问题，将模糊逻辑引入入侵检测：对于使用关联规则挖掘关联模式精度不够的问题，运用领域划分方法对最小支持度进行了调整。1 3 本文的研究内容和安排本文主要探讨了基于数据挖掘技术在入侵检测中的研究。主要工作在于：由于在入侵检测的实际过程中，我们往往得到的是未标识的数据集，而已有的算法需要预设多个参数，而且存在对输入顺序敏感等问题，提出了一种基于无监督聚类的混合遗传算法的入侵检测方法。针对数据挖掘中关联规则算法在挖掘过程中产生大量候选集，内存开销比较大且建树时间影响等方面的问题，提出一种改进的f p t r e e 算法，同时结合领域知识，对于不包含重要属性的规则进行删除来减少无用规则的产生。同时考虑到关联规则需要及时更新的问题，采用基于f p - t r e e 的增量更新算法并提出一种实时的检测方法。本文章节组织如下：4硕士学位论文第一章绪论第一章介绍了本论文的研究意义和目的，分析了入侵检测的国内外研究现状，并说明了本文的主要研究工作。第二章介绍了相关的背景知识，入侵检测基本原理和数据挖掘算法。详细讨论了入侵检测系统的概念、功能、原理、分类，以及入侵检测的体系结构及当前存在的问题和的技术趋势。详细介绍了数据挖掘的方法以及数据挖掘技术在网络入侵检测中的应用。第三章针对现有的利用聚类算法检测入侵存在的问题，提出一种基于无监督聚类的混合遗传算法的入侵检测方法。第四章介绍了基于关联规则挖掘的入侵检测方法，提出一种改进的关联规则挖掘算法和一种进行实时入侵检测的方法。第五章总结了本文的主要研究工作并给出了进一步的研究工作。硕士学位论文第二章入侵检测与数据挖掘第二章入侵检测与数据挖掘2 1 入侵检测基本原理2 1 1 入侵检测的分类入侵检测系统根据其采用的技术，可以分为异常检测和滥用检测【1 9 1 ( 1 ) 异常检测( a n o m a l yd e t e c t i o n )异常检测又称为基于行为( b e h a v i o u r - b a s e d ) 的检测，它根据使用者的行为或资源使用状况是否偏离正常的情况来判断入侵是否发生，而不依赖于具体行为是否出现。异常入侵检测试图用定量方式描述可接受的行为特征，以区分非正常的、潜在的入侵行为，它首先建立所保护的系统的正常特征轮廓，然后监测从审计数据报告上来的实际活动，通过它们与正常轮廓间的偏离程度来判别出异常行为活动。异常检测的关键问题在于正常模式( n o r m a lp r o f i l e ) 的建立以及如何利用该模式对当前的系统用户行为进行比较，从而判断出与正常模式的偏离程度。异常检测主要有以下几个优点：异常检测与系统相对无关，通用性较强；不需要过多有关系统缺陷的知识，具有较强的适应性，能够检测出未知入侵；不同的描述模式可能会使用不同的概率统计模型，在成熟的概率统计方法中可以找到合适的模型，这也正是概率统计检测方法的优势所在。同时，异常检测也存在如下缺点：由于不可能对整个系统内的所有用户行为进行全面的描述，而且每个用户的行为是经常改变的，所以它的主要缺点是误检率高；入侵者通过恶意训练的方式，经一段时间训练后也被认为是正常的。( 2 ) 误用检i 燹t j ( m i s u s ed e t e c t i o n )误用检测( m i s u s ed e t e c t i o n ) 是指运用己知攻击方法，根据已定义好的入侵模式，通过判断这些入侵模式是否出现来检测，有时也被称为特征分析( s i g n a t u r ea n a l y s i s ) 或基于知识的检测( k n o w l e d g e b a s e dd e t e c t i o n ) 。误用入侵检测系统首先对标识特定入侵的行为模式进行编码，建立入侵模式库，然后对实际检测过程中得到的审计事件数据进行过滤，检查是否包含入侵行为的特征。误用检测的优点：6硕士学位论文第二章入侵检测与数据挖掘由于依据具体特征库进行判断，所以检测准确度很高，并且因为检测结果有明确的参照，也为系统管理员作出相应的措施提供了方便。误用检测的缺点：主要缺陷在于检测范围受已知知识的局限，只能检测己知的攻击模式，需要不断的、及时的升级，才能保证系统检测能力的完备性；检测系统对目标系统的依赖性太强，不但系统移植性不好，维护工作量大，而且将具体入侵手段抽象成知识也很困难：对于某些内部人员的入侵行为，如合法用户的泄漏，由于这些入侵行为并没有利用系统脆弱性，因此误用检测也显得无能为力。由于异常检测与误用检测各有优缺点，许多实际入侵检测系统通常同时采用这两种方法。2 1 2 入侵检测的体系结构在网络环境中存在三种主要入侵检测体系结构：基于主机的入侵检测系统、基于网络的入侵检测系统和混合分布式的入侵检测系统。( 1 ) 基于主机的入侵检测系统基于主机的入侵检测系统( h o s t b a s e di n t r u s i o nd e t e c t i o ns y s t e mh i d s ) 最早用于审计用户的活动，比如用户的登陆、命令操作、应用程序使用资源情况等，它可以运行在被检测的主机或单独主机上【2 0 i 2 1 1 。d e n n i n g 通用入侵检测模型就是建立在h i d s 之上的。由于检测在主机上运行的命令序列比较简单，针对性较强，因此h i d s 的误报率较低，此外，h i d s 内在结构没有任何束缚，可以利用操作系统本身提供的功能，结合异常分析，更准确地报告入侵行为，但是h i d s 依赖于审计数据或系统日志的准确性和完整性以及对安全事件的定义，此类系统的原始数据来源受到所依附具体操作系统平台的限制，系统的实现主要针对某种特定的系统平台，因而在环境适应性、可移植性方面问题较多；另外，有些网络攻击( 如域名欺骗等) 无法通过分析主机审计记录检测出来。( 2 ) 基于网络的入侵检测系统近年来随着网络的迅速普及应用，来自网络的入侵事件逐渐成为信息系统的最大威胁，基于网络的入侵检测系统( n e t w o r k b a s e di n t r u s i o nd e t e c t i o ns y s t e mn i d s ) 己经成为当前i d s 发展的主要趋势。n i d s 放置在比较重要的网段内，通过线路窃听的手段对截获的网络分组进行处理，从中提取有用的特征模式，再通过与己知入侵特征相匹配或与正常网络行为原型相比较来识别入侵事件。n i d s根据网络流量【2 2 1 1 2 3 1 1 2 4 1 、协议分析【2 5 1 1 2 6 、简单网络管理协议信息等数据来检测入7硕士学位论文第二章入侵检测与数据挖掘侵，如n e t s t a t 。由于n i d s 不需要主机提供严格的审计，因而对主机资源消耗少，并且由于网络协议是标准的，它可以提供对网络通用的保护而无需顾及异构主机的不同架构。h i d s 一般是根据入侵对系统的影响来判断入侵事件的，如用户是否多次使用错误口令，文件状态是否非法改变，系统是否运行异常等，在时间上要滞后于入侵本身。而n i d s 强调通过网络行为过程进行分析，它不是依靠审计攻击事件对目标系统带来的实际影响，而是通过行为特征来发现入侵事件，如网络上一旦发生了针对s o l a r i s 系统的攻击行为，即使其保护网络中没有s o l a r i s 系统，n i d s一样可以检测到该攻击。另外只有n i d s 才能检测到大量针对协议栈或特定网络服务的攻击如远程缓冲区溢出、网络碎片攻击等。如上所述，n i d s 同h i d s 相比，在实时性、适应性、可扩展性方面具有其独特的优势，但n i d s 也存在一些固有的弱点，比如更容易受到基于网络的拒绝服务等恶意攻击，在高层信息的获取上更为困难，在实现技术上更为复杂等。( 3 ) 混合分布式的入侵检测系统随着网络系统结构的复杂化和大型化，网络入侵手法趋向于多样化，入侵行为不再是单一的行为，而是表现出相互协作入侵的态势，单是基于主机的入侵检测系统或是基于网络的入侵检测系统都会造成主动防御体系不全面。不同类型的i d s 之间需要互补和协作才能更好地识别和定位入侵行为，这也就形成了混合分布式入侵检测系统( d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e md i d s 、，它是两种入侵检测系统的无缝结合，d i d s 2 7 1 1 2 8 1 既可利用网络数据，也可利用来自主机系统的高层事件，既可发现网络中的攻击信息，也可从系统日志中发现异常情况。在d i d s 研究方面，美国国防高级研究计划署( t h ed e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y , d a r p a ) 和互联网工程任务组( i n t e r a c te n g i n e e r i n gt a s kf o r c e ,i e t f ) 的入侵检测工作组( i n t r u s i o nd e t e c t i o nw o r k i n gg r o u p ，m w g ) 提出了公共入侵检测框架( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k , c i d f ) t 2 9 1 ，c i d f 已成为入侵检测领域最有影响力的建议。美国普渡大学安全研究中，b ( t h ec e n t e rf o re d u c a t i o na n dr e s e a r c hi ni n f o r m a t i o na s s u r a n c ea n ds e c u r i t y , c e r i a s ) 贝j j 提出了基于主体入侵检测系统【3 0 j ，其主要方法是采用相互独立运行的进程组( 称为自治主体a g e n t ) 分别负责入侵检测，最后将结果传送到检测中心。2 1 3 入侵检测系统存在的问题及发展趋势( 1 ) 入侵检测系统存在的问题目前，虽然入侵检测技术已经得到了广泛的认同，并且有不少商业化产品出8硕士学位论文第二二章入侵检测与数据挖掘现。但是i d s 技术存在不少问题，有待继续完善和提高。现有入侵检测系统的主要问题可以归结为以下几点：基于特征的i d s 的攻击特征库不能得到及时的更新。当前大多数i d s 都采用了模式匹配的分析方法，在如今每天都有新漏洞发布和新攻击方法产生的情况下，要求攻击特征库的特征值应该是最新的，但现在很多入侵检测系统不能时刻更新攻击特征。，对未知入侵模式的适应能力较差。由于利用已知攻击模式构造规则能够准确而高效地检测出大部分入侵行为，所以现在的商业系统以及比较实用的系统都有一个庞大的模式库。这种系统的最大缺点就是自适应能力太弱，对未知的攻击模式无能为力。采用异常检测的技术能一定程度上检测未知的攻击，但是基于异常的检测方式都存在较多的缺陷。对加密攻击和分布式攻击的处理能力较差。随着入侵技术的不断提高，很多攻击已经发展成大规模分布式、协作式、迂回式的攻击，现有的入侵检测系统处理这类攻击的能力还很不理想。另外，现有的绝大多数i d s 系统根本就没有考虑加密攻击的问题，所以面对此类攻击i d s 根本就无能为力。在高带宽网络环境中性能普遍不足。现在市场上的i d s 产品大多采用的是特征检测技术，这类产品是专门为小于1 0 0 m 的共享式网络环境设计的。现在，这种i d s 产品已经不能很好地适应交换技术和高带宽环境的发展，在大流量冲击、多i p 分片的情况下都可能造成i d s 的瘫痪或丢包，形成d o s 攻击。不同i d s 之间的互操作性差。虽然，相关组织也出台了一些标准，比如c i d f 和i d w g 组织定制的一些草案，虽然这些标准具有一定的影响力，但是都还没有得到广泛的认同，未能形成国际统一的标准。大型网络的不同部分可能使用了不同的入侵检测系统，由于缺乏统一的标准，因此，不同的入侵检测系统之间不能交换信息，使得发现攻击时难以找到攻击源头，甚至给入侵者制造了攻击的漏洞。与其他网络安全产品的互操作差。一个安全的网络必须综合采用各种安全技术，如防火墙，身份认证系统、网络管理系统等。但入侵检测系统还不能很好地和其他安全产品协作。i d s 自身的安全性考虑不充分。对i d s 本身的攻击手段也逐渐出现，入侵者先使i d s 瘫痪，然后避开i d s 的监视再实施对网络系统的入侵。目前的i d s系统自身的安全性、健壮性和免疫力较差，甚至很多i d s 根本就没有考虑自身的安全性问题。( 2 ) 入侵检测技术的发展趋势在入侵检测技术发展的同时，入侵技术也在更新。交换技术的发展以及通过9硕十学位论文第二章入侵检测与数据挖掘加密信道的数据通信使通过共享网段侦听的网络数据采集方法愈显不足，而大通信量对数据分析也提出了新的要求。因此，为了更好的适应网络安全的需要，当前入侵检测技术的主要的发展趋势可概括为如下几点：智能化入侵检测。它是指使用智能化的方法与手段来进行入侵检测。所谓智能化方法，现阶段主要指神经网络、机器学习、遗传算法、模糊技术、免疫原理、数据挖掘等方法。分布式入侵检测。传统的入侵检测系统一般局限于单一的主机或网络架构，对异构系统及大规模网络的检测能力明显不足，而且不同的入侵检测系统之间不能协同工作，为此，需要研究分布式入侵检测技术。分布式入侵检测包含两层含义，一层是针对分布式网络攻击的检测方法，第二层是使用分布式的方法来检测网络攻击，其中的关键技术为检测信息的协同处理与攻击全局信息的提取。应用层入侵检测。许多入侵的语义只有在应用层才能理解，许多基于客户服务器结构、对象技术的大型应用，需要应用层的入侵检测保护。基于协议分析和行为分析的入侵检测。协议分析技术利用网络协议的高度规则性快速探测攻击的存在。这种技术所需的计算量相对较少，即便在高负载的网络上，也可以完全探测出各种攻击，提高检测的准确性和效率。行为分析技术是在协议分析基础上将网络数据流进行重组，不是检测单一的连接请求或响应，而是将一个会话的所有流量作为一个整体来考虑。有些网络攻击行为仅靠检测单一的连接请求或响应是检测不到的，因为攻击行为特征包含在多个请求中，此时行为分析技术就显得十分必要。它是入侵检测分析技术发展的趋势，但由于算法处理和规则制定的难度很大，目前还不是非常成熟。与操作系统的结合。由于操作系统不可避免地存在大量漏洞，而黑客攻击的目标主要是终端部分，因此入侵检测系统最好能与操作系统内核结合起来。建立入侵检测系统评价体系。设计通用的入侵检测测试、评估方法和平台，实现对多种入侵检测系统的评价，已成为当前入侵检测系统的另一重要研究领域。与其它网络安全技术的结合。结合防火墙、认证、安全电予交易( s e t ) 等网络安全技术，提供完整的网络安全保障。2 2 数据挖掘算法k d d ( k n o w l e d g ed i s c o v e r yi nd a t a b a s e s ，数据库中的知识发现) 一词首次出现是在1 9 8 9 年8 月在底特律召开的第1 1 届人工智能联合会议的专题讨论会上。随后在1 9 9 1 年、1 9 9 3 年和1 9 9 4 年都举行k d d 专题讨论会，集中讨论数据统计、1 0硕士学位论文第二章入侵检测与数据挖掘海量数据分析算法、知识表示、知识运用等问题。髓着参与人员的不断增多，k d d 国际会议发展成为年会，研究重点也逐渐从发现方法转向系统应用，并且注重多种发现策略和技术的集成，以及多种学科之间的相互渗透。如1 9 9 8 年在美国纽约举行的第四届知识发现与数据挖掘国际学术会议不仅进行了学术讨论，并且有3 0 多家软件公司展示了他们的数据挖掘软件产品，不少软件已在北美、欧洲等国家得到了应用。与k d d 意义相近的一个术语是数据挖掘( d a t am i n i n g ，简称d m ) 。数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据集中识别有效的、新颖的、潜在有用的以及最终可理解的模式的过程。模式可以看作是我们所说的知识，它给出了数据的特性或数据之间的关系，是对数据所包含信息的更抽象的描述。一般说来，k d d 意为从数据库中获取知识，它代表从低层次数据中提取高层次知识的全过程，主要流行于人工智能和机器学习界。而数据挖掘是从数据中自动地抽取模式，主要用于统计界( 最早出现于统计文献中) 、数据分析、数据库和管理信息系统界。在一般的定义中，数据挖掘被看作是知识挖掘过程中的一个核心部分。目前，应用于入侵检测领域的数据挖掘算法主要有关联分析算法、数据分类算法、序歹j j 分析算法和聚类分析算法。下面介绍这些方法，并简单介绍数据挖掘算法在入侵检测系统中的应用。2 2 1 关联规则算法关联分析的目的就是挖掘出隐藏在数据间的相互关系。关联分析就是给定一组i t e m 和一个记录集合，通过分析记录集合，推导出i t e m 间的相关性。例如，“在购买面包和黄油的顾客中，有9 0 的人同时也买了牛奶 ( 面包+ 黄油= 牛奶) 。用于关联规则发现的主要对象是事务数据库( t r a n s a c t i o nd a t a b a s e s ) 。一般用置信度( c o n f i d e n c e ) 和支持度( s u p p o r t ) 来描述关联规则的属性，置信度是对关联规则准确度的衡量，支持度是对关联规则重要性的衡量。在关联规则的两个属性中，支持度和置信度能够比较直接形容关联规则的性质。如果不考虑关联规则的支持度和可信度，那么在事务数据库中存在无穷多的关联规则。事实上，人们一般只对满足一定的支持度和置信度的关联规则感兴趣。一般称满足一定要求的( 如较大的支持度和置信度) 的规则为强规则。因此，为了发现出有意义的关联规则，需要给定两个阀值：最小支持度和最小置信度。关联规则的挖掘问题就是在数据库c d 中找出具有用户给定的最小支持度( m i n _ s u p ) 和最小置信度( m i nc o n f ) 的关联规则。关联规则挖掘的经典算法有a p r i o d 算法，a p r i o r i t i d 算法。硕士学位论文第二章入侵检测与数据挖掘在i d s 中关联分析算法可以挖掘出记录中不同属性之间的关联关系。利用训练数据中各属性之间的关系形成关联规则，构造用户正常行为模式及入侵模型。2 2 2 分类分析算法数据分类的目的是提取数据库中数据项的特征属性，生成分类模型，把数据库中的数据项映射到预先定义的类别中的一个。数据分类算法的输出结果就是分类器。分类分析的算法有判定树( i d 3 ) ，c 4 5 ，n a i v eb a y e s ，n e a r - n e i g h b o r 和n e u r a ln e t w o r k 等。在i d s 中，可用收集针对一个用户的或一个程序的足够多的“正常 和“异常 的审计数据，然后应用一个分类算法得到一个分类器，该分类器能标记或者预测未见过的新审计数据属于正常还是异常行为。2 2 3 序列分析算法关联分析用于发掘数据记录中不同数据项之间的关联性，而序列分析则用来发现不同数据记录之间的相关性，即获取数据库记录之间在时间窗口中的关系。这类算法可以发现审计数据中的一些经常以某种规律出现的事件序列模式。为了发现序列模式，不