（计算机应用技术专业论文）基于数据挖掘的入侵检测技术的研究.pdf

跨零滨工程大学磺学蝗论文 擒要 在完诲冬耱嬲终资源以开效方式逮住静翦提下，入侵检测系统成了确保 网络安全的一种必黉手段。入侵检测就是发现或确定入侵瑟为存在或出现的 幼作，它实际上是种信息识别与检测技术，而从以数据为中心的观点看， 入 曼捡测本身魏是一个数据分褥过程。予是，磷究数据挖籀方法在入橙裣溺 领域中的殿用，自然就成为一个热门话题。本文主要是将荚联规则算法用于 入侵检测技术当中。 本文通逑对现有的关联蕊剿算法分析与研究发现，采瑙最小信程攫这一 废量标准弗不能保 捱规则的合理性，可能会生成不相关的规则，因而会给入 侵检溅王露荣寒影穗。霆燕簸，l 、售经痰段薅理事兹之窝熬表露关系，并不鼗 衷必然的因果关系。因此生成的关联规则具有相獭太的冗余性，且可能是无 趣的，甚至是虚假的。 为了激兔生成“错觉”的关联蕊受| j 洋判，影响入侵检浏系统酌检测率。本 文在先前研究的基础上，以确信因子为蕊础，改谶了传统的应用于入侵检测 孛的关联蕊囊g 算法，疆蹬了将蓉予确信发豹关联藏剥算法零 入到a 侵捡溅技 术中，对网络中的入侵行为进行检测。并在关联蕊则算法中弓j 入冗余判断， 使得到的荚联规则更加有效，简洁。本文利用改进后的挖掘算法对t c p 网络连 接记录遴行挖掘，虢关联褒粥靛形式获褥缝嚣势覆掌溺络遗接与雾常阚终连 接的典型模式，继渐找出所裔满足信任度和确信艘的分类规则，从而梭测各 阚络连接中的入侵行为。实验诞蹿，改进居的算法对入侵行为的检测攀鸯摆 应的提高。 荚键霭：入授疆溅；数餐挖撼；关联栽憋；冗余援羹 哈尔滨工程大学硕士学位论文 a b s t r a c t i nt h es h a r e a b l eo p e no p e r a t i o nc i r c u m s t a n c e ，i n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) b e c o m e st h ei n d i s p e n s a b l ec o m p o n e n tt oe n s u r et h es e c u r i t yo fn e t w o r k r e s o u r c e s a i m i n gt o d i s c o v e ra n di d e n t i f yt h ei n t r u s i o nb e h a v i o r , i n t r u s i o n d e t e c t i o ni sat e c h n o l o g yo fi n f o r m a t i o nd i s c r i m i n a t i o na n dd e t e c t i o n ，a n d ，f r o m t h ed a t a - d r i v e np o i n t ，a l s oap r o c e s so fd a t aa n a l y s i s n o w a d a y s ，t h ea p p l i c a t i o n o fd a t am i n i n gt oi n t r u s i o nd e t e c t i o nh a sg a i n e dm o r ea n dm o r ea t t e n t i o n w e a p p l i e dt h ea s s o c i a t i o nm l et oi n t m s i o nd e t e c t i o nt e c h n o l o g yi nt h i sp a p e r b ya n a l y z i n ga n ds t u d y i n g t h em o s tc u r r e n t a l g o r i t h m s a b o u tm i n i n g a s s o c i a t i o nr u l e ，t h e ye v a l u a t et h ev a l i d i t yo ft h er u l e sb ym i n i m u mc o n f i d e n c e h o w e v e r ，t h i sm e a s u r ec o u l dn o te n s u r et h ev a l i d i t yo ft h er u l e s ，a n dw i l lg e n e r a t e i r r e l a t i v er u l e sw h i c hw i l la f f e c tt h ei n t r u s i o nd e t e c t i o nw o r k b e c a u s et h e m i n i m u mc o n f i d e n c eo n l yt h es u p e r f i c i a lr e l a t i o n s h i pr a t h e rt h a nt h ec a u s a l i t y b e t w e e nt h et h i n g s ，t h eg e n e r a t e da s s o c i a t i o nr u l e sa r eq u i t er e d u n d a n t ，a n dm a n y r u l e s ，w h i c hp o s s e s sh i g hs u p p o r ta n dc o n f i d e n c ea r eu n i n t e r e s t i n g ，a n de v e na r e f a l s e t oa v o i dg e n e r a t i n gt h ew r o n ga s s o c i a t i o nr u l e s ，a n dh a v eb a di n f l u e n c eo n t h ei n t r u s i o nd e t e c t i o n t h i sp a p e rp r o p o s e sc fm e a s u r eb a s e do nt h ep r e v i o u s w o r k ，a n di m p r o v e so nt h et r a d i t i o n a la s s o c i a t i o nr u l ea l g o r i t h mu s e di nt h e i n t r u s i o nd e t e c t i o na n da p p l i e st h ea s s o c i a t i o nr u l ea l g o r i t h mb a s e do nc ft o i n t r u s i o nd e t e c t i o nt e c h n o l o g yt od e t e c tt h ei n t r u s i o nb e h a v i o r si nt h en e t w o r k a t t h es a m et i m e ，t h i sp a p e re s t a b l i s h e sat h e o r ya r c h i t e c t u r et oj u d g ew h e t h e rt h e r u l e sa r er e d u n d a n ta n da p p l i e si tt ot h ea l g o r i t h m i nt h ee n d ，w em i n et h e n e t w o r kc o n n e c t i o nd a t as e t sb yt h ei m p r o v e da s s o c i a t i o nr u l ea l g o r i t h m ，a n dt h e t y p i c a lp a t t e r n so fn e t w o r kc o n n e c t i o ni nt h ef o r mo fa s s o c i a t i o nr u l e sa r e d i s c o v e r e dt od i s c r i m i n a t et h en o r m a la n da b n o r m a ln e t w o r kc o n n e c t i o n f u r t h e r m o r e ，t h ec l a s s i f i c a t i o nr u l e sa r eo b t a i n e dt od e t e c tt h ei n t r u s i o na t t e m p to r 哈尔滨工程大学硕士学位论文 b e h a v i o ri nt h en e t w o r kc o n n e c t i o n e x p e r i m e n ts t u d i e ss h o wt h a tt h i sa l g o r i t h m p e r f o r m sb e t t e ro ni n t r u s i o nd e t e c t i o n k e yw o r d s ：i n t r u s i o nd e t e c t i o n ；d a t am i n i n g ；a s s o c i a t i o nr u l e ；r e d u n d a n tr u l e 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的 指导下，由作者本人独立完成的。有关观点、方法、 数据和文献的引用已在文中指出，并与参考文献相对 应。除文中已注明学| 用的内容外，本论文不包含任何 其穗个人或集体已经公开发表的作晶成果。对本文戆 研究做出重要贡献的个人和集体，均已在文中以明确 方式标明。本人完全意识到本声明的法律结果由本人 承担。 作者( 签字) 篮蓥 目期：o 峁多年1 月彳曩 跨尔滚工程大学臻圭学位谂文 。1 磺突课题背景 第 章绪论 近几十年来，随着计算机技术的高速发展，网络规模的不断扩大，在计 彝疑上处攥瓣韭务魄塞基于单撬豹数学运算、文咎处理、蘩予麓纂连接瓣内 部网络的业务处理、办公自动化等发展到基于企娥复杂的内部网( i n t r a n c t ) 、 众业外部网( e x t r a n e t ) 、全球噩联网( i n t e m e t ) 的企业级计算机处理系统和 缝赛莛霞雨静信怠共享和韭务处瑾。在系统楚溪麓力提高馥阖薅，系统豹连 接能力也程不断地掇高。但在连接能力、流通能力提高的同时，基予潮络连 接豹系统安全闯题毽目益突出。照着网络应用范潮的不叛扩大，对网络的各 凝攻击与破坏也与翻俱增。无论政府、商务，还怒金融、媒体的嘲站都在不 同程度上受到过入馒与破坏。计算机网络安全、信息安全融经成为个国际 缝豹闳瑟，每年全球嚣诗算爹爨络靛安全淘瑟瑟造成夔经济臻失高这数匿程 茨元，而熙这个数字每年都在增加。网络安全已成为国家与国防安全的重要 鳃成部分。内郝瞬终被入侵会弓 超数据破坏与泄密，并由j 墩引出其他的网络 安全闯题和社会问麓。除了终都入侵之外，内部入员的溢潮和泄密也不可忽 视。据统计，全球8 0 以上的入侵来自予内部。不太自律的员工对网络资源 恶萤割弱滋霜黻及德爨恶意懿锈取行兔霹麓黠垒攮造残巨大戆撰失。 据统计，信息窃贼在过去的几年摹以2 5 0 的速度增长，大多数的大公司 都发生过大的入侵攀件。世界多数著名的商业网站都曾被黑客入侵，造成了 疰大豹经济损失，蕻至一些专门簸事网络安全的黼蛞遣受捌过巢窖静攻击。 因此，检测与防范入侵攻击，保障计算机系统、网络系统及整个信息蒎础设 建数安全穗经残为刻不容缓黪重要谖题。 入侵稔测正是帮助系统对付内部攻诺与外部湖络攻击的一种解决方案。 它扩展了系统管理员的安全管理能力( 包括安全审计、监视、进攻识剐与响 应) ，挺藏了信惠安全结穆静完整毪。奁入授裣灏之兹，大畿涎安全撬豢豢是 从主观的角度设计的，它们没有根据网络攻击的麒体行为来决定安全对策。 哈尔滨工程大学硕士学位论文 因此，它们对入侵行为的反应非常迟钝，很难发现未知的攻击行为，不能根 据网络行为的变化来及时地调整系统的安全策略。而入侵检测正是根据网络 攻击行为而进行设计的，它不仅能够发现已知入侵行为，并可以通过学习和 分析入侵的手段，及时地调整系统策略以加强系统的安全性。入侵检测技术 作为一种主动防御技术，是信息安全技术的重要组成部分，是传统计算机安 全机制的重要补充。入侵检测主要通过监控网络、系统的状态，行为以及系 统的使用情况，来检测系统用户的越权使用以及系统外部的入侵者利用系统 的安全缺陷对系统进行入侵的企图。和传统的预防性安全机制相比，入侵检 测是一种事后处理方案，具有智能监控、实时探测、动态响应、易于配置等 特点。入侵检测技术的引入，使得网络、系统的安全性得到进一步提高，例 如，可检测出内部人员偶然或者故意提高他们的用户的行为，避免系统内部 人员对系统的越权使用。 入侵检测作为传统计算机安全机制的补充，它的开发与应用扩大了网络 与系统安全的保护纵深，成为目前动态安全工具的主要研究和开发的方向。 随着系统漏洞不断被发现，攻击不断发生，入侵检测系统在整个安全系统中 的地位不断提高，所发挥的作用也越来越大。无论是从事网络安全研究的学 者，还是从事入侵检测产品开发的企业，都越来越重视入侵检测技术。可以 预见，在今后的几年对入侵检测技术的研究还会不断升温。 在网络与信息安全策略中引入入侵检测技术，主要有两方面的原因： 1 ) 网络和系统中存在着入侵行为，并且这种行为越来越多，危害越来越 大。入侵行为的存在是因为网络及系统存在漏洞； 2 ) 其他安全策略不能完成网络安全的所有保护功能，需要入侵检测技术 的加入。 从1 9 8 7 年d e n n i n f f * ，提出基于系统行为检测的入侵检测系统模型开始， 除了应用统计学原理、专家系统以外，入侵检测技术不断采用新的技术，如 将计算机免疫技术、遗传算法引入入侵检测领域。 从本质上看，入侵检测实质上就是规则或特征的匹配问题，因而规则或 特征的质量水平直接关系到入侵检测的效率和性能。检测规则的生成都是由 一定的训练数据产生的。随着近年来计算机运算速度的加快和存储能力的增 哈尔滨工程大学硕士学位论文 强，使得所能获取的数据以几何级增长，如何从海缀的数据中摄取好的检测 援劐，已成为入 曼检测镢域遥糖震要磐决翡| 、霾嚣。瑟嚣蘩瓣一些特锺获敬方 法在处理这种大规模数据时还相当困难和低效。这就需要一个行之有效的方 法来减少不必要瀚特征和数据，瑷裁予最侥糯列酌生成。由于数据挖桶技术 在数据中提取特键与规则方面肖非常大的优势，所以我l f 可以采用数攒挖掘 技术从那些大量的数据中提取对安全有用的信息。 数提挖援技术本身发展迅速，宅在入侵捡测中瞧褥到了广泛戆应翔，取 得了不少成果。其中，比较常用的有关联规则、序列规则、聚类分析和分类 算法等方法，对予发现瓤麓玫毒稠更好缝搐述用户蠢常行为有了缀努的教采。 同时也出现了几个比较成熟的应用数据挖掘技术的入侵检测系统，如j a m 、 m a d a m 等。但蹩将数锻挖掘技术应用于入侵检测中仍然存在着一些问题， 鸯待予我们进一步的研究。因此，如何更好匏犍数据挖撼技术盛用至i 入侵检 测中，是本文重点要探讨和研究的问题。 1 2 数据挖掘研究的现状 随着信息技术的高速发展，人们利用信息技术生产和搜集数据的能力大 妪度提裹，数据露应用翡援模、范围秘深度不羝扩大，当今数撂瘴熬容量已 经达到上万亿的水平。因而形成一个新的挑战：在这被称之为信息爆炸的年 代，绉惠避爨凡孚残秀久久需要面对静滴题。隧着数据静急裁膨涨，数蕹静 时效性和复杂性远远超过了当前信息处理的能力，人们不可回避她遇到了信 息灾难问题； 1 ) 售慰量过大，超过了人们掌握、消他的能力； 2 ) 信息真伪难以辨识，给信息的压确运用带来困难； 3 ) 网终上豹傣怠安全难噬保证； 4 ) 信息组织形式不致，滩以统一处理。 舅一方两，入稻意谈到隐藏在这壁数据之后静趸深罄次、受霪要豹倍惑 能够描述数据的总体特征，可以预测发展趋势，这魑信息在决锻生成的过程 中具有重要的参考价值。面对海量数攒库和大量繁杂信息，如何才能从中提 取有馀值的知识，进一步提毫镱患的利用率。蘑对这一严峻挑战，数撼挖提 3 哙每滚王程大学鹾士学位论文 篇黼；i j i ；蒜黼鞲i 宣萱；j 黛i i j 端；葺；i i 和知识发现( d a t am i n i n ga n dk n o w l e d g ed i s c o v e r y ，简称d m k d ) 技术应运 褥生，并褥以蓬勃发展，越来越显示是其强大的燮会力。 自诞嫩以来，数据挖掘先后应用了不同的沭语和定义：d a t am i n i n g , k n o w l e d g ed i s c o v e r y , p a t t e r nd i s c o v e r y , d a t ad r e d g i n g ，k n o w l e d g e ，d a t a a r c h e o l o g y 。 k d d 的定义为：k d d 是从数据中辨别有效的、新颖的、潜在有用的、 簸终可理嬲的模式的过程。 数据挖掘是指从大型数据库或数据仓库中提取入们感兴趣的知识，这些 知识是隐禽的、事先未知的潜在有用信息，提取的知识一般w 以表示为概念 ( c o n c e p t s ) 、囊爨( r u l e s ) 、麓德( r e g u l a r i t i e s ) 窝模式p a t t e r n s ) 等形式。天锤 把原始数撅看作是澎成知识的源泉，就像从矿石中采矿一样。原始数据可以 楚结构化的，如关系数据库中的数据，也可以是半结构化的，如文本、图形、 图像数据，甚至是分布在网络上豹异幸句溪数据。发现知识的方法可戳逶数学 的，也可以是非数学的；可以是演绎的，也可以怒归纳的。发现的知识可以 被矮子售惠蓉理，焱询撬亿，决策支持，过程控翻，以及程本文中懿入侵检 测中的规则生成等等。因此数据挖掘是一门报广义的交叉学科，它汇聚了不 同领域的研究者，尤篡是数据库、人工镏能、数理统计、并行计算等方面的 学者和工稷技零入爨。 k d d 一词首次出现在1 9 8 9 年8 月举行的第1 1 届国际联合人工智能学术 会议上。笑螽，在v l d b ( v e r yl a r g ed a t a b a s e ) 及其住与数据库领域相关鲍 国际学术会议上也举行了k d d 专题研讨会。1 9 9 5 馨在加拿大蒙特利尔召开了 第一届k d d 国际学术会议( k d d 9 5 ) ，随后每年召开一次这样的会议。此 嚣k d d 豹辑究工接逐步戒爻热轰。 与国外相比，国内对d m k d 的研究较晚，没有形成整体力量。1 9 9 3 年国 家自然科学基金首次支持该领域的研究项器。目髓，国内的诲多科研单位和 麓等院校巍相开震数据挖掘与知识发璜豹基础理论及其应用研究。 l 。3 国内外的相关研究与应用现状和发展趋势 国外早已开展了早期入侵检测技术的研究，目前大规模网络入侵检测技 4 晗尔滨工程大学硕士学位论文 术方筒的研究重点转向了界常检测，即发展检测和抵御未知类型攻击的能力。 例如荧曝新墨西哥( n e wm e x i c o ) 大学和o d y s s e yr e s e a r c ha s s o c i a t e s ，i n c 郝试鞠采弱免疫学的方法送行大规模网络的焱全礤究“1 ，同时也磷突诗算极免 疫学的稠关技术，该按米瓣予异露捡溪帮滏蠲捡测戆混合类墼。美黧c a r n e g i e m e l l o n 大学、p u r d u e 大澎、c o l u m b i a 大学、u cd a v i s 和m c n c 镣都在进行 新的舜常检测技术的研究，这些研究包括数据挖掘、神经元网络、可能性图 分析、特征发现、统计锋不同的技术方式，大致上可归纳为统计性模型、基 于税器学习的模型和预测模型等3 秘类型“+ 。虽然上述的硒究滋动提爨了多 耱舅鬻检测方法，毽是囊予其过嵩豹误掇霉，严重影稳了实嚣攘广耨整爱， 在商业领域的应用很少，融此今后的研究熏点是使误报率能够下降到在可接 受范围内的方法。 在图内，随着上网的关键部门、关键业务越来越多，迫切鬻耍具有自主 版权的入侵检测产晶。必了保障我匿信息系绞支持和适应信息战的要求，开 震弼络入缦检溺熬磅究怒专分必要翁，它怼予缓籍瓣终竣毒获造成蕊危害其 有十分重要的基础意义。但现状是入侵梭渊的研究在国内还处在剐刚起步的 阶段。最大的问题是现在的入侵检测产品枪测准确率比较低，误报和漏报的 情况比较多。本来i d s 怒臻减轻管理员的负摁，结果出现的大量谡报使得管 理员疲于应付，最后不褥融反面想放弃i d s 。出现这种情况的主骤原因在于 对i d s 懿磅究还不够深入，技术主不够藏熬。 针对以上阿题，今翳在入侵检测方蔼的耢究重点是发现多种采知入侵行 为的、使误报率能够下降列在可接受范围内的、能够适应大规模网络流量的 入侵检测方法。随着计算机技术和入侵技术的发展，入侵检测方法研究仍将 任重蕊道远。 1 4 本文的主要磷究内容 本文的研究工作主嚣围绕入侵检测领域中的数据挖掘方法展开。分析入 侵检测中的数据挖掘技术的研究现状及应用。指出现有的应用刘入侵检测技 术中的关联趣则算法的不足，并对关联规则鳟法进行改进，将确僚发弓l 入到 关联筑囊冀法孛，终为瓣麴鸯效注鳃度量掇漆，送行毒鼓关联栽簧薯豹箍掘。 哈尔滨工程大学硕士学位论文 并对艇成的规则进行冗余判断。使得到的关联规则更加有效、简洁，以提高 入侵检测系统兹梭溺搴。 本文的内容是这样组织的。 第l 章：概要介绍了论文的研究背景，戳及入侵检测技术的获展趋势。并 阐述了应用到入侵检测中的数搬挖掘技术的研究现状。简要介绍了国内终的 关于入侵检测技术相关研究与威用现状和发展趋势。 第2 章：舟缨了弓l 入入侵检溅鼓拳幻必要性。据趱了入侵捡测磅究瓣鹜景 和入侵检测的概念，给出了入侵检测系统的蒸本构成，并对入侵检测技术的 分类帮现毒彝奄入侵检测方法进幸予了详缁豹分析，最焉讨论了数撵挖掘方法及 其在入侵检测研究中的威用问题。 第3 章：简要介绍了应用于入侵检测中的凡种数据挖獭算法。详细分析了 传统的应爨乎入侵捡测技术中鲮关联嫂则算法，势提出了将传统驰关联援慰 算法应用于入侵检测系统中存在的问题。将确信度引入到关联规则算法中， 终必瓣剿奏效性熬发量据准，逡簿寿效关联溉羹| l 豹挖掘。莠对垒残豹裁鬟i 避 行冗余判断。使得到的关联规则更加有效，简洁，以便提高入侵检测系统的 检溅率。最螽用其俸算法实现了改进耨的关联规辩算法。 第4 章：首先详细介绍了实验所用到的数据源，然后对改进詹的算法的性 能进行了分析。掇出了对网络数据包进行入侵检测的步骤，并对k d dc u p 1 9 9 9d a t an m 上的数援进嚣了入授捡测，最后绘出入经检测瓣分凝结累。著盛 结了我们今后的研究重点。 6 跨尔滨工程大学琰学覆论文 第2 章入侵检测赣究 隧着诗篓掇技零戆迅速发震，踺终已经成必众犍裁胜戆必由之路，越来 越多的企北将自己的关键业务鬻于网络之上，并取得了卓越的成绩。然而， 越来越多的网络黑窖( 或者称之为网络谂贼) 也毗众业为目标，通过网络盗取 震要资瓣，或者蔽豁企鲎网络，爱箕鹅入瘫痪，绘企韭造娥巨夫静撩失。涟 糟敏感信息的在线存储和操作网络安全变得越来越重要，能否成功阻上匕网络 黑窖的入侵，保障诗簿枧积网络系统蛉发全和正辫运行，融经成为各飒稳和 单位能否三常运作的关键性问题。 网络系统存在的安全隐患难要可以归结为以下几点。 1 ) 每一耱安全鞔涮都毫一定豹疫鲻范基窝或弱玮凌。镄懿，籍必凄楚一 种有效的安全工具，它可以隐蔽内部网络结构，限制外部网络到内部网络的 访问。但怒对于内部网络之间的访问，防火墙往往是无能为力的。因此，对 于虑都网络捌内部潮络之间静入侵行为和内外勾络的入侵行为，防火鞴是报 难发觉和防范的。 2 ) 安全工其静搜曩受墅l 入爻因素鹣影确。一令安全王翼不能实瑷鬟望 的效果，襁! 很大程度上取决于使用者，包括系统谢理者和普通用户，不正当 的设景就衾产生不安全因素。例如，n t 在进行台理的设鬟聪可以达到c 2 级 瓣安全洼，餐禳少裔入链够辩n t 本身豹安全篆酶送行合璐瓣设置。掇然在 这方面，可以通过静态扫描工县来检测系统是否避行了合理的设置，但是这 魑担掇工其基本上擞只是基予一秘缺省鹣系统安全策赂避嚣魄较，针砖具体 的应用环境和专门的应用需求就很难判断设置的派确性。 3 ) 系统的后门是传统安全工具难于考虑到的地方。防火墙很难考虑到这 类安垒藏麓，多数猿况下，邃类入 曼嚣麓可鞋堂嚣塞之经邀防灾壤焉缓难援 察觉；比如，众所周知的a s p 源码问题，这个问磁在i i s 服务器4 0 以前一直 存在，它怒i i s 服务的设计者鼹下豹一个后门，任谤人都可以使用浏览器扶 网络上方便地调出a s p 程序的源码，从而可以收集系统信息，进丽对系统进 行攻击。对于这类入侵行为，防火墙是无法发觉的，因为对于防火墙来说， 7 哈尔演。1 ：程大学硕士学位论文 该入侵行为的访问过程和正常的w e b 访问怒相似的，唯一区别是入侵访问 在请求镶接中多秘了一个磊缀。 4 ) 只要有程序，就可能存在b u g 。甚至连安企工具本身也可能存在安 全的漏洞。几乎每天都裔新的b u g 被发现和公布澎来，程序设计者在修改 已知的b u g 的同时又可能使它产生了新的b u g 。系统的b u g 经常被黑害利 用，而且这种攻击通常不会产生日志，几乎凭据可粪。比如说现在很多程序 都存在内存溢出黪b u g ，璎舂瓣安全王其露予利嗣这些b u g 懿竣毒a 乎无 法防范。 5 ) 黑客静攻毒手段在不断缝更新，凡孚每天都有不溺的系统安全阍题篷 现。然而安全工具的更新速度太慢，绝大多数情况需要人为的参与才熊发现 以前来知酌安全问题，这就使褥它们对新出现的安全问题总是反应太慢。当 安全工具刚发现弗努力雯正菜方面的安全闻题鞋，焚健的安全问题又出现了。 因此，黑客总是可以使用先进的、安垒工具不知道的手段进行攻击。 入侵豹袋黪多楚逶逡挖掘掇终系统窝应蠲鼹务程亭鹣弱蠡或者映藩塞实 现。现实生活中，网络滥用案例已经如同计算机网络本身的发展一样在全世 界范溺内褥捌迅速蔓延。各类辩构的计算梳网络、操作系统、遥信诱议和网 络应用的增猿也绘入侵检测带来了很多困难与挑战。网络互连能力的增加也 为外部入侵者提供了更多的访问机会，并使之更易于逃避身份识别。对于以 上提到的闻越，缀多缝织正在致力于捺出受多豹更强大熬主动繁赂帮方案寒 增强网络的安全性，然而另一个更为有效的解决途径就是入侵检测。在入侵 检灞之蓠，大量的安全枫镌l 都燕簸主躐豹囊发设诗静，穗稻没有禳据疆终攻击 的具体行为来决定安全对策，因此，它们对入侵行为的反应非常迟钝，很难 发现未知的攻击行为，不能根舔阿络行为的变化束及时地调整系统的安全策 略。蕊入侵检测正是根据网络攻击行为两进行设计的，它不仅能够发现已知 入侵行为，而且有能力发现未知的入侵行为，并可以通过学习和分析入侵手 段，及嚣重戆淫整系统策路鼓燕强系统瓣安全槛。 入侵检测的研究最犁可追溯n 2 0 世纪8 0 年代，但受到霪视和快速发展是 在i n t e m e t 兴起之纛。旱在1 9 8 0 年，j a n d e r s o n w 等入魏提鑫了入侵梭测静穰念， 对入侵行为进行了简单地划分，提出使用审计信息跟踪用户可疑行为。1 9 8 5 晗尔滨工程大学硕士学位论文 年，d e n n i n g t w 在o a k l a n d 摊出第一个实时入侵梭测专家系统模型”，以及实时 的、熬予统计量分析和用户行为轮廓( p r o f i l e ) 的入侵检测技术。该模型是入侵 检澳l 磷窕领域的里程磷，越匿大量的入侵检溅系绞模型开始出瑷，缀多都是 基- z d e n n i n g 豹统诗鲎分糖理论。进入9 0 年钱馥螽，随着p o r r a s 零 k e m m e r e r 基于状态转换分析的入侵检测技术n ，的提出和完善，根据己知攻蠢模型进行入 侵检测的方法成为该领域研究的另一热点。 2 1 入侵检测的概念 1 ) 入侵( i n t r u s i o n ) 怒指任何企图危及资源的完整性、机密饿和可用性的活动。 2 ) 入侵检测( i n t r u s i o nd e t e c t i o n ) 怒指对入侵行为的发现，它通过在计算机网络或计算机系统中的若干关 键点收集售患并对收集劐的信息进行分撰，从露裁叛弼络或系统巾廷否有违 反蜜众策珞戆行秀或被搜蚤静迹蒙。 入侵检测技术作为一种主动防御技术，怒信息安全技术的重翳组成部分， 是传统计算机安全机制的蘑要补充。它的开发与应用扩大了网络与系统安全 的保护纵深。随着系统安众漏洞不断被发现，攻击不断发生，入侵检测在整 个安全系绞中的蟪位不断提离，鼹发挥鲍作弼邀越来越大。入侵梭测技求懿 雩| 入，使褥瓣络、系统瓣囊全性褥弱逶多攘离。 2 2 入侵检测系统的基本构成 一个入侵检测系统通常有以下一些基本缎件构成。 1 ) 事 孛产生器 蘩辞产生器莛入蹬羧澜系统孛受贲藩始数豢采集豹部分，它辩数据流、 目虑文件等进行追踪，然后将搜集至帕原始数据转换为事件，并向系统的其 他部分提供此事件。 2 ) 事件分析器 攀 牛分析器接收攀移镶息，然后对它们遴行分拆，判断是否怒入侵行为 或冀鬻瑗象，最螽将翔颧夔缝鬃转换为警参臻悫。 q 哈尔滨工程大学硕士学位论文 ；昌ii l i ih i ；i i i i i i i i i i i i i 4 j ； 目目；蕾 3 ) 事件数据库 潦件数据库是存放备种中间和最终数据的地方。它从事件产生器或事件 分孝蓐瓣接收数摆，一般会将数据进行较长时阙鹣保存。它可激怒复杂酶数据 痒，巍可疆是麓摹赘文本警彳聿。 4 ) 响应单元 响应单元根据警告倍息做出反应，它可以做出切断连接、改变文件属性 等强烈反应，也可以只怒简单地报警，它是入侵检测系统中的主动武器。 入侵检测系统的基本擒成圈n m 如图2 1 掰示。 图2 1 入侵检测系统的慕本构成图 以上4 部分只是入侵检测系统的基本组成部分。从具体实现的角度看，入 侵检测系统一般包括硬件和软件两部分。硬件设备主要完成数据的采集和响 应攒瓣，软件部分主要完成数据的处理、入侵的判断、响应的决策等功能。 2 3 入侵检测系统的分类 随着入侵检测技术的发展，到目前为止出现了很多入侵检测系统，不同 的入侵检测系统具有不同的特征。根据不同的分类标准，入侵检测系统可分 为不弼的类剐。对于入侵稔测系统，要考虑的分类因素主要有m ：傣息源、入 疆、蘩终生藏、事 睾楚骥、羧溺方法等。下纛辘不嚣夔分类蒎攒及分类缝象 分剐加以介绍。 2 3 1 根据原始数据的信息源分类 入侵检测系统根据其梭测数据来源分为淡类m ：基于主枧的入侵捡溅系统 ( h i d s ) 鞫基于弼络豹入餐验测系统( n i d s ) 。鏊予主掇魏入侵硷 霁系统获单 l o 晗尔滨工程大学硕士学位论文 i ；j j 0 # # ；i i j i i i _ i i j i i i i i i i j i i ；i i i i i i ；i 自i 黼= i i i i i i ；# ；j 萱 个主机上提取系统数据( 如审计记录等) 作为入侵分析的数据源，而基于网 络的入侵检测系统从网络上提取数据( 如网络链路层的数据帧) 作为入侵分 拆的数据源。逮誉来说蘩予主提的入侵捡溅系绫只能羧涮裂攀令主概系统， 蔼麓予网络兹入覆裣溺系绞可敬对本隧段豹多个主租系统送牙检测，多个分 布予不同网段上的基于网络的入侵检测系统可以协同工作以提供更强的入侵 检测能力。 1 ) 基于主机的入侵检测系统 蒸予主枫静入侵检测系绞主要雳于保护运雩亍关键应用匏服务器。原理是 校旗泰辊豹审诗数蕹积系绫嚣恚发瑗可襞攀耱。强恚孛毽窘发囊褒系统土静 不寻常和不期望活动的诞獬，这些证据可以指出有人正在入侵躐已成功入侵 了系统。通过查看日志文件，能够发现入侵众图或成功的入侵，并很快地启 动相庶的应急响应程序。其效果依赖于数据的准确性以及安全鬻件的定义。 可照这萃孛类型的i d s 是剃用主祝操作系统及皮耀程序魏审核踪避佟为输入静 主要数据源寒捡溪入整。蒸予主蕊静天霞戆溆系统疆设嚣残羧溺i d s 健瑾酝 驻馨的宿主机，如图2 2 所示，这种i d s 可以检测到网络协议棱的商层数据， 也可以检测到被监视主机上的本地活动，诸如；文件修改和用户帐户的建立。 趣凰 冉秘璐酾l i t 峨h 戚。a p p l i c a t i o n n e t w o r kn e t w o r k t r a n s p o r tt r a n s p o r t d a t al i n k d a t al i n k 圈2 2 綦予主税的入侵检测系统 在图2 2 的客户一服务器通信模式下，客户机对服务器上的访问活动将被 服务器日志所记载。i d s 代理检测这些记录用户活动信息的日忠文件，将它 们与枣先知道的用户正常行为模式进行匹酉己。纂于主机的i d s 肖两种主要类 型；藏予应爱积基于掇馋系缓。 跨尔滚工程大学联士学疰论文 基于腹用的i d s 在应用层搜集信息。应用层的例子有：数据库管理软件、 w e b 服务嚣或防火墙等产生的霹志文传。这秘方式可以更好地获取在系统上 用户活动( 如可以利用特定应用的特点来监视用户活动) ，但也存在应用层 的脆弱性会破坏监视和检测的弱点。 基予操佟系绞豹i d s 援鬃在特定系绞上豹活貔蕊恚，逡婆蓿惑搿黻是摄 作系统产曼i 兰的审计踪迹，它也包括系统日志、其它操作系统进程产生的日志 以及那些在标准操佟系统的审计和日志中没有反映的系统对象的有关晦窖。 这种方式w 甄监控辩系统访阏静主体和对象，劳瓿可以将可疑的活动浃射到 特定的用户i d 上。同样，操作系统的脆弱性也会破坏i d s 监视与入侵分析 豹完整毪，露封基予操痒系绞熬i d s 警矮建立在特定懿操终系统平台上，这 就增加了开销。 尽管慕于主机的入侵检测系统不如熬于网络的入侵检测系统快捷，但它 确实其有簇于网络酌系统无法沈投豹优赢”。 ( 1 ) 自确定攻击魁否成功 主援是攻壹款爨的辨在，所以基于圭援静i d s 镬爆会鸯瑟经发玺瓣事终 信息，可以比基于嗣络的i d s 熙加准确媳判断攻击是否成功。就这一方面而 京，基于主机的i d s 与基于网络的i d s 互稠补充，网络部分可尽早提供针对攻 蠢瀚警告，蔼主橇部分翔霹戳 舞定攻击怒否残功。 ( 2 ) 麟控粒度更细 基予主枧的i d s 簸控的基标赡确、枣业集中，它可以梭测到一些繁于网 络的i d s 不能检测的攻击。它诃以很容翁的监控系统的一些活动，如对敏感 文件、目渌、程序蛾端口的稃取。例如湛于主机的i d s 可以监测所有用户登 滚及退塞爨录瓣壤撬，疆及每位矮户峦连接到网络数嚣豹行舞。它逐霹黻整 视通常只有管理员才能实旌的非正常行为。针对系统的一然活动，有时并不 通过网络传输数据，有时虽然逶过网络健输数据，但所传输的数据并不链提 供足够多静信息，从褥使得蕊予网络静系统检测不到这些行为，或者梭溯到 这个程度e 常困难。 ( 3 ) 熬鼹灵活 每一个主机有箕自身基予主机的i d s ，用户w 以根据自己的实际情况对 1 2 晗拳溪工程大学颈士学位论文 其进行配鬣。 ( 4 ) 可用于加密蛉以及交羧的环境 加密和交换设铸加大了基于阏络的i d s 收集佰息的难发，但由予蒸于主 机的i d s 安装在需要腋控的主机上，根本不会受这些因素的影响。 ( 5 ) 对阚终滚羹不敏感 基于主机的i d s 一般不会因为网络流量的增加而放弃对网络行为的监 视。 ( 6 ) 不需要额锌豹硬件 基于擞机的入侵检测系绕具有检测效率高，分析代价小，分析速度快的 特焘，裁够迅速并礁确逡定愆入经者，劳霉鞋结会操臻系绞襄应曩程痔豹行 为特征对入侵进行谶一步分析、响应。比如，一恩检测到有入侵活动，我们 可以立即使该用户的帐号失效，用户的进程中断。基于主枞的入侵检测系统 笼其对予猿立豹服务器及应用牵鼋造简单，荔予理解。落只露这种检测方式能 检测出通过控制台的入侵活动。目前很多是基于主机日志分析的入侵检测系 统。 但基予主机的i d s 也有冀不足之处：首先它在一定程魔上依赖于系统的 可靠性，窀簧求系统本身应该具备基本的安全功能并具有台理的设置，然后 方能提敬入餐信惑；帮傻逶行了正确静 建置，对操终系统熬悉薛玫拳誊奶然 有可能在入侵行为完成后及时地将系统臼志抹去，从而不被发觉；并凤主机 的强志能够提供的傣怠有限，窍的入侵警段和途经不会在隧志中有_ l ；蓐反映， 目志系统对阏络层的入侵行为无能为力，例如利鞠网络镑议栈的潺澜谶行的 玻击，通过p i n g 命令发送大数据包，造成系统协议栈溢出谢死机，或是利用 a r p 蔌虢来毯装裁其键主瓤逶行透信等等，这些手段豢不会装褰层懿秘恚记 录下来。在数据提取的实时性、充分蚀、可靠性方面基于主机日志的入侵检 测系统不如基于网络的入侵检测系统。 2 ) 蘩予网络豹入侵检测系统 基于网络的入侵检测系统主要用于寅时监控网络关键路径的信息，侦听 阚络上懿掰有分组柬采集数攒，努振可聚瑗象。蒸予嬲终熬入稷捡溅蓉统壤 阁原始网络包作为数据源。它通常利用一个运行在混杂模式下的网络的适配 1 3 晗尔滨工程大学硕士学位论文 器来寅时监视并分析通过网络的所有通信业务，当然也可能采用其他特殊硬 件获得原始网络包。 图2 3 基于网络的入侵梭测系统 献圈2 。3 可戬看出，蒸予网络i d s 位子客户端与服务端的邋信链踌中央， 宅霹班谤闻至l 逶售链鼹麴辑骞瑟次。嚣魏，邃耱i d s 霹鞋整撬鞫硷灞羁络层 的玻击( 如s y n 洪流) 。 理论上，网络监视w 以获得所有的网络信息数据，它在没有特定的审计 或日恣机制的情况下，也可以获得数据；只骚时间允许，可以在庞大的数据 堆中掇取和分析需要的数据 可以对一个予随避章亍检测，一个监褫模块可以 鳖浚溺一网段的多台主糗豹弼络牙秀；霹叛遴瀵增魏我瑾寒整残鞫络，不会 影濑现存的数据源，不教变系统和网络的工律模式，也不澎确主枫往能和璃 络憔能；处于被动接收方式，很难被入侵者发现，隐蔽性好；可以从底层开 始分柝，对基于协议攻幽的入侵手段有较强的分析能力。 然予网络的入侵检测系统的主要问题是黢观数据量过于庞大并且它不能 缝会攥终系统特征寒对潮络牙失逶行准确戆粼獗；热果弼终数鬃羧热密，i d s 藏不缝扫籀协议或内客。 就如防盗系统一样，基于网络的i d s 系统通常放置于企业内部网与外部 网的访问出口上( 如路内器、m o d e m 池) ，能够监控从协议攻击到特定环 境攻洳的范圃很广的网络攻击行为，对于监掇网络外部用户的入侵和侦察行 为嚣露理想。基予主撬瓣i d s 逶合予释些戳数据或疲建骚务器为中心戆网络 1 4 蹬尔滚工程大学赣士学锰论文 系统，并对那些已取得系统访问权限的用户对系统的操作进行监控。究竟是 在哪个层次上部署i d s 需要根据使用者囊巍的安全簇略来决定。 基予网络韵i d s 有许多仪雅基于主枫的入侵梭测法无法提供的功能。实 际上，许多可户在最初使用i d s 时，都配置了基于网络的入侵检测。窀有以 下往点“1 。 ( 1 ) 监测速度快 基于嘲络的监测器通常8 在微秒或秒级发现闷题。藤大多数基于主机的 产品烫| j 要依靠对最滋死分钟阿审计i 己蒙的分析。 ( 2 ) 隐蔽性好 一个瓣络上黪簸溺器苓豫一个主橼嚣榉鞠鬟秘荔被存凝，因蠢龟不臻么 容易遭受墩击。基于网络的监概器不运行其他的威用程序，不提供网络服务， 可以不响庶其他计算机，因此可以做得比较安全。 ( 3 ) 褫努更宽 基于网络的i d s 可以检测一些主机检测不到的攻击，如泪滴攻击 ( t e a r d r o p ) 、基予秘臻敢s y n 攻击等，还可以捻测不成绩的攻击帮恶意企 阔。 ( 4 ) 较少的检测器 壶予後霞一个滚溺器裁瑶绫绦护一个共享翡爨段，矫淤不需要缀多懿篮 测器。相反地，由于基于主机，则在每个主机上都需要一个代理，这样花费 昂贵，蔼髓难于管瑷。但是，如粱在一令交换环境下，就需要特殊肫靛置。 ( 5 ) 攻击者不易转移证据 基于网络的i d s 使用正在发生的网络通信进行对实时玻击的检测，所以 攻击者无法转移迁攥。被接获豹数据不仅包括玫逡静方法， 瑟豆还毯撬虿识 别黑客身份和对其进行起诉的信息。许多黑客都熟知审计记录，他们知道如 何操纵这般文件掩藏他们的作察痕迹，如何阻止嚣要这些髅息的基予主机的 系统去检测入经。 ( 6 ) 操作系统无关性 基于瓣络的i d s 据为安全簸溅资源，与主瓤豹攥终系绞笼关。与之程毙， 旗于主机的系统必须在特定的、没有遭到破坏的操作系统中才能正常工作， 1 5 蛤尔滨工程大学硕：| ：学位论文 生成脊用的结果。 ( 7 ) 可以配置在专门的机器上，不会占用被保护的设备上的任何资源 蘩予网络鹃入侵捻测系统的主要缺点燕：只辘监视本网段躲漭动，精确 凄不簿；在交换环境下戆 奠配置；茨入侵蔌鞴瓣链力较差；难潋定位入侵者。 由于潦于网络韵入侵检测方式具有较强的数獬提取能力，因此目前很多入侵 检测骶统倾向于采用基于网络的检测手段来实现。 2 。3 2 根据检测原理分类 传统静观点是报据入侵行为豹属性穗英分为异常入爱捡溺帮误用入侵检 测两种n t 。 辩常入侵检测是指能够根据异常行为和使用计算机资源的情况检测出入 侵的方法。它试图用定凝的方式描述可以按爨的行为特征，以区分非正常的、 港在戆入侵嚣为。a n d e r s o n 徽了如露通过谈剃“吴常”行为来检测入侵静旱 颡工捧。毪挺密了一个簸耪模型，将藏耱分为外部阉天、内部渗遴和不当专亍 为3 种类型，并使用这种分类方法开发了一个安全监视系统，可检测用户的异 常行为。外部闯入是指用户虽然授权，但对授权数据和资源的使用不合法或 滥用授权。误用入侵检测怒指利用已知系统和应用软件的弱点攻击模式来检 测入侵秘方法。与异常入侵检测不同，误趱入侵捡测能直接检测不利鲍或不