（计算机应用技术专业论文）基于som及k均值聚类方法的分布式入侵检测模型的研究.pdf

摘要入f 1 玲测作为一种主动防御技术，弥补了传统安全技术的不足。本文在对已有的入侵检测模型研究的基础上，提出了一个多代理的入侵检测模型，该模型中各代理之间的通信方法可以适应异构的网络环境。在对入侵检测算法的改进上，本文同时提出了一个改进的s o m 神经网络检测算法，可以有效提高入侵检测系统的检测率。本文中的入侵检测模型包括以下几个代理：岗哨代理( s e n t r ya g e n t ) ，分析代理( a n a l y s i sa g e n t ) ，响应代理( r e s p o n s ea g e n t ) 和网络代理( n e t w o r ka g e n t ) 。他们分别负责信息采集，数据检测，响应入侵和协调管理的作用。为了使代理间的通信能够在异构网络环境下进行，本文提出了x m l 和o p e n j m s 的方法来实现代理间的通信。即代理在通信前使用x m l 作为数据传输的统一格式，而代理在通信时采用第三方开源软件o p e r d m s 作为消息中间件。在对采集到的网络数据进行检测前还需要对数据特征进行标准化。本文针对这一问题，根据k d d c u p 9 9 标准，对截获的网络数据包进行4 1 维特征抽取，并采用数值编码方法，使这些特征转化为能被神经网络处理的数值形式。检测算法是入侵检测的一个重要组成部分。本文在对大量入侵算法研究的基础上，提出了s o m 神经网络和k - m e a n s 算法相结合的检测算法。传统的s o m 神经网络不能提供分类后精确的聚类信息。而传统的k - m e a n s 算法的聚类结果严重受到随机初始值的依赖。为克服两种算法的缺陷，本文将两种算法结合起来，s o m 首先进行一次初聚类，将其作为k - m e a n s 提供初始聚类，然后用k - m e a n s 来对s o m 的聚类进行精化，既克服了两者的缺点，又使两种算法的优点得到完美的结合。文章的最后采用k d dc u p 9 9数据源对该算法的性能进行测试，实验表明应用了改进的检测算法可以明显提高入侵检测系统得检测率，并在一定程度上降低了误探率。关键词：入侵检测，代理，x m l ，o p e n j m s ，s o m ，k m e a n sa b s t r a c t队sa l li m p o r t a n ta n da c t i v es e c u r i t ym e c h a n i s m ，i n t r u s i o nd e t e c t i o nw i l lr e i n f o r c et h et r a d i t i o n a ls y s t e ms e c u r i t ym e c h a n i s m b yd o i n gr e s e a r c ho nt h ee x i s t i n gi n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) ，t h i sp a p e rp u tf o r w a r dam u l t i a g e n t sm o d e lo fi d s 1 1 1 ec o m m u n i c a t i o nm e t h o db e t w e e na g e n t si nt h i sm o d e lc a na d a p tt ot h eh e t e r o g e n e o u sn e t w o r ke n v i r o n m e n t t oi m p r o v et h ea r i t h m e t i co fd e t e c t i o n ，w ea l s oi n t r o d u c ea ni m p r o v e ds o mn e u r a ln e t w o r k ,w h i c hc a ni m p r o v et h ed e t e c t i o nr a t eo fi d s i +p q h em o d e lo fi d si no u rp a p e ri n c l u d e sf o l l o w i n ga g e n t s ：s e n t r ya g e n t ，a n a l y s i sa g e n t ,r e s p o n s ea g e n ta n dn e t w o r ka g e n t t h e ya r er e s p e c t i v e l yr e s p o n s i b l ef o rd a t ac o l l e c t i n g ，i n t r u s i o nd e t e c t i n g , a n di n t r u s i o nr e s p o n s ea n dm a n a g i n g t om a k et h ec o m m u n i c a t i o nb e t w e e na g e n t si nt h eh e t e r o g e n e o u sn e t w o r ke n v i r o n m e n tf e a s i b l e w ei n t r o d u c et h ex m la n do p e n j m st or e a l i z et h ec o m m u n i c a t i o nb e t w e e nt h ea g e n t s ，t h a ti s ，b e f o r et h ea g e n t sc o m m u n i c a t ew i t he a c ho t h e r , t h ed a t as h o u l db ec o n v e r t e dt oau n i f o r n lf o r m a t x m l a n dw h e nt h ea g e n t sb e g i nt oc o m m u n i c a t e ，t h e yc a nu s et h et h i r dp a r t yo p e ns o u r c es o f t w a r ec a l l e do p e r d m st or e a l i z et h a t 1 - - - b e f o r ed e t e c t i n gt h ec o l l e c t e dd a t a , w es h o u l ds t a n d a r d i z et h ef e a t u r eo fd a t a t os o l v em i sp r o b l e m ，a c c o r d i n gt ot h es t a n d a r do fk d dc u p 9 9 ，w ee x t r a c t4 1d i m e n s i o n a l i t i e sf e a t u r e so fc o l l e c t e dd a t ao fn e t w o r k ，a n dc o d et h ef e a t u r e sb yn u m e r i c a lv a l u e s ，s ot h ef e a t 0 r e sc a nb ep r o c e e d e db yt h en e u r a ln e t w o r k 肿ea r i t h m e t i co fd e t e c t i o ni sa l li m p o r t a n tp a r to fi d s t 1 1 i sp a p e rp u tf o r w a r d san e wa r i t h m e t i cc o m b i n i n gs o mn e u r a ln e t w o r ka n dk - m e a n s t r a d i t i o n a ls o mc a n n o tp r o v i d eu sw i lp r e c i s ec l u s t e r i n gi n f o r m a t i o n , w h i l et r a d i t i o n a lk - m e a n sd e p e n d so nt h ei n i t i a lv a l u es e r i o u s l y t oo v e r c o m et h ed e f e c t so ft h et w o ，w ec o m b i n et h e m ，u s es o mt oc l u s t e rt h ef e a t u r e sr o u g h l yf i r s t ，w h i c hc a nb et h ei n i t i a lc l u s t e r so fk m e a n s ，a n dt a k ek - m e a n st or e f i n et h ec l u s t e r i n gi nt h es o ms t a g e ，n l i sa r i t h m e t i cw i l lo v e r c o m et h ed e f e c t so ft h et w o a n dc o m b i n et h ea d v a n t a g e so ft h et w o a tl a s to ft h i sp a p e l w et a k el dc u p 9 9d a t as o u r c et ot e s tt h ep e r f o r m a n c eo ft h i sa r i t h m e t i c 砀ee x p e r i m e n t ss h o wt h a ta p p l y i n gt h ei m p r o v e da r i t h m e t i cc a no b v i o u s l yi m p r o v et h ed e t e c t i o nr a t eo fi d s ，a n dc o r r e s p o n d i n g l yr e d u c et h ef a l s er a t e k e yw o r d s ：1 d s ，a g e n t ，x m l ，o p e n j m s ，s o m ，k - m e a n s独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得墨盗墨兰太至或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文作者签名：每签字日期：砷年f 月丁日学位论文版权使用授权书本学位论文作者完全了解墨盗墨兰盘堂有关保留、使用学位论文的规定。特授权墨盗墨苎太堂可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编，以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复本和电子文件。( 保密的学位论文在解密后适用本授权说明)学位论文作者签名：兹岔签字日期：矽尸年，月厂日导师签名：丑岭不弼签字日期：晰，月二日第一章绪论第一章绪论1 。1 网络安全现状及课题研究意义随着计算机的日益普及和网络技术的迅猛发展，计算机网络已经给人类社会各个方面都带来了深远的影响，它的触角已经伸展到全球的各个角落，人们的工作、学习和生活方式正在发生巨大变化，效率大为提高，信息资源得到最大程度的共享。但是，网络在为人类发展创造了一个更广阔天地的同时，也为入侵者提供了一个更加便利的场所。从1 9 8 8 年1 1 月2 日由r o b e r tm o r r i s 1 r 编写的一个基于b s du n i x 的“i n t e r n e tw o r m 蠕虫的出现到2 0 0 1 年8 月5 日的红色代码“c o d er e d 蠕虫发作，直至2 0 0 3 年8 月1 2号的冲击波“b l a s t e r ”蠕虫的大规模爆发。互联网的安全威胁正逐渐逼近每一个普通用户。在这种情况下，如果不很好地解决安全问题，必将阻碍信息化发展的进程，给经济发展带来严重的后果。因此，如何提高网络的安全性和可靠性成为人们目前关心和研究的主要课题。从1 9 8 8 年开始，位于美国卡内基梅隆大学的c e r tc c ( 计算机紧急响应小组协调中心) 就开始调查入侵者的活动。近期，c e r tc c 给出了黑客入侵攻击方式的四种最新趋势【l 】o趋势一：攻击过程的自动化与攻击工具的快速更新攻击工具的自动化程度继续不断增强。自动化攻击涉及到的四个阶段都发生了变化。扫描潜在的受害者。从1 9 9 7 年起开始出现大量的扫描活动。目前，新的扫描工具利用更先进的扫描技术，变得更加有威力，并且提高了速度。入侵具有漏洞的系统。以前，对具有漏洞的系统的攻击是发生在大范围的扫描之后的。现在，攻击工具已经将对漏洞的入侵设计成为扫描活动的一部分，这样大大加快了入侵的速度。攻击扩散。2 0 0 0 年之前，攻击工具需要一个人来发起其余的攻击过程。现在，攻击工其能够自动发起新的攻击过程。例如红色代码和n i m d a 病毒这些工具就在1 8 个小时之内传遍了全球。攻击工具的协同管理。自从1 9 9 9 年起，随着分布式攻击工具的产生，攻击者能够更加有效地发起一个分布式拒绝服务攻击。协同功能利用了大量大众化的协议如i r c ( i n t e r n e tr e l a yc h a t ) 等的功能。趋势二：攻击工具的不断复杂化攻击工具的编写者采用了比以前更加先进的技术。攻击工具的特征码越来越难以通过分析来发现，并且越来越难以通过基于特征码的检测系统发现。当今攻击工具的三个重要特点是反检测功能，动态行为特点以及攻击工具的模块化。反检测。攻击者采用了能够隐藏攻击工具的技术。这使得安全专家想要通过各种分析方法来判断新的攻击的过程变得更加困难和耗时。第一章绪论动态行为。以前的攻击工具按照预定的单一步骤发起进攻，而现在的自动攻击工具能够按照不同的方法更改它们的特征，如随机选择、预定的决策路径或者通过入侵者直接的控制。攻击工具的模块化。和以前攻击工具仅仅实现一种攻击相比，新的攻击工具能够通过升级或者对部分模块的替换完成快速更改。而且，攻击工具能够在越来越多的平台上运行。例如，许多攻击工具采用了标准的协议如i r c 和h t t p 进行数据和命令的传输，这样，想要从正常的网络流量中分析出攻击特征就更加困难了。趋势三：漏洞发现得更快每一年报告给c e r t c c 的漏洞数量都成倍增长。c r e t c c 公布的漏洞数据2 0 0 0 年为1 0 9 0 个，2 0 0 1 年为2 4 3 7 个，2 0 0 2 年己经增加至4 】2 9 个。可以想象，对于管理员来说想要跟上补丁的步伐是很困难的，而且，入侵者往往能够在软件厂商修补这些漏洞之前首先发现这些漏洞。随着发现漏洞的工具的自动化趋势，留给用户打补丁的时间越来越短，尤其是缓冲区溢出类型的漏洞，其危害性非常大而又无处不在，是计算机安全的最大的威胁。趋势四：渗透防火墙我们常常依赖防火墙提供一个安全的边界保护。但现实情况是：已经有绕过典型防火墙的技术，如i p p ( t h ei n t e r n e tp r i n t i n gp r o t o c 0 1 ) 和w e b d a v ( w e b b a s e dd i s t r i b u t e da u t h o r i n ga n dv e r s i o n i n g ) 。特定特征的“移动代码 ( 如a c t i v e x 控件，j a v a 和j a v a s c r i p t ) 使得保护存在漏洞的系统以及发现恶意的软件更加困难。另外，随着i n t e r n e t 网络上计算机的不断增长，所有计算机之间存在很强的依存性。一旦某些计算机遭到了入侵，它就有可能成为入侵者的栖息地和跳板，作为进一步攻击的工具。目前，网络安全问题已引起社会各方面重视，世界各发达国家都对网络安全进行了相关立法，对网络安全投入大量的人力和物力进行相关研究，网络安全产品已经成为i t行业中发展最快的部分。1 2 入侵检测简介1 2 1 入侵检测技术在网络安全防范中，传统的方法是对操作系统进行安全加固，通过各种各样的安全补丁提高操作系统本身的抗攻击性，这种方法在一定程度上可以有效地防范外来攻击者的破坏行为，但它们对授权用户滥用权限的行为却无能为力：后来采用的防火墙技术是一种有效的网络安全技术手段，它通过系统设置提供诸如数据包阻断等功能，但其结构和功能特点决定了它只能提供企业内外网间一定程度的安全保障，一般无法具有有效的主动检测能力，也不能防止层出不穷的应用设计缺陷和通过加密通道的攻击。因此仅仅有访问控制技术和防火墙技术是远远不够的，需要一种能及时发现并报告系统非授权访第一章绪论闯或异常现象的技术，即入侵检测( i n t r u s i o nd e t e c t i o n ) 。入侵行为、入侵检测及入侵检测系统的定义是：入侵行为主要是指对系统资源的非授权使用，可以造成系统数据的丢失和破坏、系统拒绝服务等危害的行为口j 。入侵行为可能不仅来自外部，同时也包括了内部用户的未授权活动。入侵检测是通过对计算机网络或计算机系统中的若干关键点收集信息并进行分析，从中发现网络或系统中是否有违反安全策略的行为和被攻击的迹象。从入侵策略的角度可将入侵检测工作分为：试图闯入、成功闯入、冒充其它用户、违反安全策略、独占资源以及恶意使用等等。进行入侵检测的软件与硬件的组合就是入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) 。在二十世纪八十年代，大多数入侵者都是高水平的专家，他们经常自己研究入侵系统的方法，而很少使用自动工具和现成的代码。而现在的攻击工具却越来越高级，在i n t e r n e t 上充斥着大量这样的工具，这使得任何人都可以使用现成的工具来攻击因特网上的计算机系统。而i d s 的目标是将攻击的各种表象特征化，以确认所有真正的攻击但又不错认非攻击活动。入侵检测具有监视分析用户和系统的行为、审计系统配置和漏洞、评估敏感系统和数据的完整性、识别攻击行为、对异常行为进行统计、进行审计跟踪识别违反安全法规的行为、使用诱骗服务器记录黑客行为等功能，使系统管理员可以较有效地监视、审计、评估自己的系统f 3 j 。1 2 2 入侵检测系统发展现状目前入侵检测的研究主要集中在美国，有许多研究得到政府和军方的支持，并在实际环境中应用，而且还有大量的商用入侵检测工具。同时，国际上对入侵检测系统的标准化工作己经开始起步。1 9 9 0 年是入侵检测系统发展史上的一个分水岭。这一年，加州大学戴维斯分校的l t h e b e r l e i n 等人开发出n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 【4 】。该系统第一次直接将网络流作为审计数据来源，因而可以在不将审计数据转换成统一格式的情况下监控异种主机。从此之后，入侵检测系统发展史翻开了新的一页，两大阵营正式形成：基于网络的i d s 和基于主机的i d s t 孔。1 9 8 8 年的莫里斯蠕虫事件发生之后，网络安全才真正引起了美国的军方、学术界和企业的高度重视。美国空军、国家安全局和能源部共同资助空军密码支持中心、劳伦斯利弗摩尔国家实验室、加州大学戴维斯分校、h a y s t a c k 实验室，开展对分布式入侵检测系统( d i d s ) 的研究，将基于主机和基于网络的检测方法集成到一起，其总体结构如图卜1所示。d i d s 是分布式入侵检测系统历史上的一个里程碑式的产品，它的检测模型采用了分层结构，包括数据、事件、主体、上下文、威胁、安全状态等6 剧6 1 。第一章绪论图1 - 1 d i d s 结构图s t u a r ts t a n if o r d c h e n 等人提出的c i d f 模型将一个入侵检测系统分为事件产生器( e v e n tg e n e r a t o r s ) 、事件分析器( e v e n ta n a l y z e r s ) 、响应单元( r e s p o n s eu n i t s ) 、事件数据库( e v e n td a t a b a s e s ) 四个组件 7 1 。图l - 2 c i d f 模型图c i d f 将入侵检测系统需要分析的数据统称为事件( e v e n t ) ，它可以是基于网络的入侵检测系统中的网络数据包，也可以是基于主机的入侵检测系统从系统日志等其他途径得到的信息。事件产生器的目的是从整个计算环境中获得事件，并向系统的其他部分提供此事件。事件分析器分析得到的数据，并产生分析结果。响应单元则是对分析结果做出反应的功能单元，它可以做出切断连接、改变文件属性等反应，甚至发动对攻击者的反击，也可以只是简单的报替。事件数据库是存放各种中间和最终数据的地方的统称，它可以是复杂的数据库，也可以是简单的文本文件。同时，c i d f 也对各部件之间的信息传递格式、通信方法和标准a p i 进行了标准化。c i d f 标准还没有被正式确立，正在开发和完善之中，有可能成为入侵检测系统的标准。1 9 9 4 年，g e n es p a f f o r d 8 】提出利用自治a g e n t ( a u t o n o m o u sa g e n t s ) 以便提高工i d s的可扩展性、可维护性、效率和容错性。该系统包括三个层次的组件：a g e n t 、转发器和监视器。高层组件可以对底层组件提交的数据进行抽象和综合，从而在更大范围内检测入侵行为。a g e n t 的独立性和自治性为系统提供了良好的扩展能力，但系统配置复杂。目前发展比较成熟的国外商用入侵检测系统主要有：c i s c o 公司的n e t r a n g e r ，i n t r u s i o nd e t e c t i o n 公司的k a n es e c u r i t ym o n i t o r ，n e t w o r ks e c u r i t yw i z a r d s 公第一章绪论司的d r a g o ni d s 等【9 1 。国内产品有中科网威的“天眼”入侵检测系统，启明星辰的s k y b e l l 1 0 】等。从整体上看，国内在入侵检测技术方面的研究和系统开发还只是刚刚起步，虽然己经有一些单化了f 女f i 从事入侵检测产品方面的研究并取得了一定的成果，但总的来讲，还没有达到国外同类技术的水平，也没有自己的核心技术：而且，我国计算机系统及网络以国外产品为主，软硬件系统中难免也存在各种潜在威胁和安全“陷阱”( 诸如操作系统后门、路山器漏洞等) ，利用这些设备建立的网络系统在其安全性方面得不到根本性的保障。因此，迫切需要在入侵检测方面进行进一步研究以提高我国的网络安全保护水平。1 3 入侵检测技术面临的主要问题目前的入侵检测系统主要面临着三大挑战【l 。1 如何提高入侵检测系统的检测速度，以适应网络通信的要求。网络安全设备的处理速度一直是影响网络性能的一大瓶颈，虽然入侵检测系统通常以并联方式接入网络的，但如果其检测速度跟不上网络数据的传输速度，那么检测系统就会漏掉其中的部分数据包，从而导致漏报而影响系统的准确性和有效性。在入侵检测系统中，截获网络的每一个数据包，并分析、匹配其中是否具有某种攻击的特征需要花费大量的时间和系统资源，因此大部分现有的入侵检测系统只有几十兆的检测速度，随着百兆、甚至千兆网络的大量应用，入侵检测系统技术发展的速度己经远远落后于网络速度的发展。2 如何减少入侵检测系统的漏报和误报，提高其安全性和准确度。基于模式匹配分析方法的入侵检测系统将所有入侵行为和手段及其变种表达为一种模式或特征，检测主要判别网络中搜集到的数据特征是否在入侵模式库中出现，因此，面对着每天都有新的攻击方法产生和新漏洞发布，攻击特征库不能及时更新是造成入侵检测系统漏报的一大原因。而基于异常发现的入侵检测系统通过流量统计分析建立系统正常行为的轨迹，当系统运行时的数值超过正常阈值，则认为可能受到攻击，该技术本身就导致了其漏报误报率较高。另外，大多入侵检测系统是基于单包检查的，协议分析得不够，因此无法识别伪装或变形的网络攻击，也造成大量漏报和误报。3 如何提高入侵检测系统的互动性能，从而提高整个系统的安全性能。在大型网络中，网络的不同部分可能使用了多种入侵检测系统，甚至还有防火墙、漏洞扫描等其他类别的安全设备，这些入侵检测系统之间以及入侵检测系统和其他安全组件之间如何交换信息，共同协作来发现攻击、作出响应并阻止攻击是关系整个系统安全性的重要因素。例如，漏洞扫描程序例行的试探攻击就不应该触发入侵检测系统的报警：而利用伪造的源地址进行攻击，就可能联动防火墙关闭服务从而导致拒绝服务，这也是互动系统需要考虑的问题。第一章绪论1 4 本文的内容及主要工作本文在传统分布式入侵检测的基础上提出了一套较完善的入侵检测模型。本文的内容也，f l ：基于多代理机制的入侵检测模型，基于x m l 与o p e n j m s 的代理之间在异构环境下的跨平台通信机制，k - m e a n s 算法与s o m 神经网络相结合在入侵检测中的应用，改进算法的实验性能分析及缺陷分析。本文的其余部分内容组织如下：第二章，提出了基于多代理机制的入侵检测模型的框架，具体阐述了在该模型中，各代理的功能及各代理之间的相互关系。笫二章，主要提出了在该模型中各代理之间的通信方式，包括代理之间如何通信，代理与特征库之间如何通信等，由于该技术使用了基于跨平台技术，使得该模型在异构环境下具有很大的优势。第四章，针对网络数据在进行检测之前的预处理工作做了详细的阐述，包括入侵行为的描述，特征的提取及特征的标准化，特别对k d dc u p 9 9 数据源的特征及特征的标准化做了逐一的描述。第五章，主要针对目前基于异常检测的不足提出了改进的s o m 算法，该算法可以大大提高聚类的准确性，从而提高入侵检测系统的检测率，减低了误报率。并从实验中证实了该算法对大部分入侵进行检测的优势，分析了该算法还存在的缺陷。第六章，最后做出全文的总结，并对未来的研究做出展望。第二章基丁多代理的入侵检测模型第二章基于多代理的入侵检测模型2 1 分布式入侵检测模型概述2 1 1 传统入侵检测系统得局限性传统入侵检测模型大体上可以分为误用入侵检测模型和异常入侵检测模型两种。但传统入侵检测模型存在巨大的局限性。异常入侵检测的主要前提是入侵性活动集作为异常活动的子集。理想的情形是，异常活动集同入侵性活动集是一致的。这样，检测异常活动恰恰正是检测了入侵性活动。结果不会造成误肯定判断和误否定判断。可是，入侵性活动集并不总是与异常活动集相符合。这儿有两种可能性，每种情况发生的概率都不为零。入侵性而非异常：这属于误否定型错误或类型错误。活动具有入侵性却因为不是异常的而导致不能检测到。称之为误否定( f a l s en e g a t i v e s ) ，是由于i d s 错误地少作了入侵报告。非入侵性且异常：这属于误肯定型错误或类型i i 错误。活动不具有入侵性，但因为它是异常的，系统作了入侵报告。称之为误肯定( f a l s ep o s i t i v e s ) ，是由于i d s 错误地作了入侵报告u 引。定义异常的阀值设置偏高，就会导致误否定错误。误否定错误的后果是严重的，它不仅仅是检测不到入侵，而且还会给安全管理员以安全的错觉，这是i d s 的副作用。但定义异常的阀值设置偏低，就会导致难以忍受的误肯定判断，误肯定太多就降低了入侵检测方法的效率，而且会增添安全管理员的负担，这是因为安全管理员必须调查每个被苘定的事件。由于p r o f i l e 需要常常维护和更新，因此异常检测器易于导致计算开销增大。误用入侵检测的主要假设是具有能够被精确地按某种方式编码的攻击。在实践当中，同定的编码可能无法有效地捕获某些独特的入侵。因此这种方法主要的局限性是仅仅可检测已知的弱点，对检测未知的可能入侵用处不大。这种方法的另一个缺点是，不得不考虑实际审计处理。但审计过程中用户级调用读写函数常常和审计跟踪信息不一致( 这是由于读写缓冲区所引起的) ，这样就易于造成误否定判断。而且存储审计信息需要空间，也会对整个系统性能造成潜在的冲击。这种方法也是以事件数据的完整性为前提的。因而不能可靠地检测到掩盖了某些特征的具有欺骗性的攻击。另外，有的破坏方法可能找不出来源，就像w i r e t a p p i n g ，它们不产生可检测的特征，不能够直接地被检测到。对比这两种入侵检测方法，可发现异常检测难于定量分析。这种检测方式有一种固有的不确定性：它可能将合法行为判为不合法，或者会更糟，它可能会认为非法行为正常而允许继续进行。与此不同的是，误用检测会遵循定义好的模式，它们能通过对审计记录信息做模式匹配来检测，但它仅仅可检测己知的弱点。第二章基于多代理的入侵检测模型当然，我们希望系统能把人的模式匹配能力和计算机程序的警觉性结合起来。这样一来，我们就能实时地检测着系统的潜在入侵。如果实际动作所导致的结果是合法的，就不能被假象所迷惑。要做到这点，须依赖于启发式规则一由操作员预先定义好的或者从系统中实时学来的。然而启发式规则不能保证一贯正确，因此另一个目标是减小不正确分类的可能性。2 1 2 已有的分布式入侵检测系统到目前为止，已有一些研究机构对分布式入侵检测进行了有益的研究，也己建立了一些实验性系统。u cd a v i s 的g r i d s n 3 1 在每台主机上运行一个模块，它们向一台固定的机器发送信息，然后在这台机器上建立网络活动的图形描述，用这个描述来检测可能的入侵。n a d i r n 钔系统使用已有的服务节点在l o sa l a m o s 国家实验室的集成计算机网络( i c n )上进行分布式审计数据收集，然后由一个中心专家系统来分析这些数据。c s m n 司用于执行分布式入侵检测，它不需要层次组织和协调中心。每一个c s m 就在它所在的主机进行入侵检测，但可以和其它的c s m 交换信息。这结构也允许c s m 在检测到入侵时采取响应。e m e r a l d n 6 1 提出了入侵检测的分布式结构，在主机上配置服务监视部件进行监视。它们为了减少数据量，使用了层次方式定义了几层监视部件。可以对监视部件编程来执行一些功能。美国普渡大学设计的a a f i d n 刀系统原型也采用了分布式部件进行数据收集，各检测部件是以层次型的管理结构组织的。由以上介绍可知，现有分布式检测系统大多是利用分布式部件进行数据收集，收集到的数据最后被传送到一个处理中心，在处理中心进行统一处理。这种结构使检测系统无法达到实时性。而且由于检测部件依赖于数据收集部件，如果数据收集部件或检测部件出错，都会影响系统的正常运行。为了解决上述问题，我们提出了基于a g e n t 的分布式入侵检测模型，该模型将入侵检测和实时响应分布化，真正实现了分布式检测的思想。并且通过使用一些跨平台的通信技术，可以实现让入侵检测系统称为异构平台的分布式系统。2 2 基于多代理机制的分布式入侵检测模型2 2 1 分布式入侵检测模型的基本框架如今，代理技术在越来越多的分布式系统中被应用，随着分布式技术的发展，代理的所扮演的角色可以说是形形色色，其优势在分布式系统中得到了极大的发挥。代理的定义为：在特定环境中能够连续并自主地工作的软件实体，它随外界条件的改变而灵活、智能地适应环境。实际上，代理就是在主机上能独立完成一定检测功能的软件单元。本文采用多个a g e n t 的方式实现每个入侵检测单元的不同模块，每个a g e n t 既相互第二章基于多代理的入侵检测模型独立又可以相互通信、相互协作代理是静态配置的。在本文描述的入侵检测系统中，a g e n t 分为四类：岗哨代理，分析代理，响应代理及网络代理。这些代理之间的关系及在网络上的分布情况如下图所示。图2 - 1 代理间相互关系图图2 - 2 代理的分布图2 2 与图2 - 1 分别描述了本文所提出的分布式入侵检测系统的总体架构以及各代第二章基于多代理的入侵检测模型理之问的关系。如图2 - 2 所示，岗哨代理，分析代理，响应代理及网络代理均分布在各个子网中的各个主机与网关上，让网络中每个节点都参与对网络的检测与管理，可以大大减小网络中单点失效的几率。下面详细说明各个代理的作用及相互关系。1 岗哨代理：岗哨代理分布于各个子网的各个主机上，包括普通主机和网关，如果它位于普通主机上，则负责监视网关的行为信息，若位于网关上，则负责监视子网内各个主机及邻居子网内网关的行为信息。岗哨代理并不直接产生报警，而是将异常信息上报给分析代理，但岗哨代理还要完成的另一个重要任务就是将收集上来的信息进行过滤与格式化，由于这些主机它们所处的系统环境可能是异构的，所以必须将要呈报的数据进行统一的格式化，再发送给分析代理。2 分析代理：分析代理分布于各个子网的各个主机上，包括普通主机和网关，主要负责接收岗哨代理上报的信息，进行分析，最终将分析结果传到响应代理上。此外分析代理还要将分析结果写入日志。该分析代理采用基于误用检测和基于异常检测的结合，并采用k - m e a n s 和s o m 神经网络相结合的方式( 详细原理请见第五章) ，当发现新的攻击时，会立即更新特征库，并将更新内容以统一的数据格式发送给其他主机。分析代理的检测原理如下图所示：图2 3 分析代理的工作原理岗哨代理将网络数据传递给分析代理，分析代理首先对其进行误用检测，即查看该组网络数据是否与特征库中的特征相匹配( 可采用a cb m 字符串匹配算法) ，若发现匹配则将分析结果送交到响应代理产生报警，若无匹配，则将对网络数据进行异常检测，本文采用k m e a n s 与s o m 相结合的方法进行检测( 详见第五章) ，若出现异常，则更新入侵特征库，并送交响应代理进行处理，若仍无异常情况出现，即判断该网络数据包为正常数据。该分析代理的优点是：( 1 ) 采用误用异常相结合的检测方式可以有效地提高检测率，还可以检测出未知的第二章基于多代理的入侵检测模型入侵模式。( 2 ) 对于已知的入侵特征，该分析代理不必经过异常检测阶段，可以直接采用匹配算法与特征库进行模式匹配，从而在保证检测率的前提下，大大提高了检测时间。3 响应代理：响应代理同样分布于各个子网的各个主机上，包括普通主机和网关，主要负责接收分析代理的分析结果，并产生相应的报警信息，阻止入侵者的入侵，必要时切断该主机与网络的连接。响应代理还需将处理的结果写入日志。4 网络代理：如图所示，网络代理同样分布于各个子网的各个主机上，包括普通主机和网关。网络代理是整个系统体系结构中非常重要的一个模块，对每个节点上独立运行的分布式入侵检测子单元以及整个入侵检测系统的运行起着协调的作用。在每一个节点上都配置网络代理，让每个节点都参与管理，可以将入侵检测系统的管理任务分散开，是适应分布式网络需要的，同时避免了单点失效时造成整个入侵检测系统崩溃。当节点的某一a g e n t 失效时，其网络代理会向邻居节点申请将这一a g e n t 复制一份并移交过来。有新节点加入时，邻居节点将整个系统的子单元完整的复制一份并移入新节点。2 2 2 分布式入侵检测模型的检测机制在一个子网中，由于网关担任着主要的通信任务，所以其安全性相对也重要些，根据这一特点，本系统将网关及其所在子网的普通主机的监测分工按照如下设计：网关负责监视子网内的成员主机，而成员主机负责监视其所在子网内的网关，整个入侵检测系统由每个节点上配置的上述四种代理相互协作地完成任务，每个节点根据其身份( 网关或成员主机) 不同，执行不同的检测任务。为便于表述，作如下符号和定义：i ：子网内任一成员节点。m ：子网内参与通信的成员节点的个数。c ：节点之间的信任度，每一节点都存储着对子网内其他节点的信任度，0 c l 。口：信任度阈值，大小视实际应用中对该网络的安全性要求的高低而定安全级别要求越高，取值就越大，但考虑到入侵检测系统的可用性，一般认为o q 0 5 p ：网关的安全系数，0 p 1 ，其值可以根据经验和仿真实验分析得到m ：被撤消成员节点个数的阈值，超过这个阈值就认为网关是不安全的( m =【m p 】，m ( 0 ，m ) u o ：任意成员主机的c p u 使用率。u i ：成员主机的c p u 使用率的阈值。r ：信任度降低百分率，0 r l ，其值与子网的大小有关t ：阈值，子网中参与正常通信的成员节点最少数目，t = m m 1 网关对子网内成员主机的监视配置在网关节点上的岗哨代理收集整个子网内所有成员节点与网关的通信活动，并将收集到的信息进行数据融合后提交给上层的分析代理，进行下一步的分析检测，如果判断有入侵发生，立即激活响应代理采取相应的响应措施。具体的检测过程如下：配置在网关上的分析代理得到其岗哨代理递交的网络数据后，采用基于误用检测和异常检测相结合的方法，判断子网内成员主机有无异常行为。根据分析代理的分析结果，响应代理第二章基于多代理的入侵检测模型将做出相应的反应，这里是指降低网关对该成员节点i 的信任度c 纠斗，一旦c 胂“ c o ( c o 为某一选定阈值) 的成员节点参与对网关的检测。其次，考虑性能，把参与对网关检测的成员主机的c p u 使用率u i 限定小于某一特定的阈值u o 。综上所述，参与监视网关的成员节点必须满足以下条件：i 册( c 删卅 c o ，u f u o )其中，m 代表子网内的成员节点。只有符合式上式的成员节点才可以参与对网关的监视，并且每一节点都是独立地监视网关的行为如果节点的分析代理判断有异常情况发生，将降低它对网关的信任度c ，同时向它的邻居节点发送一份包含该网关异常情况的质疑报告。节点i 每收到1 份对网关的质疑报告，就将它对网关的信任度降低一定的百分比。如果让c o 代表节点i 对网关的原始信任度，c 1 代表节点i 收到1 份质疑报告后对网关的信任度，c x 表示节点i 收到x ( 2 x 肌) 份质疑报告后对网关的信任度，可以用下述公式表示：g = ( 1 一厂小) gg = ( 1 一) q 一，一) ge = ( 1 一，) q 一，d ) o 一，酬k其中，r 为某一选定的百分率，o r l 。1 2 ( 2 1 )第二章基于多代理的入侵检测模型当时c 纠 口，节点断定网关为恶意节点，并将采取相应的响应措施。这里指节点将产生报警，并拒绝再与网关进行通信。当本地的子网均对同一个网关进行报警时，就要对该网关进行联合检测，当邻居子网中的网关也对其产生报警时，就要暂时断开该网关，剪：向管理员发出警告。下图展示了节点收到了一定数量的质疑报告使得其对网关的信任度降低到口以下时，采取响应措施断开与网关的连接的情形。可疑网关。成员节点报警节点图2 5 节点与可疑网关断开连接3 联合检测及错误恢复机制由于在一个子网中，由于网关的重要性，判断一个网关节点是否遭到入侵并且已经被捕获，只是靠子网内的本地检测是远远不够的，有必要同其他的子网一起进行联合检测。不论是成员节点排除网关节点还是网关节点撤消成员节点，如果最终使得子网中参与通信的成员节点数目小于某一阈值t ( t = m m ) ，此时网关节点的可信程度就值得怀疑了。在这种情形下需要引发对网关节点的进一步检测。进一步的检测包括子网内成员节点对其的检测，以及邻居子网中的网关节点对其进行的检测。如果控制台接收到子网内的成员主机和邻居子网内的网关节点均对同一个网关节点产生报警，则要切断该予网与整个网络的联系，并向管理员发出报警。经过联合检测之后，可能会有两种结果，一种是判定一个网关节点为恶意节点，那么相应机制出了排除这个恶意网关，向管理员报警，重新选择网关，初始化通信参数以外，还有一项重要工作要做，那就是对被恶意网关错误撤销的成员节点的身份进行恢复。这里指允许它们参与正常的网络通信，同时重新初始化各成员节点间的信任度值以重新启动它们的入侵检测单元。第二种情况是联合检测结果证明网关节点是正常节点，那么子网内的恶意成员节点将彻底被排除在网络通信范围之外，同时也要重新初始化各正常节点问的信任度，以保证网络入侵检测系统的正常工作。2 3 本章小结本章描述了基于多代理机制的分布式入侵检测系统的架构，详细阐述了代理的分类：岗哨代理，分析代理，响应代理和网络代理，并阐明各代理的作用及它们之间的相第二章基丁多代理的入侵检测模型互关系。此外，本章还详细说明了本检测系统的检测机制。即根据各节点在网络中所扮演的不同角色，承担不同的检测任务，普通成员节点负责对子网中网关的监测，而网关节点，则负责对该子网内成员节点的监测及邻居子网网关的监测。除了这两种检测机制外，本文还提出了对网关节点要进行联合监测，在检测出网关节点为恶意节点后，还要对被该网关错误判断成恶意节点的成员节点进行身份和功能的恢复，恢复其在网络中的通信，并初始化各个节点的信任度，以保证入侵检测系统的正常工作。第三章分布式入侵检测系统中代理间的通信技术第三章分布式入侵检测系统中代理间的通信技术3 1 代理之间通信机制概述通讯机制是基于代理的分布式入侵检测系统中的重要问题。代理间通过通讯机制能够达到环境与代理、代理与代理之间的协调、交流、合作和竞争的目的，建立有效的通信机制是多代理系统中需要解决的一个关键问题。目前代理通讯领域具有代表性的语言是k q m l 语言，f i p a a c l t l 8 】语言和i d a c l 1 9 】语言。其中k q m l 和f i p a a c l 是通用的多代理通讯语言，具有灵活、通用等特点，但对于入侵检测问题，这两个语言缺乏了相关的描述能力。i d a c l 语言就是在这中情况下被提出。该语言的扩展版本增加了对x m l 的支持，提供了对分布式入侵信息的描述，同时又支持代理之间的协商等机制。a p d i d s 2 0 l 系统采用i d a c l 作为使用的代理通信语l口oa p d i d s 系统中，可能的信息交换可以分成以下几种类型：点对点方式：通讯双方在一定安全机制保证的基础上，信息从一端发送到另一端，是一种简单的一对一方式；广播方式：信息由一个代理发送到其它多个代理上；多点传送方式：信息在按一定协作关系组织在一起的一组代理之间进行传送。a p d i d s 系统包括静止代理、移动代理、入侵追踪目录和执行入侵认定任务的移动代理