（模式识别与智能系统专业论文）网络入侵检测和并行集群计算技术的研究与应用.pdf

网络入侵检测和并行集群计算技术的研究与应用 网络入侵检测和并行集群计算技术的研究与应用 摘要 i n t e r n e t 的发展，为资源的共享与信息的交流提供了高效而便捷 的手段。但是同时越来越多的针对i n t e r n e t 的恶意破坏及攻击，使 得网络安全日益成为人们关注的焦点。入侵检测技术成为应对网络攻 击的重要手段，然而海量的网络数据同设备有限的处理能力形成矛 盾。并行集群计算技术为解决此问题提供了一种非常好的方法。本文 基于网络入侵检测技术和并行集群计算技术提出了一个“集群式网关 型入侵检测系统。 人体免疫系统和网络入侵检测系统具有天然的相似性一一人体免 疫系统保护人体不受病毒的侵害，而网络入侵检测系统帮助网络抵御 各种网络攻击。基于人工免疫原理的入侵检测系统是近年来新兴的研 究热点。但是目前仍处于基础性研究阶段，主要的研究问题集中在系 统的框架结构以及系统的初始化方法上。本文对这两个问题都进行了 深入的探讨。 该论文是对我在研究生期间对入侵检测技术和模式识别技术研究 的总结。论文可分为两大部分，总共五章。第一部分讨论了“集群式 网关型入侵检测系统”的理论基础、提出背景、系统模型设计以及详 细设计解决方案。第二部分讨论了我对基于人体免疫原理的入侵检测 系统的研究。第一章概述，主要介绍了研究背景和论文的主要内容。 第二章“集群式网关型入侵检测系统”的原理和模型。介绍了该系统 的理论背景，包括入侵检测技术，并行计算技术，负载均衡技术的简 介，和整个系统的设计模型。第三章设计与实现。介绍了系统的详细 设计方案、系统扩展以及升级方面的研究。包括“负载均衡器”和“安 全处理机”的具体实现方法，关键问题的解决方案一一自学习算法和 负载均衡算法，扩展插件s p p m y p o r t s c a n 的设计思想和实现方法， 网络入侵检测和并行集群计算技术的研究与应用 以及在系统升级方面所做的研究工作。第四章系统测试与结果。介绍 了系统测试方面所做的工作，测试结果证明了该系统中的负载均衡算 法的效果、系统的处理能力以及系统的安全性能。第五章基于人工免 疫原理的入侵检测系统的研究。介绍了人体免疫原理和遗传算法，以 及在此基础上提出的基于人工免疫原理的入侵检测系统的系统模型 和在系统初始化方面所做的研究工作。从数据的预处理，到检测器与 样本之间匹配函数的选择以及检测器适应度评价都提出了自己的方 法并进行了实验，得出了一些有用的结论为进一步的研究提供了参 考。 关键字 入侵检测负载均衡集群s n o r tk d d人工免 疫遗传算法 网络入侵检测和并行集群计算技术的研究与应用 s t u d ya n da p p l i c a t i o n o fn e t w o r ki n t r u s i o n d e t e c t i o na n dp a r a i ，l e lc l u s t e rc o m p u t a t i o n a b s t r a c t t h ed e v e l o p m e n to fi n t e r a c tp r o d u c e sm o r ea n dm o r eq u i c ka n d c o n v e n i e n tm e t h o d sf o rt h es h a r eo fr e s o u r c e sa n dt h e e x c h a n g e o f i n f o r m a t i o n b u ta tt h es a m et i m e ，m o r ea n dm o r ev i c i o u sa t t a c ka n d d e s t r o yt o i n t e r n e tm a k ep e o p l ec a r em o r ea b o u tt h en e t w o r ks e c u r i t y p r o b l e m n e t w o r k i n t r u s i o nd e t e c t i o n t e c h n o l o g y i sa n i m p o r t a n t s o l u t i o nt ot h ep r o b l e m ，b u tt r e m e n d o u sn e t w o r kd a t ai sf a rb e y o n dt h e p r o c e s sa b i l i t y o fc o m m o nn e t w o r k e q u i p m e n t p a r a l l e l c l u s t e r c o m p u t a t i o nt e c h n o l o g yc a r ls o l v et h ep r o b l e m t h i st h e s i si n t r o d u c e sa “c l u s t e r g a t e w a y i n t r u s i o nd e t e c t i o n s y s t e m ”w h i c h i sb a s e do n n e t w o r ki n t r u s i o nd e t e c t i o na n d p a r a l l e lc l u s t e rc o m p u t a t i o nt e c h n o l o g i e s t h eh u m a ni m m u n e s y s t e m r e s e m b l e st h en e t w o r ki n t r u s i o n s y s t e mn a t u r a l l y - - - t h e h u m a ni m m u n es y s t e mp r o t e c t st h eh u m a nb o d y f r o mv i r u sa n dn e t w o r ki n t r u s i o ns y s t e m h e l pt h en e t w o r k r e s i s tv a r i o u s n e t w o r ka t t a c k s a r t i f i c i a li m m u n e t h e o r y b a s e dn e t w o r ki n t r u s i o n d e t e c t i o ns y s t e mi san o v e lr e s e a r c hf o c u si nr e c e n t y e a r s b u ti ti ss t i l li n t h e p h a s e o fb e n c h m a r k t h ef o c u si so nt h er e s e a r c ho f s y s t e m f r a m e w o r ka n dh o wt oi n i t i a l i z et h es y s t e m t h i st h e s i sd i s c u s s e sm y r e s e a r c hw o r kf o rt h et w o p r o b l e m t h i st h e s i si sa b o u t m yr e s e a r c h w o r ki nt h ef i e l do fn e t w o r k i n t r u s i o nd e t e c t i o na n dp a t t e r nr e c o g n i t i o nd u r i n gm yt w oy e a r ss t u d y t o w a r d sm a s t e r sd e g r e e t h et h e s i sc o n s i s t so ft w o p a r t s p a r tii sa b o u t t h et h e o r yf u n d a m e n t a l s ，b a c k g r o u n d ，s y s t e m a t i cf r a m e w o r ka n d d e t a i l e d 网络入侵检测和并行集群计算技术的研究与应用 s o l u t i o no ft h e “c l u s t e rg a t e w a yi n t r u s i o nd e t e c t i o ns y s t e m ”p a r ti i i s a b o u tm yr e s e a r c hi na r t i f i c i a li m m u n et h e o r yb a s e dn e t w o r ki n t r u s i o n d e t e c t i o ns y s t e m c h a p t e r1 ，o v e r v i e w , b r i e f l yi n t r o d u c e st h eb a c k g r o u n d a n dc o n t e n to ft h i sp a p e r c h a p t e r2 ，t h e o r yf u n d a m e n t a l sa n ds y s t e m a t i c f r a m e w o r ko ft h e “c l u s t e r g a t e w a y i n t r u s i o nd e t e c t i o n s y s t e m ” i n t r o d u c t i o nt ot h e t h e o r yb a c k g r o u n d ，i n c l u d i n g i n t r u s i o n d e t e c t i o n ， p a r a l l e lc o m p u t a t i o na n dl o a db a l a n c et e c h n o l o g i e s ，a n dt h es y s t e m a t i c f r a m e w o r k c h a p t e r3 ，d e s i g n a n d i m p l e m e n t a t i o n ，f o c u s e s o nt h e r e s e a r c ha b o u td e t a i l e ds o l u t i o n ，i n c l u d i n gt h ed e s i g no f “l o a db a l a n c e s e r v e r ”a n d s e c u r i t yp r o c e s ss e r v e r ”，t h ek e ya l g o r i t h m - - s e l f - t e a c h i n g a l g o r i t h m a n dl o a db a l a n c e a l g o r i t h m a n dt h ei n t r o d u c t i o nt ot h e p r e p r o c e s s o rp l u g i n “s p p _ m y p o r t s c a n ”a n d t h er e s e a r c hi nh o wt o u p g r a d et h es y s t e m c h a p t e r4 ，t e s t sa n de v a l u a t i o n ，i n t r o d u c t i o nt ot h e t e s t sa b o u tt h r e e a s p e c t s ：p e r f o r m a n c eo ft h e l o a db a l a n c e a l g o r i t h m ， p r o c e s sa b i l i t ya n ds e c u r i t ya b i l i t yo f t h es y s t e m c h a p t e r5 ，r e s e a r c hi n a r t i f i c i a li m m u n e t h e o r yb a s e dn e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m ，b a s e d o ni m m u n et h e o r ya n dg e n e t i ca l g o r i t h m ，a na r t i f i c i a li m m u n et h e o r y b a s e dn e t w o r ki n t r u s i o nd e t e c t i o ns y s t e mi sd i s c u s s e d ，a n das y s t e m a t i c f r a m e w o r ki s p r o p o s e d s i m u l a t i o na b o u th o w t oi n i t i a l i z et h es y s t e mi s p e r f o r m e da n d t h ed i s c u s s i o na b o u tt h er e s u l ti sg i v e n w e p r o p o s em a n y n o v e li d e a sa b o u td a t ap r e p r o c e s s ，m a t c hf i m c t i o nw h i c hi s i m p o r t a n t t o d e t e r m i n ew h e t h e rt h ed e t e c t o rm a t c h e st h es a m p l ea n dt h ee v a l u a t i o no f t h ed e t e c t o r s f i t n e s s ，s o m eu s e f u lc o n c l u s i o nc a nb er e f e r e n c ef o rt h e f o l l o w i n g r e s e a r c hw o r k k e yw o r d s n e t w o r k i n t r u s i o nd e t e c t i o nl o a db a l a n c e s n o r t k d dc l u s t e rs y s t e m a r t i f i c i a li m m u n eg e n e t i c a l g o r i t h m 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢 中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的 研究成果，也不包含为获得北京邮电大学或其他教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责 任。 。j 本人签名： 望e 型翌日期：逊生：3 ：f 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位 论文的规定，即：研究生在校攻读学位期间论文工作的知识产权 单位属北京邮电大学。学校有权保留并向国家有关部门或机构送 交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以 公布学位论文的全部或部分内容，可以允许采用影印、缩印或其 它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵 守此规定) 保密论文注释：本学位论文属于保密在年解密后适用本授 权书。非保密论文注释：本学位论文不属于保密范围，适用本授 权书。 本人签名： 导师签名： 日期：泌垒= j ! i 日期：矽州扣 网络入侵检测和并行集群计算技术的研究与应用 1 1 背景 第一章概述 1 1 1 集群式网关型入侵检测系统的研究背景 i n t e m e t 的普及，为资源的共享与信息的交流提供了高效而便捷的手段。但 是同时越来越多的针对i n t e m e t 的恶意破坏及攻击，使得网络安全日益成为人们 关注的焦点。为了弥补传统的网络安全技术的不足，i d s ( 入侵检测系统) 已经 成为计算机信息系统安全保护的第二道屏障。入侵检测技术是为保证计算机系统 的安全而设计与配置的一种能够及时发现并报告系统中未授权或异常现象的技 术，是一种用于检测计算机网络中违反安全策略行为的技术。“入侵”( i n t r u s i o n ) 是个广义的概念，不仅包括发起攻击的人( 如恶意的黑客) 取得超出合法范围的 系统控制权，也包括收集漏洞信息，造成拒绝访问( d o s ) 等对计算机系统造成 危害的行为。i d s 能够识别出任何不希望有的活动，这种活动可能来自于网络外 部和内部。入侵检测系统的应用，能使在入侵攻击对系统发生危害前，检测到入 侵攻击，并利用报警与防护系统驱逐入侵攻击。在入侵攻击过程中能减少入侵 攻击所造成的损失。在被入侵攻击后，收集入侵攻击的相关信息，作为防范系统 的知识，添加入知识库内，以增强系统的防范能力。 集群计算是并行处理的一种。集群是一种并行或分布式处理系统，它可以由 很多连接在一起的独立的计算机组成，像一个单独集成的计算资源一样协同工 作。一个集群一般是指连接在一起的两个或多个计算机( 节点) 。节点可以是在 一起的，也可以是物理上分散而通过l a n 连接在一起的。一个连接在一起( l a n 基础上) 的计算机集群对于用户和应用程序来说像一个单一的系统。这样的系统 可以提供一种价格合理的并可获得所需性能和优势( 快速而可靠的服务) 的解决 方法，而不需要昂贵的专用系统。总得来说，集群是一群以网络技术连接起来的 工作站或p c 机的组合。为了进行并行计算。集群一般由以高速网络连接起来的 高性能的工作站或p c 机组成。集群在工作中像一个统一的整合资源，所有节点 使用单一界蕊。 随着内网拓扑的复杂化、网络带宽的增加，安全设备的功能多样性和设备自 1 网络入侵检测和并行集群计算技术的研究与应用 身的处理能力形成矛盾，因而出现了硬件防火墙来解决处理能力的问题，随之而 来的是系统开发成本上升，难度加大，日益增加的网络数据同设备有限的处理能 力之间的矛盾越来越突出。为此，我们将入侵检测技术和并行集群计算技术相结 合，提出了一个采用了集群计算处理思想的入侵检测系统一一集群式网关型入侵 检测系统。 集群式网关型入侵检测系统是一个典型的集群计算机系统，它由若干台计算 机组成，连接两个网络，对穿梭于两个网络之间的数据包进行入侵检测，主要是 针对由外网到内网的数据包，从而达到保护内网的目的。它主要有两大部件：“负 载均衡器”和“安全处理机”。其中“负载均衡器”为一台计算机，它主要有以 下功能：1 、连接两端网络。这是最基本也是必不可少的功能，或者说，“负载均 衡器”首先! 必须具备能够充当网络连接设备角色的功能。2 、“负载均衡器”对 于两端的网络来说应该是透明的，并且能够在网络中安装后经过简单配置就可使 用，基本上能够“即插即用”。3 、“负载均衡器”要具有负载均衡的功能。它能 够把网络流量分摊到“安全处理机”集群上，采用有效的负载调度算法。4 、与 “安全处理机”的通信。“安全处理机”部分是由若干台计算机组成的处理机集 群，“安全处理机”负责分析数据包，行使入侵检测的功能。“安全处理机”的数 量可以根据具体应用环境确定，而且“安全处理机”的增加和删除简单易行。 1 1 2 基于人工免疫原理的入侵检测系统的研究背景 在完成集群网关系统之后，我们已经对入侵检测技术有了深入的了解，在此 基础上我们又对入侵检测技术做了进一步的研究。基于人体免疫原理的入侵检测 技术是新兴的研究热点，目前仍处于起步阶段，我们对该技术进行了深入的探讨， 提出了一个系统模型，并对系统的初始化算法进行了研究和实验。 目前已有的入侵检测系统一- - i d s 根据其输入数据来源可分为两类：基于主 机的i d s 和基于网络的i d s 。他们远远没有解决所遇到的问题，其局限性主要在 以下几个方面：1 ，分布性差：由于中央数据分析器是唯一的错误分析处，因此 存在单点失效，即如果一个入侵者以某种方式阻止了它的运行，则将使整个入侵 检测系统瘫痪。2 ，鲁棒性差：i d s 组件一般都是唯一的，当某种组件遭到破坏 时，将直接影响i d s 的功能。3 ，适应性差：大多数已有的i d s 采用的技术是将 网络入侵检测和并行集群计算技术的研究与应用 已知入侵的特征抽取成入侵模式，检测时进行模式匹配，这对于那些新出现的入 侵行为无法检测。 入侵检测系统与人体免疫系统存在许多相似之处。首先，人体免疫系统 保护着人体不受外部有害细胞的入侵，整个人体免疫系统的功能是由大量的不同 种类的细胞而不是由某个特定的人体器官来完成的。在这些细胞中，淋巴细胞起 着最关键的作用。人体免疫系统的主要机制就是要区分那些属于人体自身的“自 己”细胞和外来的有害细胞也即“异己”细胞，保护个体( “自己”) 不受故意微 生物( “异己”) 的侵害，而入侵检测系统是为了保护一台或一组计算机不受入侵 者的入侵。其次，人体免疫原理具有分布式，自组织以及轻量级的特性。人体免 疫系统是分布式的，是通过大量的不同种类的细胞的相互作用来实现的，而不是 使用_ 个中央的协调者，它产生大量的抗体来检测不同的抗原，通过基因库自然 选择和克隆选择的进化机制保持了许多不同的抗体集；人体免疫系统是自组织 的，整个免疫系统包括三个进化阶段：基因库进化、阴性选择和克隆选择。这三 个阶段都是自组织的而不是在一个中央器官或者预知信息的指导下进行的；人体 免疫系统是轻量级的，近似绑定、记忆细胞和基因表达决定了人体免疫系统中的 抗体具有能够与多种抗原相结合、在抗原再次出现时能够快速反应以及能够不断 进化从而能够对新的未知的抗原相结合的良好特性。人体免疫系统的这些特性与 对一个入侵检测系统的要求不谋而合，因此将人体免疫系统的原理、算法和体系 结构用于计算机安全成为当前的一个研究热点。 目前对基于人工免疫原理的入侵检测系统的研究，还处于起步阶段，主要的 工作是在系统模型的建立以及系统初始化方面的工作。提出了些系统模型，对 于系统中的关键问题，如何建立抗体与抗原之间的匹配模型和算法的研究提出了 一些思想，但是大部分停留在理论研究阶段。 1 2 论文的主要内容 该论文是我在研究生期间对入侵检测技术研究的总结。首先，针对当前网络 的飞速发展，网络流量的不断增长，一般入侵检测系统的处理能力和巨大的网络 流量之间的矛盾，我们将并行计算技术，也就是负载均衡技术与入侵检测技术相 结合，提出了一个集群式网关型入侵检测系统。此系统的研究和开发，使我对入 网络入侵检测和并行集群计算技术的研究与应用 侵检测技术有了更加深入的理解。在完成此系统之后，我对基于人体免疫原理的 入侵检测系统进行了研究。提出了一个该系统的模型，并研究了如何建立该系统。 主要将研究重点放在了系统初始化的问题之上。通过实验得出了一些结论可供下 一步的研究。 我们提出的集群式网关型入侵检测系统。主要是考虑到当前网络的飞速发展 导致碍处理的网络数据的爆炸式增长，而入侵检测系统的处理能力成为网络安全 的瓶颈。面对不断增长的数据量，必须进行系统的升级。如果采用硬件升级的方 法，不仅价格昂贵而且原有的设备也会由于被淘汰而浪费，而新升级的系统仍然 、乏进一步升级的灵活性。在这样的背景下，我们提出的集群式网关型入侵检测 糸统，采用了并行计算的思想，利用负载均衡技术，构造了一个入侵检测集群系 统。；麦系统利用处于网关位置的入侵检测系统本身进行入侵检测时所具有的并行 性，设计了不同的组件并行处理，协同工作来完成整个任务。我们完成了从系统 的建模，到研究解决方案、编码、测试以及进一步研究的所有工作。目前该系统 己能正常运行。系统的进一步升级工作仍未停止。 我们将该系统设计为两大功能组件：“负载均衡器”和“安全处理机”。简单 地说，“负载均衡器”的功能是连接两端网络，进行负载分配，以及处理和“安 全处理机”的通信；“安全处理机”的功能是进行入侵检测，拦截入侵数据包。 “负载均衡器”的主要功能首先是连接两端网络。在这一功能的设计上，我们考 虑到系统的易用性，将整个系统设计为“即插即用”型，就是说将该系统连接到 网络中后几乎不需要用户做任何的配置就能使用。我们设计了自主学习算法，让 该系统被安装之后，能够自主的学习网络两端的主机分布位置。该系统的第二个 主要功能就是要能够完成负载均衡。当“负载均衡器”收到来自内部网卡或外部 网卡的数据包时必须将它转发到安全处理集群，我们实现了一个基于“安全处理 机”载量平衡的按口地址族分发数据包的算法。该算法使任一个“安全处理机” 不过载，但是不一定要求所有的“安全处理机”时刻处于载量上的数值相等，只 要不出现过载即可，属于同一业务连接的数据将被分流到同一安全处理机上，否 则将要求多台处理机间进行安全信息的交互和共享使问题复杂化。我们根据i p 数据包所含的i p 地址信息，设计了负载均衡算法，能够动态的调整各个“安全 处理机”上的负载，避免过载现象的发生? 同时提高系统处理能力。“安全处理 网络入侵检测和并行集群计算技术的研究与应用 材r 嗣切鸵是迸仃入侵检测。我们的解决方案是以开源软件s n o r t 为基础，进行 一定的修改，使得它能够和“负载均衡器”进行交互，达到与“负载均衡器”联 动的效果。s n o r t 是一个强大的轻量级的网络入侵检测系统。它具有实时数据流 量分析和日志i p 网络数据包的能力，能够进行协议分析，对内容进行搜索和匹 配。它能够检测各种不同的攻击方式，对攻击进行实时报警。此外，s n o r t 具有 很好的扩展性和可移植性。我们的主要工作首先是对s n o r t 的源代码进行分析， 然后根据我们的需求设计合适的修改方案，对它进行必要的修改。另外，s n o r t 本身的入侵检测功能并不完美，经过实验我们发现它对一些分布式d o s 攻击无 法检测。所以我们又进一步分析了s n o r t 的插件动态加载机制，然后自己编写了 应对分布式d o s 攻击和端口扫描的插件s p pm y p o r t s c a n 。扩展了s n o r t 的插件， 弥补了系统功能的不足。 在完成此系统之后，我对入侵检测技术有了更加深入的理解。结合所学人工 智能和模式识别专业，我进一步研究了以人体免疫原理为基础的入侵检测系统。 经过深入的研究，提出了一个基于人体免疫原理入侵检测系统的系统模型。在研 究系统如何实现的问题时，我们重点研究了系统的初始化问题。这是建立整个系 统的最开始也是最关键同时也是最难的问题。我们采用了m i t 林肯实验室提供 的入侵检测样本，研究了建立初始检测器集合的算法。我们采用了遗传算法来产 生初始检测器集合，从数据的预处理，到检测器与样本之间匹配函数的选择以及 检测器适应度评价都提出了自己的方法并进行了实验。我们的目标是根据已有的 数据样本建立一个初始的检测器集合，使得该集合学习到我们已知的正常网络和 遭受入侵时各自的模式。基于人体免疫原理的入侵检测系统，是一个近年来兴起 的热点，其优点是利用了网络入侵检测和人体免疫系统之间的相似性，具有类似 人体免疫系统的特性，但基本处于基础理论研究和系统框架研究阶段。少数科研 工作者对系统初始化方面的研究在试验时采用的也都不是真实的网络数据，而且 样本数也都比较小，一般在几百左右。而我们所做的试验，在进一步研究算法的 基础上，考察了在试验真实的网络入侵数据，而且样本数相对比较大的时候的效 果，主要研究了算法中若干关键参数对系统性能的影响。虽然整个系统暂时并没 有达到满意的效果，还有很多需要改进的地方，但我们的工作为进一步的深入研 究提供了参考和基础。 网络入侵检测和并行集群计算技术的研究与应用 论文可分为两大部分，总共五章。第一部分讨论了集群式网关型入侵检测系 统的理论基础、提出背景、系统模型设计以及详细设计解决方案。第二部分讨论 了我对基于人体免疫原理的入侵检测系统的研究。第一章概述，主要介绍了研究 背景和论文的主要内容。第二章集群式网关型入侵检测系统的原理和模型。介绍 了该系统的理论背景，包括入侵检测技术，并行计算技术，负载均衡技术的简介， 和整个系统的设计模型。第三章设计与实现。介绍了系统的详细设计方案、系统 扩展以及升级方面的研究。包括“负载均衡器”和“安全处理机”的具体实现方 法，扩展插件s p p 的设计思想和实现方法，以及在系统升级方面所做_myportscan 的研究工作。第四章测试与结果。介绍了系统测试方面所傲的工作，测试结果证 明了该系统的性能。第五章基于人体免疫原理的入侵检测系统的研究。介绍了人 体免疫原理和遗传算法，以及在此基础上提出的基于人体免疫原理的入侵检测系 统的系统模型和在系统初始化方面所做的研究工作。 第二章集群式网关型入侵检测系统一一原理与模型 2 1 系统原理 21 1 入侵检测技术简介 2 1 1 1 入侵检测的定义 i n t e m e t 的普及，为资源的共享与信息的交流提供了高效而便捷的手段。但 是同时越来越多的针对i n t e r a c t 的恶意破坏及攻击，使得网络安全日益成为人们 关注的焦点。为了弥补传统的网络安全技术的不足，i d s ( 入侵检测系统) 已经 成为计算机信息系统安全保护的第二道屏障。而作为i d s 关键技术的入侵检测 技术，则是研究的热点。 入侵检测技术是为保证计算机系统的安全而设计与配置的一种能够及时发 现并报告系统中未授权或异常现象的技术，是一种用于检测计算机网络中违反安 网络入侵检测和并行集群计算技术的研究与应用 全策略行为的技术。“八侵”( i n t r u s i o n ) 是个广义的概念不仅包括发起攻击的 人( 如恶意的黑客) 取得超出合法范围的系统控制权，也包括收集漏洞信息，造 成拒绝访问( d o s ) 等对计算机系统造成危害的行为。i d s 能够识别出任何不希 望有的活动，这种活动可能来自于网络外部和内部。入侵检测系统的应用，能使 在入侵攻击对系统发生危害前，检测到入侵攻击，并利用报警与防护系统驱逐入 侵攻击。在入侵攻击过程中，能减少入侵攻击所造成的损失。在被入侵攻击后， 收集入侵攻击的相关信息，作为防范系统的知识，添加入知识库内，以增强系统 的防范能力。 d e n n y i n g 于1 9 8 7 年提出了一个通用的入侵检测模型( 如图2 1 所示) 。 d e n n i n g 定义的模型独立于任何特殊的系统、应用环境、系统脆弱性或入侵 种类，因此提供了一个通用的入侵检测专家系统框架，简称i d e s 模型。 添 2 1 1 2 入侵检测的分类 图2 1 通用入侵检测系统模型 入侵检测系统有很多种分类方法，其中主要有以下三种分类方法： 异常检测和误用检测： 传统的观点根据入侵行为的属性将其分为异常和误用两种，然后分别对其建 立异常检测模型和误用检测模型。 异常检测；异常检测指得是根据非正常行为( 系统或用户) 和使用计算机资 网络入侵检测和并行集群计算技术的研究与应用 源非正常情况检测出入侵行为。例如，如果用户x 仅仅是在早上9 点钟到下午5 点钟之间在办公室使用计算机，则用户x 在晚上的活动是异常的，就有可能是 入侵。异常入侵检测的主要前提是入侵性活动作为异常活动的子集。考虑这种情 况，若外部人闯入计算机系统，尽管没有危及用户资源使用的倾向和企图，可是 这存在一种入侵的可能性，还是将他的行为当作异常处理。这样做似乎合情合理。 但是入侵性活动常常是由单个活动组台起来执行，单个活动却与异常性独立无 关。理想的情形是，异常活动集同入侵性活动集是一样的。这样，识别所有的异 常活动恰恰正是识别了所有的入侵性活动，结果就不会造成错误的判断。可是， 入侵性活动并不总是与异常活动相符合。这里存在四种可能性，每种情况的概率 都不为零。( 1 ) 入侵性而非异常；( 2 ) 非入侵性且是异常的；( 3 ) 非入侵性而非异常； ( 4 ) 入侵目异常。可见，前面两种情况会造成漏检或虚警。 误用检测：误用入侵检测是指根据已知的入侵模式来检测入侵。入侵者常常 利用系统和应用软件中的弱点攻击，而这些弱点易编成某种模式，如果入侵者攻 击方式恰好匹配上检测系统中的模式库，则入侵者即被检测到。显然，误用检测 依赖于模式库，如果没有构造好模式库，则i d s 就不能检测入侵者。例如，i n t e m e t 蠕虫攻击( w o r ma t t a c k ) 使用了f i n g e r e d 和s e n d m a i l 错误，可以使用误用检测。 与异常入侵检测相反，误用入侵检测能直接检测不利的或不可接受的行为，而异 常入侵检测是发现同正常行为相违背的行为。误用入侵检测的主要假设是具有能 够被精确地按某种方式编码的攻击。通过捕获攻击及重新整理，可确认入侵活动 是基于同一弱点进行攻击的入侵方法的变种。从理论上讲，以某种编码能够有效 地捕获独特的入侵不是都有可能。某些模式的估算具有国有的不准确性，这样造 成i d s 的漏检和虚警。误用入侵检测主要的局限性是仅仅可检测已知的弱点， 对检测未知的入侵可能用处不大。 基于主机的入侵检测和基于网络的入侵检测： 根据系统所检测的对象可以分为基于主机的和基于网络的两种入侵检测。 基于主机的入侵检测系统( i - l i d s ) ：通过监视与分析主机的审计记录检测入 侵。往往以系统日志、应用程序日志等作为数据源，也可以通过其他手段从所在 的主机收集信息进行分析。能否及时采集到审计是这些系统的弱点之一，入侵者 会将主机审计子系统作为攻击目标以避开入侵检测系统。 网络入侵检测和并行集群计算技术的研究与应用 - k c - - 于j n 络的人侵检测系统( n i d s ) ：基于网络的入侵检测系统通过在共享网 段上对通信数据的侦听采集数据，分析可疑现象。这类系统的数据源则是网络上 的数据包，不需要主机提供严格的审计，对主机资源消耗少，并可以提供对网络 通用的保护而无需顾及异构主机的不同架构。 在线检测系统和离线检测系统： 根据系统工作方式的不同可分为连线检测系统和离线检测系统。 在线检测系统：在线检测系统是实时联机的检测系统，它包含对实时网络数 据包分析，实时主机审计分析。 离线检测系统：离线检测系统是非实时工作的系统，它在事后分析审计事件， 从中检查入侵活动。 21 2 并行集群计算简介 2 1 2 1 并行集群计算= 白勺定义 在2 0 世纪8 0 年代，人们认为计算机性能的提高主要是由于生产出了更快更 有效的处理器。这种观点受到了并行处理概念的挑战。其实，g e n e a m d a h l 早在 2 0 世纪6 0 年代就提出了并行处理的益处。如果我们检查某一计算中各处理步骤 之间的相互关系，会发现一些步骤必须按照严格的顺序执行，一个步骤的结果满 足另一个步骤的需求。而其他一些步骤则不同，他们之间的操作是独立的，并且 可以并行执行，这也就是处理中固有的并行度。并行执行步骤的好处是缩短处理 完成的时间，代价是需要额外的资源，还有安排这些并行执行所需的时间。o e n e a m d a h l 指出了并行处理器执行应用所花费的总时间：发生并行操作的部分就可 能节约时间，而节约的时间会与固有并行度成比例，再减去管理并行处理的开销。 这个概念后来被成为a m d a h l 法则。 集群计算是并行处理的一种。集群是一种并行或分布式处理系统，由很多连 接在一起的独立的计算机组成，像一个单独集成的计算资源一样协同工作。计算 机节点可以是一个单处理器或多处理器的系统( p c 、- i - 作站或s m p ) ，拥有内存、 i 0 设备和操作系统。一个集群一般是指连接在一起的两个或多个计算机( 节点) 。 节最是可以在一起，巴可以是物理分散而通过ij a n 连接在一起的一个连 接在一起( l a n 基础上) 的计算机集群对于用户和应用程序来说像一个单一的 1 1 网络入侵检测和并行集群计算技术的研究与应用 系统。这样的系统可以提供一种价格合理的并可获得所需性能和优势( 快速而可 靠的服务) 的解决方法，而不需要昂贵的专用系统。总得来说，集群是一群以网 络技术连接起来的工作站或p c 机的组合。为了进行并行计算，集群一般由以高 速网络连接起来的高性能的工作站或p c 机组成。集群在工作中像一个统一的整 合资源，所有节点使用单一界面。 2 1 ，22 重要组件及特点 典型的集群系统包括以下重要部件： 多个高性能计算机 优秀的操作系统 高性能网络和网络接口卡 快速通信协议和服务 集群中间件( 单一映像系统s s i 和系统可用性基础) 网络接口硬件担当着通信处理器的任务，负责在节点间通过网络传送和接受 数据包；通信软件提供了快速而可靠的节点间以及与外界数据通信的手段。集群 各节点可以像集成的计算资源一样共同工作，或者说集群各节点像一台计算机一 样工作。集群中间件负责为独立但互联的计算机对外提供同一的系统映像和易用 性。 在相对较低费用下，集群系统具有一下特点： 高性能 可扩展性 高吞吐量 易用性 v ，容错性 集群技术使用户可以以较低的成本获得较高的计算机处理能力，例如，从 1 9 9 4 年开始的n a s a 的b c o w u l f 计划，它使用1 6 个节点的超级计算机，有高端 p c 组成并专r t 设计t t 信方式，价格是同等能力的单一计算机的十分之一。集 群系统还具有良好的可扩展性，对于用户来说在即可保留现有投资又不用增加过 多投入的情况下就可以使他们的系统提高计算能力。同时，集群计算的另一个好 网络入侵检测和并行集群计算技术的研究与应用 处使集群故障恢复能力，也即容错性。 21 3 负载平衡 在个集群系统中，如何将系统的计算负载分配到多个处理机中，使得每个 处理机上分配的任务量与它的性能相称是一个关键问题，也即负载平衡问题。负 载平衡算法可分为静态和动态两种。静态负载平衡是在系统编译时决定的。尽管 静态调度防止了运行时所产生的额外开销，然而处理机的负载一般来讲是不断变 化的，静态调度并不能够保证处理机始终工作在正常负载之下。所以，采用动态 负载均衡一一在运行时进行就更合适一些。动态负载均衡是在系统运行时，根据 处理机的性能来分配与其相称的任务。 存实际的系统中? 通常会有一个“负载均衡代理”对分配在处理机上的计算 量进行调度。通常整个过程要经历三个阶段：负载的计算，转移和放置。在第一 个阶段，“负载均衡代理”收集各个处理机的负载信息，然后根据估计执行时间、 通信时间和额外开销等计算结果，决定是否进行转移。如果需要转移，那么接下 来的任务就是确定转移的目的处理机。在负载的计算阶段，由于是在运行时完成 的，所以不可能对负载有一个精确的估计。而在负载转移的时候，结合具体情况 还需考虑一个正在执行的任务是否应该被挂起并被迁移到另外一个处理机上，然 后在此处理机上继续执行。 2 2 集群式网关型入侵检测系统模型 随着i n t e m e t 的迅猛发展，网络的拓扑结构越来越复杂，网络的带宽也逐步 增长，随之而来的是网络安全闯题的日益突出，以及网络流量的迅速膨胀。在此 情况下，入侵检测系统所需要处理的海量数据和设各自身有限的处理能力成为矛 盾，而如果单纯的采用提高单个系统的处理能力来解决问题，那么不仅成本会急 速升高，而且原有的设备也被浪费，新使用的系统仍然升级困难，不够灵活。在 这种情况下，结合入侵检测技术和并行计算技术，以及具体的网络应用环境，本 文提出了个应用系统一一集群式网关型入侵检测系统。 网络入侵检测和并行集群计算技术的研究与应用 2 2 1 系筑梗型 整个系统是一个可以并行处理的入侵检测系统。其基本模型如下 外部网 图2 2 桑群式网关型入侵检测系统模型图 如图2 2 所示，该系统是一个典型的集群计算机系统。图中的“负载均衡 器”不仅连接了两个不同的网络，而且扮演了“负载均衡代理”的角色，由他来 负责处理任务的分配。而“安全处理机”则是整个集群系统的处理器部分，负责 具体的事务处理任务。 下面针对具体应用环境对该系统进行简单阐述。本系统由若干台计算机组成 ( 其中“负载均衡器”和“安全处理机”均为一台计算机) ，连接两个网络，对 穿援于两个网络之间的数据包进行入侵检测，主要是针对由外网到内网的数据 包，从而达到保护内网的目的。系统中“负载均衡器”和“安全处理机”之间用 l o o m b p s 以太网互连，均运行l i n u x 操作系统。“负载均衡器”负责内外网之间 ( 注：所谓内网与外网都只具有相对意义) 数据包的路由以及行使负载均衡控制 中心的功能。“安全处理机”负责分析数据包，行使入侵检测的功能。“安全处理 机”的数量可以根据具体应用环境确定，而且“安全处理机”的增加和删除简单 易行。现在考察一个从内网发向外网的数据包：首先由“负载均衡器”的内网网 卡收到，发现该数据包的路由是：内- 外，利用负载均衡算法将该数据包路由 到某一台“安全处理机”，不妨设为0 号机，“安全处理机”判断该数据包是否安 全，若不安全则丢弃，否则将之回传到“负载均衡器”，该数据包被“负载均衡 器”转发到外网。 网络入侵检测和并行集群计算技术的研究与应用 2 2 2 总体设计方案 内部网络与外部网络进行数据通信时，必须经过集群处理安全网关。无论是 从哪一方传来的数据，首先经过“负载均衡器”均衡器进行载量均衡，将数据帧 通过m 封装后，发送到通过均衡算法选择的某一台“安全处理机”上。 “安全处理机”接收的转发来的数据帧，通过进行入侵检测。如果产生告警， 说明数据包育入侵行为，“安全处理机”直接将包丢弃。如果没有告警，说明该 数据包安全，再将该包转发到“负载均衡器”上，由“负载均衡器”再将包发往 目的网络。 由此可见，“负载均衡器”的功能可