（计算机应用技术专业论文）高速网络入侵检测负载均衡算法研究.pdf

太原理一人学硕十研究生学位论文 高速网络入侵检测负载均衡算法研究 摘要 入侵检测是用来检测和识别对计算机系统和网络系统，或者更广泛意 义上的信息系统的非法攻击，或者违反安全策略事件的过程。它从计算 机系统或网络环境中采集数据，分析数据，发现可疑攻击行为或异常事 件，并采取一定的响应措施拦截攻击行为，降低可能的损失。入侵检测 技术随着人们的不断研究从理论上和技术上都取得了一定的成果。但是， 在总体迅速发展的背景下，核心技术和创新能力的发展并不乐观。尤其 是随着高速局域网和光纤通信等新技术的应用，可以提供千兆带宽的高 速网络，而传统的基于网络的入侵检测系统n i d s 仅能工作在几百兆的环 境中，因此高速网络环境下的入侵检测系统是目前研究的重点和难点。 目前在高速网络环境下的入侵检测系统模型大多采用负载均衡机 制，其基本思想是将截获的大流量分割成几部分，每一部分由一个检测 器进行检测，检测的结果提交给分析主机进行分析报警。但在入侵检测 系统中的负载均衡算法有其特殊性，该算法必须运算效率高而且均衡效 果，因此有必要对负载均衡算法进行研究。 本文介绍了目前高速网络环境下的入侵检测系统的研究概况，对采 用负载均衡机制的检测模型和关键技术即数据捕获技术、负载均衡技术 和数据分析技术进行了讨论；对负载均衡的一些相关技术进行了介绍， i 太原理工大学硕士研究生学位论文 如负载均衡的分类和策略，并对现有的负载均衡算法进行了比较；设计 了基于异或和取模运算的动态负反馈负载均衡算法，并对哈希函数的输 入值进行了讨论，这也是本文的工作重点。目前对哈希函数的有效性和 动态负载均衡算法的设计有相关论述，但对如何设置哈希函数的输入值 都没有深入讨论，然而输入值的选取决定分流结果，如果选取得当将减 少负载迁移，提高系统检测效率和效果。本文引入信息熵理论对哈希函 数的输入值进行了随机度测试，异或运算可以提高运算结果的随机性， 通过多次实验，结果表明增加异或字段和把字段划分成几部分后交叉异 或运算会提高运算结果的随机测度值，减少负载迁移次数而且运算效率 与c r c1 6 运算接近。另外标识字段有极高的位熵值，函数输入值中能加 入此值，负载均衡效果更好。因此本文提出采用源i p 地址、目的i p 地址、 源端口、目的端1 3 、标识字段五个字段作为输入值，并且把每个字段都 划分为8 位的比特串( 共1 4 个) 进行异或运算，然后再把结果进行取模 运算的双哈希算法。 总之，本文在分析采用负载均衡机制的高速网络入侵检测系统模型 的基础上，设计了动态负反馈负载均衡算法，引入信息熵理论，对哈希 函数的输入值进行随机度测试，证明了增加异或字段个数和把字段划分 成几部分后交叉异或运算会提高运算结果的随机测度值。采用源i p 地址、 目的i p 地址、源端口、目的端口、标识字段五个字段作为输入值，并且 划分为1 4 个8 位的比特串进行异或运算，然后再把结果进行取模运算的 i i 太原理工大学硕士研究生学位论文 双哈希算法运算效率较高而且均衡性好，适合于高速网络环境下的入侵 检测。实验采用m i t 林肯实验室1 9 9 9d a r p a 离线评估时i d s 使用的数 据集，与1 9 9 8d a r p a 离线评估时使用的数据集相比它涵盖了更多的攻 击类型，数据集以t c p d u m p 格式记录，在单机和双机互联的环境下分别 模拟完成了随机测度实验和数据分流实验。 关键词：高速网络，入侵检测，负载均衡，哈希算法，熵 i i i 太原n _ - i ：大学硕士研究生学位论文 r e s e a r c ho nl o a db a l a n c i n ga l g o r i t h mi n h i g h s p e e dn e t w o r kf o ri n t u s i o nd e t e c t i o n a bs t r a c t i n t r u s i o nd e t e c t i o ni su s e df o rd e t e c t i n ga n di d e n t i f y i n ga t t a c k s t o c o m p u t e rs y s t e m s ，n e t w o r ks y s t e m s ，e v e n m o r ee x t e n s i v ei n f o r m a t i o n s y s t e m s ，o rd e t e c t i n gt h ee v e n t sa g a i n s ts e c u r i t ys t r a t e g i e s i n t r u s i o nd e t e c t i o n c o l l e c t sd a t af r o mc o m p u t e rs y s t e mo rn e t w o r ka n dt h e na n a l y z e st h e m i fa n y s u s p e c t e da t t a c kb e h a v i o r so ra n o m a l ye v e n t s a r ef o u n d ，t h e ns o m ec e r t a i n r e s p o n s e si n t e r c e p t i n ga t t a c k sc a nb ec h o o s et or e d u c ep o t e n t i a ll o s s t h e r e a r em a n yp r o d u c t si ni n t r u s i o nd e t e c t i o nf i e l db yt h er e s e a r c ho nt h e o r i e sa n d t e c h n o l o g i e s ，b u tu n d e rt h eb a c k g r o u n do fq u i c kd e v e l o p m e n to nt h ew h o l e t h ed e v e l o p m e n to fk e r n e lt e c h n o l o g ya n dr e f o r m a r es t i l lu n s a t i s f i e d e s p e c i a l l yw i t ht h ea p p l i c a t i o no fs o m en e wt e c h n o l o g i e s l i k eh i g h s p e e d l o c a ln e t w o r ka n df i b e rc o m m u n i c a t i o n ，n o w a d a y st h e i0 0 0 mn e t w o r ki s p r e t t yc o m m o n ，b u tt h et r a d i t i o n a ln i d sc o u l do n l yw o r ki n 10 0 mn e t w o r k ， s ot h er e s e a r c ho ni n t r u s i o nd e t e c t i o ni nh i g h s p e e dn e t w o r ki sv e r yi m p o r t a n t a n dd i f h c u l t b a l a n c i n ga l g o r i t h m o u rw o r ka n dr e s e a r c hi sa b o u tn e t w o r ki n t r u s i o nd e t e c t i o ns y s t e mb a s e d o nl o a db a l a n c i n gt e c h n o l o g y ，m a i n l yf o c u s i n go nt h ef o l l o w i n ga s p e c t s ：t o d i s c u s ss o m et e c h n o l o g i e so ft e s tm o d e l sw i t hl o a db a l a n c i n g ，s u c ha sd a t a c a p t u r e ，l o a db a l a n c i n g a n dd a t a a n a l y s i s ；t o i n t r o d u cs o m er e l a t e d t e c h n o l o g i e s l i k et h ec l a s s i f i c a t i o na n d s t r a t e g y o fl o a d b a l a n c i n g ，a n d c o m p a r i s o nw i t ht h e l o a db a l a n c i n ga l g o r i t h mi nn o w a d a y s ；t od e s i g nt h e d y n a m i cn e g a t i v ef e e d b a c kl o a db a l a n c i n g a l g o r i t h mb a s e do nx o ra n d m o d u l e ，t h e nt od i s c u s sa b o u tt h ei n p u t t i n gd a t ao fh a s hf u n c t i o n ，t h i si st h e e m p h a s i so fm yt h e s i s a tp r e s e n tt h e r ea r es o m ep a p e r sa b o u tt h ee f f i c i e n c y a n dt h ed e s i g no fd y n a m i cl o a db a l a n c i n ga l g o r i t h mo fh a s hf u n c t i o n ，b u tn o d i s c u s s i o no fh o wt os e tu pt h ei n p u t t i n gd a t ai nh a s hf u n c t i o ni nd e t a i l t h e i n p u t t i n gd a t ai sv e r yi m p o r t a n tt od e t a c hr e s u l t ，t h er i g h tc h o o s ec o u l dr e d u c e t h em o v e m e n to fl o a d ；e n h a n c et h ee f f i c i e n c ya n dr e s u l to fs y s t e m i nt h e v 太原理j 1 ：火学硕十研究生学位论文 t h e s i s ，i n f o r m a t i o ne n t r o p yi sa d o p t e dt oc o n s i d e rt h ei n p u t t i n gd a t ao fh a s h f u n c t i o n ，x o rc a l c u l a t i o ni su s e dt oi n c r e a s et h er a n d o mm e a s u r e m e n to f o p e r a t i o nr e s u l t s t h er e s u l t so fe x p e r i m e n ts h o wt h a ta d d i n gx o rs e g m e n t s a n dr e d u c i n gx o ro p e r a t i o nb y t ec a na l s oe n h a n c et h er a n d o mm e a s u r e m e n t o fo p e r a t i o nr e s u l t ，r e d u c et h em o v e m e n to fl o a da n dt h eo p e r a t i o ne f f i c i e n c y i sc l o s e dt oc r ca l g o r i t h m f u r t h e r m o r e ，t h ei d e n t if i e d s e g m e n th a sh i g h e n t r o p y ，t h e l o a d b a l a n c i n gc a nb e c o m eb e t t e ri fa d d i n gt h i ss e g m e n tt o f u n c t i o ni n p u t t i n g s oi nt h et h e s i si p r o p o s et oa d dr e s o u r c ei pa d d r e s s ， d e s t i n a t i o ni pa d d r e s s ，r e s o u r c e p o r t ，d e s t i n a t i o np o r t ，f l a gs e g m e n ta s i n p u t t i n gd a t a ，t h e n d i v i d ei n t of o u r t e e n e i g h t b i t s t r i n g sd o i n gx o r c a l c u l a t i o n ，a n dt h e nt h er e s u l t sa r em o d e d ，w h i c hi sc a l l e da st h ed o u b l e h a s ha l g o r i t h m i naw o r d ，b a s e do nt h el o a db a l a n c i n gm o d e lo fh i g h s p e e di n t r u s i o n d e t e c t i o ns y s t e m ，r e s e a r c ho nt h el o a db a l a n c i n ga l g o r i t h ma i m e da tt h i s m o d e li s c o m p l e t e d ，a n dt h ed y n a m i cn e g a t i v ef e e d b a c kl o a db a l a n c i n g a l g o r i t h mh a sb e e na l s op r o p o s e d t h r o u g hi n t r o d u c i n gi n f o r m a t i o ne n t r o p y t h e o r y ，d i s c u s s i n gt h ei n p u t t i n gd a t ao fh a s hf u n c t i o n ，i ti sp r o v e dt h a ta d d i n g t h ex o r s e g m e n t sc a ni n c r e a s et h er a n d o mm e a s u r e m e n to fo p e r a t i o nr e s u l t s t a k er e s o u r c ei pa d d r e s s ，d e s t i n a t i o ni pa d d r e s s ，r e s o u r c e p o r t ，d e s t i n a t i o n p o r t ，f l a gs e g m e n ta si n p u t t i n gd a t a ，t h e nd i v i d ei n t of o u r t e e ne i g h tb i ts t r i n g s v i v i i 声明尸 只月 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担o 论文作者签名： 丝国受 日期： 型：丝孥 关于学位论文使用权的说明 本人完全了解太原理工大学有关保管、使用学位论文的规定，其 中包括：学校有权保管、并向有关部门送交学位论文的原件与复印 件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；学校可以学术交流为目的， 复制赠送和交换学位论文；学校可以公布学位论文的全部或部分内 容( 保密学位论文在解密后遵守此规定) 。 签名： 丝d 爱 日期：竺丑：丝弩 导师签名：堇刍轻乞日期：兰鱼：坠：至； 太原理l ：人学硕十研究生学位论文 1 1 发展历程 第一章绪论 “入侵检测”这一概念的最早论述出现于1 9 8 0 年4 月j a m e sr a n d e r s o n 为美国 空军做的题为( ( c o m p u t e rs e c u r i t yt h r e a tm o n i t o r i n ga n ds u r v e i l a n c e ) ) ( 计算机安全威 胁监控与监视) 的技术报告中，这篇文章提出了必须改变现有的系统审计机制，以便 为专职系统安全人员提供安全信息，同时还提出了一个很有用的概念审计跟踪包 含了一些关键信息，这些信息对跟踪误用行为和理解用户行为很有帮助。这篇文章的 发表使得误用检测和特定用户事件的概念得到融合，为以后的入侵检测的设计和发展 奠定了基础】。可以说，他的工作总体上勾画了i d s 的轮廓，也开了基于主机的入侵 检测的先河。 1 9 8 3 年，d o r o t h yd e n n i n g 博士丌始给政府作一个致力于入侵检测研究的工程项 目。目标是分析从政府主机来的审计数据并且针对用户的行为建立用户轮廓文件。她 首先提出了个实时入侵检测系统模型，该模型独立于特定的系统平台、应用环境、 系统弱点以及入侵类型，为构建入侵检测系统提供了一个通用的框架。它的划时代意 义在于提出了反常活动和计算机不f 当使用之间的相关性。按照这个思路，利用审计 记录建立用户或者用户组活动的特性，通过与当前会话的审计数据进行比较，从而发 现异常。例如，特征可以是特定资源被使用的数量和相关事件之问的时间长度等。该 方法的优点是：无需了解入侵者所使用的特定机制，就可以检测入侵。但存在的问题 包括：特征的不确定性难以准确判断异常：有耐心的攻击者可以逐渐更改行为特征导 致检测失败等等。针对这个情况，当时提出了第二种工作原理：利用专家系统和既定 规则，查找活动中的已知攻击，这个方法可以准确地描述异常行为，进行匹配，从而 发现入侵行为。前一种方法后来被称作异常检测( a n o m a l yd e t e c t i o n ) ，后一种方法 则称作误用检测( m i s u s ed e t e c t i o n ) 。 一年之后，d e n n i n g 博士提出的模型在入侵检测专家系统i d e s ( i n t r u s i o n d e t e c t i o n e x p e r ts y s t e m ) 原型中实现了，陔系统由s r i i n t e r n a t i o n a l 公司开发。d e n n i n g 结合她的的研究工作，在1 9 8 7 年发表了一篇关键的文章a ni n t r u s i o nd e t e c t i o n 制。其系统结构框架如图l - 1 所示， 该框架成为了日后入侵检测系统框 架的鼻祖。i d e s 原型系统在2 0 世 纪是最先进的系统。 图卜1i d e s 入侵检测结构框图 f i g u r e l - 1i d e ss t r u c t u r e 而同一时刻，在加州大学的d a v i sl a w r e n c el i v e r m o r e 实验室也取得了一些重大 进展。1 9 8 8 年l a w r e n c el i v e r m o r e 实验室的h a y s t a c k 项目组为美国空军部门丌发了 一个入检测系统。h a y s t a c k 以“特征”集合来描述系统审计跟踪数据中的信息。特征 可以是会话持续时间，打开文件数和会话中创建的子进程数等等。它对系统活动中的 异常检测分为两个阶段，第一阶段是对每个会话的特征数目进行统计，判断是否有异 常行为；第二阶段采用排序检验预测会话的趋势。这样可以检测一段时间内偏离正常 的行为。 h a y s t a c k 的进展和s r i 的d e n n i n g 博士的工作，极大的促进了基于主机的入侵检 测技术的发展，也推动了入侵检测技术的发展。 1 9 9 0 年是入侵检测系统发展史上的一个分水岭。这一年，加州大学戴维斯分校 一 的l t h e b e r l e i n 等人开发出了n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 吲。该系统第一次 直接将网络流作为审计数据来源，因而可以在不将审计数据转换成统一格式的情况下 _ 2 太原理t 人学硕十研究生学位论文 监控异种主机。从此之后，入侵检测系统发展史翻开了新的一页，两大阵营f 式形成： 基于网络的i d s _ n i d s 州e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m ) 和基于主机的 i d s - - h i d s ( h o s ti n t r u s i o nd e t e c t i o ns y s t e m ) 。 h e b e r l e i n 的贡献还在于提出了 d i d s ，结构框图如图1 2 所示，他结 合h a y s t a c k 的研究成果，首次引入了 混合入侵检测的概念。d i d s 是个 大规模的合作开发，它第一次尝试将 主机入侵检测和网络入侵检测的能 力集成，以便于一个集中式的安全管 理小组能够跟踪安全侵犯和网络阳j 的入侵。在大型网络互联环境下跟踪 网络用户和文件一直是一个棘手的 问题，但是这很关键，因为入侵者通 常会利用计算机系统的互联来隐藏 图卜2d i d s 结构框图 f i g u r e l - 2d i d sm o d e l 自己真实的身份和地址，一次分布式攻击往往是每个阶段从不同系统发起攻击的组合 结果，d i d s 是第一个具有此类攻击识别能力的入侵检测系统。h a y s t a c k 和n s m 的 引入在i d s 领域掀起了一场革命，也迎来了i d s 蓬勃发展的春天，将i d s 带入了商 业化运作。 从2 0 世纪9 0 年代到现在入侵检测系统的研发呈现出百家争鸣的繁荣局面，并 在智能化和分布式两个方向取得了长足的进展。 1 2 本文研究背景 随着高速网络技术如a t m 、千兆以太网等的迅速发展，网络设备的背板交换能 力己达数g p s 或数1 0 g p s ，甚至上百g p s ，比如c i s c o 局域网设备c a t a l y s t 6 0 0 9 为 3 2 g b p s ，广域网千兆路由交换设备( g s r ) 1 2 0 1 6 为8 0 g b p s ，1 2 4 1 6 为3 2 0 g b p s 。虽 然不可能每一时刻都工作在这一峰值，但系统设计要予以考虑，而传统的i d s 仅能工 作在几百兆的环境中，如果工作在千兆网络环境下，误报、漏报和对攻击行为缺乏实 时响应等问题就会出现，作为防病毒和防火墙之后的第三道安全防线能否发挥出它的 3 图卜3 集群构成的入侵检测系统 f i g u r e l - 3i n t r u s i o n d e t e c t i o ns y s t e mc o m p o s i n gw i t hc l u s t e r 这种形式构成的i d s 集群通过负载均衡器将多个低等级的i d s 检测器聚集在一 起构成一个高带宽检测系统。这种方式建立在现有的软硬基础之上，提供一种廉价有 效的方法，提高了整个系统的检测能力。在这个结构中i d s 负载均衡器提供了数据分 流、转发、负载均衡等功能，它是构成集群的关键设备。目前，国内外商家均已推出 i d s 负载均衡器产品，如t o pl a y e r 、复旦光华等。 2 交换网络 现有的网络入侵检测系统n i d s 大都是工作在早期的使用h u b 作为连接设备的环 境下，通过设置网卡为杂收模式，i d s 可以截获同一个或有限的几个网段上的数据报。 而现在随着交换机的大量使用，i d s 面临着无法接受数据的问题。尽管许多厂家提出 了解决方案，如c i s c o 采用了称为镜像s p a n 的端口，一些厂家采用了称为镜像端v i 4 太原理：| ：大学硕士研究生学位论文 ( m i r r o rp o r t s ) ，通过这个端1 3 可以复制其他端口的数据。但是，在这种情况下如果 希望用一个n i d s 获取所有交换网段的数据报，镜像端口将截获多个其它端口的流 量，换句话说，这个端口将同时接受多个网段的数据报，实际上交换机上的一个端口 很难承受多端口流量的累积，而n i d s 也很难承受这么大的流量。如5 个1 0 0m 的端 口镜像后的最大流量会接近5 0 0 m ，一个普通的g i g a b i t 的i d ss e n s o r 都很难保证这 么大流量的情况下不丢失数据报，从而导致漏报，影响系统的准确性和有效性。如果 为每个交换网段安装n i d s ，许多客户常常会受到价格因素的影响而不能实施“1 。 1 2 2 现有分布式i d s 的不足 现有的分布式i d s 通常由许多分布在信息系统各处的数据采集模块和一个处理 能力很强的中心处理模块组成。这种结构有以下两方面不足：一方面随着网络带宽的 增加，中心处理模块计算能力的要求也会越来越高，并且中心处理模块一旦失败，整 个系统就会瘫痪；另一方面，由于网络传输的时延问题( 这在大规模异质网络中尤其 如此) ，到达中央控制台的数掘报中的事件消息只是反映了它刚被生成时的环境状态 情况，已经不能反映可能随时间已经改变的当前状态。这将使基于过时信息做出的判 断的可信度大大减低，同时也使得反回去确认相关信息来源变得困难。针对这些问题， 新的思路已经出现，其中一种就是攻击策略分析方法，还有本文所提到的基于负载均 衡机制的入侵检测方法。 实际上，一个大型宽带系统的巨大流量本身是由高度分布式的连接方式所产生 的，要在主干网上一个点进行捕获和处理而不遗漏任何一个比特基本上是不可能的。 因此，一个大型的高速宽带网络的实时入侵检测系统如果完全采用集中方式部署是非 常难设计的，宽带网下的i d s 应该是分布式的。 1 3 入侵检测系统的发展趋势 宽带高速网络实时入侵检测系统。主要考虑两个方面的问题。首先，入侵检测系 统的软件结构和算法需要重新设计，以适应高速网络的新环境，重点是提高运行速度 和效率。开发与设计相应的专用硬件结构，加上配合设计的专用软件是解决这方面问 题的一个途径。b - 4 - 1 u n ：是，随着高速网络技术的不断进步和成熟，新的高速网络 5 太原理：l 二大学硕士研究生学位论文 协议的设计也成为未来的一个发展趋势，所咀现有的入侵检测系统如何适应和利用未 来新的网络协议结构是一个全新的问题j 。 入侵检测的数据融合技术。目前检测的虚假警告问题是令许多网络管理员头疼的 事，还有来自各种渠道的大量泛滥数据、系统消息等常常没有得到很好和及时地处理， 这样不但无助于解决问题，反而浪费和减低了i d s 系统的处理和检测性能。为此， 可以采用多检测器数据融合技术。它能够 把从多个异质分布式传感器处的得到的各 推理类型 推理层次 种数据和信息综合成为一个统一的处理进威胁分析 程，来评估整个网络环境的安全性能。数 形势计估1 i 商 据融合入侵检测系统的输入可以是从网络 入侵者行为i 嗅探器处得到各种网络数据报，也可以是 入侵者身份 系统日志文件、s n m p 信息、用户资料信 入橙级别j 低 息、系统消息和操作指令，系统输出的是 入侵存n ：性 入侵者的身份估计和确定位罱、入侵者的 活动信息、危险性信息、攻击等级和对整 图卜4i d s 数据融合推理层次 个入侵行为危险程度的评估等。入侵检测 f i g u r e l - ii d sd a t af u s i o nd i s c u r s i o nl e v e l s 数据融合推理的层次结构如图1 4 所示。 智能化的入侵检测i i d s ( i n t e l l i g e n ti n t r u s i o nd e t e c t i o ns y s t e m ) 。使用智能化的方 法与手段来进行入侵检测。所谓的智能化方法，现阶段常用的有神经网络、遗传算法、 模糊技术、免疫原理等方法，这些方法常用于入侵特征的辨识与泛化。利用专家系统 的思想来构建入侵检测系统也是常用的方法之一。特别是具有自学习与自适应能力的 专家系统，实现知识库的不断升级与扩展，使设计的入侵检测系统方法能力不断增强， 具有更广泛的应用前景。 基于硬件的入侵检测。就是硬件版本的入侵检测系统和安全工具箱集成在一起。 这种设备将定位于家庭市场和小企业市场，以使客户能够处理连接到i n t e m e t 上相关 的问题。集成的安全和网络工具箱可能会包括网络接口硬件( 保护集线器和路由) 、 防火墙、连接加密器、w e b 服务器和其他用来加强更快更安全连接的功能。 。 入侵防御系统i p s ：( i n t r u s i o np r e v e n t i o ns y s t e m ) 。2 0 0 3 年著名信息安全研究和 顾问机构g a r t n e r 公哥在一份研究报告中称入侵检测系统已经“死”了，2 0 0 5 年前i d s 6 太原理j i ：人学硕十研究生学位论文 会逐渐消亡，其中4 点理由中有一点为目前i d s 对6 0 0 m b p s 以上的传输速率无力处 理。g a r t n e r 认为i d s 不能给网络带来附加的安全，反而会增加管理员的困扰，建议 用户使用i p s 来代替i d s 。g a r t n e r 公司认为只有在线的或基于主机的攻击阻止( 实时 拦截) 才是最有效的入侵防御系统。 从功能上来看，i d s 它只能被动地检测网络遭到了何种攻击，它的阻断攻击能力 非常有限，般只能通过发送t c pr e s e t 包或联动防火墙来阻止攻击。而i p s 则是一 种主动的、积极的入侵防范、阻止系统，它部署在网络的进出口处，当它检测到攻击 企图后，它会自动地将攻击包丢掉或采取措施将攻击源阻断。因此，从实用效果上来 看，和1 d s 相比i p s 向前发展了一步，能够对网络起到较好的实时防护作用。 近年来，网络攻击的发展趋势是逐渐转向高层应用。根据g a r t n e r 的分析，目前 对网络的攻击有7 0 以上是集中在应用层，并且这一数字呈上升趋势。应用层的攻 击有可能会造成非常严重的后果，比如用户帐号丢失和公司机密泄漏等。因此，对具 体应用的有效保护就显得越发重要。从检测方法上看，i p s 与i d s 都是基于模式匹配、 协议分析以及异常流量统计等技术。这些检测技术的特点是主要针对已知的攻击类 型，进行基于攻击特征串的匹配。但对于应用层的攻击，通常是利用特定的应用程序 的漏洞，无论是i d s 还是i p s 都无法通过现有的检测技术进行防范。 为了解决日益突出的应用层防护问题，继入侵防御系统i p s 之后，应用入侵防护 系统a l p ( a p p l i c a t i o ni n t r u s i o np r e v e n t i o n ) 逐渐成为个新的热点，并且正得到日益 广泛的应用。如我国绿盟科技生产的冰之眼网络入侵保护系统己投入使用。 1 4 论文研究的内容 本文引入信息熵理论对哈希函数的输入值进行了随机度测试，证明异或运算可以 提高运算结果的随机性。对异或运算效果、参与异或运算字段的比特位数对比特随机 测度值影响、标识字段对运算结果的比特随机测度值影响、增加字段对分流结果影响 作了5 类实验进行比较分析。通过对3 2 位源i p 地址和目的i p 地址以及分别与、异或、 或运算后的随机测度值进行了比较，结果显示异或运算比特随机测度值高，并且比其 他运算有较好的稳定性；把3 2 位源i p 地址和目的i p 地址划分为前1 6 位源地址：后1 6 位i 源地址、前1 6 位目的地址、。后1 6 位目的地址后，与1 6 位源端口和目的端1 ：2 1 进行异或运? 算，结果显示这样会极大的提高随机测度值。如果再继续把地址和端1 2 1 划分为8 位进 7 太原理工大学硕士研究生学位论文 行异或运算，比特位熵最小值达n o 9 9 4 9 9 1 ，最大值为0 9 9 9 5 6 ，结果显示把字段进一 步划分和增加源端口和目的端口会增加比特随机测度。这两个实验表明增加异或字段 和把字段划分成几部分后进行异或运算会提高运算结果的随机测度值。另外标识字段 有极高的位熵值，本文对划分为8 位的源i p 地址与目的i p 地址异或运算、源i p 地址与 目的i p 地址以及源端口与目的端口进行异或运算、源i p 地址与目的i p 地址以及源端口 与目的端口和标识字段进行异或运算的结果进行了比较，结果表明后一种运算结果比 前一种运算结果随机测度值高，而且最后一种比特随机测度中3 个为0 9 9 9 9 9 ，其余均 为l ，达到本次实验的最好水平。本文对d a r p a1 9 9 9i d s 澳 试数据集中第五个星期 中的星期一和星期三的i n s i d e t e p d u m p 数据集作了分流测试，检测器分别采用2 、3 、4 、 8 、1 2 、2 4 年d 3 6 个来分析，并把不同情况下检测器间任务量的标准方差值作了比较， 结果表明运算对象中加入标识字段后分流效果好，随着检测器的个数增加各个检测器 间的任务量基本相等。最后对c r c l 6 和异或运算采用不同字段做为函数输入值时各个 检测器任务量间的标准方差作了比较，结果显示，增加运算字段会提高检测器的均衡 度，尤其是加入标识字段后，异或运算效率与c r c l 6 运算接近，极大地减少了负载迁 移次数。 在多次反复实验的基础上本文证明增加异或字段数并划分字段后进行异或运算 能提高运算结果的随机测度值。标识字段有很高的位熵值，函数输入值中加入此值能 减少负载迁移次数而运算效率与c r c l 6 接近。采用源i p 、目的i p 、源端口、目的端口、 标识字段作为输入值，并划分为8 位的比特串进行异或运算，然后再进行取模运算的 双哈希算法运算效率较高而且均衡性好，适合于高速网络环境下的入侵检测。 实验采用m i t 林肯实验室1 9 9 9d a r p a 离线评估时i d s 使用的数据集，与1 9 9 8 d a r p a 离线评估时使用的数据集相比它涵盖了更多的攻击类型，数据集以t e p d u m p 格 式记录，在单机和双机互联的环境下分别模拟完成了随机测度实验和数据分流实验。 1 5 论文安排 全文共分为七章，其余章节具体安排如下： 第二章介绍了高速网络环境下的入侵检测系统的研究概况，对领域中相关模型和 关键技术进行了全面的介绍和分析。 第三章介绍了负载均衡的概念、分类以及负载均衡调度策略和负载均衡方案的选 8 太原理： 大学硕士研究生学位论文 择和评估等基础知识。 第四章是本论文的重点，在对现有的负载均衡算法深入研究的基础上，提出了动 态负载均衡算法，在多次反复实验的基础上本文证明增加异或字段数并划分字段后进 行异或运算能提高运算结果的随机测度值。标识字段有很高的位熵值，函数输入值中 加入此值能减少负载迁移次数而运算效率与c r c l 6 接近。采用源i p 、目的i p 、源端口、 目的端口、标识字段作为输入值，并划分为8 位的比特串进行异或运算，然后再进行 取模运算的双哈希算法运算效率较高而且均衡性好，适合于高速网络环境下的入侵检 测。 第五章实验设计和实验数据部分，对实验中所用到的1 9 9 9d a r p a 离线评估时 i d s 使用的数据集和几个软件进行了简单描述，并摘录出关键性的实验数据。 第六章结论部分，对所做工作进行了总结，并对今后的研究进行了按初步设想。 主要两点，一是设计和实现基于网络处理器的入侵检测系统，二是采用数据融合技术， 对警报数据和系统同志等信息进行关联分析，提高系统的检测率。 9 太原理j i ：火学硕十研究生学位论文 第二章高速网络环境下的入侵检测系统研究综述 2 1 研究现状 从理论上讲，提出了新的检测技术。如采用抽样测量的高速网络实时异常检测模 型，基于大规模网络流量的统计特征，通过寻找能够评价网络行为的稳定测度，建立 抽样测量模型，基于中心极限理论和假设检验理论，建立网络流量异常行为实时检测 模型。还有人提出基于非单调逻辑理论的入侵检测系统，用模糊默认理论改造传统的 单调推理机制和响应引擎的方法，从而建立了基于人工智能的入侵检测系统。 从系统结构上讲，提出了采用负载均衡器，将网络流量进行分割的方法。国外 c h r i s t o p h e r k r u e g e l 等在s l a t e f u l i n t r u s i o n d e t e c t i o n f o r h i g h - s p e e d n e t w o r k s - - 文中采 用了这种分割机制【6 】。国内也有类似的结构如中国科学院高能物理所计算中心许榕生 提出的采用l i n u x 集群实现高速网络入侵检测等等。 目前市场上的入侵检测产品也很多，s y m a n t e c ( 赛门铁克) m a n h u n t 提出的 新一代基于网络的入侵检测系统，其处理能力从1 0 0 m b 到2 g b ，通过使用分布式传 感器、异常协议分析、基于特征库检测以及高速事件统计关联和分析。i i s 推出的 r e a l s e c u r e 是一个计算机网络上自动实时的入侵检测和响应系统，也是全球唯一一个 被权威机构评测为b + 级的实时监控网络安全入侵检测软件。国内也有许多产品如启 明星辰的天阗入侵检测系统、上海金诺的k i d s 3 3 和中科网威“天眼”等。 另外国内外许多生产厂家对入侵检测负载均衡器也进行了研究。如t o pl a y e r 生 产的同时使用网络分解器和负载均衡器在每个交换网段内进行监控，通过i d s 负载均 衡器汇集流量，在根据入侵检测的需求和负载均衡策略分流到多个i d ss e n s o r 处理。 2 2 高速网络环境下入侵检测系统结构分类 2 2 1 基于f p g a 的高速网络入侵检测系统 在实时入侵检测系统中为加快检测速度常用基于规则匹配的方法，即对整个 t c p i p 数据报的关键字段进行扫描和搜索，并将这些关键字段的值与预定义的已知 1 0 太原理：i ：大学硕士研究生学位论文 入侵特征规则库的相应字段值进行比较，因此，提高网络入侵检测系统的规则匹配速 度成为当前网络入侵检测系统获得高性能的关键。r f r a n k l i n ，d c a r v e r ，b l h u t c h i n g s l 7 j 以及m a y ag o k h a l e ，d a v ed u b o i s ，a n d yd u b o i s 8 1 等提出了采用f p g a ( f i e l d p r o g r a m m a b l eg a t ea r r a y ) 进行规则匹配的方法，在2 0 0 2 年p r o f j o h nw l o c k w o o d 主持 了题为s e a r c hs e m i n a ro n r e c o n f i g u r a b l e h a r d w a r e 的会议专门回顾了采用f p g a 可编程 逻辑器件进行入侵检测的技术【9 】。国内刘航、戴冠中等提出了基于可编程逻辑器件 f p g a 的高速网络入侵检测系统。在该体系结构中网络数据报的特征匹配以及复杂协 议分析等高强度的计算均由可编程逻辑器件电路以专用协处理器的形式完成，而使主 机c p u 更专注于复杂入侵方式的检测和对入侵行为的实时响应。分析表明陔体系结构 能快速适应入侵检测特征变化对硬件电路的重配置需求，使网络入侵检测系统可以以 线速处理网络数据报i l 。 基于f p g a 的可编程逻辑器件具有开发成本低，设计周期短，编程灵活，易于调 整，能够根据需要重新配置硬件功能等特点。随着f p g a 器件门数的增加和结构的改 进，以及i p 库的不断丰富，利用f p g a 实现的大规模c a m 具有高速、并行、易扩展和 实现灵活等特点。c a m 是一种专门为查找数据地址而设计的存储器，它通过将输入 数据与c a m 中存储的所有数据项同时进行比较，仅需约2 0 n s 即可迅速判断出输入数 据是否与c a m e l 部的某个存储数据项相匹配，并给出数据项的对应地址( a d d r e s s l 和 匹配信息( m a t c hf l a g ) 。因此，在i d s 中引入c a m 可以实现字符串的高速匹配。 2 2 2 利用l i n u x 集群实现高速网入侵检测 集群是一种并行处理器，称为多计算机，是一种通过特定的硬件和软件连接起来 的独立计算机，在用户面前表现为一个单一系统印