（计算机应用技术专业论文）高速网络入侵检测若干关键技术的研究.pdf

摘要 入侵检测技术是继数据加密、v p n 、防火墙等传统网络安全保护手段之后的新 一代安全保障技术。目前，尽管入侵检测技术发展速度很快，但是随着大量高速 网络技术的出现，入侵检测系统正面临着巨大的挑战。高速网络入侵检测的关键 技术现有数据包捕获技术，模式匹配与特征搜索技术，探测攻击，特征规则提取 等。如何保证系统及时和高效地更新特征库，分析和精确的查找，并且快处理大 量的网络数据包，是每一个高速网络入侵检测系统都要面临解决的问题。 本文首先对整个入侵检测系统的产生和发展，入侵检测的相关概念、模型和 相关的对象进行了概述；对入侵检测的分类和其体系结构，做了一定的分析。针 对攻击特征库更新速度不快，而影响对新漏洞和新的攻击方法的检测效果的问题， 本文研究了种基于粗糙集和小生境遗传算法的入侵检测规则提取方法，本方法 是利用粗糙集把原始数据进行处理，获得决策规则，并把这些决策规则作为小生 境g a 的初始种群，最后通过进化得到有较广覆盖范围和较高可信度的入侵检测 规则集。针对高速网络环境下入侵检测系统的检测时间长检测率低的情况，本文 研究了一个基于负载均衡和协议分析的高速网络入侵检测策略。通过负载均衡的 控制中心将高速的数据流合理的分配到各个探测器群中，然后每个探测器群通过 基于协议分析检测，以达到比较理想的入侵检测效果。 综上所述，基于负载均衡和协议分析的高速网络入侵检测策略可使整个高速 网的入侵检测系统的整体性能提高。在负载方面合理减轻了每个入侵检测节点的 负载。在协议分析方面不但利用网络协议的规则性对数据包进行预处理，快速检 测某些攻击行为。这样显著地缩减了匹配检测的计算量，并提高了检测的准确率。 关键词：高速网络；协议分析；负载均衡；粗糙集；小生境g a a b s t r a c t i n t r u s i o nd e t e c t i o nw a san e wn e t w o r ks e c u r i t yt e c h n o l o g y , f o l l o w e dw i t ht h e s e c u r i t ys t r a t e g i e ss u c ha sd a t ae n c r y p t i o na n dv p na n df i r e w a l lt e c h n o l o g y m o d e r n c o m p u t e rn e t w o r k ss e c u r i t yi se s t a b l i s h e db yt h ei n t r u s i o nd e t e c t i o nt o g e t h e rw i t ht h e a n t i - v i r u s s y s t e m ，v u l n e r a b i l i t ys c a n n e r , d a t ae n c r y p t i o na n do t h e r s i g n i f i c a n t t e c h n i q u e s h o wt om a k es u r et h a tt h ei d sh a st h ee x e l l e n ta b i l i t yo fa n a l y z i n g r e a l t i m ed a t a ，s e a r c h i n gd e f i n i t ec o n t e n t s ，g e t t i n ga n dr e e o r d i n gn e t w o r kd a t ap a c k e t s u n d e rc o m p l i c a t e de n v i r o n m e n to ft h eh i g h s p e e dn e t w o r ki s b e c o m i n gav e r y i n m p o r t a n tt o p i c a tt h eb e g i n n i n g ，t h i sp a p e rc o m p e l e t e l ya n dc o n c r e t e l ye x p l a i n st h ei n t r u s i o n d e t e c t i o nd e v e l o p m e n t ，r e l a t e dm o l d sa n da n a l y s e sa r c h i t e c t u r eo fi d s s e c o n d l y , w i t hs o m ek e yp o i n t so ft h eh i g h s p e e dn e t w o r ki n t r u s i o nd e t e c t i o na r ea n a l y s e d ，t h e s o l v i n gs t r a t e g yi sp r o p o s e db yf o l l o w i n gc h a p t e r s a n dt h e nam e t h o do fn e t w o r k i n t r u s i o nr u l e se x t r a c t i o nb a s e do nr o u g hs e ta n dn i c h eg e n e t i ca l g o r i t h mi sp r o p o s e d i nt h i sp a p e rf o rl o wu p d a t i n gr a t eo fi n t r u s i o nr u l e s t h i sm e t h o dd e a l sw i t h o r i g i n a l d a t ab yr o u g hs e t sf o ra c q u i r i n gd e c i s i v er u l e sa n dt h o s ec a nb e c h o s e nf o rt h ei n i t i a l g r o u po fn i c h eg e n e t i ca l g o r i t h ma i m e da ta c q u i r i n gw i d e rc o v e r a g er a n g ea n d h i g h e rr e l i a b i l i t yr u l e sb ye v o l u t i o n a n ds o m eb e t t e rm e t h o d si n c l u d i n gd a t a f i l t r a t i o n ，l o a db a l a c ea n dp r o t o c o la n a l y s i sa r eb e c o m i n gp r e v a i l i n gn o w a d a y sf o rt h e u n m a t c h e dp r o b l e mo fl o wd e t e c t i o nr a t ea n dh i g hs p e e do fn e t w o r k ，b u te a c h o ft h e m h a ss o m ef l a w s ow es t u d yas t r a t e g yo fl o a db a l a n c ea n dp r o t o c o la n a l y s i sf o rh i g h s p e e dn e t w o r ki n t r u s i o nd e t e c t i o n d i s t r i b u t i n gs t r e a mo fd a t at ot h er a t i o n a ld e t e c t o r s b y t h ec o n t r o lc e n t e ro fl o a db a l a c ef i r s t l ya n du t i l i z i n gp r o t o c o la n a l y s i st od e t e c tt h e i n t r u s i o na c t i o nw i t hw i d e rc o v e r a g er a n g ea n dh i g h e rr e l i a b i l i t yr u l e sb a s e do nr o u g h s e ta n dn i c h eg e n e t i ca l g o r i t h m t h ew h o l e h i g h - s p e e dn e t w o r ki n t r u s i o nd e t e c t i o ns y s t e mp e r f o r m a n c ei s b e c o m i n gm o r ee f f i c i e n tt h r o u g ht h es t r a t e g yo fl o a db a l a n c i n ga n dp r o t o c o la n a l y s i s t h ea r c h i t e c t u r ec a nr e d u c ee v e r yn o d e l o a de f f e c t i v e l ya n dr a t i o n a l l y t h ep r o t o c o l a n a l y s i sm e t h o da l s ot a k e sg o o da d v a n t a g eo fr u l e so ft h en e t w o r kp r o t o c o lt od e t e c t t h ea t t a c k u s i n gp r o t o c o l sh i g hd e g r e eo fr e g u l a r i t ya n dp a t t e r n - m a t c h i n ga l g o r i t h m s c a ne x t r e m l yr e d u c et h ec o m p u t a t i o na n de n h a n c et h ea c c u r a c yo fd e t e c t i o n k e yw o r d s ：h i g h - s p e e dn e t w o r k ；l o a db a l e n c i n g ；p r o t o c o la n a l y s i s ；r o u g h s e t ； n i c h eg a i i 长沙理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名：王太卫 日期：2 0 o 年多月f 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权长沙理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密口。 ( 请在以上相应方框内打“4 ) 作者签名：王之卫 导师签名：建长琼 日期：2 0 o 年多月f 日 日期：文口扣年月1 日 1 1 研究背景 第一章绪论 计算机网络的自身存在一定局限性以及整个信息系统存在一定脆弱性，使得 计算机网络系统中的通信资源，硬件软件资源和海量的信息资源等可能会由于可 预知或不可预知的原因而遇到功能失效、篡改、泄露、破坏的情况或者是使信息 系统处于某种异常状态及不稳定状态，甚至引起系统崩溃和瘫痪，造成无可挽回 的损失。因而在这种的情况下，对网络中的各种重要信息源保护，并免受网络攻 击以成为计算机网络安全的重要目标，对各种安全因素的考虑也已经提高到相当 重要的地位。而高速网络入侵检测的关键技术现有数据包捕获技术，模式匹配与 特征搜索技术，探测攻击，特征规则提取等。如何保证系统及时和高效地更新特 征库，分析和精确的查找，并且快处理大量的网络数据包，是每一个高速网络入 侵检测系统都要面临解决的问题。 随着计算机网络的深层次的发展，作为传统的计算机安全理论已经不能适应 多维的、动态变化的网络系统结构和复杂多态的互联网络环境。网络安全技术热 点发展过程则大致是按照以下顺序进行【卜2 1 。 ( 1 ) 防火墙技术：在网络边缘保护内部网络。 ( 2 ) v p n 技术：各个分散的内部网络进行连接，并且完成这些内部网络的延 伸，其中紧密结合防火墙技术。 ( 3 ) p k i 技术：可以使得内部网的外延进一步的扩大，同时建立和扩大广义 的信任关系。 ( 4 ) 入侵检测技术的发展与研究。 从上面可以看出传统的信息安全技术主要针对系统自身的防护和加固上，例 如采用安全级别比较高的数据库系统和操作系统，将高性能的防火墙配置在网络 的出口，将各种加密技术应用于信息存储和传输方面，以及集中的身份认证产品 的应用等等。然而，当面对越来越多样和隐蔽的网络攻击时，信息系统防护的核 心应该从由静态防护层面转移到动态防护的层面。所以，构架一个安全可靠高效 的信息系统，首先必须建立网络防御体系结构的思想，以安全策略为核心，使用 用安全级别高的操作系统和防火墙，通过对流量统计，模式匹配，异常分析，一 致性检测和基于主机，目标，应用，网络入侵检测等手段来进行网络安全漏洞的 分析和监测，使得系统从静态防护提升到更高的动态防护，为系统快速恢复与响 应提供依据与实时支持。系统一旦发现有异常或不安全因素时，就可以依据系统 安全策略准确快速的做出分析判断和响应，最后实现系统安全防护的目的。 网络入侵检测作为安全技术的作用在以下方面：入侵行为的识别；入侵者 识别；监视和检测成功的安全突破；防止和控制违法事件的发生以及事态的蔓延， 可以在入侵行为发生的时候及时提供重要信息。从上面角度分析待网络安全各种 问题，入侵检测是非常重要的，它能够使得传统的静态安全防护措施更加完善。 入侵检测可以分为异常检测和特征检测。异常检测【3 “】( a n o m a l yd e t e c t i o n ) 从入 侵者网络活动与正常主体的网络活动的不同来分析的。然后根据此概念形成主体 正常网络活动的活动轮廓，接着比较当前主体活动的情况与行为活动轮廓，当该 活动违背某些设定的规则时，就可以认为该网络活动可能为异常的入侵活动。异 常检测的关键是在于如何建立一个有效的网络行为轮廓，并且设计和实现高效率 的统计算法，从而可以区别正常的操作行为和异常的操作行为或是可能被忽略的 入侵行为。特征检测又被叫做滥用检测【5 卅( m i s u s ed e t e c t i o n ) ，其是指可以运用 某一种模式来表示入侵者行为。检测和识别主体活动是否符合设定的模式是检测 系统的目的。已有的入侵方法能够被它检查出来，而对于新的入侵手段则失去优 势。其关键是要设计出既可以不把正常的活动包括，又可以表达入侵异常的模式。 在1 9 7 2 年，a n d e r s o n 7 】等提出了非常著名的计算机安全模型构架。此构架 确保系统的安全是采用了访问控制机制【8 9 】来实现的。访问控制机制认证并识别 主体的身份特征，然后通过所授权的数据库引索来确定访问对象是否可以被主体 访问。文献 1 0 1 l 】提出了增强基于数据流的安全实现方法，然而这些方法为了保 证机密性、一致性，对其中的限制也变得更多，而系统也变得越来越复杂。从整 体上看，系统灵活度降低、效率降低，实用价值相对就不是很高了。而前几年流 行的应用层网关、结合包过滤和基于虚拟网络技术的防火墙【1 2 川3 】虽然能够阻止许 多较为常见的地址伪造、源路由及协议漏洞等多种攻击方法并且让数据可以在安 全的数据通道中传输，但却不能应对应用设计的缺陷和不足、通过加密通道的攻 击和多种多样的应用层后门。综上所述，保证计算机系统的安全一定能要采取一 种可以实时发现并报告系统中异常现象或未授权的技术手段，入侵检测技术就出 现了，并得到发展。 文献【1 4 】提出可用于入侵检测5 种统计模型：操作模型，多元模型，方差， 马尔柯夫过程模型，时间序列分析。统计方法可以学习用户的使用和操作习惯， 这是其最大优势，它也具有很的高可用性与检测率。其致命的缺点则是通过逐步 训练，入侵者可以使入侵行为特点符合正常操作的统计规则，这样就可以巧妙的 避开入侵检测系统的分析检测，进行非法活动。 异常入侵行为检测的方法与策略很多情况下是非常灵活和多变的，应用智 能计算技术到入侵检测中将可大幅度提高检测的效率与精准性。软计算的方法包 括了模糊技术、遗传算法和神经网络。把遗传编程【1 6 】、免疫机理【r 7 】和各种遗传 2 算法【l5 】应用于网络入侵检测中去已经是比较普遍的方法了。文献【1 8 】将神经网络 用于入侵检测则具有双重输出( 1 ，0 ) 、( o ，1 ) ，不确定的状态有两种即( o ，0 ) 、( 1 ， 1 ) ，并结合模糊技术进行判定和输出。神经网络的权重可以由模糊技术进行确定， 而且还可降低神经网络总体训练时间，神经网络的容错性及外拓能力大幅提高。 若从技术角度分类，异常检测方法主要包含：基于特征选择的异常检测 【1 9 2 0 1 ，基于统计的异常检测，基于贝叶斯网络的异常检测t 2 2 1 ，基于贝叶斯推理的 异常行为检测【2 1 1 ，基于模式预测的异常行为检测【2 2 1 ，基于贝叶斯聚类分类的异常 行为检测 2 2 1 ，基于数据采掘的异常检测 2 6 - 2 7 】，基于机器学习的异常检测方法 【2 3 2 5 1 ，基于神经网络的入侵检测【2 8 2 9 】等。而特征检测则是另一大类的入侵检测技 术，其检测方法主要包含：基于键盘监控滥用的入侵检测技术，基于状态迁移分 析的滥用入侵检测技术【3 0 3 1 1 ，基于条件概率滥用入侵检测技术【2 2 1 。由于特征检 测与异常检测技术各有优势和不足，所以在实际应用中的网络入侵检测系统可以 同时使用这两种或多种检测技术。而依据网络入侵系统检测的对象的不同可以划 分为以下三种检测。 ( 1 ) 基于网络的入侵检测：通过在共享网段上侦听和采集通信数据流并且分 析可疑现象的网络入侵检测系统是以n s m 3 2 】为代表的。和基于主机检测系统相 比较来说，这类系统上入侵者是容易识别的，因为入侵者自身是不能判定入侵检 测系统是否存在，很显然这类网络入侵检测系统是不需要向主机提供任何严格的 审计结果的。对主机来而言，所消耗的各种资源也随之降低，并且由于网络协议 的标准化，它可以忽略主机的不同构架，提供较全面和通用的网络保护功能。 ( 2 ) 基于网关的入侵检测：通过路由器来实现现有网络信息基础设施的互连， 高速交换技术和路由技术的结合则基本构成下一代的高速网络。万维网的路由基 础不实，这对于安全性低的信息基础设施的来说，一些网络攻击会造成局部或者 整个信息系统设施功能失灵，基于网关的网络入侵检测【3 3 】就是从网关中提取和分 析相关数据信息，从而起到对整个信息系统设施的安全保护作用。 ( 3 ) 基于主机的入侵检测：监听和分析主机的审计记录来检测异常网络活动。 这类检测系统的实现不全依依靠目标主机，有一些相对独立的外围处理设备也应 用于其中，主机的信息将通过网络通道传送到数据分析模块。然而它们基本都是 围绕检测系统的审计记录这个核心来工作的，所以这类系统的主要缺陷就是能否 及时有效的采集到审计记录。为了避开入侵检测系统，主机审计的子系统可以作 为攻击目标而被某些入侵活动所使用。 综上所述，为了提高高速网络入侵检测效果和效率，本文在后面的章节对 攻击特征库存在的问题和检测方法交叉融合的问题进行了讨论。 1 2 本文的主要工作 3 ( 1 ) 论文对高速网络入侵规则的提取采用了一种基于粗糙集和小生境遗传 算法结合的方法。本方法是利用粗糙集把原始数据进行处理，获得决策规则，并 把这些决策规则作为小生境g a 的初始种群，最后通过进化得到有较广覆盖范围 和较高可信度的入侵检测规则集。 ( 2 ) 研究了基于负载均衡与协议分析的高速网络入侵检测策略，首先通过负 载均衡的控制将高速数据流合理的分配到各个探测器群中，然后每个探测器群在 通过基于协议分析的方法进行检测并结合覆盖广可信度高的分类规则库达到比较 理想的入侵检测效果。 1 3 本文的结构安排 案。 法。 本文的内容共分为五章。 第一章主要对本文的研究背景和内容安排做了介绍。 第二章简要分析了目前高速网络入侵检测存在的问题并给出一个解决的方 第三章研究了一种基于粗糙集与小生境遗传算法结合的入侵检测规则提取方 第四章研究了一种基于协议分析与负载均衡的高速网络入侵检测策略。 第五章对本文的研究方法做了总结，并指出了进一步的工作的方向和重点。 4 第二章高速网络入侵检测分析 2 1 高速网络入侵检测面临的问题及解决方法 2 1 1 高速网络入侵检测规则库存在的问题及解决方法 网络安全设备的处理速度一直以来都是影响高速网络检测性能的瓶颈之一， 虽然检测系统大部分是以并联方式接入进互联网的，但倘若它的检测速度与网络 数据传输速度不匹配时就会使得检测系统漏掉其中的部分数据报文，使漏报率增 加，从而影响检测系统的准确性及有效性。在n i d s 中，捕获网络的每个数据包， 并进行分析，匹配特征库，判断当中是否有包含某种攻击的特征。这种方式需要 花费大量系统资源和时间大型网络中，不同的网络部分可能会使用了不同的i d s 或同时使用几种i d s ，而且还有主机漏洞扫描、网闸、防火墙等各种安全防护设 备。整个网络系统安全的核心内容包括了这些检测系统之间以及检测系统和其他 网络安全设备之间进行的可靠高效数据交换，能够共同合作发现潜在攻击活动、 作出快速准确响应并可以防止网络攻击等。 基于模式匹配方法的n i d s 的最大特点就是将所有网络入侵活动及其变化用 一种模式或特征进行描述，检测主要根据入侵模式库来匹配网络中搜集到的数据 特征，因此对于天天都有新漏洞发布及新的攻击方法出现，攻击活动特征规则库 及时更新的速度就成为检测系统漏报率和检测率高低的关键。结合对流量统计的 分析的异常发现的检测系统构建了正常行为活动的轮廓，当系统运行时的数值越 过某正常阈值时，就判断可能正受到入侵，此技术的不足之处是其检测率和漏报 率相对较高。此外，许多系统是基于单包检测分析的，对深层协议分析的方法应 用不多，从而不能对变形和伪装后的非法入侵进行识别和分析，也会造成很多误 报和漏报。针对上述问题，为使得入侵检测规则库更加完善和高效，本文在第三 章中研究了一种离线的基于粗糙集与小生境g a 的入侵检测规则提取方法，并将 其应用到高速网络入侵检测策略中。 2 1 2 高速网络入侵检测策略的融合 高速网络入侵检测要在某个点上收集整个网段内的所有网络数据并进行分析 和处理是不可行的，这样丢包问题一定会出现，某些数据包会被入侵检测模块所 忽略，从而导致误报和漏报。目前针对高速网络环境下入侵检测系统的检测速度 与网络速度不匹配的问题，出现了一些比较好的适应高速网络检测方法如数据过 滤、负载平衡、基于协议分析等方法，各个方法有利有弊。 5 将几种检测方法进行交叉和融合才能使得入侵检测效果更好效率更高。它们 的核心思想都体现了分而治之，如果一个i d s 处理数据包的能力不足的时候，那 么就增加多个i d s 来处理；如果一个i d s 捕获数据包的速度与网络的传输速度不 匹配的时候，那就分别在每一个网段独立配置一个监测系统。另外，新的解决方 案也带来了新的问题，如增加了检测的复杂度。类似于多c p u 处理器和单c p u 处理器的关系，虽然很大程度上提高了处理信息的能力，但这种性能的提高并不 是线性的，因为多个c p u 之间存在操作同步，资源竞争等各类问题，唯有一个良 好的调度策略和运行机制才能够充分发挥它们的功用。数据流的分割和应用层的 协议分析已不算是最新技术了，其在商业系统中已有了一定应用，大多数都采用 了负载均衡机制来分割流量，较为复杂，且流量分配均衡度不一，连接可被破坏。 在数据包分发算法上n i d s 有较特殊的要求。因为在检测引擎集群中的任何一个 引擎都要有能够独立的进行检测分析，所以负载控制中心需要确保把每一次入侵 行为上下相关的数据包一起发送到同一检测引擎，这就要求系统必须确保每个会 话数据包的完整，即必须把一次会话的所有数据报文都发送给同一个引擎。 针对以上特点，本文研究了一种基于负载均衡与协议分析的高速网络入侵检 测策略。在负载均衡方面该策略依据反馈与预测机制获取当前引擎负载状况，将 每一个会话作为基本分配单元，并把新的会话数据报文分配给当前最小负载的检 测引擎。协议分析中采用基于应用的数据包分析策略来提高其检测效率。 2 1 3 建立高速网络入侵检测系统评价体系 检测系统主要分为以下三个模块： 数据源：用于系统监视的审计记录数据流； 检测引擎：将审计数据进行判断和分析，并发现入侵活动和异常行为； 响应：根据检测引擎的判断结果，采取相应和适当的措施。 这三个单元之间是密不可分的依赖关系，数据源为检测引擎提供原始数据流， 检测引擎进行实际的异常行为检测或误用检测，检测引擎的分析结果又提交到响 应单元，帮助采取适当和必要的措施，保护系统安全，防止入侵行为继续扩大或 恢复以遭到破坏的系统和重要信息。响应单元作用的对象也同时包括检测引擎与 数据源，对检测引擎来说能够增加，删除和修改系统的检测规则集合，及时调整 系统的运行参数等。对数据源来说能够让其提供更为详细的信息，收集其他种类 的数据信息，并根据实际情况调整监视策略等。 设计通用的入侵测试引擎并进行评估和测试，以完成对各种入侵检测系统的 检测，已成为目前研究入侵检测系统的又一个重要的分支。评价一个高速网入侵 检测系统可从自身的稳定可靠性性、系统资源占用情况、检测范围大小等方面进 行，而评价指标包括：能否保证自身的安全、检测率误报率、维护及运行系统的 6 成本和开销、负载能力的大小以及网络类型支持种类、入侵特征数、能否支持t c p 流重组、i p 碎片重组等等。 评估入侵检测系统的主要性能指标有一下七项： ( 1 ) 可靠性，系统是否可连续运行并且具有较强的容错能力； ( 2 ) 安全性，检测系统必须能够保护自身安全和很难被欺骗； ( 3 ) 可用性，系统开销要尽量小，不要对网络系统性能产生影响； ( 4 ) 适应性，对检测系统来说必须是易开发易维护易升级的，可随时添加新的 功能模块，并适应系统本身和复杂网络环境的改变； ( 5 ) 实时性，系统是否可以快速及时检测出入侵行为并阻止破坏； ( 6 ) 准确性，检测系统具有较高的检测率和较低的误报率； ( 7 ) 可测试，通过入侵活动能够检测系统运行。 用户需要对很多i d s 系统进行正确和有效评价，评价指标包括i d s 系统资源 占用、检测范围、i d s 系统自身的鲁棒性和可靠性。从而设计出种通用的入侵 检测测试引擎，完成对多种i d s 系统的检测和评估。 2 2 小结 本章就高速网络入侵检测的现状，存在的问题及解决方法做了初步的讨论。 还对高速网络入侵检测系统的评价体系做了简单论述。接下来的第三章和第四章 将具体论述本章所应用的方法和策略。 7 第三章基于粗糙集与小生境g a 的入侵检测规则提取 管晓宏，蔡忠闽等人【3 4 】应用粗糙集相关理论虽然能够把不一致规则的数量减 少，并使检测时间也缩短，然而随着规则数量的减少检测率则会降低很多，所以 进行入侵检测时如果只应用它则就会有一定的局限性。文献 3 6 】在进行入侵检测 时则采用标准遗传算法，不足之处是在进化早期存在着“超级个体 的问题，在 进化后期不能够确保种群的多样性而产生“早熟”现象。另外如一开始就随机选 择个体则具有一定的盲目性。所以发挥各方法的优势，并避免各自的不足，是论 文研究的基本点。 3 1 相关理论 3 1 1 粗糙集约简理论 1 9 8 2 年波兰著名数学家p w a l a k 提出了一种可以建立在不可区分关系上的数 据分析方法即粗糙集( r o u g h s e t ) 理论【35 1 。这种理论后来得到了很大发展，它在不 确定、不完整数据的表达、机器学习以及归纳方面表现出良好的特性，并最终 应用于信息安全，网络入侵检测，知识发现和分类等重要领域。 论文把大量原始数据用粗糙集理论知识进行约简计算，并将所获得的决策规 则集作为遗传进化的初始种群，这种初始种群不但减少了以后进化的盲目性还 提高了g a 种群的平均适应度。同时粗糙集数据约简的优势也被很好的利用，接 着使用基于小生境的遗传算法【37 】进行进化计算，避免单采用粗糙集进行入侵检 测规则因约简数量下降而造成的检测率降低的不足。并最终得到较好的网络入 侵检测规则集。 设s = ( u ，a ，v ，f ) 表示一个信息表，其中，u 表示有限非空的对象集合，即论域： a 是有限非空的属性集合；v 对应每一个属性a a 的非空值域；f 是一个信息 函数，通过这个函数，论域中的每一个对象都有v 中唯的值与之对应。信息 表中，如果a = c u d ) ) ，其中，c = c l ，c 2 ，c m ) 是条件属性集；d 甚c 是决策 属性，则s = ( u ，cu d ) ，v f ) o q 做决策表。 属性约简用基于相对可辨识矩阵的方法。它是去寻找全体条件属性集合的一 个子集，使这个条件属性子集相对于决策属性的分类能力与条件属性全集相对于 决策属性的分类能力相当以下是关于近似分类质量，约简，系统核和相对可辨 识矩阵的定义，在属性约简时使用。 8 定义3 1 1 设x = x l ，x 2 ，x m ，u = u x ，论域u 的一个划分，b 是一个条件 t = l 属性子集，b c ，则b 对于x 的近似分类质量定义为，( x ) ：7 ( b 专柳：至掣 定义3 1 2 若最小的条件属性子集b _ c c 满足( x ) = r c ( x ) 则称b 为c 的一 个x 约简，c 的所有x 约简记为r e d x ( c ) 定义3 1 3 信息系统所有约简的交集称为信息系统的核，记为 c o r e y ( c ) = n r 定义3 1 4u = x l ，x 2 ，x n ) ，设参考属性集为r ，定义r 的相对可辨别矩 阵为m r = ( m r i j ) n n ，其中 m r i i = i vo , l , o t ( 薯) 口i ( x j ) , a k c , d ( 薯) j ( _ ) 口i 正r ，f ，：1 ，2 ，。j l i u ，丹，l 巴 ” 基于相对可辨识矩阵的属性约简算法： s t e pl ：输入决策表s = ( u ，cu d ) ，v ，f ) ； s t e p2 ：计算c 相对于d 的核c o r e d ，置r - - c o r e d ； s t e p3 ：计算由r 确定的可辨别矩阵m r ，若m r 为零矩阵，则终止，否则步 骤4 ； s t e p4 ： s t e p4 1 对每个备选属性a ( c r ) = c l ，计算其基于信息熵的属性重要性 h ( d ) l ( q 一 口) ) ) ； s t e p4 2 选择使h 最大的条件属性a ，置r = r u a ) ； s t e p4 3 计算r 的近似分类质量，若yr ( x ) = y c ( x ) ，则步骤5 ，否则4 4 ； s t e p4 4 将m p 中包含a 的元素归零，若m p 为零矩阵，则步骤5 ，否则转 4 1 ： s t e p5 ：结束 以下是一个个粗糙集约简的例子： t c p 网络连接记录属性集共4 1 项( 连续型c ，离散型d ) 9 表3 1t c p 网络连接记录属性集 基本属性集流量属性集基于主机的流量属性集内容属性集 1 d u r a t i o n ：c 10 c o u n t ：c l9 d s th o s tc o u n t ：c2 9 h o t ：c 2 p r o t o c o l t y p e ：d 1 1 s e r r o r ：c2 0 d s th o s ts a m es r v ：c3 0 f a i l e d i o g i n s ：c 3 s e r v i c e ：dl2 r e r r o r ：c 2 1 d s t _ h o s t _ s a m e _ s r v _ p o r t _ ：c3 1 1 0 9 9 e d _ i n ：d 4 s r c b y t e s ：c 1 3 s a m es r v ：c 2 2 d s th o s ts e r r o r ：c 3 3 3 2 c o m p r o m i s e d ：c 5 d s t _ b y t e s ：c 1 4 d i f fs r v ：c2 3 d s th o s ts r vc o u n t ：c 3 4 r o o t s h e l l ：d 6 f l a g ：d l5 s r vc o u n t ：c2 4 d s th o s td i f fs r v ：c3 5 s u ：d 7 1 a n d ：dl6 s r vs e r r o r ：c2 5 d s th o s td i f fs r v ：c3 6 r o o t ：c 8 w r o n g _ f r a g m e n t ：c l7 s r vr e r r o r ：c2 6 d s th o s ts r vd i f fh o s t ：c 3 7 f i l e _ c r e a t i o n s ：c 9 u r g e n t ：c l8 s r vd i f fh o s t ：c2 7 d s th o s tr e r r o r ：c3 8 s h e l l s ：c 2 8 d s th o s ts r vr e r r o r ：c3 9 a c c e s sf i l e s ：c 4 0 o u t b o u n dc m d s ：c 4 1 h o t _ l o g i n ：d 4 2 g u e s t l o g i n ：d 由于属性的约减必须是离散型的，所以其中3 2 个连续型的属性采用n a i v e s c a l e 算法进行离散化。它可以计算决策表中最小的属性集。约简原则是根据9 个基本属性( 对所有类型的攻击检测，都需要用到这9 个属性) 。约简后的正常连 接记录属性集共2 6 项： 1 ，3 ，5 ，6 ，7 ，8 ，9 ，1 0 ，1 4 ，1 5 ，l7 ，2 0 ，2 1 ，2 2 ，2 3 ，2 5 ，2 6 ，2 7 ， 2 8 ，2 9 ，3 3 ，3 5 ，3 6 ，3 8 ，3 9 ，4 0 3 1 2 小生境技术 在用遗传算法求解多峰值优化问题时，往往希望优化算法能够找出问题的所 有最优解，包括局部最优解和全局最优解。此时，可以让遗传算法中的个体在一 个特定的生存环境中进化，这就是小生境遗传算法思想。 小生境遗传算法的实现主要有基于预选取，共享函数和排挤的方法。本文是 利用d ej o n g 在1 9 7 5 年提出基于排挤机制的选择策略，在算法中设置一个排挤因 子c f ( 一般取c f = 2 或3 ) ，由群体中随机选取的1 c f 各个体组成排挤成员，然 后依据新产生的个体与排挤成员的相似性来排挤一些与预排挤成员相类似的个 体，个体之间的相似性可用个体编码之间的海明距离来度量。随着排挤过程的进 行，群体中的个体逐渐被分类，从而形成一个个小的生成环境，这样可以更好的 保持群体的多样性，使其具有很高的全局寻优能力和收敛速度。 l o 3 2 基于粗糙集和小生境g a 的网络入侵规则提取方法 3 2 1 算法基本思想 在基于r o u g hs e t s 约简和知识推理的入侵检测中，可以得到一系列i f - t h e n 形 式的入侵检测规则。各条规则的可信度、覆盖范围各不相同，表现在入侵检测中 会有不同的检测率和误报率。通常覆盖率较高的少数规则组成的规则集就能够和 大多数数据记录匹配，这意味着假如采用覆盖率较高的少数规则组成的规则集作 为入侵检测规则集来进行匹配，则可以减少不一致规则的数量，并且这些规则作为 小生境g a 的初始种群，避免了规则选取的盲目性，使种群具有较高的平均适应度。 3 2 2 算法过程 s t e p l 输入训练样本集数据； s t e p2 将训练样本里的连续型属性用n a i v es c a l e 算法进行离散化； s t e p3 完成决策表的生成和约简，得到最小属性集p o p ； s t e p 4 将p o p 作为初始种群，设置排挤因子c f , 调用步骤5 中小生境遗传算法 中进行1 0 0 代进化： s t e p5 小生境遗传算法 s t e p5 1 属性集二进制编码： s t e p5 2 根据公式3 2 计算个体适应度，并随机选取1 c f 个个体组p o p c r ； s t e p5 3 对种群执行选择，交叉，变异操作； s t e p5 4 根据公式3 1 计算新个体群p o p n 。w 与排挤成员p o p c f 近似度，迭 代去除与排挤成员相似的个体： s t e p6 输出规则集 3 2 3 实现过程 本文采用了m i t 林肯实验室的1 9 9 8 d a r p a t 4 3 j a 侵检测评估数据源的样本作 为最初的训练样本集。一个完整的t c p 会话被认为是一个连接记录，每个u d p 和i c m p 包也被视为一个连接记录，每条连接信息由4 类属性集组成：基本属性集、 基于时间的流量属性集、基于主机的流量属性集和内容属性集，共包含4 1 个不同 性质的属性，含有3 2 个连续性属性和9 个离散属性，例如p r o t o c o l t y p e 、s e r v i c e 、 f l a g 、l a n d 、l o g g e d _ i n 、r o o t s h e l l 、s u 、h o t _ l o g i n 、g u e s t l o g i n 等。把它们表示成 c = e l ，c 2 ，c m ) ( 其中，c j ，j = 1 ，2 ，m 是第j 个位串，表示第j 个网 络连接属性，m = 4 1 ) 。各个属性意义和取值范围不同。于不同类型的攻击，需要 采用不同的特征属性子集。属性约减后可以得到以下的结果： d o s 的约简属性集为f l ，3 ，5 ，6 ，2 3 ，2 4 ，2 5 ，2 6 ，2 7 ，2 8 ，3 2 ，3 3 ，3 5 ， 3 8 ，3 9 ，4 0 ， 4 1 ) ； p r o b i n g 的约简属性集为 3 ，5 ，6 ，2 3 ，2 4 ，3 2 ，3 3 ) ； u 2 r 的约简属性集为 5 ，6 ，8 ，1 5 ，1 6 ，1 8 ，3 2 ，3 3 ) ； r 2 l 的约简属性集为 3 ，5 ，6 ，2 1 ，2 2 ，2 4 ，3 2 ，3 3 ) ； 把约简后的属性进行基因二进制编码，然后设置个排挤因子c f ，由群体中 随机选取的1 c f 个个体组成排挤成员，然后依据新产生的个体与排挤成员的相 似性来排挤掉一些与排挤成员相似的个体。随着排挤过程的进行，群体中的个体 逐渐被分类，从而形成各个小的生存环境，保持了种群的多样性。这里，个体的 相似性可用个体编码之间的加权海明距离( h a m m i n gd i s t a n c e ) 来度量。染色体x 1 = x 1 i ，x 1 2 ，x m ) ，x 2 = x 2 l ，x 2 2 ，。，x 2 m ) 。x 1 和x 2 之间的海明距离表示为： 所 朋 h ( x 1 ，x 2 ) = l w j