（计算机应用技术专业论文）基于核模糊聚类算法的网络入侵检测系统研究.pdf

摘要 摘要 入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) 是近年来网络安全研 究的热点，它是指用于对计算机和网络上的违反安全策略的行为进行识别和响应 的系统。它把原来的消极被动的安全保障变为积极主动的监控和审计，能对黑客 入侵、内部人员违规操作等行为进行实时的报警和阻断，从而降低了计算机系统 和网络遭受到的风险。 本文首先对i d s 的背景知识理论作了阐述，包括有关入侵检测概念、1 d s 模 型、i d s 的分类及发展历程和方向等，并重点介绍了入侵检测方法。然后简要阐 述了构建i d s 的理想平台l i n u x 的内核及其系统结构。研究了基于核方法的 模糊聚类算法，并将其算法应用到i d s 检测引擎的设计中，有效地提高了聚类的 效果，从而提高了系统的检测完整性，降低了虚警率；最后提出了一个可面向银 行业务应用的基于核模糊聚类算法的网络i d s 的设计方案，并且对其实现方法进 行了详细描述。 在系统的设计与实现过程中，作者对在l i n u x 平台下的网络探头结构进行了 优化设计与实现，包括高速网络接1 ：3 驱动程序实现；利用l i b p e a p 库实现了高效率 且易移植的数据包捕获引擎程序，高效算法和数据结构来进行规则匹配。同时， 实现了基于网络应用数掘流的重组机制，无遗漏地还原网络应用现场；特别是根 据银行应用要求，实现了可对业务应用连接的进行监控和审计的分析插件。通过 共享内存并利用大容量的缓冲区使整个系统的“串行”数掘处理能力得到很大提 高，并将数据的丢包率控制在一定范围内。 本文的研究= ；= i 仅解决了网络i d s 实现的有关问题，而且将i d s 与具体( 银行) 领域的应用相结合，为企业的网络安全和业务审汁提供了一个可供参考的解决方 案。随着系统的不断完善，其市场前景必将更加广阔。 关键问：入侵检测，网络入侵检测系统，核模糊聚类算法，审汁和监控，银 行应用 2 璀主堡堡塑型茎竺竺塑型竺垒堡丝型墨竺型壅 一一 a b s t r a c t i n t r u s i o nd e t e c t i o ns y s t e m ，t h a t i s i d s ，i s ak i n do fc o m p u t e rs y s t e mt h a t i n d e n t i f i e sa n dr e s p o n d st ot h ev i o l a t i o no fp o l i c i e so fc o m p u t e rs e c u r i t ya n dn e t w o r k s e c u r i t y i tt u r n sp a s s i v ep r o t e c t i o ni n t o a c t i v ea u d i t i n ga n dm o n i t o r i n g a n di tg i v e s r e a l t i m ew a r n i n g so rp u t su pb l o c kt oi n t r u s i o n so fh a c k e r sa n dm a l o p e r a t i o n so f i n s i d e r s ，w h i c hb r i n g sd o w n t h er i s k so fc o m p u t e rs y s t e m sa n dn e t w o r k s t h i sp a p e rb e g i n sw i t ht h ef u n d a m e n t a la s p e c t so ft h e o r yo fi d s ，i n c l u d i n gt h e c o n c e p to fi d s ，m o d e l s o fi d sw h i c hh a v ec o m ei n t ob e i n g ，t h ec l a s s i f i c a t i o n so fi d s ， t h ee v o l u t i o na n dt r e n d so fs t u d yi nt h ef i e l do fi d s ，w i t he m p h a s i so nt h em e t h o d so f d e t e c t i o na n da n a l y s i s ，w h i c hi so n eo ft h ec r i t i c a lt e c h n o l o g i e so fi m p l e m e n t i n gi d s t h e nt h ef r a m e w o r ko fo sk e m e lo fl i n u xi ss t a t e db r i e f l y ，w h i c hi st h em o s ti d e a lo s p l a t f o r mf o ri m p l e m e n t a t i o no fi d s a tl a s ti tb r i n g sf o r w a r da na p p l i c a b l ed e s i g no f f u z z yk e r n e lc l u s t e r i n ga l g o r i t h mi d su s e di nb a n ka p p l i c a t i o na n dd e s c r i b e sal o to f v a l u e b l et h i n g sa b o u t i m p l e m e n t i o ni nd e t a i l i nt h ed e s i g na n di m p l e m e n t a t i o no ft h es y s t e m ，t h ep a p e rt r i e st oo p t i m i z et h e d e s i g n a n d i m p l e m e n t a t i o n o fn e t w o r ks e n s o ro nl i n u x p l a t f o r m ，i n c l u d i n g i m p l e m e n t a t i o no fh i s p e e dn e t w o r k i n t e r f a c ec a r dd r i v e r ，h i - p e r f o r m a n c ea n dp o r t a b l e p r o g r a mt oc a p t u r ep a c k e t sw i t ht h eu s eo fl i b p c a p ，p a t t e r nm a t c h i n go nt h eb a s i so f e f f i c i e n ta l g o r i t h m si nn e t w o r k a p p l i c a t i o n si sa l s of u l f i l l e d ，w h i c hc a np r e s e n tu sw i t h a ne x h a u s t i v ed e s c r i p t i o na b o u ts c e n eo fr u n n i n gn e t w o r ka p p l i c a t i o n s e s p e c i a l l y ， a c c o r d i n g t ot h ed e m a n di nb a n ka p p l i c a t i o n s ，a na n a l y s i s p l u g i nh a sb e e nd e v e l o p e dt o m o n i t o ra n da u d i tt h en e t w o r kc o n n e c t i o n sb e t w e e nb a n ka p p l i c a t i o n s b yv i r t u eo f s h a r em e m o r ya n dl a r g es i z eb u f f e r s ，t h es e r i a l i z e dp r o c e s s i n go fd a t ai nt h ew h o l e s y s t e m r u n sw i t hh i g hs p e e d j u s tl i k eam a c r op i p e l i n i n ga n dt h er a t eo fp a c k e tl o s sc a n b ec o n t r o l l e dw i t h i ns o m ed e s i r a b l er a n g e r e s e a r c hd o n ei nt h ep a p e rn o to n l ys o l v e dt h ep r o b l e m sr e l a t e dt oi m p l e m e n t i n g n e t w o r ki d s ，b u ta l s op r o v i d e dar e f e r a b l es c h e m ef o rn e t w o r ks e c u r i t ya n da u d i t i n g o f a p p l i c a t i o ni ne n t e r p r i s e sb yt h ec o m b i n a t i o no fg e n e r i ct d sa n da p p l i c a t i o ni na s p e c i f i cf i e l d w i t hc o n t i n u o u si m p r o v e m e n t ，t h es y s t e mw i l ls u r e l yh a v eav e r yg o o d p r o s p e c t k e yw o r d s ：i n t r u s i o nd e t e c t i o n ，n e t w o r ki n t r u s i o nd e t e c t i o ns y s t e m ，f u z z y k e r n e lc l u s t e r i n g a l g o r i t h m ，a u d i t i n ga n dm o n i t o r i n g ，b a n ka p p l i c a t i o n s 独创 生( 或创新性) 声明 v 6 9 5 6 3 2 本人声明所呈交的论文是我个人在导9 r n - f f 导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特另f j ；j r l 以标注和致谢中所罗列的内容以外，论文中 不包含其他人已经发表或撰写过的研究成果：也不包含为获得西安电子科技大学 或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：垄兰型：邕f = i 期兰堕：l 竺 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位沦文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复e p f i = ，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论 文在解密后遵守此规定) 本学位论文属于保密在一年解密后适用本授权书。 本人签名：超整虚f 1 j i 月兰堕：! ：竺 导师签名 第一争概论 i 第一章概论 全世界计算机网络的数量逐h 增加。这些数量庞大、还在继续增长的嘲络郁 直接或问接地连上了i n t e r n e t 。勿庸置疑，进入i n t e r n e t 将大大增加信息的获 取、交换以及由此而生的机遇。然而，伴随着各种机遇的增加，与i n t e r n e t 广泛 连接也使得多种网络面临着网上盗窃、蓄意破坏等各种危险。目前大多数的攻击 者只是恶作剧的使用撰改主页面，拒绝服务等攻击。一旦他们的技术到达某个层 次，攻击者可以窃听网络上的信息，包括用户的口令、数据库的信息；还可以篡 改数掘库内容，伪造用户身份，更有甚者，攻击者还可以删除数据库内容，摧毁 网络节点，释放计算机病毒等等。现在，计算机网络安全问题已经成为影响国家 独立和安全，影响经济运行和发展，影响社会稳定和繁荣的重大问题。 1 1 1目标 1 1 网络安全 信息安全就是防止计算机上或网络传输中的信息被故意地或偶然地非授权泄 漏、更改、破坏或使信息被非法的系统辨识或控制。它包括操作系统安全、数据 库安全、网络安全、病毒防护、访问控制、加密与鉴别七个方面。其目的就是实 现数据的保密性、完整性和有效性。其中，保密性( c o n f i d e n t i a l i t y ) 是指保护数 掘不受非授权操作的破坏；完整性( i n t e g r i t y ) 是指保证非授权操作不能修改数据： 有效性( a v a i l a b i l i t y ) 是指保证非授权操作不能获取保护信息或汁算机资源。 网络安全是信息安全的重要组成部分。但计算机网络作为综合了计算机、通 信等商精尖技术的门新技术，它已经渗透到人类信息社会的各个领域：计算机 网络已经成为现代社会信息的主要承载和传播工具，人们起来越清楚地患以剑， 计算机就是网络，网络就是计算机。凶此，从一定意义上来浇，网络安全就是信 息安全。 1 1 2 常用技术 一、静态安全模型 网络安全常用静态技术主要有防火墙技术、数据加密技术和漏洞扫描技术等。 l ，防火墙技术 2批十核模糊聚类舅泫的m 络入侵榆测系统究 “防火墙”，是指种将内部网和公众访问网( 如i n t e r n e t ) 分丌的方法， 它实际上是一种隔离技术。使被保护网络周边通过专用软件、硬件及管理措施的 综合，对跨越网络边界和信息提供监测、控制甚至修改的手段。实现防火墙所用 主要技术有数掘包过滤、应用网关( ap p l ic a tio r ) g a t e w a y ) 和代理服务器( p r o x y s e r v e r ) 等。在此基础上合理的网络拓扑结构及有关技术( 在位冒和配置上) 的适 度使用也是保证防火墙有效使用的重要因素。 2 加密型网络安全技术 以数据加密和用户确认为基础的丌放型安全保障技术是普遍适用的，是对网 络服务影响较小的一种途径，并可望成为网络安全问题的最终的一体化解决途径。 加密技术用在网络安全方面通常有两种形式，即面向网络或面向应用服务。前者 通常工作在网络层或传输层使用经过加密的数据包传送、认证网络路由及其它 网络协议所需的信息，从而保证网络的连通性和可用性不受损害。在网络层上实 现的加密技术对于网络应用层的用户通常是透明的。面向网络应用服务的加密技 术，则是目前较为流行的加密技术的使用方法，这一类加密技术的优点在于实现 相对较为简单，不需要对电子信息( 数据包) 所经过的网络的安全性能提出特殊 要求，对电子邮件数据实现了端到端的安全保障。 3 漏洞扫描技术 漏洞扫描是自动检测远端或本地主机安全脆弱点的技术。它查询tcp l p 端口，并记录目标的响应，收集关于某些特定项目的有用信息，如正在进行的 服务，拥有这些服务的用户，是否支持匿名登录，是否有某些网络服务需要鉴另0 等。这项技术的具体实现就是安全扫描程序。扫描程序是一个强大的工具，它可 以用来为审计收集初步的数据。 4 传统网络安全技术的不足 防火墙技术、数据加密技术和漏洞扫描技术等传统网络安全技术都只是静态 的安全技术，是一种静念安全模型，这螳技术均存在相应的缺陷，具体表现在： 1 ) 每一种技术都还有不完善、f i 健全的地方，并不是绝剥安全的； 2 ) 运用的技术单缺乏灵活性，没有形成一种行之有效的防御体系，以 至于一旦绕过这些技术的防线，这些安全防线将毫无作用： 3 ) 无法积极主动地对违反安全策略的事件进行检测并自动响应。 二、动态安全模型 针对静态安全模型的不足之处，同时面对当今不断变化的信息环境和自身系 统，需要用动态的安全模型、方法、技术和解决方案来应对安全问题。 从二十世纪九十年代开始，随着以入侵检测和漏洞扫描为代表的动态检测技 术和产品的发展，动态安全模型也相应地得到了发展。p 2 d r 模型就是这样的技 术模型的代表。 m 幸概论3 p 2 d r 模型如图1 1 所示，包含4 个主要部分：安全策略( p o l i c y ) 、防护 ( p r o t e c t i o n ) 、检测( d e t e c t i o n ) 平呷自应( r e s p o n s e ) 。 p 2 d r 模型是在整体的安全策略的控制和指导下，在综合运用防护工具( 如防 火墙、加密、操作系统身份认证等于段) 进行网络信息安全保护的同时，利用各种 检测工具( 如入侵检测系统、漏洞评估系统等) 及时的了解和评估系统的安全状态， 并通过适当的响应系统调整到新的安全的状态。 i 划1ip 2 d r 动态安全模即 在这个模型中，检测和响应是两个非常重要的组成部分。有了动态的检测机 制( 入侵检测、漏洞扫描) ，就可以主动及时地发现信息系统中存在的安全问题， 并且通过实时而适当的响应，束消除这些使系统处于不安全状态或使安全风险增 加的问题，因此，入侵检测是p 2 d r 十分重要的核心技术之，它的研究对于p 2 d r 模型的实现和应用具有十分重要的意义。 1 2 入侵检测分析 对入侵检测采取的分析方法的好坏，不仅决定了系统实现的复杂度和适用性， 而且直接决定了系统的效率的高低。因此， 分有必要对入侵榆测的分析方法( 尤 其是高放分析方法) 进行研究。入侵检测分析方法般可以分为基于异常的入侵 检测方法和基于误用的入侵方法。 1 2 1 基于异常的入侵检测方法 基于异常的入侵检测是根据使用者的行为或资源使用情况来判断是否入侵， 而不依赖于具体行为是否出现来检测。该方法首先定义一组系统“正常”情况的 数值，如c p u 利用率、内存利用率、文件校验和等，然后将系统运行时的各种参 数与所定义的“f 常”情况比较，得出是否有被攻击的迹象。这种检测方式的核 心在于如何定义“f 常”情况。基于异常的检测有时也被称为基于行为的检测。 4娃f 核模糊聚类弊泣的h 络入侵榆测系统圳，t 一、统计方法 统计方法 1 0 】是指在系统检测组件根据用户对象的动作，为每个用户建立一个 用户特征表，通过比较当前特征与己存储的历史特征，柬判断是否有异常行为。 用户特征需要根据审计记录情况不断地加以更新。这种方法的优越性在于能应用 成熟的统计理论。但也有不足之处，例如：对事件发生的次序不敏感，也就是况， 完全依靠统计理论可能漏检那些利用彼此关联事件的入侵行为。其次，定义是否 入侵的判断阈值也比较困难。阈值太低则误检率提高，阈值太高则漏检率提高。 二、预测模式生成 预测模式生成( p r e d i c a t i v ep a t t e r ng e n e r a t i o n ) 方法【lo j 基于假设：审计事件的 序列不是随机的而是符合可识别的模式。与纯粹的统计方法相比，它增加了对事 件顺序与相互关系的分析，从而能检测出统计方法所不能检测的异常事件。预测 模式生成优点在于：能够处理行为多变但是符合一定次序模式的特征的主体；系 统的适应性好，规则能够通过删除差的规则，保留好的规则而进行不断演化；出 于仅需处理相关的审计时间，计算量少，系统反应快，检测效率高。但它最大的 缺点是：当入侵过程产生的时间序列不符合规则左边的模式定义时，该事件序列 将被标识成不认t 的时阳j 序列，从而无法检测出入侵。 三、神经网络 利用神经网络进行入侵检测的基本思想是利用一系列信息单元( 即命令) 来 训练神经单元，这样在给定一组输入后，就可以预测出输出。神经网络更好地表 达了变量问的非线性关系，并且能自动学习并更新。神经网络方法的优点在于能 更好地处理原始数据的随机性。缺点在于网络拓扑结构以及各元素的权重很难确 定，命令窗口w 的大小也难以选取。窗口太小，则网络输出不好，窗口太大，则 网络会因为大量无关数据而降低效率。 除上述基于异常的检测方法外，还有基于特征选择异常检测方法、基于机器 学习异常检测方法、基于数掘挖掘异常检测方法、摹丁贝叶斯推理异常检测方法、 基于贝叶斯网络异常检测方法、基于贝叶斯聚类的异常检测方法。 基于异常的检测方法与系统相对无关，通用性较强。它有可能检测出更广泛 的、甚至未知的攻击行为。但是由于它不呵能对系统内的所有用户的行为进行伞 面的描述，而且每个用户的行为是经常改变的，所以它的主要缺陷在于误报率很 高。其次，基于异常的检测技术无法准确识别攻击。 1 2 2 基于误用的入侵检测方法 基于误用的检测指运用已知攻击方法，根据已定义好的入侵模式，通过判断 这些入侵模式是否出现来检测入侵行为。因为很大一部分的入侵是利用了系统及 搀一币i i 【论 5 应用的脆弱性和网络协议的弱点，通过分析入侵过程的特征、条件、排列以及事 件l 、b 3 关系柬具体描述入侵行为的迹象。基于误用的检测有时也被称为基于知识的 检测。 一、专家系统 专家系统”们是根据安全专家对可疑行为的分析经验来形成一套推理规则， 然后在此基础之上构成相应的专家系统。专家系统主要根掘已有的规则知识进行 推理，然而主要的威胁来自许多未知的攻击行为，因而它的识别范围和能力是非 常有限的。实现一个基于规则的专家系统是一个知识工程问题，其功能应当能够 随着经验的积累而利用其自学习能力进行规则的扩充和修正。在具体实现中，专 家系统主要也面临以下问题：全面性问题，即难以科学地从各种入侵手段中抽象 出全面的规则化知识；效率问题，即所需处理的数据量过大，而且在大型系统上， 如何获取实时连续的审计数据也是个问题。 二、状态迁移分析 状态迁移分析叫是一种使用状念迁移图来表示和检测入侵的方法。状态转 移分析提供了一种非常直观、简便、独立于审计数据格式的检测方法。它能检测 同一类入侵及其多种变种，在一定程度上可以预测下一步可能的攻击方法。然而。 它的局限性在于：它不能检测比较复杂的和不能表示为状态迁移过程的攻击行为。 三、模型推理 入侵者在攻击一个系统时往往采用一定的行为序列，如猜测口令的行为序列，这 种行为序列构成了一定行为特征的模型，根据这种模型所代表的攻击意图的行为 特征，可以实时地检测出恶意的攻击企图。模型推理方法的优点有：对不确定性 的推理有合理的数学理论基础，同时攻击脚本可以与审计记录的上下文无关。另 外，这种检测方法也减少了需要处理的数据量，因为它首先按脚本类型检测相应 类型是否出现，然后再检测具体的事件。但是创建入侵检测模，删的上作量比剧的 方法要大，并且在系统实现时如何有效地翻译攻击脚本也是个问题。 除上述的方法以外，基于误用的入侵检测方法还有基于条件概率误用入侵检 测方法、基于键盘监控误用检测方法、基于模式匹配误用检测方法等”“。 基于误用的检测方法要维护一个入侵规则库，依据具体特征规则进行判断， 所以检测准确度很高，对于已知的攻击可以详细、准确地报告攻击类型。但是， 将具体入侵手段抽象成知识往往比较困难，并且检测范围受到已知知识的局限， 对未知攻击的检测效果并不好，而且入侵模式库必须不断更新爿能适应不断变化 的情况。另外，它对具体系统依赖性太强，系统移植性不好，维护工作量大。 从上面对两种入侵检测方法的分析中可以看出，基于行为和基于知识的检测 方法各有优缺点，如果条件允许，两者结合的检测可能达到更好的效果。 捧卜核模榔聚类算法的刚络入侵_ f ：；_ 捌系统讲究 1 3 本文的研究内容和意义 本文旨在探讨一个在现实的应用环境中可用的基于核模糊聚类算法的入侵检 测系统的实现。它不但能够解决企业的网络安全问题，而且能够对银行业务进行 审计和监控找到了通用入侵检测系统在具体应用中的最佳切合点，构建的系统 能够为化解和防范金融风险提供最强有力的保障。 本文主要完成了以下方面的研究工作： 1 论述了入侵检测系统的相关理论知识，包括：入侵检测系统的历史、概 念、模型、分类方法、产品特点、发展趋势、c i d f 标准等； 2 仔细研究了l i n u x 内核的源代码，通过修改部分源代码和对内核进行裁 减，使之成为一个适合于i d s 运行的安全操作系统； 3 对l i n u x 下网络接口设备驱动程序的编写进行了研究，实现了一种网络 接口卡在l i n u x 下的高速网络驱动： 4 认真研究了l i n u x 下l i b p c a p 函数库和b p f 的机制与原理，实现了l i n u x 下的可移植且高效率的网络数据包捕获引擎程序； 5 研究了基于核方法的模糊聚类算法，并将其算法应用到i d s 检测引擎的 设计中，有效地提高了聚类的效果，从而提高了系统的检测完整性，降 低了虚警率： 6 采用了便于使用高效查找算法的数据结构来组织规则，大大提高了舰则 匹配的速度： 7 仔细研究了t c p i p 协议、网络应用协议以及银行业务应用协议，分别实 现了基于网络应用协议和基于业务应用协议的审计分析插件。 奉章介绍了网络安全目标和常用技术。对基十异常的入侵检测方法和基j 二误 j j 的入侵榆测方法分别进行了详细介绍，并比较了各自的优劣，指 j 了入侵榆测 采取的分析方法的好坏，不仅决定了系统实现的复杂度和适用性，而且直接决定 了系统的效率的高低，因此，十分有必要对入侵检测的分析方法( 尤其是高效分 析方法) 进行研究。最后概括了本文研究的内容，指出了本文研究的意义。 一章入侵伶测系统 第二章入侵检测系统 早在2 0 世纪7 0 年代国际上就丌始了防范计算机和网络遭受攻击的研究。1 9 8 0 年，a n d e r s o n 首先提出了入侵检测的概念i i 】，他将入侵尝试或威胁定义为：潜在 的、有预谋的、来经授权地访问信息和操作信息，致使系统不可靠或无法使用的 企图。他提出审计追踪可应用于监视入侵威胁。但由于当时的所有系统的安全程 序都着重于利用单一的访问控制方式柬保障系统安全所以这一设想的重要性当 时并未被理解，但他的这一份报告被认为是入侵检测的丌山之作。1 9 8 7 年， d e n n i n g 提出了入侵检测系统的抽象模型1 2 】，这是入侵检测发展史上的一个罩程 碑。他首次将入侵检测的概念作为一种计算机系统安全防御问题的措施提出，与 传统的加密和访问控制手段相比，入侵检测系统是一种全新的计算机安全措施。 1 9 8 8 年m o r r i si n t e r n e t 蠕虫事件造成了巨大损失，导致许多入侵检测系统 的丌发研制。1 9 8 8 年，l u n t 等人进一步改进了d e n n i n g 提出的入侵检测模型，提 出了与系统平台无关的实时检测思想，并创建了1 d e s ( i n t r u s i o nd e t e c t i o ne x p e r t s y s t e m l ，此系统被设计用于检测针对单。主机的入侵尝试。同年，为协助美国空 军官员检测误用空军基地使用的u n i s y s 大型机，而j r 发了h a y s t a c k 系统：基h 1 j 样的原因，出现了为美国国家计算机安全中心m u l t i c s 主机丌发的m i d a s ( m u l t i c s i n t r u s i o nd e t e c t i o na n d a l e r t i n gs y s t e m ) 。l9 9 0 年，h e b e r l e i n 等人提出了基于网络 的入侵检测系统n s m ( n e t w o r ks e c u r i t ym o n i t o r ) ，n s m 可以通过在局域网上主 动地监控网络信息流量来追踪可疑的行为。1 9 9 1 年，出现的n a d i r f n e t w o r k a n o m a l ya n di n t r u s i o nr e p o r t e r ) 与d i d s ( d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ) 提 出了收集和合并处理来自多个主机的审计信息从而用以检测针对一系列主机的协 i 刊攻击。1 9 9 4 年，m a r kc r o s h i e 和g e n es p a f f o r d 建议使用自治代理以便提高入侵 检测系统的可伸缩性、可维护性、容错性和效率。1 9 9 5 年以后出现了很多新型入 侵检测系统，特别是智能入侵检测系统领域，神经网络、p e t r i 网模型、遗传算法、 模糊识别、免疫系统、数据挖掘、数据融合、等理论方法都得到了初步应用，但 将这些方法应用于入侵检测领域目日0 尚处在理论研究阶段。 2 1 1 入侵和入侵检测 2 1 概念 “入侵”( i n t r u s i o n ) 是个广义的概念，从计算机安全的目标来看，入侵【4 1 的定义 是：旨在破坏计算机系统所拥有资源的完整性、保密性、有效性3 】的任何行为和 8 基于核模糊泉类算法的刚络入侵榆测系统研 违反系统安全策略的任何事件。从入侵策略角度来看，入侵可分为：企图进入或 成功进入、冒充其他用户、违反安全策略、合法用户的泄漏、独占资源和恶意使 _ = l j 等六大方面。 国际计算机安全协会( i c s a ) 则将入侵检测( i n t r u s i o nd e t e c t i o n ) 定义为“通 过从计算机网络或计算机系统中的若干关键点收集信息并对其进行分析，从中发 现网络或系统中是否有违反安全策略的行为和遭到袭击的迹象并同时作出响应的 一种安全技术”。 2 1 2 入侵检测系统 顾名思义，入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，简称i d s ) 是入侵检 测的具体实现，是由计算机软件和硬件组合而成的计算机安全系统。入侵检测系 统 4 1 9 t 系统进行实时监控，获取系统的网络数据包或审计数据，然后将得到的数 据进行分析，并判断系统或网络是否出现异常或入侵行为。一旦发现异常或入侵 情况，发出报警并采取相应的保护措施。 1 d s 具有的功能有：监测用户和系统的运行状况，发现用户越权操作；检测 系统配置的正确性和安全漏洞，并提示管理员修补漏洞：对用户非正常活动的统 计分析，发现行为的规律；检查系统程序和数据的一致性及正确性；能够实时检 测到攻击行为，并进行反应；操作系统的审计跟踪管理。 2 2 1 入侵检测系统抽象模型 2 2 模型 d o r t h ye d e n n i n g 于1 9 8 7 年提出了一个i d s 抽象模型 2 1 如图2 1 所示。 主体活动 时钟 新建行为 聃祉 图2 1 i m 。黜新 彬，l l 雠计2 ，型新。i 燕订_ 竺篙 规则集卜_ _ 1h 皆j ； 处理引擎1 i 、 所史行为 特征 第一章入侵1 奇测系统 9 该模型主要由以下六个部分组成： l ，主体( s u b j e c t s ) ：启动在目标系统上的活动实体，例如用户； 2 对象( o b j e c t s ) 系统资源，例如文件、设备、命令等： 3 ( a u d i tr e c o r d s ) ：由 构成的六元组；其中，活动( a c t i o n ) 是指主 体对目标的操作，对操作系统而言，这些操作包括读、写文件、登录和 退出等；异常条件( e x c e p t i o n c o n d i t i o n ) 是指系统对主体的活动的异常报 告，例如违反系统文件的使用权限；资源使用状况( r e s o u r s c - u s a g e ) 贝0 是 指系统的资源消耗情况，例如，c p u 负载、内存使用率等：( t i m e - s t a m p ) 是指活动发生的时问； 4 行为轮廓( p r o f i l e s ) ：用以保存主体难常活动的有关信息，具体实现依赖 于检测方法，例如在统计方法中，从事件数量、频度、资源消耗等方面 度量，可以使用方差、马尔可夫模型等方法实现： 5 异常记录( a n o m a l yr e c o r d s ) ：出 组成，用 以表示异常事件的发生情况； 6 活动规贝l j ( a c t i v i t yr u l e s ) ! 系统判断是否入侵的准则，以及当发现入侵行 为时应采取的相应措施。 在当前条件下来看，d e n n i n g 的通用入侵检测模型受当时的技术条件等的制 约，具有许多的不足之处，如数据源获驳方式不灵活、检测方法单一、实时性不 够好、也未回答各i d s 之问关系的问题等。随着时间的推移和技术的突飞猛进， 一种新的通用入侵检测模型呼之欲出。 2 2 2 通用入侵检测框架 由t e r e s al u n t 等发起的丌放性研究组织入侵检测工作组( i n t r u s i o n d e t e c t i o n w o r d i n g g r o u p ，简称i d w g ) 丌展了这方而的研究工作。它提了糗 套规范，称为通用入侵检测框架( c o m m o ni n t r u s i o nd e t e c t i o nf r a m e w o r k ，简称 c i d f ) 。c i d f 主要定义了1 d s 表达检测信息的标准语言以及i d s 组件之| 【j j 的通 信协议，符合c 1 d f 规范的i d s 可以共享检测信息，相互通信，协同工作，埏_ j 以与其他系统配合实施统的配置响应和恢复策略。c 1 d f 的主要作用在于继承 各种i d s 并使之协同工作，实现各i d s 之白j 的组件重用，所以，c 1 d f 也是构建 分布式i d s 的基础。 c i d f 由4 个检测组件组成 5 1 ：事件产生器( e v e n tg e n e r a t o r ) 、事件分析器 ( e v e n ta n a l y z e r ) 、响应单元( r e s p o n s eu n i t s ) 和事件数据库( e v e n td a t a b a s e ) ， c i d f 的基本体系结构如图2 2 所示。 1 0 苎! ：堡堡塑羔耋竺些竺竺竺垒堡兰型至竺竺! ! _ _ - - - - _ 一一一 c i d f 将i d s 需要分析的数据统称为事件( e v e n t ) ，它既可以是基于网络的 i d s 中的网络数据包，也可以是基于主机的i d s 从系统r 志等其它途径得到的信 息。密件产生器是从整个计算环境中获得被监控的事件，并向系统的其它部分提 供此事件，事件分析器分析得到的数据，并产生分析结果。响应单元则是对分析 结果作出反应的功能单元，它可以产生切断连接、改变文件属性等强烈反应，也 可以只是简单的报警。事件数据库是存放各种中间和最终数据的组件的统称，它 可以是复杂的数据库，也可以是简单的文本文件。 图2 2c i d f 基本体系结构 c i d f 致力于确立i d s 的通用结构模型、i d s 内组件通信接口、各i d s 间互 操作等方面的标准，由于各种原因，目前的入侵检测商业产品也没有完全采用该 标准。但是，随着行业的不断规范，越来越多的厂商不断达成共识，相信终有一 天它会被投入到实际应用中去。 2 3 分类 目6 u 被计算机安全业界公认的i d s 分类方法1 6 1 有两种：一种是根据i d s 的 输入数据来源来分，可分为基于网络的i d s e t w o r kb a s e di d s ，简称n i d s ) 币u 基 于主机的i d s ( h o s tb a s e di d s ，简称h 1 d s ) ：另一种是根据i d s 的采用的技术柬 分，可分为采用误用检测的i d s 利采用异常检测的i d s 。当然，也有其他的一些 分类方法，如按照工作方式分，可分为在线检测和离线榆测；按照体系结构分类， 可分为集中式、等级式、协作式；按照入侵检测的响应方式分类，叮分为主动响 应和被动响应。但是，现在的1 d s 已经不再是单纯地采用某一种技术手段或者t 铲 一方式的设计方案，综合运用各种技术手段末实现i d s 是其发展的必然趋势。 下面对以上主要的入侵检测分类类别进行逐一介绍。 2 3 1 按数据源分类 一、基于主机的i d s h i d s 通常安装在被重点监控的主机之上，以计算机系统审计f | 志、应用程 序同志等审计记录文件作为数据源，通过对这些审计记录文件内容与攻击特征 第一章入侵榆测系统 ( a t t a c ks i g n a t u r e s ，攻击特征是指用特定方式表示已知的攻击模式) 或者与主机 主体活动的特征和统计规律进行智能分析与比较，以发现它们是否匹配。如果出 现系统认定的可疑或入侵事件发生，则h i d s 立即对这些事件作出反应。 早期的i d s 大多是h 1 d s 。作为i d s | e | 勺一个重要类型，它具有明显的优点川： 能够比较准确地定位攻击行为；误报率比较低：适用于加密和交换叫：境；近j 王史 时的检测和响应：能够检测到n i d s 检测不到的攻击。 当然，h i d s 也有不足之处【7 i ，包括：必须安装在需要保护的没备l ；依赖于 被保护系统固有的开志与监视能力：会占用主机的系统资源，增加系统负荷：全 面部署h i d s 代价较大，未安装i d s 的主机将成为保护的盲点；针剥不同的操作 系统平台必须丌发出不同的应用程序等。 二、基于网络的i d s n 1 d s 以原始的网络数据包作为数据源，利用网络接口在需要受保护的删段 实时监视并分析通过这部分网络进行传输的所有通信数据。一旦发现咳网段上发 生的网络入侵，则实时报警或者阻断有害的网络连接。 与h i d s 相比，n i d s 也具有明显的优点i l ”：实州检测和u 向应；独立f 原台 的系统：能够检测到来成功的攻击企图；部署和丌发成本比较低。 同样，n i d s 也有差强人意的地方【i ”，包括：它只能检测和它直接连接的网 段的通信，不能检测在不同网段的数据包；在交换网络环境中难于配置，对于加 密环境更是无能为力；防欺骗的能力比较弱等。 三、分布式的i d s ( d i s t r i b u t e di d s ，简称d i d s ) 由于n i d s 和h i d s 都有不足之处，在某些方面具有很好的互补性，而单纯 使用一类系统并不能形成完整而全面的主动防御体系。因此，将两行有机地结合 起来，取长补短，便能在网络中构成一套立体主动的防榔体系。综合了上述两种 系统特点的i d s 一般为分布式结构，山多个组件组成，既可以发现网络q ，的攻。h 信息，也可以从系统同志f 1 1 检测到异常。 2 3 2 按采用的技术手段分类 一、异常检测的i d s 异常检测( a n o m a l yd e t e c t i o n ) 也称为基于行为( b e h a v i o r b a s e d ) 的检测， 它的基本前提是：假设所有的入侵行为都是异常的，即入侵行为都是异常行为的 子集。典型的采用异常检测的i d s 模型如图2 3 所示。活动轮廓由一组统计参数 组成，通常包括c p u 和i o 利用率、文件访问、出错率、网络连接等。这类i d s 先产生主体的活动轮廓，系统运行时，异常检测程序产生当前活动轮廓并同原始 轮廓比较，同时更新原始轮廓，当发生显著偏离时即认为是入侵。 1 2 摧十核模糊聚类算法的刚络入侵榆测系统 i j l _ 究 图2 3典型的采川异常检测的i d s 模型 基于异常的检测与系统相对无关，通用性较强。它甚至可以检测出以前从未 出现过的攻击方法，不像基于特征的误用检测那样受必须已知攻击的模式和特征 的限制。但因为难以确定“正常”行为特征的轮廓、特征量及比较阈值等，因此 误报率和漏报率比较高；并且，随着每个用户的行为的经常改变，需要及时地动 态更新特征轮廓，这样往往需要比较大的计算量，刘系统的性能有较高要求；特 别是，入侵者如果知道系统在i d s 的监视之下，他们可以慢慢地训练检测系统， 以至于最初认为异常的行为，经过一段时间训练后也认为是f 常的了，因而存在 i d s 可能被攻破的凶险。 二、误用检测的i d s 误用检测( m i s u s ed e t e c t i o n ) ，也称为基于特征( s i g n a t u r eb a s e d ) 或基于 知i ： ( k n o w l e d g eb a s e d ) 的检测。它的基本前提是假定所有可能的已知入侵行期 都能被识别和表示。典型的采用误用异常检测的i d s 模型如图2 4 所示。 修改已有 规则 图2 4 典型的采用误用异常检测的i d s 模型 误用检测系统一般对系统的要求不是很高；主要是通过高效率的模式匹配， 而当今在这方面的理论和技术研究已经相当成熟，运行效率往往比较高：能够通 过对模式的精确而且完备的表示来准确识别和阻止所有攻击及其变种攻击，误报 率比较低。然而，误用检测系统往往漏报率高，因为建立和更新维护一个完备和 精确的攻击特征库是比较豳难的事情，需要不断地研究已知的每一种攻击行为的 筇幸入侵榆测系统 l3 特征，特别是对未知攻击的行为根本无法表示出来。同时，由于入侵攻击的特征 往往与具