（模式识别与智能系统专业论文）基于改进的bm算法的分布式入侵检测系统的研究.pdf

江苏大学硕士学位论文 摘要 入侵检测技术是继“防火墙”、“数据加密”等传统安全保护措施后新一代的安全 保障技术。它对计算机和网络资源上的恶意使用行为进行识别和响应，它不仅检测来 自外部的入侵行为，同时也可监督内部未授权的活动，在网络安全领域有着广泛的应 用。但是目前入侵检测系统还不是很成熟，深入研发性能更高的入侵检测系统在当前 便显的十分的重要和有意义。本论文主要做了以下几方面的工作： ( 1 ) 首先介绍了入侵检测的研究背景及意义。分析了分布式入侵检测系统当前国 内外研究现状、存在的主要问题、发展前景等。随后介绍了入侵检测领域的模式匹配 算法的原理、分类、发展和挑战等，为随后对模式匹配算法和分布式入侵检测系统的 研究和应用奠定了基础。 ( 2 ) 在模式匹配的b m 算法的基础上提出了一个新的改进后的c b m 算法，并通过 实验将k m p 算法、阴算法、b m h 算法、b m h s 算法和c b m 算法做了一个对比，证明了改 进后的c b m 算法比另外几种算法在模式匹配过程中具备了更高的运行效率。 ( 3 ) 针对现有入侵检测系统存在的问题，研究和设计了一种新的采用多a g e n t 机 制的分布式入侵检测系统。它采用多a g e n t 技术来实现其主体框架，各a g e n t 及其组 成部分分布在整个网络上，互相之间通过通信、协作、管理来完成入侵检测。基于多 a g e n t 技术体系构建起来的分布式入侵检测系统可以提供更好的实时性、更强的检测处 理能力和更大的检测范围，同时还能提高系统的健壮性、稳定性和可扩展性，全面提 高入侵检测的性能。 ( 4 ) 通过模拟的入侵检测实验验证了所设计的入侵检测系统能有效的运行起来， 发挥作用。同时将本文所设计的分布式入侵检测系统的检测点的丢包率与当前国际上 流行的s n o r t 入侵检测系统的丢包率进行比较，并得到了实验数据图。得出本文提出 的分布式入侵检测系统的检测点比当前流行的s n o r t 入侵检测系统能承受更大的网络 流量，在更大的网络攻击流量范围内具备更小的丢包率这个结果。证明本文采用的多 a g e n t 机制和新的模式匹配算法提高了入侵检测系统的处理速度，所开发出来的分布式 入侵检测系统能具备更高的处理能力和更好的性能。 关键字：网络安全，模式匹配，多a g e n t ，分布式，入侵检测 江苏大学硕士学位论文 a b s t r a c t i n t r u s i o nd e t e c t i o nt e c h n o l o g yi sa n o t h e rs e c u r i t yg u a r a n t yt e c h n o l o g ya f t e r f i r e w a l l ， d a t ae n c r y p t i o n o ro t h e rt r a d i t i o n a ls e c u r i t yp r o t e c t i o nw a y i tc a nr e c o g n i z ei l l e g a la c t i o n h a p p e n i n go nc o m p m e r o rn e t w o r k ，a n dc a nn o to n l yd e t e c ti n t r u s i o nf r o mo u t s i d eb u ta l s o s u p e r v i s ei n t e r n a lu n a u t h o r i z e da c t i o n ，w h i c hi sa p p l i e db r o a d l y i nn e t w o r k s e c u r i t ya r e a f o r c u r r e n ti n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) i sn o ts oa d v a n c e dd e v e l o p m e n to fh i g h e re f f i c i e n c y i d sh a sb e c o m es oi m p o r t a n t i nt h i si s s u em a i nw o r ki sb a s e do nt h e s ei t e m s ： ( 1 ) r e s e a r c hb a c k g r o u n da n ds i g n i f i c a n c ea b o u ti d s ，i n t e r n a t i o n a la n dd o m e s t i cr e s e a c h l e v e l ，m a i np r o b l e ma n dd e v e l o p m e n td i r e c t i o na r ed e s c r i b e d i n t r u s i o nd e t e c t i o nr e l a t e d p a t t e r nm a t c h i n g sp r i n c i p l e ，c l a s s i f i c a t i o n ，d e v e l o p m e n ta n dc h a l l e n g ea r ed i s c r i b e d ，w h i c h a r ep r e p a r e df o rl a t er e s e a r c ha n da p p l i c a t i o no fd i d sa n dp a t t e r nm a t c h i n ga l g o r i t h m ( 2 ) an e wi m p r o v e dp a t t e r nm a t c h i n ga l g o r i t h mn a m e dc b ma l g o r i t h mi sr a i s e df r o m b ma l g o r i t h ma n dd e t a i l e d p e r f o r m a n c ec o m p a r i s o n s o fk m pa l g o r i t h m ，b m a l g o r i t h m ，b m ha l g o r i t h m ，b m h sa l g o r i t h ma n dc b ma l g o r i t h mt h r o u g he x p e r i m e n ta r e m a d e ，w h i c hp r o v ec b ma l g o r i t h mh a sh i g h e re f f i c i e n c yt h a no t h e ra l g o r i t h m si np a t t e r n m a t c h i n gp r o c e d u r e ( 3 ) t op r o b l e mo fc u r r e n ti d san e wd e s i g no fd i s t r i b u t e di n t r u s i o nd e t e c t i o n s y s t e m ( d i d s ) b a s e d o nm u l t i - a g e n t t e c h n o l o g ya r ep r e s e n t e d t h i sd e s i g nt a k em u l t i - a g e n t t e c h n o l o g yt ob u i l di n f r a s t r u c t u r eo fd i d sa n d a l la g e n t sw h i c hc o m m u n i c a t e ，c o o p e r a t ea n d m a n a g ee a c ho t h e r a r el o c a t e do ne v e r y w h e r eo fw h o l en e t w o r k t l l i sd i d sb a s e do n m u l t i - a g e n ts t r u c t u r ec a l ln o to n l yp r o v i d eb e t t e rr e a l - t i m ea b i l i t y , h i g h e rd e t e c t i o na b i l i t y a n dw i d e rd e t e c t i o nr a n g eb u ta l s oi m p r o v ee x t e n s i b i l i t y , r o b u s t i c i t ya n ds t a b i l i t yo fw h o l e s y s t e m ，w h i c hc a l li m p r o v ep e r f o r m a n c eo fi n t r u s i o nd e t e c t i o n ( 4 ) s i m u l a t i o ne x p e r i m e n to fi n t r u s i o nd e t e c t i o np r o v e st h i sd e s i g n e dd i d sc a n r u n a n dw o r kp r o p e r l y l a t ec o m p a r i s o ne x p e r i m e n to fp a c k e t l o s sr a t eo fd e s i g n e di d sa n d s n o r ti d sw h i c hi sp o p u l a rc u r r e n t l ya r em a d e ，w h i c hp r e s e n t se x p e r i m e n td a t ad i a g r a mi n t h i sa r t i c l e t l l i se x p e r i m e n tp r o v e st h a td e s i g n e di d sh a sl o w e rp a c k e t l o s sr a t et h a ns n o r t i d si nw i d e rr a n g eo fn e t w o r ka t t a c kd a t a - p a c k e ts p e e d t h i se x p e r i m e n ta l s op r o v et h a t m u l t i a g e n tm e c h a n i s ma n dn e wp a t t e r nm a t c h i n ga l g o r i t h mi m p r o v ep r o c e s ss p e e do f d i d sw h i c hh a sb e t t e rp e r f o r m a n c ea n dh i g h e rp r o c e s sa b i l i t ya sr e s u l t k e y w o r d s ：n e t w o r ks e c u r i t y , p a t t e r nm a t c h i n g , m u l t i a g e n t ，d i s t r i b u t i n g , i n t r u s i o n d e t e c t i o n 江苏大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并 向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授 权江苏大学可以将本学位论文的全部内容或部分内容编入有关数据库进行检索，可以 采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口， 在年解密后适用本授权书。 本学位论文属于 不保密凹 。 学位论文作者签名： 2 1 乡 指导教师签名：学位论文作者签名：9f 矿指导教师签名： 。一 加一g 年亿月力e l 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容以外，本 论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本 文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 2 杪 日期：弘8 年仁月力6e t 江苏大学硕士学位论文 第1 章绪论 1 1 课题的研究背景及意义 随着计算机网络与通信技术的发展，网络通信已经渗透到社会经济、文化和科学 的各个领域，成为一个无所不有、无处不用的工具，因此网络的安全性和可靠性也成 为了世界各国共同关注的焦点。与此同时，针对网络系统的攻击也越来越普遍，攻击 手法日趋复杂。由于i n t e r n e t 的无主管性、跨国界性、不设防性以及缺少法律约束性 等特点，网络也带来了巨大的风险，面临着日益严重的安全问题n 3 。在网络安全方面人 们最初想到的方法是“防 ，于是最先发展起来的是防火墙，现在防火墙技术口，发展相 对比较成熟，各商业公司也都各自有自己的产品。但是现在逐渐认识到光靠“防”不 能很好的解决安全问题。并且防火墙主要是防止外部对内部的侵扰，而对内部用户的 不轨行为却缺乏监控能力。于是许多公司开始了对入侵检测系统的研发。 入侵检测系统口1 ( i n t r u s i o nd e t e c t i o ns y s t e m ) 是从多种计算机系统及网络系统 中收集信息，再通过这些信息分析入侵特征的网络安全系统。它能使在入侵攻击对系 统发生危害前，检测到入侵攻击，并利用报警与防护系统驱逐入侵攻击；在入侵攻击 过程中，能减少入侵攻击所造成的损失；在被入侵攻击后，收集入侵攻击的相关信息， 作为防范入侵的知识添加入策略集中，避免系统再次受到同类型的入侵。入侵检测系 统是近年出现的新型网络安全技术，它之所以重要就是因为它可以弥补静态防御系统 的不足，以实时性、动态检测和主动防御为特点，为网络安全提供有效的入侵检测及 采取相应的防护手段。 虽然许多公司已经推出了自己的入侵检测系统的产品，在一定程度上满足了互连 网络用户在特定环境下对入侵检测的需求，但目前大部分入侵监测系统都使用单一独 立的结构来进行集中的数据收集和分析。虽然另有一些入侵检测系统通过使用分布在 被检测的各个主机的模块进行分布式的数据收集，但是被收集的数据仍被集中到一个 地点，由一个独立的引擎来进行分析。这些结构都存在如下的问题：入侵检测的实时 性差；集中的分析存在单点失效问题；对可扩展性有限制；集中分析器的处理能力限 制了网络规模，为已有的系统重新和增添配置比较困难。 分布式入侵监测系统是将任务分给多个相互合作的主机入侵检测系统。每个入侵 检测系统独立监视自己负责的区域，多个入侵检测系统同时运行、相互合作，将相关 的入侵分析信息发送给控制中心，同时接受控制中心的管理。在实现技术上一般采用 多a g e n t 技术来实现其主体框架，每个a g e n t 完成一项特定的功能，各a g e n t 间通过 通信h 1 互相协作来完成入侵检测。基于a g e n t 技术特性和多a g e n t 体系构建起来的分布 江苏大学硕士学位论文 式入侵检测系统可以提供更好的实时性、更强的检测处理能力和更大的检测范围，同 时还能提高系统的健壮性、稳定性和可扩展性，并能使系统融合各种检测技术于一身， 从而创建一个更强大的入侵检测系统。因此采用多a g e n t 技术的分布式入侵检测系统 已成为了当前很多公司的研究重点，也成为了入侵检测领域将来的发展趋势。 模式匹配在入侵检测系统中有着非常重要的影响。入侵行为的特点建立了一组入 侵行为的特征模式集，同时加入针对各种行为入侵检测系统应该采取的措施，构成系 统的安全规则。所以一个入侵检测系统的主要工作就是在监听到的数据中匹配系统的 安全规则，根据发现的入侵情况采取相应的措施。在入侵检测中，一个关键的技术就 是入侵检测引擎的研究。检测引擎的检测效率高低与否是决定整个系统效率的瓶颈。 在检测引擎中，最常用的也是最关键的部件就是模式匹配部件。以前的调查结果表明， 入侵检测系统大部分处理时间都在进行模式匹配，除了运行时间，入侵检测系统也应 同时节约更多的内存空间，所以需要找到一种好的模式匹配算法，才能提高检测引擎 的检测效率，最终提高入侵检测系统的整体性能。在入侵检测系统中，精确模式串匹 配技术不仅得到了广泛应用睛m 1 ，而且成为影响系统性能的决定性因素口1 。同时在入侵 检测以外的其他领域，模式匹配算法也有着广泛的应用。 病毒检测也是串匹配算法的重要应用领域之一。病毒检测系统有一个庞大的病毒 特征库，病毒检测就是在每一个文件中搜索可疑的病毒特征的过程。据统计，到2 0 0 5 年，网络病毒己接近l o 万种。在商用的病毒软件系统中，病毒库也是每天更新。面对 如此庞大的病毒库，没有有效的串匹配算法是不可相象的。 在网络信息以指数级速度增长的今天，信息的良莠不齐也是一个严重困扰人们的 问题。大量黄色信息、反动言论和国家机密在网络上蔓延和传播，给社会稳定和国家 安全造成了严重威胁，如何对这些不良信息进行网络监管是网络内容过滤系统的重要 任务。在这些系统中，使用串匹配算法对有害信息进行匹配是基本的手段之一。这些 系统通常运行在骨干网结点上，单位时间内需要处理的数据量非常之大，实时性要求 非常之高。作为检测引擎的核心，模式匹配算法性能的好坏是影响系统性能的决定因 素之一。 此外，随着生命科学的发展，人们对生命物质的微观结构有了越来越深入的认识。 目前，人类基因组序列的绘制工作已完成，大型蛋白质重要样本数据库也已经建立嘲。 人们利用计算机技术来存储和辅助分析这些庞大的数据，从而产生了计算机生物学的 交叉学科。目前典型应用主要有寻找一个或者一组基因片断在一个基因序列中的出现 位置，以比较基因的相似性和遗传关系四1 ，或者根据已知的蛋白质样本去匹配未知的蛋 白质序列，从而确定这种未知的蛋白质序列所属的蛋白质种类和功能n 们。由于蛋白质 和基因都可以用建立在一定的字符集上的符号序列来表示，所以传统的字符串匹配 技术又得到了新的发展空间。此外，为了适应生物计算的容错匹配问题，近似字符串 2 江苏大学硕士学位论文 匹配技术也获得了极大的提高和发展。 综上所述，模式匹配技术在众多的领域中发挥着基础的核心作用n ，对模式匹配 算法作进一步的研究和改进，对于提高应用系统的性能、节约硬件成本有着重要的现 实意义。 1 2 本文研究的主要内容和创新点 本文首先介绍了所研究课题的研究背景、意义以及国内外的研究现状。对入侵检 测做了一个简单介绍，然后分析了分布式入侵检测系统当前国内外研究现状、存在的 主要问题、发展前景等。随后介绍了入侵检测领域的模式匹配算法的原理、分类、发 展和挑战等，为下面对模式匹配算法和分布式入侵检测系统的研究和应用奠定了基础。 本文的主要内容和创新点如下： ( 1 ) 在模式匹配的b m 算法的基础上提出了一个新的改进后的c b m 算法，并通过 实验将b m 算法、b m h 算法、b m h s 算法和c b m 算法做了一个对比，验证了改进后的c b m 算法比另外几种算法在模式匹配过程中，匹配次数更少，时间开销更小，运行效率更 高。应用c b m 算法的分布式入侵检测系统整体性能就会得到很大的提高。 ( 2 ) 对一个新的基于多a g e n t 的分布式入侵检测系统进行了研究和设计，详细分 析了这个分布式入侵检测系统的运行原理和工作流程，并对每个a g e n t 的功能以及不 同a g e n t 之间协作、通信、管理等机制都分别进行了具体的研究和设计。 ( 3 ) 通过模拟的入侵检测实验验证了所设计的入侵检测系统能有效的运行起来， 发挥作用。同时将本文所设计的分布式入侵检测系统的检测点的丢包率与当前国际上 流行的s n o r t 入侵检测系统的丢包率进行比较，并得到了实验数据图。得出本文设计 的分布式入侵检测系统的检测点比当前流行的s n o r t 入侵检测系统能承受更大的网络 流量，在更大的网络攻击流量范围内具备更小的丢包率这个结果。证明本文采用的多 a g e n t 机制和新的模式匹配算法提高了入侵检测系统的处理速度，所开发出来的分布式 入侵检测系统能具备更高的处理能力和更好的性能。 1 3 本文的组织结构 本文分为六个章节，每个章节的介绍如下： 第l 章：介绍了本文所研究课题的研究背景、意义以及国内外的研究现状，总结 了本文研究的主要内容和创新点。 第2 章：首先对入侵检测做了一个简单介绍，然后分析了分布式入侵检测系统当 前国内外研究现状、存在的主要问题、发展前景等。随后介绍了入侵检测领域的模式 匹配算法的原理、分类、发展和挑战等，为随后对模式匹配算法和分布式入侵检测系 3 江苏大学硕士学位论文 统的研究和应用奠定了基础。 第3 章：先介绍了模式匹配的经典算法k m p 算法、跚算法、b m h 算法和b m h s 算法， 然后在模式匹配的b m 算法的基础上提出了一个新的改进后的c b m 算法，并通过实验将 k m p 算法、b m 算法、b m h 算法和b m h s 算法和c b m 算法做了一个对比，验证了改进后的 c b m 算法比另外两种算法运行速度更快，具备更高的效率。 第4 章：分析了分布式入侵检测系统采用m a s 结构的优点。随后提出了一个新的 基于多a g e n t 的分布式入侵检测系统的模型，详细分析和设计了这个分布式入侵检测 系统的运行原理和工作流程，并对每个a g e n t 的功能以及不同a g e n t 之间协作、通信、 管理等机制都分别进行了具体的研究和设计。特别是研究和设计了本文在b m 算法上改 进得出的c b m 算法在功能a g e n t 中的应用方式以及检测引擎使用c b m 算法进行检测的 运行原理、工作流程等。最后对系统在网络上的部署方式进行了分析和介绍。 第5 章：编写出模拟的分布式入侵检测系统的程序模块，然后搭建了一个运行入 侵检测系统的实验性的局域网运行这个系统，成功检测出发生在局域网上的u d p 数据 包模拟攻击，证明这个系统设计正确，并能成功运行。同时将本文所设计的分布式入 侵检测系统的检测点的丢包率与当前国际上流行的s n o r t 入侵检测系统的丢包率进行 比较，并得到了实验数据图。得出本文设计的分布式入侵检测系统的检测点比当前流 行的s n o r t 入侵检测系统能承受更大的网络流量，在更大的网络攻击流量范围内具备 更小的丢包率这个结论。证明本文采用的多a g e n t 机制和新的模式匹配算法提高了入 侵检测系统的处理速度，所开发出来的分布式入侵检测系统能具备更高的处理能力和 更好的性能。 第6 章：对全论文做了一个总结和展望，提出了下一步的工作。 4 江苏大学硕士学位论文 第2 章相关技术介绍 2 1 分布式入侵检测系统 2 1 1 入侵检测简介 j a m e sa d e r s o n 在1 9 8 0 年首次提出了入侵检测的概念n 副，将入侵尝试或威胁定义 为：潜在的有预谋未经授权访问信息、操作信息、致使系统不可靠或无法使用的企图， 从分类角度指出入侵包括尝试性闯入、伪装攻击、安全控制系统渗透、泄漏、拒绝服 务、恶意使用6 种类型。目前美国国际计算机安全协会n 3 1 对入侵检测的定义是：入侵 检测是通过从计算机网络或计算机系统中的若干关键点收集信息并对其进行分析，从 中发现网络或系统中是否有违反安全策略的行为和遭到袭击的迹象的一种安全技术。 入侵检测作为一种积极主动地安全防护技术，提供了对内部攻击、外部攻击和误 操作的实时保护，在网络系统受到危害之前拦截和响应入侵。入侵检测技术的研究开 发主要内容n 铂如下： ( 1 ) 监视、分析用户及系统活动； ( 2 ) 识别反映已知进攻的活动模式并向相关人士报警；操作系统的审计跟踪管理， 并识别用户违反安全策略的行为； ( 3 ) 异常行为模式的统计分析； ( 4 ) 评估重要系统和数据文件的完整性； 入侵检测主要对这样的信息进行检测： ( 1 ) 系统和网络日志文件 日志中包含发生在系统和网络上的不寻常和不期望活动的证据，这些证据可以指 出有人正在入侵或已成功入侵了系统。通过查看日志文件，能够发现成功的入侵或入 侵企图，并很快地启动相应的应急响应程序。 ( 2 ) 目录和文件中不期望的改变 网络环境中的文件系统包含很多软件和数据文件，包含重要信息的文件和私有数 据文件，经常是黑客修改或破坏的目标。目录和文件中的不期望的改变，特别是那些 正常情况下限制访问的，很可能就是一种入侵产生的指示和信号。 ( 3 ) 程序执行中的不期望行为 网络系统上执行的程序一般包括操作系统、网络服务、用户起动的程序和特定目 的的应用。每个进程运行在具有不同权限的环境中，这种环境控制着进程可访问的系 统资源、程序和数据文件等。一个进程出现了不期望的行为可能表明黑客正在入侵你 江苏大学硕士学位论文 的系统。 入侵检测系统的具体实现根据原始数据来源的不同，按功能可以分为以下几类n 耵： ( 1 ) 扫描器 扫描器是事前的入侵检测系统，对系统威胁与脆弱性进行定期评估。它主要是检 测远程或本地主机安全性弱点。 ( 2 ) 基于主机的入侵检测系统 是针对一个系统的信息资源来检测攻击的。h i d s 通过监控审计日志或系统日志来 发现系统层的攻击，不对网络数据包或扫描配置进行检查，而是对系统各种日志的大 量数据进行整理。 ( 3 ) 基于网络的入侵检测系统 是通过监视网络传输，从网络流量中分析出异常的网络活动来发现入侵，并对可 疑的行为进行自动的安全响应。 ( 4 ) 基于网关的入侵检测系统 它主要保护网络基础设施，确保大型网络计算机之间安全、可靠的连接。目前基 本上是基于路由器的入侵检测系统，安装在路由器上的监视器可阻止入侵者进入，但 负载的变化对网络性能影响很大，由入侵检测系统施加的轻微的额外负载也会削弱路 由器在网络之间运输大量数据的能力。 ( 5 ) 基于应用的入侵检测系统 主要特征是使用监控传感器在应用层收集信息。由于这种技术可以更准确地监控 用户某一应用的行为，所以这种技术在日益流行的电子商务中越来越受到注意。 按组成方式将入侵检测系统可分为以下三类： ( 1 ) 集中式入侵检测系统 系统由一个集中的入侵检测服务器和运行于各个主机的简单的审计程序组成。被 监视的各个主机将收集的数据传送到检测服务器，由服务器进行分析。许多现有的系 统是建立在这种模式下的，一般运行在规模较小的网络中。 ( 2 ) 分层式入侵检测系统 为了克服单点实现的缺陷，在监视大规模的网络时，需将网络分层管理，每层的 各个入侵检测系统分析相应的网络段监视数据，将分析结果传至临近的上一层。这样 高一层的入侵检测系统只用分析下一层的分析结果，而不用将所有收集的数据传至检 测服务器。分层实施通过分层分析数据使系统具有更好的可升级性。 ( 3 ) 分布式入侵检测系统 分布式实现将单个服务器的任务分给多个相互合作的主机入侵检测系统。每个入 侵检测系统监视单个主机的一部分，多个入侵检测系统同时运行、相互合作。它们相 互参考作出总体决策。它与分层实现的不同是在分布的入侵检测系统中没有分层，这 6 江苏大学硕士学位论文 样任何一个入侵检测系统失误不会影响基于网络进攻的检测。其缺点是系统给监视的 主机增加了负荷，如通讯机制、审计机制和日志分析。 入侵检测方法可分为这两种u 6 1 ： ( 1 ) 异常入侵检测方法 异常入侵检测( a n o m a l y d e r e c t i o n ) 是分析入侵者活动是否异常于正常主体。根据这 一理念建立主体正常活动的“活动档案 ，将当前主体的活动状况与“活动档案相比 较，当违反其统计规律时，认为该活动可能是“入侵 行为。在这种入侵检测系统中 一般要先建立一个初始模型，该模型反映了被保护的网络系统、操作系统或应用系统 的正常行为活动。该方法的优点是能够检查出利用新的或不可预见的弱点进行入侵的 企图，由此可能发现一些新的攻击行为；另外对那些并未利用系统弱点，但滥用特权 的攻击行为也能检测出来。其缺点是误警率高，需要收集大量的信息用于统计计算， 系统资源消耗比较大。 ( 2 ) 误用入侵检测方法 误用入侵检测( m i s u s e d e t e c t i o n ) 假设入侵者活动可以用一种模式( 知识) 来表示，系 统的目标是检测主体活动是否符合这些模式。知识的入侵检测系统的工作基于已掌握 的知识攻击模式，这种系统中一般内置知识库，知识库中存储着网络系统、操作系统 或应用系统的弱点信息和攻击模式。入侵检测系统将其所监视到的事件与知识库中的 攻击模式相匹配，当发现匹配的行为时，就按照一定的策略进行响应，如报警、阻断 恶意连接或记录日志等。这种方法的优点是它可以将已有的入侵特征检测出来，误检 率低；其缺点是攻击特征的提取很因难，其难点在于如何设计模式既能够表达“入侵 现象又不会将正常的活动包含进来。 2 1 2 国内外的研究现状 自二十世纪八十年代以来，国外就开始对入侵检测进行研究，最早资助进行这方 面研究的是美国国防部高级研究计划署( d a r p a ) 。早期的研究只处于试验阶段，产品 的针对性强，即为了保护专门的网络而进行研究设计的。而且系统大多以基于主机的 入侵检测系统为主n 7 1 。进入九十年代，随着基于网络的入侵检测系统的问世，给入侵 检测研究领域注入了新的活力。很多的网络公司开始有了一些针对具体入侵行为或具 体的入侵过程的的研究，开始开发商业化的产品。入侵检测系统的研发呈现百家争鸣 的局面，并在智能化和分布式两方向取得了长足的进展n 砌。目前，普渡大学、加州大 学戴维斯分校、洛斯阿拉莫斯国家实验室、哥伦比亚大学、新墨西哥大学等机构在这 方面的研究代表了当前的最高水平n 钔。其中比较有代表性的产品有i s s ( i n t c r n e ts e c u r i t y s y s t e m ) 公司的r e a l s e c u r e ，n a i ( n e t w o r ka s s o c i a t e s ，i n c ) 公司的c y b e r c o p 和c i s c o 公司的n e t r a n g e r 等。而且对于入侵检测的研究己经进入很高涨的阶段，在其它领域 7 江苏大学硕士学位论文 的一些算法被人们引入到了该领域。像人工智能、数据挖掘、免疫学、甚至包括信号 处理领域的信息论测度也被考虑到。近几年来，从国外的研究态势来看，各种可能的 检测算法几乎差不多都为人们所想到，对于入侵检测的研究似乎处于一种无法打开新 局面的境地。 但是，国外对入侵检测的研究热度仍然居高不下。因为网络的日益普及，人们对 网络的依赖日益增强，使得网络安全成了世人一直关注的焦点。国外对入侵检测研究 已经很具体细致，包括从对进攻手段研究到入侵数据预处理的研究、从算法的理论分 析到具体的工程应用、从产品开发到产品的评估，以及对入侵检测的一些标准化问题 的研究，几乎面面俱到。而且从参与的机构来看，包括政府的研究机构、科研单位、 大学、网络公司等等，涉及到各个层次的不同需求。 近几年来，国内的网络的发展速度是有目共睹的，而对网络安全的研究也日益被 重视。当然对入侵检测的研究也受到各方面的关注，但是由于一些客观原因，同国外 的差距还是很大。虽然一些网络安全公司也相继推出自己的入侵检测产品，但是很多 都是在借鉴国外的技术手段啪1 。另外，国家对这方面研究的投入也在加大，而且启动 了信息安全的8 6 3 紧急应急计划。各科研单位和大专院校都有从事这方面的研究和开 发的队伍，不少已经推出了相应的产品。比如k i d s 、黑客煞星等十多种商用入侵检测 系统。在国内，较早从事入侵检测研究并推出产品、具有相对较高知名度的品牌主要 有启明星辰的天阗入侵检测产品和北方计算中心的n i d sd e t e c t o r 等。 虽然当前国内外都有了不少入侵检测系统的产品，很多产品的发展趋势都是向分 布式入侵检测系统发展，但成熟的分布式入侵检测系统非常少。大多入侵检测系统是 采用集中统一收集和分析数据的体系结构，即数据由单一的主机收集，并按唯一的 标准用不同方法进行分析。还有一些入侵检测系统采用多种标准从被监视的多个分布 式主机上收集分散的数据，但这些数据仍要由一台完全独立的机器集中分析处理。这 种体系结构存在以下问题：单点失效问题、可扩展性较差、入侵检测系统重新配置或 增加功能困难。绝大多数入侵检测系统的处理效率低下，不能满足大规模和高带宽网 络的安全防护要求。这些产品使用的主要检测方法是将审计事件同特征库中的特征匹 配，但现在的特征库组织简单，导致的漏报率和误报率较高，很难实现对分布式、协 同式攻击等复杂攻击手段的准确检测；此外，预警能力严重受限于攻击特征库，缺乏 对未知入侵的预警能力胁1 。系统的自适应能力差，软件的配置和使用复杂，不能自动 地适应环境，需要安全管理员根据具体的环境对软件进行复杂的配置。总之，国内的 水平同国外的差距还是很大，但是随着更多的人的关注和投入到这方面的研究，相信 在不久的将来，国内的水平将赶超国外并占有领先地位。 不管是在国内还是国外，分布式入侵检测系统都成为了入侵检测领域各大公司的 研究重点。以前已经推出各自入侵检测产品的各大公司纷纷加大了分布式入侵检测产 江苏大学硕士学位论文 品的研发力度，应该说在今后的几年时间里，比较成熟的分布式入侵检测产品将会出 现在网络安全产品的市场上，入侵检测领域的水平将会跃上一个新的高度。 2 1 3 存在的主要问题 从最早的概念提出到发展至今，入侵检测仍然是一个年轻的还不完全成熟的技术 领域。现有的分布式入侵检测技术还存在若干的不足因素，各种类型的分布式入侵检 测系统都面临着各自的问题。 分布式入侵检测系统目前面临的主要问题包括1 ： ( 1 ) 高速网络环境下的检测问题。网络带宽的增长速度己经超过了计算能力的提 高速度，尤其对于分布式入侵检测而言，大范围的入侵检测工作都需要进行网络数据 包的重组操作，这就需要耗费更多的计算开销。 ( 2 ) 交换式网络环境下的检测问题。分布式入侵检测系统在监控交换式网络时， 通常需要添加一些额外的硬件措施，或网络设备厂家技术上的支持才能够完成检测任 务，同时也会给网络设备带来新的负担，影响所监控的网络本身的性能。 ( 3 ) 加密的问题。现在的入侵检测技术都需要通过对数据包载荷中的特定特征字 符串进行分析匹配，才能够发现入侵活动。如果对网络上传输的数据进行了加密操作， 无论在m 层，还是会话层和应用层，都会极大影响到分布式入侵检测系统中各检测点 的正常工作。 ( 4 ) 对系统性能的影响。分布式入侵检测系统的各检测点很多都分布在目标主机 上，因此需要审计数据量通常是很大的，而负责处理这些数据的检测代理势必占据主 机的处理能力，从而影响到主机的运行性能；其次，如果检测代理需要通过网络将数 据和报警信号传送到控制台进行统一处理时，则大量代理所发送的网络数据包会占用 可观的带宽资源，从而影响到网络的运行性能。 ( 5 ) 部署和维护的问题。在分布式的网络环境下由于分布式入侵检测的实现需要 在整个网络上部署很多检测点，这些检测点有些在目标主机上，有些在网络交换设备 上。所以如何实现方便的统一部署、管理和维护是一项困难的工作，同时大量检测代 理互相之间的通信，协作和交互等行为都会带来大量管理上的问题。 ( 6 ) 自身安全问题。在分布式的网络环境下，检测代理直接部署在目标系统上， 因此获得非法根权限的用户可以直接关闭该代理的运行并删除该代理。此时，就无法 再检测到后继的入侵活动。因此一个大规模韵分布式入侵检测系统怎么防范对自身的 网络攻击，怎么在进行入侵检测工作时，防范自身被入侵也是现在急需解决的重要问 题之一。 除了上述存在的典型问题，现有的入侵检测还存在若干通用性的问题，包括： ( 1 ) 虚假警报问题。现今实际操作中存在的主要问题，在于虚假警报的泛滥。在 9 江苏大学硕士学位论文 实际的运行环境中，系统管理员会疲于应付接踵而至的虚假告警，从而失去操作的兴 趣；造成的安全问题就是可能放任后来的真实警报信号。 ( 2 ) 可扩展性问题。包括时间上的扩展性和空间上的扩展性。 ( 3 ) 管理问题。首先，是考虑与网络管理系统的集成问题；其次，是如何来管理 入侵检测系统内部可能存在的大量部件。 ( 4 ) 支持法律诉讼。现有的入侵检测系统对于法律诉讼的支持问题，设计考虑还 不很完善。如何修改系统设计，来满足取证和诉讼的要求，是未来设计者需要加以考 虑的一个重要方向。 ( 5 ) 互操作性问题。未来的各种入侵检测系统应该能够遵循统一的数据交换格式 和传输协议，从而能够方便地共享信息，更好地进行协同工作。 2 1 4 发展前景 随着入侵检测技术的不断发展，人们对分布式入侵检测技术越来越关注，这项技 术也因此产生了突飞猛进的发展。综合现状可以看到分布式入侵检测技术将在以下几 个方面有较迅速的发展1 ： ( 1 ) 不断提高自己的系统性能，包括大幅度降低虚警概念、提高检测变异攻击行 为和协同攻击的能力、与网络管理系统更好地集成、更好地支持法律诉讼，以及提供 更容易操作的用户界面等。 ( 2 ) 更加重视分布式环境下的架构设计问题，重视解决分布式环境下所遇到的特 定问题，例如自主代理的管理、不同数据源的关联分析、安全响应问题等。 ( 3 ) 在分布式环境下，从更多类型的数据源获取所需的信息，来帮助提供检测能 力以及提供冗余保护机制。同时，入侵检测的标准化工作将会取得长足进步，确立统 一的交互操作标准。 ( 4 ) 更多地与其他各种信息安全技术无缝集成在一起，并不断演化发展，最终形 成新的技术类型。 ( 5 ) 加强分布式环境下对应用层入侵检测的力度。许多入侵检测的语义只有在应 用层才能理解，而目前的i d s 仅能检测w e b 之类的通用协议，而不能处理如l o t u s n o t e s 、数据库系统等其它的应用系统。许多基于客户服务器架构与中间件技术及对象 技术的大型应用，需要应用层的入侵检测保护。 ( 6 ) 加强智能入侵检测技术的应用。入侵方法越来越多样化与综合化，尽管已经 有智能体、神经网络与遗传算法在入侵检测领域应用研究，但截止目前这只是一些尝 试性的研究工作，并不成熟，还需要对智能化的i d s 加以进一步的研究以提高其自学 习与自适应能力，才能将智能技术理论转化为实用的技术。 ( 7 ) 设计通用的入侵检测测试与评估方法与平台。用户需对众多的i d s 系统进行 1 0 江苏大学硕士学位论文 评价，评价指标包括检测范围、系统资源占用、i d s 系统自身的可靠性与健壮性等， 因此设计通用的入侵检测测试与评估方法与平台，实现对多种i d s 系统的检测的研究 已成为伴随入侵检测技术发展的另一重要研究与发展领域。 ( 8 ) 提高入侵检测系统的互操作性。现在不同公司开发的不同入侵检测产品已经 很多了，因此不同的入侵检测系统之间互操作的问题已经成为需要解决的重要问题。 ( 9 ) 与其他网络安全产品进行更好的联动和资源整合，特别是与路由器及防火墙 的整合。目前市场上已有多个产品支持直接对路由器或防火墙进行调整，以更加有效 地阻击入侵行为的进行。 2 2 模式匹配算法 资源搜索问题是计算机科学中最基本的问题，模式匹配问题就是在一个符号序列 中查找另一个符号序列的搜索问题，而字符串匹配又是模式匹配中的一种最典型的情 况。字符串匹配技术的发展是与其应用密切相关的，是人们对算法的搜索速度不断追 求的结果，它最直接的应用领域就是构建数据的全文检索系统和图书文献目录摘要的 查询系统。大量待匹配的数据和用户对搜索速度的需求都对字符串匹配技术提出了很 高的要求。后来，随着网络技术和生物技术的不断发展，该技术又在网络安全和生物 技术等领域中找到了新的用武之地，获得了新的发展。 由于本文所得的研究成果都是在研究入侵检测技术的过程中发现的，因此有必要 介绍一下字符串匹配算法在入侵检测中的应用。在入侵检测中，一个关键的技术就是 入侵检测引擎的研究。检测引擎的检测效率高低与否是决定整个系统效率的瓶颈。在 检测引擎中，最常用的也是最关键的部件就是模式匹配部件。模式匹配部件的基本原 理也就是字符串匹配，即通过字符串查找的方式从待检测数据中寻找可疑或确定的有 害字符串形式的数据。为了符合于入侵检测领域的称谓习惯，我们在本章中，多使用 “模式匹配 来代替“字符串匹配。 2 2 1 原理 字符串模式匹配算法一直是计算机领域的研究重点之一，在拼写检查、语言翻译、 搜索引擎、数据压缩、网络入侵检测、计算机病毒特征码匹配以及d n a 序列匹配等应 用中，都需要进行字符串模式匹配。所谓模式匹配( p a t t e r nm a t c h i n g ) ，就是给定一组 特定的字符串集合p ，对于任意的一个字符串t ，找出p 中的字符串在t 中的出现位 置，我们称之为模式匹配汹1 。称p 中的元素为模式串( 或关键词) ，称t 为文本串。字 符串中的字符都取自一个有限的符号集合，简称字母表或字符集。 基于模式匹配检测方法的入侵检测系统是由k u m a r 在1 9 9 5 年提出的，目前模式匹 江苏大学硕士学位论丈 配已经成为入侵检测领域中最广泛的检测手段和机制。k u m a r 提出了入侵信号的层次 性概念1 。根据底层的审计事件，可以从中提取出高层的事件或活动：由高层的事件 构成入侵信号，并依照高层事件之间的结构关系，划分入侵信号的抽象层次并对其分 类。如果对构成信号的事件按照审计进行精确的定义，就可以从抽象的层次实例化中 得到具体的层次结构。实例化的层次结构意味着对于层次结构中的每一层而言，都可 以对该层中匹配信号的复杂性边界进行划分。k u m a r 把入侵信号分为四个层次，每一 个层次对应相应的匹配模式，具体如下： ( 1 ) 存在 这种入侵信号表示只要存在这样一种审计事件就足以说明发生了入侵行为或入侵 企图，它所对应的匹配模式称为存在模式。存在模式可以理解为在一个固定的时间对 系统的某些状态进行