入侵检测系统中两种异常检测方法分析【我的论文】

1、网络入侵检测系统的研究 摘要：随着互联网络的广泛应用，网络信息量迅速增长，网络安全问题日趋突出。入侵检测作为网络安全的重要组成部分，已成为目前研究的热点，本文介绍了入侵检测系统的概念、功能、模式及分类，指出了当前入侵检测系统存在的问题并提出了改进措施，特别是针对异常入侵检测方法的研究，着重分析了基于神经网络的和层次聚类的异常检测方法，并从理论和试验层次队两种检测技术进行分析比较，客观分析了两种算法的优缺点。同时预测了入侵检测系统的发展趋势。关键词：入侵检测；入侵检测系统；BP神经网络；层次聚类；网络安全。在基于网络的计算机应用给人们生活带来方便的同时，网上黑客的攻击活动正以每年10倍的速度增长

2、，因此，保证计算机系统、网络以及整个信息基础设施的安全已经成为刻不容缓的重要课题。防火墙作为一种边界安全的手段，在网络安全保护中起着重要作用，其主要功能石控制对网络的非法访问，通过监视、限制、更改通过网络的数据流，一方面尽可能屏蔽内部网的拓扑结构，另一方面对内屏蔽外部危险站点，以防范外对内的非法访问。然而，由于性能的限制，防火墙通常不能提供实时的入侵检测能力，为了弥补防火墙存在缺陷，引入了入侵检测IDS( Intrusion Detection System )技术。入侵检测是防火墙之后的第二道安全闸门，是对防火墙的合理补充，在不影响网络性能的情况下，通过对网络的检测，帮助系统对付网络攻击，扩

3、展系统管理员的安全管理能力（包括安全审计、监视、进攻识别和响应），提供对内部攻击、外部攻击和误操作的实时保护。一、 入侵检测系统的概念入侵检测定义为识别为被授权使用的计算机系统和有合法权利使用系统但却滥用特权的过程。即通过对计算机网络或系统中的若干关键点收集信息并对其进行分析，从而发现是否有违反安全策略的行为和被入侵的迹象。进行入侵检测的软件与硬件的组合便是入侵检测系统（IDS）。一个入侵检测产品通常由两部分组成，即传感器与控制台。传感器负责采集数据、分析数据并生成安全时间；控制台主要起到中央管理作用。商品化的产品通常提供图形界面的控制台，这些控制台基本上都支持Windows NT平台。入侵检

4、测系统的主要功能有：1、监视、分析用户及系统活动；2、核查系统配置和漏洞；3、识别已知进攻并向相关人员报警；4、统计分析异常行为；5、评估重要系统和数据的完整性；6、操作系统日志管理，并识别违反安全策略的用户活动。二、 入侵检测系统模型行为的描述模型，并以此同当前用户活动的审计记录进行比较。如果有较大偏差，则表示有异常活动发生：这是一种基于统计的检测方法。随着技术的发展，后来人们又提出了基于规则的检测方法。通用入侵检测架构（CIDF）组织，试图将现有的入侵检测系统标准化，阐述了一个入侵检测系统分为以下4个组件：事件产生器、事件分析器、相应单元和事件数据库，同时将需要分析的数据统称为事件。事件可

5、以是基于网络的数据包，也可以是基于主机的系统日志中的信息。事件产生器的目的是从整个计算机环境中获得事件，并向系统其他部分提供此事件；事件分析器分析得到的事件并产生分析结果；响应单元则是队分析结果做出反应的功能单元，它可以做出切断连接、修改文件属性等强烈反应；事件数据库是存放各种中间和最终数据地方的通称，它可以是复杂的数据库也可以是简单的文本文件。三、 入侵检测系统的分类对入侵检测系统主要从数据源、检测方法、分布形式、响应方式等方面分类，其中前两种为主要的分类方式。（一） 按照数据来源分类1、网络型网络型入侵检测系统部署在网络设备节点上，优点是能够检测基于协议的攻击，攻击者不易转移证据；检测实时

6、性强，无需改动网络拓扑，对外透明，能降低本身守攻击的可能性；可在几个关键点上配置并观察多个系统。主要缺点是对于加密信道和某些基于加密信道的应用层协议无法实现数据解密，不能起到监视作用；无法得到主机系统的实时状态信息，检测复杂攻击的准确率低；在实时检测中，需对每个数据包都进行协议解析和模式匹配，系统开销大。2、主机型主机型入侵检测系统部署在主机上，监视分析主机审计记录以检测入侵，效率高，能准确定位入侵并进一步分析。有点是不需要额外的硬件，可用于加密以及交换环境，对网络流量不敏感，检测粒度细，目标明确集中，可监测敏感文件、程序或端口。缺点是占用主机资源，依赖于系统可靠性，可移植性差，只能检测针对本

7、机的攻击，不适合检测基于网络协议的攻击，数据源主要包括系统审计信息、系统日志信息、内核信息、应用审计信息、系统目标信息。3、混合型混合型入侵检测结合了网络入侵检测和主机入侵检测二者的优点，在关键主机上采用主机入侵检测，在网络关键节点上采用网络入侵检测。（二） 按照检测方法分类1、 异常检测（Anomaly Detection）异常检测志根据用户行为或者资源状况正常程度，将当前情况和轮廓（Profile）比较以发现入侵，不依赖具体行为，可发现未知攻击。异常检测认为入侵是异常的子集，有统计分析、非参量统计分析、专家系统、量化分析和基于规则的检测，但关键在正常模式（Normal Profile）的建

8、立及利用该模式与当前状况比较。异常检测的主要优点：与系统相对无关，通用性较强；不需要过多系统缺陷的知识，适应性强，能检测位置入侵；不同的描述模式可使用不同的概率统计模型。异常检测的主要缺点：由于不可能对系统所有用户行为全面描述，且用户的行为常改变，所以误报率高；入侵者通过恶意训练，使检测系统习惯攻击而无法识别。2、 滥用检测（Misuse Detection）滥用检测方法定义入侵模式，通过模式是否出现来判断，也称基于知识的检测（Knowledge Based Detection）。它依据具体攻击特征细微变化就会使之无能为力，漏报率较高，对系统依赖性高，一致性较差，检测范围守已知知识局限，难以检

9、测内部入侵，而且将具体入侵手段抽象成知识也很困难，该方法主要有简单模式匹配、专家系统、状态转移法、条件概率、击键监控、信息反馈批处理分析等。3、 特征检测（Specification-Based Detection）特征检测定义系统轮廓，将系统行为与轮廓比较，不属于正常行为的事件定义为入侵，该方法常采用某种特征语言定义系统的安全策略，当系统特征不能准确囊括所有的状态时就会漏报或误报。上述检测方法各有优缺点，因此实际入侵检测系统可采用多种检测方法的结合。入侵检测系统的结果方式有单一式、完全分布式、部分分布式。单一结构的数据分析处理在单机上完成，早期多采用这种结构（如IDES等），它等于管理和协调

10、，当单点失效后果严重。完全分布式结构无中心，分布性和容错性好，但管理和信息综合较困难。四、目前，异常检测已经成为当前入侵检测系统研究的热点之一，本文将着重介绍聚类分析与神经网络两种异常检测技术，并进行分析比较。（一）、两种异常入侵检测技术1、BP神经网络的入侵检测技术BP神经网络是一种多层前馈网络，也是目前应用最广泛的一种网络，采用梯度最速下降搜索技术，按代数函数（网络实际输出的均方误差）最小的准则递归求解网络的权值和各节点的阀值。它包含输入层、隐含层、和输出层，同层单元之间不相连。由于具有学习能力，因此IDS可用其来学习用户的行为，并根据最新变化进行调整。将BP神经网络用于如陪你检测的具体过

11、程包括两个阶段：第一阶段是采用代表用户行为的历史数据进行训练；构造入侵检测分析模型，由于已标识个数据的类型，因此可通过此模型区分个行为的类型。第二阶段是入侵分析的实际执行阶段；给定某一阀值对网络中采集的数据进行分析，以判断属于正常或异常类型。2、聚类分析的入侵检测技术聚类分析又称群分析，是研究（样品或指标）分类问题的一种多元统计方法，所谓类是指相似元素的集合。而聚类就是按照一定的要求和规律进行区分和分类的过程，在这一过程中没有任何关于类分的先验知识，没有教师指导，仅靠事物间的相似性作为类属划分的准则，即同一聚类之间最小化，而不同聚类之间数据最大化。本文着重介绍一种聚类算法，即层次聚类算法。该算

12、法队给定的数据集进行层次分解，指导某种条件满足为止。将层次聚类算法用于异常入侵检测的过程主要有三部分：一是数据预处理部分。主要包括数据离散化、归一化处理，当涉及到求解各种数据记录间距离时，由于连接记录中存在不同的数据类型，必须采用合适的异构数据间的距离度量方法来完成。二是进行无监督的聚类分析过程。即利用聚类模型对新的检测样本进行分类。（二）、理论分析1、BP神经网络应用于入侵检测（1）、优点第一，BP神经网络具有非线性处理和概括抽象的能力。对于处理网路环境中常常出现信息丢失不完整或者变形失真的情况，具有一定的容错处理能力。第二，BP神经网络具备高度的学习和自适应能力。通过对输入正常样本和异常样

13、本的不断训练，神经网络不仅能够以很高的准确率识别出新的入侵行为特征，而且能够以一定的概率识别出新的入侵行为特征和已知入侵行为的变种形式。从而可克服基于专家系统检测技术的局限性。第三，BP神经网络的内在并行计算和存储特性。在传统的计算技术中，计算和存储是完全独立的两个部分，即计算机部件必须从存储部件中取出指令和待处理数据，然后进行计算，最后将计算结果返回存储器。因此，存储器和计算器间的传输带宽成为制约计算机性能的瓶颈。而在神经网络模型中，信息的存储和计算是合二为一的，各个神经元的工作方式是完全并行的，从输入到输出的计算过程实际上就是权值的传递过程，而在权值传递的过程中，就同时完成了信息的存储过程

14、。此种并行计算模式所具有的潜在高速计算能力对于入侵检测来说，可在很短时间内，处理更多的检测规则或特征值，即在更短时间内发现入侵行为，减少可能的系统损失。（2）、不足第一、不同的神经网络类型和拓扑结构，都存在学习能力的限制容量。面对现实环境中数以千计的不同攻击特征，要做到完整识别，还需要进一步的研究。第二、神经网络具备很强的学习能力，能给出判定的类别信息，但是对于具体发生的事件类型，则缺乏明确的解释能力。对于入侵检测，仅判定当前事件是否异常往往不够，通常还需要得到关于该异常事件具体类型的明确信息。此外，神经网络的训练和学习能力，往往是通过内部的权值连接和拓扑结构来实现和存储的，对于最终判定结果的

15、产生，通常难以具体解释详细的判定过程以及确定性的判定步骤。第三、构造入侵检测网络模型是根据个特征属性之间的相关性建立的，是横向的结合，同时在建立模型前必须有相当数量已知的训练样本，需经过样本数据的训练使得网络模型适用于具体的应用领域，属于有监督的入侵检测分析方法。第四、理论上讲神经网络具备并行经计算机的强大能力，但在当前计算机的存储-计算架构下来完全实现神经网络的并行计算潜力有一定的难度。2、层次聚类分析应用于入侵检测（1）、优点第一、由于入侵检测的层次聚类分析法是无监督的检测方法。不需要人工或其他的方法来对样本数据进行训练分类，可直接进行异常分类得出分类模型。同时具有高度的自学习和自适应能力

16、，能够根据模型检测出已有的攻击以及一定数量的未知攻击类型，克服误用检测的局限性。第二、由于聚类方法是从数据角度进行分析，其最终结果是一个面向对象的概念化知识，该知识反应了数据的内在特性，是对数据所包含的信息的更高层次的抽象。将其应用于入侵检测，以入侵检测样本数据集作为分析粒度，采用层次聚类法，可使分类过程易于理解与实现，所得结果可以树状图的形式表示，体现可视化的特点。第三、针对描述系统和网络活动的情况特征集既有数值特征又有符号特征，在利用层次聚类进行入侵检测分析时，选用混合型数据样本间距离计算方法，增强了算法与实际应用的关联性。同时层次聚类算法具有用户无需设置参数，算法简单易懂，结果确定性的特

17、点。（2）、不足第一、构造聚类分类模型时，主要依据数据记录与记录之间的距离来评判所属类别，即只从纵向角度对数据进行分析，对横向属性之间的关联性有所忽略。第二、层次聚类法虽然比较客观，但已被合并的样本不参与以后的分类，这会导致聚类结果与聚类的次序有关，所以易陷入局部最优。第三、层次聚类法必须用户自己选择合适的子树来确定自己所关心的类，并且算法的复杂度随着特征的增加增幅较大，因此对算法的伸缩性影响较大。（三）、实验分析选用KDDCUP 99的实验数据进行对比实验。考虑到聚类分析的特点，采用3份数据子集进行验证，每个数据子集中正常数据记录个数占本子集所有数据记录个数的比例约98.5%99%，因此入侵

18、活动的数据记录个数仅占本子集记录个数的1%1.5%。同时，4类入侵行为数据也相应被分配到这3个子集中。运用MATLAB语言中相关函数进行编程分析。表一 选用KDDCUP 99的实验数据进行对比实验样本数据集子集1子集2子集3记录总数290729343436异常记录个数364145BP训练样本数200019342000BP检测样本数90710001436BP网络检测率（%）91.790.293.3BP网络误报率（%）BP聚类检测率（%）88.990.291.1BP聚类误报率（%）其中：检测率=被分类出的入侵事件样本数/总入侵事件样本数。误报率=被当作入侵事件检

19、测出的正常事件/数据集中正常样本数。BP算法参数为：初始学习率lr=0.01，学习率自调整系数=最大训练系数500最终网络误差为1/10000。实验结果分析如下：1、由表1可得，采用BP神经网络的检测结果为：平均检测率分别为91.7%和1.93%，而采用层次聚类算法的检测结果为：平均检测率与误报率分别为90.1%和2.2%，这两项指标通常是一对矛盾，随着检测率的提高，常常伴随着误报率的升高。由此可见两种入侵检测算法是可行的。2、同时在实验中发现对于DOS、PROBE两大类攻击检测效果较高，而U2R、R2L效果不太理想，一方面与所选取的攻击样本多少有关，另一方面是因为很多R2U入侵是伪装合法用户

20、身份进行攻击的，这就使得其特征与正常数据包比较相似，造成算法检测的困难。3、从检测率、误报率来看，BP神经网络的检测效果优于层次化聚类分析。这主要有两方面的原因：（1）、BP神经网络是有监督的异常入侵检测方法，具有自学习与自适应的特点，通过训练，网络模型能够很好地识别出正常网络行为，而层次聚类分析属于无监督的自动识别异常的检测技术，只通过样本数据间的聚类来判断，因此造成该聚类检测方法在误报率上偏高于BP神经网络检测方法。（2）、文中采用的层次聚类属于硬聚类，即判断样本类别时具有“非此即彼”的特点。而实际情况下，某一网络行为由于制约的因素较多，很难肯定地判断其所属的类别，即出现即属于其他类的情况

21、，这时应根据其属于某一类的隶属度来判断其所属类别，这样更为客观。这也是造成层次聚类算法的检测算法的检测效果低于神经网络的因素之一。（四）、总结综上所述，神经网络具有自适应、自组织和自学习的能力，可以处理一些环境复杂、背景知识不详，数据样本有敬爱殴打的缺陷和不足的情况，应用于建立入侵检测模型时允许含有少量不合理数据的存在，同时移植性较强，能降低数据的存取量，保证入侵检测系统的检测性能。聚类分析属于无监督的分类算法，适合于正常数据与异常数据在数量上存在较大差异情况下建立入侵检测模型，因具有可理解性的特点，能提供给用户可视化的分析过程与结果，适用于需通过该方法理解攻击行为并对其进行进一步操作的情况。

22、总之，在实际选择检测方法时，应综合考虑数据样本的特征及入侵检测系统提出的整体要求权衡选择，同时也可以采用其他领域的相关知识对所选对所选方法进行优化、完善。五、入侵检测系统存在的问题1、误/漏报率高。IDS常用的检测方法有特征检测、异常检测、状态监测、协议分析等。但这些检测方法都存在缺陷，如异常检测通常采用统计方法来进行检测，而统计方法中的阀值难以有效确定，太小的值会产生大量的误报，太大的值又会产生大量的漏报。而在协议分析的检测方式中，一般的IDS只简单地处理了常用的如HTTP、FTP、SMTP等，其余大量的协议报文完全可能造成IDS漏报，如果考虑支持尽量多的协议类型分析，网络的成本将无法承受。

23、2、没有主动防御能力。IDS技术采用了一种预设置式、特征分析式工作原理，所以检测规则的更新总是落后于攻击手段更新。3、缺乏准确定位和处理机制。IDS仅能识别IP地址，无法定位IP地址，不能识别数据来源。IDS系统在发现攻击事件的时候，只能关闭网络出口和服务器等少数端口，但这样关闭的同时会影响其他正常用户的使用。因而其缺乏更有效的响应处理机制。4、性能普遍不足。现在市场上的IDS产品已不能适应交换技术和高带宽环境的发展，在大流量冲击、多IP分片情况下都可能造成IDS的瘫痪或丢失，形成DOS攻击。六、入侵检测系统的发展趋势入侵检测系统（IDS）是近十多年发展起来的新一代安全防范技术，它通过对计算机

24、网络或系统中的若干关键点收集信息并对其进行分析，从中发现是否有违反安全策略的行为和被攻击的迹象。这是一种集检测、记录、报警、响应于一体的动态安全技术，不仅能检测来自外部的入侵行为，同时也监督内部用户的未授权活动。IDS技术主要面临者三大发展趋势。1、 提高入侵检测系统的检测速度，以适应网络通信的要求。网络安全设备的处理速度一直是影响网络性能的瓶颈，虽然IDS通常是以并联方式接入网络的，但如果其检测速度跟不上网络数据的传输速度，那么检测系统就会漏掉其中的部分数据包，从而导致漏报而影响系统的准确性和有效性。在IDS中，截获网络的每一个数据包，并分析、匹配其中是否具有某种攻击的特征需要花费大量的时间和系统资源，大部分现有的IDS只有几十兆的检测速度，随着百兆、甚至千兆网络的大量应用，IDS技术发展的速度已经远远落后于网络速度的发展，因此，提高入侵检测系统的速度势在必行。2、降低入侵检测系统的漏报和误报，以提高静安创系统的准确度。基于模式匹配分析方法的IDS将所有入侵行为和手段及其变种表达为一种模式或特征，检测主要是判别网络中搜集到的数据特征是否在入侵模式库中出现。因此，面对每天都有新的攻击方法产生和新漏洞发布，攻击特征库不能及时更新是造成IDS漏报的一大原因。而基于异常