（模式识别与智能系统专业论文）支撑向量机及神经网络在入侵检测中的应用.pdf

支撑向量机及神经网络在入侵检测中的应用 摘要 该论文是对我在研究生期间对模式识别技术以及网络管理技术研究的总结。 论文总共五章，第一章概述，主要介绍了论文的研究背景以及主要内容，以及本 论文的主要成果：第二章分类器算法，主要围绕基于神经网络的识别算法和基于 支撑向量机的识别算法两大部分展开，介绍了两种算法的原理和发展现状；第三 章n n s v m 在模式识别领域的应用研究，围绕这两种算法在手写数字识别中的 应用展开，总结了包括训练和测试的研究结果，最后介绍了使用了这两种算法的 小写数字识别核框架；第四章是入侵检测技术，对i n t e m e t 网络中的入侵检测种 类以及检测方法进行了介绍，提出了无线a d h o e 网络的入侵检测问题，并讨论 了y o n g g a n gz h a n g 1 等人提出的面向无线a d h o c 网络的i d s 体系结构。第五章 是n n s v m 算法在入侵检测中的应用，围绕n n s v m 分类器在i n t e r n e t 入侵检 测系统中，作为异常检测分类引擎的应用展开，内容包含了i d s 异常检测模型 的建立、实验与仿真的过程以及对结果的讨论。并在最后介绍了我们如何利用仿 真，模拟无线a d h o c 网络环境下，入侵的发生以及数据的采集。 【关键字】 网络管理；入侵检测；i n t e m e t ；) d ；无线a d h o e 网络；神经 网络；支撑向量机 支撑向量机及神经网络在入侵检测中的应用2 a b s t r a c t t h i sa r t i c l ei st h e s u m m a r yo fm yr e s e a r c hj o b i nt h ef i e l do fp a t t e r n r e c o g n i t i o na n dn e t w o r km a n a g e m e n td u r i n gm y t w oy e a r ss t u d yt o w a r d sm a s t e r s d e g r e e ，c h a p t e r1 ，o v e r v i e w , b r i e f l yi n t r o d u c e st h ec o n t e n ta n db a c k g r o u n do ft h i s p a p e r , 谢t ht h em a i na c h i e v e m e n to fo l l i r e s e a r c h c h a p t e r2 n e u r a ln e t w o r ka n d s u p p o r tv e c t o rm a c h i n ec l a s s i f i e r , i n t r o d u c e st h et h e o r yo f b pn e u r a ln e t w o r ka n d s u p p o r t v e c t o r m a c h i n e ( s v m ) c h a p t e r3 ，n n s v ma l g o r i t h m s i n p a t t e m r e c o g n i t i o n ，f o c u s e s o nr e s e a r c ho fa p p l y i n gn n s v ma l g o r i t h m st o h a n d w r i t i n g d i g k sr e c o g n i t i o n a n di n t r o d u c e st h eb e s ta r c h i t e c t u r ef o r d i g i t sr e c o g n i t i o n i n b a n k i n gc h e c k o c r s y s t e m c h a p t e r4 ，i n t r u s i o nd e t e c t i o n ，i n t r o d u c e st h ec o n c e p t s a n dt y p i c a li n t r u s i o nd e t e c t i o nm e t h o d si ni n t e m e t a n dp r e s e n t se m e r g i n gs e c u r i t y p r o b l e m si nw i r e l e s sa d h o cn e t w o r ka n ds o l u t i o n so f t h e s ep r o b l e m s ，e s p e c i a l l yt h e a r c h i t e c t u r eo fi d si nw i r e l e s sa d - h o en e t w o r kr e f e r r e db yy o n g g a n gz h a n g 1 c h a p t e r5 ，n n s v ma l g o r i t h m u s e di ni n t r u s i o n d e t e c t i o n ，i s f o c u s e do nt h e u t i l i z a t i o no fn n s v mc l a s s i f i e r sa sc l a s s i f y e n g i n e si na n o m a l yd e t e c t i o nu n d e r i n t e m e te n v i r o n m e n t ，i n c l u d i n gt h ee s t a b l i s h m e n to fi d sa n o m a l yd e t e c t i o nm o d e l ， s i m u l a t i o no fm o d e la n dd i s c u s s i o no fr e s u l t s i nt h el a s tp a r t ，s i m u l a t i o no fi n t r u s i o n m o d eu n d e rw i r e l e s sa d h o ce n v i r o n m e n ta n dt h ec o l l e e t i o no fd a t aw e r ei n t r o d u c e d 【k e y w o r d s 】 n e t w o r km a n a g e m e n t ，i n t r u s i o nd e t e c t i o n ，w i r e l e s sa d - h o en e t w o r k ，a n o m a l y d e t e c t i o n ，c l a s s i f i e r , n e u r a ln e t w o r k , s u p p o r tv e c t o rm a c h i n e 支撑向量机及神经网络在入侵检测中的应用 1 1 背景 第一章概述 i n t e m e t 的普及，为资源的共享与信息的交流提供了高效而便捷的手段。但 是同时越来越多的针对i n t e m e t 的恶意破坏及攻击，给联网的信息、资源带了严 重的安全威胁。i d s ( 入侵检测系统) 已经成为计算机信息系统安全保护的第二 道屏障。作为i d s 关键技术的入侵检测，成为影响系统性能的核心。我们重点 研究了神经网络识别器的结构和支撑向量机( s v m ) 原理，并尝试将这两种分 类器应用到i d s 的异常检测中去。首先，我们通过最优神经网络结构和支撑向 量机这两种分类器在手写数字识别核心框架中的应用，检验了算法的有效性。我 们在对基于n n 和s v m 的入侵检测模型的研究中，针对i n t e m e t 网络环境进行 了入侵检测模型的建模和仿真，仿真结果证明了这两种分类器取得了令人满意的 效果。在最后完成了无线a d h o c 网络环境下，入侵模式的仿真和数据的采集。 1 2 论文的主要内容 该论文是对我两年来研究成果的总结。为了深入理解神经网络和支撑向量机 两种算法，我通过这两种算法在o c r 系统中数字识别模块部分的应用来对这两 种分类器的性能和特性进行了比较和分析。 在对神经网络分类器的研究中，我们首先进行了对特征提取的研究，全面考 虑到几何特征、f o u r i e r 映射特征和投影特征，总共得到1 0 9 维特征。由于定义 的特征在数值上有很大差别，另外还考虑到有部分特征有比较好的分类性能，所 以对其进行归一化、加权处理。通过反复的样本挑选、训练与测试，分别对不同 隐层接点数( 4 8 或5 6 或9 6 个) 和不同输出个数( 1 0 个或1 l 或1 2 个) 的b p 网络进行了性能测量，并确定了最优b p 网络，将其应用于票据处理中手写数字 的识别，取得了9 5 9 9 2 的识别率。 对于神经网络识别中，容易误识的数字样本，我们利用支撑向量机分类器进 支撑向量机及神经网络在入侵检测中的应用 行了相似字的区分。通过实验，我们首先确定了神经网络识别器容易发生误识的 数字样本集，然后对相似字的样本，利用支撑向量机进行训练和测试。每个样本 分别采用2 5 6 维特征( 即1 6 1 6 的点阵) 以及神经网络中使用的1 0 9 维特征， 用其中3 0 0 0 个作为训练样本，另外3 0 0 0 个作为测试样本。通过实验，我们对支 撑向量机采用不同内核函数表现出的性能进行了比较，最终选择了多项式内积的 支撑向量分类器。在2 5 6 维特征和1 0 9 维特征的测试中，我们发现2 5 6 维特征取 得了更好的性能，例如在2 和3 的相似字识别中，前者的误识率只有1 5 9 2 4 。 在对神经网络及支撑向量机这两种分类器有了一定的实际应用经验后，我将 这两种分类器技术运用到了网络管理中的入侵检测领域。主要工作内容是研究神 经网络和支撑向量机在i n t e m e t 网络入侵检测中应用，以及无线a d h o c 网络环境 下的入侵仿真模型。 在这里，我们采用m i t 林肯实验室提供的入侵检测样本，处理的数据包括了 1 6 2 0 2 个随即选取的k d d 记录。在此基础上构建了两个同样包括8 1 0 l 条记录的 训练集，它们的不同在于一个训练集是4 1 维特征的，另一个是1 3 维特征的。通 过m a t l a b 建模与仿真，围绕神经网络和支撑向量机两种分类器进行了特征选取、 训练和测试。证明了两种分类器在入侵检测中应用的可行性和有效性，并对其性 能进行了比较。 在支撑向量机分类器的实验中，经过实验比较，我们选用的是基于径向基函 数( r b f ) 的k e r n e l 函数，g a m m a 值设为0 0 0 0 0 0 1 ，取得了9 8 以上的告警率。 在神经网络分类器的实验中，我们最终确定了结构为4 1 5 0 4 0 - 1 和1 3 - 7 1 的神 经网络结构，采用的学习函数是尺度化共轭梯度反向传播算法以及 l e v e n b e r g m a r q u a r d t 反向传播算法。取得了9 5 以上的告警率。 我们比较了两种识别器对于4 1 维、6 4 维以及1 3 维特征样本的识别告警性能。 得出了维数的降低( 将维数从4 1 降到1 3 维) ，对支撑向量机和神经网络的性能 都没有产生大的影响的结论。通过对两种分类器的性能进行比较，我们得出支撑 向量机在速度、识别率等性能上要好于神经网络的结论，同时发现支撑向量机也 存在只有两类输出的缺陷。 在最后的阶段，在进行将n n s v m 分类器应用到无线a d - h o c 环境下i d s 上 的研究时，由于难以获得真实的网络环境，我们通过仿真工具n s 2 ，模拟了无线 支撑向量机及神经网络在入侵检测中的应用 a d h o c 网络环境下，入侵的发生以及数据的采集。完成了神经网络及支撑向量机 在该环境下训练及测试的前期准备工作。 论文总共五章，第一章概述，主要介绍了论文的研究背景以及主要内容，以 及本论文的主要成果：第二章分类算法，主要围绕基于神经网络的识别算法和基 于支撑向量机的识别算法两大部分展开，介绍了两种算法的原理和发展现状；第 三章n n s v m 算法在模式识别领域的应用研究，围绕这两种算法在手写数字识 别中的应用展开，总结了包括训练和测试的研究结果，最后介绍了使用了这两种 算法的小写数字识别核框架；第四章是入侵检测技术，对i n t e m e t 网络的入侵安 全问题以及解决方法进行了介绍，特别讨论了y o n g g a n gz h a n g 1 等人提出的面 向无线a d h o c 网络的i d s 体系结构。第五章是n n s v m 算法在入侵检测中的应 用，围绕n n s v m 分类器在i n t e m e t 入侵检测系统中，作为异常检测分类引擎的 应用展开，内容包含了i d s 异常检测模型的建立、实验与仿真的过程以及对结 果的讨论。并在最后介绍了我们如何利用仿真，模拟无线a d h o c 网络环境下， 入侵的发生以及数据的采集。 支撑向量机及神经网络在入侵检测中的应用 2 1 概述 第二章分类器算法 模式识别的首要目标是有导师无导师的分类。统计的方法是在模式识别被传 统公式化的不同体系中被最多研究和应用的。最近，神经网络技术以及统计学习 理论( s v m 是其中重要的成果) 引入的方法不断受到重视。 2 2 神经网络原理及发展现状 自从1 9 8 5 年提出b p 算法以后，以感知器为处理单元的多层前向网络的学 习问题才得到了解决，也实现了多层网络设想，从此以后，神经网络学界把用 b p 算法进行训练的多层前馈网络称为b p 神经网络，简称b p 网络或b p 模型。 从学习的观点看，b p 网络是强有力的学习系统，其结构简单易于编程；从系统 的观点看，他是一类静态非线性映射，通过简单的非线性处理单元的复合影射即 可获得复杂的非线性处理能力。b p 神经网络可以用式3 1 的数字模型来表示： 厂：z r “叫y r ”( 式3 1 ) 2 2 1b p 网络的基本处理单元 b p 神经网络的基本单元，又称网络节点，或神经元，其实就是一个感知器 它的结构如图2 1 所示： x 1 图2 1一个神经元模型 支撑向量机及神经网络在入侵检测中的应用 这是具有自学习能力的一种模型，他是一个具有单层计算单元的神经网络， 并由线性阀值元件组成。它同m p 模型的区别是，各神经元之间的连接权w i 是可变的，这种可变性保证了他具有学习的能力。 如图3 1 ，一个b p 网络的基本神经元由以下几部分组成：一组输入向量x ， 一组权值向量w ，一个阀值0 非线性激活函数f ( ) 。对于某个神经元，设 x = x l ，x 2 ，x n 为r l 维输入向量，w = w 1 ，w 2 ，w n 为相应的连接权向量，阀值 0 可以通过对输入向量x 增加一个常数分量：x 。+ i = 1 ，而当做一个权值来处理， 则输出响应可以表示为： 月n + l y = f ( n e t ) = 厂( w ，t - o ) = 厂( x t ) ( 式3 2 ) i l忙l 其中激活函数f ( ) 通常有四种选择，或h a r d l i m i t 型函数，或s i g m o i d 函数。 上述的一个神经元就构成一个单层网络，它只能区别两类模式，其作用相当 于在高维样本空间中，用一个超平面将两类样本分开。当只有两类输入且超平面 是一条直线时，区域分割如图2 2 所示： j o 7 罢 。 a c c r 图2 2 两类样本的分类 单个神经元的网络权矢量的学习方法为： ( f + 1 ) = 形( f ) + t l d ( t ) 一y ( t ) l x o ) 0 i h 一1 ( 式3 4 ) 。、f + 1 对爿类的输入值 d 2 1 1对b 类的输入值 式3 4 中，r i ( o 0 为l a g r a n g e 系数，我们的问题是对w 和b 求l a g r a n g e 函数的最 ! 咝蜜苎垫墨塑丝堕垡垄垒堡丝型生塑生旦 ：! ! ： 小值。 把上式分别对w 和b 求偏微分并令它们等于0 ，就可以把原问题转化为如下 这种比较简单的对偶问题：在约束条件 y , c t ，= o q o ，i = 1 ，”( 式3 ，9 ) 一1 之下对求解下列函数的最大值： q ( d ) = 口。一 口口，y 。y ，( x ，x j ) ( 式3 1 0 ) 若口，为最优解，则 w - - z 口。y ，x ， ( 式3 1 1 ) 即最优分类面的权系数向量是训练样本的线性组的和。 这是一个不等式约束下二次函数极值问题，存在唯一解。且根据k u h n t u c k e r 条件，这个优化问题的解需满足 口，( y ，( w x ，+ 6 ) 一1 ) = 0 ，i = l ，n ， 因此，对多数样本q 将为零，取值不为零的嚷对应于式( 3 6 ) 等号成立的样 本即支持向量，它们通常只是全体样本中的很少一部分。 求解上述问题后得到的最优分类函数是 f ( x ) = s g n ( w 工) + 6 = s g n f 口，咒( 薯x ) + 6 ) ， ( 式3 1 3 ) s g n ( ) y 口符号函数。由于非支持向量对应的均为0 ，因此式中的求和实际上只 对支持向量进行。而6 + 是分类的域值，可以由任意一个支持向量用式( 3 6 ) 求 得，或通过两类中任意一对支持向量取中值求得。 如果用内积k ( x ，z ) 代替最优分类面中的点积，就相当于把原特征空间变换 到了某一新的特征空间，此时式( 3 1 1 ) 的优化函数变为： q ) = q 一 口，口，m y ，k ( x 。，x j ) ， ( 式3 1 4 ) l = 1 i , j - i 支撑向量机及神经网络在入侵检测中的应用 而相应的判别函数式( 3 1 3 ) 也应变为 厂( x ) = s g n a ，y ，足( x ，x ) + 6 ) 。 ( 式3 1 5 ) 这就是支持向量机。 支持向量机的基本思想可以概括为：首先通过非线性变换将输入空间变换到 一个高维空间，然后在这个新空间中求取最优线性分类面，而这种非线性变换是 通过定义适当内积函数实现的。 支撑向量机及神经网络在入侵检测中的应用 第三章州s v m 在模式识别领域的应用研究 随着模式识别应用新领域的开辟，o c r 技术的应用领域越来越多，也越来 越具有应用价值和意义。1 9 9 9 年，北京邮电大学模式识别实验室和山东中创公 司达成协议，共同研究开发一套金融o c r 票据自动分拣系统，并于2 0 0 2 年成功 申请了国家8 6 3 重点项目。2 0 0 0 年4 月，我开始参于到这个项目中进行手写数 字识别算法技术方面的研究。 在票据处理中，除了预处理外，手写数字的识别算法研究也是非常关键的技 术。一般的金融票据有四到五个识别域，而其中有两到三个就是手写数字识别域， 例如小写金额、小写日期、手写账号等。这些识别域的识别要素，通过切分、去 噪等预处理后，需要通过单字识别核识别，才能得到最终的识别结果。所以，识 别核的性能好坏最终决定整个票据处理核心性能的高低。对手写数字识别算法的 研究也就显得尤为重要。这里，我们对神经网络和支撑向量机的原理进行了研究 讨论，并通过大量实验，确定了他们应用于模式识别的最优模型。 3 1 b p 神经网络在模式识别中的应用 目前，已有的神经网络模型达几十种之多，许多研究都表明，b p 网络模型 是模式识别领域应用最成功的网络，这是因为b p 网络能够实现任意的高维非线 性函数映射。通常，在用于手写数字识别时，b p 网络大体采用三种方式：全连 接网络、局部连接网络和特征输入网络。 全连接网络。又称点阵输入网络，一个字符的所有二值图象值直接作为网 络的输入。在这种方法中，隐层每个神经元都对字符的全部特征产生响应。 局部连接网络。隐层单元和输入层单元不是全连接方式，而是只与字符点 阵中某个局部区域相连接的一种网络。隐层的一个神经元，只能响应字符的某些 特征，若干神经元的配合才能对全部的特征予以响应。这种局面连接神经网络在 抽取综合特征方面比全连接的神经网络显得更灵活。 特征输入网络。通过一些算法先对字符进行特征抽取，然后把特征向量输 支撑向量机及神经网络在a 侵检测中的应用 入到b p 网络。 对于全连接网络，由于采用点阵输入，所以网络规模庞大。而且要对大量冗 余的数据进行处理，因此不能充分利用b p 网络的学习功能和推广能力，另一方 面，它是在整个字符区抽取特征，因而当字符的各个部分稍有移动时，就不可能 抽取相同的特征；局部连接网络，它是局部地抽取个字符的各个特征并通过组 合各个局部特征来识别该字符，在设置相同数量的局部区域时，连到一个局部区 域的神经元数目越多，其识别率也越高。如果局部区域设置得太多，则自组织的 特征抽取对局部特征的位置就会太敏感。因此，要提高局部连接网络的识别率， 势必要增加网络的神经元数目，这不仅要增加网络的规模，而且使网络的结构更 加复杂。对于特征输入网络，识别率取决于对字符特征抽取是否最佳和合理，而 传统的人工智能识别方法对于字符特征抽取和分析已有了一套相当成熟的理论 和方法，所以特征输入网络是各种网络模型最有吸引力的方法。 实验中采用了特征输入b p 网络，而要使特征输入网络在金融票据o c r 中达 到最优化的应用，还需要在两个方面进行处理：特征提取、网络结构的确定。 3 1 1 特征提取 特征抽取的性能如何直接影响系统的识别结果和分类网络的规模。希望特征 集 x k 是个正交完备集，要完全实现是困难的，但可以综合运用各种映射关系， 通过特征选择得到一个相对完备的特征集。根据不同的映射关系，可以把特征分 成三类：几何特征、f o u r i e r 映射特征和投影特征。 几何特征 重心及中心矩特征 4 维 ：由于字符的笔画不相同，象素点的分布不同，因 而字符的重心位置不同，与其有关的一些离散量包含了字符集合特征的信息。 质量分布特征 4 维 ：字符象素在各个区域的分布是不一样的，这样差别包 含了字符质量分布变化的信息。 笔画转换特征 8 维 ：字符笔画变化不一样，例如字符1 在横向和纵向扫描 时从“0 ”到“l ”的变化始终是一次，而其他字符可能多于一次。这种笔画的变 化包含了大量的几何信息。 外缘轮廓特征 3 维 ：包括字符的宽度、外缘轮廓的最大值和最小值所在的 支撑向量机及神经网络在入侵检测中的应用 位置等。 结构特征 4 3 维 ：从点阵的四个角沿对角线方向搜索，统计当出现第一个 “l ”时的点数，得到4 个特征矢量；将点阵分割成3 3 的矩形区域，计算每个 区域关于0 度、4 5 度、9 0 度和1 3 5 度方向上的笔画，有则为“l ”，无则为0 ， 每个区域4 个特征，一共3 6 个特征：确定字符的高度、宽度以及高度和宽度的 比值。 f o u r i e r 映射特征 3 1 维 f 映射是处理数字图象的有效手段。通过映射所得到的一些离散量能充分反 映封闭轮廓的变化，并且这些离散量基本上不受字符大小，位移和旋转变化影响。 经过分析，这里选取其中对字符影响较大的3 1 个离散量作为特征矢量。 投影特征 1 6 维 将字符点阵分成8 个三角区域，共有1 6 个边线，将点阵中字符象素向最近 的三条边线，沿水平、垂直对角方向投影，用1 6 条边线上的投影长度作为特征。 这样总共得到1 0 9 维特征。由于定义的特征在数值上有很大差别，另外还考 虑到有部分特征有比较好的分类性能，所以对其进行归一化、加权处理。 3 。1 2 网络结构的确定 已经确定了使用特征输入b p 网络和抽取特征向量，还需要确定网络隐层的 接点数和输出接点数。 对于手写数字识别，输出接点数一般的为1 0 个，每个数字对应一类输出。 然而，手写数字由于手写者的不同，书写风格可以不一样，写法可以不一样，所 以，一个数字有时候可以对应成多类。例如数字2 的有以下两种写法： 第一种写法： 第二种写法： 支撑向量机及神经网络在入侵检测中的应用 显然，这两类2 字写发完全不同，可以对应成两个输出。所以，b p 网络分类器 可以是l o 个以上的输出。但输出太多，势必增加网络的规模，是网络显的庞大， 所以需要选择合适输出层，使分类器性能最优。 同样，隐层节点数也是整个网络性能的关键。增加隐层节点数，显然能够提 高系统的识别率，可以吸收更多的样本变形，然而，过多的隐层接点数，同样使 b p 网络庞大，运算量复杂。 这里，分别对不同隐层接点数( 4 8 或5 6 或9 6 个) 和不同输出个数( 1 0 个 或1 1 或1 2 个) 的b p 网络进行了性能测量，并确定了最优b p 网络，应用于票 据处理中手写数字的识别。 4 8 1 0 4 8 1 3 21 4 6 4 8 1 1 4 6 3 4 21 6 1 4 81 24 5 4 1 61 5 6 5 6 1 04 7 2 8 11 6 9 5 6 1 1 4 2 6 6 41 7 3 5 61 24 4 7 1 31 7 1 9 6 1 04 0 0 7 81 7 6 9 61 l4 7 0 4 51 8 6 9 61 24 4 1 9 22 1 7 显然，当隐层节点数为9 6 。输出个数为1 0 的时候，分类器的识别率最高， 所以我们选择这样的网络结构。此外，从实验数据看，输出个数的增加，系统识 别率未必提高，分析原因可能是因为训练样本的分类不够清晰，有的样本可以归 到这样的写法，也可以归到那样的写法，最终导致输出类间不可分，从而使识别 率反而降低。 3 2s v m 分类器在模式识别中的应用 构造s v m ( 支撑向量机) 分类器，需要从两方面着手：内积函数的选择 支撑向量机及神经网络在入侵检测中的应用 输入特征的选择。 3 2 1 内积函数的选择 采用不同的内积函数将导致不同的支撑向量机算法，目前得到研究的内积函 数形式主要有三类，他们都与已有的方法有对应关系。 采用多项式形式的内积函数，即 k ( x ，x ，) = 【( x o x 。) + 1 】9 ，( 式3 1 6 ) 此时得到的支持向量机是一个q 阶多项式分类器。 采用核函数型内积 k ( x , x j ) ：e x p 一啤) ，( 式3 1 7 ) 得到的支持向量机是一种径向基函数分类器。 如果采用s 形函数作为内积，如 k ( x ，x ，) = t a n h ( v ( x x , ) + c ) ， ( 式3 1 8 ) 则支持向量机实现的是一个两层的多层感知器神经网络，只是在这里不但网络 的权值、而且网络的隐层节点数目也是由算法自动确定的。 我们针对票据中的实际数字样本进行了实验，就神经网络识别器而言，发现 其中2 和3 、2 和7 的样本最容易误识，所以就拿2 v s 3 、2 v s 7 两组相似字的样本 进行训练和测试。每个样本都是1 6 1 6 的点阵( 即2 5 6 维) ，用其中3 0 0 0 个作 为训练样本，另外3 0 0 0 个作为测试样本。 对于这样一组数据，分别采用下面的三种内积函数的支撑向量机进行了实 验， 多项式内积函数 k ( x ，一) = 陆 一) 】3 ， ( 式3 1 9 ) 径向基内积函数 徘 ) = e x p 一铬) ，盯= 0 3 ， ( 龃2 。) ( 要) s i g m o i d 内积函数 支撑向量机及神经网络在入侵检测中的应用 结果如下 m ) = 鼬( 掣_ 1 ) ，( 札2 1 ) 神经网络分类器 1 6 7 5 9 1 6 6 8 2 多项式内积的支撑向量机 1 5 9 2 4 1 6 3 0 7 径向基函数内积的支撑向量机 1 6 0 7 1 1 6 3 7 0 s i g m o i d 内积的支撑向量机 1 6 1 4 8 1 6 4 3 1 这个实验一方面初步说明了s v m 方法较传统的方法有明显优势，同时也说 明不同的s v m 方法可以得到性能相近的结果( 不象神经网络那样十分依赖于对 模型的选择) 。鉴于实验的结果和不同内积的计算复杂程度，我们最终选择了多 项式内积的支撑向量分类器。 3 2 2 样本特征的选择 对于传统的识别算法，样本特征的选择是非常重要的。一般的，所选择的特 征对类内样本要有一定的稳定性，对类间样本要有很好的区分性。统计识别方法 中选择方向线素特征就是一个很好的例子，对于手写汉字的识别率可达9 9 6 。 在对s v m 分类器的研究中，选择了两组特征，并分别进行测试比较，并最 终确定样本特征： 1 6 1 6 的点阵特征，2 5 6 维； 1 0 9 维特征组合，就是在上一节所说的三类特征：几何特征、f o u r i e r 映 射特征和投影特征。 用3 0 0 0 个手写数字样本作为训练样本，用另外3 0 0 0 个手写数字样本作为测 试样本，用多项式内积的s v m 分类器分别对两组特征进行实验，结果如下： 1 0 9 维特征组合 1 6 0 9 1 1 6 2 8 7 1 6 x 1 6 的点阵特征 1 5 9 2 4 1 6 3 0 7 从结果看，两组特征对于s v m 分类器而言，最终的识别性能相似。而从效 率考虑，因为1 6 x1 6 的点阵特征只需要2 5 6 维b o o l 型加法运算，而1 0 9 维特 征组合则全是浮点型计算，比前者复杂得多，而且，1 0 9 维特征数据很多需要复 支撑向量机及神经网络在入侵检测中的应用 杂图像处理才能最终得到，所以，选择1 6 x1 6 的点阵特征作为s v m 输入特征 比较合理。 3 3 手写数字识别核心的设计 从上面的讨论，可以看到，神经网络具有很好的识别性能，可以对手写数字 进行识别，但对于相似字的识别还是有不足，特别是2 和3 ，2 和7 等相似字对 对于神经网络识别器的误识率尤其高。s v m 分类器恰好可以用来处理神经网络 识别器处理不了的相似字。 1 0 9 维 特 征 1 0 输出 相似早对 上图是根据神经网络分类器和s v m 分类器的特点设计的手写数字识别核心 的框图。图中，神经网络分类器作为识别器1 ，其输入是1 0 9 维特征，1 0 个标准 输出，9 6 个隐层节点，这样的最优网络结构下，识别率可达9 6 6 。1 0 个标准 输出在一定相似字判断准则下，进行相似字判断，若是相似字则通过识别器2 ( 支 撑向量机) 进行相似字识别，最终得到识别结果。支撑向量机分类器以1 6 x1 6 点阵作为特征，这样与神经网络分类器的输入相异，起到互补的作用，从而使识 别核心在神经网络分类器的基础上提高了识别性能，克服了相似字的识别问题。 在这个模型中，相似字判断模块起到了很重要的作用，它有两个功能，第一， 确定识别样本是否属于相似字；第二，确定识别样本属于哪一队相似字，即确定 识别器2 在哪两类间进行分类。显然，判断准则的适当与否直接决定识别核心性 能高低。如果判断准则过于苛刻，很多样本被判断为相似字，从而都要经过识别 器2 的处理，这样，一方面降低了识别核心的处理效率，另一方面也可能降低识 别率：如果准则过于放宽，大部分样本不经过识别器2 的相似字识别，无法进行 相似字处理，识别器2 起不到预期的作用。 支撑向量机及神经网络在入侵检测中的应用 - 2 3 对相似字的判断，可以通过三个途径： 利用神经网络分类器的1 0 个输出概率值。 实际上，神经网络分类器的输出是1 0 个( 类) 数字的侯选概率。一般的， 侯选概率最大的类就是正确的分类结果。这里，为方便起见，称最大的侯选概率 为第一侯选概率，次之为第二侯选概率。显然，第一侯选概率值越大，识别结果 越可信，同时，希望第二侯选概率很小，第一侯选概率值和第二侯选概率值差值 越大，识别结果的可信度就越高。 设第一侯选概率为最。第二侯选概率为只，那么可以确定判断识别结果可 信条件如下： 岛 m a x & & 岛 s u b 即第一侯选概率要大于m a x ，第二侯选概率要小于m 玳，两者之差要大于 s u b ，这样才能认为识别结果可信，否则，可以认为该识别对象属于第一侯选字 和第二候选字的相似字对，需要通过s v m 分类器进行相似字的处理。所以，相 似字的判断准则可以定义为： 最 m i n o r 1 品- 岛i 墨一量芒藿卜 。ij；州ij啪ji饼i蟛。i。? -gpe口 支撑向量机及神经网络在入侵检测中的应用 4 1 维特征输出的回归分析结果 以下给出了一个详细的比较 神经网络训练结果 1 厂了1 磊鬲而i f lb e s tl i n e a rf i t ； i l a = t r 蔼 特征维数 4 l1 3 数据集大小 1 6 2 0 21 6 2 0 2 神经网络结构 4 1 5 0 - 4 0 - l ( t r a i n s c g )1 3 - 7 - l ( t r a i a l m ) 性能 9 6 ，3 1 9 6 8 4 训i 练次数 6 6 2 8 c p u 运行时间1 0 分8 分 特征维数 4 1 1 3 数据集大小 8 1 0 l 8 1 0 l 神经网络结构 4 1 5 0 - 4 0 1 ( t r a i n s c g 、 1 3 - 7 - 1 ( t r a i n l m ) lp自?m叶。镕囊霭日邑l日目q扯o 支撑向量机及神经网络在入侵检测中的应用 性能 9 5 7 0 9 5 8 2 训练次数 6 62 8 c p u 运行时间 1 6 s1 3 s 性能比较： 从以上的数据中，我们可以基于k d d 数据对神经网络和支撑向量机的性能 进行比较。从结果中可以看到神经网络和支撑向量机都取得了不俗的性能。 但从总体上看，支撑向量机仍然要优于神经网络。主要表现在训练时间和检 测的准确度上。在检测的准确度上，这两者间的差距并不大，但是在训练时间上， 支撑向量机明显要优于神经网络。 采用4 1 维特征的支撑向量机在性能要优于采用1 3 维特征的支撑向量机。但 是两者间的差距很小。说明支撑向量机对于维数的敏感度较低。 在神经网络以及支撑向量机的训练及识别过程中，我们有以下几点发现： 1 对于服务类型为私有( p r i v a t e ) 的数据，无论是支撑向量机还是神经网络， 都不能够提供满意的识别率。 如下图所示，神经网络识别器对于该类数据的识别率只有7 4 ，从而影响了对整 体样本的识别率。 7 7 1 结构t r a i n l m 函数得到的均方误差 o7 t+ f 一 0 6 5 0 卧 o5 5 ： 1 41 61 8 i j ：i _5 5 4 n a o -pe山絮叮 惶 一 一 h 一 ；| 降 “ e 一_ _ h 8 一 rj j _ l o i 曼 i 詈 支撑向量机及神经网络在入侵检测中的应用 而支撑向量机的识别输出结果如下： r e a d i n gm o d e l o k ( 1 4 3s u p p o r tv e c t o r sr e a d ) c l a s s i f y i n gt e s te x a m p l e s 1 0 0 d o n e r u n t i m e ( w i t h o u ti o ) i nc p u s e c o n d s ：o 0 0 a c c u r a c yo nt e s ts e t ：61 6 9 ( 9 5c o r r e c t ，5 9i n c o r r e c t ，15 4t o t a l ) p r e c i s i o n r e c a l lo nt e s ts e t ：6 1 9 4 9 1 2 1 也就是说只有6 1 9 4 的识别率。 经过分析，我们得到了原因：服务类型为p r i v a t e 的网络连接，是私有协议的 网络连接，由于私有协议完全由用户自己定义，因此可能包含了多种不同的协议， 对这些协议提取相同的特征，得到的特征分布是大相径庭的。所以以上两种分类 器在进行对该类协议的正常模式和异常模式分类时，性能较低。私有服务既私有 协议的入侵检测，一直是入侵检测的难点。 从训练及测试样本集中排除极少数的p r i v a t e 类型样本后，再针对新样本集进 行训练和测试，得到的识别率是9 9 9 。说明对于私有类型协议，我们在对其进 行入侵检测时，简单的分类已经不能有效的对攻击进行检测。 2 我们在对特征的处理中发现，特征的输入方式对分类器的性能有很大的影响。 例如，服务种类包括以下几种类型：h t t p 、f p 、s m t p 等等。当我们将服务种类作 为一维特征输入时，必须用数值来表述h t t p 、f t p 、s m t p 等类型，例如： h t t p 1 ；f t p 2 ；s m t p 3 ，诸如此类。 但是，这几种不同类型的服务是并列关系，不存在数值上的可比性。如果直 接将以上作为特征的输入，对神经网络和支撑向量机进行训练，可能会影响分类 器的识别性能。我们采取了另一种表示方法增加特征维数。 对于服务类型这样有2 个以上n 个类别的特征，我们将其扩展成n 维，例如 对于服务类型，新的特征包括：h t t p 、f p 、s m t p 等，这些特征值为。1 变量。如 果某连接属于h t t p 服务，则h t t p 这维特征置l ，而f c p 、s m t p 等特征置0 。依此 类推，原来4 1 维特征，对于1 5 0 0 0 组的数据集，我们将每组数据扩展成6 4 维特 征。对新的数据集，我们进行了训练和测试，得到了新的识别率，与旧的4 1 维 相比较，得到的结果如下。 支撑向量机及神经网络在入侵检测中的应用5 0 特征维数 4 1 6 4 i 数据集大小 1 6 2 0 21 6 2 0 2 i 神经网络结构 4 l - 5 0 一4 0 - l ( t r a i n s e g )6 4 5 0 一4 0 一l ( t r a i n s c ，曲 f 性能9 6 3 1 9 6 6 4 j 训练次数 6 61 5 c p u 运行时间 1 0 分 6 分 神经网络测试结果 特征维数 4 16 4 数据集大小 8 1 0 18 1 0 1 神经网络结构 4 1 - 5 0 - 4 0 1 ( t r a i n s c g )6 4 - 5 0 4 0 1 ( t r a i n s c g ) 性能 9 5 7 0 9 6 2 9 训练次数6 6 2 8 c p u 运行时间 1 6 s 1 0 s g1 。2 i 姜童 & 。 “ ” o 占 图4 1 维特征的神经网络测试结果 _t， 一 一r 一 一1一一 r；1，ijjl 2 8 5 4 1 1 1 l 一 = f ：一 j 柏 | ：删 ! j ! ：!? 于 一一一 一 一 一 支撑向量机及神经网络在入侵检测中的应用 图6 4 维特征的神经网络测试结果 以上结果显示，采用6 4 维特征的方法能够提升网络对训练样本和测试样本集 的精度，另外维数的增加使得网络收敛的速度增加。 5 1 3 结论 我们进行了一系列实验来评估支撑向量机和神经网络在入侵检测中的性能。 在使用d a r p ak d d 数据集的基础上，我们所有的训练和测试都是按照正常攻 击两种模式进行分类的。 支撑向量机和神经网络都有着较高的精确度( 9 5 以上) ，而支撑向量机略显 得要好一些。另外，当我们进行降维处理时( 将维数从4 1 降到1 3 维) ，支撑向 量机和神经网络的性能都没有受到大的影响，甚至神经网络性能有所提升。 当然，支撑向量机也有自身的缺点。那就是只能有两类输出( + 1 ，一1 ) ，也 就是只能进行两两分类，因此只能区分正常模式和攻击模式，而不能进一步对攻 击模式进行分类。使用组合式支撑向量机，作为新的分类引擎，不仅可以区分出 正常模式和异常模式，还可以将异常模式细分为特定的入侵类型。神经网络可以 有多个输出，因此单个神经网络就可以实现多个输出的分类器。但和前者相比在 支撑向量机及神经网络在入侵检测中的应用 相比在训练速度、可扩展性和总体性