几种神经网络模型及其应用

1、几种神经网络模型及其应用 摘要：本文介绍了径向基网络，支撑矢量机，小波神经网络，反馈神经网络这几种神经网络结构的基本概念与特点，并对它们在科研方面的具体应用做了一些介绍。 关键词： 神经网络 径向基网络 支撑矢量机 小波神经网络 反馈神经网络 Several neural network models and their application Abstract: This paper introduced the RBF networks, support vector machines, wavelet neural networks, feedback neural networks w

2、ith their concepts and features, as well as their applications in scientific research field. Key words: neural networks RBF networks support vector machines wavelet neural networks feedback neural networks 2引言 随着对神经网络理论的不断深入研究，其应用目前已经渗透到各个领域。并在智能控制，模式识别，计算机视觉，自适应滤波和信号处理，非线性优化，语音识别，传感技术与机器人，生物医学工程等方面

3、取得了令人吃惊的成绩。本文介绍几种典型的神经网络，径向基神经网络，支撑矢量机，小波神经网络和反馈神经网络的概念及它们在科研中的一些具体应用。 1. 径向基网络 1.1 径向基网络的概念 径向基的理论最早由 Hardy，Harder和 Desmarais 等人提出。径向基函数（Radial Basis Function，RBF）神经网络，它的输出与连接权之间呈线性关系，因此可采用保证全局收敛的线性优化算法。径向基神经网络（RBFNN）是 3 层单元的神经网络，它是一种静态的神经网络，与函数逼近理论相吻合并且具有唯一的最佳逼近点。由于其结构简单且神经元的敏感区较小，因此可以广泛地应用于非线性函数的

4、局部逼近中。主要影响其网络性能的参数有3 个：输出层权值向量，隐层神经元的中心以及隐层神经元的宽度(方差)。一般径向基网络的学习总是从网络的权值入手，然后逐步调整网络的其它参数，由于权值与神经元中心及宽度有着直接关系，一旦权值确定，其它两个参数的调整就相对困难。 其一般结构如下： 如图 1 所示，该网络由三层构成,各层含义如下： 第一层：输入层：输入层神经元只起连接作用。 第二层：隐含层：隐含层神经元的变换函数为高斯核. 第三层：输出层：它对输入模式的作用做出响应. 图 1. 径向基神经网络拓扑结构 其数学模型通常如下： 设网络的输入为 x = ( x1 , x2 , ?, xH ) T，输入

5、层神经元至隐含层第 j 个神经元的中心矢为 vj = ( v1 j , v2 j , ?, vIj ) T (1 j H)，隐含层第 j 个神经元对应输入 x的状态为： zj = = x - vj = exp x1 - vij ) 2 / (22j ) ，其中(1j H)为隐含层第 j个神经元的控制参数。隐含层神经元至输出层第 k 个神经元的连接系数矢量为 wK = (w1K ，w2K ， ?， wHK (1 k p)，输出为： Yi =Hj = 0wij Zj ，其中 wi0 为节点 i 的阈值。 事实上，RBF神经网络可看作从特征子空间到类的映射，每类对应于网络一个输出结点 3的响应。一般

6、来说，输入层的结点数与输入特征矢量的维数相等，输出层的结点数就是待分类模式类别数。 径向基函数()r 一般分为两类：局部的和整体的。如果lim(r)为零，则称之为局部r径向基函数，否则称之为整体径向基函数。局部径向基函数旨在输入数据所在区域的中心插值，而整体径向基函数可以全局插值。最常用的 RBF 神经网络的隐含层非线性函数是高斯函数，其详细表达式描如下： 2? |PC- | ?iRPi ()=-exp? 2 ? ? i ?其中Ri (P)是隐含层第i个结点的输出，P是输入模式，Ci 是隐含层第i个结点基函数2的中心。 是第i个隐含结点的归一化参数，它决定该中心对应的基函数的作用范围，i i又

7、称之为 RBF 隐含结点的宽度系数。隐含结点输出在 0 和1之间，输入与中心的距离越近，隐含结点的响应就越大。显然该高斯函数是径向对称的，即对于与基函数中心径向距离相同的输入，隐含结点都产生相同的输出。 1.2 径向基神经网络的应用： 通常情况下，根据科研项目具体情况的需要，通过对径向基神经网络加以改动或调整，就可以应用在各个领域中，举实例如下： 目标识别是模式识别领域的一项重要研究内容，在这一领域，它能将来自某一目标的多源信息加以智能化合成，产生比单一信源更精确、更完全的估计和判别。用经典的贝叶斯统计方法或智能系统能够解决目标识别和分类问题。但当情况较为复杂，用统计方法不易解决的时候，神经网

8、络可以成功的解决这一类问题。由于人工神经网络具有并行处理、鲁棒性和自组织等特点而被广泛应用。人工神经网络对于解决信息融合目标识别和分类问题具有较大的潜力。BP 神经网络模型被广泛的应用于模式匹配、模式分类、模式识别与模式分析等方面。但 BP 网络模型算法收敛速度很慢，且目标函数存在局部极小点，因此 BP 网络的效率不高.而径向基（RBF）神经网络模型在一定程度上克服了这些缺点，其特点是将非监督学习与监督学习有效结合起来,从而得到很好的识别效果。 改进的 RBF网络模型的混合学习算法其步骤为: (1) 给定初始权矩阵 wI ×H，训练样本逆相关矩阵初始值和误差迭代终止值min； (2)

9、 按 K - 均值聚类算法选取 RB F的中心矢量 vj (1jH) ; (3) 按 Z j =（x - vj ）= exp（- ( x i - v ij) 2/ (22j)）计算径向基函数 zj (1jH) ; (4) 分别计算值 K(n)与逆相关矩阵值 (5) 计算误差信号 E ( n) (7) 计算累计误差 J ( n) ; (8) 若 J ( n) min ，转(5) ；否则转(9) ； (9) 训练结束。 运用上述步骤对目标进行识别： 假定目标已经存在，考虑有四种类型的目标，设计三层的网络结构，各层神经元个数分别为 3, 3, 2。神经网络的输入是由三个传感器的特征量测组成的一个三维

10、向量，输出层的两个神经元提供了一个值 Y = Y1，Y2 用来对目标的类型进行识别，按四个输出值 00, 01, 10, 11 分别来训练网络，00 代表目标 0，01 代表目标 1，10 代表目标 2，11 代表目标 3。在每种目标中选取 100 个样本进行训练。训练后的效果说明 RBF 神经网络的类中心更接近真实 4类中心，这说明其选择中心矢量的方法优于传统的方法；并且 RBF算法的平均识别率更高，具有更强的聚类能力，使目标识别更加准确。充分说明径向基（RBF）神经网络对目标进行识别是非常有效的，具有潜在的应用价值。 2. 支撑矢量机 2.1 支撑矢量机的概念 统计推断问题又称为预知性学习

11、问题，即根据观测数据（训练样本）推断一个未知系统的输入输出依赖关系。这个问题有极大的理论意义和实践意义。但由于系统的未知性和观测数据的有限性，因此这是个十分困难的问题。 随着近代计算机技术的发展，人们开始利用神经网络来解决以上提出的问题，并在一些实际工程项目中得到成功的应用，但是神经网络没有严格的理论依据，因此对于实际应用中提出的许多重要设计问题，无法做出准确的回答，只能依靠经验和技巧解决。20世纪 60 年代末，Vapnik 和 Cervonenkis的研究所取得的突破性进展终于导致了现代意义上的统计学习理论的建立，这就是目前国际文献上所称的 VC 理论。这一理论不仅圆满地回答了人工神经网络

12、研究与应用中提出的一系列理论性问题，而且构造出一种能克服神经网络局限性的更强有力的预知性学习算法支撑矢量机（SVM）方法，根据不同情况，其又可以分为线性支撑矢量机和非线性支撑矢量机两种。 如图 2 所示支撑矢量机网络结构： 图 2. 支撑矢量机（SVM）网络结构示意 支撑矢量机（SVMs）基于结构风险最小化原理，该原理给出了测试误差的上界：不超过训练误差和置信范围之和，置信范围取决于 VC 维的大小，VC 维越小则置信范围也越小。通过最小化这一上界，以得到较小的测试误差，因而 SVMs 具有强的泛化能力。 SVMs 的实现涉及求解线性约束的二次规划问题，该问题可以收敛到全局最优解。 总结起来，

13、SVM主要体现了以下思想: 1)分类器容量控制的思想。也即控制分类器集合函数的VC维。该思想直接来源于统计学习理论，SVM通过同时控制经验风险和学习机的容量来提高推广能力。 2)通过引入核的思想来控制分类器容量。若在原始特征空间中实现的分类器结构十分复杂(对应分类器函数集的vC维比较高)，则通过定义适当的核函数诱导出某个非线性变换，用此变换将原始特征空间映射到一个高维空间，然后在这个新的特征空间中求得最优线性分类面，以降低分类器的复杂度(即降低分类器函数集的VC维)。 3)通过求解QP来实现容量控制的思想与核的思想。 5现阶段SVM的主要研究方向如下： 1)SVM提出之后，从理论的角度研究SV

14、M的推广性能一直是SVM领域的研究重点，并取得了丰硕的成果，这些成果为提高SVM的推广性能提供了理论保证。 2)从SVM实现算法的角度看，求解SVM可以转化成一个二次规划(QP)问题，目前，针对QP的研究已相当深入，这些研究成果从算法实现上保证了SVM的实用性。但实际上，通过求解QP来实现容量控制与核的思想，在实践中还存在众多问题。其中一个主要问题就是参数选择与优化问题，包括核函数的选择与参数优化及控制经验风险与分类器函数集VC维的参数c的优化等。核函数选择及参数优化是当今SVM领域的研究热点。 3)SVM是一种两类分类器，而在实际应用中要解决多类分类问题。用SVM构造多类分类器是SVM领域的

15、又一研究重点。用SVM构造多类分类器有众多的理论与算法问题需要解决。一方面，衡量SVM推广性能的理论成果不能直接应用于由SVM构造的多类分类器之中，因此，有必要从理论上研究由SVM构造的多类分类器的推广能力，为构造多类分类器提供理论指导。另一方面，虽然现阶段SVM的实现算法已高效，但由于多类分类问题往往较复杂，要处理的数据也比较庞大，因此，多类分类器的高效构造算法的研究就显得非常重要。 2.2 支撑矢量机的实际应用举例如下： 支撑矢量机目前的应用研究领域主要包括图像识别(指纹、卫星图像等)与声音、压力等感知信号的识别。举一实例如下： Vapnik 等人在美国 AT &T 实验室做的手写

16、数字识别。他们利用美国国家邮政总局数据库提供的 7300 个训练样本和 2000 个测试数据设计了多项式、径向基函数、二层神经网络等不同形式的支撑矢量机，样本的分辨率为 16×16 像素，故系统维数为 256。实验结果表明 3种 SVM 求得的支撑矢量数目接近(274、291、254)，其中共同的支撑矢量约占 80 % ，识别误差也接近(4. 0 %、4. 1 %、4. 2 %) ，优于常规神经网络(5. 1 %5. 9 %)。近年来有一系列SVM 应用的报道，在模式识别方面的应用有 3 维物体识别、语音识别、脸像识别、文本分类、综合语音及图像数据核实人的身份等。 3. 小波神经网络

17、 3.1 小波神经网络的概念 小波分析方法是近年来得到迅速发展并形成研究热潮的信号分析新技术，被认为是对Fourier 分析方法的突破性进展，在图像分析与处理、奇异性检测等方面已有许多成功的应用。使用小波分析方法对噪声进行处理的技术发展迅速，现有的研究多采用小波的多分辨分析或小波包技术等进行消噪处理，这些方法主要用于从含高频噪声的确定信号中去除噪声，而且消噪效果与小波函数的选取、阈值的处理方式和消噪算法等有很大关系。 小波变换具有时频局部特性和军焦特性，而神经网络具有自学习、自适应、鲁棒性、容错性和推广能力。如何把两者的优势结合起来，一直是人们关注的问题。一种方法是用小波分析对信号进行预处理，

18、即以小波空间作为模式识别的特征空间，通过小波分析来实现信号的特征提取，然后将提取的特征向量送入神经网络处理；另一种即所谓的小波神经网络 (Wavelet Neural Network, WNN) 或小波网络 (Wavelet Network WN) 。小波神经网络最早是由法国著名的信息科学研究机构 IRLSA的 Zhang Qinghu 等人 1992 年提出来的。小波神经网络是基于小波变换而构成的神经网络模型，即用非线性小波基取代通常的神经元非线性激励函数(如 Sigmoid 函数)，把小波变换与神经网络有机地结合起来，充分继承了两者的优点。如图 3 所示，小波神经网络是基于小波分析而构造的

19、一种新型的前馈型人工神经网络。它以小波空间作为模式识别的特征空间，通过将小波基与信号向量的内积进行加权和来实现信号 6的特征提取，结合了小波变换良好的时频局域化性质及传统神经网络的自学习功能，因而有较强的逼近与容错能力。 其传递函数为小波函数。在此采用的小波母函数为： 根据其母小波，信号可以由下式逼近： 式中，wk、1/ak、bk/ak分别是子小波的权系数、伸缩系数和平移系数，K是网络所采用的神经元个数。此式可由图 1 所示的神经网络来实现。网络参数wk，bk，ak的优化学习通过最小化能量函数来完成，能量函数为： 其优点有：结构确定, 避免了 BP 网络在结构设计的盲目性；网络权系数线性分布和

20、学习目标函数的凸性，使网络的训练过程从根本上避免了局部最优化等问题；有较强的函数学习能力，可以任意精度逼近任意非线性函数。 小波神经网络具有以下特点。首先，小波基元及整个网络结构的确定有可靠的理论根据，可避免BP神经网络等结构设计上的盲目性；其次，网络权系数线性分布和学习目标函数的凸性，使网络训练过程从根本上避免了局部最优等非线性优化问题;第三，有较强的函数学习能力和推广能力。小波还可以与其它类型的神经网络相结合：例如用网络对信号做自适应小波分解，网络与小波的结合等。 3.2 小波神经网络的科研应用举例 对于配电网输电线的故障定位，由于配电网本身结构的特性，到目前为止，还没有较为完善的测距方法

21、。其原因不外乎有两点：一是采用集中参数模型，故障距离与线路始端测得的零序电压、电流没有必然的联系；二是采用分布参数的模型，列出的关于故障距离与线路始端测得的零序电压、电流的关系非常复杂，方程几乎不可能精确求解。而最重要的是，这两种方法都是基于故障后的工频分量进行故障测距的。事实上，仅仅采用工频分量，会丢失 7较多的故障后的暂态分量的信息。 对故障信号通过小波网络进行分解，以区分出各个频段的信息，而故障距离则是各个频段信息的函数，然后利用模糊神经网络的逼近性质，用其逼近故障距离，从而构造小波模糊神经网络来解决故障测距的问题。小波模糊神经网络将小波变换与模糊神经网络结合起来，以充分利用电力系统故障

22、时的各种信息，实现较高的测距精度。由于 EMTP 仿真系统中的电源是直接接地的，为了对小电流接地系统有一个真实的说明，如下图所示，本仿真模型采用了几个变压器模型以实现不接地系统的模拟： 将所研究的长度为 20km的输电线分成 50 等份，获得分别在 50 等份处发生 A相经不同的过渡电阻（10W、100 W 等）接地的 100 个样本，对这些样本按理想输出特性训练，当故障距离为 10km，则不管是多大的过渡电阻，其理想的输出即为 10。依次类推，对 100 个样本按本文提出的小波模糊神经网络的算法进行训练，测距的精度不是很高；然后，采用 4个模糊规则，将输电线路 200 等分，获得分别在 20

23、0 等分处发生 A 相经不同的过渡电阻接地的 300 个样本，对这 300 个样本进行训练后，再对在输电线其他位置经不同过渡电阻故障时的数据进行测试，得到的测距结果及误差见下表： 从仿真结果看出，本算法的测距精度较高。测距精度受过渡电阻的影响较小。虽然实际使用时比较繁琐，但可以克服传统配电网输电线故障测距中，由于无法确知输电线的对地分布电容而造成的测距的误差。在小电流接地系统线路单相接地故障时，线路始端不仅含有较为丰富的暂态信息，而且含有大量的工频分量。利用小波模糊神经网络的方法，能够把这两部分的信息充分利用起来，实现较为精确的故障测距，基本上消除过渡电阻对测距的影响。 4. 反馈网络 4.1

24、 反馈网络的概念 从 20 世纪 80 年代以来，随着研究的深入，人工神经网络因其良好的非线性映像能力 8等诸多优点而在诸多领域得到了广泛应用，尤其是前向多层神经网络，在1986年由Rumelhart等人提出 BP算法成功解决了它的训练问题后，成为应用最广泛和最成熟的神经网络，其中在化工过程系统建模、优化以及控制等方面应用也很多。但前向多层神经网络是一种静态网络，其运行时单向传播，没有反馈，只能实现从输入空间到输出空间非线性静态映像而不具有动态信息处理能力，严格地说并不是一个动力学模型。许多研究者选择输入变量移动窗口的技术，在通常的前馈网络中加入延时单元。此时可以看作把时间信号扩展成空间表示，

25、再送给静态的前馈网络。 利用静态的多层前馈网络对动态系统进行识别，实际上是将动态时间建模问题变为一个静态空间建模问题。这必然出现诸多问题：动态样本的移动窗口的选择是经验性的，增加时间序列的点数会提供更多的过程动态信息,但增加了网络结构的复杂程度，使训练时间和难度加大；但若太少，过程趋势信息表达就会显得不够。另外需事先假定系统的 NAR2MA模型类，对结构模型进行定阶，特别是随着系统阶次的增加或阶次未知时，迅速膨胀的网络结构将使学习收敛速度更加缓慢。此外较多的输入节点也将使相应的辨识系统对外部噪声特别敏感。相比之下，动态反馈网络提供了一种极具潜力的选择，代表了神经网络建模、识别与控制的发展方向。

26、 反馈网络的特点是处理单元之间除前馈连接外还有反馈连接的情况。同时延网络相比，反馈网络只需要增加和隐含层单元个数相同的联系单元，这无疑使得网络结构有了较大地减少，特别是当输入单元较多时。另外网络的动态特性仅有内部的连接提供，因此无须直接使用状态作为输入或训练信号，这也是反馈网络相对于静态网络的优越之处。根据网络结构的特点，将它们分为两类：全反馈网络结构和部分反馈网络结构。 4.1.1 全反馈网络 全反馈网络的突出代表就是由 Hopfield在 1982年提出的 Hopfield 网络。它是一种单层对称全反馈结构。各神经元用 M2P模型表示。 这种网络有两种工作方式： (1) 串行（异步）方式：

27、任何时刻只有一个单元改变状态，其余单元不变（动作顺序可以随机选择或按某种确定顺序选择）。 (2) 并行(同步) 方式:某一时刻所有神经元同时改变状态（常称这种工作方式的网络为Little 模型) 。Hopfield 根据系统动力学和统计力学的原理，将“能量函数”的概念引入到对称 Hopfield 网络的研究中，给出了网络的稳定性判据。可以证明，采用 Hebb 规则进行训练的 Hopfield网络系统总是朝着能量减小的方向变化，最终进入稳定状态，即收敛于某个平衡点。由于 Hopfield 网络的连接是全连接，因此当节点数目比较多时，网络的结构过于复杂，而网络结构中没有隐含层，使得网络的非线性性能

28、较差，尤其是对于复杂的非线性动态过程系统，因此在一定程度上限制了它的应用。 图 4. Hopfield 网络结构示意图 94.1.2 部分反馈网络 全反馈神经网络结构复杂，在实际应用时往往需要简化，为了保留网络的动态特性，往往采用部分反馈的形式。反馈连接有一组所谓联系单元(context)构成，它记忆网络过去的状态，并在下一时刻连同网络输入一起作为隐含层的输入，这种网络的反馈连接规定了网络的内部状态和记忆形式，使其输出不仅依赖于当前的输入，也与过去的输出有关。这一性质使部分反馈网络具有动态记忆的能力。 部分反馈网络的典型例子有： （1）Elman网络 Elman网络是在前向网络的基础上将隐含层

29、输出反馈到输入端得到的，隐含层的输出可以看作系统的状态（虚拟状态），因此这种反馈网络又称为状态反馈网络。 r m 这里对Elman网络进行分析。设网络外部输入为uk( -1)R ，输出为 yk()R 隐含n层的输出为x()kR ，该网络可以表示为非线性离散状态空间模型： 12xk()=+fWx( c (k) Wuk( -1)xkc ()=-xk( 1) 3yk()= gWxk()()式中：1、2、3网络的联系单元、隐含单元和输出单元相关的权重；uk( -1)网络的输入值；x()kxkyk,c () ()网络隐含层、反馈层和输出层的输出值；W相应的连接权值矩阵。 通过将Elman 模型写为上述形

30、式,我们可以看出这种形式的反馈神经网络是标准线性空间的非线性推广,其中隐含层的输出值x(k)为模型的状态向量。这与动态过程的状态方程的形式一致,由此揭示了反馈网络用于动态建模的原理。对于其它类型的反馈神经网络也都有相应的状态空间表达形式。 （2）Jordan网络 与Elman网络不同,Jordan 网络是在前向网络的基础上将输出层输出反馈到输入层得到的,这里对网络进行分析。该网络可以表示为非线性离散状态空间模型: 12xk()=+fWx( c (k) Wuk( -1)xkc ()=-yk( 1) 3yk()= gWxk()()其中各符号表示与Elman网络中的符号表示相同。从上面的式子中我们可

31、以看出,系统k+1时刻的输出可以表示为k时刻的输出和输入的函数。反映在网络结构上就是将网络的输出延迟一个时间步长后反馈到系统的输入端,从而得到Jordan 网络结构。 与Elman网络类似的是,Jordan网络也不易识别高阶系统,因此,也可以在Jordan网络的反馈层加自反馈进行修正,使网络可以记住过去更多时刻的信息,同时网络的非线性也大大提高。 （3）混合网络结构 10 DTPham等结合这两种网络得特点，提出了一种混合网络结构，即网络中同时包含从输出层和隐含层来的反馈。这里对网络进行分析，该网络可以表示为非线性离散状态空间模型： 12xk()=+fWx( c (k) Wuk( -1)?yk

32、()-? 1xkc ()=? ?xk()-13yk()= gWxk()()其中各符号表示与Elman网络中的符号表示相同。这种网络理论上能对任意阶数线性动态系统和任意阶数的非线性系统建模。 引入部分反馈的形式可以多种多样，下面是一个典型的例子：利用反馈神经网络建立对象模型，可以有效地减小输入空间，特别是对于多变量的对象而言，反馈神经网络的结构比前向网络更接近实际模型。但是，对于一些具有严重动态时变性、非线性、高阶次性等特点，并且其过程中间状态变量较多的对象，增加多层反馈子层可以保留若干个时刻的网络内部状态，以便更好地表征过程对象的内部特征。各反馈子层可进行短时的记忆，以保存一些必要的网络内部信息以表征过程的一些空间