神经网络的应用论文.doc

神经网络的原理及应用摘要：通过阅读相关文献，总结了神经网络方面的基本原理和应用。首先介绍了Hopfield神经网络中的离散型网络，并介绍其实现交通标志的步骤。随着神经网络的发展，其局限性日益凸显。为此，科学家们提出了与其它方法结合的神经网络。本文介绍了遗传算法优化BP神经网络的原理及在在坝基岩体渗透系数识别中的应用，还介绍了模糊神经网络的原理及在预测地基沉降量中的应用，最后介绍了小波神经网络的原理及在电力负荷预测中的应用。关键字：神经网络、Hopfield、遗传算法、模糊神经网络、小波神经网络绪论Hopfield网络及学习算法最初是由美国物理学家J.J Hopfield于1982年首先提出的，曾经为人工神经网络的发展进程开辟了新的研究途径。它利用与阶层型神经网络不同的结构特征和学习方法，模拟生物神经网络的记忆机理，获得了令人满意的结果。Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0，所以，也称离散Hopfield神经网络（Discrete Hopfield Neural Network，DHNN）。在离散Hopfield网络中，所采用的神经元是二值神经元，因此，所输出的离散值1和0分别表示神经元处于激活和抑制状态。Hopfield神经网络是递归神经网络的一种，在函数优化和联想记忆等方面有大量的应用。其运行机理与反馈神经网络有本质的区别，运行规律更加复杂。神经网络由于高度复杂的非线性结构导致其内部存在大量的局部极值点，而传统的梯度下降法训练神经网络有可能收敛于局部极值点，造成神经网络性能变差，甚至无法使用。随着现代非线性优化方法异军突起，特别是赫赫有名的遗传算法，具有极强的全局搜索能力，其收敛的有效性得到了理论和实践的充分检验。因此，遗传神经网络是解决高复杂性情况下全局收敛问题的有效途径。系统的复杂性与所要求的精确性之间存在着尖锐矛盾，模糊逻辑、神经网络和专家控制等智能系统为缓解这种矛盾提供了有效途径，但是这些系统单个运用时常常存在多种问题，因此人们便根据它们的优缺点提出了融合使用的新思路，如本文的模糊神经网络。传统神经网络的不足：1、激活函数不满足框架条件，且常为能量无限的Ck类函数，而待处理信号f常为能量有限的L2函数，难以找到它们间的反演变关系及保证解的唯一性；2、神经网络的结构参数难以确定，结构设计有很大的盲目性；3、神经网络的多层结构及误差曲面的高度非凸性使得神经网络的学习极其容易陷入局部极小。在这种情况下，小波神经网络最早由法国著名的信息科学研究机构IRISA的Qinhua Zhang等于1992年提出。本文将按以上顺序逐一介绍。一、离散型Hopfield神经网络在交通标志识别中的应用Hopfield神经网络是一种互联型神经网络，其演变过程是一个非线性动力学系统，可以用一组非线性差分方程（离散型）或微分方程（连续型）来描述。系统的稳定性可用所谓的“能量函数”来分析。在满足条件的情况下，某种“能量函数”的能量在网络运行过程中不断减少，最后趋于稳定的平衡状态。对于一个非线性动力学系统，系统状态从某一初值出发经过演变后可能有如下几种结果：渐进稳定点（吸引子）、极限环、混沌、状态发散。因为人工神经网络的变换函数是一个有界函数，故系统的状态不会发生发散现象。目前，人工神经网络经常利用渐进稳定点来解决某些问题。如果把系统的稳定点视为一个记忆，那么这个初态朝这个稳定点的演变过程就是一个寻找记忆的过程。如果把系统的稳定点视为能量的极小点，而把能量函数视为一个优化问题的目标函数，那么从初态朝这个稳定点的演变过程就是一个求解该优化问题的过程。因此，Hopfield神经网络的演变过程是一个计算联想或求解优化问题的过程。实际上，它的解决并不需要真的去计算，而是通过构成反馈神经网络，适当地设计其连接权和输入就可以达到这个目的。1.1离散型Hopfield神经网络的工作方式离散型Hopfield神经网络（DHNN）是一种单层的、输入/输出为二值的反馈网络。DHNN主要用于联想记忆。网络的能量函数存在着一个或多个极小点或平衡点。当网络的初始姿态确定后，网络的状态按其工作规则向能量递减的方向变化，最后接近或达到平衡点，这个平衡点又称为吸引子。如果设法把网络所需记忆的模式设计成某个确定网络状态的一个平衡点，则当网络从与记忆模式较接近的某个初始状态出发后，按Hopfield运行规则进行状态更新，最后网络状态稳定在能量函数的极小点，即记忆模式所对应的状态。这样就完成了由部分信息或失真信息到全部或完整信息的联想记忆过程。DHNN的计算公式如下;uit+1=j=1nwijyj(t)-xit+jyit+1=sgn(uit+1)其矩阵向量形式为：ut+1=Wyt-xt+yt+1=sgn(u(t+1)其中，y=y1,y2,ynT, x=x1,x2,xnT, u=u1,u2,unT为网络状态矢量，其分别为Hopfield网络第2层输出、第1层输入和总输入，y中所有的元素取值仅取1或-1；由于神经网络的第0层没有外界输入，因此认为Hopfield神经网络没有输入；=1,2,nT为网络的阈值矢量；W=wijnn为网络连接权矩阵，其元素wij表示第j个神经元到第i个神经元的连接权，它为对称矩阵。wij=0，则网络无自反馈，否则，称其为自反馈。1.2Hopfield神经网络的设计方法1.2.1权值的设计方法Hopfield网络的权值是设计出来的。设计方法的主要思路是使记忆的模式样本对应于网络能量函数的极小值。设有m个n维记忆模式，要设计网络连接权wij和阈值，使这m个模式正好是网络性能函数的m个极小值。比较常用的设计方法是“外积法”。设uk=u1K,u2K,unKT,k=1,2,m,uiK0,1,i=1,2,n其中，m表示的是模式类别数；n为每一类模式的维数。要求网络记忆的m(mn)个记忆模式矢量两两正交，即满足下式：(ui)Tuj=0,jin,j=i各神经元的阈值和网络的连接权矩阵按下式计算：W=k=1muk(uk)T-mIm则所有矢量uk在1km时都是稳定点。1.2.2Hopfield神经网络的容量Hopfield神经网络能够存储的最大模式数与神经元个数有关。np=n2ln n+ln(lnn)1.2.3Hopfield神经网络的稳定性离散Hopfield神经网络实质是一个多输入和含阈值的二值非线性动力系统。在运动系统中，平衡稳定状态可理解为系统某种形式的能量函数在系统运动过程中，其能量值不断减小，最后处于最小值。每个状态定义对应的能量E。Et=-12yTtWyt-xTtyt+Ttyt任何一个神经元节点的状态变化时，能量E将会向着减小的趋势变化，即对于任何t0,当神经网络从t=0开始，有初始状态y0，经过有限时刻t，有yt+t=yt，则称网络是稳定的。1.3离散型Hopfield神经网络与交通标志识别步骤如下：（1）载入各种交通标志。（2）为了统一神经网络输入维数，将交通标志转换为7070的二进制格式。（3）创建Hopfield神经网络。（4）检测样本是否为稳定点。Hopfield神经网络越复杂，它所包含的伪吸引子就越多，可能造成待检测点收敛于伪吸引子，甚至出现混沌现象。因此，所有递归类型的神经网络都有必要进行稳定性检验。一个简单的方法是将样本的期望输入神经网络，如果它能一步收敛于期望值，说明它在样本点上是平稳的。（5）由于Hopfield神经网络存在识别能力上限，因此需要检查识别量是否超过最大模式数。（6）生成带噪声的交通标志。（7）交通标志识别，对比，结果显示。二、遗传算法优化BP神经网络在坝基岩体渗透系数识别中的应用2.1遗传算法概述对于大数据量、高维数及多隐含层节点等条件，各类神经网络训练过程中很有可能会遇到大量的局部极值，不仅严重影响收敛速度，而且可能导致训练误差收敛于局部最优解而不是全局最优解，严重影响神经网络性能。而遗传算法是一种强有力的和应用广泛的随机搜索优化技术，可以解决这些问题。遗传算法（Genetic Algorithms, GA）的基本思想基于Darwin进化论和Mendel遗传学说。Darwin进化论最重要的是适者生存原理，它认为每一物种在发展中越来越适应环境。物种每个个体的基本特征由后代继承，但后代又会产生一些异于父代的新变化。在环境变化时，只有那些适应环境的个体特征保留下来。Mendel遗传学说最重要的是基因遗传原理它认为遗传以密码的方式存在细胞中，并以基因形式包含在染色体内，每个基因有特殊的位置并控制某种特殊性质。所以，每个基因对环境具有某种适应性，基因突变和基因杂交可产生更适应于环境的后代。经过存优去劣的自然淘汰，适应性高的基因结构得以保存下来。遗传算法是一种新的全局优化搜索算法，具有简单通用、鲁棒性强、适于并行处理及应用范围广等显著特点，是21世纪关键智能计算之一。遗传算法不同于枚举算法、启发式算法、搜索算法等传统的优化方法，其具有如下特点。（1）自组织、自适应和智能性。遗传算法消除了算法设计中的一个最大障碍，即需要事先描述问题的全部特点，并说明针对问题的不同特点算法应采取的措施。因此，它可以用来解决复杂的非结构化问题，具有很强的鲁棒性。（2）直接处理对象是参数编码集而不是问题参数本身。（3）搜索过程中使用的是基于目标函数值的评价信息，既不受优化函数连续性的约束，也没有优化函数必须可导的要求。（4）易于并行化，可降低由于使用超强计算机硬件带来的昂贵费用。（5）基本思想简单，运行方式和实现步骤规范，便于具体实现。（1）编码：在遗传算法求解问题时，首先遇到的是编码问题。将问题的解以适合于遗传算法求解的形式进行编码，称为遗传算法的表示，而交叉、变异等操作与编码的形式有关。因此，在进行编码时，要考虑到交叉和变异问题。最简单的编码方式是二进制编码。此外，编码的方式还有整数编码、实数编码和树编码等。（2）初始化种群的生成：在求解之前产生初始化种群，在解的备选空间中选择若干个体组成初始化种群，通常采用随机法产生初始化种群。（3）适应度评价：根据生物进化“适者生存”的原则，需要对每个个体适应环境的能力进行刻画，从而引入适应度。适应度是遗传算法在群体进化过程中用到的唯一信息，它为字符串如何复制给出了定量的描述。适应度函数通过计算个体的适应值来比较个体的适应度。适应度函数分为无约束条件的适应度函数和有约束条件的适应度函数。（4）选择：种群中的个体在进行交叉之前，要进行选择。选择的目的是获得较优的个体作为父代，进行下一步交叉。选择的依据是个体的适应度，适应度值高个体被选中的可能性大，适应度低的个体被选中的可能性小。适应度高的个体可能被多次复制，而适应度低的个体可能一次也未被选中。选择算子有时也叫复制算子。常用的选择方法是适应度比例法，也叫轮盘赌法，它的基本原则是按照个体的适应度大小比例进行选择。（5）交叉：交叉也称交配，即将两个父代个体的编码串的部分基因进行交换，产生新的个体。交叉算子是种群遗传算法的重要算子，是种群产生新个体的主要手段。对于二进制编码，具体实施交叉的方法有单点交叉、两点交叉、多点交叉和一致交叉等。对于实数编码，交叉的方法有离散重组、中间重组和线性重组等。（6）变异：变异操作首先在种群中随机选择一个个体，对于选中的个体按照一定的概率随机改变串结构的某个值，即对种群中的每一个个体以某一概率改变某一个或某一些基因座上的值为其他的基因。同生物界一样，遗传算法发生变异的概率很低。变异操作为新的个体提供了机会。（7）终止条件判断：终止条件判断是指在什么条件下认为算法找到了最优解，从而可以终止算法。通常使用遗传算法解决具体问题并不知道问题的最优解是什么，也不知道最优解的目标函数值，因而需要算法终止，并获得最优解。2.2遗传神经网络的基本原理遗传算法优化BP神经网络算法的流程如图。基本原理为利用遗传算法具有全局搜索和收敛速度快的特点，将其与神经网络结合起来，不仅能发挥神经网络的泛化映射能力，而且具有使神经网络克服收敛速度慢和容易陷入局部误差极小点等缺点。遗传神经网络的主要优化目标是神经网络的权值与阈值。因此，神经网络的拓扑结构必须提前确定，而且通用遗传算法存在收敛精度不高，容易过早收敛等问题。在实际应用中，可以从以下两方面入手。第一，将遗传算法与梯度下降法的等方法结合使用，以改善收敛效果。第二，将小生境方法等手段引入遗传算法，提高遗传算法的性能。2.3坝基岩体渗透系数的识别将渗透区域进行有限元剖分，随机取15组渗透系数，计算出各点的水头值，得到15组原始训练样本。具体实现：（1）生成样本数据。（2）初始化遗传算法与神经网络参数。（3）计算适应度，然后根据适应度值进行选择、重组、变异及重插入等运算，直到达到最大迭代次数。（4）利用梯度下降法对神经网络权值与阈值再进行一次优化，并输出优化结果。（5）输出最优解、平均解随迭代次数变化的关系、神经网络输出与期望输出的比较、程序的运行时间等。三、模糊神经网络在预测地基沉降量中的应用模糊逻辑和神经网络的比较神经网络模糊逻辑基本组成神经元模糊规则知识获取样本、算法实例专家知识、逻辑推理知识表达分布式表达隶属函数推理机制学习函数的自控制、并行计算、速度快模糊规则的组合、启发式搜索、速度慢推理操作神经元的叠加隶属函数的最大-最小自然语言实现不明确，灵活性低实现明确，灵活性高自适应性通过调整权值学习，容错性高归纳学习，容错性低优点自学习自组织能力，容错，泛化能力可利用专家的经验缺点黑箱模型，难于表达知识难于学习，推理过程模糊性增加模糊神经网络(FNN)是在神经和模糊系统的基础上发展起来的，是一种将模糊逻辑推理的知识性结构和神经网络的自学习能力结合起来的一种局部逼近网络，融合弥补了神经网络在模糊数据处理方面的不足和模糊逻辑在学习方面的缺陷，是一种集语言计算、逻辑推理、分布式处理和非线性动力学过程为一身的系统。因此，它具有处理不确定信息的模糊推理能力和依据样本数据进行学习的能力。模糊神经网络主要利用神经网络结构来实现模糊推理，从而是神经网络的权值具有在模糊逻辑中推理参数的物理意义。3.1模糊逻辑系统简介设U为一个离散或连续的集合，U被称为论域，用u表示论域U的元素。模糊集合是用隶属函数来表示的。定义：论域U中的模糊子集A，是以隶属函数A为表征的集合，即由映射A: U0,1确定论域U的子集A。A称为模糊子集的隶属函数，A(u)称为u对A的隶属度，它表示论域中的元素属于其模糊子集A的程度，它在0,1闭区间内可取连续取值，隶属度也可以简记为A(u)。一般来说，模糊逻辑系统是指那些与模糊概念和模糊逻辑有直接关系的系统，它由模糊产生器、模糊规则库、模糊推理机和反模糊化器四部分组成。模糊产生器将论域U上的点一一映射为U上的模糊集合，反模糊化器将论域V上的模糊集合一一映射为V上确定的点，模糊推理机根据模糊规则库中的模糊推理知识及由模糊产生器产生的模糊集合，推理出模糊结论，即论域V上的模糊集，并将其输入到反模糊化器中。一般模糊逻辑系统按照常见的形式分为纯模糊系统、Tkagi-Sugneo模糊逻辑系统和广义逻辑系统。其中，前两种模糊系统较多见。在Tkagi-Sugneo模糊逻辑系统中，模糊规则有着下列特殊形式。R(l):if x1 is F1l,xn is Fnl then yl=p0l+p1lx1+pnlxn其中，l表示第l条规则(l=1,m)；R(l)表示模糊规则；x1,xn表示输入值；yl为系统根据规则R(l)得到的输出值；F1l,Fnl表示模糊集合；p0l,pnl为常系数。 “if”部分是模糊的，“then”部分是确定的，即输出为各输入变量的线性组合。 对于一个输入向量x=x1xnT, Tkagi-Sugneo模糊逻辑系统的输出y定义为y=l=1M(wlyl)l=1Mwl式中，加权系数wl包括了规则R(l)作用于输入所有可能取得的所有真值。wl=i=1nil(xi)其中，il()表示规则R(l)下模糊集合Fil的隶属函数。此模糊逻辑系统的主要优点是它的输出能由规则库中的诸隶属函数及规则的输出部分精确确定。因此，能用系统辨别的方法来确定该系统的参数p0l,pnl，用确定系统阶数的方法确定规则数M；缺点在于其规则的结论部分是非模糊的。定义由中心平均反模糊化器、乘积推理规则、单值模糊产生器及高斯型隶属函数构成的模糊逻辑系统为高斯型模糊逻辑系统。定理1：对于任何定义在致密集URn上的连续函数g，任给0，一定存在高斯型模糊逻辑系统f，使得VxR|fx-gx0，一定存在高斯型模糊逻辑系统f，使得U|fx-g(x)|2dx1/2定理1和2被称为模糊逻辑系统的万能逼近定理。说明了模糊逻辑系统是几乎所有的非线性系统建模的理论基础。3.2TS型模糊神经网络简介（1）输入层：该层有n个结点直接与输入向量x=x1xnT连接，将输入值x传递至下一层。（2）模糊化层：若每个输入变量均定义有m个模糊集合，则此层共有nm个结点，分为n组，每组m个结点。第i组的m个结点输入都是xi，其输出分别是各输入量属于输出值模糊集合的隶属函数ij(xi), ij(xi)代表xi的第i个模糊集合，隶属函数通常为高斯函数。如cij和bij为隶属函数的中心和宽度。ijxi=exp-(xi-cijbij)2(3)规则层：其每个结点代表一个模糊规则，它的作用是用来匹配模糊规则的前件，计算出每条规则的使用度，即wj=i=1nij(xi)若ij(xi)为高斯函数，则有wj=exp-i=1n(xi-cijbij)2(4)去模糊层，该层的作用是实现归一化计算，即pj=wjj=1mwj(5)输出层：它实现的是清晰化计算，并采用加权平均的方法，即y=j=1mpjhj=pTh其中，hj=p0j+p1jx1+pnjxn3.3TS型模糊神经网络学习算法设有输入/输出样本xl,dl,l=1,L。其中，xl=x1l,xnlT，网络误差函数E设为：E=l=1L(yl-dl)2-|y-d|22其中，y=y1,yLT表示神经网络的实际输出；d=d1,dLT表示神经网络的期望输出；|2表示向量的2范数。为了降低神经网络学习算法的复杂度，本节将隶属函数变为wij=exp-i=1n(bij(xi-cij)2将神经网络的输出函数变为yl=j=1mwijp0j+p1jx1l+pnjxnl=wTP1x若令X=x1,xL=x11x1Lxn1xnL,=w1,wL=w11wL1w1mwLmP=p0,pn=p01pn1p0mpnm,C=c1,cm=c11c1mcn1cnmB=b1,bm=b11b1mbn1bnmDl=BxlI1m-C,l=1,LF=diagy-dPI1LXT其中，X表示输入样本组成的nL维矩阵；表示输入样本X的隶属度函数值wij所组成的mL维矩阵；P表示线性系数pij组成的m(n+1)维矩阵；C表示中心cij所组成的nm维矩阵；B表示中心宽度bij所组成的nm维矩阵。神经网络的输出表示为y=T(PPI1LX)T1m1其中，wl=wl1wlm=exp-sumDlDlT,l=1,L神经网络误差对系数矩阵P,B,C的偏导数为EP=diag(y-d)I1LXTEB=-4BXXF-2CXF+(CC)diag(I1LF)EC=4BBF+Cdiag(I1LF)其中，表示矩阵点乘，sum表示矩阵在列方向上求和。3.4TS型模糊神经网络学习算法步骤（1）将给定的输入/输出样本xl,dl,l=1,L适当分成两部分。一部分用来训练；另一部分用来测试和评价求得的系统的性能。（2）根据训练样本，利用聚类方法对输入样本进行聚类，聚类后的每个组对应于一条规则。假设聚类有m个组，则有m条模糊规则。聚类时，如何决定合适的组数，虽有多因素考虑，但通常有两个方法。一个方法是用根据K均值法中的距离平方和指标（Dis），看数组增加1个时，Dis减少的程度；另一个方法是判断分成组后每个组的体积大小。（3）训练神经网络。首先计算隶属函数值wij组成的矩阵，在此基础上计算神经网络的输出y及相应的E；然后计算误差E对系数矩阵P,B,C的偏导数，根据梯度下降法更新P,B,C；最后利用P,B,C来更新,E等参数。如果未达到退出条件，则继续迭代，否则退出。四、小波神经网络在电力负荷预测中的应用4.1小波理论基础定义1：设(t)为一平方可积函数，即(t)L2(R)，若其傅里叶变换(w)满足条件：-+|(w)|2wdw1，位移步长b00，取a=a0-m,b=na0b0，从而把连续小波变成离散小波，即m,nx=a0m2a0mx-nb0,m,nZ对于函数f(t)L2(R)，其离散小波变换（DWT）为：(Df)m,n=f,m,n=a0m2-+f(t)a0mx-nb0dt定义5：对于任何f(t)L2(R)，如果函数m,nt具有如下性质：A|f|2m=-+n=-+|f,m,n|2B|f|2便称m,ntm,nZ构成一个小波框架，上式为小波框架条件。其中A,B为框架界。其频率表示为：m=-+2mw2,0若A=B时，这个框架称为一个紧密架。任何变换都必须存在逆变换才有实际意义。在CWT中，若t满足课容许性条件式，则f(t)又可由连续小波逆变换（ICWT）重构：ft=1C0+daa2-+Wfa,ba,btdb,C=0+(aw)adaf(t)又可由离散小波逆变换（IDWT）重构：ft=m=-+n=-+Wfm,nm,nt=m=-+n=-+m,nt其中，m,n(t)称为m,n的对偶，它满足=m,in,j,m,n,i,jZ几种典型的小波函数1）Haar小波H=1,0x1/2-1,12x10,其他这是一种最简单的正交小波，即-+(t)(t-n)dt=02)Daubechies(dbN)小波系该小波是Daubechies从两尺度方程系数hk出发设计出来的离散正交小波，一般简写dhN，N是小波的阶数。小波和尺度函数中的支撑区为2N-1，的消失阶为N。除N=1外（Harr小波），dhN不具有对称性（即非线性相位），dhN没有显示表达式（除N=1外）。但hk的传递函数模的平方具有显式表达式。假设p(y)=k=0N-1CCkN-1-kyk，其中CkN-1-k为二项式系数，则有：m0w2=cos2w2NPsin2w2,m0w=12k=02N-1hkexpikw3)Biorthogonal(biorNr.Nd)小波系Biorthogonal函数系主要特性体现在具有线性相位，它主要应用在信号与图像的重构中，通常的用法是采用一个函数进行分解，用另一个小波函数进行重构。Biorthogonal函数系表示为biorNr.Nd的形式：Nr=1，Nd=1,3,5; Nr=2，Nd=2,4,6,8; Nr=3，Nd=1,3,5;7,9Nr=4，Nd=4; Nr=5，Nd=5; Nr=6，Nd=8;其中，r表示重构，d表示分解。4）Coiflet(coifN)小波系Coiflet函数也是由Daubechies构造的一个小波函数，它具有coifN(N=1,2,3,4,5)这一系列，Coiflet具有比dbN更好的对称性。从支撑长度的角度看，coifN具有和db3N及sym3N相同的支撑长度；从消失矩的数目来看，具有和db2N及Sym2N相同的消失矩数目。5）SymletSA(SymN)小波系SymletSA函数系是由Daubechies提出的近似对称的小波函数，它是对db函数的一种改进。SymletSA函数系通常表示为SymN(N=2,3,.,8)的形式。6）Morlet(morl)小波Morlet函数定义为x=Cexp(-x2/2)cos(5x)，它的尺度函数不存在，且不具有正交性。7）Mexican Hat(mexh)小波x=23-141-x2exp-x22,-+xdx=0由于它的尺度函数不存在，所以不具有正交性。8）Meyer函数Meyer小波函数和尺度函数都是在频率域中定义的，是具有紧支撑的正交小波。w=2-12expjw2sin2v32w-1,23w432-12expjw2cos2v32w-1,43w830,w23,83其中，v()为构造Meyer小波的辅助函数，且有w=2-12,w232-12cos2v32w-1,23w430,w434.2小波神经网络简介传统神经网络的不足：1、激活函数不满足框架条件，且常为能量无限的Ck类函数，而待处理信号f常为能量有限的L2函数，难以找到它们间的反演变关系及保证解的唯一性；2、神经网络的结构参数难以确定，结构设计有很大的盲目性；3、神经网络的多层结构及误差曲面的高度非凸性使得神经网络的学习极其容易陷入局部极小。小波神经网络通常看作使用小波或尺度函数来代替前向神经网络Sigmoid函数作为网络的激活函数，生成的一个与径向基函数(RBF)神经网络在结构上相似的神经网络。由于小波神经网络独特的数学背景，使得这种网络存在多种形式和多种学习方法，而各种不同形式的小波神经网络从结构形式上看，可以分为两大类。第一类是小波变换与常规神经网络的结合；第二类是小波分解与前向神经网络的融合。前者称为“结合”，是指彼此虽紧密相联，但却相互独立，即为松散型小波神经网络，它以小波空间作为模式识别的特征空间，通过小波基与信号的内积进行加权和来实现信号的特征提取，然后把提取的特征向量送入常规神经网络进行处理，即“小波变换预处理+神经网络”。因此，原则上说，这种神经网络并不属于真正意义的小波神经网络，它仅仅是信号经小波变换后，再输入给常规神经网络以完成分类、函数逼近等功能；对于第二类，即为紧致型小波神经网络，它是将常规单隐层神经网络的隐节点Sigmoid函数用小波函数的尺度与平移参数来代替的。小波神经网络的结构和表达式与BP网络的基本一致，即由三层（输入层、隐含层、输出层）构成。不同之处在于，BP网络隐含层神经元的激励函数取Sigmoid函数，小波神经网络则采用满足可允许条件的小波函数t为激励函数，t的具体取法可以视需要进行选择。输出层的激励函数常见的有Sigmoid函数和线性purline函数。网络训练过程基于误差逆传播思想，按梯度下降方向调整权值w,以及小波参数a,b。由于隐含层采用不同的激励函数，因而在调整权值和小波参数时，所采用的算法有所变化。小波网络的具体实现过程如下。yis=f(j-1nwijaj,bjk=1mrjkxks+ui)E=12s=1Si=1N(yis-dis)2其中，xks表示第s个输入样本的第k维取值；yis表示第s个神经网络输出的第i维取值；wij表示中间隐含层到输出层的权值；rjk表示输入层到中间隐含层的权值；aj,bj表示中间层的伸缩和平移参数；dis表示第s个实际输出样本的第i维取值；E表示神经网络的误差函数；ui表示神经网络的偏置。输入层、隐含层、输出层以及样本个数的神经元个数分别为m,n,N,S。若令netjs=k=1mrjkxks-bjaj=k=1mgjkxks+hj则有：yis=fj=1nwijaj,bjnetjs+ui=f(j=1nwij(netjs)+ui)在梯度下降的思想下，相应的参数调整过程如下。wijt+1=-Ewijt+wijtgijt+1=-Egijt+gijthjt+1=-Ehjt+hjtuit+1=-Euit+uit其中，为学习系数。4.3小波神经网络学习过程1）载入输入/输出样本P,T，并对其进行归一化，得到归一化输入与输出X,Y，令n=0，并初始化迭代步长。2）n=n+1，计算神经网络的输出，令Gn=g11g1mgn1gnmh1hn,X=x11x1sxm1xms,Vn=net11net1snetn1netns对Gn进行初始化，则神经网络的隐含层输出的矩阵形式如下。Vn=(GnXI1s)若令Yn=y11y1syn1yns,Wn=w11w1mwn1wnmu1un对Wn进行初始化，则神经网络的输出层输出如下。Yn=f(WnV(n)I1s)3)利用BP算法修正权值Gn和Wn。令EAn=D-Y(n)rn=EAf(WnV(n)I1s)则神经网络总的误差输出如下。En=12s=1Si=1N(yis-dis)2=12|EAn|22神经网络输出层系数矩阵Wn的修正方法如下。EnWn=-rnVnI1sTWn+1= Wn-EnWn神经网络隐含层系数矩阵Gn的修正方法如下。EnGn=-(GnXI1s)WnT(EAnfWn+1VnI1s)XI1sGn+1=Gn-EnGn其中，Wn表示 Wn的1n列。4）若满足退出条件，则退出；否则，返回2）。对于小波网络中小波函数的选择，通常根据经验和实际的不同情况。在图像压缩应用中，要求小波函数具有紧支撑、对称性、正交性和消失矩，Daubechies已证明正交小波函数不能同时具有这些性质；在信号的近似和估计应用中，小波函数的选择与信号的特征相匹配，应考虑小波的波形、支撑大小和消失矩的数目；在信号检测的应用中，若检测边缘，则采用某光滑函数的一阶导数型的反对称小波；若脉冲检测，则采用某光滑函数二阶导数型的对称小波。参考文献1 Jin Shan,