神经网络BP课件

神经网络与BP神经网络控制1.什么是神经网络概述1.1发展历史1.2基本概念1.2.1人工神经元模型1.2.2人工神经网络的体系结构1.2.3人工神经网络的学习过程2.BP神经网络控制的基本思想与原理

概述2.1BP神经网络2.1.1BP神经网络模型2.1.2BP学习算法2.1.3BP网络存在的问题及改进方法2.1.4基于MATLAB的BP网络仿真3.最新研究进展4.评价5.主要参考文献1.什么是神经网络神经网络（NeuralNetworks,NN）是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。神经网络的基础在于神经元。神经元是以生物神经系统的神经细胞为基础的生物模型。在人们对生物神经系统进行研究，以探讨人工智能的机制时，把神经元数学化，从而产生了神经元数学模型。大量的形式相同的神经元连结在一起就组成了神经网络。神经网络是一个高度非线性动力学系统。虽然，每个神经元的结构和功能都不复杂，但是神经网络的动态行为则是十分复杂的；因此，用神经网络可以表达实际物理世界的各种现象。人工神经网络是一种模拟人脑脑神经传递信息的方式而建立起来的一种人工智能的方法，它是一种分布式的并行处理系统，其处理结果以权值形式分布存储在矩阵中。通过这种网络能够实现任意的非线性输入输出映射关系，具体的映射关系体现在构成网络的神经元之间的分布连接权上.由于网络具有很强的自适应和学习能力以及鲁棒性和容错能力，它不仅可以替代许多复杂耗时的传统算法，并且由于它对信息的处理更加接近于人的思维活动习惯，为解决非线性系统模拟和未知模型的预测提供了新途径。细胞体

细胞体是由很多分子形成的综合体，内部含有一个细胞核、核糖体、原生质网状结构等，它是神经元活动的能量供应地，在这里进行新陈代谢等各种生化过程。神经元也即是整个细胞，整个细胞的最外层称为细胞膜。树突

细胞体的伸延部分产生的分枝称为树突，树突是作为引入输入信号的突起。轴突

细胞体突起的最长的外伸管状纤维称为轴突。轴突是作为输出端的突起，它只有一个。突触是一个神经元与另一个神经元之间相联系并进行信息传送的结构。它由突触前膜，突触间隙和突触后膜组成。突触前膜是一个神经元的轴突末梢。突触间隙是突触前成分与后成分之间的距离空间。突触后膜可以是细胞体，树突或轴突。突触的存在说明：两个神经元的细胞质并不直接连通，两者彼此联系是通过突触这种结构接口的。有时，也把突触看作是神经元之间的连接。人工神经网络的特点和优越性：1.自学习和自适应性。2.非线性性。3.鲁棒性和容错性。4.计算的并行性与存储的分布性。5.分布式存储。

自适应是指一个系统能够改变自身的性能以适应环境变化的能力。

因此，神经网络比主要使用固定推理方式的专家系统具有更强的适应性，更接近人脑的运行规律

神经网络具有信息存储的分布性，故局部的损害会使人工神经网络的运行适度减弱，但不会产生灾难性的错误。

神经网络的并行性，是由其结构决定的。每个神经元都可以根据接受到的信息进行独立运算和处理，并输出结构。同一层的不同神经元可以同时进行运算，然后传输到下一层进行处理。因此，神经网络往往能发挥并行计算的优势，大大提升运算速度。

由于神经元之间的相对独立性，神经网络学习的“知识”不是集中存储在网络的某一处，而是分布在网络的所有连接权值中。在控制领域的研究课题中，不确定性系统的控制问题长期以来都是控制理论研究的中心主题之一，但是这个问题一直没有得到有效的解决。利用神经网络的学习能力，使它在对不确定性系统的控制过程中自动学习系统的特性，从而自动适应系统随时间的特性变异，以求达到对系统的最优控制；显然这是一种十分振奋人心的意向和方法。人工神经网络的模型现在有数十种之多，应用较多的典型的神经网络模型包括BP网络、霍普菲尔德（Hopfield）网络、ART网络和Kohonen网络。1.1发展历史

神经网络经历了从高潮到低谷，再到高潮的阶段，充满曲折的过程。①初期阶段美国心理学家williamJames(1890)发表了《心理学原理》一书,论述了相关学习、联想记忆的基本原理,对人脑功能作了创见性地工作。美国心理学家W.S.Mcculloch与数学家W.A.Pitts(1943)合作,从数理逻辑的角度，提出了神经元和神经网络最早的数学模型（MP模型），标志着神经网络研究的开端。心里学家DD.Hebb(1949)出版《行为构成》一书,首先建立了被称为Hebb算法的连接权训练规则。他认为学习过程就发生在两个神经细胞相互连接的突触处,并首先提出了神经元权值的修改方案,Hebb学习规则至今仍产生深刻影响。计算机学家F.Rosenblatt(1958)提出了一种具有三层网络特性的神经网络结构,称为“感知器”。第一次从理论研究转入工程现实阶段。电机工程师BernardWidrow和MarcianHoff(1962)提出了一种连续取值的线性加权求和阀值网络,即自适应线性元件网络，它成功地应用于自适应信号处理和雷达天线控制等连续可调过程。他们在人工神经网络理论上创造了一种被人们熟知的Widrow一Hoff学习训练算法,井用硬件电路实现人工神经网络方面的工作,为今天用大规模集成电路实现神经网络计算机奠定了基础。③复苏阶段进入20世纪80年代后，经过十几年迅速发展起来的以逻辑符号处理为主的人工智能理论和冯·诺依曼型计算机在视觉、听觉、形象思维、联想记忆等智能信息处理问题上受到了挫折。1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网络模型，引入了“计算能量”概念，给出了网络稳定性判断。1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究在1986年，在Rumelhart和McClelland等出版《并行分布式处理》一书，提出了一种著名的多层神经网络模型，即BP网络，该网络是迄今为止应用最普遍的神经网络。④新高潮阶段1987年6月在美国胜地亚哥召开了第一届国际神经网络学术会议,宣告了国际神经网络学会（INNS）正式成立。这标志者世界范围内掀起了神经网络开发研究的热潮。美国波十顿大学的S.Grossberg教授、芬兰赫尔辛基技术大学的T.Kohonen教授及日本东京大学的甘利俊教授,首次创办了世界第一份神经网络杂志《NeuralNetwork》。接着国际电气工程师与电子工程师学会相继也成立了神经网络协会,于1990年3月出版神经网络会刊。从此以后涌现出各种神经网络的期刊,将神经网络的研究与开发推向新的热潮。神经网络的应用进展：

①模式分类：将一个n维的特征向量映射为一个标量或向量的分类标签。分类问题的关键在于寻找恰当的分类面，将不同类别的样本区分开。现实中的分类问题一般比较复杂，样本空间中相距较近的样本也可能分属不同的类别。神经网络良好的非线性性能可能很好地刻画非线性分类画面，带来更好的模式识别能力。

②聚类:聚类不需要提供已知样本，而是完全根据给定的样本工作。只需给定聚类的类别数n，网络自动按样本间的相似性将输入样本分为n类。③回归和拟合：相似的样本在神经网络的映射下，往往能得到相近的输出。因此，神经网络对于函数拟合问题具有不错的解决能力。

④优化计算:已知约束条件，寻找一组参数组合，使由该组合确定的目标函数达到最小值。BP网络和其他部分网络的训练过程就是调整权值是输出误差最小化的过程。

⑤数据压缩：神经网络将特定只是存储于网络权值中，相当于将原有的样本用更小的数据量进行表示，这实际上是一个压缩的过程。1.2基本概念1.2.1人工神经元模型人工神经元模型是由大量处理单元广泛互连而成的网络,是人脑的抽象、简化、模拟,反映人脑的基本特性。一般来说，人工神经元模型应具备三个要素:①突触或连接权,每个由其权值或强度作为特征。常用wij表示神经元i和神经元j之间的连接强度。与人脑神经元不同,人工神经元权值的取值可在负值和正值之间。②加法器，用于求输入信号被神经元的相应突触加权的和，这个操作构成一个线性组合器。③激励函数，具有一个激励函数用于限制神经元输出振幅。激励函数将输出信号限制在一个允许范围内,使其成为有限值,通常神经元输出的扩充范围在[0,1]或[-1,1]之间。典型的人工神经元模型如下图所示：其中xj(j=1,2……n)为神经元i的输入信号，wij为连接权，ui是由输入信号线性组合后的输出，是神经元i的净输入。θi

为神经元的阀值，vi为经偏差调整过的值，为称为神经元的局部感应区。f(.)是激励函数,yi是神经元i的输出。常见的激励函数有一下三种：

①阈值函数在模型中，如果神经元的诱导局部域非负，输出为1，否则为0。此时神经元的输出取1或0,反映了神经元的兴奋或抑制。

②分段线性函数

③sigmoid函数，此函数的图形是S型的，在构造人工神经网络中最常用的激励函数。其中a是sigmoid函数的斜率参数，改变a可获得不同斜率的sigmoid函数。例如，实际在原点处的斜率等于a/4,在极限情况下，斜率参数趋于无穷，sigmoid函数就变成阈值函数，取0或1，而sigmoid的值域是0到1的连续区间。还要注意sigmoid函数是可微分的，而阈值函数不可以。神经网络中神经元的构造方式是和训练网络的学习算法紧密相连的。一般来说，我们可以区分三种不同的网络结构。1.2.2人工神经网络的体系结构①单层前馈网络在分层网络中，神经元以层的形式组织。在最简单的分层网络中，源节点构成输入层，直接投射到神经元的输出层，也就是说，这个网络是严格的无圈的或前馈的。

如图所示，输出输入层各有4个节点，这样的一个网络称为单层网。③递归网络递归网络和前馈网络的区别在于它至少有一个反馈环。如右图所示，递归网络可以这样，单层网络的每一个神经元的输出都反馈到所有其他神经元的输入中去。图中的结构没有自反馈环，自反馈环表示神经元的输出反馈到它自身的输入上去。对于神经网络具有首要意义的性质是网络能从环境中学习的能力，并通过学习改善其行为。神经网络通过施加于它的突触权值和偏置水平的调节的交互来学习它的环境。理想情况下，神经网络在每一层重复学习过程后对它的环境便有了更多了解。

我们对神经网络中这样定义学习：学习是一个过程，通过这个过程神经网络的自由参数在其嵌入的环境的激励过程之下得到调节。学习的类型由参数改变的方式决定。

学习过程中：

①神经网络被一个环境所激励。

②作为这个激励的结构，神经网络在它的自由参数上发生变化。

③由于神经网络内部结构的改变而以新的方式响应环境。

1.2.3人工神经网络的学习过程有监督学习。在有监督学习中的每一个训练样本都对应一个教师信号，教师信号代表了环境信息。网络将该教师作为期望输出，训练时计算实际输出与期望输出之间的误差，再根据误差的大小和方向对网络权值进行更新。这样的调整反复进行，直到误差达到预期的精度为止，整个网络形成了一个封闭的闭环系统。神经网络的学习主要分为有监督学习和无监督学习。无监督学习。网络只能接受一系列的输入样本，而对该样本应有的输出值一无所知。因此，网络只能凭借各输入样本之间的关系进行权值的更新。例如，在自组织竞争系统网络中，相似的输入样本将会激活同一个输出神经元，从而实现样本聚类或联想记忆。由于无监督学习没有期望输出，因此无法用来逼近函数。Hebb规则是神经网络中最古老的学习规则，由神经心理学家Hebb最先提出。其思想可以概括为：如果权值两端连接的两个神经元同时被激活，则该权值的能量将被选择性地增加；如果权值两端连接的两个神经元被异步激活，则该权值的能量将被选择性地减小。数学上表现为，权值的调整量与输入前一神经元输出值和后一神经元输出值的乘积成正比。假设前一神经元的输出为a，后一神经元的输出为b,学习因子为η，则权值调整量为：①Hebb学习规则以上两种学习方式对应了下面多种具体的学习规则：Widrow-Hoff学习规则

又称为Delta学习规则或纠错学习规则。假设期望输出为d，实际输出为y,则误差为e=d-y，训练的目标是使得误差最小，因此权值的调整量与误差大小成正比：随机学习规则又称为Boltzmann学习规则，其思想源于统计学，由此设计的神经网络称为Boltzmann机，Boltzmann机实际上是模拟退火算法。竞争学习规则网络的输出神经元之间相互竞争，在典型的竞争网络中，只有一个获胜神经元可以进行权值调整，其他神经元的权值维持不变，体现了神经元之间的侧向抑制，这与生物神经元的运行机制相符合。2.BP神经网络的基本思想与原理BP算法的出现非循环多级网络的训练算法UCSDPDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了该方法概述BP网络主要用于：1、函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。2、模式识别：用一个特定的输出向量将它与输入向量联系起来。3、分类：把输入向量以所定义的合适方式进行分类。4、数据压缩：减少输出向量维数以便于传输或存储。2.1BP神经网络BP(BackPropagation)神经网络，即误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。2.1.1BP神经网络模型BP网络结构，如图：x1o1输出层隐藏层输入层x2o2omxn…………………1、网络的构成

神经元的网络输入：

neti=x1w1i+x2w2i+…+xnwni神经元的输出：2、输出函数分析：

1（0,0.5）

net（0,0）o

0.5f′(net)0.25o01因此应该将net的值尽量控制在收敛比较快的范围内可以用其它的函数作为激活函数，只要该函数是处处可导的2.1.2BP学习算法基本思想：学习过程由信号的正向传播与误差的反向传播连个过程组成。正向传播时，输入样本从输入层传入，经各隐含层处理后，传向输出层。若输出层的实际输出与期望的输出（教师信号）不服，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号作为修正各单元权值的依据。

这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。BP网络模型中如图1所示的单隐层网络(三层前馈网)的应用最为普遍。主要包括输入层、隐层和输出层。学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。学习的本质：对各连接权值的动态调整学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。学习类型：有导师学习BP网络的学习分两个阶段：（1）由前向后正向计算各隐层和输出层的输出（2）由后向前误差反向传播以用于权值修正若一个网络的学习过程采用BP算法，则该网络称为BP网络。标准的BP网络由三层神经元组成。最下层为输入层，中间为隐含层，最上面为输出层。网络中相邻层采取完全连接方式。

设输入层、隐含层及输出层神经元的个数分别为L,M,N.可以证明：在隐含层节点可以根据需要自由设置的情况下，那么用三层前向神经网络可以实现任意精度逼近任意连续函数。

下面推导前向多层网络的BP学习算法。

设从第l层神经元j到第l-1层神经元i的连接权值为wji(l),p为当前学习样本，opi(l)为在p样本下第l层第i个神经元的输出，变换函数f[.]取为Sigmoid函数，即对于第p个样本，网络的输出误差Ep为：其中，tpi为输入第p个样本时第j个神经元的理想输出，opj(2)是它的实际输出。

考虑多层神经网络中的l层（隐含层或输出层，即l=1,2）,假设第l层有J个神经元，第l-1层有I个神经元，具有如下通用结构：为了使系统的实际输出与理想输出相接近，即使Ep下降，根据梯度算法，我们可以对l层按下式进行调整：对于非输出层的神经元具有下面的操作特性：如果将-θj(l)看作是第l-1层的一个虚拟神经元的输出，即设则可改写为：又由可以得到：定义：则可得到：可见，为求出调整值，必须先求出δpj(l)由可得：现在，我们分两种情况来讨论：①如果所讨论的神经元为输出神经元，则由

可得：代入中，可得：②如果所讨论的神经元为隐含层神经元，则有：将此结果代入得到：从上式可以看出，为求出隐含层的输出误差系数δpk(l),必须用到输出层的δpj(2),所以这个过程称为误差方向传播过程。

现在来讨论δpj(l)项中的fj’(netpj(l)),由于f[.]采用Sigmoid函数，即由此我们可以得到：将代入

得到将上面两式代入得到：当l=2(输出层)时当l=1（隐含层）时BP算法的各步骤：（1）权值初始化：，sq为ij,jk或kl（2）依次输入P个学习样本。设当前输入第P个样本（3）依次计算各层的输出：x’j,x’’kyl,j=0,1,…,n1,k=0,1,…n2,l=0,1,…m-1（4）求各层的反传误差：（5）记录已学过的样本个数p.如果p<P,转步骤（2）继续计算；如果p=P,转步骤（6）。（6）按权值修正公式修正各层的权值和阈值（7）按新的权值再计算x’j,x’’k,yl和EA,若对每个p和l都满足，或达到最大学习次数，则终止学习。否则转步骤（2）继续新一轮的学习。2.1.3BP网络存在的问题及改进方法将BP算法用于具有非线性转移函数的三层前馈网络，可以以任意精度逼近任何非线性函数，这一非凡优势使三层前馈网络得到越来越广泛的应用。然而标准的BP算法在应用中暴露出不少内在的缺陷。存在问题：①易形成局部极小而得不到全局最优

②训练次数多使得学习效率低，收敛速度慢

③隐含节点的选取缺乏理论指导

④训练时学习新样本有遗忘旧样本的趋势目前有效改进方法：①增加动量项一些学者指出，标准BP算法在调整权值时，只按t时刻误差的梯度降方向调整，而没有考虑t时刻前的梯度方向，从而常使训练过程发生震荡，收敛缓慢。为了提高网络的训练速度，可以在权值调整公式中增加一动量项。②自适应调节学习率学习率也称为步长，在标准的BP算法定为常数，然而在实际应用中，很难确定一个从始至终都合适的最佳学习率。从误差曲面可以看出，在平坦区域内学习率太小会使训练次数增加，因而希望增大学习率；而在误差变化剧烈的区域，学习率太大会因调整量过大而跨过较窄的“坑凹”处，使训练出现震荡，反而使迭代次数增加。为了加速收敛过程，一个较好的思想是自适应改变学习率，使其该大时增大，该小时减小。③引入陡度因子误差曲面上存在着平坦区域。权值调整进入平坦区的原因是神经元输出进入了转移函数的饱和区。如果在调整进入平坦区域后，设法压缩神经元的净输入，使其输出退出转移函数的饱和区，就可以改变误差函数的形状，从而使调整脱离平坦区。实现这一思路的具体作法是在原转移函数中引入一个陡度因子。2.1.4基于MATLAB的BP网络仿真①建立一个B