神经网络第四章

神经网络第四章第1页，课件共52页，创作于2023年2月第4章反向传播网络

反向传播网络也称为BP(BackPropagation)网络，采用推广的W-H学习规则-BP算法BP网络的主要用途：函数逼近模式识别分类数据压缩：在人工神经网络的实际应用中，绝大多数的网络模型都是BP网络及其变化形式。第2页，课件共52页，创作于2023年2月1BP网络模型与结构

BP网络模型

输入层隐层输出层第3页，课件共52页，创作于2023年2月1BP网络模型与结构▲BP网络的激活函数一定要可微

多数情况下，隐层为S型，输出层为线性。

输入与输出关系要求：非线性、光滑、取值连续，分类精确▲网络误差测定第p个样本的误差测度

网络关于整个样本集的误差测度,第4页，课件共52页，创作于2023年2月1BP网络模型与结构权值与偏差：隐层输出层，第5页，课件共52页，创作于2023年2月1BP网络模型与结构一组输入与输出多组输入与输出，，第6页，课件共52页，创作于2023年2月关系表达式：

1.输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定。

2.BP网很多都选用二级网络。1BP网络模型与结构第7页，课件共52页，创作于2023年2月2BP学习规则

是有指导训练的前馈多层网络训练算法，靠调节各层的加权，使网络学会由输入输出对组成的训练组。类似于感知器中线性单元和非线性单元的训练算法，执行优化的基本方法是梯度下降法。

求多元函数的U(x1,x2,…,xn)的极小值：若出发点是M0=(x10,x20,…,xn0),则自变量按如下规则改变：，第8页，课件共52页，创作于2023年2月2BP学习规则▲BP算法的主要思想：通过引入误差函数，对于学习样本P及目标输出T，利用梯度下降法来调整权值W和B，使网络的实际输出A与T尽可能接近，而使误差尽量达到最小。其过程是用输出层的误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程▲BP算法从形式上看，分为两个计算过程：

1．信息的正向传递；

2.调整W和B的误差反向传播第9页，课件共52页，创作于2023年2月2BP学习规则1.信息的正向传递▲隐层中第i个神经元输出：▲输出层中第k个神经元输出：第10页，课件共52页，创作于2023年2月2BP学习规则▲误差函数一组输入情形：

其中，第11页，课件共52页，创作于2023年2月2BP学习规则

q组输入情形：

第12页，课件共52页，创作于2023年2月2BP学习规则2.误差反向传播▲输出层权值、偏差的调整因为故由最速下降法，得权值改变量：第13页，课件共52页，创作于2023年2月2BP学习规则偏差改变量：其中▲隐层权值、偏差的调整

因为第14页，课件共52页，创作于2023年2月2BP学习规则故由最速下降法，得其中第15页，课件共52页，创作于2023年2月误差反向传播的流程图

与图形解释第16页，课件共52页，创作于2023年2月3误差反向传播的流程图

与图形解释S型激活函数

1（0,0.5）

n（0,0）o

0.5f′(n)0.25o0

1第17页，课件共52页，创作于2023年2月4BP网络的训练

及其设计过程▲设计Bp网络的结构包括以下内容：网络的层数，每层神经元数，每层的激活函数等▲BP网络的训练步骤：1）初始化每层权值和偏差，期望误差，最大循环次数，学习率等2）建立多层前向网络函数newcf.m或newff.m，格式如下：

net=newcf(minmax(P),[5,1],{‘tansig’‘purelin’},‘traingd’);3)训练

net=train(net,P,T)第18页，课件共52页，创作于2023年2月4BP网络的训练

及其设计过程例4.1用于函数逼近的BP网络的设计。▲迭代次数：经过4000-7000次训练成功，误差小于给定的门限误差0.02。▲误差变化图：逼近曲线效果良好▲结论：二层BP网络可很好地逼近非线性函数。

第19页，课件共52页，创作于2023年2月5BP网络的设计考虑因素：层数，每层神经元数，初始化，学习率等1网络的层数▲理论结果：具有偏差和至少一个S型隐含层的网络，能够逼近任意的有理函数。▲层数对网络影响：增加层数可进一步降低误差，提高精度；不足之处是使网络结构复杂化。▲隐层节点数对网络影响：可提高精度，降低误差；虽然也增加了一点网络的复杂度，但比增加层数要低▲设计的原则：首先应选择层数较少的网络，这样可降低复杂度；同时为了提高精度和降低误差，应先考虑增加隐层的神经元数目。

第20页，课件共52页，创作于2023年2月5BP网络的设计为了提高精度和逼近能力：1）增加隐层神经元数；2）增加网络层数。综合效果：以增加网络层数效果更好。第21页，课件共52页，创作于2023年2月5BP网络的设计例4.2考虑两个单元输入的联想问题：其输入和输出为：

P=[-32],T=[0.4,0.8]

目标误差：0.001

该问题可采用自适应网络解决：

w=0.08,b=0.64,e=T-A=0

利用Bp网络解决：有一定误差。结论：能利用自适应网络或感知器解决的问题，应尽量不用Bp网络第22页，课件共52页，创作于2023年2月5BP网络的设计例4.3用一层网络来实现下面的输入/输出关系：

P=[-6-6.1-4.1-444.166.1]T=[0.00.00.970.990.010.0311]▲理论分析：约束等式共8个，参数1个权值+1个偏差。因此，可能无准确解。▲仿真计算：可求出近似解。但效果与线性网络相当。▲逼近图效果：近似解相当于一种分类功能。▲结论：单层网络不能解决。能利用单层网络解决问题，应先考虑利用感知器和自适应线性元件。第23页，课件共52页，创作于2023年2月5BP网络的设计例4.4非线性误差曲面特性观察▲BP网络的误差函数E凸凹不平，有些地方很平坦，另外的地方很陡峭，这对算法的效果有较大影响。▲从提高算法的效率上讲，在陡峭的地方应选择小的学习率，以避免“过调”，在平坦的地方利用大学习率，以加快收敛速度。▲结论：常学习率在误差曲面非常不规则时可能效果不好。第24页，课件共52页，创作于2023年2月5BP网络的设计2隐含层的神经元数问题：隐含层的神经元数应选择为多少才适合？例4.5用两层BP网络实现“异或”问题。数学描述：输入及目标输出矢量隐层神经元数分别为：2，3，4，5，6，20，25，30▲对二值型离散数据也能利用BP网络逼近：可将二值型激活函数利用S型代替，训练成功后，将输出层的激活函数换成二值型函数，则训练达到一定精度时，实际输出与目标输出一致。第25页，课件共52页，创作于2023年2月5BP网络的设计▲训练效果表

s1Time(s)epoch25.7111834.409044.398854.458564.6285203.5768254.0672305.1196第26页，课件共52页，创作于2023年2月5BP网络的设计▲分析：神经元太少，影响学习效果，精度不高，易训练失败理论上讲，神经元越多，网络功能越强，但神经元越多训练时间会增加，并可能出现不协调的拟合。s1=3,4,5,6的效果相当，s1小，循环一次的时间少

▲结论：在隐层神经元数设计的原则是在能解决问题的情况下，增加1~2个神经元。第27页，课件共52页，创作于2023年2月5BP网络的设计3初始权值的选取▲饱和区域：误差曲面中非常平坦的区域，通常出现在为很小的值，因，且▲初始值的选取应避免取在饱和区域。▲隐层的初始值：在工具箱中，可采用initnw.m函数初始化W1和B1第28页，课件共52页，创作于2023年2月5BP网络的设计例4.6.好的初始值的训练效果观察。（例1数据）▲旧方法：随机初始化的训练次数为5000次左右；▲新方法：用initnw产生初始值的训练次数为400次左右▲在同样的目标误差下，训练速度加快了。▲一个好的学习算法应在统计的基础上来评价第29页，课件共52页，创作于2023年2月5BP网络的设计4学习速率学习率的大小对算法的影响：过大的学习率使计算不稳定，出现“震荡”过小的学习率导致计算时间长，收敛慢。学习率选取一般在0.01~0.8之间问题：由于误差曲面的复杂性，有的地方要求大学习率，另外地方要求小的学习率。

例4.7观察学习速率太大的影响第30页，课件共52页，创作于2023年2月5BP网络的设计5期望误差的选取期望误差的大小对训练的影响：▲期望误差的大小受问题本身的影响，应选择适当；▲期望误差过小，往往要求多的隐含层的节点数，并可能增加训练时间。▲实际训练时，可选择2-3个不同的期望误差进行比较后，进行综合考虑第31页，课件共52页，创作于2023年2月6限制与不足

BP算法存在问题：完全不能训练网络的麻痹现象局部最小训练时间过长，复杂问题甚至要训练几天到几周时间。选取了不适当的学习速率第32页，课件共52页，创作于2023年2月6限制与不足网络的麻痹现象在训练过程中，加权调得较大可能迫使所有的或大部分的加权和输出sj较大，从而使得操作会在S型函数的饱和区进行，此时函数处在其导数f’(s)非常小的区域内。由于在计算加权修正量时，σ正比于f’(s)，因此当f’(s)->0时σ->0，这使得，相当于调节过程几乎停顿下来。为了避免这种现象，可将学习（训练）速率系数η减小，但这又会增加训练时间。第33页，课件共52页，创作于2023年2月6限制与不足局部最小BP训练算法实际上采用梯度下降法，训练过程从某一起始点沿误差函数的斜面最陡方向逐渐达到最小点E->0。对于复杂的网络，其误差函数面在多维空间，其表面可能凹凸不平，因而在训练过程中可能会陷入某一个小谷区，称之为局部最小点。由此点向各方向变化均使E增加，以致无法逃出这个局部最小点。第34页，课件共52页，创作于2023年2月6限制与不足局部最小点示意图初始随机加权的影响。如果这些加权太大，可能一开始就使网络处于S型函数饱和区，系统就很有可能陷入局部最小。为此，可采用如下策略选取随机加权值：－使结点输入加权和的绝对值|sj|<1，但又不可太小。－可选择各加权值的量级为，其中ki为连接到结点j的所有前层结点的数目。第35页，课件共52页，创作于2023年2月6限制与不足学习速率η大小如果η选得太小，收敛会很慢；如果η选得太大，可能出现麻痹现象或连续不稳定。需按照实验和经验确定η。Wasserman曾提出自适应学习速率算法，在训练过程中自动调节阶距的大小。例4.8误差的局部和全局最小值的观察第36页，课件共52页，创作于2023年2月7反向传播法的改进1附加动量法基本思想：在BP法的调整权值方法的基础上，增加一个正比于前次权值变化量的值，称之为附加动量(法)附加动量法的计算公式：其中，k为训练次数，mc为动量因子，可取0.95左右。第37页，课件共52页，创作于2023年2月7反向传播法的改进▲附加动量法的一个显著特点：避免局部极小值

在误差曲面很平坦的地方，接近0，此时BP法的权值修正量几乎为0，但。这样防止了，并可从误差曲面的局部极小值中跳出来。▲相关函数的动量因子的调整公式

▲工具函数：traingdm.m作为train.m或newcf.m的一个选项。

第38页，课件共52页，创作于2023年2月7反向传播法的改进附加动量法的几个问题学习速率的选择：不能太大，或太小训练次数的选择：要给予足够的训练次数初始值的选择：误差下降方向，位置选择例4.9采用附加动量法的反向传播网络的训练。第39页，课件共52页，创作于2023年2月7反向传播法的改进2自适应学习速率▲恰当学习率的选取很困难，主要凭经验或训练▲过大或过小的学习率对训练都不利▲固定学习率的不足之处在于没有利用误差曲面的特性，因此影响了学习效果；自适应学习利用误差曲面特性，可增强学习效果。基本思想：在误差曲面平坦之处利用大学习率，可避免无法“训练”现象，加快收敛速度等；在误差曲面非常狭窄陡峭之处，利用小学习率，可避免出现“过调”现象。

第40页，课件共52页，创作于2023年2月7反向传播法的改进▲一种自适应学习率的调整公式：

注：的选取有任意性。工具函数：taningda.m作为train.m的参数。动量法和变学习率算法可结合起来：taningdx.m

调用格式：

net=newff(minmax(P),[5,1],(‘tansig’,’purelin’),’traingdx’)▲例4.10采用自适应学习率训练网络。第41页，课件共52页，创作于2023年2月7反向传播法的改进3弹性BP算法

▲标准的BP法中利用S型函数，其不足之处在于当输入绝对值很大时，，训练可出现完全不能训练；▲弹性BP算法：只取的符号，它决定了权值变化的方向，确定一个“更新值”；若连续两次“同号”，增加更新值；否则，减少更新值。算法出现“振荡”，减少“更新值”。第42页，课件共52页，创作于2023年2月8基于数值优化方法的训练算法

BP网络训练实质是一个非线性目标函数优化问题。求误差函数极小值，除了可利用“最速下降法”-BP法外，还存在其他求极小值方法—称为“优化”法。BP法是利用误差函数的一阶导数信息，此外，还有利用“二阶导数”信息的“优化”算法，例如：

拟牛顿法，Levenberg-Marquardt法，共轭梯度法等。第43页，课件共52页，创作于2023年2月8基于数值优化方法的训练算法▲优化算法的统一表示如下：寻优分二步：确定当前迭代的最佳搜索方向；在该方向上寻找最优步长；梯度下降法、拟牛顿法、Levenberg-Marquardt法、共轭梯度法等是其中的几种寻优方法。他们的主要区别在于“寻优”的技巧不一样。第44页，课件共52页，创作于2023年2月8基于数值优化方法的训练算法拟牛顿法牛顿法的步骤:

第一次迭代的搜索方向：负梯度方向调整公式为以后的各次迭代的搜索方向：调整公式为第45页，课件共52页，创作于2023年2月8基于数值优化方法的训练算法其中是海森（Hessian）矩阵：☻一个问题：

海森（Hessian）矩阵的计算量和存储量大，因此，利用不同的简化计算方法得到不同的“拟牛顿法”第46页，课件共52页，创作于2023年2月8基于数值优化方法的训练算法1．BFGS拟牛顿法：海森矩阵的近似计算公