第5章典型人工神经网络BP

1、版权所有版权所有 复制必究复制必究 200920091 1第五章典型人工神经网络第五章典型人工神经网络版权所有版权所有 复制必究复制必究 200920092 2版权所有版权所有 复制必究复制必究 200920093 3版权所有版权所有 复制必究复制必究 200920094 41000netynet0w 01x t01,nxxxxt01,nww ww1000tnetw xnetynet版权所有版权所有 复制必究复制必究 200920095 51000netynet1-1ynete版权所有版权所有 复制必究复制必究 200920096 6nxr0,1y0tw x 0tw x 版权所有版权所有 复制

2、必究复制必究 200920097 7jnjjxwu 0 ufy 01x1x2xnw1w2wn.x0 = 1w0n m-p感知机是一个多输入单输出的模型，虽然结构简感知机是一个多输入单输出的模型，虽然结构简单，但具有一定的计算能力。单，但具有一定的计算能力。n 通过学习（权重），它能够正确地分类样本（二分类）通过学习（权重），它能够正确地分类样本（二分类），但只能线性分类。，但只能线性分类。 ifif00 uuy单一人工神经元单一人工神经元单层感知机单层感知机版权所有版权所有 复制必究复制必究 200920098 8 000010100111 0000111011111x2x02211xwxw0

3、0021ww01021ww00121ww01121ww1x2x5 . 1121ww02211xwxw00021ww01021 ww00121 ww01121 ww1x2x2x1x与与逻逻辑辑或或逻逻辑辑分类能力分析分类能力分析5 . 0121ww版权所有版权所有 复制必究复制必究 200920099 91x 0000111011101x2x02211xwxw00021ww01021 ww00121 ww01121ww2x1x2x1x21120wwww异异或或逻逻辑辑2x2x1xandorxor02211xwxw版权所有版权所有 复制必究复制必究 200920091010单层感知机单层感知机 通

4、过适当的选择权重，单层感知机能够实现通过适当的选择权重，单层感知机能够实现and, or, not布尔逻辑。布尔逻辑。l单层感知机找不到相应的权重来实现单层感知机找不到相应的权重来实现xor逻辑逻辑l单层感知机不具备非线性分类能力！单层感知机不具备非线性分类能力！版权所有版权所有 复制必究复制必究 200920091111版权所有版权所有 复制必究复制必究 200920091212版权所有版权所有 复制必究复制必究 200920091313x1x2xni1ijw2kiwy1y2onyhnhni, 2 , 1inj, 2 , 1onk, 2 , 112版权所有版权所有 复制必究复制必究 2009

5、20091414隐含层输出：隐含层输出：111iniijjijow x11xwo输出层输出输出层输出：221hnkkiikiyw o211122211222xwwxwwowy版权所有版权所有 复制必究复制必究 200920091515x1x2xniy1y2ynollkw1hn)1( lhn1ijwl1l1inonllllllllxwwwy12111211版权所有版权所有 复制必究复制必究 200920091616 nrmr版权所有版权所有 复制必究复制必究 200920091717前向传播网络实质上表示的是一种从输入空间到输出空前向传播网络实质上表示的是一种从输入空间到输出空间的映射。间的映射

6、。网络的训练实质上是对网络的训练实质上是对突触权阵的调整突触权阵的调整，以满足当输入，以满足当输入为为xpxp时其输出应为时其输出应为ydyd。思想：思想：前向计算得到网络的输出前向计算得到网络的输出, , 反向计算得到误差的积反向计算得到误差的积累，由梯度下降法调整权值。累，由梯度下降法调整权值。版权所有版权所有 复制必究复制必究 200920091818神经网络神经网络w期望期望输出输出dypy网络输出网络输出px输入输入信号信号权值调整权值调整+-前向计算前向计算反向计算反向计算版权所有版权所有 复制必究复制必究 200920091919onipidipyye1221误差的平误差的平方和

7、方和梯度下降法梯度下降法：权值的变化与误差梯度的下降成正比，使误差：权值的变化与误差梯度的下降成正比，使误差指标不断减小。指标不断减小。wjwnpnipidinppoyyej111正定的、可微正定的、可微的凸函数的凸函数n个个样本样本版权所有版权所有 复制必究复制必究 200920092020 x1x2xno1o2om3lkwpq1ijw3l1inm2k2kiwiykzjikl学习算法学习算法版权所有版权所有 复制必究复制必究 200920092121学习算法（续）学习算法（续）ntxxxx,21mtoooo,21神经网络输入神经网络输入神经网络输出神经网络输出ptyyyy,21qtzzzz,

8、21隐层输出隐层输出 qmlkpqkinpijwww321,加权矩阵加权矩阵 131211,mlqkpi阈值向量阈值向量kkznetf2iiynetf1llonetf3非线性作用函数（激活函数）非线性作用函数（激活函数）期望输出期望输出.,21mtdddd版权所有版权所有 复制必究复制必究 200920092222;,2,1;,2,1pinj第一隐层输出：第一隐层输出：1111injjijiixwfnetfy学习算法（续）学习算法（续）2122kpiikikkywfnetfz第二隐层输出：第二隐层输出：1, 2,kq1, 2,lm3133lqkklkllzwfnetfo输出层输出：输出层输出：

9、版权所有版权所有 复制必究复制必究 2009200923232112mllljdo第一步：计算梯度第一步：计算梯度:,33jjwklkllllklllllklllkzznetfodwnetnetoojwnetnetjwj333333333)()(33()()lllldo f net333333333)()(lllllllllllllnetfodnetnetoojnetnetjj学习算法（续）学习算法（续）版权所有版权所有 复制必究复制必究 200920092424第二步：计算梯度第二步：计算梯度jjw22,222222223231332133221()()()()()()kkkkikikkik

10、kkikmllkilllkmllllkkilmllkkikilnetznetjjjjfnetywnetwznetwzonetjfnetyonetzdofnetwfnetywfnetyy .)(22132kkmllklknetfwj学习算法（续）学习算法（续）版权所有版权所有 复制必究复制必究 200920092525第三步：计算梯度第三步：计算梯度:,11jjw学习算法（续）学习算法（续）1111111212122111()()iiiijiijiiijqkijkkiqkkiijijknetynetjjjwnetwynetwnetjfnet xnetywfnet xx 11iij 版权所有版权所

11、有 复制必究复制必究 200920092626选定初始加权矩阵选定初始加权矩阵;,321www一般给一组较小的随机数。一般给一组较小的随机数。对每个样本重复下述过程，直到收敛：对每个样本重复下述过程，直到收敛：学习算法描述学习算法描述123, , ,;net y netz net o do正向过程计算正向过程计算;,),(,),(,),(111122223333iijiikkikkllklljwjnetfjwjnetfjwjnetf反向过程计算反向过程计算.3 , 2, 1,rwjwrrr rrrrwjtwtw1修正权值修正权值版权所有版权所有 复制必究复制必究 200920092727ikk

12、iywj2222kkj第二隐层与第一隐层连接权值及阈值更新：第二隐层与第一隐层连接权值及阈值更新：213322kmllklkknetfwnetjjiijxwj1111iij第一隐层与输入层连接权值及阈值更新：第一隐层与输入层连接权值及阈值更新：)(112211iqkkikiinetfwnetjkllkzwj3333llj输出层与第二隐层连接权值及阈值更新：输出层与第二隐层连接权值及阈值更新：)()(333lllllnetfodnetj.3 ,2, 1,rwjwrrr rrrrwjtwtw1学习算法描述（续）学习算法描述（续）版权所有版权所有 复制必究复制必究 200920092828 初始化

13、加输入和期望输出计算隐层和输出层的输出迭代次数加1调节输出层和隐层的连接权值wjtwtw)()1( 改变训练样本训练样本终止？迭代终止？nonoyy算法基本流程算法基本流程版权所有版权所有 复制必究复制必究 200920092929权系数的初值：权系数的初值：随机选较小的值，尽量均匀覆盖权值空间，避免出现初随机选较小的值，尽量均匀覆盖权值空间，避免出现初始权值相同的情况。始权值相同的情况。学习方式学习方式: : 增量型增量型学习方法效果好；学习方法效果好；累积型累积型学习方法速度快。学习方法速度快。激励函数：激励函数：非减可微函数。可通过调节非减可微函数。可通过调节sigmoidsigmoid

14、函数的斜率或采用函数的斜率或采用其它激励函数来改善网络的学习性能。其它激励函数来改善网络的学习性能。学习速率：学习速率：学习速率小，训练速度慢；学习速率大，训练速度快，学习速率小，训练速度慢；学习速率大，训练速度快，可能出现振荡现象。可能出现振荡现象。影响影响bpbp学习算法的因素学习算法的因素版权所有版权所有 复制必究复制必究 200920093030非线性优化的局部极小，或振荡不收敛；非线性优化的局部极小，或振荡不收敛；收敛速度很慢；收敛速度很慢；新样本的加入会影响已学习过的老样本。新样本的加入会影响已学习过的老样本。bpbp学习算法的局限性学习算法的局限性版权所有版权所有 复制必究复制必

15、究 200920093131选用不同的作用函数、性能指标；选用不同的作用函数、性能指标；解决局部极小问题解决局部极小问题选用不同的初值迭代；激励函数加入斜率因子；模选用不同的初值迭代；激励函数加入斜率因子；模拟退火方法；分解子网。拟退火方法；分解子网。加快收敛速度加快收敛速度采用不同的激励函数；采用不同的激励函数；变学习率方法变学习率方法；利用激励函；利用激励函数的二阶导数；最速下降法；组合学习方法；权值数的二阶导数；最速下降法；组合学习方法；权值修正引入动量因子；遗传算法；等等。修正引入动量因子；遗传算法；等等。bpbp学习算法的改进学习算法的改进版权所有版权所有 复制必究复制必究 2009

16、20093232准则：准则：检查权值的修正值是否真正降低了误差函数，如果确检查权值的修正值是否真正降低了误差函数，如果确实如此，则说明所选取的学习速率值小了，可以对其实如此，则说明所选取的学习速率值小了，可以对其增加一个量；增加一个量；若不是这样，而产生了过调，那么就应该减小学习速若不是这样，而产生了过调，那么就应该减小学习速率的值。率的值。调整公式：调整公式：其它)()(04. 1) 1()(7 . 0)() 1()(05. 1) 1(kkjkjkkjkjkk自适应变学习率方法自适应变学习率方法版权所有版权所有 复制必究复制必究 200920093333在修正其权值时，不仅考虑误差在梯度上的

17、作用，而且考在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响。利用附加动量的作用则虑在误差曲面上变化趋势的影响。利用附加动量的作用则有可能滑过局部极小值。有可能滑过局部极小值。该方法是在反向传播法的基础上，在每一个权值的变化上该方法是在反向传播法的基础上，在每一个权值的变化上加上一项正比于前次权值变化量的值，并根据反向传播法加上一项正比于前次权值变化量的值，并根据反向传播法来产生新的权值变化。来产生新的权值变化。) 1()(kwwjkwijijij权值调节公式：权值调节公式：动量因子，一动量因子，一般取般取0.950.95左右左右附加动量法附加动量法版权所有版权所

18、有 复制必究复制必究 200920093434网络的层数网络的层数隐含层的神经元数隐含层的神经元数初始权值的选取初始权值的选取学习速率的选取学习速率的选取期望误差的选取期望误差的选取bpbp网络的设计网络的设计版权所有版权所有 复制必究复制必究 200920093535理论上已经证明理论上已经证明：至少一个：至少一个s s型隐含层加上一个线性输出层型隐含层加上一个线性输出层的网络，能够逼近任何有理函数。的网络，能够逼近任何有理函数。增加层数主要可以更进一步的降低误差，提高精度，但同增加层数主要可以更进一步的降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。时也使网络复杂化

19、，从而增加了网络权值的训练时间。一般情况下，应优先考虑增加隐含层中的神经元数。一般情况下，应优先考虑增加隐含层中的神经元数。能不能仅用具有非线性激活函数的单层网络来解决问题呢？能不能仅用具有非线性激活函数的单层网络来解决问题呢？结论是结论是：没有必要或效果不好。：没有必要或效果不好。bpbp网络的层数网络的层数版权所有版权所有 复制必究复制必究 200920093636网络训练精度的提高，可以通过采用一个隐含层，而增网络训练精度的提高，可以通过采用一个隐含层，而增加其神经元数的方法来获得。这在结构实现上，要比增加其神经元数的方法来获得。这在结构实现上，要比增加更多的隐含层要简单得多。加更多的隐

20、含层要简单得多。 在具体设计时，比较实际的做法是通过对不同神经元数在具体设计时，比较实际的做法是通过对不同神经元数进行训练对比，然后适当地加上一点余量。进行训练对比，然后适当地加上一点余量。 bpbp网络隐含层的神经元数网络隐含层的神经元数初始权值的选取初始权值的选取一般取初始权值在一般取初始权值在(-1(-1，1) 1)之间的随机数。之间的随机数。 版权所有版权所有 复制必究复制必究 200920093737学习速率决定每一次循环训练中所产生的权值变化量。学习速率决定每一次循环训练中所产生的权值变化量。大的学习速率可能导致系统的不稳定。大的学习速率可能导致系统的不稳定。小的学习速率导致较长的

21、训练时间，可能收敛很慢，不过小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值。小误差值。所以在一般情况下，倾向于选取较小的学习速率以保证系所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在统的稳定性。学习速率的选取范围在0.01-0.80.01-0.8之间。之间。bpbp网络学习速率的选取网络学习速率的选取版权所有版权所有 复制必究复制必究 200920093838在设计网络的训练过程中，期望误差值也应当通过对比训在设计网络的训练过程中，期望误差值也应当

22、通过对比训练后确定一个合适的值。练后确定一个合适的值。这个所谓的这个所谓的“合适合适”，是相对于所需要的隐含层的节点数，是相对于所需要的隐含层的节点数来确定，因为较小的期望误差值是要靠增加隐含层的节点，来确定，因为较小的期望误差值是要靠增加隐含层的节点，以及训练时间来获得的。以及训练时间来获得的。一般情况下，作为对比，可以同时对两个不同期望误差值一般情况下，作为对比，可以同时对两个不同期望误差值的网络进行训练，最后通过综合因素的考虑来确定采用其的网络进行训练，最后通过综合因素的考虑来确定采用其中一个网络。中一个网络。bpbp网络期望误差的选取网络期望误差的选取版权所有版权所有 复制必究复制必究

23、 200920093939例例5.1.1 p128 bp5.1.1 p128 bp网络训练网络训练版权所有版权所有 复制必究复制必究 200920094040matlab 命令窗口输入命令窗口输入 “help 函数名函数名” 可得到相关函数的可得到相关函数的详细介绍；详细介绍；输入输入 demop1 利用具有利用具有2个神经元个神经元的感知器实现对的感知器实现对5个个输入数据的两分类输入数据的两分类-0.8-0.6-0.4-0.6-1-0.500.511.5vectors to be classifiedp(1)p(2)版权所有版权所有 复制必究复制必究 200920094

24、141常用指令：常用指令： p175 p175 表表.2p180 p180 例例.1% 感知器网络实验x=-0.5 -0.5 0.3 -0.1 0.2 0.6 0.8 0.6; -0.5 0.5 -0.5 1 0.5 -0.9 0.8 -0.6t=1 1 0 1 1 0 1 0w,b=initp(x,t)w,b,epochs,erros=trainp(w,b,x,t)y=simup(x,w,b)testx=-0.5 0.3 -0.9 0.4 -0.1 0.2 -0.6 0.8 0.1 0.4; -0.3 -0.8 -0.4 -0.7 0.4 -0.6 0.1 -0.5 -0.5 0.3y=simup(testx,w,b)figureplotpv(testx,y)plotpc(w,b)版权所有版权所有 复制必究复制必究 200920094242-1.5-1-0.500.511.5-1-0.500.5vectors to be classifiedp(1)p(2)00.511.5210-2010-1510-1010-5100105epochsum-squared errorsum-squared