神经网络_配套 (2)ppt课件

1、121反向传播算法的变形122BP算法的缺陷 算法的收敛速度很慢 能够有多个部分极小点 BP网络的隐层神经元个数的选取尚无实际上的指点，而是根据阅历选取 BP网络是一个前向网络，具有非线性映射才干，但较之非线性动力学系统，功能上有其局限性123BP算法的变形 启发式改良 动量 可变的学习速度 规范的数值优化 共轭梯度 牛顿法 (Levenberg-Marquardt)124性能曲面例子网络构造w1 1110=w2 1110=b115=b215=w1 121=w1 221=b21=指定的函数参数值多层非线性网络与单层线性网络在均方误差性能曲面上完全不同。后者的均方误差只需一个极小点，且具有常数曲

2、率；前者的均方误差能够有多个部分极小点而且在参数空间不同区域曲率也是变化的。125性能曲面例子续w11,1w21,1w11,1w21,1w11,1和w21,1变化时的平方误差126性能曲面例子续 w11,1b11b11w11,1w11,1 and b11变化时的平方误差 127性能曲面例子续 b11b21b21b11b11和b12变化时的平方误差128性能曲面例子的提示 算法初始参数不要设置为(参数空间的原点趋 向于鞍点)算法初始参数不要设置过大(在远离优化点的位 置，性能曲面将变得非常平坦)129收敛性例子w11,1w21,11210学习速度太大情形w11,1w21,11211提高收敛速度改

3、动学习速度在曲面平坦时添加学习速度，在斜速率添加时减少学习速度。平滑轨迹：当算法开场振荡时，平滑掉振荡以产生一个稳定的轨迹。1212动量方法y k y k11w k +=滤波器01例子w k 12k16- - - - - -sin+=0.9=0.98=1213动量反向传播算法Wmk smam1T=bmk sm=Wmk Wmk11smam1T=bmk bmk11sm=最速下降反传算法(SDBP)动量反传算法(MOBP)w11,1w21,10.8=1214可变的学习速度(VLBP) 假设误差平方(在整个训练集上)在权值更新后添加了百分数z(典型值为1%至5%), 那么取消权值更新, 学习速度乘上一

4、个因子 (1 r 0), 并且动量系数g置为0. 假设误差平方在权值更新后减少, 那么接授权值更新, 并且学习速度乘上一个因子h1.假设动量系数g先前被置为0 ,那么恢复到先前的值. 假设误差平方的添加少于z, 那么接授权值更新, 但是学习速度和动量系数不变.1215例子w11,1w21,11.05=0.7=4%=平方误差学习速度1216启发式方法的缺陷 要设置一些额外的参数 算法的性能对这些参数的改动非常敏感 参数的选择是与问题相关的 对某些用最速下降反传算法能找到解的问题却不能收敛。算法越复杂这样问题越容易发生1217共轭梯度p0g0=gkFx xxk=xk1+xkkpk+=pkgkkpk

5、1+=kgk1Tgkgk1Tpk1- - - - - - - - - - - - - - -=kgkTgkgk1Tgk1- - - - - - - - - - - - -=kgk1Tgkgk1Tgk1- - - - - - - - - - - - -=1. 初始搜索方向为梯度的反方向(最速下降)。2. 迭代一次，学习速度的选取采用沿搜索方向最小化性能函数。3. 选择下一次的搜索方向：其中或或由于通常性能指数不是二次的，以下二个方面需求改良： 1. 需求一个普通的过程去确定函数在某个特定方向的极值； 2. 算法在共扼方向迭代过 n 次后，能够要重新设置搜索方向。4. 假设算法不收敛，继续第步。1

6、218区间定位1219区间减少1220黄金分割搜索t=0.618Set c1 = 1 + 1-t1-1 Fc=Fc1d1 = 1 - 1-t1-1 Fd=Fd1Fo k=12 . eetIf Fc Fd tenSet k+1 = k ; k+1 = dk ; dk+1 = ck c k+1 = k+1 + 1-t k+1 - k+1 Fd= Fc; Fc=Fc k+1 elseSet k+1 = ck ; k+1 = k ; ck+1 = dk d k+1 = k+1 - 1-t k+1 - k+1 Fc= Fd; Fd=Fd k+1 endend until k+1 - k+1 tol122

7、1共扼梯度反向传播法(CGBP)w11,1w21,1w11,1w21,1中间步骤完好轨迹1222Newton方法xk1+xkAk1gk=AkFx 2xxk=gkFx xxk=假设性能指数是函数平方的和:Fx vi2x i1=NvTx v x =那么梯度的第 j 个元素是:Fx jFx xj- - - - - - - - -2vix vix xj- - - - - - - - -i1=N=1223矩阵方式Fx 2JTx v x=梯度能写成矩阵方式:其中J是Jacobian矩阵:J x v1x x1- -v1x x2- - v1x xn- -v2x x1- -v2x x2- -v2x xn- -v

8、Nx x1-vNx x2- vNx xn-=1224Hessian矩阵Fx 2k j2Fx xkxj- - - - - - - - - -2vix xk- - - - - - - -vix xj- - - - - - - - -vix 2vix xkxj- - - - - - - - - -+i1=N=Fx 22JTx J x 2S x +=S x vix vix 2i1=N=1225Gauss-Newton方法Fx 22JTxJ x xk1+xk2JTxkJ xk12JTxkv xk=xkJTxkJ xk1JTxkv xk=设S(x)很小，Hessian矩阵近似表示为:Newton方法成为:

9、1226Levenberg-Marquardt(LM)算法HJTJ=GHI+=l1l2 lnz1z2 znGziHI+ziHzizi+lizizi+li+zi=Gauss-Newton方法近似表示Hessian矩阵如下：这个矩阵能够奇特, 但是可进展如下转换：假设H的特征值和特征向量是：那么G的特征值的特征值xk1+xkJTxkJ xkkI+1JTxkv xk=对一切i，添加以保证，可使G成为正定，所以矩阵G可逆。由此可导出如下LM算法：0+li1227k 的调整当mk0，LM方法变成Gauss-Newton方法：xk1+xkJTxkJ xk1JTxkv xk=当mk, LM方法变成有小的学习

10、速度的最速下降算法：xk1+xk1k- - -JTxkv xkxk12k- - - - - -Fx=所以，开场时取小的mk值用Gauss-Newton法加速收敛。假设某一步不能获得较小的F(x)值，那么添加mk值乘以一个因子 反复那一步直到F(x)值的减少。F(x)值最终一定会减少，由于我们将在最速下降方向上用很小的步长。11228运用到多层网络Fx tqaqTtqaqq1=QeqTeqq1=Qej q2j1=SMq1=Qvi2i1=N=多层网络的性能指数是:误差向量是:参数向量是:vTv1v2 vNe1 1e2 1 eSM1e1 2 eSMQ=xTx1x2 xnw1 11w1 21 wS1R

11、1b11 bS11w1 12 bSMM=NQSM=两个向量的维数是:nS1R1+S2S11+SMSM11+=1229Jacobian矩阵J x e1 1w1 11- -e1 1w1 21- -e1 1wS1R1- -e1 1b11-e2 1w1 11- -e2 1w1 21- - e2 1wS1R1- -e2 1b11- eSM1w1 11-eSM1w1 21-eeSM1wS1R1- -eeSM1b11- -e1 2w1 11- -e1 2w1 21- - e1 2wS1R1- -e1 2b11- =1230计算Jacobian矩阵Fx xl- - - - - - - - -eqTeqxl-

12、- - - - - - - - -=规范BP算法计算公式为：J h lvhxl- - - - -ek qxl- - - - - - -=对于Jacobian矩阵的元素可用下式计算：Fwi jm- - - - - - -Fnim- - - - -nimwi jm- - - - - - -=simFnim- - - - -运用链规那么：其中敏感度：是用反向传播方法计算得到。1231Marquardt 敏感度假设定义Marquardt敏感度为:si hmvhni qm- - - - - - -ek qni qm- - - - - - -=hq1SMk+=Jacobian矩阵能如下算得:J h lvh

13、xl- - - - -ek qwi jm- - - - - - -ek qni qm- - - - - - -ni qmwi jm- - - - - - -si hmni qmwi jm- - - - - - -si hmaj qm1=权偏置J h l vhxl- - - - -ek qbim- - - - - - -ek qni qm- - - - - - -ni qmbim- - - - - - -si hmni qmbim- - - - - - -si hm=1232敏感度计算si hMvhni qM- - - - - - - -ek qni qM- - - - - - -tk qak

14、qMni qM- - - - - - - - - - - - - - - - - -ak qMni qM- - - - - - -=si hMfMni qMfor ik=0for ik=SqMFMnqM=SqmFmnqm()Wm1+TSqm1+=SmS1mS2mSQm=反向传播初始化1233LMBP算法1. 将一切输入提交网络并计算相应的网络输出和误差。计算将一切输入提交网络并计算相应的网络输出和误差。计算一切输入的误差平方和一切输入的误差平方和F(x).2. 计算计算Jacobian矩阵。初始化敏感度，用反向传播算法递归矩阵。初始化敏感度，用反向传播算法递归计算各层的敏感度。将各个单独的矩阵增广到计算各层的敏感度。将各个单独的矩阵增广到 Marquardt 敏感度中。计算敏感度中。计算 Jacobian 矩阵的元素。矩阵的元素。3. 求得权的改动量。求得权的改动量。4. 用反复计算误差平方的和。假设新的和小于第用反复计算误差平方的和。假设新的和小