BP误差公式推导完全解析全解PPT教学课件-

1、1BP算法描述及推导主要内容引言BP学习算法描述BP算法推导第1页/共20页2引言BP算法的提出提高网络性能（如分类能力）的有效途径包含隐层的多层前馈网络长期以来没有提出解决权值调整问题的有效算法。BP (Error Back Proragation，BP)算法1986年，Rumelhart 和McCelland领导的科学家小组Parallel Distributed Processing一书应用对象：多层前馈网络具有非线性连续转移函数第2页/共20页BP网络的标准学习算法学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。学习的本质：对各连接

2、权值的动态调整学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。第3页/共20页BP网络的标准学习算法-算法思想学习的类型：有导师学习核心思想：将输出误差以某种形式通过隐层向输入层逐层反传学习的过程：信号的正向传播 误差的反向传播将误差分摊给各层的所有单元各层单元的误差信号修正各单元权值第4页/共20页BP网络的标准学习算法-学习过程正向传播：输入样本输入层各隐层输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止第5页/

3、共20页6 基于BP算法的多层前馈网络模型误差反传（BP）算法误差反传（BP）算法第6页/共20页7模型的数学表达输入向量： X=(x1,x2,xi,xn)T隐层输出向量： Y=(y1,y2,yj,ym)T输出层输出向量： O=(o1,o2,ok,ol)T期望输出向量：d=(d1, d2,dk,dl)T输入层到隐层之间的权值矩阵：V=(V1,V2,Vj,Vm)隐层到输出层之间的权值矩阵：W=(W1,W2,Wk,Wl)各个变量之间如何建立联系，来描述整个网络？第7页/共20页8对于输出层：k=1,2,l (3.4.1)k=1,2,l (3.4.2)对于隐层：j=1,2,m (3.4.3)j=1,

4、2,m (3.4.4)误差反传（BP）算法基于BP算法的多层前馈网络模型第8页/共20页9双极性Sigmoid函数：单极性Sigmoid函数：(3.4.5)误差反传（BP）算法基于BP算法的多层前馈网络模型第9页/共20页10一、网络误差与权值调整输出误差E定义：(3.4.6)将以上误差定义式展开至隐层：(3.4.7)误差反传（BP）算法BP学习算法第10页/共20页11一、网络误差与权值调整进一步展开至输入层：(3.4.8)误差反传（BP）算法BP学习算法第11页/共20页12j=0,1,2,m; k=1,2,l (3.4.9a)i=0,1,2,n; j=1,2,m (3.4.9b)式中负号

5、表示梯度下降，常数(0,1)表示比例系数。在全部推导过程中，对输出层有j=0,1,2,m; k=1,2,l 对隐层有 i=0,1,2,n; j=1,2,m误差反传（BP）算法BP学习算法第12页/共20页13二、BP算法推导对于输出层，式(3.4.9a)可写为(3.4.10a)对隐层，式(3.4.9b)可写为(3.4.10b)对输出层和隐层各定义一个误差信号，令 (3.4.11a)(3.4.11b)误差反传（BP）算法BP学习算法第13页/共20页14综合应用式(3.4.2)和(3.4.11a)，可将式 (3.4.10a)的权值调整式改写为综合应用式(3.4.4)和(3.4.11b)，可将式

6、(3.17b)的权值调整式改写为(3.4.12a)（3.4.12b)可以看出，只要计算出式(3.4.12)中的误差信号o和y，权值调整量的计算推导即可完成。下面继续推导如何求误差信号o和y 。误差反传（BP）算法第14页/共20页15对于输出层， o可展开为对于隐层， y可展开为下面求网络误差对各层输出的偏导。(3.4.13a)（3.4.13b)误差反传（BP）算法第15页/共20页16对于输出层，利用式(3.4.6)：对于隐层，利用式(3.4.7)：（3.4.14a)可得：（3.4.14b)可得：误差反传（BP）算法第16页/共20页17将以上结果代入式(3.4.13)，并应用式(3.4.5)：（3.4.15a)得到：（3.4.15b)至此两个误差信号的推导已完成。误差反传（BP）算法第17页/共20页18将式(3.4.15)代回到式(3.4.12)