BP神经网络模型和学习算法ppt课件

1、智能中国网提供学习支持智能中国网提供学习支持2.4 BP2.4 BP神经网络模型与学习算法神经网络模型与学习算法概述概述pRumelhartRumelhart，McClellandMcClelland于于19851985年提出了年提出了BPBP网络的误差反网络的误差反向后传向后传BP(Back Propagation)BP(Back Propagation)学习算法学习算法pBPBP算法根本原理算法根本原理p利用输出后的误差来估计输出层的直接前导层的误差，再利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下用这个误差估计更前一层的误差，如此一层

2、一层的反传下去，就获得了一切其他各层的误差估计。去，就获得了一切其他各层的误差估计。 J. McClelland David Rumelhart 2.4.1 BP2.4.1 BP神经网络模型神经网络模型p三层BP网络1x2x1Nx1y2y2Ny1z2z3Nz123N1T2Tihwhjw- - -隐含层输出层输入层3NT2.4.1 BP2.4.1 BP神经网络模型神经网络模型p激活函数激活函数p必需处处可导必需处处可导p普通都运用普通都运用S S型函数型函数 p运用运用S S型激活函数时型激活函数时BPBP网络输入与输出关网络输入与输出关系系p输入输入p输出输出1122.nnnetx wx wx

3、 w1f()1enetynet2.4.1 BP2.4.1 BP神经网络模型神经网络模型输出的导数211f ()(1)1e(1e)-netnetnetyy根据根据S S型激活函数的图形可知型激活函数的图形可知, ,对神经网络进展训练，应该将对神经网络进展训练，应该将netnet的值尽的值尽量控制在收敛比较快的范围内量控制在收敛比较快的范围内 2.4.2 BP2.4.2 BP网络的规范学习算法网络的规范学习算法p学习的过程：p神经网络在外界输入样本的刺激下不断改动网络的衔接权值,以使网络的输出不断地接近期望的输出。p学习的本质：p对各衔接权值的动态调整p学习规那么：p权值调整规那么，即在学习过程中

4、网络中各神经元的衔接权变化所根据的一定的调整规那么。2.4.2 BP2.4.2 BP网络的规范学习算法网络的规范学习算法- -算法思想算法思想p学习的类型：有导师学习学习的类型：有导师学习p中心思想：中心思想：p将输出误差以某种方式经过隐层向输入层逐层反将输出误差以某种方式经过隐层向输入层逐层反传传p学习的过程：学习的过程：p信号的正向传播信号的正向传播 误差的反向传播误差的反向传播将误差分摊给各层的一切将误差分摊给各层的一切单元各层单元的误单元各层单元的误差信号差信号修正各单元权修正各单元权值值2.4.2 BP2.4.2 BP网络的规范学习算法网络的规范学习算法- -学习过程学习过程p正向传

5、播：正向传播：p输入样本输入层各隐层输出输入样本输入层各隐层输出层层p判别能否转入反向传播阶段：判别能否转入反向传播阶段：p假设输出层的实践输出与期望的输出教师信号假设输出层的实践输出与期望的输出教师信号不符不符p误差反传误差反传p误差以某种方式在各层表示修正各层单误差以某种方式在各层表示修正各层单元的权值元的权值p网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度p进展到预先设定的学习次数为止进展到预先设定的学习次数为止2.4.2 BP2.4.2 BP网络的规范学习算法网络的规范学习算法 p网络构造网络构造p输入层有输入层有n n个神经元，隐含层有个神经元，隐含层有p p个神经

6、元个神经元, ,p 输出层有输出层有q q个神经元个神经元p变量定义变量定义p输入向量输入向量; ;p隐含层输入向量；隐含层输入向量；p隐含层输出向量隐含层输出向量; ;p输出层输入向量输出层输入向量; ;p输出层输出向量输出层输出向量; ;p期望输出向量期望输出向量; ; 12,nxxxx12,phihihihi12,pho hohoho12,qyiyiyiyi12,qyoyoyoyo12,qdddod2.4.2 BP2.4.2 BP网络的规范学习算法网络的规范学习算法输入层与中间层的衔接权值:隐含层与输出层的衔接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数: 误

7、差函数：ihwf( ) howhb1,2,kmob211( )( )2qoooedkyo k2.4.2 BP2.4.2 BP网络的规范学习算法网络的规范学习算法p第一步，网络初始化第一步，网络初始化 p给各衔接权值分别赋一个区间给各衔接权值分别赋一个区间-1-1，1 1内的随机数，设定误差函数内的随机数，设定误差函数e e，给定计算，给定计算精度值精度值 和最大学习次数和最大学习次数M M。p第二步第二步, ,随机选取第随机选取第 个输入样本及对应个输入样本及对应期望输出期望输出 k12( )( ),( ),( )nkx kx kx kx12( )( ),( ),( )qkd kdkdkod2

8、.4.2 BP2.4.2 BP网络的规范学习算法网络的规范学习算法p第三步，计算隐含层各神经元的输入和第三步，计算隐含层各神经元的输入和输出输出1( )( )1,2,nhihihihikw x kbhp( )f( )1,2,hhho khi khp1( )( )1,2,pohohohyi kw ho kboq( )f( )1,2,ooyo kyi koq2.4.2 BP2.4.2 BP网络的规范学习算法网络的规范学习算法p第四步，利用网络期望输出和实践输出，第四步，利用网络期望输出和实践输出，计算误差函数对输出层的各神经元的偏导计算误差函数对输出层的各神经元的偏导数数 。 ohoohoeeyi

9、wyiw( )( )( )phohoohhhohow ho kbyi kho kww211( ( )( )2( ( )( )( )( ( )( )f( )( )qooooooooooood kyo ked kyo k yo kyiyid kyo kyi kk( )ok2.4.2 BP2.4.2 BP网络的规范学习算法网络的规范学习算法( )( )oohhoohoeeyik ho kwyiw 1( )( )( )( )( )hihhihnihihhiiihiheehikwhikww x kbhikx kwwp第五步，利用隐含层到输出层的衔接权第五步，利用隐含层到输出层的衔接权值、输出层的值、输出

10、层的 和隐含层的输出计算误和隐含层的输出计算误差函数对隐含层各神经元的偏导数差函数对隐含层各神经元的偏导数 。 ( )hk( )ok2.4.2 BP2.4.2 BP网络的规范学习算法网络的规范学习算法21212111( )( ) )( )2( )( )( )1( )f( ) )( )2( )( )1( )f( ) )( )2( )( )qoohohhhqoohohhqpohohohohhhd kyo keho khi kho khi kd kyi kho kho khi kd kw ho kbho kho khi k11( )( )( )f ( )( )( )f ( )( )qhooohooh

11、qohohhoho kd kyo kyi kwhi kk whi kk 2.4.2 BP2.4.2 BP网络的规范学习算法网络的规范学习算法p第六步，利用输出层各神经元的第六步，利用输出层各神经元的 和和隐含层各神经元的输出来修正衔接权隐含层各神经元的输出来修正衔接权值值 。 1( )( )( )( )( )hoohhoNNhohoohewkk ho kwwwk ho k ( )ok( )howk2.4.2 BP2.4.2 BP网络的规范学习算法网络的规范学习算法p第七步，利用隐含层各神经元的第七步，利用隐含层各神经元的 和和输入层各神经元的输入修正衔接权。输入层各神经元的输入修正衔接权。 (

12、 )hk1( )( )( ) ( )( )( ) ( )hihhiihhihNNihihhieehi kw kk x kwhi kwwwk x k2.4.2 BP2.4.2 BP网络的规范学习算法网络的规范学习算法p第八步，计算全局误差第八步，计算全局误差p第九步，判别网络误差能否满足要求。当误差第九步，判别网络误差能否满足要求。当误差到达预设精度或学习次数大于设定的最大次数，到达预设精度或学习次数大于设定的最大次数，那么终了算法。否那么，选取下一个学习样本那么终了算法。否那么，选取下一个学习样本及对应的期望输出，前往到第三步，进入下一及对应的期望输出，前往到第三步，进入下一轮学习。轮学习。

13、2111( )( )2qmookoEdky km2.4.2 BP2.4.2 BP网络的规范学习算法网络的规范学习算法pBPBP算法直观解释算法直观解释p情况不断观表达情况不断观表达p 当误差对权值的偏当误差对权值的偏p导数大于零时，权值导数大于零时，权值p调整量为负，实践输调整量为负，实践输p出大于期望输出，出大于期望输出，p权值向减少方向调整，权值向减少方向调整，p使得实践输出与期望使得实践输出与期望p输出的差减少。输出的差减少。whohoewe0，此时，此时who02.4.2 BP2.4.2 BP网络的规范学习算法网络的规范学习算法pBPBP算法直解释算法直解释p情况二直观表达情况二直观表

14、达p当误差对权值的偏导数当误差对权值的偏导数p小于零时，权值调整量小于零时，权值调整量p为正，实践输出少于期为正，实践输出少于期p望输出，权值向增大方向望输出，权值向增大方向p调整，使得实践输出与期调整，使得实践输出与期p望输出的差减少。望输出的差减少。hoewe0who2.4.3 BP2.4.3 BP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现 pMATLABMATLAB中中BPBP神经网络的重要函数和根本神经网络的重要函数和根本功能功能 函函 数数 名名功功 能能newff()生成一个前馈生成一个前馈BP网络网络tansig()双曲正切双曲正切S型型(Tan-Sig

15、moid)传输函数传输函数logsig()对数对数S型型(Log-Sigmoid)传输函数传输函数traingd()梯度下降梯度下降BP训练函数训练函数2.4.3 BP2.4.3 BP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现pMATLABMATLAB中中BPBP神经网络的重要函数和根本功能神经网络的重要函数和根本功能pnewff()newff()p功能功能 建立一个前向建立一个前向BPBP网络网络p格式格式 net = newff(PRnet = newff(PR，S1 S2.SN1S1 S2.SN1，TF1 TF1 TF2.TFN1TF2.TFN1，BTFBTF，

16、BLFBLF，PF)PF)p阐明阐明 netnet为创建的新为创建的新BPBP神经网络；神经网络；PRPR为网络输为网络输入取向量取值范围的矩阵；入取向量取值范围的矩阵；S1 S2SNlS1 S2SNl表示网表示网络隐含层和输出层神经元的个数；络隐含层和输出层神经元的个数；TFl TFl TF2TFN1TF2TFN1表示网络隐含层和输出层的传输函数，表示网络隐含层和输出层的传输函数，默以为默以为tansigtansig；BTFBTF表示网络的训练函数，表示网络的训练函数，默以为默以为trainlmtrainlm；BLFBLF表示网络的权值学习函表示网络的权值学习函数，默以为数，默以为learn

17、gdmlearngdm；PFPF表示性能数，默以表示性能数，默以为为msemse。 2.4.3 BP2.4.3 BP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现pMATLABMATLAB中中BPBP神经网络的重要函数和根本功能神经网络的重要函数和根本功能ptansig()tansig()p功能功能 正切正切sigmoidsigmoid激活函数激活函数p格式格式 a = tansig(n)a = tansig(n)p阐明阐明 双曲正切双曲正切SigmoidSigmoid函数把神经元的输入范围从函数把神经元的输入范围从(-(-，+)+)映射到映射到(-1(-1，1)1)。它

18、是可导函数，适用于。它是可导函数，适用于BPBP训练的神训练的神经元。经元。plogsig()logsig()p功能功能 对数对数SigmoidSigmoid激活函数激活函数p格式格式 a = logsig(N)a = logsig(N)p阐明对数阐明对数SigmoidSigmoid函数把神经元的输入范围从函数把神经元的输入范围从(-(-，+)+)映射到映射到(0(0，1)1)。它是可导函数，适用于。它是可导函数，适用于BPBP训练的神经元。训练的神经元。2.4.3 BP2.4.3 BP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现p例例2-32-3，下表为某药品的销售情

19、况，现构建一个如下的三层，下表为某药品的销售情况，现构建一个如下的三层BPBP神经神经网络对药品的销售进展预测：输入层有三个结点，隐含层结点数网络对药品的销售进展预测：输入层有三个结点，隐含层结点数为为5 5，隐含层的激活函数为，隐含层的激活函数为tansigtansig；输出层结点数为；输出层结点数为1 1个，输出层个，输出层的激活函数为的激活函数为logsiglogsig，并利用此网络对药品的销售量进展预测，并利用此网络对药品的销售量进展预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用个月的销售量，如用

20、1 1、2 2、3 3月的销售量为输入预测第月的销售量为输入预测第4 4个月的销个月的销售量，用售量，用2 2、3 3、4 4月的销售量为输入预测第月的销售量为输入预测第5 5个月的销售量个月的销售量. .如此反如此反复直至满足预测精度要求为止。复直至满足预测精度要求为止。 月份月份123456销量销量205623952600229816341600月份月份789101112销量销量1873147819001500204615562.4.3 BP2.4.3 BP神经网络学习算法的神经网络学习算法的MATLABMATLAB实现实现%以每三个月的销售量经归一化处置后作为输入P=0.51520.81

21、731.0000 ; 0.8173 1.00000.7308; 1.0000 0.73080.0; 0.7308 0.00.1087; 0.00.10870.3520; 0.1087 0.35200.0000;%以第四个月的销售量归一化处置后作为目的向量T=0.7308 0.0 0.1087 0.3520 0.0000 0.3761;%创建一个BP神经网络，每一个输入向量的取值范围为0 ,1，隐含层有5个神经%元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数，即2.3.2节中所描画的规范学习算法net=newff(0 1;0 1;0 1,5,1,tansig,logsig,traingd);net.trainParam.epochs=15000;net.trainParam.goal=0.01;%设置学习速率为0.1LP.lr=0.1;net=train(net,P,T); 2.4.3 BP2.4.3 BP神经网络学习算法的神经网络学习算法的MATL