xyBP神经网络实用教案

1、人工神经元模拟人工神经元模拟(mn)(mn)生物神经元的一阶特性。生物神经元的一阶特性。输入：输入：X=X=（x1x1，x2x2，xnxn）联接权：联接权：W=W=（w1w1，w2w2，wnwn）T T网络输入：网络输入：net=xiwinet=xiwi向量形式：向量形式：net=XWnet=XW2021-12-91xn wnx1 w1x2 w2net=XW第1页/共73页第一页，共74页。激活函数执行对该神经元所获得激活函数执行对该神经元所获得(hud)(hud)的网络输入的变换，也可以称为激励函数、活化函数：的网络输入的变换，也可以称为激励函数、活化函数： o=fo=f（netnet） 1

2、 1、线性函数（、线性函数（Liner FunctionLiner Function） f f（netnet）=k=k* *net+c net+c 2021-12-92netooc第2页/共73页第二页，共74页。 if netf（net）= k*netif |net|0为一常数，被称为(chn wi)饱和值，为该神经元的最大输出。 2021-12-93第3页/共73页第三页，共74页。2021-12-94 - - net o 第4页/共73页第四页，共74页。if netf（net）=-if net 、均为非负实数，均为非负实数，为阈值为阈值(y zh)二值形式：二值形式：1if netf（

3、net）=0if net 双极形式：双极形式：1if netf（net）=-1if net 2021-12-95第5页/共73页第五页，共74页。 2021-12-96-onet0第6页/共73页第六页，共74页。压缩函数（压缩函数（Squashing FunctionSquashing Function）和逻辑斯特函数（）和逻辑斯特函数（Logistic FunctionLogistic Function）。）。f f（netnet）=a+b/(1+exp(-d=a+b/(1+exp(-d* *net)net)a a，b b，d d为常数为常数(chngsh)(chngsh)。它的饱和值为。

4、它的饱和值为a a和和a+ba+b。最简单形式为：最简单形式为：f f（netnet）= 1/(1+exp(-d= 1/(1+exp(-d* *net)net) 函数的饱和值为函数的饱和值为0 0和和1 1。S S形函数有较好的增益控制形函数有较好的增益控制 2021-12-97第7页/共73页第七页，共74页。2021-12-98a+b o(0,c)netac=a+b/2第8页/共73页第八页，共74页。生物神经网六个基本特征生物神经网六个基本特征神经元及其联接、信号传递、训练、刺激与抑制、累积效果、神经元及其联接、信号传递、训练、刺激与抑制、累积效果、 阈值。阈值。人工人工(rngng)(

5、rngng)神经元的基本构成神经元的基本构成2021-12-99xn wnx1 w1x2 w2net=XW第9页/共73页第九页，共74页。激活函数与激活函数与M-PM-P模型模型 线性函数、非线性斜面线性函数、非线性斜面(ximin)(ximin)函数、阈值函数函数、阈值函数 S S形函数形函数 M-PM-P模型模型2021-12-910 x2 w2 fo=f（net）xn wnnet=XWx1 w1第10页/共73页第十页，共74页。2021-12-911x1x2xno1o2omwnmw11w1mw2mwn1输出层输入层第11页/共73页第十一页，共74页。W=（wij）输出层的第输出层的

6、第j个神经元的网络输入个神经元的网络输入(shr)记为记为netj：netj=x1w1j+x2w2j+xnwnj其中其中, 1 j m。取。取NET=（net1，net2，netm）NET=XWO=F（NET）2021-12-912第12页/共73页第十二页，共74页。2021-12-913输出层x1o1w11w1mx2o2w2mxnomwn1输入层V第13页/共73页第十三页，共74页。V=（vij）NET=XW+OVO=F（NET）时间参数神经元的状态在主时钟的控制时间参数神经元的状态在主时钟的控制(kngzh)下同下同步变化步变化考虑考虑X总加在网上的情况总加在网上的情况NET（t+1）

7、=X（t）W+O（t）VO(t+1)=F(NET(t+1)O（0）=0考虑仅在考虑仅在t=0时加时加X的情况。的情况。 稳定性判定稳定性判定2021-12-914第14页/共73页第十四页，共74页。2021-12-915输出层隐藏层输入层o1o2omx1x2xn第15页/共73页第十五页，共74页。层次划分 信号只被允许从较低层流向较高层。层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。输入(shr)层：被记作第0层。该层负责接收来自网络外部的信息2021-12-916输出层隐藏层输入层o1o2omx1x2xn第16页/共73页第十六页，共74页。第j层：第j-1层的直接后继层

8、（j0），它直接接受第j-1层的输出。输出层：它是网络的最后(zuhu)一层，具有该网络的最大层号，负责输出网络的计算结果。隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号2021-12-917输出层隐藏层输入层o1o2omx1x2xn第17页/共73页第十七页，共74页。约定约定 : :输出层的层号为该网络输出层的层号为该网络(wnglu)(wnglu)的层数：的层数：n n层网络层网络(wnglu)(wnglu)，或，或n n级网络级网络(wnglu)(wnglu)。第第j-1j-1层到第层到第j j层的联接矩阵为第层的联接矩阵为第j j层

9、联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用时候，一般我们用W W（j j）表示第）表示第j j层矩阵。层矩阵。2021-12-918输出层隐藏层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)第18页/共73页第十八页，共74页。2021-12-919输出层隐藏层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)第19页/共73页第十九页，共74页。非线性激活(j hu)函数 F(X)=kX+CF3(F2(F1(XW(1)W(2)W(3)2021-12-920第20页/共73页

10、第二十页，共74页。2021-12-921x1o1输出层隐藏层输入层x2o2omxn第21页/共73页第二十一页，共74页。如果将输出信号反馈到输入端如果将输出信号反馈到输入端, ,就可构成一个多层的循环网络。就可构成一个多层的循环网络。输入的原始输入的原始(yunsh)(yunsh)信号被逐步地加强、被修复。信号被逐步地加强、被修复。大脑的短期记忆特征大脑的短期记忆特征: :看到的东西不是一下子就从脑海里消失的。看到的东西不是一下子就从脑海里消失的。稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。

11、当变化最后消失时，网络达到了平衡状态。如小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。果这种变化不能消失，则称该网络是不稳定的。 2021-12-922第22页/共73页第二十二页，共74页。人工神经网络最具有吸引力的特点是它的学习能力。人工神经网络最具有吸引力的特点是它的学习能力。19621962年，年，RosenblattRosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。人工神经网络的表达能力大大地限制人工神经网络

12、的表达能力大大地限制(xinzh)(xinzh)了它的学习能力。了它的学习能力。人工神经网络的学习过程就是对它的训练过程人工神经网络的学习过程就是对它的训练过程2021-12-923第23页/共73页第二十三页，共74页。无导师无导师(dosh)(dosh)学习学习(Unsupervised Learning)(Unsupervised Learning)与无导师与无导师(dosh)(dosh)训练训练(Unsupervised Training)(Unsupervised Training)相对相对应应 抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。抽取样本集合中蕴含

13、的统计特性，并以神经元之间的联接权的形式存于网络中。2021-12-924第24页/共73页第二十四页，共74页。有导师学习有导师学习(Supervised Learning)(Supervised Learning)与有导师训练与有导师训练(Supervised (Supervised Training)Training)相对相对(xingdu)(xingdu)应。应。输入向量与其对应的输出向量构成一训练。输入向量与其对应的输出向量构成一训练。有导师学习的训练算法的主要步骤包括：有导师学习的训练算法的主要步骤包括：1 1） 从样本集合中取一个样本（从样本集合中取一个样本（AiAi，BiBi）

14、；）；2 2） 计算出网络的实际输出计算出网络的实际输出O O； 3 3） 求求D=Bi-OD=Bi-O；4 4） 根据根据D D调整权矩阵调整权矩阵W W； 5 5） 对每个样本重复上述过程，直到对整个样本集来说，误差不对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。超过规定范围。 2021-12-925第25页/共73页第二十五页，共74页。Widrow和和Hoff的写法：的写法：Wij(t+1)=Wij(t)+(yj- aj(t)oi(t)也可以也可以(ky)写成：写成：Wij(t+1)=Wij(t)+Wij(t)Wij(t)=joi(t)j=yj- aj(t)Gros

15、sberg的写法为：的写法为： Wij(t)=ai(t)(oj(t)-Wij(t)更一般的更一般的Delta规则为：规则为： Wij(t)=g(ai(t)，yj，oj(t)，Wij(t)2021-12-926第26页/共73页第二十六页，共74页。1 概述概述 2 基本基本BP算法算法 3 算法的改进算法的改进 4 算法的实现算法的实现 5 算法的理论算法的理论(lln)基础基础 6 几个问题的讨论几个问题的讨论 2021-12-927第27页/共73页第二十七页，共74页。1、BP算法的出现非循环多级网络的训练算法UCSD PDP小组的Rumelhart、Hinton和Williams198

16、6年独立地给出了BP算法清楚而简单的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了该方法2、弱点：训练速度非常慢、局部极小点的逃离问题、算法不一定收敛(shulin)。3、优点：广泛的适应性和有效性。2021-12-928第28页/共73页第二十八页，共74页。4、BP网络主要用于1）函数逼近：用输入向量和相应的输出向量训练一个网络逼近一个函数。2）模式识别：用一个特定的输出向量将它与输入向量联系起来。3）分类(fn li)：把输入向量 以所定义的合适方式进行分类(fn li)。4）数据压缩：减少输出向量维数以便于传输或存储。2021-12-929第29页/共73

17、页第二十九页，共74页。1 网络网络(wnglu)的构成的构成 神经元的网络神经元的网络(wnglu)输入：输入：neti=x1w1i+x2w2i+xnwni神经元的输出：神经元的输出：2021-12-930netenetfo11)()1 ()()1 (1)(22ooooeenetfnetnet第30页/共73页第三十页，共74页。应该将应该将netnet的值尽量控制在收敛比较快的范围内的值尽量控制在收敛比较快的范围内可以用其它的函数作为激活函数，只要可以用其它的函数作为激活函数，只要(zhyo)(zhyo)该函数是处处可导的该函数是处处可导的2021-12-931 0.5f (net)0.2

18、5o0 1 1（0,0.5） net（0,0）oneteo11第31页/共73页第三十一页，共74页。2021-12-932x1o1输出层隐藏层输入层x2o2omxnW(1)W(2)W(3)W(L)第32页/共73页第三十二页，共74页。BP网的结构网的结构输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。BP网一般网一般(ybn)都选用二级网络。都选

19、用二级网络。2021-12-933第33页/共73页第三十三页，共74页。2021-12-934x1o1输出层隐藏层输入层x2o2omxnWV第34页/共73页第三十四页，共74页。样本：(输入向量，理想输出向量)权初始化：小随机数与饱和状态；不同保证网络可以学。1、向前传播阶段(jidun)：（1）从样本集中取一个样本(Xp，Yp)，将Xp输入网络；（2）计算相应的实际输出Op：Op=Fl(F2(F1(XpW(1)W(2)W(L)2021-12-935第35页/共73页第三十五页，共74页。2 2、向后传播阶段 误差传播阶段：（1 1）计算实际输出(shch)Op(shch)Op与相应的理想

20、输出(shch)Yp(shch)Yp的差；（2 2）按极小化误差的方式调整权矩阵。（3 3）网络关于第p p个样本的误差测度：2021-12-936mjpjpjpoyE1221（4） 网络(wnglu)关于整个样本集的误差测度：ppEE第36页/共73页第三十六页，共74页。2021-12-9371、输出(shch)层权的调整wpq= wpq+wpqwpq=qop=fn (netq)(yq-oq)op=oq(1-oq) (yq-oq)op wpqANpANq第L-1层第L层wpq第37页/共73页第三十七页，共74页。2021-12-938 ANpANqANhvhppk-11kwp1wpqqk

21、wpmmk第k-2层第k层第k-1层第38页/共73页第三十八页，共74页。2021-12-939pk-1的值和1k，2k， ，mk 有关(yugun)不妨认为pk-1通过权wp1对1k做出贡献，通过权wp2对2k做出贡献，通过权wpm对mk做出贡献。pk-1= fk-1(netp) (wp11k+ wp22k+ wpmm k)第39页/共73页第三十九页，共74页。vhp=vhp+vhp vhp=pk-1ohk-2 =fk-1 (netp)( wp11k+ wp22k+ + wpmmk)ohk-2=opk-1(1-opk-1)( wp11k+ wp22k+ + wpmmk)ohk-22021

22、-12-940ANpANqANhvhppk-11kwp1wpmqkwpqmk第k-2层第k层第k-1层第40页/共73页第四十页，共74页。基本基本(jbn)BP(jbn)BP算法算法neti=x1w1i+x2w2i+ +xnwnineti=x1w1i+x2w2i+ +xnwni2021-12-941netenetfo11)()1 ()()1 (1)(22ooooeenetfnetnet第41页/共73页第四十一页，共74页。2021-12-942x1o1输出层隐藏层输入层x2o2omxnWV第42页/共73页第四十二页，共74页。样本权初始化向前传播阶段(jidun)Op=Fn(F2(F1(

23、XpW(1)W(2)W(n)误差测度2021-12-943mjpjpjpoyE1221第43页/共73页第四十三页，共74页。向后传播阶段 误差传播阶段输出(shch)层权的调整wpq= qop =fn (netq)(yq-oq)op =oq(1-oq) (yq-oq)op隐藏层权的调整2021-12-944ANpANqANhvhppk-11kwp1wpqqkwpmmkvhp =opk-1(1-opk-1)( wp11k+ wp22k+ + wpmmk)ohk-2第44页/共73页第四十四页，共74页。样本集：S=(X1,Y1),(X2,Y2),(Xs,Ys) 基本思想 ：逐一地根据样本集中的

24、样本(Xk,Yk)计算出实际输出Ok和误差测度E1，对W(1) ，W(2) ，W(L)各做一次调整，重复这个循环，直到Ep do 4.1 E=0; 2021-12-946第46页/共73页第四十六页，共74页。 4.2 对对S中的每一个样本（中的每一个样本（Xp,Yp）：）： 4.2.1 计算出计算出Xp对应的实际输出对应的实际输出(shch)Op； 4.2.2 计算出计算出Ep； 4.2.3 E=E+Ep； 4.2.4 根据相应式子调整根据相应式子调整W(L)； 4.2.5 k=L-1； 4.2.6 while k0 do 4.2.6.1 根据相应式子调整根据相应式子调整W(k)； 4.2.

25、6.2 k=k-1 2021-12-947第47页/共73页第四十七页，共74页。1、BP网络接受样本的顺序对训练结果有较大影响。它更偏爱较后出现的样本网络接受样本的顺序对训练结果有较大影响。它更偏爱较后出现的样本2、给集中的样本安排一个、给集中的样本安排一个(y )适当的顺序，是非常困难的。适当的顺序，是非常困难的。3、样本顺序影响结果的原因：分别依次、样本顺序影响结果的原因：分别依次4、用、用(X1,Y1)，（，（X2,Y2），）， ，（，（Xs,Ys）的总效果修改）的总效果修改W(1) ，W(2) ， ，W(L)。w(k)ij=p w(k)ij2021-12-948第48页/共73页第四

26、十八页，共74页。1 for k=1 to L do1.1 初始化初始化W(k)；2 初始化精度初始化精度(jn d)控制参数控制参数；3 E=+1;4 while E do 4.1 E=0;4.2 对所有的对所有的i，j，k： w (k)ij=0； 2021-12-949第49页/共73页第四十九页，共74页。4.3 对对S中的每一个样本中的每一个样本(yngbn)（Xp,Yp）：）：4.3.1 计算出计算出Xp对应的实际输出对应的实际输出Op；4.3.2 计算出计算出Ep；4.3.3 E=E+Ep；4.3.4 对所有对所有i，j根据相应式子计算根据相应式子计算p w (L)ij；4.3.5

27、 对所有对所有i，j： w (L)ij= w (L)ij+p w (L)ij；4.3.6 k=L-1；4.3.7 while k0 do4.3.7.1 对所有对所有i,j根据相应式子计算根据相应式子计算p w (k)ij；4.3.7.2 对所有对所有i,j： w (k)ij= w (k)ij+p w (k)ij；4.3.7.3 k=k-1 4.4 对所有对所有i，j，k：w (k)ij= w (k)ij+ w (k)ij; 2021-12-950第50页/共73页第五十页，共74页。较好地解决了因样本的顺序引起的精度问题和训练的抖动较好地解决了因样本的顺序引起的精度问题和训练的抖动(dudng

28、)(dudng)问题问题 收敛速度：比较慢收敛速度：比较慢偏移量：给每一个神经元增加一个偏移量来加快收敛速度偏移量：给每一个神经元增加一个偏移量来加快收敛速度 冲量：联接权的本次修改要考虑上次修改的影响，以减少抖动冲量：联接权的本次修改要考虑上次修改的影响，以减少抖动(dudng)(dudng)问题问题 2021-12-951第51页/共73页第五十一页，共74页。主要数据结构主要数据结构WH，m 输出层的权矩阵；输出层的权矩阵；Vn，H 输入（隐藏）层的权矩阵；输入（隐藏）层的权矩阵；m输出层各联接权的修改量组成的向量；输出层各联接权的修改量组成的向量；H隐藏层各联接权的修改量组成的向量；隐

29、藏层各联接权的修改量组成的向量；O1隐藏层的输出向量；隐藏层的输出向量；O2输出层的输出向量；输出层的输出向量；(X，Y)一个一个(y )样本。样本。 2021-12-952第52页/共73页第五十二页，共74页。用不同用不同(b tn)(b tn)的小伪随机数初始化的小伪随机数初始化W W，V V；初始化精度控制参数初始化精度控制参数；学习率；学习率 ； 循环控制参数循环控制参数E=+1E=+1；循环最大次数；循环最大次数M M；循环次数控制参数；循环次数控制参数N=0N=0； while E & N & N0，此时wij0取ijwEE0wij第59页/共73页第五十九页，共

30、74页。2021-12-960ijjjijwnetnetEwE而其中(qzhng)(qzhng)的 kkkjjownet所以(suy(suy)， iijkkkjijjowowwnet第60页/共73页第六十页，共74页。2021-12-961ijijkkkjjijjjijonetEwownetEwnetnetEwE令jjnetE所以(suy)wij=joi为学习率第61页/共73页第六十一页，共74页。oj=f(netj) 容易容易(rngy)得到得到 2021-12-962)net(fnetojjj)net(foEnetooEnetEjjjjjjj从而(cn(cng r) g r) 第62页

31、/共73页第六十二页，共74页。2021-12-963)()(22()21(21212jjjjjjjjmkkkjoyoyooyooyoE第63页/共73页第六十三页，共74页。2021-12-964所以(suy)(suy)，)net(f )oy(jjjj故，当ANjANj为输出层的神经元时，它对应的联接权wijwij应该按照下列公式(gngsh)(gngsh)进行调整：ijjjijijijijo)oy)(net(fwoww第64页/共73页第六十四页，共74页。2021-12-965jjjjjnetooEnetE)net(fnetojjj)net(foEjjjm1k2kk)oy(21E函数第65页/共73页第六十五页，共74页。2021-12-966netk= hH1iiikowhH1kjkkj)onetnetE(oEjkjH1