神经网络配套Ch4pres

1、41感知机学习规则42学习的分类p1t1, p2t2, pqtq, 有监督学习（有导师学习）提供网络一组能代表网络行为的实例集合(训练集)： 增强学习（半监督学习）仅提供一个级别(或评分)，作为网络在某些输入序列上的性能测度。 无监督学习（无导师学习）学习仅根据网络的输入来学会将输入模式分类（聚类）。(输入,目标输出)。43感知机的结构ww1 1w1 2 w1 rw2 1w2 2 w2 rws 1ws 2 ws r=wiwi 1wi 2wi r=wwt1wt2wts=aihardlim nihardlimwtipbi+=44单个神经元感知机工作原理ahardlimwt1pb+hardlim w

2、1 1p1w1 2p2b+=判定边界：n=w1,1p1 +w1,2p2 +b =045单个神经元感知机工作原理w1 11=w1 21=b1=p1 + p2 1 = 046判定边界wt1pb+0=wt1pb= 所有在判定边界上的点与权向量的内积相同。 这些点一定是在一条与权向量垂直的线上。47例子 “或(or)”p100=t10=p201=t21=p310=t31=p411=t41=48“或”的解答（图解法）w10.50.5=wt1pb+0.5 0.500.5b+0.25b+0=b0.25= 选择一个判定边界，把两类模式向量分割在两个区。能够实现这种划分的边界有无穷多个。合理的选择是判定边界易于

3、确定，且处于这两类模式向量的间隔正中。 在判定边界上取一点(0, 0.5)来定偏值： 选择与判定边界垂直的权向量，该权向量可以是任意长度向量，它同样有无穷多个。这里选择：49“或”的解答（图解法）w10.50.5=方程的法向量是权向量 (与判定边界垂直)：方程的常数项是判定边界的偏置值： 两点式直线方程： 例如点(x1 , y1)和(x2, y2)：211211xxxxyyyy025. 05 . 05 . 021pp 选一个判定边界及其上的两点得其方程： 例如点(0.5, 0)和(0, 0.5) 25. 0b410多神经元感知机每个神经元将有自己的判定边界：wtipbi+0=单个神经元可以将输

4、入向量分为两类。一个有s个神经元的感知机可将输入向 量分为多类，共有2s种可能的类别。411感知机学习规则 为满足给定的训练样本：p1t1,p2t2, pqtq, 设计一般性的方法来确定感知机的权和偏置值。412学习规则测试实例p112=t11=p212=t20=p301=t30=测试问题的网络413初始化w11.00.8=将p1送入网络：ahardlimwt1p1hardlim1.00.812=ahardlim0.60=随机初始化权：错误分类414构造学习规则 令1w 为 p1 前后振荡 将p1加到1w上上 1w的指向偏向p1if t1 and a0, then w1neww1oldp+=w

5、1neww1oldp1+1.00.812+2.01.2=规则：415第二个输入向量if t0 and a1, then w1neww1oldp=ahardlimwt1p2hardlim2.0 1.212=ahardlim 0.41=(错误分类，见前图)修正规则：w1neww1oldp22.01.2123.00.8=416第三个输入向量三个模式现在都正确分类了ahardlimwt1p3hardlim3.00.801=ahardlim 0.81=(错误分类，见前图)w1neww1oldp33.00.8013.00.2=if ta, then w1neww1o ld.=417统一的学习规则if t1

6、 and a0, then w1neww1oldp+=if t0 and a1, then w1n eww1oldp=if ta, then w1neww1old=eta=if e1, then w1neww1oldp+= =if e1, then w1neww1oldp=if e0, then w1neww1old=w1neww1oldep+w1oldtap+=bnewbolde+=偏置可视为对应输入为1 的权418多神经元感知机winewwioldeip+=binewbioldei+=wnewwoldept+=bnewbolde+=权值矩阵的第i行修改为：矩阵表示：419苹果/香蕉例子w0

7、.510.5=b0.5=ahardlimwp1b+hardlim0.510.51110.5+=训练集：初始权值：第一次迭代：p1111t11=p2111t20=ahardlim0.50=wnewwoldept+0.510.51 111+0.501.5=bnewbolde+0.51 +1.5=et1a101=420第二次迭代ahardlim wp2b+()hardlim 0.501.51111.5+()=ahardlim 2.5()1=et2a011=wnewwoldept+0.501.511 11+1.510.5=bnewbolde+1.51+0.5=421检查ahardlim wp1b+()

8、hardlim 1.510.51110.5+()=ahardlim 1.5()1t1=ahardlim wp2b+()hardlim 1.510.51110.5+()=ahardlim 1.5()0t2=422学习规则的能力 只要权值的解存在（问题线性可分）， 该学习规则总能收敛到实现期望分类的 权值上。423收敛性证明 证明见书中第45页 证明是建立在下面三条假设基础上的： 问题的解 存在，即有式(4.66)： ； 仅在输入被错分时才改变权值，即有式(4.72)：；(3) 输入向量的长度(模)的上界存在。 证明的思路：若问题的解存在，则感知机学习规则必迭代有限次就可收敛。)(izxt0) 1

9、() 1(kzkxtx424收敛性证明 (4.66)和(4.72)式的证明：-(4.66)式的证明,即 。证：由(4.61)有, , ,且 。若 ,则 ,由(4.62)得: ;若 ,则 ,由(4.63)得: ;综合和证得(4.66)式。-(4.72)式的证明,即 。证：由(4.61)有, , ,且 。若 ,由于错误分类,得: ;若 ,由于错误分类,得: ;综合和证得(4.72)式.)(izxtmmzatiz)()(qm10atm1mtmmmzzatiz)()(mttzxizx)(0mtmmmzzatiz)() (mttzxizx)(0) 1() 1(kzkxtmmzatkz)() 1(qm10atm0mt1mt0) 1() 1() 1(mttzkxkzkx0) 1() 1() 1(mttzkxkzkx425感知机的局限性wt1pb+0=线性判定边界解决不了线性不可分问题426习题考虑下面定义的分类问题：设计一个求解这个问题的单神经元感知机。(1)用图形方式求解网络参数；(2)对下列初始参数用感知机学习规则求解网络参数。 1,1111tp 1,2112tp 0,3003tp 0,4104tp,00)0(w0)0(b427课外习题按照感知机学习规则, 用c语言编程实现下列学习函数:void learning( n, i , f, p,t, w,