《神经网络配套Ch》ppt课件

1、41感知机学习规那么42学习的分类p1t1, p2t2, pQtQ, 有监视学习有导师学习提供网络一组能代表网络行为的实例集合(训练集)： 加强学习半监视学习仅提供一个级别(或评分)，作为网络在某些输入序列上的性能测度。 无监视学习无导师学习学习仅根据网络的输入来学会将输入方式分类聚类。(输入,目的输出)。43感知机的构造Ww1 1w1 2 w1 Rw2 1w2 2 w2 RwS 1wS 2 wS R=wiwi 1wi 2wi R=WwT1wT2wTS=aihardlim nihardlimwTipbi+=44单个神经元感知机任务原理ahardlimwT1pb+hardlim w1 1p1w1

2、 2p2b+=断定边境：n=w1,1p1 +w1,2p2 +b =045单个神经元感知机任务原理w1 11=w1 21=b1=p1 + p2 1 = 046断定边境wT1pb+0=wT1pb= 一切在断定边境上的点与权向量的内积一样。 这些点一定是在一条与权向量垂直的线上。47例子 “或(OR)p100=t10=p201=t21=p310=t31=p411=t41=48“或的解答图解法w10.50.5=wT1pb+0.5 0.500.5b+0.25b+0=b0.25= 选择一个断定边境，把两类方式向量分割在两个区。可以实现这种划分的边境有无穷多个。合理的选择是断定边境易于确定，且处于这两类方式

3、向量的间隔正中。 在断定边境上取一点(0, 0.5)来定偏值： 选择与断定边境垂直的权向量，该权向量可以是恣意长度向量，它同样有无穷多个。这里选择：49“或的解答图解法w10.50.5=方程的法向量是权向量 (与断定边境垂直)：方程的常数项是断定边境的偏置值： 两点式直线方程： 例如点(x1 , y1)和(x2, y2)：211211xxxxyyyy025. 05 . 05 . 021pp 选一个断定边境及其上的两点得其方程： 例如点(0.5, 0)和(0, 0.5) 25. 0b410多神经元感知机每个神经元将有本人的断定边境：wTipbi+0=单个神经元可以将输入向量分为两类。一个有S个神

4、经元的感知机可将输入向 量分为多类，共有2S种能够的类别。411感知机学习规那么 为满足给定的训练样本：p1t1,p2t2, pQtQ, 设计普通性的方法来确定感知机的权和偏置值。412学习规那么测试实例p112=t11=p212=t20=p301=t30=测试问题的网络413初始化w11.00.8=将p1送入网络：ahardlimwT1p1hardlim1.00.812=ahardlim0.60=随机初始化权：错误分类414构造学习规那么 令1w 为 p1 前后振荡 将p1加到1w上 1w的指向偏向p1If t1 and a0, then w1neww1oldp+=w1neww1oldp1+

5、1.00.812+2.01.2=规那么：415第二个输入向量If t0 and a1, then w1neww1oldp=ahardlimwT1p2hardlim2.0 1.212=ahardlim 0.41=(错误分类，见前图)修正规那么：w1neww1oldp22.01.2123.00.8=416第三个输入向量三个方式如今都正确分类了ahardlimwT1p3hardlim3.00.801=ahardlim 0.81=(错误分类，见前图)w1neww1oldp33.00.8013.00.2=If ta, then w1neww1o ld.=417一致的学习规那么If t1 and a0,

6、then w1neww1oldp+=If t0 and a1, then w1n eww1oldp=If ta, then w1neww1old=eta=If e1, then w1neww1oldp+= =If e1, then w1neww1oldp=If e0, then w1neww1old=w1neww1oldep+w1oldtap+=bnewbolde+=偏置可视为对应输入为1 的权418多神经元感知机winewwioldeip+=binewbioldei+=WnewWoldepT+=bnewbolde+=权值矩阵的第i行修正为：矩阵表示：419苹果/香蕉例子W0.510.5=b0

7、.5=ahardlimWp1b+hardlim0.510.51110.5+=训练集：初始权值：第一次迭代：p1111t11=p2111t20=ahardlim0.50=WnewWoldepT+0.510.51 111+0.501.5=bnewbolde+0.51 +1.5=et1a101=420第二次迭代ahardlim Wp2b+()hardlim 0.501.51111.5+()=ahardlim 2.5()1=et2a011=WnewWoldepT+0.501.511 11+1.510.5=bnewbolde+1.51+0.5=421检查ahardlim Wp1b+()hardlim 1

8、.510.51110.5+()=ahardlim 1.5()1t1=ahardlim Wp2b+()hardlim 1.510.51110.5+()=ahardlim 1.5()0t2=422学习规那么的才干 只需权值的解存在问题线性可分， 该学习规那么总能收敛到实现期望分类的 权值上。423收敛性证明 证明见书中第45页 证明是建立在下面三条假设根底上的： 问题的解 存在，即有式(4.66)： ； 仅在输入被错分时才改动权值，即有式(4.72)：；(3) 输入向量的长度(模)的上界存在。 证明的思绪：假设问题的解存在，那么感知机学习规那么必迭代有限次就可收敛。)(izxT0) 1() 1(k

9、zkxTx424收敛性证明 (4.66)和(4.72)式的证明：-(4.66)式的证明,即 。证：由(4.61)有, , ,且 。假设 ,那么 ,由(4.62)得: ;假设 ,那么 ,由(4.63)得: ;综合和证得(4.66)式。-(4.72)式的证明,即 。证：由(4.61)有, , ,且 。假设 ,由于错误分类,得: ;假设 ,由于错误分类,得: ;综合和证得(4.72)式.)(izxTmmzatiz)()(Qm10atm1mtmmmzzatiz)()(mTTzxizx)(0mtmmmzzatiz)() (mTTzxizx)(0) 1() 1(kzkxTmmzatkz)() 1(Qm10atm0mt1mt0) 1() 1() 1(mTTzkxkzkx0) 1() 1() 1(mTTzkxkzkx425感知机的局限性wT1pb+0=线性断定边境处理不了线性不可分问题426习题思索下面定义的分类问题：设计一个求解这个问题的单神经元感知机。(1)用图形方式求解网络参数；(2)对以下初始参数用感知机学习规那么求解网络参数。 1,1111tp 1,2112tp 0,3003tp 0,4104tp,00)0(W0)0(b427课外习题按照感知机学习规那么, 用C言语编程实现以下学习函数:void learning( n, i , f, p,t, W,