第4章自适应线性神经元

1、2006-11-28北京科技大学 付冬梅1第四章 自适应线性神经元2006-11-28北京科技大学 付冬梅2第四章 自适应线性神经元 自适应线性神经元模型 单个自适应线性神经元的学习方法 单层自适应线性神经元的学习方法 MATLAB程序仿真 关于自适应线性神经元的几点说明2006-11-28北京科技大学 付冬梅34.1自适应线性神经元模型线性神经元模型如图所示：I/O关系 a=purelin(W*P+b) 2006-11-28北京科技大学 付冬梅42006-11-28北京科技大学 付冬梅5基于最小二乘的一次性学习算法基于最小二乘的一次性学习算法4.2单个自适应线性神经元的学习方法注意到O=KO

2、+b，所以有O=(O-b)/K，同理有： y=(y-b)/K，所以X，Y仍是样本对。0niiiyw x 1111nmm1mnyxxYXWY,XyxxT1TW(X X) X Y2006-11-28北京科技大学 付冬梅6 基于梯度的学习算法基于梯度的学习算法(内部反馈内部反馈)后），对于输入 ，个次学习以后（即得到第0n0n12nwwwjxjTnijiiXWxnwny1100)()(1nw11nx)()(00nyynej2002)()(nyynej设经过后，或者没有初始权值感知机的输出为：其中则感知机的输出误差为：jxjy又设在同样输入作用下，样本输出12000nwww4.2单个自适应线性神经元的

3、学习方法2006-11-28北京科技大学 付冬梅7根据上面的推导，我们可以给出感知器（单个且 ） 根据建立在梯度法基础上的最小均方差（LMS）算法得知，被调整的参数（这里是TW)()() 1(000nnWnWjjTjXnenWXnWynWnen)(2)()()()()(00200020jXnenWnW)(2)()1(000uuf)(）的修改应该向着梯度的反方向进行，此处梯度为：因此我们有：权值调整的具体即：（1）随机初始化权值和阈值： (0)random( ) 0,1,2,1 iwaain4.2单个自适应线性神经元的学习方法2006-11-28北京科技大学 付冬梅8 为迭代次数，按：作为输入向

4、量， ,则表明分类正确，而不需要调整权值和阈值，如此类中了，需按下面步骤调整权值。错分到作为本次的训练，并以此为输入计算中的BAxx 或Axx)(lTlXWfy 比如选中（2）在A样本集合A，B中，任选一个感知机的输出：1ly1lylxBx，表明将 （3）若可回到（2）步，并重新选一个新的训练样本。如果0n0000(1)()2 (y() ()lliiiw nw ny nx nqAty11y其中：是理想输出，即样本输出）调整权值，此处为学习率。为期望输出，直到计算为止。 （4）设4.2单个自适应线性神经元的学习方法2006-11-28北京科技大学 付冬梅9)() 1(00nwnwii1, 2 ,

5、 1ni（5）重新在A，B样本集中选择另一个样本进行学习，即 重复（2）（5），直到对所有均成立，对所有样本均正确分类，则学习结束 。( )f ukub11)(0 或nyl|y|lye上面的算法适合这样连续激励函数，但是来作为迭代的标准，往往以误差，则不要调整权值，否则进行（4）步。说明：此时不能用大小作为限制，即在算法的第（3）步中，理想输出不一定非得是+1或-1，可以使其他的实数。4.2单个自适应线性神经元的学习方法2006-11-28北京科技大学 付冬梅10 基于梯度的学习算法基于梯度的学习算法(外部反馈外部反馈)后），对于输入 ，个次学习以后（即得到第0n0n12nwwwjx1001(

6、)()njTjiiiy nkw n xb kW Xb1nw11nx)()(00nyynej2002)()(nyynej设经过后，或者没有初始权值感知机的输出为：其中则感知机的输出误差为：jxjy又设在同样输入作用下，样本输出12000nwww4.2单个自适应线性神经元的学习方法2006-11-28北京科技大学 付冬梅11 根据建立在梯度法基础上的最小均方差（LMS）算法得知，被调整的参数（这里是TW)()() 1(000nnWnW22000000()()()2()()()jTjje nykWn Xbnke n XW nW n000(1)()2()jW nW nke nX）的修改应该向着梯度的反

7、方向进行，此处梯度为：因此我们有：即：4.2单个自适应线性神经元的学习方法 基于梯度的学习算法基于梯度的学习算法(外部反馈外部反馈)2006-11-28北京科技大学 付冬梅124.3单层自适应线性神经元的学习方法基于最小二乘的一次性学习算法基于最小二乘的一次性学习算法0ni iiywx111km1mk111n111km1mnn1nkyyYXWY,yyxxwwX,WxxwwT1TW(X X) X Y2006-11-28北京科技大学 付冬梅13 基于梯度的学习算法基于梯度的学习算法 设样本集为（X，Y），取 、 样本。设已训练了n0次得到的权值为： lxly)()()()()()()()()()(

8、0020101001011010110nWnWnWnwnwnwnwnwnwnWTmTTnnnnmnn则由网络计算得到的输出为： llXWnY)(04.3单层自适应线性神经元的学习方法2006-11-28北京科技大学 付冬梅14用分量表示之为： lTinjljijliXnWxnwny)()()(011)(00则此时网络的误差为：220000100()()() ()() ()mllTlTiiiTlTTlTEnty nYYnYYnYW XnYW Xn根据梯度下降法我们可以知道：)()() 1(000nnwnwii4.3单层自适应线性神经元的学习方法2006-11-28北京科技大学 付冬梅152201

9、00002010000()()()()()() 2 ()()2()2 ()mjjTTiimTljjjliTiTllliiienEnnwnwnywnXe nXwnywnXXe nX 故有： 000(1)()2()Tlliiiiw nw nywnXX4.3单层自适应线性神经元的学习方法2006-11-28北京科技大学 付冬梅16由此可得递推算法如下：（1）随机初始化权值和阈值，即令： mjnjji, 2 , 1; 1, 1,(0)random( )ijwaa系数取不等于零的正小数 ，以使初始化权值比较小。 （2）在样本集合（X，Y）中，任选一个 和 作为训练样本，计算感知器的实际输出： lXlY(

10、)lllOf X WXW4.3单层自适应线性神经元的学习方法2006-11-28北京科技大学 付冬梅17eyOyOllll|3）若 （规定的最小误差），则不需调整权值，回到（2）步，取另一样本进行训练，否则进行如下的（4）步。 000(1)()2()Tlliiiiw nw nywnXX4）调整权值：然后返回2）。 4.3单层自适应线性神经元的学习方法2006-11-28北京科技大学 付冬梅184.4 MATLAB程序仿真例1、设计自能够适应线性神经网络实现从输入矢量到输出矢量的变换关系，其输入矢量和输出矢量分别为： P=1.0 -1.2 T=0.5 1.0程序1P=1.0 -1.2;T=0.5

11、 1.0;Q,R=size(P);S,Q=size(T);lr=0.4*maxlinlr(P); %最佳学习率net=newlin(minmax(P),S,0,lr); %创建线性网络net.inputWeights1,1.initFcn=rands; %初始化权值net.biases1.initFcn=rands; %初始化偏差net=init(net); %把初始化的权值和偏差函数赋给网络2006-11-28北京科技大学 付冬梅19W0=net.iw1,1 %显示初始化权值和偏差B0=net.b1net.trainParam.epochs=20; %最大循环次数net.trainParam

12、.goal=0.001; %期望误差net,tr=train(net,P,T); %进行线性自适应网络权值的训练W=net.iw1,1 %显示训练好的初始化权值和偏差B=net.b14.4 MATLAB程序仿真W = -0.2475B = 0.74312006-11-28北京科技大学 付冬梅20例1、设计自能够适应线性神经网络实现从输入矢量到输出矢量的变换关系，其输入矢量和输出矢量分别为： P=1.0 -1.2 T=0.5 1.0程序2P=1.0 -1.2;T=0.5 1.0;net=newlind(P,T); %得到准确的线性自适应网络W=net.iw1,1 %显示训练好的初始化权值和偏差B

13、=net.b14.4 MATLAB程序仿真W = -0.2273B = 0.72732006-11-28北京科技大学 付冬梅21例2：设计自能够适应线性神经网络实现从输入矢量到输出矢量的变换关系，其输入矢量和输出矢量分别为：P=1.0 1.5 1.2 -0.3 -1.0 2.0 3.3 -0.5 2.0 1.0 -1.6 0.9T=0.5 3.0 -2.2 1.4 1.1 -1.2 1.7 -0.4 3.0 0.2 -1.8 -0.4 -1.0 0.1 -1.0 0.64.4 MATLAB程序仿真2006-11-28北京科技大学 付冬梅22程序：P=1.0 1.5 1.2 -0.3 -1.0

14、2.0 3.3 -0.5 2.0 1.0 -1.6 0.9;T=0.5 3.0 -2.2 1.4 1.1 -1.2 1.7 -0.4 3.0 0.2 -1.8 -0.4 -1.0 0.1 -1.0 0.6;Q,R=size(P);S,Q=size(T);lr=0.9*maxlinlr(P); %最佳学习率net=newlin(minmax(P),S,0,lr); %创建线性网络net.inputWeights1,1.initFcn=rands; %初始化权值net.biases1.initFcn=rands; %初始化偏差4.4 MATLAB程序仿真2006-11-28北京科技大学 付冬梅23

15、net=init(net); %把初始化的权值和偏差函数赋给网络W0=net.iw1,1 %显示初始化权值和偏差B0=net.b1A=sim(net,P)e=T-A; %求训练前网络的输出误差sse=(sumsqr(e)/(S*Q); %求误差平方和的平均值fprintf(Before training ,sum squrared error=%g.n,sse) %显示训练前网络的均方差net.trainParam.epochs=400; %最大循环次数net.trainParam.goal=0.0001; %期望误差net,tr=train(net,P,T); %进行线性自适应网络权值的训练

16、W=net.iw1,1 %显示训练好的初始化权值和偏差B=net.b14.4 MATLAB程序仿真2006-11-28北京科技大学 付冬梅24W = -2.7153 2.4511 3.5284 2.3781 -1.9358 -2.3482 2.2205 -1.3512 -0.1580 -1.7947 1.0453 1.1494B = -1.3735 1.4670 -0.2634 -0.45314.4 MATLAB程序仿真2006-11-28北京科技大学 付冬梅254.5关于自适应线性神经元的几点说明一、自适应线性神经元与感知器的不同之处1）网络模型的不同： 感知器是二值形式的，自适应线性神经元

17、是线性的。前者只能作分类工作，后者可以完成分类以及线性逼近任务。2）学习算法的不同： 感知器的学习算法是最早提出的可收敛的学习算法，算法的本质是：如果网络的计算输出与样本不同，则表明分类错误，则自动修正权值。 自适应线性神经元的学习算法是：使网络计算输出与样本输出之间的误差达到最小的梯度下降法。这种算法是感知器学习算法的推广，而BP算法又是本算法的进一步推广。2006-11-28北京科技大学 付冬梅264.5关于自适应线性神经元的几点说明3）适应性与局限性的不同：感知器：适应对线性可分问题进行线性分类；自适应线性神经元：适应对线性可分问题进行线性分类， 还可以实现线性逼近，可用于系统 线性的建

18、模，即线性辨识问题。 二、自适应线性神经元的应用1）系统的线性辨识：自适应线性网络的输入P与输出Y的关系可以表达为：Y=W*P，从自动可知理论的角度来说，可以将W看成是传递函数，但是W不是计算得到的，而是学习训练出来的，而且2006-11-28北京科技大学 付冬梅274.5关于自适应线性神经元的几点说明W只能表达P、Y之间的线性关系。当某系统的输入输出之间是非线性关系时，通过网络的训练和学习，可以得出线性逼近关系，这就是线性逼近模型的建立过程。2）自适应滤波器的实现： 自适应滤波是自适应线性神经元的主要应用领域之一。11( )(1)njja kw P kjbP(k-n)P(k-n)Z-1Z-1Z-1P(k)P(k)P(k-1)P(k-