人工神经网络041线性神经网络模型和LMS算法.ppt

1、1,人工神经网络(Artifical Neural Network),张凯 副教授,武汉科技大学 计算机学院,2,第四章 线性神经网络模型,1. 研究背景,2. 学习规则,3. ADALINE网络结构,4. Widrow-Hoff学习规则,第四章 线性神经网络模型,自适应线性神经元ADALINE(Adaptive Linear Neuron)是在1960 年由斯坦福大学教授伯纳德和玛西娅提出的,它是线性神经网络最早的典型代表，其学习算法称之为 LMS (least mean squares最小均方差)算法或Widrow-Hoff学习规则。,4,ADALINE网络,Ted Hoff,Bernar

2、d Widrow,他们提出的这个网络和算法很重要，原因有两个： 第一：它被广泛应用于现在的信号处理过程中。 第二：它是多层网络中BP算法的先驱。,ADALINE网络,ADALINE网络,ADALINE 网络与感知器网络非常相似,只是神经元的传输函数不同而已。 前者是线性传输函数，后者是对称硬极限传输函数。 单层ADALINE网络和感知器网络一样,只能解决线性可分的问题,但其LMS学习规则却比感知器学习规则的性能强得多。,感知器学习规则训练的网络,其分类的判决边界往往离各分类模式靠得很近,这使得网络对噪声十分敏感; 而LMS学习规则使均方误差最小,从而使判决边界尽可能远离分类模式,增强了网络的抗

3、噪能力。,ADALINE网络,但LMS算法只适于单层网络的训练,当需要进行多层网络的设计时,需要寻找新的学习算法,如BP算法。,ADALINE网络,ADALINE网络,线性神经元模型，它与感知器的主要不同之处在于其神经元有一个线性激活函数，这允许输出可以是任意值，而不仅仅只是像感知器中那样只能取0或1。,传输函数,感知机传输函数是hardlim,线性神经元激活函数,线性神经网络的结构,两输入单层ADALINE网络,线性神经元网络模型,性能学习,学习规则的几种类型： 性能学习，联想学习，竞争学习。 性能学习目的在于调整网络参数以优化网络性能 性能学习的优化分两步骤进行： (1)找一个衡量网络性能

4、的定量标准，即性能指数：F(x)。性能指数在网络性能良好时很小，反之则很大。 (2)搜索减小性能指数的参数空间(调整网络权值和偏置值)。研究性能曲面的特性，建立确保极小点（即所寻求的最优点）存在的条件。,ADALINE网络,Widrow-Hoff学习规则 又称最小均方误差学习算法，即LMS学习算法LMS(Least Mean Square Error) 属于有导师学习算法 LMS学习规则定义如下: 目标通过调节权值，使mse从误差空间的某点开始，沿着mse的斜面向下滑行，最终使mse达到最小值。,LMS学习算法,其它评价函数,SSE(和方差、误差平方和)：The sum of squares

5、due to error MSE(均方差、方差)：Mean squared error RMSE(均方根、标准差)：Root mean squared error R-square(确定系数)：Coefficient of determination Adjusted R-square：Degree-of-freedom adjusted coefficient of determination,其它评价函数,SSE(和方差) 该统计参数计算的是拟合数据和原始数据对应点的误差的平方和，计算公式如下 SSE越接近于0，说明模型选择和拟合更好，数据预测也越成功。接下来的MSE和RMSE因为和SSE

6、是同出一宗，所以效果一样,其它评价函数,MSE(均方差) 该统计参数是预测数据和原始数据对应点误差的平方和的均值，也就是SSE/n，和SSE没有太大的区别，计算公式如下,其它评价函数,RMSE(均方根) 该统计参数，也叫回归系统的拟合标准差，是MSE的平方根，就算公式如下,其它评价函数,R-square(确定系数) 在讲确定系数之前，我们需要介绍另外两个参数SSR和SST，因为确定系数就是由它们两个决定的 (1)SSR：Sum of squares of the regression，即预测数据与原始数据均值之差的平方和，公式如下 (2)SST：Total sum of squares，即原始

7、数据和均值之差的平方和，公式如下,其它评价函数,R-square(确定系数) “确定系数”是定义为SSR和SST的比值，故 其实“确定系数”是通过数据的变化来表征一个拟合的好坏。由上面的表达式可以知道“确定系数”的正常取值范围为0 1，越接近1，表明方程的变量对y的解释能力越强，这个模型对数据拟合的也较好,ADALINE网络,线性神经网络的结构,LMS学习算法,中，前R个元素是关于网络权值的导数值，第R+1个元素则是偏置值的导数,令,LMS学习算法,LMS学习算法,可以用于最速下降法，学习速度为的最速下降法为：,LMS学习算法,推广到权值和偏置量矩阵,线性神经网络的学习算法,算法实现步骤 第一

8、步：初始化，给各个连接赋一个较小的随机值 第二步：输入一个样本，计算连接权值的调整量,线性神经网络的学习算法,其中 表示第 次循环中的第个输入向量。则： 第三步：调整连接权值 根据负梯度下降的原则，网络权值和阈值修正公式如下 式中 为学习率,当其取较大值时，可以加快网络的训练速度，但是如果其值太大，会导致网络稳定性的降低和训练误差的增加。所以，为了保证网络进行稳定的训练，学习率的值必须选择一个合适的值。,线性神经网络的学习算法,第四步：计算均方误差 第五步：判断误差是否为零或者是否达到预先设定的要求。如果是，则结束算法，否则输入下一个样本，返回第二步进入下一轮求解过程。,p1=2.5,p2=1

9、,w1,1=1.2,w1,2=1.5,b=1,t=4.5,=0.1,=0.05,LMS的学习算法例子,t=0，w(0)=1.2, 1.5，b=1,a=2.51.2+11.5+11=5.5,e=ta=4.55.5= -1,|e|=0.05,w(1)= w(0)+ep = 1.2, 1.5+0.1-12.5,1=0.95,1.4,b(1)= b(0)+ep = 1+0.1-11=0.9,w1,1=0.95,w1,2=1.4,b=0.9,LMS的学习算法例子,t=1，w(1) =0.95,1.4 ，b=0.9,a=2.50.95+11.4+10.9=4.675,e=ta=4.54.675= -0.1

10、75,|e|=0.05,w(2)= w(1)+ep = 0.95,1.4+0.1-0.1752.5,1=0.90625,1.3825,b(2)= b(1)+ep = 0.9+0.1 -0.175 1=0.8825,w1,1=0.90625,w1,2=1.3825,b=0.8825,LMS的学习算法例子,t=2，w(2) =0.90625,1.3825 ，b= 0.8825,a=2.50. 90625+11.3825+10.8825 =4.530625,e=ta= -0.030625,|e|=0.05,w1,1=0.90625,w1,2=1.3825,b=0.8825,LMS的学习算法例子,感知

11、机的局限性,异或(XOR) 逻辑运算为例,解决不了线性不可分问题,LMS的学习算法例子,线性神经网络的MATLAB实现,MATLAB中线性神经网络相关的常用函数和基本功能,线性神经网络的MATLAB实现,MATLAB中线性神经网络相关的常用函数和基本功能 newlin() 功能 新建一个线性神经网络函数。 格式 (1) net = newlin (2) net = newlin(PR，S，ID，LR) 说明 式(1)返回一个没有定义结构的空对象，并显示图形用户界面函数nntool的帮助文字；式(2)中net为生成的线性神经网络；PR为网络输入向量中的最大值和最小值组成的矩阵Pmin，Pmax；

12、S为输出向量的个数；ID为输入延时向量（可省略）；LR为学习速率（可省略），默认值为0.01。 learnwh( ) 功能 线性神经网络学习函数 格式 (1) dW,LS = learnwh(W,P,Z,N,A,T,E,gW,gA,D,LP,LS) (2) db,LS = learnwh(b,ones(1,Q),Z,N,A,T,E,gW,gA,D,LP,LS),线性神经网络的MATLAB实现,MATLAB中线性神经网络相关的常用函数和基本功能 Purelin() 功能 纯线性传输函数 格式 A = purelin(N) 说明 函数purelin(N)为返回网络输入向量N的输出矩阵a；神经元最简

13、单的传输函数是简单地从神经元输入到输出的线性传输函数，输出仅仅被神经元所附加的偏差所修正，newlin和newlind函数建立的网络都可以用该函数做为传递函数。 mse() 功能 均方误差性能函数 格式 perf=mae(E，w，pp) 说明 perf表示均方误差,E为误差矩阵或向量(网络的目标向量与输出向量之差),w为所有权值和偏值向量(可忽略)， pp为性能参数(可忽略)。,线性神经网络的MATLAB实现,例2-2 要求设计一个线性神经网络，寻找给定数据之间的线性关系。 P=1.1 -1.3; T=0.6 1; %创建一个只有一个输出，输入延时为0，学习速率为0.01的线性神经网络，min

14、max(P)表示样 %本数据的取值范围 net=newlin(minmax(P),1,0,0.01); %对创建的线性神经网络进行初始化，设置权值和阈值的初始值 net=init(net); net.trainParam.epochs=500; %设置网络训练后的目标误差为0.0001 net.trainParam.goal=0.0001; net=train(net,P,T); y=sim(net,P) %求解网络的均方误差值 E=mse(y-T),线性神经网络的MATLAB实现,例2-2的输出结果 %使用TRAINB作为训练函数，最大训练次数为500，开始训练时的均方误差值为0.68， %目标误差为0.0001 TRAINB, Epoch 0/