人工神经网络第三0部分线性自适应课件

1、4 线性神经网络Linear Neural Network 自适应线性神经元ADALINE（ADAptive LInear NEuron）是在1960年由斯坦福大学教授B.Widrow和M.Hoff提出的，它是线性神经网络最早的典型代表，其学习算法称之为LMS（Least Mean Square-最小均方误差）算法或WH学习规则。 单层ADALINE网络和感知器网络一样，只能解决线性可分的问题，但其LMS学习规则却比感知器的学习规则的性能要强得多，一是增加了网络的抗噪能力,二是比感知器学习算法具有更广泛的实际用途，特别是在数字信号处理方面，比如，实现高性能的自适应滤波器。 但LMS算法只适于单

2、层网络的训练，当需要进行多层网络的设计时，需要寻找新的学习算法，如BP算法。 线性神经网络模型 线性神经元模型 线性神经网络模型 线性神经网络层的输出为： 线性神经网络层的输出可以取任意值，克服了感知器神经网络的输出只能取0或1的不足。另外，一般感知器神经网络是单层的，而线性神经元网络可以是多层的。但线性网络和感知器神经网络一样只能求解线性问题。 ADALINE ADALINE是一个自适应可调的网络，适用于信号处理中的自适应滤波、预测和模型识别。自适应线性神经元模型如图所示，它有两个输出量，a是模拟输出量，q是数字输出量；实际应用时，往往还将目标响应t与模拟输出量a的误差e = t - a作为

3、输出。 线性神经网络的学习 线性神经网络可以不经过训练直接求出网络的权值和阈值，如果网络有多个零误差解，则取最小的一组权值和阈值；如果网络不存在零误差解，则取网络的误差平方和最小的一组权值和阈值。因为线性系统有惟一的误差最小值，在这种情况下，根据给定的一组输入向量和目标向量，可以计算出实际输出向量和目标向量的误差最小值。 另外, 如果求解的问题不能直接求出网络权值和阈值，线性神经网络及自适应线性神经网络可采用使均方误差最小的学习规则，即LMS（Least Mean Squares）算法，或称之为WH（Widrow-Hoff）学习规则来调整网络的权值和阈值，它是一种沿误差的最陡下降方向对前一步权

4、值向量进行修正的。 对于Q个训练样本： Widrow-Hoff学习规则的基本思想是要寻找最佳的W、b，使各神经元输出的均方误差最小。神经元的均方误差为： 线性神经网络的学习Q 训练样本数；a 神经元输出的实际值；t 神经元输出的期望（目标）值。 对于单个线性神经元： 线性神经网络的学习 为避免求均方误差梯度的麻烦，以误差平方的梯度代替均方误差的梯度，则： 所谓最陡梯度下降就是梯度的反方向，则 ： 线性神经网络的学习 式中，是决定权值和阈值的收敛速度和稳定性参数，称之为学习速率，学习率越大，学习的速度越快，但过大的学习率会使修正过度，造成不稳定，反而使误差更大。 推广到多个线性神经元的情况，可写

5、成向量形式： 线性神经网络与感知器大体一致，只是创建神经网络的函数不同，另外，线性神经网络还可以用设计函数进行创建，不需要进行训练。 线性神经网络的MATLAB仿真程序设计 以newlin创建线性神经网络 以train训练所创建的网络，或以adapt自适应调整权值和阈值。若以newlind设计线性神经网络，则不需要进行训练。 以sim对训练后的网络进行仿真 有一点要特别注意，在有些应用中，自适应线性神经网络的输出不是取自线性神经元的输出，而是目标响应t与模拟输出量a的误差e = t - a。 例4.1 以单层线性网络模拟与函数。 （P62） 例4.2 以自适应线性网络实现噪声对消。 （P64

6、） 例4.3 线性神经网络用于信号预测。 （P65） SimulationSimulationSimulation参考书目：1 王伟. 人工神经网络原理入门与应用. 北京：北京航空航天大学出版社，1995.2 张立明. 人工神经网络的模型及其应用. 上海：复旦大学出版社出版，1993.考试安排：1 时间：下周二下午2:004:00， 4:006:00；2 地点：计算中心微机5、微机6；3 复习：本周四答疑、复习。作业提交：1 关于算法的作业提交清单，以班为单位，班长负责集中拷贝在一个目录下，下周四上课时间分别运行；2 每一个作业的文件名定为：姓名+学号+班级+算法名；3 作业是可选的，可以不做

7、，但是没有相应的分数。作业二(任选一题)：(1) 正交输入模式集 目标输出 P1: 1 0 0 0 1 P2: 0 1 0 02 P3: 0 0 1 0 1 P4: 0 0 0 1 4dbcaeW3W2W1W4 网络学习规则采用hebb规则：wij =aj ti 初始权重：W1 = W2 = W3 = W4 = 0学 习 率： = 0.5 判断网络学习的准确程度，利用目标值与实际输出误差指标函数：E = Sqrt(tie-aie)2)(2) 非正交输入模式集 目标输出 P1: 1 0 1 0 2 P2: 1 0 0 1 5 P3: 0 1 1 1 5 P4: 1 1 1 0 2dbcaeW3W2W1W4 网络学习规则采用Delt