人工神经网络第三0部分线性自适应ppt课件

4 线性神经网络,Linear Neural Network,自适应线性神经元ADALINE（ADAptive LInear NEuron）是在1960年由斯坦福大学教授B.Widrow和M.Hoff提出的，它是线性神经网络最早的典型代表，其学习算法称之为LMS（Least Mean Square-最小均方误差）算法或WH学习规则。 单层ADALINE网络和感知器网络一样，只能解决线性可分的问题，但其LMS学习规则却比感知器的学习规则的性能要强得多，一是增加了网络的抗噪能力,二是比感知器学习算法具有更广泛的实际用途，特别是在数字信号处理方面，比如，实现高性能的自适应滤波器。 但LMS算法只适于单层网络的训练，当需要进行多层网络的设计时，需要寻找新的学习算法，如BP算法。,线性神经网络模型,线性神经元模型,线性神经网络模型,线性神经网络层的输出为：,线性神经网络层的输出可以取任意值，克服了感知器神经网络的输出只能取0或1的不足。另外，一般感知器神经网络是单层的，而线性神经元网络可以是多层的。但线性网络和感知器神经网络一样只能求解线性问题。,ADALINE,ADALINE是一个自适应可调的网络，适用于信号处理中的自适应滤波、预测和模型识别。自适应线性神经元模型如图所示，它有两个输出量，a是模拟输出量，q是数字输出量；实际应用时，往往还将目标响应t与模拟输出量a的误差e = t - a作为输出。,线性神经网络的学习,线性神经网络可以不经过训练直接求出网络的权值和阈值，如果网络有多个零误差解，则取最小的一组权值和阈值；如果网络不存在零误差解，则取网络的误差平方和最小的一组权值和阈值。因为线性系统有惟一的误差最小值，在这种情况下，根据给定的一组输入向量和目标向量，可以计算出实际输出向量和目标向量的误差最小值。 另外, 如果求解的问题不能直接求出网络权值和阈值，线性神经网络及自适应线性神经网络可采用使均方误差最小的学习规则，即LMS（Least Mean Squares）算法，或称之为WH（Widrow-Hoff）学习规则来调整网络的权值和阈值，它是一种沿误差的最陡下降方向对前一步权值向量进行修正的。,对于Q个训练样本：,Widrow-Hoff学习规则的基本思想是要寻找最佳的W、b，使各神经元输出的均方误差最小。神经元的均方误差为：,线性神经网络的学习,Q 训练样本数； a 神经元输出的实际值； t 神经元输出的期望（目标）值。,为了寻找最佳的W，b使每个神经元输出的均方误差最小，以x代表W或b，求mse对x的偏导：,令其等于0，则可以求出mse的极值点，当然，极值点可以是极大值，也可以是极小值，但mse只能是正值，即mse-xj 曲面一定是凹向上的，所以极值点必为极小值。,线性神经网络的学习,但按上式计算很麻烦，尤其当输入向量的维数R很高时，所以，通常采用搜索优化法，即假设获得第k次训练得到的权值或阈值，然后找出mse-x曲面上在该点的最陡下降方向，再沿此方向对权值进行修正。,线性神经网络的LMS学习规则，是建立在均方误差(函数)最小化的基础上的，其学习过程表现为误差曲面上的梯度下降。同时，由于误差相对于权值(维数)构成的抛物面只有一个极小值点，因此LMS算法可以保证误差函数最小，但这需要无限次学习，所以实际应用中有限次的学习结果只能得到近似解，只有当输入模式线性无关时，LMS算法才可以使误差函数为零 .,线性神经网络的学习,线性神经网络与感知器大体一致，只是创建神经网络的函数不同，另外，线性神经网络还可以用设计函数进行创建，不需要进行训练。,线性神经网络的MATLAB仿真程序设计,以newlin创建线性神经网络 以train训练所创建的网络，或以adapt自适应调整权值和阈值。若以newlind设计线性神经网络，则不需要进行训练。 以sim对训练后的网络进行仿真 有一点要特别注意，在有些应用中，自适应线性神经网络的输出不是取自线性神经元的输出，而是目标响应t与模拟输出量a的误差e = t - a。,例4.1 以单层线性网络模拟与函数。 （P62）,例4.2 以自适应线性网络实现噪声对消。 （P64 ）,例4.3 线性神经网络用于信号预测。 （P65）,Simulation,Simulation,Simulation,参考书目： 1 王伟. 人工神经网络原理入门与应用. 北京：北京航空航天大学出版社，1995. 2 张立明. 人工神经网络的模型及其应用. 上海：复旦大学出版社出版，1993.,考试安排： 1 时间：下周二下午2:004:00， 4:006:00； 2 地点：计算中心微机5、微机6； 3 复习：本周四答疑、复习。 作业提交： 1 关于算法的作业提交清单，以班为单位，班长负责集中拷贝在一个目录下，下周四上课时间分别运行； 2 每一个作业的文件名定为：姓名+学号+班级+算法名； 3 作业是可选的，可以不做，但是没有相应的分数。,作业一(任意选一种组合)： 1 题目背景： 1. 野人与传教士问题； 2. 梵塔问题； 3. 八数码问题。 2 使用算法： 1. 深(宽)度优先搜索； 2. 动态规划法； 3. 启发式算法。,作业二(任选一题)：,(1) 正交输入模式集 目标输出 P1: 1 0 0 0 1 P2: 0 1 0 0 2 P3: 0 0 1 0 1 P4: 0 0 0 1 4,d,b,c,a,e,W3,W2,W1,W4,网络学习规则采用hebb规则：wij =aj ti 初始权重：W1 = W2 = W3 = W4 = 0 学 习 率： = 0.5 判断网络学习的准确程度，利用目标值与实际输出误差指标函数：E = Sqrt(tie-aie)2),(2) 非正交输入模式集 目标输出 P1: 1 0 1 0 2 P2: 1 0 0 1 5 P3: 0 1 1 1 5 P4: 1 1 1 0 2,d,b,c,a,e,W3,W2,W1