神经网络控制0909-000-0926-2029课件

第3章神经网络控制•几种典型的神经网络模型

前馈(BP)、反馈(Hopfield)型等•它们在系统建模及控制中的应用3.1概述3.1.1神经元模型

生物神经元轴突末梢传导信息接受器通过突触实现神经元之间的信息传递3.1.1神经元模型（续）

人工神经元模型3.1.1神经元模型（续）

常见的变换函数（转移函数）（见孙p126,图3.3）：（1）比例函数（线性）（2）*符号函数（对称硬极限）（3）饱和函数（4）*双极性S型函数（双曲正切）（5）阶跃函数（硬极限）（6）*单极性S型（对数S形）(Sigmoid，S形函数)单极性S形函数，μ越大越弯双极性S形函数（双曲正切）阶跃函数3.1.2人工神经网络

人工神经网络从结构及实现机理和功能两方面对生物神经网络进行模拟

（a)典型的前馈型网络(b)典型的反馈型网络3.1.3生物神经网络系统与计算机处理信息的比较（自己看一下孙P128）

神经网络的基本特征与功能结构特征：并行式处理分布式存储容错性能力特征：自学习自组织自适应性功能：联想记忆非线性映射分类与识别优化计算知识处理3.1.4神经网络的发展概况

萌芽期（20世纪40年代）•1943年，心理学家McCulloch（麦克卡洛克）和数学家Pitts（匹兹）提出了著名的阈值加权和模型，即M-P模型，发表于《BulletinofMathematicalBiophysics》。•1949年，心理学家Hebb（赫布）提出神经元之间突触联系是可变的假说,提出神经元连接强度的修改规则——Hebb学习律。

第一高潮期（1950~1968）•50年代、60年代的代表性工作是Rosenblatt（罗森布拉特）的感知机(perceptron)和Widrow（威德罗）的自适应性元件Adaline.可用电子线路模拟。•人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。3.1.4神经网络的发展概况（续）

第一低潮期（1969~1982）•1969年，Minsky（明斯基）和Papert（帕泊特）合作发表了Perceptron（感知机）一书，得出了消极悲观的论点(“异或”运算不可表示)，反响很大；•加上数字计算机正处于全盛时期并在人工智能领域取得显著成就，70年代人工神经网络的研究处于低潮。

3.1.4神经网络的发展概况（续）

应用研究与再认识期（第二低潮期?）（1991~）•开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。•希望在理论上寻找新的突破，建立新的专用/通用模型和算法。•进一步对生物神经系统进行研究，不断地丰富对人脑的认识。

3.2前馈神经网络3.2.1感知器网络

典型结构：一个输入层+若干隐层+一个输出层。如图3.4(a)(孙P127)1.单(计算)层感知器网络单层感知器网络单个神经元的感知器1.单层感知器网络（续）任一神经元的输入输出变换关系：若有P个样本Xp(p=1,2,···,P),经过感知器的输出yj只有两种可能，即1和-1，说明它将输入模式分成了两类。P个点分属于n维空间的两个不同的部分。以二维空间为例（2输入，单神经元），如图3.7所示(孙P130)。1.单层感知器网络（3）•单层感知器的学习算法问题描述：已知输入输出样本Xp和dp（p=1,2,…,P），这里Xp和dp表示第p组输入向量（n+1维，包括阈值输入项1）和希望的输出。问题是，如何设计感知器网络的连接权wi(i=1,2,…,n)和θ，以使该网络能实现正确的分类。即如何根据样本对连接权和阈值进行自学习和调整。（续）学习算法（对单个元，也适用于单层感知器，因各单元可独立计算）：（1）给定权初值wi(0)（较小的随机非零值，包括阈值w0=-θ，阈值并入权W中),学习次数k=0（2）输入一个样本Xp和dp，计算输出（f为符号函数）（3）修正权wi(k+1)=wi(k)+α(dp-yp)xpi，i=0,1,2,…,n

学习率0<α<=1,用于控制修正速度。（4）选另外一组样本，k增1，重复（2）~（4），直到wi(k+1)对一切样本均稳定不变（即dp=yp）为止。该算法收敛的充要条件：输入样本线性可分.2.多层感知器网络

输入层（第0层，n0个神经元）

+中间层

+输出层（第Q层，nQ个神经元）

其输入输出变换关系：每一层相当于一个单层感知器网络，如对q层，它形成一个nq-1维的超平面，对该层的输入模式进行线性分类。多层组合最终可实现较复杂的分类。

一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分为两类。先设计第一层的权，使分界线为L1和L2，对应L1，P2的输出为1，P1、P3、P4的输出为-1；对应L2，P1、P2、P3的输出为1，P4的输出为-1。再设计第二层的权，使分界线为L3，Q2的输出为1，Q1、Q3的输出为-1。从而将Q2(P1,P3)与Q1(P1),Q3(P4)区分开来。定理：假定隐层结点数可以根据需要自由设置，那么用三层的阈值网络可以实现任意的二值逻辑函数。（与、或、非、异或、析取、蕴含）与、或、非用二层（输入也算一层）即可实现。具有不同隐层数的感知器的分类能力对比训练：用P组样本对网络进行训练，训练好以后，对不是样本集中的输入，也能给出合适的输出。称为泛化（Generalization）功能。类似于插值。训练即调整连接权，其目标是使拟合误差的代价函数E最小.这是一个求最小值的问题，或优化问题。优化计算的方法很多。比较典型的是一阶梯度法，又称最速下降法。一阶梯度法寻优的关键是：计算优化目标函数(E)对寻优参数（wij）的一阶导数，然后按下式调整寻优参数：即按负梯度方向寻优。来自优化方法。为了提高收敛速度。(以下为向量式)1、引入动量项：同时考虑k时刻（当前）及k-1时刻的负梯度(方向)进行修正。所加入的动量项相当于阻尼项，减小了学习过程中的振荡趋势。3.2.3BP网络学习算法的改进2、变尺度法：采用二阶梯度法可改善收敛性：3、变步长法：修正步长在迭代过程中自适应调整。当连续两次迭代其[负]梯度方向相同时，表明下降较慢，步长可加倍；当梯度方向相反时，表明下降过大，步长可减半。当再引入动量项时，算法修改为：第1次到此3.2.4神经网络的训练训练步骤及有关问题：（1）产生数据样本集确定输入量个数，要求基本不相关；尺度变换(归1化)和预处理，特征提取；训练模式应是连接权总数的5~10倍；检验，三分之二用于训练，三分之一用于检验；数据分布应均匀，不重复，各类兼有。（2）确定网络的类型和结构从已有的网络类型中选择一种；选择网络的结构和参数。（3）训练和测试训练和测试应交替进行，防止“过度训练”；测试（检验）误差极小点对应的次数为恰当训练次数。（见孙p139图3.12)*网络性能的衡量标准：测试误差最小。*选择结点数的原则：选择尽量少的结点数以实现尽量好的泛化能力。3.3反馈神经网络3.3.1离散Hopfield网络Hopfield网：一种动态网络。主要用于联想记忆和优化计算。根据输出量是离散量还是连续量，H网分为离散和连续两种。网络的结构和工作方式层内联结——侧联结网络的结构和工作方式（续）对每一个结点，其工作方式为：其中wii=0(无自反馈)；f(•)通常取为二值函数（即符号函数或阶跃函数）。网络的状态初值就是输入。网络有两种工作方式：（1）异步（串行）方式：每次只有一个结点进行状态调整，其余不变。网络的结构和工作方式（续）（2）同步（并行）方式：所有结点同时进行状态调整。（续）其中W是由wij组成的n*n矩阵，f(s)是向量函数，它表示

f(s)=[f(s1),f(s2),…,f(sn)]T.该网络是动态的反馈网络，其输入是网络的状态初值

X(0)=[x1(0),x2(0),…,xn(0)]T，输出是网络的稳定状态2.稳定性和吸引子Hopfield网实质上是一个离散的非线性动力学系统。(稳定，不稳定)。

如果把问题的解编码为网络的吸引子，从初态向吸引子演变的过程便是求解计算的过程。若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息(或有噪声)的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想记忆的过程。

（1）稳定性定义3.1稳定点或吸引子：若状态X满足X=f(WX-θ),则称X为网络的稳定点或吸引子。定理3.1：对于离散Hopfield网络，若按异步方式调整状态，且连接权矩阵W为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。（证明:能量函数E(k)有下界,ΔE(k)<=0,见孙P142）能量函数——与状态X有关的标量函数，用于研究网络的稳定性。每种组合状态可看成某一物质体系的状态，物质在该状态下有相应的内能。如势能。定理3.2：对于离散Hopfield网络，若按同步