第三章神经网络控制及应用(常用网络与算法).ppt

1、1,3.1.4多层感知器与BP算法,3.1.4.1 感知器,(1)感知器模型,2,j=1,2,m,3.1.4多层感知器与BP算法,3.1.4.1 感知器,(1)感知器模型,3,净输入：,输出：,3.1.4多层感知器与BP算法,3.1.4.1 感知器,(1)感知器模型,4,设输入向量X=(x1 ,x2)T,输出：,则由方程 w1jx1+w2jx2-Tj=0 确定了二维平面上的一条分界线。,(2)感知器的功能,3.1.4多层感知器与BP算法,3.1.4.1 感知器,5,(2)感知器的功能,w1jx1+w2jx2-Tj=0,3.1.4多层感知器与BP算法,3.1.4.1 感知器,6,设输入向量X=(

2、x1, x2, x3)T,输出：,则由方程 w1jx1+w2jx2+w3j x3Tj=0 确定了三维空间上的一个分界平面。,(2)感知器的功能,3.1.4多层感知器与BP算法,3.1.4.1 感知器,7,(2)感知器的功能,w1jx1+w2jx2+w3j Tj=0,3.1.4多层感知器与BP算法,3.1.4.1 感知器,8,设输入向量X=(x1，x2,，xn)T,则由方程 w1jx1+w2jx2+wnjxn Tj=0 确定了n维空间上的一个分界平面。,(2)感知器的功能,3.1.4多层感知器与BP算法,3.1.4.1 感知器,9,一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识

3、存储于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分为两类。,(2)感知器的功能,3.1.4多层感知器与BP算法,3.1.4.1 感知器,10,问题：能否用感知器实现“异或”功能？,“异或”的真值表,x1x2y 000 011 101 110,(3)感知器的局限性,3.1.4多层感知器与BP算法,3.1.4.1 感知器,11,(4)多层感知器,双层感知器,“异或”问题分类,用两计算层感知器解决“异或”问题。,3.1.4多层感知器与BP算法,3.1.4.1 感知器,12,具有不同隐层数的感知器的分类能力对比,3.1.4多层感知器与BP算法,3.1.4.1 感知器,13,(

4、1) 基于BP算法的多层前馈网络模型,3.1.4.3 多层感知器与BP算法,14,输入向量： X=(x1,x2,xi,xn)T 隐层输出向量： Y=(y1,y2,yj,ym)T 输出层输出向量： O=(o1,o2,ok,ol)T 期望输出向量：d=(d1, d2,dk,dl)T 输入层到隐层之间的权值矩阵：V=(V1,V2,Vj,Vm) 隐层到输出层之间的权值矩阵用：W=(W1,W2,Wk,Wl),(1)基于BP算法的多层前馈网络模型,3.1.4.3 多层感知器与BP算法,15,(1)基于BP算法的多层前馈网络模型,3.1.4.3 多层感知器与BP算法,16,(1)基于BP算法的多层前馈网络模

5、型,3.1.4.3 多层感知器与BP算法,17,将以上误差定义式展开至隐层：,(3-21),(2) BP学习算法的权值调整思路,3.1.4.3 多层感知器与BP算法,18,进一步展开至输入层：,(3-22),(2) BP学习算法的权值调整思路,3.1.4.3 多层感知器与BP算法,19,权值调整思路；,j=0,1,2,m; k=1,2,l (3-23a),i=0,1,2,n; j=1,2,m (3-23b),式中负号表示梯度下降，常数(0,1)表示比例系数。,在全部推导过程中，对输出层有j=0,1,2,m; k=1,2,l 对隐层有 i=0,1,2,n; j=1,2,m,(2) BP学习算法的

6、权值调整思路,3.1.4.3 多层感知器与BP算法,20,对于输出层，式(3-23a)可写为,(3-24a),(3) BP学习算法推导,3.1.4.3 多层感知器与BP算法,21,综合应用式(3-15)和(3-25a)，可将式 (3-24a)的权值调整式改写为,综合应用式(3-15)和(3-25b)，可将式 (3-24b)的权值调整式改写为,(3-26a),（3-26b),可以看出，只要计算出式(3-26)中的误差信号o和y，权值调整量的计算推导即可完成。下面继续推导如何求误差信号o和y 。,22,对于输出层， o可展开为,对于隐层， y可展开为,下面求式(3-27)中网络误差对各层输出的偏导

7、。,(3-27a),（3-27b),23,对于输出层，利用式(3-20)：,对于隐层，利用式(3-21)：,24,将以上结果代入式(3-27)，并应用式(3-19)：,（3-29a),得到：,（3-29b),至此两个误差信号的推导已完成。,25,三层前馈网的BP学习算法权值调整计算公式为：,(3) BP学习算法推导,3.1.4.3 多层感知器与BP算法,26,27,(4) BP算法的程序实现,1)初始化；,4)计算各层误差信号；,5)调整各层权值；,6)检查是否对所有样本完成一次 轮训；,7)检查网络总误差是否达到精 度要求。,2)输入训练样本对X Xp、d dp 计算各层输出；,3)计算网络

8、输出误差；,28,(4) BP算法的程序实现,然后根据总误差计算各层的误差信号并调整权值。,另一种方法是在所有样本输入之后，计算网络的总误差：,29,(5)标准BP算法的改进,标准的BP算法在应用中暴露出不少内在的缺陷：, 易形成局部极小而得不到全局最优； 训练次数多使得学习效率低，收敛速度慢； 隐节点的选取缺乏理论指导； 训练时学习新样本有遗忘旧样本的趋势。,针对上述问题，国内外已提出不少有效的改进算法，下面仅介绍其中3种较常用的方法。,3.1.4.3 多层感知器与BP算法,30,1) 增加动量项,为动量系数，一般有(0，1),2) 自适应调节学习率,设一初始学习率，若经过一批次权值调整后使

9、总误差，则本次调整无效，且=(1 )。,(5)标准BP算法的改进,3.1.4.3 多层感知器与BP算法,31,3) 引入陡度因子,实现这一思路的具体作法是，在原转移函数中引入一个陡度因子,(5)标准BP算法的改进,3.1.4.3 多层感知器与BP算法,32,BP网络曲线拟合仿真实例 对一组输入输出数据，完成y=f(x)的曲线拟合。,33,clear all p=-1:0.1:0.9; t=-0.832 -0.423 -0.024 0.344 1.282 3.456 4.02 3.232 2.102 1.504 0.248 1.242 2.344 3.262 2.052 1.684 1.022

10、2.224 3.022 1.984; net=newff(-1,1,15,1,tansig purelin,traingdx,learngdm); net.trainParam.epochs=2500; net.trainParam.goal=0.001; net.trainParam.show=10; net.trainParam.lr=0.05; net=train(net,p,t); save mynet net; hold on figure(1); r=sim(net,p); plot(p,t,*,p,r,+); hold off,34,BP网络逼近仿真实例 使用BP网络逼近对象：,

11、35,clear all; close all; xite=0.50; alfa=0.05; w2=rands(6,1); w2_1=w2;w2_2=w2_1; w1=rands(2,6); w1_1=w1;w1_2=w1; dw1=0*w1; x=0,0; u_1=0; y_1=0; I=0,0,0,0,0,0; Iout=0,0,0,0,0,0; FI=0,0,0,0,0,0; ts=0.001; for k=1:1:1000 time(k)=k*ts; u(k)=0.50*sin(3*2*pi*k*ts); y(k)=u_13+y_1/(1+y_12); for j=1:1:6 I(j)

12、=x*w1(:,j); Iout(j)=1/(1+exp(-I(j); end,36,yn(k)=w2*Iout; % Output of NNI networks e(k)=y(k)-yn(k); % Error calculation w2=w2_1+(xite*e(k)*Iout+alfa*(w2_1-w2_2); for j=1:1:6 FI(j)=exp(-I(j)/(1+exp(-I(j)2; end for i=1:1:2 for j=1:1:6 dw1(i,j)=e(k)*xite*FI(j)*w2(j)*x(i); end end w1=w1_1+dw1+alfa*(w1_1

13、-w1_2); %Jacobian% yu=0; for j=1:1:6 yu=yu+w2(j)*w1(1,j)*FI(j); end dyu(k)=yu; x(1)=u(k); x(2)=y(k);,37,w1_2=w1_1;w1_1=w1; w2_2=w2_1;w2_1=w2; u_1=u(k); y_1=y(k); end figure(1); plot(time,y,r,time,yn,b); xlabel(times);ylabel(y and yn); figure(2); plot(time,y-yn,r); xlabel(times);ylabel(error); figure

14、(3); plot(time,dyu); xlabel(times);ylabel(dyu);,38,3.1.5 径向基函数网络,3.1.5.1 径向基函数RBF,20世纪80年代后期，Powell在解决“多变量有限点严格(精确)插值问题”时引入了径向基函数技术。采用径向基函数技术解决插值问题的方法是，选择P个基函数，每一个基函数对应一个训练数据，各基函数的形式为, p=1, 2, , P (3-36),式中基函数为非线性函数，训练数据点Xp是的中心。基函数以输入空间的点X与中心Xp的距离作为函数的自变量。,39,3.1.5 径向基函数网络,3.1.5.1 径向基函数RBF,常用基函数曲线,1

15、.Gauss函数,2.Reflected sigmoidal函数,3.Inverse multiquadrics 函数,40,3.1.5 径向基函数网络,3.1.5.1 径向基函数RBF,设N维空间有P个输入向量，p=1, 2, , P，它们在输出空间相应的目标值为 ，p=1, 2, , P，P对输入-输出样本构成了训练样本集。 寻找一个非线性映射函数F(X)，使其满足下述插值条件 F(Xp)=d p， p=1, 2, , P (3-35) 式中，函数F描述了一个插值曲面。,基于径向基函数技术的插值函数定义为基函数的线性组合 (3.40),41,3.1.5 径向基函数网络,3.1.5.2 正则

16、化RBF网络,42,3.1.5 径向基函数网络,3.1.5.2 正则化RBF网络,正则化RBF网络具有以下3个特点： 正则化网络是一种通用逼近器，只有要足够的隐节点，它可以以任意精度逼近紧集上的任意多元连续函数。 具有最佳逼近特性，即任给一个未知的非线性函数f，总可以找到一组权值使得正则化网络对于f的逼近由于所有其他可能的选择。 正则化网络得到的解是最佳的，所谓“最佳”体现在同时满足对样本的逼近误差和逼近曲线的平滑性。,43,3.1.5 径向基函数网络,3.1.5.2 正则化RBF网络,正则化RBP网络的隐节点数即样本数，基函数的数据中心即为样本本身，只需考虑扩展常数和输出节点的权值。 径向基

17、函数的扩展常数可根据数据中心的散布而确定，为了避免每个径向基函数太尖或太平，一种选择方法是将所有径向基函数的扩展常数设为,(3-37),样本之间的最大距离,样本的数目,44,3.1.5 径向基函数网络,3.1.5.2 正则化RBF网络,输出层的权值常采用最小均方算法(LMS) ，权值调整公式为,或,j=0,1,P；k=1,2,l (3-38b),(3-38a),45,3.1.5 径向基函数网络,3.1.5.2 正则化RBF网络,对于单输出RBF网络，更简捷的方法是用求逆法直接计算。,(3-41),(3-42),式中 称为插值矩阵。令 ，i=1, 2, , P，p=1, 2, , P。若 为可逆

18、矩阵，就可以从式(3.41)中解出权值向量W，即,46,3.1.5 径向基函数网络,3.1.5.3 广义RBF网络,47,3.1.5 径向基函数网络,广义RBF网络有以下几个特点： 径向基函数的个数M与样本的个数P不相等，且M常常远小于P。 径向基函数的中心不再限制在数据点上，而是由训练算法确定。 各径向基函数的扩展常数不再统一，其值由训练算法确定。 输出函数的线性中包含阈值参数，用于补偿基函数在样本集上的平均值与目标值之平均值之间的差别。,3.1.5.3 广义RBF网络,48,3.1.5 径向基函数网络,广义RBP网络的设计包括结构设计和参数设计： 结构设计主要解决如何确定网络隐节点数的问题

19、。 参数设计包括3种参数 各基函数的数据中心设计 扩展常数设计 输出节点的权值设计,3.1.5.3 广义RBF网络,49,3.1.5 径向基函数网络,根据数据中心的取值方法，广义RBF网的设计方法可分为两类。 第一类方法：数据中心从样本输入中选取。径向基函数的扩展常数根据数据中心的散布而确定，一种选择方法是将所有径向基函数的扩展常数设为,(3-43),数据中心之间的最大距离,数据中心的数目,3.1.5.3 广义RBF网络,50,3.1.5 径向基函数网络,第二类方法：数据中心的自组织选择。常采用各种动态聚类算法对数据中心进行自组织选择，在学习过程中需对数据中心的位置进行动态调节。 广义RBF网

20、络数据中心的聚类算法 算法由两个阶段混合组成： 第一阶段常采用K-means聚类算法，其任务是用自组织聚类方法为隐层节点的径向基函数确定合适的数据中心，并根据各中心之间的距离确定隐节点的扩展常数。 第二阶段为监督学习阶段，一般采用梯度法进行训练，其任务是用有监督学习算法训练输出层权值。,3.1.5.3 广义RBF网络,51,3.1.5 径向基函数网络,第一阶段K-means聚类算法确定数据中心： 初始化。随机选择M个互不相同向量作为初始聚类中心：,计算输入空间各样本点与聚类中心点的欧式距离,相似匹配。令 代表竞争获胜隐节点的下标，对每一个输入样本 根据其与聚类中心的最小欧式距离确定其归类,(3

21、-44),从而将全部样本划分为以聚类中心为典型代表的M个子集：,3.1.5.3 广义RBF网络,52,3.1.5 径向基函数网络,更新各类的聚类中心。,将k值加1，转到第步。重复上述过程直到的改变量小于要求的值。,方法一：,方法二：,(3-45),(3-46),令 ，则扩展常数取,(3-47),3.1.5.3 广义RBF网络,53,3.1.5 径向基函数网络,第二阶段采用梯度法训练输出层权值；,将k值加1，转到第步。重复上述过程直到的改变量小于要求的值。,方法一：,方法二：,(3-45),(3-46),令 ，则扩展常数取,(3-47),3.1.5.3 广义RBF网络,54,3.1.5 径向基函

22、数网络,2. 广义RBF网络数据中心的监督学习算法,3.1.5.3 广义RBF网络,定义目标函数为,(3-51),式中P为训练样本数， 为输入第i个样本时的误差信号，定义为,(3-52),式中的输出函数中忽略了阈值。,55,3.1.5 径向基函数网络,2. 广义RBF网络数据中心的监督学习算法,3.1.5.3 广义RBF网络,为使目标函数最小化，各参数的修正量应与其负梯度成正比，即,56,3.1.6 反馈神经网络,Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopf

23、ield Neural Network)，本节重点讨论前一种类型。,根据神经网络运行过程中的信息流向，可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。,美国加州理工学院物理学家J.J.Hopfield教授于1982年提出一种单层反馈神经网络，后来人们将这种反馈网络称作Hopfield 网。,57,离散型反馈网络的拓扑结构,3.1.6.1离散型Hopfield神经网络,58,DHNN网中的每个神经元都有相同的功能，其输出称为状态，用 xj 表示。,j=1,2,n,所有神经元状态的集合就构成反馈网络的状态 X=x1,x2,xnT,反馈网络的输入

24、就是网络的状态初始值，表示为 X(0)=x1(0),x2(0),xn(0)T,反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为,3.1.6.1离散型Hopfield神经网络,59,j=1,2,n (3-64),DHNN网的转移函数常采用符号函数,式中净输入为,j=1,2,n (3-65),对于DHNN网，一般有wii=0 ，wij=wji。,反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出，表示为,60,1.网络的异步工作方式 (1) 异步工作方式,(3-66),(2) 同步工作方式,j=1,2,n (3-67),网络运行时每次只有一个神经元 j 进行状态的调整计算，其它神