神经网络控制

1、神经网络控制神经网络控制人工神经元网络模型与控制 引言 前向神经网络模型 动态神经网络模型 神经网络神经网络pid控制控制 小结第一节 引言 模糊控制解决了人类语言的描述和推理问题，为模拟人脑的感知推理等智能行为迈了一大步。但是在数据处理、自学习能力方面还有很大的差距。 人工神经网络就是模拟人脑细胞的分布式工作特点和自组织功能实现并行处理、自学习和非线性映射等能力。1943年，心理学家mccmloch和数学家pitts合作提出里神经元数学模型（mp）；1944年，hebb提出的改变神经元连接强度的hebb规则；1957年，rosenblatt引进感知概念；1976年，grossberg基于生理

2、和心理学的经验，提出了自适应共振理论；1982年，美国加州工学院物理学家hopfield提出了hnn模型；1986年，rummelhart等pdf研究小组提出了多层前向传播网络的bp学习算法。研究神经元网络系统主要有三个方面的内容：神经元模型、神经网络结构、神经网络学习方法。从神经元模型来分有：线性处理单元、非线性处理单元；从网络结构来分有：前向网络、反馈网络和自组织网络。神经元网络的特点：1）非线性2）分布处理3）学习并行和自适应4）数据融合5）适用于多变量系统6）便于硬件实现人工神经网络前向网络反馈网络自组织网络cmacmlphopfieldrnnkohonenartboltzman ma

3、chine图4-1 神经网络结构分类示意图 人脑大约包含1012个神经元，分成约1000种类型，每个神经元大约与102104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单，但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式。同时，如此大量的神经元与外部感受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。 从生物控制论的观点来看，神经元作为控制和信息处理的基本单元，具有下列一些重要的功能与特性： 时空整合功能 兴奋与抑制状态 脉冲与电位转换 神经纤维传导速度 突触延时和不应期 学习、遗忘和疲劳 图4-2 神经元结构模型x1x2xnw

4、i1wi2winuiyisi神经元是生物神经系统的基本单元。神经元模型是生物神经元的抽象和模拟。神经元一般是多输入-三输出的非线性器件。图中 为神经元内部状态； 为阀值； 为输入信号，j=1，2，3,.n; 表示从单元 到单元 的连接系数， 为外部输入信号。iuiixijwjuiuis)34()()()24()() 14(iiiiiiijjijinethugynetfusxwnet图4-2 神经元结构模型x1x2xnwi1wi2winuiyisi假如， 即 ，常用的神经元非线性特性有四种：iiuug)()(iinetfy （1）、阀值型inet（2）、分段线性型iliiliiiiiinetne

5、tfnetnetnetknetnetnetnetfmax000)(inetilnet0inet（3）、sigmoid函数型tnetiienetf11)(inet0001)(iiinetnetnetf（4）、tan函数型tnettnettnettnetiiiiieeeenetf)(二、神经网络的模型分类（1）、神经元层次模型 研究由单个神经元的动态特性和自适应特性；（2）、组合式模型由几种互相补充、互相协作的神经元组成，完成特定的任务； （3）、网络层次模型由众多相同的神经元相互连接而成的网络，研究神经网络的整体性能；（4）、神经系统层次模型一般有多个神经网络构成，以模拟生物神经系统更复杂、更抽

6、象的特性。典型的神经网络有：bp网、hopfield网络、cmac小脑模型、art自适应共振理论、bam双向联想记忆、som自组织网络、blotzman机网络和madaline网络等等根据联结方式分：（1）、前向网络神经元分层排列，组成输入层、隐含层和输出层。每层只能够接受前一层神经元的输入。（2）、反馈网络在输入层到输出层存在反馈。（3）、相互结合型网络相互结合网络属于网络结构。任意两个神经元之间可能有连接。（4）、混合型网络层次形型网络和网状结构网络的一种结合。输入输出输入输出(a)(b)(c)(d)三、神经网络的学习算法学习的实质就是针对一组给定输入xp使网络产生相应的期望的输出的过程。

7、网络学习分两大类：1、有导师学习存在一个期望的网络输出。期望输出和实际输出之间的距离作为误差度量并用于调整权值。2、无导师学习没有直接的误差信息，需要建立一个间接的评价函数，以对网络的某种行为进行评价。学习规则根据连接权系数的改变方式分：（1）、相关学习根据连接之间的激活水平改变权系数。（2）、纠错学习依赖关于输出节点的外部反馈改变权系数。（3）、无导师学习学习表现为自动实现输入空间的检测和分类。第二节 前向神经网络模型 前向神经网络是由一层或者多层非线性处理单元组成的。相邻层之间通过突触权连接起来。由于前一层的输出作为下一层的输入，因此，称此类网络结构为前向神经网络。一、单一人工神经元)(x

8、1x1x2xn01w2wnwy图4-11 单一人工神经元示意图)()(1010njjjnjjjxwnetyxwnet1xnx1x2xnx1x2xnx11w12wnw11nw2nwnnwy图4-12 只含二次项的神经元结构示意图)()(11101110njnkkjjknjjjnjnkkjjknjjjxxwxwnetyxxwxwnet二、单层神经网络结构1x2xnx1y2yny图2-13 单层前向传播网络结构示意图jnjijijixwy1)(三、多层神经网络结构kx1kx2knixky1ky2kny01ijw2ijw(a)kx1kx2knix1ijwlijwky1ky2kny0(b)图4-14 多

9、层前向传播网络结构示意图(a)含一个隐含层前向传播网络结构示意图(b)含l+1个隐含层前向传播网络结构示意图00211, 3 , 2 , 1, 3 , 2 , 1njxwynjxwhjnjilijjhnijljlj)(1211211llllllllxwwwf四、多层传播网络学习算法前向传播网络实质上表示的是一种从输入空间输出空间的映射。)(xty 网络的训练实质上是对突触权阵的调整，以满足当输入为xp时其输出应为tp.对于一组给定的权系数，网络对当前输入xp的响应为：突触权系数的调整是通过对样本p=1，2，3，.,n的误差指标达到极小的方法来实现的。)(ppxty ),(pppytde 对于n

10、个样本集，性能指标为：npnipipinppytee1110)(对于具有n0个输出的单元网络，每一个期望输出矢量tp和实际的输出矢量yp之间的误差函数可以用平方差和来表示，即012)(21njpipipyte 一般说，前向神经网络是通过期望输出与实际输出之间的误差平方的极小来进行权阵的学习和训练。通常一个周期一个周期进行训练，一个周期对所有的样本集，完成后下一个周期对此样本集进行重复训练，直到性能指标e满足要求为止。对于多层前向传播网络kx1kx2knix1ijwlijwky1ky2kny0(b)图4-14 多层前向传播网络结构示意图(b)含l+1个隐含层前向传播网络结构示意图设输入模式xp，

11、则相应的隐含单元的输出为)(1111)1(jniipijipjxwo根据l层网络结构可知，网络输出为：0)1(1, 2 , 1)()(1njownetyljlpiniljlllpjlpjl第r+1个隐含层的输入是第r个隐含层的输出，所以：1, 2 , 1 , 0)(11)(11)1(lrowornlrjrplrjirrpj多层前向传播网络的权系数训练算法是利用著名的误差反向传播学系算法得到的bp算法012)(21njpipipyte因为：rjiprjiwewrjirpjrpjprjipwnetnetewekrpirpkrjkrjirjirpjoowwwnet)1()1(rpjprpjnete其

12、中定义为广义误差则)1( rpirpjrpjponete)1( rpirpjrpjponete要使e安梯度下降，就必须按下式进行权值的调整)1( rpirpjrjiow式中：上标变量表示第r个隐含层，r=1,2,l； 为第r-1层第i个单元到第r层的第j单元的连接系数； 为学习步长。rjiw因为若r=l为输出单元层，则：)()(lpjlpjpjlpjpjpjprpjplpjnetytnetyyenete)()()()(1111rpjrkrkjrpkkrpjrrpjrpkrpkprpjrpjrpjprpjnetwnetonetnetenetooe若 为输出单元层，则：lr bp学习算法步骤：给定

13、p组样本（x1,t1;x2,t2;,xp,tp)。其中xi为ni维输入矢量，t维n0维期望的输出矢量i=1,2,.,p。假如矢量y和0分别表示网络的输出层和隐含层的输出矢量。则训练过程为：1）、选 ， 作为最大容许误差，并将权系数 ，初始化成某小的随机权矩阵。0maxellwll，、21, 0, 1ep2）、训练开始，pppttxo,)0(计算出各隐含层神经元的激励输出；计算各输出层神经的激励输出：按按1, 2 , 1 , 0)(11)(11)1(lrowornlrjrplrjirrpj0)1(1, 2 , 1)()(1njownetyljlpiniljlllpjlpjl3）、计算误差02,

14、2 , 1,2/)(neytekk4）、按下式计算广义误差lpj按下式计算广义误差rpj)()(lpjlpjpjlpjpjpjprpjplpjnetytnetyyenete)()()()(1111rpjrkrkjrpkkrpjrrpjrpkrpkprpjrpjrpjprpjnetwnetonetnetenetooe5）、调整权阵系数rpjrjrpirpjrjiow )1(6）、。，否则转转若0072, 1,pppp7）、0max2, 1, 0,转结束，否则若peee实际上，对训练过程有较大影响的有：权系数的初值、学习方式、激励函数、学习速率等（1）、权系数的初值 权系数通常初始化成小的初始值，

15、尽可能覆盖整个权阵的空间域，避免出现初始阵系数相同的情况。（2）、学习方式 学习方式不同，训练的效果也不同（3）、激励函数 激励函数的选择对训练有较大的影响。（4）、学习速率 一般来说，学习速率越快，收敛越快，但容易产生震荡；学习速率越小，收敛越慢。bp学习算法本质上是属于一次收敛的学习算法。所以bp算法不可避免存在局部极小问题，且学习速度很慢，在极点附近出现震荡现象，而且不能够平滑趋于最优解。为了减小这种现象，一般采用平滑的权值更新公式，即：) 1(0)(1kwkwrjirpirpjrji例3-1 如图3-15所示的多层前向传播神经网络结构。假设对于期望的输入 。网络权系数的初始值见图，试用

16、bp算法训练此网络。这里神经元激励函数为 ，学习步长为ttttttxx05. 095. 0 ,31 2121xexf11)(1图3-15 神经网络结构图x1x211203-2-1o1o2110-21-23y1y2解：1）、输入最大容许逼近误差值 和最大迭代学习次数 设初始迭代学习次数 2）、计算当前输入状态下、当前网络的连接权系数下的神经网络输出。maxiteafe0iteafe110223)2(1211202122112112211102112111111xxwxwxwnetxxwxwxwnet731. 011111192. 0111112211211eeoeeonetnet6572. 13

17、)2(18808. 1201212202222122122212102212121121oowowownetoowowownet8399. 0111323. 011222121netneteyey3）、判断神经网络逼近误差要求或者迭代学习到最大容许值否？maxiterateiterateoryt若上述不等式中有一个满足,则退出学习.否则进入4)。4）、计算广义误差。 0938. 0)1 ()()()(1111211121yyytnetfyt1062. 0)1 ()()()(2222222222yyytnetfyt2811. 0)1 ()()1 (1122122211211121211oowwo

18、owkkk04176. 0)1 ()()1 (2222222212212222212oowwoowkkk5）连接权系数更新2811. 0111111xw8433. 0211112xw2811. 011110w04176. 0112121xw1253. 0212122xw04176. 012120w0112. 0121211ow0686. 0221212ow0938. 021210w01266. 0122221ow0776. 0222222ow1062. 022220w. 2 , 1; 2 , 1 , 0; 2 , 1)() 1(jilwiteratewiteratewljiljiljiiter

19、ate=iterate+1;继续迭代计算直至满足终止条件为止。例3-2 利用多层前向传播神经网络来逼近非线性函数)cos1 (5 . 0 xy解：xxyy从图中可以看到，增加隐含层的数目并不一定意味着能够改善逼近精度第三节 动态神经网络模型前向传播网络的特点：1、结构简单、易于编程；2、是一种静态非线性映射，不注重非线性动态性能的研究，缺乏丰富的动力学行为；反馈型神经网络：具有丰富的非线性动力学特性，如稳定性、极限环、奇异吸引子（混沌现象）反馈动力学神经网络系统具有以下特性：1、系统有若干稳定状态，如果从某一初始状态开始运动，系统总可以进入某一稳定状态。（将神经网络稳定状态当作记忆，实际上神经

20、网络由任一初始状态向稳态的演化过程，实质上寻找记忆的过程。稳定是神经网络的一个重要特性，能量函数是判断网络稳定性的基本概念。2、系统的稳定状态可以通过改变相连单元的权值而产生。网络稳定性？定义4-1 神经网络从任一初始状态 x(0)开始运动，若存在某一有限的时刻 ，从 以后神经网络的状态不再发生变化，即 ，则称网络稳定。处于稳定时刻的网络状态叫稳定状态，又称定点吸引子。stst0),()(ttxttxss神经动力学系统具有以下一些共性：（1）、非常大的自由度 仿真系统的神经元数限于 。人脑的神经细胞个数（2）、非线性非线性是神经东西学系统的主要特征。任何由现行单元组成的神经网络都可以退化成一个

21、等效的单层神经网络。（3）、消耗性消耗性指的是随时间的推移系统状态收敛于某一个流形域。（4）、节点方程微分方程或者差分方程，不是简单的非线性方程。5101110动态神经网络的类型：1、带时滞的多层感知器网络2、回归神经网络3、hopfield网络1、带时滞的多层感知器网络多层感知器网络抽头时滞环节x(k)x(k-1)x(k-n)x(k)y(k)图4-18 时滞的多层感知器网络2、回归神经网络多层感知器网络抽头时滞环节x(k) x(k-1)x(k-n)x(k)y(k)图4-19 带反馈的时滞的多层感知器网络抽头时滞环节y(k-m)y(k-2)y(k-1)1z1、将时间作为一维信号同时加入到神经网

22、络的输入端实现利用静态网络来逼近动态时滞的时间序列系统。)(,),1(),()(2nkxkxkxfky、)(,),2(),1(),(,),1(),()(mkykykynkxkxkxfky3、hopfield网络1982年和1984年hopfield发表了两篇著名的文章：1、neural network and physical systems with emergerent collective computation ability ;2、neurons with graded response have collective computation properties like thos

23、e of two state neurons。 第一次将能量函数引入到神经网络中，给出了稳定性的判据；利用模拟电子线路实现了提出的模型，成功用神经网络实现了4位a/d转换；用一组耦合的非线性微分方程来表示hopfield网络；hopfield网络在任何初始状态下都能够趋于稳定态；hopfield网络稳定态是由神经元的连接权数决定的；hopfield网络主要贡献在于成功实现了联想记忆和快速优化计算。我们主要讨论二值型hopfield网络1、二值型hopfield网络二值型hopfield网络又称离散型的hopfield网络(dhnn)只有一个神经元层次，每个处理单元有两个状态0、1或者-1、1，

24、即抑制和兴奋，而整个网络由单一神经元组成。图3-20 二值型hopfield网络结构123nny3y2y1y11w21w33w13wnw122w12w23wnnw)() 1()()(1knetfkykywknetiinjjijii二值型hopfield网络节点方程式：k表示时间变量； 表示外部输入； 表示神经元输出表示神经元内部状态； 表示阀值函数。iiyinet对于n个节点的离散hopfield网络有个可能的状态。节点更新包括三种情况： 、 或者状态保持 1001例4-3 假设一个3节点的离散hopfield神经网络，已知网络权值与阀值如图所示，计算状态转移关系。 v10.10.00.0v2

25、v3-已知网络权值初值，圈内为阀值，线上为连接系数解：设定初始状态为： ，可以依次选择节点v1、v2、v3，确定其节点兴奋的条件及状态的转移。假设首选节点v1，激励函数为：000321yyy01 . 01 . 00)2 . 0(0)5 . 0()0()0(1111njjjywnet可见，节点v1处于兴奋状态并且状态y1由0 1。网络状态由000 001，转移概率为1/3。000)6 . 0(0)5 . 0()0()0(1222njjjywnet同理可得：000)6 . 0(0)2 . 0()0()0(1333njjjywnet可见节点v1、v2的状态保持不变。因此，由状态00

26、0不会转变到001和010。同理，可以计算出其他的状态之间的转移关系，见下图所示。-0.6110001000100101111011010-0.4-0.3-0.10.00.00.40.0易知，hopfield神经网络的神经元状态要么在同一“高度”上变化，要么从上向下转移（能量从达到小的变化）必然规律。由图可知，系统状态011是一个网络的稳定状态；任意初始状态经过几次的状态更新后将到达此稳态。能量函数：ninijjiijijttyywywyye11)(2121则hopfield神经网络中的状态变化导致能量函数e的下降，并且能量函数的极小值点与网络稳定状态由这紧密的关系。定理4-1 离散hopfi

27、eld 神经网络的稳定状态与能量函数e在状态空间的局部极小状态是一一对应的。 第四节第四节 神经网络神经网络pid控制控制 尽管神经网络控制技术有许多潜在的优势，但单纯使用神经网络的控制方法的研究仍有待进一步发展。通常将人工神经网络技术与传统的控制理论或智能技术综合使用。神经网络在控制中的作用有以下几种： 1在传统的控制系统中用以动态系统建模，充当对象模型； 2在反馈控制系统中直接充当控制器的作用； 3在传统控制系统中起优化计算作用； 4与其他智能控制方法如模糊逻辑、遗传算法、专家控制等相融合。 3.4.1 基于bp神经网络控制参数自学习pid控制 bp神经网络具有逼近任意非线性函数的能力，而

28、且结构和学习算法简单明确。通过神经网络自身的学习，可以找到某一最优控制律下的p，i，d参数。基于bp神经网络的pd控制系统结构如图所示，控制器由两个部分组成：经典的pid控制器：直接对被控对象进行闭环控制，并且kp,ki,kd三个参数为在线整定；神经网络nn：根据系统的运行状态，调节pid控制器的参数，以期达到某种性能指标的最优化。即使输出层神经元的输出状态对应于pid控制器的三个可调参数kp,ki,kd，通过神经网络的自学习、调整权系数，从而使其稳定状态对应于某种最优控制律下的pid控制器参数。 基于bp神经网络的pid控制算法可归纳如下： 1). 事先选定bp神经网络nn的结构，即选定输入

29、层节点数m和隐含层节点数q，并给出权系数的初值w(2)ij(0), w(3)li(0)，选定学习速率和平滑因子，k=1； 2). 采样得到r(k)和y(k)，计算e(k)=z(k)=r(k)-y(k)； 3). 对r(i),y(i),u(i-1),e(i)进行归一化处理，作为nn的输入； 4). 前向计算nn的各层神经元的输入和输出，nn输出层的输出即为pid控制器的三个可调参数kp(k),ki(k),kd(k)； 5). 计算pid控制器的控制输出u(k)，参与控制和计算； 6). 计算修正输出层的权系数w(3)li(k)； 7). 计算修正隐含层的权系数w(2)ij(k)； 8). 置k=

30、k+1，返回到“2）”。 3.4.2 改进型bp神经网络控制参数自学习pid控制 将神经网络用于控制器的设计或直接学习计算控制器的输出（控制量），一般都要用到系统的预测输出值或其变化量来计算权系数的修正量。但实际上，系统的预测输出值是不易直接测得的，通常的做法是建立被控对象的预测数学模型，用该模型所计算的预测输出来取代预测处的实测值，以提高控制效果。1采用线性预测模型的bp神经网络pid控制器 采用线性预测模型的采用线性预测模型的bp神经网络神经网络pid控制系统算法归纳如下控制系统算法归纳如下： 1). 事先选定bp神经网络nn的结构，即选定输入层节点数m和隐含层节点数q，并给出权系数的初值

31、w(2)ij(0), w(3)li(0)，选定学习速率和平滑因子，k=1； 2). 用线性系统辨识法估计出参数矢量(k)，从而形成一步预报模型式； 3). 采样得到r(k)和y(k)，计算e(k)=z(k)=r(k)-y(k)； 4). 对r(i),y(i),u(i-1),e(i)进行归一化处理，作为nn的输入； 5). 前向计算nn的各层神经元的输入和输出，nn输出层的输出即为pid控制器的三个可调参数kp(k),ki(k),kd(k)； 6). 计算pid控制器的控制输出u(k)，参与控制和计算； 7).计算 和 ； 8). 计算修正输出层的权系数w(3)li(k)； 9). 计算修正隐含

32、层的权系数w(2)ij(k)； 10). 置k=k+1，返回到“2）”。 ) 1( ky)(/ ) 1(kuky2采用非线性预测模型的bp神经网络pid控制器基于bp神经网络的pid控制算法可归纳如下： 1). 事先选定bp神经网络nn的结构，即选定输入层节点数m和隐含层节点数q，并给出权系数的初值w(2)ij(0), w(3)li(0)，选定学习速率和平滑因子，k=1； 2). 采样得到r(k)和y(k)，计算e(k)=z(k)=r(k)-y(k)； 3). 对r(i),y(i),u(i-1),e(i)进行归一化处理，作为nn的输入； 4). 前向计算nn的各层神经元的输入和输出，nn输出层

33、的输出即为pid控制器的三个可调参数kp(k),ki(k),kd(k)； 5). 计算pid控制器的控制输出u(k)，参与控制和计算； 6).前向计算nnm的各层神经元的输入和输出，nnm的输出为 ，计算修正隐含层和输出层的权系数； 7).计算 ； 8). 计算修正输出层的权系数w(3)li(k)； 9). 计算修正隐含层的权系数w(2)ij(k)； 10). 置k=k+1，返回到“2）”。) 1( ky)(/ ) 1(kuky单神经元自适应控制系统结构学习算法)2()1(2)()()1()()()()()()1()()()()()1()()()()()1()()(/)()()()1()(23

34、213332221113131kekekekexkekexkexkxkukzkwkwkxkukzkwkwkxkukzkwkwkwkwwkxkwkkukudpiiiiiiii式中，系统对象：仿真示例)2(632. 0) 1(1 . 0)2(26. 0) 1(368. 0)(kukukykyky系统输入：)4sgn(sin(5 .0)(tkrinmatlab程序%single neural adaptive controllerclear all;close all;x=0,0,0;xitep=0.40;xitei=0.35;xited=0.40;%initilizing kp,ki and kd

35、wkp_1=0.10; wki_1=0.10; wkd_1=0.10; %wkp_1=rand; %wki_1=rand; %wkd_1=rand;error_1=0; error_2=0; y_1=0;y_2=0;y_3=0;u_1=0;u_2=0;u_3=0;ts=0.001;for k=1:1:1000 time(k)=k*ts; rin(k)=0.5*sign(sin(2*2*pi*k*ts); yout(k)=0.368*y_1+0.26*y_2+0.1*u_1+0.632*u_2; error(k)=rin(k)-yout(k);%adjusting weight value by

36、 hebb learning algorithmm=4;if m=1 %no supervised heb learning algorithm wkp(k)=wkp_1+xitep*u_1*x(1); %p wki(k)=wki_1+xitei*u_1*x(2); %i wkd(k)=wkd_1+xited*u_1*x(3); %d k=0.06; elseif m=2 %supervised delta learning algorithm wkp(k)=wkp_1+xitep*error(k)*u_1; %p wki(k)=wki_1+xitei*error(k)*u_1; %i wkd

37、(k)=wkd_1+xited*error(k)*u_1; %dk=0.12; elseif m=3 %supervised heb learning algorithm wkp(k)=wkp_1+xitep*error(k)*u_1*x(1); %p wki(k)=wki_1+xitei*error(k)*u_1*x(2); %i wkd(k)=wkd_1+xited*error(k)*u_1*x(3); %d k=0.12; elseif m=4 %improved heb learning algorithm wkp(k)=wkp_1+xitep*error(k)*u_1*(2*erro

38、r(k)-error_1); wki(k)=wki_1+xitei*error(k)*u_1*(2*error(k)-error_1); wkd(k)=wkd_1+xited*error(k)*u_1*(2*error(k)-error_1); k=0.12; endx(1)=error(k)-error_1; %p x(2)=error(k); %i x(3)=error(k)-2*error_1+error_2; %d wadd(k)=abs(wkp(k)+abs(wki(k)+abs(wkd(k); w11(k)=wkp(k)/wadd(k); w22(k)=wki(k)/wadd(k); w33(k)=wkd(k)/wadd(k); w=w11(k),w22(k),w33(k);u(k)=u_1+k*w*x; %control lawif u(k)10 u(k)=10; endif u(k)-10 u(k)=-10;end