神经网络与神经网络控制

1、推荐课后阅读资料 nSimon Haykin.神经网络的综合基础神经网络的综合基础(第第 2版版). 清华大学出版社清华大学出版社,2001 nMartin T.Hagan.神经网络设计神经网络设计.机械工机械工 业出版社业出版社,2002 2 5.1 概述概述 5.1.1 生物神经元模型生物神经元模型 5.1.2 人工神经元模型人工神经元模型 5.1.3 人工神经网络模型人工神经网络模型 5.1.4 神经网络的学习方法神经网络的学习方法 3 5.1.1 生物神经元模型 人脑大约包含1012个神经元，分成约1000 种类型，每个神经元大约与102104个其他神 经元相连接，形成极为错综复杂而又

2、灵活多变 的神经网络。每个神经元虽然都十分简单，但 是如此大量的神经元之间、如此复杂的连接却 可以演化出丰富多彩的行为方式。同时，如此 大量的神经元与外部之间的多种多样的连接方 式也蕴含了变化莫测的反应方式。 5 6 从生物控制论的观点来看，神经元作为控 制和信息处理的基本单元，具有下列一些重要 的功能与特性： n时空整合功能 n兴奋与抑制状态 n脉冲与电位转换 n神经纤维传导速度 n突触延时和不应期 n学习、遗忘和疲劳 5.1.1 生物神经元模型 8 5.1.2 人工神经元模型 n人工神经元是对生物神经元的一种模拟与简 化。它是神经网络的基本处理单元。如图所 示为一种简化的人工神经元结构。它

3、是一个 多输入、单输出的非线性元件。 9 i 10 n其输入、输出关系可描述为 n其中， 是从其他神经元传来的 输入信号； 表示从神经元j 到神经元i 的连接权值； 为阈值； 称为激发函 数或作用函数。 n j ijiji xwI 1 )( ii Ify ), 2 , 1(njxj ij w i )(f 5.1.2 人工神经元模型 11 激发函数 又称为变换函数，它决定神经 元（节点）的输出。该输出取决于其输入之和大 于或小于内部阈值 。函数 一般具有非线性特 性。下图表示了几种常见的激发函数。 1. 阈值型函数（见图（a），（b） 2. 饱和型函数（见图（c） 3. 双曲函数（见图（d） 4

4、. S型函数（见（e） 5. 高斯函数（见图（f） )(f i )(f 5.1.2 人工神经元模型 12 神经元处理活性的理想模式 14 5.1.3 人工神经网络模型 n人工神经网络是以工程技术手段来模拟人脑 神经元网络的结构与特征的系统。利用人工 神经元可以构成各种不同拓扑结构的神经网 络，它是生物神经网络的一种模拟和近似。 就神经网络的主要连接型式而言，目前已有 数十种不同的神经网络模型，其中前馈型网 络和反馈型网络是两种典型的结构模型。 15 (1). 前馈型神经网络 n前馈型神经网络，又称前向网络（Feed forward NN）。如图所示，神经元分层排列 ，有输入层、隐层（亦称中间层

5、，可有若干 层）和输出层，每一层的神经元只接受前一 层神经元的输入。 16 从学习的观点来看，前馈网络是一种强 有力的学习系统，其结构简单而易于编程； 从系统的观点看，前馈网络是一静态非线性 映射，通过简单非线性处理单元的复合映射， 可获得复杂的非线性处理能力。但从计算的 观点看，缺乏丰富的动力学行为。大部分前 馈网络都是学习网络，它们的分类能力和模 式识别能力一般都强于反馈网络，典型的前 馈网络有感知器网络、BP 网络等。 (1). 前馈型神经网络 17 18 (2). 反馈型神经网络 n反馈型神经网络（Feedback NN）的结构如 图所示。如果总节点（神经元）数为N，那 么每个节点有N

6、个输入和一个输出，也就是 说，所有节点都是一样的，它们之间都可相 互连接。 19 反馈神经网络是一种反馈动力学系统，它 需要工作一段时间才能达到稳定。Hopfield神 经网络是反馈网络中最简单且应用广泛的模 型，它具有联想记忆（Content一Addressible Memory，CAM）的功能，同时Hopfield神经 网络还可以用来解决快速寻优问题。 (2). 反馈型神经网络 20 21 5.1.4 神经网络的学习方法 n学习方法是体现人工神经网络智能特性的主要 标志，离开了学习算法，人工神经网络就失去 了自适应、自组织和自学习的能力。目前神经 网络的学习方法有多种，按有无教师来分类，

7、可分为有教师学习（Supervised Learning）、 无教师学习（Unsupervised Learning）和再励 学习（Reinforcement Learning）等几大类。 在有教师的学习方式中，网络的输出和期 望的输出（即教师信号）进行比较，然后根据 两者之间的差异调整网络的权值，最终使差异 变小。在无教师的学习方式中，输入模式进入 网络后，网络按照一预先设定的规则（如竞争 规则）自动调整权值，使网络最终具有模式分 类等功能。再励学习是介于上述两者之间的一 种学习方式。 5.1.4 神经网络的学习方法 22 23 神经网络中常用的几种基本学习方法 (1). Hebb学习规则

8、n两个神经元同时处于激发状态时，它们之间 的连接强度将得到加强，这一论述的数学描 述被称为Hebb学习规则。 nHebb学习规则是一种无教师的学习方法，它 只根据神经元连接间的激活水平改变权值， 因此这种方法又称为相关学习或并联学习。 24 (2)Delta（）学习规则 n规则可以误差函数达到最小值。但学习规则 只适用于线性可分函数，无法用于多层网络。 BP网络学习算法称为BP算法，是在规则基础 上发展起来的，可在多网络上有效地学习。 神经网络中常用的几种基本学习方法 25 (3)竞争式学习 n竞争式学习属于无教师学习方式。此种学习方式 利用不同层间的神经元发生兴奋性联接，以及同 一层内距离很

9、近的神经元间发生同样的兴奋性联 接，而距离较远的神经元产生抑制性联接。在这 种联接机制中引入竞争机制的学习方式称为竞争 式学习。它的本质在于神经网络中高层次的神经 元对低层次神经元的输入模式进行竞争识别。 神经网络中常用的几种基本学习方法 26 5.2 前向神经网络前向神经网络 5.2.1 感知器网络 n感知器是一个具有单层神经元的神经网络， 并由线性阈值元件组成，是最简单的前向网 络。它主要用于模式分类，单层的感知器网 络结构如下图所示。 27 28 感知器的一种学习算法： n随机地给定一组连接权； n输入一组样本和期望的输出（亦称之为教师 信号）； n计算感知器实际输出； n修正权值； n

10、选取另外一组样本，重复上述2）4）的过 程，直到权值对一切样本均稳定不变为止， 学习过程结束。 单层感知器-与运算 y=f(v) 2 1 ii i uw x f(v) x1 b x2 w1 w2 2 1 ii i vw xb x1x2d 000 010 100 111 逻辑逻辑“与与”真值表真值表 1 1 =10.1+10.1=0.2 = -0.4 y=0 b= -0.6 =0.1 =0.1 111 ()0.7wwdyx 误差误差e=d-y=1 设学习率设学习率 为为0.6 29 30 5.2.2 BP网络 n误差反向传播神经网络，简称BP网络（Back Propagation），是一种单向传

11、播的多层前向 网络。在模式识别、图像处理、系统辨识、 函数拟合、优化计算、最优预测和自适应控 制等领域有着较为广泛的应用。如图是BP网 络的示意图。 5.2 前向神经网络前向神经网络 31 32 n误差反向传播的BP算法简称BP算法，其基 本思想是最小二乘算法。它采用梯度搜索技 术，以期使网络的实际输出值与期望输出值 的误差均方值为最小。 5.2 前向神经网络前向神经网络 BP算法的学习过程由正向传播和反向传播组 成。在正向传播过程中，输入信息从输入层经隐 含层逐层处理，并传向输出层，每层神经元（节 点）的状态只影响下一层神经元的状态。如果在 输出层不能得到期望的输出，则转入反向传播， 将误差

12、信号沿原来的连接通路返回，通过修改各 层神经元的权值，使输出误差信号最小。 5.2 前向神经网络前向神经网络 33 n激活函数 n必须处处可导 n一般都使用S型函数 n使用S型激发函数时BP网络输入与输出关系 n输入 n输出 1122 . nn netx wx wx w 1 f() 1e net ynet 5.2 前向神经网络前向神经网络 34 n输出的导数 2 11 f ()(1) 1e(1e) -netnet netyy 根据根据S S型激活函数的图形可知型激活函数的图形可知, ,对神经网络进行训练，应该将对神经网络进行训练，应该将netnet的值尽的值尽 量控制在收敛比较快的范围内量控制

13、在收敛比较快的范围内 5.2 前向神经网络前向神经网络 35 BP网络的标准学习算法 n学习的过程： n神经网络在外界输入样本的刺激下不断改变网 络的连接权值,以使网络的输出不断地接近期 望的输出。 n学习的本质： n对各连接权值的动态调整 n学习规则： n权值调整规则，即在学习过程中网络中各神经 元的连接权变化所依据的一定的调整规则。 36 n学习的类型：有导师学习 n核心思想： n将输出误差以某种形式以某种形式通过隐层向输入层逐层反传 n学习的过程： n信号的正向传播 误差的反向传播 将误差分摊给各层的所有将误差分摊给各层的所有 单元各层单元的误单元各层单元的误 差信号差信号 修正各单元权

14、修正各单元权 值值 BP网络的标准学习算法 37 BP网络的标准学习算法-学习过程 n正向传播： n输入样本输入层各隐层输出层 n判断是否转入反向传播阶段： n若输出层的实际输出与期望的输出（教师信号）不 符 n误差反传 n误差以某种形式在各层表示修正各层单元的权 值 n网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止 38 BP网络的标准学习算法 n输入层有n个神经元，隐含层有p个神经元, 输出层有q个神经元 n变量定义 n输入向量; n隐含层输入向量； n隐含层输出向量; n输出层输入向量; n输出层输出向量; n期望输出向量; 12 , n xxxx 12 , p hi h

15、ihihi 12 , p ho hohoho 12 , q yiyiyiyi 12 , q yoyoyoyo 12 , q ddd o d 39 BP网络的标准学习算法 n输入层与隐含层的连接权值: n隐含层与输出层的连接权值: n隐含层各神经元的阈值: n输出层各神经元的阈值: n样本数据个数: n激发函数: n误差函数： ih w f( ) ho w h b 1,2,km o b 2 1 1 ( )( ) 2 q oo o edkyo k 40 BP网络的标准学习算法 n第一步，网络初始化 n给各连接权值分别赋一个区间（-1，1）内 的随机数，设定误差函数e，给定计算精度 值和最大学习次数

16、M。 n第二步,随机选取第 个输入样本及对应 期望输出 12 ( )( ),( ),( ) n kx kx kx kx 12 ( )( ),( ),( ) q kd kdkdk o d 41 BP网络的标准学习算法 n第三步，计算隐含层及输出层各神经元 的输入和输出 1 ( )( )1,2, n hihih i hikw x kbhp ( )f( )1,2, hh ho khi khp 1 ( )( )1,2, p ohoho h yi kw ho kboq ( )f( )1,2, oo yo kyi koq 42 BP网络的标准学习算法 n第四步，利用网络期望输出和实际输出 ，计算误差函数对

17、输出层的各神经元的 偏导数 。 o hooho eeyi wyiw ( ) ( ) ( ) p hoho oh h hoho w ho kb yi k ho k ww 2 1 1 ( ( )( ) 2 ( ( )( )( ) ( ( )( )f( )( ) q oo o ooo oo oooo d kyo k e d kyo k yo k yiyi d kyo kyi kk ( ) o k 43 BP网络的标准学习算法 ( )( ) o oh hooho eeyi k hok wyiw 1 ( ) ( ) ( ) ( ) ( ) h ihhih n ihih hi i ihih eehik w

18、hikw w x kb hik x k ww p第五步，利用隐含层到输出层的连接权第五步，利用隐含层到输出层的连接权 值、输出层的值、输出层的 和隐含层的输出计算误和隐含层的输出计算误 差函数对隐含层各神经元的偏导数差函数对隐含层各神经元的偏导数 。 ( ) h k ( ) o k 44 BP网络的标准学习算法 2 1 2 1 2 11 1 ( )( ) ) ( )2 ( )( )( ) 1 ( )f( ) ) ( )2 ( )( ) 1 ( )f( ) ) ( )2 ( )( ) q oo ho hhh q oo ho hh qp ohoho hoh hh d kyo k eho k hi

19、kho khi k d kyi k ho k ho khi k d kw ho kb ho k ho khi k 1 1 ( ) ( )( )f ( ) ( ) ( )f ( )( ) q h oooho o h q ohohh o hok dkyokyikw hik k whikk 45 BP网络的标准学习算法 n第六步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权 值 。 1 ( )( )( ) ( )( ) hooh ho NN hohooh e wkk ho k w wwk ho k ( ) o k ( ) ho wk 46 BP网络的标准学习算法 n第七步，利用隐含层各神

20、经元的 和输入层各神经元的输入修正连接权。 ( ) h k 47 BP网络的标准学习算法 n第八步，计算全局误差 n第九步，判断网络误差是否满足要求。当误差 达到预设精度或学习次数大于设定的最大次数 ，则结束算法。否则，选取下一个学习样本及 对应的期望输出，返回到第三步，进入下一轮 学习。 2 11 1 ( )( ) 2 qm oo ko Edky k m 48 BP网络的标准学习算法 n解释 n情况一直观表达 n 当误差对权值的偏 导数大于零时，权值 调整量为负，实际输 出大于期望输出， 权值向减少方向调整， 使得实际输出与期望 输出的差减少。 who e 0，此时，此时who0 ho e

21、w 49 BP网络的标准学习算法 n解释 n情况二直观表达 n当误差对权值的偏导数 小于零时，权值调整量 为正，实际输出少于期 望输出，权值向增大方向 调整，使得实际输出与期 望输出的差减少。 h o e w e 0 who 50 BP神经网络的特点 n非线性映射能力 n能学习和存贮大量输入能学习和存贮大量输入-输出模式映射关系，而无需事输出模式映射关系，而无需事 先了解描述这种映射关系的数学方程。只要能提供足先了解描述这种映射关系的数学方程。只要能提供足 够多的样本模式提供网络进行学习训练，它便能完成够多的样本模式提供网络进行学习训练，它便能完成 由由n维输入空间到维输入空间到m维输出空间的

22、非线性映射。维输出空间的非线性映射。 n泛化能力 n当向网络输入训练时输入未曾见过的非样本数据时，当向网络输入训练时输入未曾见过的非样本数据时， 网络也能完成由输入空间向输出空间的正确映射。这网络也能完成由输入空间向输出空间的正确映射。这 种能力称为泛化能力。种能力称为泛化能力。 n容错能力 n输入样本中带有较大的误差甚至个别错误时对网络的输入样本中带有较大的误差甚至个别错误时对网络的 输入输出规律影响很小。输入输出规律影响很小。 51 52 53 n在使用BP算法时，应注意的问题是： n1) 学习开始时，各隐含层连接权系数的初值应 以设置较小的随机数较为适宜； n2) 采用S型激发函数时，由

23、于输出层各神经元 的输出只能趋于1或0，不能达到1或0。在设置 各训练样本时，期望的输出分量dk不能设置为 1或0。 5.2 前向神经网络前向神经网络 n在设计BP网络时，应考虑的问题是： n1) 网络的层数。增加层数可降低误差，但会使 网络复杂化，增加网络的训练时间。一般采用 增加隐层中神经元数目的方法来提高精度，其 训练效果也更容易观察和调整。 5.2 前向神经网络前向神经网络 54 n2) 隐层神经元数。理论上没有明确规定， 通常是通过对不同节点数进行训练对比，然 后加上适当余量。 5.2 前向神经网络前向神经网络 n3) 初始权值的选取。一般取（-1，1）之间 的随机数。 55 n4)

24、 学习速率。为保证系统稳定性，学习速 率一般取0.01-0.8。 5.2 前向神经网络前向神经网络 n5) 期望误差。合适的期望误差应通过对比 训练后确定。 56 小 结 n神经网络的用途 57 1 x 1 w 2 x 2 w ii xw- f( )y n x n w 单个神经元的神经网络单个神经元的神经网络 输入输入 神经元神经元 输出输出 11121 21222 31323 1,., 2,., 3,., . n n n Xxxx Xxxx Xxxx 11112211 21122222 31132233 nn nn nn x wx wx wy x wxwxwy x wxwxwy x11 x1

25、n x12 X1 1112111 1 2122222 3331323 ,., ,., ,., n n n xxxwy xxxwyWXY wyxxx 58 神经网络的工作原理 xi(i=1,2,n)是输入，wi为该神经元与各输入间 的连接权值，为阈值，yo为输出 (1)从各输入端接收输入信号xi (2)根据各连接权值wi求出所有输入的加权和yi ： yi wi xi (3)利用某一特征函数f 进行变换，得到输出yo ： yo= f(yi)f( wi xi ) 59 神经元间连接权值的含义 n连接权wij通常在-1,1之间取值： wij 0，称为正连接，表示神经元j对i有激活作用 wij 0，称为

26、负连接，表示神经元j对i有抑制作用 n神经网络的各种学习算法的不同特点反映在调整 权值的原则、方法、步骤和迭代过程的参数选择 上。 60 感知器的局限 n只能解决线性可分问题 61 逻辑异或问题线性不可分 在二维空间中没有可分离点集 (0，0)，（1，1）和(0，1)，（1，0）的直线 X2 X1 (1,1) (1,0) (0,1) (0,0) X1 X2 输出 1 1 0 1 0 1 0 1 1 0 0 0 62 逻辑异或问题线性不可分 n考虑一感知器，其输入为X1，X2；权值为 W1，W2 ；阈 值是。为了学习这个函数，网络必须找到这样一组值 ，它满足如下的不等式方程： W1*1 W2*1

27、 ， 真值表的第二行； 0W2*1 , 真值表的第三行； 00 或为正数， 真值表的最后一行。 此不等式方程组无解，这就证明了感知器不能解决 异或问题。问题不是线性可分的，这是异或问题不能用 感知器来解决的原因。 63 BP网络学习算法 ihho ww ( )( )( )( )(1( ) ooooo kd kyo kyo kyo k 1 ( )( )f ( ) q hohoh o kk whik 1.1. 初始值选择初始值选择 2.2. 前向计算，求出所有神经元的输出前向计算，求出所有神经元的输出 3.3. 对输出层计算对输出层计算 4.4. 从后向前计算各隐层从后向前计算各隐层 5.5. 计

28、算并保存各权值修正量：计算并保存各权值修正量： 6.6. 修正权值：修正权值： 7.7. 判断是否判断是否满足满足结束结束条件条件，不满足不满足转至转至2 2，否则，否则 算法结束算法结束 1( ) ( )( ) NN wkwkw k ( )w k 64 BP神经网络求解异或问题网络结构 n设初始权值全部为0.5，阈值为0，学习率为0.5 ，输入层到隐含层，隐含层到输出值的激活函 数为单极SIGMOID函数，要求误差e为0.1 Node1 Node2 Node1 Node2 Node1 X1 X2 w11 w12 w21 w22 w1y w2y yo 65 BP神经网络求解异或问题的权值调整

29、n输入样本（1，1，0）时，求解各对应参数： n各神经元的输出 1111221 2212222 11 1 22 1 1122 (0)(0)(0)(0)(0) 1 0.5 1 0.5 1 (0)(0)(0)(0)(0) 1 1 (0)()0.731 1 1 (0)()0.731 1 (0)(0)(0)(0)(0)0.731 0.5 0.731 0.50.731 (0)( (0) yy hixwxw hixwxw hof hi e hof hi e yihowhow yof yi 0.731 1 0.675 1 e 66 BP神经网络求解异或问题的权值调整 n反向传播调整各权值 隐含层与输出层之间

30、的权值调整计算： (0)( (0)(0)(0)(1(0) (0 0.675) 0.675 (1 0.675)0.148 o dyoyoyo 11 10 111 22 10 222 (0)(0)(0)0.50.148 0.7310.054 (0)(0)(0)0.5 0.0540.554 (0)(0)(0)0.054 (0)(0)(0)0.554 yo yyy yo yyy who www who www 67 BP神经网络求解异或问题的权值调整 n反向传播调整各权值 输入层与隐含层之间的权值调整计算： 1 1111 2222 1111 211 (0) (0)(0)f(0) (0)(0)(0)(0

31、)(1(0)0.148 0.5 0.731(1 0.731) 0.015 (0)(0)(0)(0)(1(0)0.015 (0)(0) (0)0.50.015 1 0.007 (0)(0) q hohoh o hoy hoy h h whi whoho whoho wx wx 2(0) 0.50.015 1 0.007 68 BP神经网络求解异或问题的权值调整 10 111111 10 212121 1221 2222 10 121212 (0)(0)(0)0.5 0.0070.507 (0)(0)(0)0.5 0.0070.507 (0)(0) (0)0.50.015 10.007 (0)(0

32、)(0)0.50.015 10.007 (0)(0)(0)0.5 0.0070.507 h h www www wx wx www w 10 222222 (0)(0)(0)0.5 0.0070.507ww p反向传播调整各权值反向传播调整各权值 输入层与隐含层之间的权值调整计算：输入层与隐含层之间的权值调整计算： 69 BP神经网络求解异或问题的权值调整 n计算误差： n因为误差没有达到预定要求，进入 下一轮权值调整循环 22 11 ()(0 0.675)0.228 22 edyo 70 71 5.2.3 BP网络学习算法的改进 (1) 多层前向BP网络的优点： n1) 网络实质上实现了一个

33、从输入到输出的 映射功能，而数学理论已证明它具有实现任 何复杂非线性映射的功能。这使得它特别适 合于求解内部机制复杂的问题； n2) 网络能通过学习带正确答案的实例集自 动提取“合理的”求解规则，即具有自学习 能力。 72 (2) 多层前向BP网络的主要问题： 1) BP算法的学习速度很慢； 2) 网络训练失败的可能性较大； 3) 难以解决应用问题的实例规模和网络规模间 的矛盾； 4) 网络结构的选择尚无一种统一而完整的理论 指导，一般只能由经验选定； 5.2.3 BP网络学习算法的改进 5) 新加入的样本要影响已学习成功的网络， 而且刻画每个输入样本的特征的数目也必须 相同； 6) 网络的预

34、测能力（也称泛化能力、推广 能力）与训练能力（也称逼近能力、学习能 力）的矛盾。 5.2.3 BP网络学习算法的改进 73 74 (3) BP网络学习算法的改进 n1) 增加惯性项； 5.2.3 BP网络学习算法的改进 在每一次对连接权及阈值进行校正时， 按一定比例加上前一次学习时的校正量，即 惯性项： w （n + 1） = d+ w（n） （00 4). 重复上述步骤，直到pij-pij小于一定的容限。 91 5.4 神经网络神经网络PID控制控制 n尽管神经网络控制技术有许多潜在的优势，但单纯 使用神经网络的控制方法的研究仍有待进一步发展 。通常将人工神经网络技术与传统的控制理论或智 能

35、技术综合使用。神经网络在控制中的作用有以下 几种： n1在传统的控制系统中用以动态系统建模，充当对 象模型； n2在反馈控制系统中直接充当控制器的作用； n3在传统控制系统中起优化计算作用； n4与其他智能控制方法如模糊逻辑、遗传算法、专 家控制等相融合。 92 5.4.1 基于BP神经网络控制参数自学习 PID控制 BP神经网络具有逼近任意非线性函数的能力， 而且结构和学习算法简单明确。通过神经网络自身的 学习，可以找到某一最优控制律下的P，I，D参数。 基于BP神经网络的PID控制系统结构如图所示，控制 器由两个部分组成：经典的PID控制器：直接对被 控对象进行闭环控制，并且KP,KI,K

36、D三个参数为在线 整定；神经网络NN：根据系统的运行状态，调节 PID控制器的参数，以期达到某种性能指标的最优化 。即使输出层神经元的输出状态对应于PID控制器的 三个可调参数KP,KI,KD，通过神经网络的自学习、调 整权系数，从而使其稳定状态对应于某种最优控制律 下的PID控制器参数。 93 94 基于BP神经网络的PID控制算法可归纳如下： 1). 事先选定BP神经网络NN的结构，即选定输入层节点 数M和隐含层节点数Q，并给出权系数的初值w(2)ij(0), w(3)li(0)，选定学习速率和平滑因子，k=1； 2). 采样得到r(k)和y(k)，计算e(k)=z(k)=r(k)-y(k

37、)； 3). 对r(i),y(i),u(i-1),e(i)进行归一化处理，作为NN的输 入； 4). 前向计算NN的各层神经元的输入和输出，NN输出 层的输出即为PID控制器的三个可调参数KP(k),KI(k),KD(k) ； 5). 计算PID控制器的控制输出u(k)，参与控制和计算； 6). 计算修正输出层的权系数w(3)li(k)； 7). 计算修正隐含层的权系数w(2)ij(k)； 8). 置k=k+1，返回到“2）”。 95 5.4.2 改进型BP神经网络控制参数自学习 PID控制 n将神经网络用于控制器的设计或直接学习计算 控制器的输出（控制量），一般都要用到系统 的预测输出值或其

38、变化量来计算权系数的修正 量。但实际上，系统的预测输出值是不易直接 测得的，通常的做法是建立被控对象的预测数 学模型，用该模型所计算的预测输出来取代预 测处的实测值，以提高控制效果。 96 (1)采用线性预测模型的BP神经网络PID控制器 97 采用线性预测模型的采用线性预测模型的BP神经网络神经网络PID控制系统算法如下控制系统算法如下： 1). 事先选定BP神经网络NN的结构，即选定输入层节点数M 和隐含层节点数Q，并给出权系数的初值w(2)ij(0), w(3)li(0)， 选定学习速率和平滑因子，k=1； 2). 用线性系统辨识法估计出参数矢量(k)，从而形成一步 预报模型式； 3).

39、 采样得到r(k)和y(k)，计算e(k)=z(k)=r(k)-y(k)； 4). 对r(i),y(i),u(i-1),e(i)进行归一化处理，作为NN的输入； 5). 前向计算NN的各层神经元的输入和输出，NN输出层 的输出即为PID控制器的三个可调参数KP(k),KI(k),KD(k)； 6). 计算PID控制器的控制输出u(k)，参与控制和计算； 7). 计算 和 ； 8). 计算修正输出层的权系数w(3)li(k)； 9). 计算修正隐含层的权系数w(2)ij(k)； 10). 置k=k+1，返回到“2）”。 ) 1( ky)(/ ) 1(kuky 98 采用线性预测模型的采用线性预测

40、模型的BP神经网络神经网络PID控制系统算法如下控制系统算法如下： 99 (2)采用非线性预测模型的BP神经网络PID控制器 100 基于BP神经网络的PID控制算法可归纳如下： 1). 事先选定BP神经网络NN的结构，即选定输入层节点数 M和隐含层节点数Q，并给出权系数的初值w(2)ij(0), w(3)li(0) ，选定学习速率和平滑因子，k=1； 2). 采样得到r(k)和y(k)，计算e(k)=z(k)=r(k)-y(k)； 3). 对r(i),y(i),u(i-1),e(i)进行归一化处理，作为NN的输入； 4). 前向计算NN的各层神经元的输入和输出，NN输出层的 输出即为PID控制器的三个可调参数KP(k),KI(k),KD(k)； 5). 计算PID控制器的控制输出u(k)，参与