智能控制典型神经网络

智能控制典型神经网络智能控制典型神经网络第1页2神经元模型图7-1中为神经元内部状态，为阈值，为输入信号，，为表示从单元到单元连接权系数，为外部输入信号。单神经元模型可描述为：智能控制典型神经网络第2页通常情况下，取即智能控制典型神经网络第3页图7-1单神经元模型智能控制典型神经网络第4页常见神经元非线性特征有以下四种：（1）阈值型图7-2阈值型函数智能控制典型神经网络第5页（2）分段线性型图7-3分段线性函数智能控制典型神经网络第6页（3）Sigmoid函数型图7-4Sigmoid函数智能控制典型神经网络第7页7.2BP神经网络

1986年，Rumelhart等提出了误差反向传输神经网络，简称BP网络（BackPropagation），该网络是一个单向传输多层前向网络。误差反向传输BP算法简称BP算法，其基础思想是梯度下降法。它采取梯度搜索技术，以期使网络实际输出值与期望输出值误差均方值为最小。

智能控制典型神经网络第8页7.2.1BP网络特点（1）是一个多层网络，包含输入层、隐含层和输出层；（2）层与层之间采取全互连方式，同一层神经元之间不连接；（3）权值经过δ学习算法进行调整；（4）神经元激发函数为S函数；（5）学习算法由正向传输和反向传输组成；（6）层与层连接是单向，信息传输是双向。智能控制典型神经网络第9页7.2.2BP网络结构

含一个隐含层BP网络结构如图7-5所表示，图中为输入层神经元，为隐层神经元，为输出层神经元。

智能控制典型神经网络第10页图7-5BP神经网络结构

智能控制典型神经网络第11页7.2.3BP网络迫近BP网络迫近结构如图7-6所表示，图中k为网络迭代步骤，u(k)和y(k)为迫近器输入。BP为网络迫近器，y(k)为被控对象实际输出，yn(k)为BP输出。将系统输出y(k)及输入u(k)值作为迫近器BP输入，将系统输出与网络输出误差作为迫近器调整信号。智能控制典型神经网络第12页图7-6BP神经网络迫近

智能控制典型神经网络第13页用于迫近BP网络如图7-7所表示。图7-7用于迫近BP网络。智能控制典型神经网络第14页BP算法学习过程由正向传输和反向传输组成。在正向传输过程中，输入信息从输入层经隐层逐层处理，并传向输出层，每层神经元（节点）状态只影响下一层神经元状态。假如在输出层不能得到期望输出，则转至反向传输，将误差信号（理想输出与实际输出之差）按联接通路反向计算，由梯度下降法调整各层神经元权值，使误差信号减小。智能控制典型神经网络第15页（1）前向传输：计算网络输出。隐层神经元输入为全部输入加权之和：隐层神经元输出采取S函数激发：则智能控制典型神经网络第16页（1）前向传输：计算网络输出。隐层神经元输入为全部输入加权之和：隐层神经元输出采取S函数激发：则智能控制典型神经网络第17页输出层神经元输出：网络输出与理想输出误差为：误差性能指标函数为：智能控制典型神经网络第18页（2）反向传输：采取δ学习算法，调整各层间权值。依据梯度下降法，权值学习算法以下：输出层及隐层连接权值学习算法为：

k+1时刻网络权值为：智能控制典型神经网络第19页隐层及输入层连接权值学习算法为：其中

k+1时刻网络权值为：智能控制典型神经网络第20页

假如考虑上次权值对此次权值改变影响，需要加入动量因子，此时权值为：其中,为学习速率，为动量因子。智能控制典型神经网络第21页

阵(即为对象输出对控制输入灵敏度信息)算法为：其中取智能控制典型神经网络第22页7.2.4BP网络优缺点

BP网络优点为：（1）只要有足够多隐层和隐层节点，BP网络能够迫近任意非线性映射关系；（2）BP网络学习算法属于全局迫近算法，含有较强泛化能力。（3）BP网络输入输出之间关联信息分布地存放在网络连接权中，个别神经元损坏只对输入输出关系有较小影响，因而BP网络含有很好容错性。智能控制典型神经网络第23页BP网络主要缺点为：（1）待寻优参数多，收敛速度慢；（2）目标函数存在多个极值点，按梯度下降法进行学习，很轻易陷入局部极小值；（3）难以确定隐层及隐层节点数目。当前，怎样依据特定问题来确定详细网络结构尚无很好方法，仍需依据经验来试凑。智能控制典型神经网络第24页

因为BP网络含有很好迫近非线性映射能力，该网络在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛应用。因为BP网络含有很好迫近特征和泛化能力，可用于神经网络控制器设计。但因为BP网络收敛速度慢，难以适应实时控制要求。智能控制典型神经网络第25页7.2.5BP网络迫近仿真实例

使用BP网络迫近对象：

BP网络迫近程序见chap7_1.m智能控制典型神经网络第26页7.2.6BP网络模式识别

因为神经网络含有自学习、自组织和并行处理等特征，并含有很强容错能力和联想能力，所以，神经网络含有模式识别能力。

智能控制典型神经网络第27页

在神经网络模式识别中，依据标准输入输出模式对，采取神经网络学习算法，以标准模式作为学习样本进行训练，经过学习调整神经网络连接权值。当训练满足要求后，得到神经网络权值组成了模式识别知识库，利用神经网络并行推理算法对所需要输入模式进行识别。智能控制典型神经网络第28页

当待识别输入模式与训练样本中某个输入模式相同时，神经网络识别结果就是与训练样本中相对应输出模式。当待识别输入模式与训练样本中全部输入模式都不完全相同时，则可得到与其相近样本相对应输出模式。当待识别输入模式与训练样本中全部输入模式相差较远时，就不能得到正确识别结果，此时可将这一模式作为新样本进行训练，使神经网络获取新知识，并存放到网络权值矩阵中，从而增强网络识别能力。智能控制典型神经网络第29页BP网络训练过程以下：正向传输是输入信号从输入层经隐层传向输出层，若输出层得到了期望输出，则学习算法结束；不然，转至反向传输以第p个样本为例，用于训练BP网络结构如图7-11所表示。智能控制典型神经网络第30页图7-11BP神经网络结构

智能控制典型神经网络第31页

网络学习算法以下：（1）前向传输：计算网络输出。隐层神经元输入为全部输入加权之和：隐层神经元输出采取S函数激发：智能控制典型神经网络第32页则输出层神经元输出：智能控制典型神经网络第33页

网络第个输出与对应理想输出误差为：第p个样本误差性能指标函数为：其中N为网络输出层个数。智能控制典型神经网络第34页（2）反向传输：采取梯度下降法，调整各层间权值。权值学习算法以下：

输出层及隐层连接权值学习算法为：智能控制典型神经网络第35页其中隐层及输入层连接权值学习算法为：

智能控制典型神经网络第36页

假如考虑上次权值对此次权值改变影响，需要加入动量因子，此时权值为：

其中为学习速率，为动量因子。智能控制典型神经网络第37页7.2.7仿真实例：

取标准样本为3输入2输出样本，如表7-1所表示。

输

入输

出1001001000.500101表7-1训练样本

智能控制典型神经网络第38页BP网络模式识别程序包含网络训练程序chap7_2a.m和网络测试程序chap7_2b.m。智能控制典型神经网络第39页7.3RBF神经网络径向基函数(RBF-RadialBasisFunction)神经网络是由J.Moody和C.Darken在80年代末提出一个神经网络,它是含有单隐层三层前馈网络。因为它模拟了人脑中局部调整、相互覆盖接收域（或称感受野-ReceptiveField）神经网络结构，所以，RBF网络是一个局部迫近网络，已证实它能任意精度迫近任意连续函数。智能控制典型神经网络第40页RBF网络特点(1)RBF网络作用函数为高斯函数，是局部，BP网络作用函数为S函数，是全局；(2)怎样确定RBF网络隐层节点中心及基宽度参数是一个困难问题；(3)已证实RBF网络含有唯一最正确迫近特征，且无局部极小。智能控制典型神经网络第41页7.3.1RBF网络结构

RBF网络是一个三层前向网络，因为输入到输出映射是非线性，而隐含层空间到输出空间映射是线性，从而能够大大加紧学习速度并防止局部极小问题。智能控制典型神经网络第42页

图7-13RBF网络结构智能控制典型神经网络第43页7.3.2RBF网络迫近

采取RBF网络迫近一对象结构如图7-14所表示。

智能控制典型神经网络第44页图7-14RBF神经网络迫近

智能控制典型神经网络第45页在RBF网络结构中，为网络输入向量。设RBF网络径向基向量，其中hj为高斯基函数：网络第j个结点中心矢量为：其中，i=1,2,…n智能控制典型神经网络第46页设网络基宽向量为：为节点基宽度参数，且为大于零数。网络权向量为：k时刻网络输出为：

设理想输出为y(k)，则性能指标函数为：

智能控制典型神经网络第47页

依据梯度下降法，输出权、节点中心及节点基宽参数迭代算法以下：智能控制典型神经网络第48页

阵(即为对象输出对控制输入灵敏度信息)算法为：其中取。其中,为学习速率，为动量因子。智能控制典型神经网络第49页使用RBF网络迫近以下对象：RBF网络迫近程序见chap7_3.m。

7.3.3RBF网络迫近仿真实例智能控制典型神经网络第50页7.4回归神经网络对角回归型神经网络（DRNN：DiagonalRecurrentNeuralNetwork）是含有反馈动态神经网络，该网络能够更直接更生动地反应系统动态特征，它在BP网络基础结构基础上，经过存放内部状态使其具备映射动态特征功效，从而使系统含有适应时变特征能力，DRNN网络代表了神经网络建模和控制方向。智能控制典型神经网络第51页7.4.1DRNN网络结构

DRNN网络是一个三层前向网络，其隐含层为回归层。正向传输是输入信号从输入层经隐层传向输出层，若输出层得到了期望输出，则学习算法结束；不然，转至反向传输。反向传输就是将误差信号（理想输出与实际输出之差）按联接通路反向计算，由梯度下降法调整各层神经元权值和阈值，使误差信号减小。

DRNN网络结构如图7-18所表示。智能控制典型神经网络第52页图7-18DRNN神经网络结构智能控制典型神经网络第53页

在该网络中,设

为网络输入向量,

为输入层第i个神经元输入，网络回归层第j个神经元输出为,为第个回归神经元输入总和,为S函数，为DRNN网络输出。

和为网络回归层和输出层权值向量,

为网络输入层权值向量。智能控制典型神经网络第54页7.4.2DRNN网络迫近DRNN网络迫近结构如图7-19所表示，图中k为网络迭代步骤，u(k)和y(k)为辨识器输入。DRNN为网络辨识器。y(k)为被控对象实际输出，ym(k)为DRNN输出。将系