神经网络控制课件

第四章神经网络控制黄福珍主要内容神经网络的基本概念前向网络及其主要算法反馈网络支持向量机神经网络控制Matlab神经网络工具箱4.1神经网络的基本概念什么是神经网络神经网络的基本特征神经网络的发展简史神经网络的结构神经网络的学习方法4.1.2神经网络的基本特征并行分布处理非线性映射通过训练进行学习适应与集成硬件实现4.1.3神经网络的发展简史初始发展期（20世纪40年代～60年代）:

◆1943年McCulloch（心理学家）和Pitts（数理逻辑学家）发表文章，提出M-P模型。M-P模型能完成一定的逻辑运算。——标志神经计算时代的开始

◆1949年DonalaU.Hebb（心理学家）论著《TheOrganizationofBehavior（行为自组织）》，提出突触联系强度可变的假设，认为学习的过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。——Hebb规则：若两个神经元输出兴奋，则它们之间的连接权加强，反之减少。4.1.3神经网络的发展简史初始发展期（20世纪40年代～60年代）:

◆1957年FrankRosenblatt定义了一个神经网络结构，称为感知器(Perceptron)。第一次把神经网络研究从纯理论的探讨推向工程实现，在IBM704计算机上进行了模拟，证明了该模型有能力通过调整权的学习达到正确分类的结果。掀起了神经网络研究高潮。

◆1962年电机工程师Window和Hoff提出自适应线性元件Adaline，它是一个连续取值的线性网络。4.1.3神经网络的发展简史兴盛期（20世纪80年代～90年代初）:

◆1982年JohnJ.Hopfield（物理学家）提出了全联接网络，离散的神经网络模型。——全新的具有完整理论基础的神经网络模型。基本思想是对于一个给定的神经网络，对于一个能量函数，这个能量函数是正比于每一个神经元的活动值和神经元之间的联接权。而活动值的改变算法是向能量函数减少的方向进行，一直达到一个极小值为止。证明了网络可达到稳定的离散和连续两种情况。3年后AT&T等做出了半导体芯片。——神经网络复兴时期开始4.1.3神经网络的发展简史兴盛期（20世纪80年代～90年代初）:

◆1986年美国的一个平行计算研究小组提出了前向反馈神经网络的BackPropagation（BP）学习算法。成为当今应用最广泛的方法之一。该方法克服了感知器非线性不可分类问题，给神经网络研究带来了新的希望。

◆1990年汉森(L.K.Hansen)和萨拉蒙(P.Salamon)提出了神经网络集成(neuralnetworkensemble)方法。他们证明，可以简单地通过训练多个神经网络并将其结果进行拟合，显著地提高神经网络系统的泛化能力。神经网络集成可以定义为用有限个神经网络对同一个问题进行学习，集成在某输入示例下的输出由构成集成的各神经网络在该示例下的输出共同决定。4.1.3神经网络的发展简史再认识与应用研究阶段（1991年以后）:

◆问题：

1）应用面还不够宽

2）结果不够精确

3）存在可信度的问题

◆研究：

1）开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度

2）充分发挥两种技术各自的优势是一个有效方法

3）希望在理论上寻找新的突破，建立新的专用/通用模型和算法

4）进一步研究生物神经系统，不断丰富对人脑的认识4.1.4神经网络的结构人工神经元模型输入信号连接权阈值处理单元净值转移函数输出4.1.4神经网络的结构人工神经元输入与输出之间的关系：转换函数的作用：

*控制输入对输出的激活作用*对输入、输出进行函数转换*将可能无限域的输入转换成指定的有限范围内的输出4.1.4神经网络的结构几种常见的转换函数：*阈值型*线性型*双曲函数*

S型（Sigmoid）*高斯型4.1.4神经网络的结构人工神经网络的结构类型：

*前馈型神经网络（Feedforward）

-神经元分层排列，可有多层

-每层神经元只接受前层神经元的输入

-同层神经元之间无连接4.1.4神经网络的结构人工神经网络的结构类型：

*反馈型神经网络（Feedback）

-全反馈型：内部前向，输出反馈到输入

-Innerrecurrent：层间元相互连接4.1.5神经网络的学习方法人工神经网络的学习方式：*有监督学习：需要有个教师提供期望或目标输出信号，系统根据期望的和实际的网络输出间的差来调整神经元连接的权值4.1.5神经网络的学习方法人工神经网络的学习方式：*强化学习：不需要给出目标输出，它采用一个评论员来评价与给定输入相对应的神经网络输出的优度4.1.5神经网络的学习方法人工神经网络的学习算法：*

Hebb学习规则

-如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强

-Hebb学习规则是一种无监督的学习规则，常用于自组织网络或特征提取网络4.1.5神经网络的学习方法人工神经网络的学习算法：*

Delta学习规则

-用已知样本作为教师对网络进行学习

-学习规则可由二次误差函数的梯度法导出

-误差校正学习规则实际上是一种梯度方法

4.1.5神经网络的学习方法人工神经网络的学习算法：*竞争式学习

-在竞争学习时网络各输出单元相互竞争，最后只有最强者激活4.2前向网络及其主要算法感知器模型BP网络RBF网络4.2.1感知器模型感知器的学习算法：

◆

给ωi(0)及阈值θ分别赋予一个较小的非零随机数作为初值

◆输入一个样本X={x1,x2,…,xn}和一个期望的输出d

◆计算网络的实际输出：

◆按下式调整权值(δ学习规则)：

◆转第二步，直到ωi对所有样本都稳定不变为止4.2.1感知器模型感知器的分类功能

*若有P个输入样本，经过该感知器的输出yj只有两种可能，1或者-1，从而说明它将输入模式分成了两类。

*若将看成是n维空间的P个点，则该感知器将该P个点分成了两类，它们分属于n维空间的两个不同的部分。

4.2.2感知器模型感知器的分类功能：

*

以二维空间为例，对于任一样本(x1,x2)，感知器输出为：即分界线的方程为：x2x14.2.1感知器模型感知器模型的局限性：

*只可解决线性可分问题的模式分类

*对异或问题无能为力

*对线性不可分问题的解决：采用多层感知器

-可以证明，只要隐层和隐层单元数足够多，多层感知器网络可实现任何模式分类。

-但是，多层网络的权值如何确定，即网络如何进行学习，在感知器上没有得到解决。4.2.2BP网络BP（BackPropagation）网络结构：*多层前馈神经网络，其神经元的变换函数是S型函数*权值的调整采用反向传播的学习算法*输出量是0到1之间的连续量，它可实现从输入到输出的任意的非线性映射4.2.2BP网络BP学习算法：*属于Delta算法，是一种监督式的学习算法*主要思想：对于q个输入学习样本：P1,P2,…,Pq，已知与其对应的输出样本为：T1,T2,…,Tq使网络输出层的误差平方和达到最小用网络的实际输出A1,A2,…,Aq,与目标矢量T1,T2,…,Tq之间的误差修改其权值，使Am与期望的Tm,(m＝l,…,q)尽可能接近4.2.2BP网络BP学习算法：由两部分组成正向传播过程中，输入信息从输入层经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神经元的状态如果在输出层未得到期望的输出，则计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至达到期望目标4.2.2BP网络BP学习算法推导：

网络关于第p个样本的误差函数为：网络关于所有样本的误差函数为：权值的调整是沿着误差的负梯度方向进行调整，即：对于输出层有：4.2.2BP网络BP算法推导：因此输出层权值调整公式为：对于隐层：(先考虑层)4.2.2BP网络BP算法推导：依次类推，可求得第q层：则隐层的权值调整公式为：

初始化加输入和期望输出计算隐层和输出层的输出迭代次数加1调节输出层和隐层的连接权值

改变训练样板训练样终止？迭代终止？BP算法的基本流程NoNoyy4.2.2

BP网络BP网络的优点：

*

只要有足够多的隐层和隐节点，BP网络可以逼近任意的非线性映射关系

*

BP网络的学习算法属于全局逼近的方法，因而它具有较好的泛化能力BP网络的缺点：*需要较长的训练时间

*容易陷入局部极小值

*网络结构难以确定（隐层和隐层节点数）4.2.2BP网络BP算法的改进：*引入动量项K-1时刻的负梯度K时刻的负梯度动量因子4.2.2BP网络BP算法的改进：*变步长法4.2.3RBF网络径向基（RBF）网络的结构：

-具有单隐层的两层前向网络

-隐单元的变换函数是径向基函数4.2.3RBF网络RBF网络的输入输出关系：4.2.3RBF网络RBF网络的学习算法：

*无教师学习阶段：

4.2.3RBF网络RBF网络的学习算法：

*有教师学习阶段：训练由隐层到输出层之间的权值

4.2.3RBF网络RBF网络的特点：

-RBF网络神经元节点通常比BP网络多，训练时间远远低于BP网络

-对于存在大量训练样本的情况，RBF网络的性能比较好

-只要隐层节点数足够多，RBF可以映射任意非线性函数

-求RBF网络隐节点的中心向量和标准化常数是一个困难的问题

-如何选择合适的径向基函数以及如何确定隐节点数，目前还无法解决4.3反馈网络Hopfield网络Boltzmann机网络自组织特征映射网络4.3.1Hopfield网络Hopfield网络结构：

-单层网络，共有n个神经元节点

-每个节点输出均连接到其它神经元的输入，同时所有其它神经元的输出均连到该神经元的输入4.3.1Hopfield网络Hopfield网络的主要特点：

◆网络是一个全连网络，即网络中任意两个单元之间都有连线，而且这种连接是对称的，即wij=wji

◆网络有两种类型：离散和连续。离散是说单元是二值的，它们的激活是用（1，-1）或（1，0）表示。而在连续的网络中，单元的激活是连续的，它们可以取0到1之间的任一实数值4.3.1Hopfield网络离散Hopfield网络

*网络输入输出关系4.3.1Hopfield网络离散Hopfield网络

*网络工作方式

-异步方式：每次只有一个神经元节点进行状态的调整计算，其它节点的状态均保持不变。其调整次序可以随机选定，也可按规定的次序进行

-同步方式：所有的神经元节点同时调整状态4.3.1Hopfield网络离散Hopfield网络

*

稳定性：

-如果系统是稳定的，则它可以从任一初态收敛到一个稳定状态。

-若将稳态视为一个记忆样本，则初态朝稳态的收敛过程便是寻找记忆样本的过程，初态可认为是给定样本的部分信息，网络改变的过程可认为是从部分信息找到全部信息，从而实现了联想记忆的功能。

-若将稳态与某种优化计算的目标函数相对应，并作为目标函数的极小点，则初态朝稳态的收敛过程便是优化计算过程。该优化计算是在网络演变过程中自动完成的。

4.3.1Hopfield网络离散Hopfield网络*

吸引子：若网络的状态x满足，则称x为网络的稳定点或吸引子。*对于离散Hopfield网络，若按异步方式调整状态，且连接权矩阵W为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。*对于离散Hopfield网络，若按同步方式调整状态，且连接权矩阵W为非负定对称阵，则对于任意初态，网络都最终收敛到一个吸引子。4.3.1Hopfield网络离散Hopfield网络*

吸引域：为了能实现正确的联想记忆，对于每个吸引子应该有一定的吸引范围，这个吸引范围便称为吸引域。

-若x(a)是吸引子，对于异步方式，若存在一个调整次序可以从x演变到x(a)，则称x弱吸引到x(a)

；若对于任意调整次序都可以从x演变到x(a)

，则称x强吸引到x(a).-对所有x∊R(x)均有：x弱(强)吸引到x(a),则称R(x)为x(a)的弱(强)吸引域。

-对于同步方式，由于无调整次序问题，所以相应的吸引域也无强弱之分。

-对于异步方式，对同一个状态，若采用不同的调整次序，有可能弱吸引到不同的吸引子。4.3.1Hopfield网络离散Hopfield网络*

连接权值的设计：Hopfield网络的联想记忆过程，从动力学的角度就是非线性动力学系统朝着某个稳定状态运行的过程，这需要调整连接权值使得所要记忆的样本作为系统的吸引子，即能量函数的局部最小点。

-学习阶段：在给定样本的条件下，按照Hebb学习规则，调整连接权值，使得存储的样本成为动力学的吸引子。

-联想阶段：在已调整好权值不变的情况下，给出部分不全或受了干扰的信息，按照动力学规则改变神经元的状态，使系统最终变到动力学的吸引子，即指收敛于某一点。

-4.3.1Hopfield网络连续Hopfield网络*

工作方式：4.3.1Hopfield网络连续Hopfield网络*

电路模型：4.3.1Hopfield网络连续Hopfield网络*

硬件实现：4.3.1Hopfield网络连续Hopfield网络*

稳定性：

-定义连续Hopfield网络的能量函数为：

分析可得到：

-根据Lyapunov稳定性理论，该网络系统一定是渐进稳定的。即随着时间的演变，网络状态总是朝着E减小的方向运动，直到E取得极小值，这时所有的xi变为常数，即网络收敛到稳定状态。4.3.2Boltzmann机网络网络结构

-网络没有明显的层次结构

-网络内部各单元之间存在相互连接关系

-网络按概率方式工作4.3.2Boltzmann机网络网络工作方式：4.3.2Boltzmann机网络网络工作原理：4.3.2Boltzmann机网络网络实际运行：

-学习和训练阶段：根据学习样本对网络进行训练，将知识分布的存储于网络的连接权中

-工作阶段：根据输入运行网络得到合适的输出，即按照某种机制将知识提取出来4.3.2Boltzmann机网络网络学习步骤：(1)随机设定网络的连接权初值wij(0)及初始高温(2)按照已知的概率p(xa)，依次给定学习样本。在样本的约束下，按照模拟退火程序运行网络，直至达到平衡状态，统计出各pij。在无约束条件下，按同样的步骤并同样的次数运行网络，统计各pij。

(3)按下式修改权值：

(4)重复上述步骤，直到小于某阈值。4.3.3自组织特征映射网络自组织特征映射网络（SOM）

-Kohonen认为，一个神经网络接受外界输入模式时，将会分成不同区域，各区域对输入模式具有不同的响应特征，同时这一过程是自动完成的。

-SOM在结构上模拟了大脑皮层中神经元呈二维空间点阵的结构，在功能上通过网络神经元的交互作用和相互竞争，模拟了大脑信息处理的聚类功能、自组织、自学习功能

-SOM根据输入向量在输入空间的分布情况对他们进行分类。与自组织竞争网络不同的是，它不仅对所属区域邻近的区域进行识别，还可研究输入向量的分布特性和拓扑结构

-与传统的模式聚类方法相比，SOM所形成的聚类中心能映射到一个曲面或平面上，且保持拓扑结构不变4.3.3自组织特征映射网络网络结构

-SOM网络结构也是由输入层和竞争层组成的单层网络，其输入层是一维神经元，有n个节点，竞争层由M=m2个神经元组成的二维平面阵列。

-输入层与竞争层之间实现全互连接，竞争层节点之间可能有局部连接

-网络中有两种连接权值，一种是神经元对外部输入反应的连接权值，另一种是神经元之间的连接权值，其大小控制着神经元之间交互作用的强弱4.3.3自组织特征映射网络自组织特征映射网络（SOM）

-对给定的输入模式，SOM的训练过程不仅要调节竞争获胜单元的各连接权值，而且还要调节获胜单元邻域单元的权值。4.3.3自组织特征映射网络网络学习机理：

-SOM学习算法是一种无导师示教的聚类方法，它能将任意输入模式在输出层映射成一维或二维离散图形，并保持其拓扑结构不变，即在无导师的情况下，通过对模式的自组织学习，在竞争层将分类结果表示出来

-此外，网络通过对输入模式的反复学习，可以使连接权向量空间分布密度与输入模式的概率分布趋于一致，即连接权向量空间分布能反映输入模式的统计特征4.3.3自组织特征映射网络网络学习过程：

-对于给定输入模式，确定竞争层获胜单元

-按照学习规则修正获胜单元及其邻域单元的连接权值

-逐渐减少邻域及学习过程中的权值的变化量4.4支持向量机统计学习方法：

◆

统计方法是从事物的外在数量上的表现去推断该事物可能的规律性。统计学在解决机器学习问题中起着基础性的作用。传统的统计学所研究的主要是渐近理论，即当样本趋向于无穷多时的统计性质。统计方法主要考虑测试预想的假设和数据模型拟合，它依赖于显式的基本概率模型。

◆

常见的统计方法有：

-回归分析（多元回归、自回归等）

-判别分析（贝叶斯判别、费歇尔判别、非参数判别等）

-聚类分析（系统聚类、动态聚类等）

-探索性分析（主元分析法、相关分析法等）等。4.4支持向量机统计学习方法：

◆

统计方法处理过程：（1）搜集数据：采样、实验设计（2）分析数据：建模、知识发现、可视化（3）进行推理：预测、分类

4.4支持向量机统计学习理论：

◆

统计学习理论是小样本统计估计和预测学习的最佳理论。它从理论上较为系统地研究了经验风险最小化原则成立的条件、有限样本下经验风险与期望风险的关系及如何利用这些理论找到新的学习原则和方法等问题。

◆

SLT的主要内容包括:-基于经验风险原则的统计学习过程的一致性理论

-学习过程收敛速度的非渐进理论

-控制学习过程的推广能力的理论

-构造学习算法的理论

4.4支持向量机VC维：

◆

为了研究经验风险最小化函数集的学习一致收敛速度和推广性，SLT定义了一些指标来衡量函数集的性能，其中最重要的就是VC维(Vapnik-ChervonenkisDimension)。

◆

对于一个指示函数（即只有0和1两种取值的函数）集，如果存在h个样本能够被函数集里的函数按照所有可能的2h种形式分开，则称函数集能够把h个样本打散，函数集的VC维就是能够打散的最大样本数目。

◆

如果对任意的样本数，总有函数能打散它们，则函数集的VC维就是无穷大。4.4支持向量机VC维：

◆

一般而言，VC维越大，学习能力就越强，但学习机器也越复杂。

◆目前还没有通用的关于计算任意函数集的VC维的理论，只有对一些特殊函数集的VC维可以准确知道。

◆

N维实数空间中线性分类器和线性实函数的VC维是n+1。4.4支持向量机支持向量机（SupportVectorMachine）：

◆

SVM是建立在统计学习理论的VC维理论和结构风险最小化原理基础上的一种机器学习方法，它由Vapnik等人在COLT-92上首次提出，从此迅速发展起来，目前已经在许多智能信息获取与处理领域都取得了成功的应用。

◆

SVM从线性可分情况下的最优分类面发展而来。最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0)，且使分类间隔最大。SVM考虑寻找一个满足分类要求的超平面，并且使训练集中的点距离分类面尽可能的远，也就是寻找一个分类面使它两侧的空白区域(margin)最大。过两类样本中离分类面最近的点且平行于最优分类面的超平面上H1,H2的训练样本就叫做支持向量。4.4支持向量机线性可分情况下的最优分类线：4.4支持向量机广义最优分类面：

假定训练数据可以被一个超平面分开我们进行正归化此时分类间隔等于使最大间隔最大等价于使最小4.4支持向量机广义最优分类面：最优分类面问题可以表示成约束优化问题MinimizeSubjectto

定义Lagrange函数

4.4支持向量机广义最优分类面：

Lagrange函数4.4支持向量机高维空间中的最优分类面：

◆

很多情况下，训练数据集是线性不可分的，对于非线性问题，可以通过非线性变换将它转化为某个高维空间中的线性问题，在这个高维空间中寻找最优分类面。

◆分类函数只涉及到训练样本之间的内积运算(xi·xj)，因此，在高维空间中只需进行内积运算，这种内积运算可通过定义在原空间中的函数来实现，甚至不必知道变换的形式。

◆

SLT指出，只要一种运算满足Mercer条件，就可以作为内积使用。4.4支持向量机高维空间中的最优分类面：

◆

在最优分类面中采用适当的内积函数就可以实现某一非线性变换后的线性分类，而计算复杂度却没有增加。

4.4支持向量机SVM分类函数：4.4支持向量机内积核函数：

◆

在SVM中不同的内积核函数将形成不同的算法，主要的核函数有三类：

-多项式核函数：

-径向基函数：

-S形函数：

4.4支持向量机多分类的SVM算法：

◆

一对一SVM：在每两类不同的训练样本之间都构造一个最优决策面的二分类SVM，将一个多类问题转化为多个二分类问题来求解

◆

一对余类SVM：在一类样本与剩余的多类样本之间构造决策平面，从而达到多类识别的目的

◆

决策树算法：通过排除在每层节点处不符合要求的类别，进而最后得到样本所属的类别4.4支持向量机SVM的优点：

◆

专门针对有限样本情况，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值

◆

算法最终将转化为一个二次规划问题，从理论上讲，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题

◆

算法将实际问题通过非线性变换转换到高维的特征空间，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，从而保证学习机器有较好的推广能力，同时它巧妙地解决了维数问题（只需计算原始空间的两个向量的内积），其算法复杂度与样本维数无关。4.4支持向量机Matlab的SVM工具箱：

◆

训练：SVMtrainSVMSTRUCT=SVMTRAIN(TRAINING,Y,'PARAM1',val1,'PARAM2',val2,...)

◆

分类：SVMclassifyGROUP=SVMCLASSIFY(SVMSTRUCT,TEST)GROUP=SVMCLASSIFY(...,'SHOWPLOT',true)

例：

loadfisheriris%载入matlab自带的数据库，其中meas是150*4的矩阵，代表着有150个样本，每个样本有4个属性描述，species代表着这150个样本的分类X=[meas(:,1),meas(:,2)];%只取meas的第一列和第二列

Y=nominal(ismember(species,‘setosa’));%提取setosa数据

P=cvpartition(Y,‘Holdout’,0.20);%随机选择训练集和测试集

svmStruct=svmtrain(X(P.training,:),Y(P.training),‘showplot’,true);%训练

C=svmclassify(svmStruct,X(P.test,:),‘showplot’,true);%测试

errRate=sum(Y(P.test)~=C)/P.TestSize%计算错误概率4.4支持向量机

4.5神经网络控制神经网络控制的基本思想：

神经网络控制是指在控制系统中，应用神经网络技术，对难以精确建模的复杂非线性对象进行神经网络模型辨识，或作为控制器，或进行优化计算，或进行推理，或进行故障诊断，或同时兼有上述多种功能。4.5神经网络控制神经网络在控制中的作用：

*充当系统的模型，构成各种控制结构，如在内模控制、模型参考、自适应控制、预测控制中，充当对象的模型等；*在反馈控制系统中直接用作控制器；*在控制系统中起优化计算的作用；*在与其它智能控制方法和优化算法相融合中，为其提供非参数化对象模型、优化参数、推理模型及故障诊断等。4.5神经网络控制神经控制的典型结构方案：

*NN监督控制*NN直接逆控制*NN自适应控制*NN内模控制*NN预测控制*NN自适应判断控制*NN混合控制4.5.1NN监督控制NN监督控制结构*包括一个导师（监督程序）和一个可训练的神经网络控制器（NNC）*控制器的输入对应于由人接收的传感输入信息*用于训练的输出对应于人对系统的控制输入4.5.1NN监督控制NN监督控制实现步骤：

-通过传感器和传感信息处理，调用必要的和有用的控制信息

-构造神经网络，选择NN类型、结构参数和学习算法等

-训练NN控制器，实现输入和输出间的映射，以便进行正确的控制。在训练过程中，可采用线性率、反馈线性化或解耦变换的非线性反馈作为导师（监督程序）来训练神经网络控制器4.5.1NN监督控制NN监督控制特点：

-NN监督控制实际就是建立人工控制器的正向模型

-由于缺乏视觉反馈，由此构成的控制系统实际是一个开环系统，这就使得其稳定性和鲁棒性均得不到保证4.5.2NN直接逆控制基本思想：*将被控对象的NN逆模型直接与被控对象串联，以便使系统在期望响应（网络输入）与受控系统输出间的到一个相同的映射。因此，该网络直接作为前馈控制器，而且受控系统的输出等于期望输出*控制精度依赖于逆模型的精度及其自适应能力，由于不存在反馈，此种方法鲁棒性不足

4.5.2NN直接逆控制两种结构方案：4.5.3NN自适应控制NN自校正控制：*NN直接STC：结构基本上与直接逆控制相同，由一个NN控制器和一个能在线修正的NN估计器组成。4.5.3NN自适应控制NN自校正控制*NN间接STC：由一个常规控制器和一个具有离线辨识能力的NN估计器组成，NN估计器需要具有足够高的建模精度。4.5.3NN自适应控制NN参考自适应控制*NN直接MRAC：NNC的主要作用是使被控对象与参考模型的输出之差极小，由于误差的反向传播必须确知被控对象的数学模型，这给NNC的学习和修正带来了很多问题4.5.3NN自适应控制NN参考自适应控制*NN间接MRAC：NNI首先离线辨识被控对象的正向模型，并可由ei(t)进行在线学习修正，NNI为NNC提供误差ec(t)或其变化率的反向传播通道4.5.4NN内模控制系统结构：

-

系统的正向模型NN2直接与实际系统并联，二者之差作为反馈信号，由前向通道的滤波器和NN1控制器处理，NN1控制器直接与系统的逆有关，引入滤波器的目的是为了获得期望的鲁棒性和跟踪响应。4.5.5NN预测控制系统结构：4.5.5NN预测控制系统结构：

-NNP建立被控对象的预测模型，并可在线学习修正，利用此预测模型，可由目前的控制输入u(t)预报出被控对象在将来一段时间范围内的输出值：

-非线性优化器NLO使如下二次型性能指标极小，以便得到适宜的控制作用u(t)：4.5.5NN预测控制控制步骤：

-计算未来的期望输出序列

-利用NN预测模型，产生预报输出

-计算预报误差

-极小化性能指标J，获得最优控制序列

-采用第一控制量u(t)，然后返回第一步4.5.6NN自适应判断控制基本思想：

-应用强化学习的机理，通常由自适应判断网络AJN和控制选择网络CSN两个网络组成

-AJN相当于强化学习需要的教师，其作用：

(1)通过不断的奖惩强化学习，使AJN逐渐训练成一个熟练的教师；(2)经过学习后，根据被控系统的当前状态和外部强化反馈信号r(t)，产生一强化信号，然后提供内部强化信号，以便判断当前控制作用的效果。

-CSN相当于多层前馈NN控制器，它在内部强化信号的引导下学习，通过学习，根据系统编码后的状态在允许控制集中选择下一步的控制作用4.5.6NN自适应判断控制系统结构：4.5.7NN混合控制基本思想：

-该控制方法是集成人工智能各分支的优点，由神经网络与模糊控制、专家系统等相结合而形成的一种具有很强学习能力的智能控制系统。其中，由神经网络和模糊控制相结合构成模糊神经网络，由神经网络和专家系统相结合构成神经网络专家系统等。神经网络混合控制可使控制系统同时具有学习、推理和决策能力4.6Matlab神经网络工具箱NNToolbox包括了多种神经网络模型：

-感知器网络

-线性神经网络

-BP网络

-径向基神经网络

-自组织神经网络

-反馈网络4.6Matlab神经网络工具箱如下函数对任何神经网络都适用：

init——初始化函数

sim——仿真函数

train——训练函数

adapt——自适应学习

new*——生成新网络newc 竞争网络

newcf级联前向网络

newelm elm网络

newff 前向网络

newfftd 时延前向网络

newgrnn 广义回归网络

newhop Hopfield网络

newlin 线性网络

newlind 线性网络设计

newlvq 学习向量量化

newp 感知器

newpnn 概率

newrb 径向基网络

newrbe 严格径向基

newsom 自组织映射4.6Matlab神经网络工具箱感知器神经网络函数生成网络：newp

初始化网络：init，initlay，initwb，initzero

学习规则：learnp，learnpn

变换函数：hardlim，hardlims

画图：plotpv，plotpc

4.6Matlab神经网络工具箱线性神经网络函数生成网络：newlin

设计网络：newlind

学习规则：learnwh

变换函数：purelin4.6Matlab神经网络工具箱BP网络函数生成网络：newff

学习规则：learngd，learngdm

训练算法：Traingd，traingdm，traingda，traingdx，trainlm

变换函数：tansig，purelin，logsig

画图：plotes，plotep，ploterr，barerr4.6Matlab神经网络工具箱RBF网络函数生成网络：newrb，newrbe，newpnn

变换函数：radbas设计网络：solverb,solverbe4.6Matlab神经网络工具箱Hopfield反馈网络函数生成网络：newhop

输入：netsum

权函数：dotprod

变换函数：satlin，satlins4.6Matlab神经网络工具箱竞争学习神经网络函数生成网络：newc，newsom

学习规则：learnk，learnis，learnos，learnh，learnsom

训练：trainc，trainsm

变换函数：compet

画图：plotsm，plotsom4.6Matlab神经网络工具箱应用Matlab设计感知器

*建立一个感知器网络

net=newp(PR,S,TF,LF)

表示输入变量范围(最大最小值)的矩阵神经元个数转换函数，默认为hardlim学习规则，默认为learnp4.6Matlab神经网络工具箱应用Matlab设计感知器

*建立一个感知器网络例:net=newp([-22;-22],1);建立了一个初始w,θ为0的两输入单神经元感知器。若想令初始参数不为0,则:net.iw{1,1}=[-11];net.b{1}=[1];(指定值)net.inputweights{1,1}.initFcn=‘rands’;（随机值）net.biases{1}.initFcn='rands';net=init(net);

4.6Matlab神经网络工具箱应用Matlab设计感知器

*训练

net=train(net,p,t);

*仿真

Y=sim(net,p);已经建立的网络输入向量目标向量4.6Matlab神经网络工具箱例：采用单一感知器神经元解决一个简单的分类问题，将四个输入输出样本分为两类，其中两个样本对应的目标值为1，另两个样本对应的目标值为0，即输入矢量：P=[-0.5-;-0.50.5-0.51.0]

目标分类矢量：T=[1100]4.6Matlab神经网络工具箱应用Matlab函数编程实现：P=[-0.5-0.5+0.3+0.0;-0.5+0.5-0.51.0];%P为输入矢量

T=[1100];%T为目标矢量net=newp([-0.50.3;-0.51],1);%定义感知器神经元并对其初始化

net=train(net,P,T);%训练感知器神经元pause;plotpv(P,T);%画样本的矢量图plotpc(net.iw{1,1},net.b{1});%画分界线4.6Matlab神经网络工具箱误差变化曲线和分类结果：4.6Matlab神经网络工具箱测试网络性能：testpoints=[-0.50.3-0.90.4-0.10.2--0.4;-0.3-0.8-0.4-0.70.4-0.60.1-0.5-0.50.3];%输入测试矢量

a=sim(net,testpoints);%仿真figureplotpv(testpoints,a);%画样本的矢量图plotpc(net.iw{1,1},net.b{1});%画分界线4.6Matlab神经网络工具箱分类结果：4.6Matlab神经网络工具箱应用图形用户界面（GUI）：Tostart,typenntool

Definethenetworkinputandtarget2