智能控制第三章神经网络控制

智能控制第三章神经网络控制第一页，共五十四页，编辑于2023年，星期三1第三章神经网络控制§3-1

神经网络概念一.生物神经元模型3.1.1

神经元模型

脑神经元由细胞体、树突和轴突构成。细胞体是神经元的中心，它一般又由细胞核、细胞膜等组成。树突是神经元的主要接受器，它主要用来接受信息。轴突的作用主要是传导信息，它将信息从轴突起点传到轴突末梢。1.生物神经元组成

轴突末梢与另一个神经元的树突或胞体构成一种突触的机构。通过突触实现神经元之间的信息传递。

第二页，共五十四页，编辑于2023年，星期三2第三章神经网络控制

神经元具有两种常规工作状态：兴奋与抑制，当传入的神经冲动使细胞膜电位升高超过阈值时，细胞进入兴奋状态，产生神经冲动并由轴突输出；当传入的神经冲动使膜电位下降低于阈值时，细胞进入抑制状态，没有神经冲动输出。

2.生物神经元工作状态第三页，共五十四页，编辑于2023年，星期三3二.人工神经元模型人工神经网络是利用物理器件来模拟生物神经网络的某些结构和功能。

1.人工神经元的输入输出变换关系为:

其中:

称为阈值称为连接权系数称为输出变换函数。第三章神经网络控制第四页，共五十四页，编辑于2023年，星期三42.常用的输入输出变换函数第三章神经网络控制

神经元模型的输出函数，它是一个非动态的非线性函数，用以模拟神经细胞的兴奋、抑制以及阈值等非线性特性。

这些非线性函数具有两个显著的特征，一是它的突变性，二是它的饱和性，这正是为了模拟神经细胞兴奋过程中所产生的神经冲动以及疲劳等特性。第五页，共五十四页，编辑于2023年，星期三5第三章神经网络控制3.1.1.人工神经元网络人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其它的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。1.对于每个结点有一个状态变量

一.人工神经元网络的组成原理2.结点

i

到结点j有一个连接权系数

3.对于每个结点有一个阈值4.对于每个结点定义一个变换函数严格说来，神经网络是一个具有如下性质的有向图。其中：第六页，共五十四页，编辑于2023年，星期三6第三章神经网络控制二.典型的神经网络结构：

根据神经元之间连接的拓扑结构上的不同，可将神经网络结构分为两大类：层状结构和网络结构。层状结构的神经网络是由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同层内的神经元不能联接。1.前向网络（前馈网络）下面介绍几种常见的网络结构:2.反馈网络第七页，共五十四页，编辑于2023年，星期三7即网状结构，在这种神经网络结构中，任何两个神经元之间都可能双向联接。4.混合型网络这种神经网络结构，是在前向网络的基础上，在同层、部分神经元之间也可双向联接。第三章神经网络控制3.相互结合型网络第八页，共五十四页，编辑于2023年，星期三8§3-2监督学习及前馈神经网络第三章神经网络控制

具有分层的结构。最前面一层是输入层，中间是隐层，最后一层是输出层。其信息从输入层依次向上传递，直至输出层。这样的结构称为前馈网络。

3.2.1.感知器网络

感知器(perceptron)是最简单的前馈网络，也是早期仿生学的研究成果，主要功能是用于对不同的输入模式进行分类。第九页，共五十四页，编辑于2023年，星期三9第三章神经网络控制一.单层感知器网络

是输入特征向量，

图中

是

到

的连接权，

(j=1,

2,

…,m)

是输出量。也就是按照不同特征的分类结果。

是具有单层神经元、采用线性阈值函数的前馈网络。通过对权值的训练，可使感知器对一组线性可分的输入模式（矢量）进行有效的分类。1.单层感知器的基本结构第十页，共五十四页，编辑于2023年，星期三10第三章神经网络控制2.单层感知器的输入输出变换关系

由于按不同特征的分类是互相独立的，因而可以取出其中的一个神经元来讨论。其输入到输出的变换关系为：若有P个输入样本

该感知器的输出将输入模式分成了两类。它们分属于n维空间的两个不同的部分。(p=1,2,…,P)。第十一页，共五十四页，编辑于2023年，星期三11*以二维空间为例

第三章神经网络控制分界线的方程为:

*值得注意的是：只有那些线性可分模式类才能用感知器来加以区分。

线性不可分问题：典型的例子是异或关系。第十二页，共五十四页，编辑于2023年，星期三12

对于输入矢量x，输出矢量y，目标矢量d，根据以下输出矢量可能出现的情况进行调整：第三章神经网络控制3.感知器网络的学习规则

第十三页，共五十四页，编辑于2023年，星期三13

采用有教师的学习方法进行训练：

1)确定输入矢量x，目标矢量d，各矢量的维数、神经元数和样本数目：n，m，P；

2)参数初始化：

a)输入[x]np，[d]mp；

b)设置(-1,1)随机非零权矢量[w]mn

；

c)给出最大循环次数max_epoch；

3)计算神经网络的实际输出：第三章神经网络控制3.感知器网络的学习算法

第十四页，共五十四页，编辑于2023年，星期三14

4)检查输出y与目标d是否相同，若是，或已达到最大循环次数，训练结束，否则继续；

6)转到3)。权矢量的修正量与输入模式xk成正比。若的取值太大，算法可能出现振荡。取值太小，收敛速度会很慢。单层感知器的局限性：只能解决简单的分类问题，也就是只有在输入矢量是线性可分时，单层感知器才对输入模式进行有效的分类有效。线性不可分问题只能用多层感知器来解决。

第三章神经网络控制第十五页，共五十四页，编辑于2023年，星期三15二.多层感知器网络

第三章神经网络控制1.多层感知器的基本结构如下图多层感知器网络：其中：第0层为输入层，有个神经元，中间层为隐层。

第Q

层为输出层，有个神经元，这时每一层相当于一个单层感知器网络。第十六页，共五十四页，编辑于2023年，星期三162.多层感知器的输入输出变换关系第三章神经网络控制

对于第q

层，它形成一个维的超平面，它对于该层的输入模式进行线性分类。由于多层的组合，最终可实现对输入模式的较复杂的分类。第十七页，共五十四页，编辑于2023年，星期三172.用多层感知器解决线性不可分问题第三章神经网络控制以解决异或关系为例用多层感知器分类过程分析：而对应于、和的输出为-1，

(1)利用上述学习算法，设计连接权系数和，以使得其分界线为下图中的。

此时的直线方程为：

此时对应于的输出为

1，第十八页，共五十四页，编辑于2023年，星期三18第三章神经网络控制

(a)

(b)(2)设计连接权系数

和

，以使得其分界线为

，且使得相应于

和输出为１，相应于

的输出为－1。图（a）中的

、的第十九页，共五十四页，编辑于2023年，星期三19第三章神经网络控制(b)

(3)

在

和平面中（见图b），这时只有三个点

和

，括弧中标出了所对应的第一层的

输入模式。是第二层（即神经元）

和，以使得其分界线为的输入模式。现在只要设计连接权系数

和图（b）中的即可将与区分开来，也即将区分开来，从而正确地与实现了异或关系。由此可见，适当地设计多层感知器网络可以实现任意形状的划分。第二十页，共五十四页，编辑于2023年，星期三203.2.2.BP网络第三章神经网络控制

反向传播(Back-Propagation)网络，简称BP网络，是采用广义d学习规则，对非线性可微分函数进行权值训练的多层（三层或三层以上）前馈网络。

前、后层之间各神经元实现全联接；每层各神经元之间无联接。x1x2xnwij输入层输出层隐含层jik+-wki信息流误差反向传播(学习算法)MqLBP网络主要用于函数逼近、模式识别、分类、数据压缩。一.BP网络的基本结构及原理第二十一页，共五十四页，编辑于2023年，星期三21

属于d算法。基本思想是最小二乘算法：对于P个输入学习样本[x1,x2,…xP]，已知对应的输出样本为[d1,d2,…,dP]。学习的目的是用网络的实际输出[y1,y2,…,yP]与目标矢量[d1,d2,…,dP]之间的误差来修正其权值，使网络输出层的误差平方和达到最小。

设输入层j有M个节点，节点的输出等于其输入。隐含层i有q个节点，激活函数为f1，wij是j层和i层节点之间的联接权值。输出层k有L个节点，激活函数为f2，wki是i层和k层节点之间的联接权值。隐含层和输出层节点的输入是前一层节点的输出的加权和。二.BP网络的基本学习规则

学习过程由正向递推计算实现函数映射和反向传播计算训练权值两步来完成。第三章神经网络控制第二十二页，共五十四页，编辑于2023年，星期三22第三章神经网络控制三.

BP网络的输入输出变换关系

在BP网络结构中，神经元的变换函数通常采用S型函数，因此输出量是0到1之间的连续量，它可实现从输入到输出的任意的非线性映射。具有偏置和调节的Sigmoid激发函数S型激活函数连续可微。其划分的区域由非线性的超平面组成，是柔和、光滑的任意界面，因而划分精确、合理、容错性好。算法上可严格利用梯度法进行推算，权值修正的解析式明确。1.BP网络中神经元的激活函数第二十三页，共五十四页，编辑于2023年，星期三23第三章神经网络控制2.BP网络的前馈计算（BP网络输入到输出的映射计算）前馈计算就是根据神经元所确定的输入输出变换函数，由输入层向输出层执行递推计算。一旦权值满足训练要求，前馈计算结果，能使BP网络实现期望的输入输出变换关系。BP网络的前馈递推算式：第二十四页，共五十四页，编辑于2023年，星期三24四.

BP网络权值的训练及学习功能的实现第三章神经网络控制1.关于训练样本的进一步说明:按照学习理论的观点，BP网络属于监督学习网络。也就是说，BP网络是通过在教师信号（样本）的监督下对连接权值进行适当的训练从而实现学习功能的。（1）训练样本--理想输入输出对的集合，样本来自客观对象，信息集中包含着系统内在的输入输出特性。（2）样本特性--理想的样本应具有真实性和完整性。（3）泛化功能--经过训练的BP网络对于非样被本集中的输入也能给出满足映射要求的输出，即泛化功能（generalization)从函数拟合的观点，这表明BP网络具有插值计算的能力。设有实际应用中的P

组样本其中第p组样本对形式如下：输入样本：输出样本：第二十五页，共五十四页，编辑于2023年，星期三25第三章神经网络控制2.定义误差函数连接权值的训练过程，就是BP网络拟合未知函数得优化计算过程。为了保证拟合精度，取如下算式作为拟合误差函数：总误差函数：一次样本误差函数：其中：是期望输出值与网络实际输出之间的差值。第二十六页，共五十四页，编辑于2023年，星期三26第三章神经网络控制3.权值的训练及反向传播计算过程x1x2xnwij输入层输出层隐含层jik+-wki信息流误差反向传播(学习算法)MqL调整连接权值，以便使误差函数E最小，优化计算通常是采用一阶梯度发来实现的。这种方法的关键是计算优化目标函数（即误差函数）E对寻优参数（即连接权值）的一阶倒数。即：调整连接权值按照反向传播的原则，从输出层开始向前逐一推算。第二十七页，共五十四页，编辑于2023年，星期三27第三章神经网络控制（1）首先计算第Q层（即输出层）其中：(Ⅰ)第二十八页，共五十四页，编辑于2023年，星期三28第三章神经网络控制（2）再计算第Q-1层（即次输出层）其中：(Ⅱ)第二十九页，共五十四页，编辑于2023年，星期三29第三章神经网络控制（3）第q层的反向递推计算根据（Ⅰ）,（Ⅱ）两式可获得反向递推算式：这里的q层是指由Q-1向前递推的任意网络层次（其中：q=Q-2，Q-3，…,1)首先计算←←←←第三十页，共五十四页，编辑于2023年，星期三30在每一层的反向递推计算第三章神经网络控制需要说明的是：中都出现导数项。该项的计算，与所取的激活函数直接相关。比如，取变换函数为S型函数，那么其导数项可计算如下：由于：所以：第三十一页，共五十四页，编辑于2023年，星期三31最后可归纳出BP网络的学习算法如下：

第三十二页，共五十四页，编辑于2023年，星期三32五.神经网络的局限性及其改进第三章神经网络控制BP网络的学习算法属于全局逼近的方法，因而它具有较好的泛化能力，但也由此使BP网络得应用具有很大的局限性。主要缺点是：·收敛速度慢·局部极值·难以确定隐层和隐结点的个数以上问题，直接影响了BP网络在多种领域中的实际应用。现有的研究成果已经提供了许多改进算法。比较典型的方法有：引用动量项法、变尺度法、变步长法。近年来，又有人提出：误差函数的改进法、双极性S型激活函数法，等等改进措施。第三十三页，共五十四页，编辑于2023年，星期三33第三章神经网络控制1、引入动量项

为k时刻的负梯度。

为学习率，

>0。

为动量项因子，。

该方法所加入的动量项实质上相当于阻尼项，它减小了学习过程的振荡趋势，改善了收敛性，这是目前应用比较广泛的一种改进算法。根据经验数据动量项因子取0.95比较适合第三十四页，共五十四页，编辑于2023年，星期三34

2.变尺度法

标准的BP学习算法所采用的是一阶梯度法，因而收敛较慢。若采用二阶梯度法，则可以大大改善收敛性。二阶梯度法的算法为其中第三章神经网络控制第三十五页，共五十四页，编辑于2023年，星期三35虽然二阶梯度法具有比较好的收敛性,但是它需要计算E对w的二阶导数，这个计算量是很大的。所以一般不直接采用二阶梯度法，而常常采用变尺度法或共轭梯度法，它们具有如二阶梯度法收敛较快的优点，而又无需直接计算二阶梯度。下面具体给出变尺度法的算法。

第三章神经网络控制第三十六页，共五十四页，编辑于2023年，星期三363.变步长法

当连续两次迭代其梯度方向相同时，表明下降太慢，这时可使步长加倍；当连续两次迭代其梯度方向相反时，表明下降过头，这时可使步长减半。当需要引入动量项时，上述算法的第二项可修改为

第三章神经网络控制第三十七页，共五十四页，编辑于2023年，星期三37第三十八页，共五十四页，编辑于2023年，星期三38第三十九页，共五十四页，编辑于2023年，星期三395、双极性S型激活函数法4、误差函数的改进

一般对数S型激活函数的输出动态范围为(0,1)，引起权值调节量的减少或不调节，加长了训练时间。解决方法：将输入范围变为1/2，同时使S型函数的输出范围也变为1/2。第三章神经网络控制第四十页，共五十四页，编辑于2023年，星期三40第三章神经网络控制第四十一页，共五十四页，编辑于2023年，星期三41(1)产生数据样本集(2)确定网络的类型和结构(3)训练和测试

3.2.3神经网络的训练第四十二页，共五十四页，编辑于2023年，星期三42(1)产生数据样本集

这里包括原始数据的收集、数据分析、变量选择以及数据的预处理。

首先要在大量的原始测量数据中确定出最主要的输入模式。这就需要对原始数据进行统计分析，检验它们之间的相关性。找出其中最主要的量作为输入。

第四十三页，共五十四页，编辑于2023年，星期三43在确定了最重要的输入量后，需进行尺度变换和预处理。尺度变换常常将它们变换到

[-1,1]或[0,1]的范围。在进行尺度变换前必须先检查是否存在异常点（或称野点），这些点必须剔除。对于一个复杂问题应该选择多少数据，这也是一个很关键的问题。系统的输入输出关系就包含在这些数据样本中。所以一般说来，取的数据越多，学习和训练的结果便越能正确反映输入输出关系。第四十四页，共五十四页，编辑于2023年，星期三44

但是选太多的数据将增加收集、分析数据以及网络训练的所付的代价。选太少的数据则可能得不到正确的结果。事实上数据的多少取决于许多因素，如网络的大小、网络测试的需要以及输入输出的分布等。其中网络大小最关键。通常较大的网络需要较多的训练数据。一个经验规则是：训练模式应是连接权总数的5至10倍。第四十五页，共五十四页，编辑于2023年，星期三45在神经网络训练完成后，需要有另外的测试数据来对网络加以检验，测试数据应是独立的数据集合。最简单的方法是：将收集到的可用数据随机地分成两部分，譬如说其中三分之二用于网络的训练，另外三分之一用于将来的测试，随机选取的目的是为了尽量减小这两部分数据的相关性。影响数据大小的另一个因数是输入模式和输出结果的分布，对数据预先加以分类可以减少所需的数据量。相反，数据稀薄不匀甚至互相覆盖则势必要增加数据量。第四十六页，共五十四页，编辑于2023年，星期三46(2)确定网络的类型和结构

在训练神经网络之前，首先要确定所选用的网络类型。若主要用于模式分类，尤其是线性可分的情况，则可采用较为简单的感知器网络，若主要用于函数估计，则可应用BP网络。实际上，神经网络的类型很多，需根据问题的性质和任务的要求来合适地选择网络类型。一般是从已有的网络类型中选用一种比较简单而又能满足要求的网络。

第四十七页，共五十四页，编辑于2023年，星期三47在网络的类型确定后，剩下的问题是选择网络的结构和参数。以BP网络为例，需选择网络的层数、每层的节点数、初始权值、阈值、学习算法、节点变换函数及参数、学习率及动量项因子等参数。这里有些项的选择有一些指导原则，但更多的是靠经验和试凑。

第四十八页，共五十四页，编辑于2023年，星期三48具体选择有如下两种方法：

a.先设置较少节点，对网络进行训练，并测试网络的逼近误差，然后逐渐增加节点数，直到测试的误差不再有明显减小为止。

对于具体问题若确定了输入和输出变量后，网络输入层和输出层的节点个数也便随之确定了。对于隐层的层数可首先考虑只选