人工神经网络简介

1,人工神经网络,2,神经网络是在生物功能启示下建立起来的一种数据处理技术。它是由大量简单神经元互连而构成的一种计算结构，在某种程度上模拟生物神经系统的工作过程，从而具备解决实际问题的能力。神经网络具有很强的自适应性和学习能力、非线性映射能力、鲁棒性和容错能力。,3,1.1神经网络概念,神经元模型生物神经元模型脑神经元由细胞体、树突和轴突构成。细胞体是神经元的中心，它一般又由细胞核、细胞膜等组成。树突是神经元的主要接受器，它主要用来接受信息。轴突的作用主要是传导信息，它将信息从轴突起点传到轴突末梢。轴突末梢与另一个神经元的树突或胞体构成一种突触的机构。通过突触实现神经元之间的信息传递。,4,5,生物神经元工作状态神经元具有两种常规工作状态：兴奋与抑制，当传入的神经冲动使细胞膜电位升高超过阈值时，细胞进入兴奋状态，产生神经冲动并由轴突输出；当传入的神经冲动使膜电位下降低于阈值时，细胞进入抑制状态，没有神经冲动输出。,6,人工神经元模型(MP模型)人工神经网络是利用物理器件来模拟生物神经网络的某些结构和功能。人工神经元的输入与输出关系:其中：为阈值为连接权值为激活函数,7,常用的输入输出函数(基函数&激活函数):,神经元模型的输出函数，它是一个非动态的非线性函数，用以模拟神经细胞的兴奋、抑制以及阈值等非线性特性。,这些非线性函数具有两个显著的特征，一是它的突变性，二是它的饱和性，这正是为了模拟神经细胞兴奋过程中所产生的神经冲动以及疲劳等特性。,8,人工神经元网络人工神经元网络的组成原理人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其它的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。,9,严格说来，神经网络是一个具有如下性质的有向图。对于每个结点有一个状态变量结点i到结点j有一个连接权系数对于每个结点有一个阈值对于每个结点定义一个变换函数,其中：,10,典型神经网络结构根据神经元之间连接的拓扑结构上的不同，可将神经网络结构分为两大类：层状结构和网络结构。层状结构的神经网络是由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同层内的神经元不能联接。,11,几种常见的网络结构,前向网络（前馈网络）不含反馈的前向网络的结构形态。网络中的神经元分层排列，接受输入量的神经元节点组成输入层，产生输出量的神经元节点组成输出层，中间层亦称为隐层，可以有若干层隐层。每一层的神经元只接受前一层神经元的输入，输入向量经过各层的顺序变换后，由输出层得到输出向量。,12,从输出层到输入层有反馈的前向网络从输出层到输入层有反馈的前向网络简称为反馈神经网络。网络中的神经元也是分层排列，但是输入层神经元在学习过程中接受输出层神经元或部分输出层神经元的反馈输入。,13,层内有相互结合的前向网络每一层的神经元除接受前一层神经元的输入之外，也可接受同一层神经元的输入。通过层内神经元之间的相互结合，可以实现同层神经元之间横向的抑制或兴奋机制，从而可以限制一层内能同时动作的神经元的个数。,14,相互结合型网络这种网络中任意两个神经元之间都可能有连接。在不含反馈的前向网络中，输入信号一旦通过某个神经元就将输出这个信号的变换值。但是，在相互结合型网络中，输入信号要在神经元之间反复往返传递，网络处于一种不断改变状态的动态之中。从某初态开始，经过若干次的状态变化，网络才会到达某种稳定状态，根据网络的结构和神经元的映射特性，网络还有可能进入周期振荡或其他平衡状态，如混沌状态。,15,神经网络的学习方法及规则学习方式：有导师学习和无导师学习学习就是对信息进行编码,其目的就是通过向有限个例子（训练样本）的学习来找到隐藏在例子背后的规律（如函数形式），即，重复的修正权值Wi。监督就是对每一个输入Xi,都假定我们已经知道它的期望输出Yi,这个Yi可以理解为监督信号，也叫“导师信号”。对每一个输入Xi及其对其估计的期望输出Yi，就构成了一个训练样本。,16,学习种类一般说来学习的种类有四种：Hebb学习规则，离散感知器学习规则，W-H学习规则及学习规则。有导师学习主要使用的是学习律，所以，在此主要介绍学习律。学习律：用已知例子作为导师对网络的权值进行学习。其规则是通过神经网络理想输出和实际输出之间的误差来修正网络的权值。在很多神经网络中，都采用了这种学习方法，如单层及多层感知器和BP算法等。,17,1.2前馈神经网络,前馈神经网络的概念具有分层的结构。最前面一层是输入层，中间是隐层，最后一层是输出层。其信息从输入层依次向上传递，直至输出层。这样的结构称为前馈网络。感知器网络感知器(perceptron)是最简单的前馈网络，也是早期仿生学的研究成果，主要功能是用于对不同的输入模式进行分类。,18,单层感知器网络是具有单层神经元、采用线性阈值函数的前馈网络。通过对权值的训练，可使感知器对一组线性可分的输入模式（矢量）进行有效的分类。单层神经元的基本结构系统输入向量是到的连接权值(j=1,2,m)系统输出量，亦即分类结果,19,单层感知器输入输出变换关系由于按不同特征的分类是互相独立的，因而可以取出其中的一个神经元来讨论。其输入到输出的变换关系为：若有P个输入样本，(p=1,2,P)，感知器的输出将输入模式分成了两类。它们分属于n维空间的两个不同的部分。,20,*以二维空间为例,分界线的方程为:,*值得注意的是：,只有那些线性可分模式类才能用感知器来加以区分。,线性不可分问题：,典型的例子是异或关系。,21,感知器网络的学习规则对于输入矢量x，输出矢量y，目标矢量d，根据以下输出矢量可能出现的情况进行调整：,22,感知器网络的学习算法,1)确定输入矢量x，目标矢量d，各矢量的维数、神经元数和样本数目：n，m，P；2)参数初始化：a)输入xnp，dmp；b)设置(-1,1)随机非零权矢量wmn；c)给出最大循环次数max_epoch；3)计算神经网络的实际输出：,23,4)检查输出y与目标d是否相同，若是，或已达到最大循环次数，训练结束，否则继续；,6)转到3)。,24,权矢量的修正量与输入模式成正比。若的取值太大，算法可能出现振荡。取值太小，收敛速度会很慢。单层感知器的局限性：只能解决简单的分类问题，也就是只有在输入矢量是线性可分时，单层感知器才对输入模式进行有效的分类有效。线性不可分问题只能用多层感知器来解决。,25,多层感知器网络多层神经元的基本结构如下图多层感知器网络：其中：第0层为输入层，有个神经元，中间层为隐层。第Q层为输出层，有个神经元，这时每一层相当于一个单层感知器网络。,26,多感知器输入输出变换关系对于第q层，它形成一个维的超平面，它对于该层的输入模式进行线性分类。由于多层的组合，最终可实现对输入模式的较复杂的分类。,27,(1)利用上述学习算法，设计连接权系数和，以使得其分界线为下图中的。,此时对应于的输出为1，0,此时的直线方程为：,用多层感知器解决线性不可分问题以异或问题为例,用多层感知器分类过程分析：,而对应于、和的输出为-1，,28,(2)设计连接权系数，和，以使得其分界线为图(a)中的，且使得相应于，和的输出为1，相应于的输出为-1,(a),(b),29,(3)在,和,平面中（见图b），这时只有三个点,和,，括弧中标出了所对应的第一层的,输入模式。,是第二层（即神经元）,和,，以使得其分界线为,的输入模式。,现在只要设计连接权系数,和,图（b）中的,即可将,与,区分开来，也即将,区分开来，从而正确地,与,实现了异或关系。,由此可见，适当地设计多层感知器网络可以实现任意形状的划分。,30,1.3BP网络,BP网络的基本结构及原理反向传播(Back-Propagation)网络，简称BP网络，是采用广义d学习规则，对非线性可微分函数进行权值训练的多层（三层或三层以上）前馈网络。BP网络主要用于函数逼近、模式识别、分类、数据压缩。特点：,前、后层之间各神经元实现全联接；每层各神经元之间无联接。,31,BP网络学习规则属于d算法。基本思想是最小二乘算法：对于P个输入学习样本，已知对应的输出样本为。学习的目的是用网络的实际输出与目标矢量之间的误差来修正其权值，使网络输出层的误差平方和达到最小。学习过程由正向递推计算实现函数映射和反向传播计算训练权值两步来完成。,32,设输入层j有M个节点，节点的输出等于其输入。隐含层i有q个节点，激活函数为，是j层和i层节点之间的联接权值。输出层k有L个节点，激活函数为，是i层和k层节点之间的联接权值。隐含层和输出层节点的输入是前一层节点的输出的加权和。,33,输入输出变换关系神经元的激活函数在BP网络结构中，神经元的变换函数通常采用S型函数，因此输出量是0到1之间的连续量，它可实现从输入到输出的任意的非线性映射。,具有偏置和调节的Sigmoid激发函数,S型激活函数连续可微。其划分的区域由非线性的超平面组成，是柔和、光滑的任意界面，因而划分精确、合理、容错性好。算法上可严格利用梯度法进行推算，权值修正的解析式明确。,34,BP网络的前馈计算前馈计算就是根据神经元所确定的输入输出变换函数，由输入层向输出层执行递推计算。一旦权值满足训练要求，前馈计算结果，能使BP网络实现期望的输入输出变换关系。BP网络的前馈递推算式：,35,BP网络权值的训练及学习功能的实现关于训练样本的进一步说明按照学习理论的观点，BP网络属于监督学习网络。也就是说，BP网络是通过在教师信号（样本）的监督下对连接权值进行适当的训练从而实现学习功能的。训练样本-理想输入输出对的集合，样本来自客观对象，信息集中包含着系统内在的输入输出特性。设有实际应用中的P组样本其中第p组样本对形式如下：输入样本：输出样本：,36,样本特性-理想的样本应具有真实性和完整性。泛化功能-经过训练的BP网络对于非样被本集中的输入也能给出满足映射要求的输出，即泛化功能（generalization)从函数拟合的观点，这表明BP网络具有插值计算的能力。,37,定义误差函数连接权值的训练过程，就是BP网络拟合未知函数得优化计算过程。为了保证拟合精度，取如下算式作为拟合误差函数：样本误差函数总误差函数是期望输出值与网络实际输出之间的差值。,38,权值的计算和反向传播计算过程调整连接权值，以使误差函数E最小，优化计算通常采用一阶梯度来实现。关键是计算优化目标函数（即误差函数）E对寻优参数（即连接权值）的一阶倒数。即：,调整连接权值按照反向传播的原则，从输出层开始向前逐一推算。,39,首先计算第Q层（即输出层）其中,40,再计算第Q-1层（即隐层）其中,41,第q层的反向递推计算这里的q层是指由Q-1向前递推的任意网络层次（q=Q-2，Q-3，,1),42,需要说明的是：,在每一层的反向递推计算中都出现导数项。该项的计算，与所取的激活函数直接相关。比如，取变换函数为S型函数，那么其导数项可计算如下：,由于：,所以：,43,BP网络权系数学习算式：,此项是连接权值一次学习的增量,是学习率，选的太小收敛慢，太大系统会产生振荡,其中：,44,可归纳BP网络的学习算法：,45,初始化,加输入和期望输出,计算隐层和输出层的输出,迭代次数加1,调节输出层和隐层的连接权值,改变训练样板,训练样终止？,迭代终止？,No,No,y,y,(1)初始化,a)置所有权值和阈值为较小的随机数；,b)提供训练集，xMP，dLP；,c)期望误差最小值、最大循环次数、学习速率；,(2)计算各层输出Oi，Ok；,(3)计算目标值与网络实际输出的误差平方和E；,(4)检查：若E不大于期望误差最小值，或已达最大循环次数，训练结束，否则继续；,(5)计算各层反传误差dki、dij，并计算各层权值和阈值的修正值及新值；,(6)返回2。,BP学习算法的计算步骤,46,BP神经网络的局限性及其改进BP网络的学习算法属于全局逼近的方法，因而它具有较好的泛化能力，但也由此使BP网络得应用具有很大的局限性。收敛速度慢局部极值难以确定隐层和隐结点的个数以上问题，直接影响了BP网络在多种领域中的实际应用。现有的研究成果已经提供了许多改进算法。比较典型的方法有：引用动量项法、变尺度法、变步长法。近年来，又有人提出：误差函数的改进法、双极性S型激活函数法，等等改进措施。,47,引入动量项,为k时刻的负梯度。为学习率，0。为动量项因子，。,该方法所加入的动量项实质上相当于阻尼项，它减小了学习过程的振荡趋势，改善了收敛性，这是目前应用比较广泛的一种改进算法。,根据经验数据动量项因子取0.95比较适合,48,变尺度法,标准的BP学习算法所采用的是一阶梯度法，因而收敛较慢。若采用二阶梯度法，则可以大大改善收敛性。二阶梯度法的算法为,其中,49,虽然二阶梯度法具有比较好的收敛性,但是它需要计算E对w的二阶导数，这个计算量是很大的。所以一般不直接采用二阶梯度法，而常常采用变尺度法或共轭梯度法，它们具有如二阶梯度法收敛较快的优点，而又无需直接计算二阶梯度。下面具体给出变尺度法的算法。,50,变步长法,当连续两次迭代其梯度方向相同时，表明下降太慢，这时可使步长加倍；当连续两次迭代其梯度方向相反时，表明下降过头，这时可使步长减半。当需要引入动量项时，上述算法的第二项可修改为,51,误差函数的改进,52,双极性S型激活函数法一般对数S型激活函数的输出动态范围为(0,1)，引起权值调节量的减少或不调节，加长了训练时间。解决方法：将输入范围变为1/2，同时使S型函数的输出范围也变为1/2。,53,54,前向模型辨识结构图,1.4基于神经网络的非线性系统辨识,前向模型辨识前向模型辨识基本结构神经网络前向建模就是利用系统的输入输出数据训练神经网络，使神经网络具有与系统相同的输入输出关系，其结构如右图所示：在这种结构中，神经网络模型与被建模的对象并联，建模对象输出与网络输出之差作为网络的训练信号。这种学习结构是监督学习，被建模的对象直接地提供一个目标值，系统输出。,55,反向模型辨识动态系统的反向（逆）模型在自动控制中是非常重要的。基于神经网络的反向建模方法如后图所示：作为对象p的逆模型的神经网络C位于对象之前，网络模型的输出u作为被控对象的输入。若C为p的逆模型，则应有。否则，学习算法根据其偏差调整神经网络C的权值，,56,反向模型辨识框图,在该结构中也可以再包含一个被控对象的前向模型。误差信号可以取；当存在噪声时也可以取。因为学习过程是基于对象的理想输出和实际输出的偏差，所以是有目的的学习。,57,1.5基于神经网络的智能控制,1.5.1神经网络控制概述神经网络控制的基本思想基于模型的传统控制方式，是根据被控对象的数学模型及对控制系统的性能指标来设计控制器，并对控制规律加以数学描述；模糊控制是基于专家经验和领域知识总结出若干条模糊控制规则，构成描述具有不确定性复杂对象的模糊关系，通过被控系统输出误差、误差变化和模糊关系的推理合成获得控制量，从而对系统实施控制。这两种控制方式都具有显示表达知识的特点，而神经网络不善于显示表达知识，但是它具有很强的逼近非线性函数的能力，即非线性映射能力。把神经网络用于控制正是利用它的这个独特优点。,58,基本原理下图给出了一般反馈控制系统的原理图，设被控制对象的输入u和系统输出y之间满足如下非线性函数关系：y=g(u),59,控制的目的是确定最佳的控制量输入u，使系统的实际输出y等于期望的输出yd。在该系统中，设神经网络的函数关系为：u=f(yd)为了满足系统输出y等于期望的输出yd，将式(b)代入(a)式，可得:y=gf(yd)其结构图如图b)所示。,显然，当f()=g-1()时，满足y=yd的要求。,60,神经网络在控制中的作用在基于精确模型的各种控制结构中充当对象的模型。在反馈控制系统中直接充当控制器。在传统控制系统中起优化计算作用。在与其它智能控制方法和优化算法的融合中，为其提供非参数化对象模型、优化参数、推理模型及故障诊断等。神经网络具有大规模并行处理，信息分布存储，连续时间的非线性动力学特性，高度的容错性和鲁棒性，自组织、自学习和实时处理等特点，因而神经网络在控制系统中得到了广泛的应用。,61,1.5.2神经网络控制的典型结构及原理,神经网络监督控制基本的神经网络监督控制当被控对象的解析模型未知或部分未知时，利用传统的控制理论设计控制器是极其困难的。在许多实际控制问题中，都是采用人工控制。取代人工控制的途径大致有两种。是构造专家控制器或模糊控制器。是对人工控制器建模，用神经网络控制器代替。这种方法称为神经网络监督控制或COPY控制。,缺点是：由于人工控制器是靠人眼观测实现反馈控制的，改用神经网络控制器后，由于缺乏视觉反馈，此时系统为开环。因此使系统稳定性和鲁棒性无法得到保证。,62,神经网络监督控制改进结构改进方案在PID控制器基础上，再增加一个神经网络控制器，如下图所示：结构特点及工作原理结构特点：此时神经网络控制器实际是一个前馈控制器，因此它建立的是被控对象的逆模型。,63,工作原理：由上图可见，神经网络控制器通过向传统控制器的输出进行学习，在线调整自己，目标是使反馈误差e(t)或趋近于零，从而使自己逐渐在控制作用中占据主导地位，以便最终取消反馈控制器的作用。但与上述结构不同，这里的反馈控制器仍然存在，一但系统出现干扰等，反馈控制器仍然可以重新起作用。因此，采用这种前馈加反馈的监督控制方法，不仅可确保控制系统的稳定性和鲁棒性，而且可有效地提高系统的精度和自适应能力。,64,1.6神经网络PID控制,神经网络有许多潜在的优势，通常将人工神经网络技术与传统的控制理论或智能技术综合使用。BP神经网络具有逼近任意非线性函数的能力，而且结构和学习算法简单明确。通过神经网络自身的学习，可以找到某一最优控制律下的PID参数。基于BP神经网络的PID控制系统结构如图所示，控制器由两个部分组成：经典的PID控制器：直接对被控对象进行闭环控制，并且KP,KI,KD三个参数为在线整定；神经网络NN：根据系统的运行状态，调节PID控制器的参数，以期达到某种性能指标的最优化。即使输出层神经元的输出状态对应于PID控制器的三个可调参数KP,KI,KD，通过神经网络的自学习、调整权系数，从而使其稳定状态对应于某种最优控制律下的PID控制器参数。,65,1.6.1基于神经网络参数自学习PID控制,66,基于BP神经网络的PID控制算法可归纳如下：1).事先选定BP神经网络NN的结构，即选定输入层节点数M和隐含层节点数Q，并给出权系数的初值w(2)ij(0),w(3)li(0)，选定学习速率和平滑因子，k=1；2).采样得到r(k)和y(k)，计算e(k)=z(k)=r(k)-y(k)；3).对r(i),y(i),u(i-1),e(i)进行归一化处理，作为NN的输入；4).前向计算NN的各层神经元的输入和输出，NN输出层的输出即为PID控制器的三个可调参数KP(k),KI(k),KD(k)；5).计算PID控制器的控制输出u(k)，参与控制和计算；6).计算修正输出层的权系数w(3)li(k)；7).计算修正隐含层的权系数w(2)ij(k)；8).置k=k+1，返回到“2）”。,67,1.6.2改进型BP神经网络控制参数自学习PID控制,将神经网络用于控制器的设计或直接学习计算控制器的输出（控制量），一般都要用到系统的预测输出值或其变化量来计算权系数的修正量。但实际上，系统的预测输出值是不易直接测得的，通常的做法是建立被控对象的预测数学模型，用该模型所计算的预测输出来取代预测处的实测值，以提高控制效果。,68,1采用线性预测模型的BP神经网络PID控制器,69,采用线性预测模型的BP神经网络PID控制系统算法归纳如下：1).事先选定BP神经网络NN的结构，即选定输入层节点数M和隐含层节点数Q，并给出权系数的初值w(2)ij(0),w(3)li(0)，选定学习速率和平滑因子，k=1；2).用线性系统辨识法估计出参数矢量(k)，从而形成一步预报模型式；3).采样得到r(k)和y(k)，计算e(k