机器学习基础教程课件：神经网络学习算法

神经网络学习算法

4.1概述4.2典型前馈型神经网络4.3典型反馈型神经网络4.4其他典型神经网络4.1概述神经网络算法属于人工智能中的连接主义学派。连接主义又称为仿生学派，认为机器学习应该考察人类神经的工作模式、模仿人脑的工作方式进行学习。因此，神经网络主要着眼于对人类神经元的理解和研究。目前，虽然对于人类众多神经元的精微细致结构还不彻底清楚，但是一般的典型神经元结构已经比较明晰了，其基本的连接结构示意图如图4.1所示。4.1概述神经元由细胞体和突起两部分组成。细胞体由细胞核、细胞质以及细胞膜构成。细胞膜主要包覆在细胞周围，与细胞外部相隔离。由于人体中有电解质，因此细胞内外有一定的电位差；细胞质是含水大约80%的半透明物质。细胞核使整个细胞最重要的部分，是细胞的控制中心。突起部分包括树突、轴突和突触。树突是神经元延伸到外部的纤维状结构。这些纤维状结构在离神经元细胞体近的根部比较粗壮，然后逐渐分叉、变细，像树枝一样散布开来，所以称为树突。树突的作用是接受来自其他神经元的刺激（输入信号），然后将刺激传送到细胞体中。轴突是神经元伸出的一条较长的突起，甚至可达1米左右，其粗细一般均匀一致。轴突主要用来传送神经元的刺激，也称为神经纤维。突触是神经元之间相互连接的部位，同时传递神经元的刺激。髓鞘则是包在轴突外部的膜，用来保护轴突，同时也起一定的“屏蔽”作用。4.1概述神经元对于外界刺激的响应是阈值型的非线性。外部的刺激是以电信号的形式作用于神经元的，如果电位的值没有超过一定的阈值（-55mV）时，细胞就处在不兴奋的状态，称为静息状态。当外部的刺激使神经元的电位超过阈值，神经元就开始兴奋。神经元兴奋后又恢复到静息状态时，会有一定时间的不应期，也就是在一段时间内，即使神经元受到了新的刺激也不会产生兴奋了。在度过不应期之后，当新的刺激来到并突破阈值时，神经元才会再度响应。从此可以看出，神经元的响应是非线性的过程，而且与刺激的强度和频度是有关系的。刺激在被神经元响应后经过轴突传送到其他神经元，在经过突触与其他神经元接触后进入其他神经元的树突，相当于电子线路中的输入/输出接口。整个过程与信息传递的过程非常类似。4.1概述单个神经元与成百上千个神经元的轴突相互连接，可以接受到很多属兔发来的信息，在接受到这些信息后神经元就对其进行融合和加工。这种融合和加工的方式是比较复杂的，但是有一点是肯定的，就是这种融合加工过程是非线性的。当很多个神经元按照这样的方式连接起来后，就可以处理一些外部对神经元的刺激（输入信号）了。受到以上的神经元工作方式启发，连接主义的机器学习专家们得出了一套关于神经网络工作的特点，那就是：神经网络是由大量神经元组成的，单个神经元工作的意义不大。信息处理方式是分布式的，每个神经元既要自行处理一部分信息，同时也要协同工作，将信息送给与之连接的、相应的神经元。神经网络的构成是层级式的，每一层的任务完成后进行下一步的传递。神经元响应刺激（输入信号）是阈值式的，其内部对于信息的处理也是非线性的。4.1概述在得出这些特点后就可以构建人工的单个神经元，然后将这些人工的神经元按照一定的规则来凝结起来就够成的人工的神经网络。人工神经元的基本结构如图4.2所示。4.1概述单个人工神经元可以理解为一个多输入单输出的结构，从每个输入都有不同的权值，用表示，这就相当于真实神经元的树突；加权后的输入被统一集中起来进行信息的融合，在单个人工神经元里用简单求和来表示各种加权后输入信息的集中和融合；在进行信息融合后与一个阈值进行比较用来模仿真实神经元的阈值相应特性；而此后在进行信息的处理，信息处理通常由一个非线性函数来进行，这个非线性函数称为活化函数，代表了神经元被激活的意义。在有些文献中，活化函数也被称为激活函数、变换函数、转移函数等等。在某些文献里将活化函数称为传递函数，这是不可取的！因为容易和其他相近学科的专有名词混淆，例如控制理论里所说的传递函数和活化函数的意义就有很大区别！这样，就可以用以下公式来描述单个神经元的输入输出关系：4.1概述式中，Xi为多个输入数据源，wi为与各个输入相对应的权值，为该神经元的阈值，为非线性的活化函数，y为神经元的输出。非线性的活化函数可以自行确定，但一般神经网络的活化函数包含这么几种：（一）开关特性的活化函数开关特性是一种典型的非线性函数，其数学表达为：这是单极性的开关特性活化函数，与之相应，还有双极性的开关特性活化函数，即：4.1概述图4.3给出了开关特性活化函数的图像。图4.3（a）为单极性开关特性活化函数的图像，图4.3（b）为双极性开关特性活化函数的图像。4.1概述二）线性饱和特性的活化函数线性饱和特性活化函数是先行函数在到达一定之值后就进入了饱和区的函数，其数学表达为：式中，k为线性区的直线斜率，c,-c为进入饱和区后的饱和值。线性饱和特性活化函数的图像如图4.4所示。4.1概述（三）Sigmoid型的活化函数Sigmoid函数是一个在生物学中的常用的曲线，用来描述生长过程，因此也称为生长曲线。其外形类似于反正切函数，但表达形式不同。同开关特性活化函数一样，Sigmoid型的活化函数也有单极性、双极性之分。单极性的Sigmoid型活化函数为：式中，为其参数，影响着其形状。双极性的Sigmoid型活化函数为：4.1概述Sigmoid型活化函数的图像如图4.5所示。图4.5（a）为单极性Sigmoid型活化函数的图像，（b）为双极性Sigmoid型活化函数的图像。4.1概述（四）钟形活化函数钟形活化函数是指这类函数的图像象一只倒置的钟，凡是符合这种特点的函数都可以称之为钟形函数。例如正太分布的概率密度曲线就是一种钟形函数。逆二次径向基函数也属于钟形函数，即：式中，为其参数。钟形活化函数的图像如图4.6所示。由于钟形函数关于中心对称，因此也成为径向基函数，在径向基神经网络中将会进行较为详细的讨论。此外，还有概率型的活化函数，将某种概率分布函数作为活化函数，输出的是其取值的概率。活化函数的选取较为灵活，不同的活化函数会给神经网络带来不同的效果。以上列举的是较为经典和常用的活化函数，在实际工作中应该按照神经网络的运行情况来对活化函数进行选取。4.1概述神经网络从信息传递的流向来分，分为前馈型网络和反馈型网络两种形式。前馈型网络是指信息的流向是从输入端向输出端逐层传递，信息流向是单向性的。如图4.7所示。这种网络的拓扑形式是层级型的，除了输入部分的层级（输入层）和输出部分（输入层）的层级外，在这两层之间还可以包含很多层级。输入、输出层是输入、输出的信息是可以观察和检测到的。而中间的这些层级是前馈型神经网络内部进行运算和信息处理的，不容易被观察到，因此也称为隐含层或隐层。隐含层可以有一层或多层。4.1概述4.1概述

反馈型神经网络是将各输出神经元与输入神经元构成反馈回路，形成闭环结构的一种网络。信息的流向不再是单纯一个方向的。最简单的反馈型神经网络结构如图4.8所示。4.1概述之所以称其为简单反馈型神经网络是说一个输出神经元仅仅为一个输入神经元提供了反馈。如果一个输出神经元可以为全部的输入神经元提供反馈就构成了全互联型反馈神经网络。反馈的结构势必会带来关于稳定性的讨论，反馈型神经网络也不例外，其稳定性也是需要重点考虑的问题之一。此外，从这两种神经网络的拓扑关系可以看到在同一级的神经元之间并没有信息的交换。因此依旧保持了一种层级的拓扑关系。如果将在同一层级的神经元进行联系，就构成了一种网状的全互联神经网络结构。前馈型神经网络的拓扑结构可以有很多种形式，但从信息的流向来看主要就是前馈型和反馈型两种网络。下面将对这两种形式的神经网络进行介绍。4.2典型前馈型神经网络在前馈型神经网络中，最初出现的就是感知机，所谓的感知机是在神经元的活化函数采用最简单的开关特性的活化函数。最简单的感知机是仅有一层神经元，并没有隐含层的感知机，即单层感知机。其基本的运行方式遵循基本前馈网络的机制。分类问题是人工智能和机器学习领域中一直重点讨论的问题之一，因为这涉及到模式识别的问题。在我国古典典籍中也有“是非之心，智之端也。”（《孟子·公孙丑上》）的说法。这从另外一个侧面也说明能够正确地进行分类是“智能”的体现。对于分类问题，最为简单的情况就是线性分类的问题，问题的基本表述在第三章已经给出了。4.2典型前馈型神经网络下面来看感知机是怎样处理分类问题的。如图4.9所示的线性分类问题。在二维平面上有两类点，要对这两类点进行分类只需要找到图中所示的分类线就可以了。对于二维线性可分问题，可以设置单层感知机来进行分类。如图4.10所示，4.2典型前馈型神经网络如图4.9所示，由于只有二维数据，因此可设置两个输入神经树突即可。这样输入的数据经加权后进行融合，即：w1x1+w2x2；然后和阈值进行比较：最后，代入式（4.3）的开关型活化函数进行处理。在建立其基本网络结构和运算规则后就开始对这个“智能体”进行训练。4.2典型前馈型神经网络训练的过程如下：Step1:首先对权、阈值赋初值，。这些值可以任意赋，但一般都先赋较小的正值；Step2:输入样本对，R为希望的分类结果；Step3:根据活化函数，计算实际的输出结果；Step4:对比实际输出结果和希望的结果对权值和阈值进行调整；Step5:返回Step2，输入新样本进行训练，直至所有的样本都分类正确为止。从以上训练单层感知机的步骤可以看出，所谓训练的整个过程就是在这个二维平面上不断地调整这条分类线的斜率和截距，使之能够达到正确分类的目的。在进行调整的过程中，并不是进行漫无目的试凑和“瞎碰”，而是要遵循一定的规则，例如，对于权值的调整应该遵循以下的原则：4.2典型前馈型神经网络式中，分别为迭代前后的权值，代表希望的分类结果与实际分类结果的偏差，为学习速率系数。在调整过程中，总的方向是要使希望的分类结果与实际分类结果的偏差尽量小，如果能等于零那就是最完美的了。（a）“与”运算分类问题（b）“或”运算分类问题图4.11“与”、“或”运算的分类问题4.2典型前馈型神经网络从图中看出，“异或”分类问题实际上是一个线性不可分类的问题。也就是使用一条直线无法对这类问题进行正确分类。仅仅使用单层感知机，只有两个权值、一个阈值是不能对“异或”问题进行分类的。但是从图上可以看出，使用两条直线就可以对“异或”分类问题进行正确处理。因此，需要对原来的单层感知机进行修正，将其层数加大，变成双层感知机。如图4.13所示，感知机变成了两层结构。这种两层结构的类型可以生成两条直线，如图4.13中表示，在第一层，也就是输入层输入两维数据，在第二层，也就是隐含层可以生成两条直线，从而解决“异或”分类问题。神经元图4.12“异或”分类问题示意图图4.13双层感知机示意图4.2典型前馈型神经网络在隐含层中，一个神经元首先绘制一条直线，随着权、阈值的调整，这条直线可以任意变动，先分离出其中的一类点：如在图4.13中，可以先分离出右下角的“*”类；在图中左上部分，仍然是两类点的混合形式，这时可以将分类后剩下的结果再次输入另一个隐含层的神经元，然后调整该神经元的权、阈值，使另外一条直线进行调整，从而将左上部分的“*”类也分离出来。最后综合这两条直线的分类情况，达到对“异或”分类问题的解决。在二维空间上将其推广，可以得出：如果增加在隐含层神经元的数量，就可以得出更为多样的分类区域，甚至可以拟合曲线形式的非线性分类线。此外，在数据维度上将其进行推广，就可以得到有限维空间上的曲面非线性分类器。4.2典型前馈型神经网络感知机的活化函数是开关型的非线性函数，因此适用于“非此即彼”的分类问题。如果要进行其他问题处理的话，感知机的局限性就表现出来了。如果保持信息前馈的网络模式，同时将网络的活化函数修改为线性函数，即：就成为自适应线性神经网络，相应的神经元也就成为自适应线性神经元（ADALINE:AdaptiveLinearNeuron）。式中，W为线性函数的比例系数。当经过一定的学习和训练后，自适应线性神经元的输出为式（4.10），其期望输出为y，则其误差为：4.2典型前馈型神经网络在训练过程中，要使得单个神经元输出误差的平方达到最小化，在此基础上来调整神经元的权值。根据相应的数学理论可以得到：结合式（4.11），可以得出神经元权值的调整规则：同样的，式中为学习调整速率。从式（4.10）到式（4.12）可以看出，在调整的过程中对权系数的修正方式按照导函数相反的方向的，这样可以使神经元实际的输出结果不断地向理想结果靠近。如果扩展到多变量的情况，这个方向就是所谓的“负梯度”方向。从感知机到自适应线性神经元，神经网络所能解决的问题也不断扩展，自适应线性神经元可以处理模式识别、预测预报以及滤波等方面的问题。4.2.1前馈型（BP）神经网络基本运行模式随着在实际应用中需要解决的问题不断复杂化，也对神经网络提出了更高的要求。促使将神经网络的层数及神经元不断增加，活化函数不断更新，这样更复杂的神经网络出现了。但只要保持了在网络中信息的流向是不断向前传递的，就可称之为前馈型神经网络。例如，如过将网络设置为三层结构，分别为输入层、隐含层、输出层，同时将活化函数设置为Sigmoid型活化函数，就构成了典型的所谓BP（Back

Propagation）神经网络。其网络的拓扑形式如图所示。4.2.1前馈型（BP）神经网络基本运行模式图中，为输入；为输入层（第一层）的输出；为隐含层（第二层）的输出；为输出层的输出，也是整个神经网络的输出。为输入层到隐含层的权向量；为隐含层到输出层的权向量。对于输出层有：对于隐含层有：4.2.1前馈型（BP）神经网络基本运行模式在上面的式子中，net*为各层活化函数的输入。在Sigmoid函数的选择上可以根据实际情况灵活选择，可以是单极性的也可以是双极性的。在构建好这种BP神经网络的架构，各神经元的输入输出情况明确之后，就可以着手训练BP神经网络了。首先出发点还是要使BP神经网络实际输出与期望输出的偏差平方和最小，这实际上也是最小二乘法思想在神经网络上的应用。先确定训练网络的目标，偏差平方和最小，即：式中，为期望的输出，为实际的输出。分别为神经元的权、阈值。整个过程就是求网络中每层各个神经元的权、阈值，使网络实际的偏差平方和最小。先进行权值的更新：4.2.1前馈型（BP）神经网络基本运行模式对于隐层向输出层的权值调整，有：对于输入层到隐层的权值调整，有：同理也可以得到阈值的调整：在训练网络的过程中，应该按照负梯度方向进行，同时可以添加学习速率。由此考虑式（4.13）、（4.14）可将式（4.18）展开，有：4.2.1前馈型（BP）神经网络基本运行模式将（4.19）展开，有：在式（4.21）中，而，同时，由式（4.14）可得：4.2.1前馈型（BP）神经网络基本运行模式在式（4.24）中适当调整求导过程中的系数并不影响最终结果，可使结果系数为1。将式（4.23）、（4.24）、（4.25）代回式（4.21）可得隐层到输出层的权值调整公式：式中，4.2.1前馈型（BP）神经网络基本运行模式可以看作是在隐层到输出层的总的偏差。同理可以处理式（4.22）输入层到隐层的权值调整公式：同样的，式中，为输入层到隐含层的总的偏差，只不过此处的学习调整速率与隐层到输出层的学习调整速率不一定相同。4.2.1前馈型（BP）神经网络基本运行模式从上面的结果可以看出，对于权值的修正量包含了三部分：学习调整速率、输出偏差以及当前层的输入，这说明了权值的修正充分考虑到了信息在传播过程中的误差积累。另外，还可以看出权值的修正方向是负梯度方向的，这保证了在整个调整过程中误差是逐步减少的。由于BP神经网络是一个多层的神经网络，调整权值应该遵从一定的顺序。信息前馈、误差反传构成了BP前馈型的神经网络。了解了这个过程就可以得出BP神经网络的算法流程，如图4.15所示。4.2.1前馈型（BP）神经网络基本运行模式BP网络的神经元架构设置参考了感知机的架构，只是活化函数选用了非线性的Sigmoid函数，因此对每个神经元来讲，输入活化函数前的信息应为：式中，为阈值。如果要进行阈值的调整的话，参照式（4.21）~式（4.26）有：而由式（4.28）可知：带入式（4.29）有：对比可知，阈值的调整和输入没有关系。如果在调整阈值的过程中，首先计算出项，则可以顺便得出阈值的调整方式，而乘以输入就可以得出权值的调整。因此，没有必要再对阈值的调整进行讨论了。4.2.2前馈型（BP）神经网络的相关问题前馈型BP神经网络在分类及数据拟合、建模方面发挥着重要的作用。分类问题前面已经讨论过了，在数据拟合和建模方面，特别是非线性动态数据建模方面，神经网络比时间序列模型更具有灵活性，而且也不存在定阶和截断误差的问题。对于控制理论所涉及的“黑箱”建模问题有着其他方法不可比拟的优越性，只要拥有足够的数据量，几乎可以在任意精度上逼近实际的过程。此外，BP神经网络还不需要有先验知识或专家经验，只要进行有监督模式的学习就可以了，因此在其问世之初就受到了业内认识的欢迎。但是，随着BP神经网络应用的广度和深度不断扩展，一些问题也渐渐地呈现了出来。这主要表现在以下几个方面：1、网络的泛化问题2、网络的收敛问题3、网络的规模问题4、网络的极值问题4.2.2前馈型（BP）神经网络的相关问题网络的收敛问题主要集中在迭代步长、收敛域与收敛速度方面。如图所示，如果收敛域选择地较小的话，在迭代过程中会发生振荡。从而导致整个网络的收敛速度变得很慢。这时就需要在权值的调整过程中增加动量项，即：收敛域图4.16收敛域附近振荡示意图式中，即为动量项，为动量系数。添加动量项的意义在于考核迭代过程中是否存在大幅波动的情况，如果在迭代过程中出现了这种大幅波动的情况，就适当调整动量系数减小振荡的趋势。学习速率与动量系数可以离线静态设定，也可以进行在线动态调整。一般以在线动态调整的情况居多。加入动量项的意义在于调整收敛的速度，能够使迭代过程尽快结束，达到网络训练的最优值。但是强调收敛的速度也会带来一些问题，例如局部极值和全局极值之间的关系等。4.2.2前馈型（BP）神经网络的相关问题网络的规模问题主要集中在设计网络的层数和神经元个数上。如果层数和神经元的数目太少会影响问题的处理，而如果数目太多又会给计算过程带来困难。一般来讲，对于连续可导过程的拟合在BP网络中使用一个隐层即可以进行，而对于离散或不可导的过程采用两个隐层的结构。在层级的设计上，现以最少的层级设计，如果不能满足要求再逐渐增加层级。在神经元数量的选择上也有此类问题，神经元节点的增加会提高拟合的精度，但是也会带来“过拟合”的问题，就是对于某个数据集的适应性非常好，但是对于其他的数据却不能进行良好地处理，泛化程度过差。网络的极值问题与网络的收敛性和迭代初值问题密切相关。在迭代过程中，总是希望网络能够尽快地收敛到希望的结果，所以采用了梯度下降的方法、增加动量项的方法。如果在所求的整个范围内仅有一个极值点的话是没有任何问题的，但是如果存在有多个极值点的话，就需要处理局部极值和全局极值的问题。如图4.16所示。4.2.2前馈型（BP）神经网络的相关问题4.2.2前馈型（BP）神经网络的相关问题从图4.17（a）、（b）中可以看出，在求解域中只有一个极值的话，使用梯度下降算法是没有局部极值点与全局极值点的问题的。但是在图4.17（c）、（d）中存在多个极值点，如果初值选择不同的话会得到不同的结果。如果将初值选在了某个局部极值的邻域内，利用梯度下降算法只会将整个网络尽快地引向局部极值而不能到达全局极值。这一点可以从图4.18的简化图中看出来。一旦在迭代的开始没有选择好初值的话，整个网络的训练就会失败。4.2.2前馈型（BP）神经网络的相关问题在工程热处理时常使用淬火和退火两种工艺。淬火工艺是让一个高温的金属物体尽快降温，有些类似于梯度下降算法；而退火工艺则是让一个高温金属物体缓慢降温。在退火工艺中，由于温度的缓慢下降，物体原子的运动速度减缓，其运动状态改变的几率就会增大。模拟退火算法就是不再单纯去追求收敛速度，而是具有了一定的随机运动的趋势。其规律服从玻尔兹曼（Boltzmann）分布，即：式中，P(E)为处于某种能量状态的概率，K为玻尔兹曼常数。从式中可以看出，如果物体能量E(X)较高，则其处于这种状态的概率P(E)就小，整个体系就向低能状态演变。在此过程中，温度的变化也会影响到概率的取值，温度越高则概率越大。这样就可以通过调整温度参数来达到对概率的调整。由于在此过程中状态的形式是以概率形式给出的，因此就有了各种可能性，而不仅仅是一味按照梯度下降，从而也就避免了陷入局部极值的问题。从上述的过程可以看出，模拟退火算法的思想在前馈网络中添加了随机性的因素。因此进一步发展，可以将前馈型神经网络改造为随机型的神经网络，这种网络的代表就是玻尔兹曼机（BM：BoltzmannMachine）。4.3典型反馈型神经网络反馈型神经网络的基本思想是将输出的信息反馈到输入端构成一个MIMO形式的闭环系统。这种有输出反馈的网络结构形式最初是由J.Hopfield提出的，因此也称为Hopfield网络。此外，还有进行局部信息反馈的网络，类似于控制理论中的状态反馈的形式，称为Elman网络，是由J.L.Elman提出的。在所有的反馈结构中，系统的稳定性是一个非常重要的问题，对于反馈型神经网络也不例外，其稳定性是重点讨论的问题之一。稳定性的问题在控制理论中已经研究得非常完备了，因此对于反馈型神经网络稳定性的讨论将会借鉴控制理论中对于稳定性的分析方法。4.3.1反馈型神经网络基本运行模式图4.7给出了简单反馈型神经网络的示意图。这里说的简单是指反馈结构的简单，而真正运行这样的多层反馈网络会有很多问题。因此，在实际的反馈型神经网络运行时经常简化网络的结构，例如Hopfield网络就将其简化为单层、全互联的反馈结构。Hopfield网络有离散型和连续性之分。离散型的Hopfield网络（DHNN：DiscreteHopfieldNeuralNetwork）是将数据集中的数据渐次输入到网络中进行处理的。在离散型Hopfield网络中仍然需要调整每个神经元的权、阈值，但由于反馈作用的引入使得每个神经元的状态都呈现出动态的特性。同时为了问题的简化，活化函数也取为开关型的活化函数，而没有采用像前馈网络那样的Sigmoid函数。即：4.3.1反馈型神经网络基本运行模式而输入活化函数的信息可用权、阈值表示为：Hopfield网络有两种工作方式，分别为串行方式和并行方式。串行方式是指在网络运行时，每次仅有一个神经元进行调整，而其余的神经元节点保持不变，然后再轮流进行下一个神经元的调节，串行方式也称为异步方式。并行方式是指在网络工作时，所有的神经元同时进行调节的工作方式，并行工作方式也称为同步方式。与离散型Hopfield网络相对应还有连续型Hopfield网络。在连续型Hopfield网络中，所有的神经元节点并行更新，其结构类似于模拟电路中的RC与集成运放的连接关系，4.3.1反馈型神经网络基本运行模式如图4.19所示。根据电路及模拟电子技术的知识，如果设电容为C，R为电阻，ui为输入电压，则有：式中，Ii为偏置电流。在连续型Hopfield网络中，活化函数取为Sigmoid函数。从实时性和信息并行处理的工作方式来看，这种反馈型网络更类似于生物网络的情况。4.3.1反馈型神经网络基本运行模式从图中可以看出其前向通道保持了BP网络的三层结构：输入层、隐含层、输出层。此外，在隐含层中进行了局部的“状态”反馈，这一层称为承接层（有的文献也称为关联层、联系层），在此层中将隐含层的信号进行了局部自反馈。隐含层的活化函数保持为非线性Sigmoid函数，输出层、承接层的活化函数为线性函数。这样Elman网络可以看作是BP网络进行局部状态反馈的修正形式，由于反馈作用的加入网络对于动态信息的处理能力大大提高，对于历史数据也具有了一定的记忆功能。在Elman网络中，对于输出层有：对于承接层和隐含层：4.3.1反馈型神经网络基本运行模式式中，为隐含层的输出信息，为承接层的输出信息，即：为反馈系数。Elman网络由BP网络衍生变化而来，因此，其权值的修正方法也沿用了BP神经网络的方法，性能指标函数也沿用了BP网络的性能指标函数。Elman网络的算法流程图如图4.20所示。4.3.1反馈型神经网络基本运行模式在反馈型神经网络中，有一种具有联想记忆功能的网络。其中比较典型的就是双向联想记忆网络（BAM:BidirectionalAssociativeMemory）。这种网络具有双向双层的网络结构，如图4.21所示。在该神经网络进行工作时，信息的流向可以双向进行，当某一层作为信息输入，则另一层可以作为信息输出，反之亦然。因此，不存在一般意义上的输入层或输出层。可以用相应的符号来对某层进行命名。如图所示，就可以称之为X层、Y层。两层的神经元数目可以相同也可以不同。其活化函数取为开关型活化函数，两层间的传输权矩阵互为转置。4.3.1反馈型神经网络基本运行模式双向联想记忆网络的运行过程如图4.22所示。4.3.1反馈型神经网络基本运行模式当由样本数据从X层输入时，信息经过加权、活化函数变换送到Y层；到达Y层后，由Y层再次进行运算同样经过加权和活化又反馈回X层。这种运算进行往复回环，一直进行到两层神经元的状态不再变化为止，这就是网络的稳定状态了。4.3.1反馈型神经网络基本运行模式对于X层的状态演化，如图4.22实线箭头所示，有：同样的，对于Y层的状态演化，如图4.22虚线箭头所示，有：从以上两式可以看出网络状态的动态变化：每个状态都会影响到下一个状态，也就是当前状态受到以前状态的影响，所以这样的神经网络就有了“联想、记忆”的功能，这种结构的神经网络也就因此而得名了。4.3.2反馈型神经网络的相关问题在所有的闭环反馈结构中，系统的稳定性一直是首当其冲的问题，在反馈型神经网络中也不例外。控制理论中对系统的稳定性进行了非常完备和深入的讨论，在这里借用控制理论中对稳定性的分析方法来对反馈型离散型神经网络的稳定性进行讨论。在图4.23中给出了在反馈系统运行时的三种不同情况。

（a）（b）

(c)4.3.2反馈型神经网络的相关问题在图4.23（a）中可以看到，当系统从初始状态开始变化，经过了一定的时间变化（迭代过程）可以逐渐收敛于状态空间的某一点，在这种情况下，系统的状态应该有。也就是说系统的状态在迭代前后不会发生变化，稳定地位于那个点上，这是就说明系统进入了稳定的状态。稳定的状态点也被称为不动点、吸引子。在控制理论中这种情况叫做渐进稳定。在图4.23（b）中，系统从初态开始变化，经过足够长的时间后，始终被限定在一定的范围内，但是也不会像（a）那样最终收敛于某一点。在控制理论中也属于稳定的情况，在控制理论中这种情况属于有界输入-有界输出稳定（BIBO：Bounded-InputBounded-Output

）。在图4.23（c）中，系统从初态开始出发，经过一段时间后，会越来越远地偏离平衡点，这就属于发散的不稳定状态了。4.3.2反馈型神经网络的相关问题在离散型Hopfield神经网络中，由于活化函数取为了开关型的函数，因此不可能出现逐渐发散的不稳定状态，但有可能只是在一定的范围内进行有界的稳定情况。对于反馈型神经网络稳定的判别同样借鉴控制理论中对于稳定性的著名理论——李雅普诺夫（Lyapunov）稳定性理论。李雅普诺夫稳定性理论在数学上有着严密地推导，但这里仅仅从物理角度来谈对它的理解。李雅普诺夫稳定性理论可以理解为：如果一个系统的能量是逐渐衰减、消退的话，那么这个系统就是稳定的，因为这个系统趋向了最低的能量状态。于是李雅普诺夫稳定性定理表示为：对于某个系统，如果存在一个李雅普诺夫函数V(x,t)，它满足条件：V(x,t)为正定且有无穷小上界，并且其导函数V(x,t)为负定，那么原点平衡状态xe=0就是一致渐近稳定的。4.3.2反馈型神经网络的相关问题这是在数学上比较严格的表述。可以简单地理解为如果李雅普诺夫函数正定，而且其导函数负定，那么系统就是稳定的。根据对李雅普诺夫定理的物理角度理解，李雅普诺夫函数可以看作是“能量”函数。在物理中的很多场合，能量的表达形式都以二次型函数的形式出现，例如动能，、电流在电阻上产生的能量、甚至是质能方程也是以二次型的形式出现的。因此，在对于反馈型神经网络稳定性的判定上，不妨也以二次型函数的形式作为李雅普诺夫函数。即，式中，X(t)为神经网络的状态向量，W为神经元的权值矩阵，神经元的阈值向量。可以设定此函数为正定。接下来考察其导函数的情况。考虑到DHNN网络的离散型情况，可以使用差分来代替微分，于是有：4.3.2反馈型神经网络的相关问题4.3.2反馈型神经网络的相关问题在式（4.43）中，第二项毫无疑问是负定的。关键就在于考察前一项的情况。将式中的矩阵形式写成连加和的形式，并考虑到权矩阵为对称阵，有：在异步工作方式下，考虑到每个神经元不存在自反馈，并结合式（4.35），有：可以证明，在任何情况下式（4.45）均为负半定，且当时，神经网络处于不动点，也就是进入了稳态。由此可以得出，异步工作的离散型Hopfield神经网络是稳定的。采用同样的方法还可以证明同步工作的离散型Hopfield神经网络也是稳定的：在同步工作方式情况下如果权矩阵为非负定矩阵时，系统渐近收敛；而当权矩阵为负定阵时系统是BIBO稳定的。4.3.2反馈型神经网络的相关问题对于连续性Hopfield神经网络（CHNN）可以设定其李雅普诺夫函数为：式中，x为输出状态，X为输出状态的向量形式,W为权矩阵，f-1为活化函数的反函数。下面考察李雅普诺夫函数导函数的情况：将式（4.46）写成连加和形式并求偏导，有，uj为输入活化函数的信号。结合式（4.36），有：4.3.2反馈型神经网络的相关问题由连续型Hopfield网络中活化函数为Sigmoid函数可知，其反函数为单调增函数。这样就可得到其李雅普诺夫函数的导函数为负半定，即：对照式（4.45）可以得出和离散型Hopfield网络同样的结论。Elman神经网络属于局部状态反馈，双向联想记忆网络可以归结为可逆性的输出反馈结构。它们的稳定性的判定方式可以借鉴Hopfield神经网络的判定方法。4.3.2反馈型神经网络的相关问题由于反馈型神经网络具有稳定性，因此一个训练好的Hopfield神经网络会将所有的信息经过演化计算后集中于其稳态值（不动点、吸引子）。这样，就可以把需要进行记忆的信息与Hopfield网络的稳态值相对应，是网络能够记住这种状态，并对输入的不正确信息进行校正，使之重新回归于稳态值。稳态值可以是向量形式给定的，并用来训练网络确定权值。对于离散型Hopfield神经网络，假定需要存储的向量为，其中，，这些向量应该对应于网络的稳态值。样本数据两两正交。根据对网络稳定性的分析，在异步方式工作时，权矩阵应为对称阵；在同步方式工作时，权值矩阵应为非负定对称阵。离散型Hopfield神经网络的权值可以取为需要进行记忆样本的外积和，即：4.3.2反馈型神经网络的相关问题式中明确反映了在网络中的节点不存在自反馈，因此权矩阵中对角线元素为零。写成矩阵形式，有：式中，I为单位阵。对于外积有：对于反馈型网络输入，有：将式（4.53）代入到式（4.54）中，有：4.3.2反馈型神经网络的相关问题考虑到Hopfield网络活化函数为开关型的活化函数，则有则Xp为不动点，整个网络也就进入了稳态。如果输入的样本不能满足两两正交的条件，则式（4.56）的不动点条件不能满足，这时网络的稳态向量维数就会降低，存储容量就受到影响。如果网络存储的样本信息与新输入的信息存在误差，网络就会进行调整演化，最终稳定到存储的样本信息上。这个过程就是Hopfield网络联想的过程。由此可以看出网络的存储容量和联想能力是互为制约的两个因素：网络的存储容量越大，联想能力就会越弱。反馈是信息流向的一种形式，由于有反馈作用的存在会使整个系统具有很多新的特点。与前馈型神经网络相比，反馈型神经网络产生了很多关于稳定性的问题，但同时也给网络带来了新的变化。由于有不动点的存在使得网络具有了一定的记忆和联想能力，使得网络具有了一定的动态性。4.4其他典型神经网络神经网络信息的传输形式可以分为前馈和反馈两种。上文介绍的是这两种形式中最为典型的神经网络，还有一些在机器学习领域典型和常用的网络，虽然可以将其归于这两种结构形式，但是由于他们本身所具有的独特特点常常将其单独列出。下面将介绍这些神经网络的基本架构、运行模式及相关的问题。4.4.1径向基神经网络径向基网络是一种前馈性的神经网络，其基本结构与BP网络类似也具有输入层、隐含层及输出层三层结构。隐含层的活化函数为径向基函数（RBF：RadialBasisFunction），输出层的活化函数为线性函数。如图4.24所示。图4.24径向基神经网络结构图4.4.1径向基神经网络径向基函数是一种左右对称的钟形函数，除了前面所说的逆二次函数外，还有高斯函数和反射Sigmoid函数。其基本形状如图4.25所示。高斯函数：反射Sigmoid函数采用径向基函数作为活化函数是要模仿生物神经元靠近神经元中心点兴奋而远离中心点抑制的“近兴奋、远抑制”的功能效果。这一点在视神经的功能上体现地尤为突出。4.4.1径向基神经网络在函数拟合的问题中，常以偏差平方和最小作为衡量拟合效果的性能指标。而正则化方法在此基础上又添加了正则化项，所谓的正则化项主要是用来防止在学习过程中出现一味地追求偏差平方和最小而造成过拟合，网络性能缺乏泛化能力的问题。于是可以在偏差平方和最小性能指标函数上在添加一项，构造新的性能指标函数为：正则化参数需要进行调整，来平衡偏差平方和最小化项的过拟合趋势。4.4.1径向基神经网络假设有P个数据集的样本XP，其对应的输出值为Y。需要求出从样本到输出的函数关系F（x）。很明显，这是一个典型的拟合问题。根据正则化径向基网络设计原则，可以选定P个径向基函数，并使数据集中的样本对准径向基函数的中心，即：在式中Xi为径向基函数的中心。将这个P径向基函数作为整个拟合过程中的一组“基”，然后将这组“基”送入输出层中，利用输出层的线性活化函数进行线性组合，就可以得到拟合的函数曲线。这个过程可以形象地用图4.26来表达。4.4.1径向基神经网络可以看出这种正则化的径向基网络不但能够实现对函数的拟合，还对数据插值有很强的处理能力。如果有足够的输入样本，正则化的径向基网络几乎可以逼近任何一种可导的曲线。4.4.1径向基神经网络广义径向基网络的隐层节点虽然比样本数据的数量少，但与样本的维数相比还是要多很多的。一般来讲，低维的线性不可分问题如果能映射到高维空间，就很可能成为线性可分的问题。仍以“异或”这种线性不可分问题为例，由于在前面的章节绘制过有关图形，此处不再绘制。仅以数据说明问题。输入的数据为：（0,0）（0,1）（1,0）（1,1）隐层节点设置为两个，其活化函数（径向基函数）为：式中指定为2-范数。则输入数据集中的数据经隐层径向基活化后所得到的结果为：4.4.1径向基神经网络4.4.1径向基神经网络这样可以将低维的输入样本数据通过隐含层的活化映射，变换到的空间，从而实现了在该空间的线性可分。如图4.27所示。径向基神经网络的学习算法主要需要解决隐层神经元节点数；确定径向基函数的“径向”中心以及向两侧的扩展常数；同时也要涉及到权值的修正问题。径向基函数变换（a）“异或”线性不可分（b）“异或”线性可分图4.27径向基神经网络解决“异或”问题4.4.1径向基神经网络而对于广义径向基函数的中心设定可以从数据样本中进行确定，对于数据多的地方可以适当多取，再根据整个网络的运行情况进行适当调整。另一种方法是利用聚类的方法来进行确定。这种方法先进行聚类，将数据分为若干组，然后将这些组数据的聚类中心作为径向基函数的中心，并根据径向基中心之间的距离确定扩展常数。其算法流程如图4.28所示。4.4.2自组织竞争神经网络自组织竞争神经网络是一种带有竞争机制的网络结构。所谓竞争，是指在网络的神经元中需要对所输入的信息或数据进行对比、竞争从而得出正确的结果的过程。自组织竞争神经网络从信息的流向上来说是一种混合型的结构，不能使用简单的前馈或反馈型的结构来对其进行描述。自组织竞争神经网络都有竞争层，在竞争层中信息相互作用，信息在层间传递进行分析、比较和竞争，直至得到胜出神经元，然后再进行信息的下一步传输。最简单的自组织神经网络至少有一个竞争层，其基本结构如图4.29所示。4.4.2自组织竞争神经网络在自组织竞争神经网络进行竞争学习时，模拟生物神经元的工作模式，在所有参与竞争的神经元中，输出响应最大的神经元时获胜神经元，兴奋程度应该最高，表示为：对于此获胜的神经元再进行权值调整，而且别的神经元就不进行权值调整了。这种学习方式被形象地称为“胜者为王”（WinnerTakesAll）的学习规则。归一化处理是将输入的模式向量与竞争层的向量进行单位化处理：保持向量的方向不变，使其长度单位化，这样所有的向量就被安放在了同一个单位圆里。即：式中，为向量范数，一般取为2-范数。4.4.2自组织竞争神经网络衡量相似的标准是考察两个向量的欧式距离。如果欧式距离最小则为胜出。即：为获胜神经元的权向量。如果将上式展开有：由于在输入竞争时进行了归一化处理，联系式（4.66）有，代入式（4.68）有，4.4.2自组织竞争神经网络可以看出，欲使与的欧氏距离最小等价于使与的点积最大。因此式（4.67）等价于：这样，最小化欧式距离就转化为最大化权值与输入向量的点积。而这样做的好处在于权值与输入向量的点积正好是活化函数的输入。第三步进行权值调整。根据胜者为王的学习规则，获胜神经元置为1，而其他的神经元置0。然后对获胜的神经元的权值进行调整，调整的规则为：式中，为学习率。一般限定在[0，1]之间。竞争学习的过程可以用图4.30说明。4.4.2自组织竞争神经网络从图4.30中可以看出，衡量竞争层神经元权向量与输入向量的欧氏距离与衡量这两个向量的夹角是一致的。因此，有时也采用考察这两个向量夹角的余弦来进行竞争比较，即;从式中可以看出，余弦值越大代表两个向量越靠近，越相似，这一点与考察其点积大小是一致的。在进行归一化处理后，所有向量均位于单位圆内，其向量的长度都相同，采用比较考察两个向量夹角的大小更具有直观理解的优势。自组织特征映射网络共有两层，输入层输入数据，竞争层输出数据。与基本自组织竞争神经网络不同的是，其竞争层神经元的维数可以进行扩展，而不再仅仅是如图4.29所给出的那种一维的竞争层结构。竞争层神经元的维数可以扩展到2维、3维甚至更高维。其中以二维结构形式最为典型，如图4.31所示。4.4.2自组织竞争神经网络4.4.2自组织竞争神经网络竞争层为2维的自组织特征映射神经网络在竞争层的神经元相互侧向联系，类似于人脑皮层的神经元结构。自组织特征映射的学习算法在胜者为王算法的基础上又有所发展。调整的规则是获胜的神经元权值调整的量最大，而随着和获胜神经元距离的增加，权值调整的量渐次减小。这种调整函数可以采用类似径向基的函数，也可以使用图4.32的所谓“墨西哥草帽”函数。4.4.2自组织竞争神经网络自适应共振理论（ART：AdaptiveResonanceTheory）神经网络是另一种自组织竞争神经网络。神经网络在运行过程中经常会出现稳定与泛化的矛盾。这种矛盾是指，在神经网络的学习过程中是一种动态过程，经过学习和训练后神经网络的结构和参数会逐渐稳定下来；但是如果在整个网络的结构和参数稳定下来之后，又有新的数据样本输入的话，为了能够使神经网络具有泛化性，神经网络又要重新开始调整，使得以前训练好的参数就会丧失。也就是说新数据的输入使得神经网络遗忘了曾经的学习结果。对这种问题一般的处理方法是设定学习系数和遗忘因子来进行平衡，但是如何设定这些系数和因子目前尚无定论。自适应共振理论神经网络就是为解决这个矛盾而产生的。经过不断的完善，目前有三种自适应共振理论神经网络，分别是ARTⅠ、ARTⅡ和ARTⅢ。ARTⅠ网络的基本结构如图4.33所示。4.4.2自组织竞争神经网络4.4.3小脑模型神经网络小脑模型神经网络（CMAC：CerebellarModelArticulationController——直译为“小脑模型关节控制器”）是模仿人类小脑控制肢体运动方式的一种神经网络模型。正如直译所提示的，这种神经网络模型最初是为了解决机器手关节的运动控制而产生的，由美国工程师智能系统工程师JamesS.Albus所提出。这种神经网络得名是因为参照了小脑在控制肢体动作时，具有条件反射响应迅速的特点。这种神经网络具有一定的联想功能，而且这种功能也有泛化能力。相似的输入模式会得到相似的输出，而彼此不相似的输入模式将产生独立的输出；能够对网络输出有影响的神经元权值较少；这种神经网络有一定的自适应能力，而且采用了表格查询的方式来实现非线性映射关系，具有信息分类处理的能力。4.4.3小脑模型神经网络4.4.3小脑模型神经网络小脑模型神经网络的基本结构如图4.34所示。X为输入数据集，A为带有类似指针功能的存储单元，y为输出的数据集。当输入数据集中的数据输入时，就会激活在存储区中对应的元素，例如X1激活了a1~a4的四个元素，X2激活了ai-1~ai+2的四个元素等等，被激活的元素就被置为1，其他元素保持为0；在输出层将激活单元的权值进行求和运算，然后经活化函数运算输出。在输入过程中被激活元素的个数用C表示，称为泛化系数。在CMAC网络运行时，输入的信号多为模拟信号，而在存储单元A中所接受的信号仅为0/1的数字信号，这就需要进行量化。这种量化的过程非常类似于A/D转换的过程：将输入数据集的分量量化为q个等级，如有n个分量的话则有p=qn个状态。这p个状态对应为存储空间A中的一个区域集合，在这个集合中应有C个元素被激活，其值为1。从图4.34中可以看出，数据集中的X2、X3两个输入样本所激活的元素有重叠的部分：同时激活了ai+1、ai+2，与这两个元素所对应权值应该是相同的。4.4.3小脑模型神经网络以两个输入模拟信号、α2为例，输入CMAC神经网络。设N为输入的量化级别，则这两个输入信号对应为Nα1、Nα2两组。输入的两个信号在这两组中分别就会有与其量化值相对应的元素被激活。不但如此，基于泛化的考虑，在被激活元素的周围还会有C个元素同时被激活。作为泛化系数的C可以人为指定。对于i和j两个输入样本的量化差值，有：式中，分别为i和j这两个输入样本在A中激活的元素数目，为i和j两个输入样本激活元素重叠部分的数目。同样的，这个公式也可以代表在A中两个集合的距离。将输入样本映射到A中，保持了其在映射前后的相近程度不变、与输入数据样本的维数无关，但很明显与泛化系数C有关。4.4.3小脑模型神经网络下面介绍CMAC神经网络的权值调整规则。前已述及，网络输出为激活单元权值的和如式（4.74）给出，其调整的结构如图4.35所示。图4.35CMAC神经网络的权值调整4.4.3小脑模型神经网络设期望输出为Fej，则期望输出与实际输出的偏差为：权值调整的迭代公式为：式中为学习率。在调整过程中，可以将训练的样本数据输入一批后，用累积的偏差值来调整权值，这称为批学习方式；还可以在每个样本数据输入后就调整权值，就是所谓的轮训方式。小脑模型（CMAC）神经网络由于采用了指针式查表技术，学习收敛速度快，实时性强；对于相邻的输入数据样本设置映射重叠，因此具有局部的泛化能力。与传统的神经网络相比，CMAC神经网络具有更好的非线性函数拟合能力，更加适合在复杂环境下对数据进行实时处理。4.4.4卷积神经网络近年来，图像识别、特征提取等的实际需求为神经网络学习算法提出了新的问题，促使神经网络学习算法不断向前发展。基于深度学习机制的深度神经网络也应运而生。在这方面，卷积神经网络（CNN：ConvolutionalNeuralNetworks,）是一种非常具有代表性的深度学习神经网络。下面就对这一神经网络进行简要介绍。卷积神经网络的神经生理学机制是根据猫的视觉神经细胞对外界刺激的响应，在此基础上结合了神经认知机的模型而产生的。经过多年的不断发展，目前典型的卷积神经网络呈现出具有深度结构的、多层前馈神经网络的模式。为了能够较为清楚地说明卷积神经网络的运行机制，先来介绍一些与该神经网络相关的知识。连接方式的多样化与传统神经网络的连接方式不同，在卷积神经网络的神经元连接方式上采用了多样化的连接方式。借鉴视觉认知的方式——由局部到全局：对于图像而言往往是局部相邻的像素联系紧密，距离较远的像素联系较少。这样每个神经元只需进行局部感知，然后进行信息综合就可以推知全局的情况。4.4.4卷积神经网络卷积运算特征提取卷积（Convolution）运算是分析数学中的一种运算方式。其基本定义式如下：式中“*”代表卷积运算符。卷积运算与其应用背景紧密相连，例如在信号与系统的背景下，卷积运算代表了一个信号经过线性系统后所发生的变化。在时域的范围内，线性系统的输出