《模式识别》课件 第七章 人工神经网络

第七章人工神经网络7.1人工神经网络介绍7.2常用神经网络人工神经网络7.1人工神经网络介绍7.2常用神经网络人工神经网络什么是人工神经网络？人工神经网络的研究在一定程度上受到了生物学的启发，因为生物的学习系统是由相互连接的神经元组成的异常复杂的网络。而人工神经网络与此大体相似，它是由一系列简单单元相互密集连接构成，其中每一个单元有一定数量的实值输入，并产生单一的实数值输出。7.1人工神经网络介绍为了加深对这种类比的认识，让我们考虑一些来自生物学的事实。例如，据估计人类的大脑是由大约个神经元相互连接组成的密集网络，平均每一个神经元与其他个神经元相连。神经元的活性通常被通向其他神经元的连接激活或抑制。目前知道的最快的神经元转换时间与计算机的转换时间相比慢很多。然而人类能够以惊人的速度做出复杂度惊人的决策。7.1人工神经网络介绍这个事实使很多人推测，生物神经系统的信息处理能力一定得益于对分布在大量神经元上的信息表示的高度并行处理。ANN系统的一个动机就是获得这种基于分布表示的高度并行算法。由于ANN只是一定程度地受生物神经系统的启发，所以ANN并未模拟生物神经系统中的很多复杂特征，而且已经知道ANN的很多特征与生物系统也是不一致的。例如，对于我们考虑的ANN，每个单元输出单一的不变值，然而生物神经元输出的是复杂的时序脉冲。7.1人工神经网络介绍人工神经网络的特点固有的并行结构和并行处理人工神经网络与人类的大脑类似，不但结构上是并行的，其处理顺序也是并行的。在同一层内的处理单元都是同时工作的，即神经网络的计算功能分布在多个处理单元上，而传统的计算机通常只有一个处理单元，其处理顺序是串行的。目前的神经网络功能常常用一般计算机的串行工作方式来模拟，所以显得很慢，真正意义上的神经网络将会大大提高处理速度，实现快速处理。7.1人工神经网络介绍人工神经网络的特点容错性人类大脑具有很强的容错能力，这正是由于大脑中知识是存储在很多处理单元和它们的连接上的。每天大脑的一些细胞都可能会自动死亡，但这并没有影响人们的记忆和思考能力。人工神经网络可以从不完善的数据和图形进行学习和做出决定由于知识存在整个系统中，而不是在一个存储单元内，因此一定比例的结点不参与运算，对整个系统的性能不会产生重大影响。7.1人工神经网络介绍人工神经网络的特点自适应性人工神经网络也具有学习能力有指导的训练：将输入样本加到网络输入并给出相应的输出，通过多次训练迭代获得连接权值。（有监督：感知器神经网络、径向基函数网络）无指导的训练：网络通过训练自行调节连接加权，从而对输入样本分类。（无监督：自组织神经网络）在网络训练时，有时只能给出大量的输入图形，没有指定它们的输出，网络就自行按输入图形的特征对它们进行分类。如小孩通过大量观察可以分辨出哪是狗、哪是猫一样。7.1人工神经网络介绍人工神经网络的特点自适应性人工神经网络具有推理能力综合推理的能力：网络具有正确响应和分辨从未见过的输入样本的能力。进行数字图形的识别时，对于不完善的数字图形或失真的数字图形仍能正确辨认。7.1人工神经网络介绍人工神经系统（ANS）神经网络（NN）自适应系统（AdaptiveSystems）、自适应网（AdaptiveNetworks）联接模型（Connectionism）神经计算机（Neurocomputer）人工神经网络的别名7.1人工神经网络介绍ANN与传统AI技术的比较项目传统的AI技术

ANN技术

基本实现方式

串行处理；由程序实现控制

并行处理；对样本数据进行多目标学习；通过人工神经元之间的相互作用实现控制

基本开发方法

设计规则、框架、程序；用样本数据进行调试（由人根据已知的环境去构造一个模型）

定义人工神经网络的结构原型，通过样本数据，依据基本的学习算法完成学习——自动从样本数据中抽取内涵（自动适应应用环境）

适应领域

精确计算：符号处理，数值计算非精确计算：模拟处理，感觉，大规模数据并行处理模拟对象

左脑（逻辑思维）右脑（形象思维）7.1人工神经网络介绍13人工神经元生物神经元是以细胞体为主体，由许多向四面延伸的不规则树枝状纤维构成的神经细胞。生物神经元由4部分组成：细胞体、轴突、树突和突触。7.1人工神经网络介绍14人工神经元细胞体：是生物神经元的主体。由细胞核、细胞质和细胞膜组成。细胞核进行呼吸和新陈代谢等许多生化过程。轴突：由细胞体向外伸长的最长一条分支。轴突相当于细胞的输出电缆，其端部的许多神经末梢为信号输出子，用于传出细胞体产生的输出电化学信号，即神经冲动。树突：由细胞体向外伸出的其他许多较短的分支。它相当于细胞的输入端，接受来自四面八方的传入神经冲动。7.1人工神经网络介绍突触：神经元之间通过轴突（输出）和树突（输入）相互连接，其接口称为突触。多个神经元以突触相连接即形成了生物神经网络。突触有两种类型：兴奋型突触和抑制型突触。膜电位：由于细胞膜对细胞液中的不同例子具有不同的通透性，使得细胞膜内外之间存在着电位差，称为膜电位。7.1人工神经网络介绍16突触轴突及突触与其它许多神经元建立联系。树突接收来自不同神经元的信息。神经元之间的这种复杂联系就形成了相应的神经网络。7.1人工神经网络介绍17树突：输入端突触：输入/输出的接口；细胞体：微型处理器，它对各种输入信息进行整合；轴突：输出信号沿着轴突传至神经末梢，并通过突触传向其他的神经元的树突。7.1人工神经网络介绍神经元是构成神经网络的最基本单元（构件）。人工神经元模型应该具有生物神经元的基本特性。人工神经元是对生物神经元结构和功能的模拟，是对生物神经元的形式化描述，是对生物神经元的信息处理过程的抽象。

7.1人工神经网络介绍M-P模型M-P模型建立的假设条件每个神经元都是一个多输入单输出的信息处理单元；神经元输入分兴奋性输入和抑制性输入两种类型；神经元具有空间整合特性和阈值特性；神经元输入与输出间有固定的时滞，主要取决于突触延搁；忽略时间整合作业和不应期；神经元本身是非时变的，即其突触时延和突触强度均为常数。7.1人工神经网络介绍M-P模型MP神经元模型是1943年，由WarrenMcCulloch和WalterPitts提出的。M-P模型包括了加权、求和和激励（转移）三部分功能。神经元接收到来自n个其他神经元传递过来的输入信号x1,x2,…,xn；这些输入信号通过带权值的连接进行传递w1,w2,…,wn；神经元接收到的总输入值将与神经元的阈值θ进行比较；通过“激活函数”f(•)处理产生神经元的输出y。7.1人工神经网络介绍人工神经元的基本构成人工神经元模拟生物神经元：输入：X=（x1，x2，…，xn）联接权：W=（w1，w2，…，wn）T网络输入：

net=∑xiwi向量形式：

net=XWxnwn∑x1w1x2w2net=XW…7.1人工神经网络介绍激活函数——执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数，传递函数等：

O=f(net)

激活函数(传递函数)7.1人工神经网络介绍单输入人工神经元神经元输出传输函数偏置(值)输入权值净输入7.1人工神经网络介绍多输入神经元简化符号7.1人工神经网络介绍25激活函数(1.阈值函数)

阶跃函数：符号函数：7.1人工神经网络介绍激活函数(2.线性传输函数)

LinearTransferFunction7.1人工神经网络介绍27激活函数(3.分段线性函数)

分段线性函数：7.1人工神经网络介绍激活函数(4.Sigmoid函数)

7.1人工神经网络介绍Sigmoid函数作为激活函数具有优点：非线性、单调性无限次可微当权值很大时，可近似阈值函数当权值很小时，可近似线性函数Sigmoid函数作为激活函数具有缺点：存在饱和区域，会造成梯度消失：神经网络使用Sigmoid激活函数进行反向传播时，输出接近0或1的神经元其梯度趋近于0。Sigmoid函数输出是非零对称的，所有的W都朝着同一符号方向变化会减小训练速度。激活函数(4.Sigmoid函数)

7.1人工神经网络介绍激活函数(5.Tanh函数)

优点：Tanh（双曲正切）

函数的取值范围在(-1,1)之间，单调连续，异于求导；tanh函数线性区斜率较Sigmoid更大一些，在此区域内训练速度会更快；tanh函数输出均值为零（关于圆点对称），也就不存在Sigmoid函数中

dW恒为正或者恒为负，从而影响训练速度的问题；缺点：tanh函数与Sigmoid函数一样，也存在饱和区梯度消失问题。7.1人工神经网络介绍激活函数(6.修正线性单元ReLU函数)

优点：没有饱和区，不存在梯度消失问题；没有复杂的指数运算，计算简单、效率提高；实际收敛速度较快；缺点：当x<0时，ReLU输出总为零。该神经元输出为零，则反向传播时，权重、参数的梯度横为零，造成权重、参数永远不会更新，即造成神经元失效；ReLU的输出仍然是非零对称的；7.1人工神经网络介绍激活函数(7.LeakyReLU函数)

优点：没有饱和区，不存在梯度消失问题；没有复杂的指数运算，计算简单、效率提高；实际收敛速度较快；不会造成神经元失效；变形：LeakyReLU可以得到更多扩展。不让x乘常数项，而是让x乘超参数；7.1人工神经网络介绍激活函数名称输入/输出关系图标Matlab函数硬极限函数Hardlim对称极限函数Hardlims线性函数Pureline饱和线性函数Satlin7.1人工神经网络介绍对称饱和线性函数Satlins对数S型函数Logsig双曲正切S型函数Tansig正线性函数Poslin竞争函数Compet7.1人工神经网络介绍35人工神经网络的基本要素

神经网络的设计

神经网络的学习训练算法人工神经网络的数学模型：激活函数人工神经网络的拓扑结构：网络分几层、每层几个节点、节点之间如何连接等等。神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的结构及学习方法。7.1人工神经网络介绍单层网络（只计算处理单元层）最简单的网络是把一组结点形成一层。左边的黑色圆点只起着分配输入信号的作用，没有计算作用，不看作是网络的一层。右边用圆圈表示的一组结点被看作一层。人工神经网络的拓扑结构7.1人工神经网络介绍多层网络一般来说，大而复杂的网络能提供更强的计算能力。虽然目前已构成了很多网络模型，但它们的结点都是按层排列的，这一点正是模仿了大脑皮层中的网络模块。多层网络是由单层网络进行级联构成的，即上一层的输出作为下一层的输入。人工神经网络的拓扑结构7.1人工神经网络介绍多层网络两层网络（前馈全连接网络）人工神经网络的拓扑结构7.1人工神经网络介绍多层网络三层网络（前馈全连接网络）人工神经网络的拓扑结构7.1人工神经网络介绍多层网络注意：在构成多层网络时，层间的转移函数应是非线性的，否则多层网络的计算能力并不比单层网络强。若干的线性单元层叠加还是线性单元。在线性转移函数的情况下，两层网络输出的计算是第一层的输出xW1作为第二层的输入，通过第二个加权矩阵得到网络的输出

y=(xW1)W2=x(W1W2)这表明两层线性网络等效于单层网络，只是后者的加权矩阵为两个加权矩阵的乘积。人工神经网络的拓扑结构7.1人工神经网络介绍回归型网络（反馈网络）一般来说，凡包含反馈连接的网络均称为回归型网络，或称反馈网络。一层反馈网络人工神经网络的拓扑结构7.1人工神经网络介绍回归型网络（反馈网络）二层反馈网络人工神经网络的拓扑结构7.1人工神经网络介绍人工神经网络的拓扑结构根据神经网络的结构特点，通常把神经网络模型分成三种类型：反馈型网络(feedbacknetwork)前馈型网络(feedforwardnetwork)竞争学习网络(competitivelearningnetwork)用正号（“+”，可省略）表示传送来的信号起刺激作用，它用于增加神经元的活跃度；用负号（“-”）表示传送来的信号起抑制作用，它用于降低神经元的活跃度。7.1人工神经网络介绍前馈型网络(feedforwardnetwork)

基本特点：结点按照一定的层次排列；网络是单向的，信号只能按照单一的方向，从下一层结点传递到相应的上一层结点；上层结点与下一层所有结点相联接。层间（Inter-field）联接

代表网络：多层感知机径向基函数网络7.1人工神经网络介绍反馈型网络(feedbacknetwork)

基本特点：输入信号作用于神经元结点后，各个结点的输出又作为输入反馈到各结点，形成一个动态系统，当系统稳定后读取其输出；层间（Inter-field）联接循环联接

代表网络：Hopfield网络7.1人工神经网络介绍竞争学习网络(competitivelearningnetwork)基本特点：神经元结点通常排列在同一个层次上；没有反馈联接，但是结点之间有横向的联接或相互影响；在学习时通过神经元之间的竞争实现特定的映射。层内（Intra-field）联接代表网络：自组织映射(SOM)网络7.1人工神经网络介绍感知器是一种早期的神经网络模型，由美国学者F.Rosenblatt于1957年提出。感知器中第一次引入了学习的概念，使人脑所具备的学习功能在基于符号处理的数学到了一定程度的模拟，所以引起了广泛的关注。简单感知器：简单感知器模型实际上仍然是M-P模型的结构。它是一种单层感知器模型，一层为输入层（只负责接收输入信号，无信息处理能力），另一层具有计算单元，可以通过采用监督学习来逐步增强模式划分的能力，达到学习的目的。7.1人工神经网络介绍感知器模型单输出的感知器(M-P模型)输入层神经元输出层神经元多输出的感知器输入层神经元输出层神经元7.1人工神经网络介绍49单神经元感知器实例一般来说，感知器的激活函数采用阶跃或符号函数。7.1人工神经网络介绍感知器(perceptron)：单层感知器，通过监督学习建立模式识别能力.多神经元感知器7.1人工神经网络介绍51单层感知器功能——部分逻辑函数7.1人工神经网络介绍单层感知器无法解决异或(XOR)问题

g（x,y）y01x001110解决方法：多层感知器7.1人工神经网络介绍7.1人工神经网络介绍多层感知器的设计多层感知器可以逼近任意的多元非线性函数输入层单元数=输入变量/特征维数输出层单元数=模式类数/待逼近的函数个数隐层单元数：无有效方法网络初始化对结果有影响，通常用较小的随机数学习率η的选择7.1人工神经网络介绍在感知器算法中我们实际上是在利用理想输出与实际输出之间的误差作为增量来修正权值，然而在多层感知器中，我们只能计算出输出层的误差，中间隐层由于不直接与外界连接，其误差无法估计。反向传播算法（BP算法）的思想：从后向前反向逐层传播输出层的误差，以间接计算隐层的误差。算法可以分为两个阶段：正向过程：从输入层经隐层逐层正向计算各单元的输出；反向过程：由输出误差逐层反向计算隐层各单元的误差，并用此误差修正前层的权值。反向传播算法（BP）7.1人工神经网络介绍56学习从一个未训练的网络开始；向输入层提供一个训练样本，前馈获得误差；误差或准则函数是权值的某种标量函数（如：最小平方误差LMS准则），它在网络输出与期望输出匹配时达到最小；学习算法：将权值向着可以减小误差值的方向调整；BP算法对每个隐单元计算有效误差，并基于梯度下降法推导出一个从输出层反向计算到第一个隐层的学习规则。7.1人工神经网络介绍57（1）选择一组训练样本，每一个样本由输入信息和期望的输出结果两部分组成。（2）从训练样本集中取一样本，把输入信息输入到网络中。（3）分别计算经神经元处理后的各层结点的输出。（4）计算网络的实际输出和期望输出的误差。（5）从输出层反向计算到第一个隐层，并按照某种能使误差向减小方向发展的原则，调整网络中各神经元的连接权值。（6）对训练样本集中的每一个样本重复（3）-（5）的步骤，直到对整个训练样本集的误差达到要求时为止。BP算法的学习过程7.1人工神经网络介绍反向传播算法中采用梯度法修正权值，为此要求输出函数可微。通常采用Sigmoid函数作为输出函数。下图中，BP算法如何修正ωijiOiωijjOjkBP算法如何修正权值7.1人工神经网络介绍iOiωijjOj对于输出层而言：是实际输出值是理想输出值定义最小均方误差函数：情况一：单层网络7.1人工神经网络介绍定义局部梯度：（这层的输入对误差的影响）权值ωij的修正量为：权值ωij对误差E的影响：iOiωijjOj情况一：单层网络7.1人工神经网络介绍61情况一：单层网络计算此时，结点j为输出结点，则：iOiωijjOj7.1人工神经网络介绍62情况二：多层网络iOiωijjOjkωjk对于输出层而言：是实际输出值是理想输出值定义最小均方误差函数：7.1人工神经网络介绍63情况二：多层网络iOiωijjOjkωjk此时，结点j不是输出结点，则：7.1人工神经网络介绍对于Sigmoid函数：将其代入可以得到反向传播算法的步骤如下：7.1人工神经网络介绍BP算法流程：(1)选定权系数初值(2)重复下述过程直至收敛(对各个样本依次计算)1)从前向后各层计算各单元2)对输出层计算3)从后向前计算各隐层7.1人工神经网络介绍4)计算并保存各个权值修正量：5)修正权值：以上算法是对每个样本作权值修正（单样本）也可以对各个样本计算后求和，按照总误差修正权值（批处理）7.1人工神经网络介绍BP算法的优缺点优点：理论基础牢固，推导过程严谨，物理概念清晰，通用性好等。所以，它是目前用来训练前馈多层网络较好的算法。缺点：BP算法的收敛速度一般来说比较慢；BP算法只能收敛于局部最优解，不能保证收敛于全局最优解；当隐层元的数量足够多时，网络对训练样本的识别率很高，但对测试样本的识别率有可能很差，即网络的推广能力有可能较差。7.1人工神经网络介绍7.1人工神经网络介绍7.2常用神经网络人工神经网络7.2.1SOM网络SOM是一种自组织（竞争型）神经网络，除了SOM外，其他常见的自组织（竞争型）神经网络还有对偶传播(CounterPropagation)网络，自适应共振理论（AdaptiveResonanceTheory）网络等。1981年芬兰Helsink大学的T.Kohonen教授提出一种自组织特征映射网，简称SOM网，又称Kohonen网。Kohonen认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，且该过程是自动完成的。自组织特征映射正是根据这一看法提出，其特点与人脑的自组织特性相类似。7.2.1SOM网络如图7.10所示。该网络由输入层和输出层组成，其中输入层的神经元个数的选取按输入网络的向量个数而定，输入神经元为一维矩阵，接收网络的输入信号，输出层则是由神经元按一定的方式排列成一个二维节点矩阵。输入层的神经元与输出层的神经元通过权值相互联结在一起。当网络接收到外部的输入信号以后，输出层的某个神经元便会“兴奋”起来。图7.10SMO神经网络模型SOM网络特点：基本思想：网络的竞争层的各神经元竞争对输入模式响应的机会，最后仅有一个神经元成为竞争的胜者。这一获胜神经元则表示对输入模式的分类。学习算法：模拟生物神经元之间的兴奋、协调与抑制、竞争作用的信息处理的动力学原理来指导网络的学习与工作，而不像多层神经网络那样是以网络的误差作为算法的准则。网络结构：一般是由输入层和竞争层构成的两层网络；两层之间各神经元实现双向连接，而且网络没有隐含层。有时竞争层各神经元之间还存在横向连接。7.2.1SOM网络网络的输出神经元之间相互竞争以求被激活，每一时刻只有一个输出神经元被激活，即为获胜者。竞争学习的步骤：（1）向量归一化，对当前向量和全部神经元做归一化（2）寻找获胜神经元，依据相似度评价（3）网络输出与权值调整步骤（3）完成后回到步骤1继续训练，直到学习率衰减到0。学习率处于（0，1]，一般随着学习的进展而减小，神经元（权重）趋于聚类中心。7.2.1SOM网络径向基函数网络（RBF网络）是一种常用的前馈神经网络。（拓扑结构比较固定）

特征：只有一个隐层；隐层单元采用径向基函数作为输出函数；（非线性映射，将原始空间投影到高维，从而线性可分。）输入层到隐层单元间的权值固定为1；输出结点为线性求和单元隐层到输出结点的权值可调7.2.2RBF网络径向基函数的作用往往是局部的，离中心越远函数值越小。常用的径向基函数是高斯函数。其中：输入向量第i个隐结点的中心径向基函数（RadialBasisFunction）：某种沿径向对称的标量函数。通常定义为空间中任意一点到某一中心之间欧氏距离的单调函数。记为：中心和宽度两个参数可调7.2.2RBF网络可以从两个方面理解RBF网络函数逼近：把网络看成对未知函数f(x)的逼近器。一般任何函数都可以表示成一组基函数的加权和，这相当于用隐层单元的输出函数构成一组基函数来逼近f(x)。线性分类：把隐层看做是对输入的非线性映射（通常将低维线性不可分的样本映射到高维空间），再用线性分类器（输出结点的输出函数是线性函数）分类。7.2.2RBF网络RBF网络学习算法RBF网络中有三组参数可调：隐层基函数的中心、方差，以及隐层结点与输出结点之间的权值。RBF网络学习算法的两个阶段确定RBF函数的中心（核函数的参数）：无师学习训练隐层与输出结点之间的权值：有师学习7.2.2RBF网络RBF网络学习算法Step1：对所有样本的输入进行聚类（可以采用k均值聚类算法），求得各隐层结点RBF函数的中心。Step2：当RBF函数的中心ci确定后，训练隐层与输出结点之间的权值。这是一个线性优化问题。（利用训练样本监督完成，如最小二乘法，梯度下降法）7.2.2RBF网络RBF网络的优缺点RBF网络与BP网络主要的不同点是：在非线性映射上采用了不同的输出函数，分别为径向基函数与Sigmoid函数。前者的作用是局部的，后者的作用是全局的。已经证明，RBF网络具有唯一最佳逼近的特性，且无局部极小，可以获得全局最优解。径向基函数、隐层结点个数难以确定（人工神经网络的公共问题），目前尚无解决方案。隐层结点RBF函数的中心难以求解，阻碍了RBF网络的广泛应用。7.2.2RBF网络7.2.3BP网络BP(BackPropagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络。BP神经网络具有任意复杂的模式分类能力和优良的多维函数映射能力，解决了简单感知器不能解决的异或(ExclusiveOR，XOR)和一些其他问题。从结构上讲，BP网络具有输入层、隐藏层和输出层；从本质上讲，BP算法就是以网络误差平方为目标函数、采用梯度下降法来计算目标函数的最小值。BP神经网络基本原理：BP神经网络的基本思想是梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差为最小。正向传播时，输入信号通过隐含层作用于输出节点，经过非线性变换，产生输出信号，若实际输出与期望输出不相符，则转入误差的反向传播过程。反向传播时，将输出误差通过隐含层向输入层逐层反传，并将误差分摊给各层所有单元，以从各层获得的误差信号作为调整各单元权值的依据。通过调整输入节点与隐层节点的联接强度和隐层节点与输出节点的联接强度以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数(权值和阈值)，训练即告停止。7.2.3BP网络BP神经网络结构：BP网络是在输入层与输出