第四章 人工神经网络

第四章人工神经网络10/25/202314.1概述10/25/2023240年代初，美国McCulloch和Pitts从信息处理的角度，研究神经细胞行为的数学模型表达，并提出了二值神经元模型。1949年心理学家Hebb提出著名的Hebb学习规则，即由神经元之间结合强度的改变来实现神经学习的方法。MP模型的提出开始了对神经网络的研究进程。虽然Hebb学习规则在人们研究神经网络的初期就已提出，但是其基本思想至今在神经网络的研究中仍发挥着重要作用。人工神经网络(简称神经网络)是利用物理器件来模拟生物神经网络的某些结构和功能。4.1概述——人工神经网络研究与发展10/25/2023350年代末期，Rosenblatt提出感知机模型(Perceptron)，首先从工程角度出发，研究了用于信息处理的神经网络模型。感知机虽然比较简单，却已具有神经网络的一些基本性质，如分布式存贮、并行处理、可学习性、连续计算等。这些神经网络的特性与当时流行串行的、离散的、符号处理的电子计算机及其相应的人工智能技术有本质的不同，由此引起许多研究者的兴趣，在60代掀起了神经网络研究第一次高潮。但是，当时人们对神经网络研究过于乐观，认为只要将这种神经元互连成一个网络，就可以解决人脑思维的模拟问题，然而，后来的研究结果却又使人们走到另一个极端上。4.1概述——人工神经网络研究与发展10/25/20234在60年代末，美国著名人工智能专家Minsky和Papert对Rosenblatt的工作进行了深入研究，出版了有较大影响的(Perceptron)一书，指出感知机的功能和处理能力的局限性，甚至连XOR(异或)这样的问题也不能解决，同时也指出如果在感知器中引入隐含神经元，增加神经网络的层次，可以提高神经网络的处理能力，但是却无法给出相应的网络学习算法。另一方面，由于60年代以来集成电路和微电子技术日新月异的发展，使得电子计算机的计算速度飞速提高，加上那时以功能模拟为目标、以知识信息处理为基础的知识工程等研究成果，给人工智能从实验室走向实用带来了希望，这些技术进步给人们造成这样的认识：以为串行信息处理及以它为基础的传统人工智能技术的潜力是无穷的，这就暂时掩盖了发展新型计算机和寻找新的人工智能途径的必要性和迫切性。4.1概述——人工神经网络研究与发展10/25/20235另外，当时对大脑的计算原理、对神经网络计算的优点、缺点、可能性及其局限性等还很不清楚。总之，认识上的局限性使对神经网络的研究进入了低潮。在这一低潮时期，仍有一些学者扎扎实实地继续着神经网络模型和学习算法的基础理论研究，提出了许多有意义的理论和方法。其中，主要有自适应共振理论，自组织映射，认知机网络模型理论，BSB模型等等，为神经网络的发展奠定了理论基础。进入80年代，首先是基于“知识库”的专家系统的研究和运用，在许多方面取得了较大成功。但在一段时间以后，实际情况表明专家系统并不像人们所希望的那样高明，特别是在处理视觉、听觉、形象思维、联想记忆以及运动控制等方面，传统的计算机和人工智能技术面临着重重困难。4.1概述——人工神经网络研究与发展10/25/20236模拟人脑的智能信息处理过程，如果仅靠串行逻辑和符号处理等传统的方法来济决复杂的问题，会产生计算量的组合爆炸。因此，具有并行分布处理模式的神经网络理论又重新受到重视。对神经网络的研究又开始复兴，掀起了第二次研究高潮。1982年，美国加州理工学院物理学家J．J．Hopfield提出了一种新的神经网络HNN。他引入了“能量函数”的概念，使得网络稳定性研究有了明确的判据。HNN的电子电路物理实现为神经计算机的研究奠定了基础，并将其应用于目前电子计算机尚难解决的计算复杂度为NP完全型的问题，例如著名的“巡回推销员问题”(TSP)，取得很好的效果。从事并行分布处理研究的学者，于1985年对Hopfield模型引入随机机制，提出了Boltzmann机。4.1概述——人工神经网络研究与发展10/25/202371986年Rumelhart等人在多层神经网络模型的基础上，提出了多层神经网络模型的反向传播学习算法(BP算法)，解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习任务，解决许多实际问题。近十几年来，许多具备不同信息处理能力的神经网络已被提出来并应用于许多信息处理领域，如模式识别、自动控制、信号处理、决策辅助、人工智能等方面。神经计算机的研究也为神经网络的理论研究提供了许多有利条件，各种神经网络模拟软件包、神经网络芯片及电子神经计算机的出现，体现了神经网络领域的各项研究均取得长足进展。同时，相应的神经网络学术会议和神经网络学术刊物的大量出现，给神经网络的研究者们提供了许多讨论交流的机会。4.1概述——人工神经网络研究与发展10/25/20238生物神经系统是一个有高度组织和相互作用的数量巨大的细胞组织群体。人工神经网络的研究出发点是以生物神经元学说为基础的。生物神经元学说认为，神经细胞即神经元是神经系统中独立的营养和功能单元。人类大脑的神经细胞大约在1011-1013个左右。神经细胞也称神经元，是神经系统的基本单元，它们按不同的结合方式构成了复杂的神经网络。通过神经元及其联接的可塑性，使得大脑具有学习、记忆和认知等各种智能。4.1概述——人脑信息处理机制10/25/20239生物神经系统，包括中枢神经系统和大脑，均是由各类神经元组成。其独立性是指每一个神经元均有自己的核和自己的分界线或原生质膜。生物神经元之间的相互连接从而让信息传递的部位被称为突触(Synapse)。突触按其传递信息的不同机制，可分为化学突触和电突触。其中化学突触占大多数，其神经冲动传递借助于化学递质的作用。生物神经元的结构大致描述如下图所示。4.1概述——人脑信息处理机制10/25/2023104.1概述——人脑信息处理机制10/25/202311神经元由细胞体和延伸部分组成。延伸部分按功能分有两类，一种称为树突，占延伸部分的大多数，用来接受来自其他神经元的信息；另一种用来传递和输出信息，称为轴突。神经元对信息的接受和传递都是通过突触来进行的。单个神经元可以从别的细胞接受多达上千个的突触输入。这些输入可达到神经元的树突、胞体和轴突等不同部位，但其分布各不相同，对神经元的影响也不同。人类大脑皮质的全部表面积约20

104mm2，平均厚度约2.5mm，皮质的体积则约为50

104mm3。如果皮质中突触的平均密度是6

l09/mm3左右，则可认为皮质中的全部突触数为3

1015个。如果再按上述人脑所含的全部神经元数目计算，则每个神经元平均的突触数目可能就有1.5

3.0万个左右。4.1概述——人脑信息处理机制10/25/202312神经元之间的联系主要依赖其突触的联接作用。这种突触的联接是可塑的，也就是说突触特性的变化是受到外界信息的影响或自身生长过程的影响。神经元对信息的接受和传递都是通过突触来进行的。多个神经元以突触联接形成了一个神经网络。它们有其独特的运行方式和控制机制，以接受生物内外环境的输入信息，加以综合分析处理，然后调节控制机体对环境作出适当的反应。4.1概述——人脑信息处理机制10/25/202313(1)并行分布处理的工作模式。(2)神经系统的可塑性和自组织性。神经系统的可塑性和自组织性与人脑的生长发育过程有关。神经网络的学习机制就是基于这种可塑性现象，并通过修正突触的结合强度来实现的。(3)信息处理与信息存贮合二为一。(4)信息处理的系统性。(5)能接受和处理模糊的、模拟的、随机的信息。(6)求满意解而不是精确解。(7)系统的恰当退化和冗余备份(鲁棒性和容错性)。4.1概述——人脑信息处理机制10/25/202314神经网络原型研究，即大脑神经网络的生理结构、思维机制。——人工神经网络模型的研究易于实现的神经网络计算模型。利用物理学的方法进行单元间相互作用理论的研究，如：联想记忆模型。神经网络的学习算法与学习系统。神经元生物特性如时空特性、不应期、电化学性质的人工模拟。4.1概述——人工神经网络研究与应用的主要内容10/25/202315———神经网络基本理论研究神经网络的非线性特性，包括自组织、自适应等作用。神经网络的基本性能，包括稳定性、收敛性、容错性、鲁棒性、动力学复杂性。神经网络的计算能力与信息存贮容量。开展认知科学的研究：探索包括感知、思考、记忆和语言等的脑信息处理模型。采用诸如连接机制等方法，将认知信息处理过程模型化，并通过建立神经计算学来代替算法论。4.1概述——人工神经网络研究与应用的主要内容10/25/202316———神经网络智能信息处理系统的应用认知与人工智能：包括模式识别、计算机视觉与听觉、特征提取、语音识别语言翻译、联想记忆、逻辑推理、知识工程、专家系统、故障诊断、智能机器人等。优化与控制：包括优化求解、决策与管理、系统辨识、鲁棒性控制、自适应控制、并行控制、分布控制、智能控制等。信号处理：自适应信号处理(自适应滤波、时间序列预测、谱估计、消噪、检测、阵列处理)和非线性信号处理(非线性滤波、非线性预测、非线性谱估计、非线性编码、中值处理)。传感器信息处理：模式预处理变换、信息集成、多传感器数据融合。4.1概述——人工神经网络研究与应用的主要内容10/25/202317———神经网络的软件模拟和硬件实现在通用计算机、专用计算机或者并行计算机上进行软件模拟，或由专用数字信号处理芯片软件模拟的优点是网络的规模可以较大，适合于用来验证新的模型和复杂的网络特性。构成神经网络仿真器。由模拟集成电路、数字集成电路或者光器件在硬件上实现神经芯片。硬件实现的优点是处理速度快，但由于受器件物理因素的限制，根据目前的工艺条件，网络规模不可能做得太大。仅几千个神经元。但代表了未来的发展方向，因此特别受到人们的重视。4.1概述——人工神经网络研究与应用的主要内容10/25/202318——神经网络计算机的实现计算机仿真系统。专用神经网络并行计算机系统。数字、模拟、数—模混合、光电互连等。光学实现。生物实现。4.1概述——人工神经网络研究与应用的主要内容10/25/2023194.2人工神经元模型10/25/202320

f()

j-1x1xnwj1wjn···yj4.2人工神经元模型——典型的人工神经元模型10/25/202321第j个神经元模型的输入输出关系为：

为输入信号；

为神经元j的权值；

称为阈值；

f(

)为输出变换函数；

yj为神经元j的输出。4.2人工神经元模型——典型的人工神经元模型10/25/202322(2)符号函数：

sy0sy1－10(1)比例函数：4.2人工神经元模型——典型的人工神经元模型10/25/202323(3)饱和函数：

sy1－10(4)阶跃函数：

sy10常称此种神经元为M-P模型。

4.2人工神经元模型——典型的人工神经元模型10/25/202324(5)双曲函数

sy1－10(6)Sigmoid函数

sy10.50它具有平滑和渐近性，并保持单调性，相对于其它类函数，Sigmoid函数最为常用。

这两类函数也称为S形函数4.2人工神经元模型——典型的人工神经元模型10/25/2023254.3人工神经网络结构、工作方式及学习方法10/25/2023264.3人工神经网络(ANN)结构与工作过程除单元特性外，网络的拓扑结构也是ANN的一个重要特征。人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其它的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。从连接方式看，ANN主要有两种：前馈型神经网络和反馈型网络。10/25/202327·········前馈型网络(a)···反馈型网络(b)4.3人工神经网络(ANN)结构与工作过程——典型结构10/25/202328前馈型神经网络主要是函数映射，用于模式识别和函数逼近。按对能量函数的所有极小点的利用情况，可将反馈型神经网络分两类：一类是能量函数的所有极小点都起作用，主要用作各种联想存储器；另一类只利用全局极小点，主要用于求解优化问题。——两种网络的应用4.3人工神经网络(ANN)结构与工作过程——典型结构10/25/202329第一个阶段是学习期，此时各计算单元状态不变，各连线上的权值通过学习来修改；第二阶段是工作期，此时连接权固定，计算单元状态变换，以达到某种稳定状态。主要分为两个阶段：4.3人工神经网络(ANN)结构与工作过程——工作过程10/25/202330神经网络的学习也称为训练，指的是神经网络在受到外部环境的刺激性调整神经网络的参数，使神经网络以一种新的方式对外部环境作出反应的一个过程。能够从环境中学习和在学习中提高自身性能是神经网络最有意义的性质。神经网络通过反复学习来达到对环境的了解。4.3神经网络的学习10/25/202331监督学习，也称为有教师学习，它需要组织一批正确的输入输出数据对。将输入数据加载到网络输入端后，把网络的实际输出与期望（理想）输出相比较得到差值(误差信号)，然后根据误差的情况修改各连接权，使网络能朝着正确响应的方向不断变化下去，直到实际的输出与期望输出之差在允许范围之内。按环境提供信息量的多少，学习方式有3种。4.3神经网络的学习——学习方式——监督学习10/25/202332这时仅有一批输入数据。网络初始状态下，连接权值均设置为一小正数，通过反复加载这批输入数据，使网络不断受到刺激，当与曾经历的刺激相同的刺激到来时，相应连接权以某一系数增大，重复加入的同样刺激使相应的连接权增大到接近1的某值。学习系统完全按照环境提供的数据的某些统计规律来调节自身参数或结构(这是一种自组织过程)，这一自组织的方法，使网络具有某种“记忆”能力以至形成“条件反射”，当曾经学习过或相似的刺激加入后，输出端便按权值矩阵产生相应的输出，以表示出外部输入的某种固有特性(如聚类或某种统计上的分布特征)。4.3神经网络的学习——学习方式——无监督学习10/25/202333介于上述两种情况之间，外部环境对系统输出结果只给出评价信息(奖或惩)而不是给出正确答案。学习系统通过强化那些受奖的动作来改善自身的性能。4.3神经网络的学习——学习方式——再励学习(强化学习)10/25/202334人工神经网络的学习训练过程，就是不断调整连接权值的过程。在网络学习过程中，无论是根据差错的方向和大小调整连接权值，还是根据网络的功能和输入信息自主地调整连接权值，其中都隐含着用于调整连接权值的一定的方法和规则。这些改变权值的方法和规则就称为学习规则或学习算法。不同的学习算法对神经元的权值调整的表达式是不同的。没有一种独特的学习算法适用于设计所有的神经网络。选择或设计学习算法时还需考虑神经网络的结构及神经网络与外界环境相连接的形式。4.3神经网络的学习——学习算法(学习规则)10/25/202335Hebb学习规则是最早提出的一种神经网络学习规则，也是人工神经网络发展初期最著名的学习规则。Hebb学习规则是心理学家Hebb根据心理学中的条件反射机理，于1949年提出的神经细胞间连接强度变化的规则。Hebb学习规则与“条件反射”机理一致，并且已经得到了神经细胞学说的证实。目前，Hebb学习规则仍然在各种神经网络模型中起着重要的作用。4.3神经网络的学习——学习算法(学习规则)——Hebb学习规则10/25/202336Hebb学习规则可归纳为：“当某一突触(连接)两端的神经元同步激活(同为激活或同为抑制)时，该连接的强度应为增强，反之应减弱”。yk(n)，xj(n)分别为wkj两端神经元的状态。由于

wkj与yk(n)，xj(n)的相关成比例，有时称为相关学习规则。属于无导师学习。4.3神经网络的学习——学习算法(学习规则)——Hebb学习规则10/25/202337纠错学习规则应用于采用有指导的学习方式的人工神经网络模型，它根据来自输出节点的外部反馈（期望输出）调整连接权值，使得网络输出节点的实际输出与外部的期望输出一致。采用纠错学习规则的神经网络模型在学习训练时需要大量的训练样本，因此训练时的收敛速度较慢。同时，部分纠错学习规则存在“局部极小值”问题，不能保证一定收敛于全局最小点。常见的纠错学习规则包括感知器学习规则、

学习规则和Widrow-Hoff学习规则。4.3神经网络的学习——学习算法(学习规则)——纠错学习规则10/25/202338——感知器学习规则感知器学习规则是美国学者Rosenblatt于1958年提出的具有自学习能力的单层离散感知器模型中采用的学习规则，因此也称为离散感知器学习规则。在感知器学习规则中，学习信号等于神经元的期望输出与实际输出之差，即：4.3神经网络的学习——学习算法(学习规则)——纠错学习规则10/25/202339——

(delta)学习规则学习规则要求转移函数可导，是梯度下降学习规则的一种特例。BP神经网络采用的学习规则也由梯度算法推导出来，类似于

学习规则，但比

学习规则更为复杂，是一种一般化的

学习规则。定义神经元j的期望输出与实际输出之间的平方误差为：误差相对于连接权的梯度为：4.3神经网络的学习——学习算法(学习规则)——纠错学习规则10/25/202340——

Widrow-Hoff学习规则1962年，Widrow和Hoff提出了Widrow-Hoff学习规则，使神经元的期望输出与实际输出之间的平方差最小，因此也称为最小均方差(LMS)学习规则。LMS学习规则可以看作是学习规则的一种特殊情况。4.3神经网络的学习——学习算法(学习规则)——纠错学习规则10/25/202341也称为胜者为王(WinnerTakeAll)学习规则。顾名思义，在竞争学习时，网络各输出单元相竞争，最后达到只有一个最强者激活。最常用的竞争学习规则可写为：获胜神经元的输入状态为1时，相应的权值增加，状态为0时权值减小。学习过程中，权值越来越接近于相应的输入状态。竞争学习属于无导师算法。4.3神经网络的学习——学习算法(学习规则)——竞争学习规则10/25/202342误差学习算法通常采用梯度下降法，存在局部最小问题。随机学习算法通过引入不稳定因子来处理这种情况。如果把神经网络的当前状态看做一个小球，网络的误差函数看作是超平面，当小球达到局部最小值时，增加不稳定因子，即对小球加一个冲量，则小球会越过峰值点，而达到全局最小点，即网络最终收敛于全局最小点。比较著名的随机学习算法有模拟退火算法和遗传算法。4.3神经网络的学习——学习算法(学习规则)——随机学习规则10/25/202343当学习系统(神经网络)所处环境平稳时(统计特性不随时间变化)，从理论上讲通过监督学习可以学到环境的统计特性，这些统计特性可被学习系统作为经验记住。如果环境是非平稳的(统计特性随时间变化)，通常的监督学习没有能力跟踪这种变换，为解决此问题，需要网络具有一定的自适应能力，此时对每一个不同输入都作为一个新的例子来对待。其工作过程如图所示。此时模型(即ANN)被当作一个预测器，基于前一时刻输入x(n-1)和模型在n-1时刻的参数，它估计n时刻的输出x’(n)，与实际值x(n)(作为应有的正确答案)比较，其差值称为“信息”，如信息e(n)=0，则不修正模型参数，否则应修正模型参数以便跟踪环境的变化。4.3神经网络的学习——学习算法(学习规则)——学习与自适应10/25/202344比较器模型Z－1输入信号x(n)输出信号x(n－1)预测x’(n)纠正信号e(n)4.3神经网络的学习——学习算法(学习规则)——学习与自适应10/25/202345迄今为止，有30多种人工神经网络模型被开发和应用。1、自适应谐振理论(ART)：此理论由格罗斯伯格提出，是一个根据可选参数对输入数据进行粗略分类的网络。ART-1用于二值输入，而ART-2用于连续值输入。ART的不足之处在于过分敏感，当输入有小的变化时，输出变化很大。2、双向联想存储器(BAM)：由科斯克(Kosko)开发，是一种单状态互联网络，具有学习能力。BAM的缺点是存储密度较低，且易于振荡。3、Boltzmann机(BM)：由欣顿(Hinton)等人提出，建立在Hopefield网络基础上，具有学习能力，能够通过一个模拟退火过程寻求答案。不过，其训练时间比BP网络要长。4.3神经网络的典型模型10/25/2023464、反向传播(BP)网络：方向传播训练算法是一种迭代梯度算法，用于求解前馈网络的实际输出与期望输出间的最小均方差值。BP网络是一种方向传递并能修正误差的多层映射网络。当参数适当时，此网络能够收敛到较小的均方差，是目前应用最广泛的网络之一。5、对流传播网络(CPN)：是一个通常由5层组成的连接网。CPN可用于联想存储，其缺点是要求较多的处理单元。6、Hopefiled网：是一类不具有学习能力的单层自联想网络。Hopefield网络模型由一组可使某个能量函数最小的微分方程组成。其不足在于计算代价较高，而且需要对称连接。7、Madaline算法：是Adaline算法的一种发展，是一组具有最小均方差线性网络的组合，能够调整权值，使得期望信号与输出间的误差最小。此算法是自适应信号处理和自适应控制的得力工具，具有较强的学校能力，但是输入和输出之间必须满足线性关系。4.3神经网络的典型模型10/25/2023478、认知机(neocogntion)是迄今为止结构上最为复杂的多层网络。通过无师学习，认知机具有选择能力，对样品的平移和旋转不敏感。不过，认知机所用节点及其互连较多，参数也多且难选取。9、感知器(perceptron)：是一组可训练的分类器，为最古老的ANN之一，现已很少使用。10、自组织映射网(SOM)：以神经元自行组织以校正各种具体模式的概念为基础。SOM能够形成簇与簇之间的连续映射，起到矢量量化器的作用。最典型的ANN模型(算法)及其学习规则和应用领域如表。4.3神经网络的典型模型10/25/202348模型名称有师或无师学习规则正向或方向传播应用领域AG无Hebb律反向数据分类SG无Hebb律反向信息处理ART-1无竞争律反向模式分类DH无Hebb律反向语音处理CH无Hebb律/竞争律反向组合优化BAM无Hebb律/竞争律反向图像处理AM无Hebb律反向模式存储ABZM无Hebb律反向信号处理4.3神经网络的典型模型10/25/202349模型名称有师或无师学习规则正向或方向传播应用领域CABAM无Hebb律反向组合优化FCM无Hebb律反向组合优化LM有Hebb律正向过程监控DR有Hebb律正向过程预测、控制LAM有Hebb律正向系统控制OLAM有Hebb律正向信号处理FAM有Hebb律正向知识处理BSB有误差修正正向实时分类4.3神经网络的典型模型10/25/202350模型名称有师或无师学习规则正向或方向传播应用领域Perceptron有误差修正正向线性分类、预测Adaline/Madaline有误差修正反向分类、噪声抑制BP有误差修正反向分类AVQ有误差修正反向数据自组织CPN有Hebb律反向自组织映射BM有Hebb律/模拟退火反向组合优化CM有Hebb律/模拟退火反向组合优化AHC有误差修正反向控制4.3神经网络的典型模型10/25/202351模型名称有师或无师学习规则正向或方向传播应用领域ARP有随机增大反向模式匹配、控制SNMF有Hebb律反向语音/图像处理4.3神经网络的典型模型10/25/2023521、并行分布式处理神经网络具有高度的并行结构和并行实现能力，具有高速寻找优化解的能力，能够发挥计算机的高速运算能力，可很快找到优化解。2、非线性处理人脑的思维是非线性的，故神经网络模拟人的思维也应是非线性的，这一特点有助于解决非线性问题。3、具有自学习能力通过对过去的历史数据的学习，训练出一个具有归纳全部数据的特定的神经网络，自学习能力对于预测有特别重要的意义。4.3神经网络的特点10/25/2023534.4前馈神经网络10/25/202354具有分层的结构。最下面一层是输入层，中间是隐层，最上面一层是输出层。其信息从输入层依次向上传递，直至输出层。关于网络的层数有两种说法：如我们说3层网络能完成对给定的函数的任何精度的逼近，这里说的3层就将输入节点算作1层。一种是将输入节点层算作第一层。另一种是只计算由元件构成的层次。4.4前馈神经网络10/25/202355感知器是最简单的前馈网络，它主要用于模式分类。也可用在基于模式分类的学习控制和多模态控制中。4.4前馈神经网络——感知器网络10/25/202356

1

2

m···x1x2xny1y2ymw11w12w1nwm1wmn是输入特征向量输出量yj(j=1,2,

,m)是按照不同特征的分类结果wji是xi到yj的连接权4.4前馈神经网络——感知器网络——单层感知器网络10/25/202357若有P个输入样本xp(p=1,2,

,P)，经过该感知器的输出yj只有两种可能，即1和－1，从而说明它将输入模式分成了两类。若将xp(p=1,2,

,P)看成是n维空间的P个点，则该感知器将该P个点分成了两类，它们分属于n维空间的两个不同的部分。4.4前馈神经网络——感知器网络——单层感知器网络10/25/202358

1x1x2y1w1w2x1x2

设图中的“

”和“

”表示输入的特征向量点，其中“

”和“

”表示具有不同特征的两类向量。用单个神经元感知器将其分类。4.4前馈神经网络——感知器网络——单层感知器网络10/25/202359这是一条直线方程。它说明，只有那些线性可分模式类才能用感知器来加以区分。根据感知器的变换关系，可知分界线的方程为：现在的问题是，如果已知一组输入样本模式以及它们所属的特征类，如何找出其中一条分界线能构对它们进行正确的分类。也就是说，如何根据样本对连接权和阈值进行学习和调整。这里样本相当于“教师”，所以这是一个有监督的学习问题。4.4前馈神经网络——感知器网络——单层感知器网络10/25/202360如图所示的异或关系，显然它是线性不可分的。单层感知器不可能将其正确分类。历史上，Minsky正是利用这个典型例子指出了感知器的致命弱点，从而导致了70年代神经元网络的研究低潮。x1x2

1-11-14.4前馈神经网络——感知器网络——单层感知器网络10/25/202361······x1(0)x2(0)xn0(0)x1(Q)x2(Q)xnQ(Q)······对于线性不可分的输入模式，用单层感知器网络不可能对其实现正确的区分，这时可采用多层感知器网络。第0层为输入层，有n0个神经元Q层为输出层，有nQ个输出，中间层为隐层。4.4前馈神经网络——感知器网络——多层感知器网络10/25/202362每一层相当于一个单层感知器网络，如对于第q层，它形成一个nq－1维的超平面，它对于该层的输入模式进行线性分类。多层感知器网络的输入输出变换关系为：由于多层的组合，最终可实现对输入模式的较复杂的分类。4.4前馈神经网络——感知器网络——多层感知器网络10/25/202363感知器模型中神经元的变换函数采用的是符号函数，因此输出的是二值量。它主要用于模式分类。多层前馈网具有相同的结构，只是神经元的变换函数采用S型函数，因此输出量是0到1之间的连续量，它可实现从输入到输出的任意的非线性映射。由于连接权的调整采用的是反向传播(BackPropagation)的学习算法，因此该网络也称为BP网络。在多层前馈网络中，第0层为输入层，第Q层为输出层，有nQ个输出，中间层为隐层。设第q层(q=0,2,

，Q)的神经元个数为nq，输入到第q层的第i个神经元的连接权系统为：4.4前馈神经网络——BP网络10/25/202364网络的输入输出变化关系为：

4.4前馈神经网络——BP网络10/25/202365设给定P组输入输出样本：

利用该样本集首先对BP网络进行训练，也即对网络的连接权系数进行学习和调整，以使该网络实现给定的输入输出映射关系。经过训练的BP网络，对于不是样本集中的输入也能给出合适的输出。该性质称为泛化(generalization)功能。从函数拟合的角度，它说明BP网络具有插值功能。4.4前馈神经网络——BP网络——标准BP算法10/25/202366设取拟合误差的代价函数为：如何调整连接权系数以使代价函数E最小。优化计算的方法很多，比较典型的是采用一阶梯度法，即最速下降法。一阶梯度法寻优的关键是计算优化目标函数(即本问题中的误差代价函数)E对寻优参数的一阶导数。4.4前馈神经网络——BP网络——标准BP算法10/25/202367对于第Q层有：

表示用第p组输入样本所算得的结果。

4.4前馈神经网络——BP网络——标准BP算法10/25/202368对于第Q－1层有：

显然，它是反向递推计算的公式4.4前馈神经网络——BP网络——标准BP算法10/25/202369然后再由上式递推计算出

依次类推，可继续反向递推计算出

和(q=Q－2，

，1)的表达式中包含了导数项

假定f(·)为S形函数即首先计算出4.4前馈神经网络——BP网络——标准BP算法10/25/202370归纳出BP网络的学习算法如下：

4.4前馈神经网络——BP网络——标准BP算法10/25/2023714.4前馈神经网络——BP网络——标准BP算法10/25/202372由于该算法是反向递推(BackPropagation)计算出的，因而通常称该多层前馈网络为BP网络。该网络实质上是对任意非线性映射关系的一种逼近，由于采用的是全局逼近的方法，因而BP网络具有良好的泛化能力。真正的梯度下降是沿着梯度确定的方向以无穷小步长进行的。很明显，这是不切实际的，因此定义学习速率

，确定了沿梯度方向的一个有限步长。这里

是常数，它相当于确定步长的增益。其中心思想就是选择足够大的

，使得网络迅速收敛，而不会因调整过渡而振荡。4.4前馈神经网络——BP网络——标准BP算法10/25/202373——定理：只要隐层神经元的个数充分多，则隐神经元为S形神经元而输出元为线性元的二层网可逼近任何函数；如果用M个隐神经元的网络逼近函数h(x)，则必然存在一个残量误差，Jones(1990,1992)和Barron(1993)证明了这一误差以速度O(1/M)随M的增大而减小。——BP网络的学习算法属于全局逼近的方法，因而它具有较好的泛化能力。4.4前馈神经网络——BP网络——BP网络的主要优点10/25/202374——BP网络能够实现输入输出的非线性映射关系，但它并不依赖于模型。其输入与输出之间的关联信息分布地存储于连接权中。由于连接权的个数很多，个别神经元的损坏只对输入输出关系有较小的影响，因此BP网络显示了较好的容错性。BP网络由于其很好的逼近非线性映射的能力，因而它可应用于信息处理、图象识别、模型辨识、系统控制等多个方面。对于控制方面的应用，其很好的逼近特性和泛化能力是一个很好的性质。而收敛速度慢却是一个很大的缺点，这一点难以满足实时控制的要求。4.4前馈神经网络——BP网络——BP网络的主要优点10/25/202375对于给定的样本集，目标函数E是全体连接权系数的函数。因此，要寻优的参数的个数比较多，也就是说，目标函数E是关于连接权的一个非常复杂的超曲面，这就给寻优计算带来一系列的问题：收敛速度慢，局部极值问题，难以确定隐层和隐节点的个数。从本质上讲，BP网络的求解训练过程本质上是一种非线性优化问题，这就不可避免地存在局部极小，在用它解决一些稍微复杂的问题时，往往不能保证达到全局最小，致使学习过程失效；当误差变小时，特别是快接近最小点时，学习收敛缓慢。4.4前馈神经网络——BP网络——BP改进算法10/25/202376——引入动量法附加动量法使网络在修正权值时不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响。标准BP算法实质上是一种简单的最速下降静态寻优算法，在修正权值w(k)时，只按k时刻的负梯度方向进行修正，没有考虑积累的经验，即以前的梯度方向，从而使学习过程振荡，收敛缓慢。D(k)为k时刻的负梯度，D(k-1)为k-1时刻的负梯度。

为学习率，>0

为动量项因子，0<1所加入的动量项实质上相当于阻尼项，它减小了学习过程的振荡趋势，改善了收敛性，是一种应用比较广泛的改进算法。4.4前馈神经网络——BP网络——BP改进算法10/25/202377标准BP学习算法采用的是一阶梯度法，因而收敛较慢。若采用二阶梯度法，则可以大大提高收敛性。虽然二阶梯度法具有较好的收敛性，但是需要计算E对w的二阶导数，这个计算量很大。所以一般不直接采用二阶梯度法，而常常采用变尺度法或共轭梯度法，它们具有如二阶梯度法收敛较快的优点，又无需直接计算二阶梯度。——变尺度法4.4前馈神经网络——BP网络——BP改进算法10/25/202378变尺度算法：4.4前馈神经网络——BP网络——BP改进算法10/25/202379——自适应学习率调整法在BP算法中，网络权值的调整取决于学习速率和梯度。自适应学习率调整准则是：检查权值的修正是否真正降低了误差函数，如果确实如此，则说明所选的学习率小了，可对其增加一个量；若还是则说明产生了过调，那么就应减小学习速率的值。当连续两次迭代其梯度方向相同时，表明下降太慢，这时可使步长加倍；当连续两次迭代其梯度方向相反时，表明下降过头，这时可使步长减半。4.4前馈神经网络——BP网络——BP改进算法10/25/202380——Sigmoid函数输出限幅的BP算法分析标准BP算法的学习公式可以发现：对连接权的调整都与隐含层的输出相关。因此当隐含层的输出为0或1时，连接权调整量为0，起不到调整作用。由Sigmoid函数的饱和非线性输出特性可知，当其输出小于或大于某一数值后，其输出接近于0或1。因此，限制Sigmoid函数的输出，能够加速网络的收敛。具体做法就是在网络的学习过程中，当Sigmoid函数的实际输出小于0.01或大于0.99时，将其输出直接取值为0.01或0.99，这样保证了每次学习都能够进行有效地校正，从而加快收敛过程。4.4前馈神经网络——BP网络——BP改进算法10/25/202381——弹性BP算法针对网络输入很多或很小时，由于S型函数导致算法中的梯度幅值很小而使得网络权值的修正过程机会停滞下来，弹性BP算法值只取偏导数的符号，而不考虑偏导数的幅值。权值更新的方向由偏导数的符号决定，而权值变化的大小则由一个独立的“更新值”确定。若在两次连续的迭代中，目标函数对某个权值的偏导数符号不变，则增大想要的“更新值”；反之，则减小相应的“更新值”。在弹性BP算法中，当训练发生震荡时，权值的变化量将减小；当在几次的迭代过程中，权值均朝一个方向变化时，权值的变化量将增大。4.4前馈神经网络——BP网络——BP改进算法10/25/202382——确定网络的类型和结构神经网络的类型很多，需根据问题的性质和任务的要求来合适地选择网络类型。若主要用于模式分类，尤其是线性可分的情况，则可采用较为简单的感知器网络。若主要用于函数估计，则可应用BP网络在网络的类型确定后，要是选择网络的结构和参数。对于BP网络，需选择网络的层数、每层的节点数、初始权值、阈值、学习算法、数值修改频度、结点变换函数及参数、学习率等参数。4.4前馈神经网络——BP网络——BP网络的训练10/25/202383——产生数据样本集包括原始数据的收集、数据分析、变量选择以及数据的预处理首先要在大量的原始测量数据中确定出最主要的输入模式。在确定了最重要的输入量后，需进行尺度变换和预处理。尺度变换常常将它们变换到[-1,1]或[0,1]的范围。在进行尺度变换前必须先检查是否存在异常点（或称野点），这些点必须删除。通过对数据的预处理分析还可以检验其是否存在周期性、固定变换趋势或其它关系。对数据的预处理就是要使得经变换后的数据对于神经网络更容易学习和训练。4.4前馈神经网络——BP网络——BP网络的训练10/25/202384对于一个问题应该选择多少数据，这也是一个很关键的问题。系统的输入输出关系就包含在数据样本中。一般来说，取的数据越多，学习和训练的结果便越能正确反映输入输出关系。但选太多的数据将增加收集、分析数据以及网络训练付出的代价选太少的数据则可能得不到正确的结果。事实上数据的多数取决于许多因素，如网络的大小、网络测试的需要以及输入输出的分布等。其中网络的大小最关键。通常较大的网络需要较多的训练数据。一个经验规则是：训练模式应是连接权总数的5至10倍。4.4前馈神经网络——BP网络——BP网络的训练10/25/202385最简单的方法是：将收集到的可用数据随机地分成两部分，比如其中三分之二用于网络的训练。另外三分之一用于将来的测试。随机选取的目的是为了尽量减小这两部分数据的相关性。影响数据大小的另一个因素是输入模式和输出结果的分布，对数据预先加以分类可以减小所需的数据量。相反，数据稀薄不匀甚至覆盖则势必要增加数据量。在神经网络训练完成后，需要有另外的测试数据来对网络加以检验，测试数据应是独立的数据集合。4.4前馈神经网络——BP网络——BP网络的训练10/25/202386——网络层数的选取理论上早已证明：具有偏差和至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理函数。增加层数主要可以更进一步降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。而误差精度的提高实际上也可以通过增加隐含层中的神经元数目来获得，其训练效果也比增加层数更容易观察和调整，所以，一般情况下，应优先考虑增加隐含层中的神经元数。4.4前馈神经网络——BP网络——BP网络的训练10/25/202387对于具体问题若确定了输入和输出变量后，网络输入层和输出层的节点个数也便随之确定了。隐层节点数对网络的泛化能力有很大的影响。节点数太多，倾向于记住所有的训练数据，包括噪声的影响，反而降低了泛化能力；节点数太少，不能拟和样本数据，没有较好的泛化能力。原则：选择尽量少的节点数以实现尽量好的泛化能力。具体选择可采用如下方法：先设较少的节点，对网络进行训练，并测试网络的逼近误差，然后逐渐增加节点数，直到测试的误差不再有明显的减少为止。——每层节点数的选取4.4前馈神经网络——BP网络——BP网络的训练10/25/202388由于系统是非线性的，初始值对于学习是否达到局部最小、是否能够收敛以及训练时间的长短关系很大。如果初始值太大，使得加权后的输入落到激活函数的饱和区，从而导致其导数非常小，而在计算权值的修正公式中，修正量正比与其导数，从而使调节过程几乎停顿下来。一般总是希望经过初始加权后的每个神经元的输入值都接近于零，这样可以保证每个神经元的权值都能够在他们的S型激活函数变化最大之处进行调节，所以，一般取初始权值在(-1,1)之间的随机数。——初始权值的选取4.4前馈神经网络——BP网络——BP网络的训练10/25/202389——学习速率的选取学习速率决定每一次循环训练中所产生的权值变化量。大的学习速率可能导致系统的不稳定，小的学习速率会导致训练较长，收敛速度很慢，不过能保证网络的误差值不跳出表面的低谷而最终趋于最小误差值。一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率一般的选取范围为0.01－0.8在一个神经网络的设计中，网络要经过几个不同的学习速率的训练。通过观察每一次训练后的误差平方和的下降速率来判断选定的学习速率是否合适。如果下降很快，说明学习速率合适。若出现振荡，则说明学习速率过大。对于较复杂的网络，为了减小寻找学习速率的训练次数以及训练时间，比较合适的方法是采用自适应学习速率。4.4前馈神经网络——BP网络——BP网络的训练10/25/202390对所有样本数据正向运行一次并反向修改连接权一次称为一次训练(或一次学习)。通常训练一个网络需要成百上千次。训练网络的目的在于找出蕴含在样本数据中的输入和输出之间的本质联系，从而对于未经训练的输入也能给出合适的输出，即局部泛化能力。网络的性能主要是用它的泛化能力来衡量，它不是用对训练数据的拟和程度来衡量，而是用一组独立的数据来加以测试和检验。由于所收集的数据都是包含噪声的，训练的次数过多，网络将包含噪声的数据都记录了下来，在极端情况下，训练后的网络可以实现相当于查表的功能。但是对于新的输入数据却不能给出合适的输出，即并不具备很好的泛化能力。4.4前馈神经网络——BP网络——BP网络的训练——学习次数的选取10/25/202391训练次数均方误差训练数据测试数据在用测试数据检验时，均方误差开始逐渐减小，当训练次数再增加时，测试检验误差反而增加，误差曲线上极小点所对应的即为恰当的训练次数，若再训练即为“过渡训练”了。4.4前馈神经网络——BP网络——BP网络的训练10/25/202392BP网络的本质功能是通过对简单非线性函数(S型函数)的数次复合来实现输入到输出的高度非线性映射，隐含表达现实物理世界存在的极其复杂的非线性函数关系。BP网络是前向网络的核心，其应用领域也非常广泛。目前，在人工神经网络的实际应用中，80%以上的人工神经网络模型是采用BP网络及其变化形式。工程中存在的许多实际问题，如模式识别、特征压缩、图形处理、预测预报、控制、决策、函数拟和等都可归结为求解输入到输出的高度非线性映射，因而可用BP网络有效地求解。4.4前馈神经网络——BP网络——BP网络的应用10/25/202393——非线性系统建模（如进行非线性函数拟合）在工程应用中经常会遇到一些复杂的非线性系统，这些系统状态方程复杂，难以用数学方法准确建模。在这种情况下，可以机建立BP神经网络表达这些非线性函数。该方法把未知系统看成是一个黑箱，首先用系统输入输出数据训练BP神经网络，使网络能够表达该未知函数，然后就可以利用训练好的BP网络预测系统输出。4.4前馈神经网络——BP网络——BP网络的应用10/25/202394算法流程：流程可以分为三步：BP神经网络构建、训练、预测。构建：根据拟合非线性函数特点确定BP网络结构。训练：用非线性函数输入输出数据训练网络，使训练后的网络能够预测非线性函数输出。预测：用训练好的网络预测函数输出。4.4前馈神经网络——BP网络——BP网络的应用10/25/202395混合池沉淀池过滤池PAC河水混合水已沉淀水清洁水水净化系统的净化过程是：先把污浊的河水引到混合储水池，并投入称为PAC的化学制剂及用于消毒的氯；再把混合水引到沉淀池，使水中的污浊成分在PAC的作用下深入水底；沉淀大约3

5小时后，把水引到过滤池备用。在水净化系统中主要的控制问题使确定要投入的PAC的量，以确保处理水的污浊度保持在一定水平之下。非线性系统建模（水净化控制决策系统（WCCD））4.4前馈神经网络——BP网络——BP网络的应用10/25/202396此控制问题的主要困难是水净化过程很难用一个数学模型或物理模型来描述，而且河水的污浊度变换很大(如雨季河水的污浊度可能增大1000倍)，其变换规律也无法清楚地定义。BP神经网络WCCDTUB1TUB2TEALPHPAC在水净化控制系统中，操作员的经验成为关键的因素，以操作员的经验和大量历史数据为基础构造水净化控制决策是非常适宜的为此提出一个基于BP神经网络的水净化控制决策系统结构4.4前馈神经网络——BP网络——BP网络的应用10/25/202397神经网络的输出是要投入的PAC的量，输入是来自过程的反馈变量，其含义如下：

神经网络的主要功能是根据训练样本确定输入输出变量之间存在的复杂非线性函数关系，作出有关投放PAC量的决策。TUB1：水源的污浊度TUB2：已沉淀水的污浊度TE：水温PH：水的PH值AL：水中的碱值4.4前馈神经网络——BP网络——BP网络的应用10/25/202398该网络为三层BP网络，具有5个输入点(对应5个输入变量)，1个输出节点(对应系统的1个输出变量)。从现场收集到的操作员进行PAC投入量决策的部分历史数据如表。这些数据可用作网络的训练数据。由于选择的输出函数为S型函数，要求其输入范围在[0，1]之间的实数，而表的数据范围大大超出[0，1]区间，所以必须把它们规一化为[0，1]之间的实数，再送到数据网络处理。X，Y分别是变换前后的数据，因为该表每一列的数据范围不同，所以应分别进行变换。4.4前馈神经网络——BP网络——BP网络的应用10/25/20239911007.142.019.33.016.012007.042.017.71.535.010007.250.018.01.58.09007.255.018.83.012.011007.040.016.61.020.09007.253.023.64.014.09007.348.023.34.09.014007.140.019.51.050.014007.346.019.42.022.013007.153.018.81.010.0PACPHALTETUB2TUB14.4前馈神经网络——BP网络——BP网络的应用10/25/2023100仿真结果

在仿真试验中，对该网络进行训练，达到了比较理想的学习精度(训练误差小于0.095)。经对比，训练后的系统作出的关于PAC投放量的决策输出与操作员的决策几乎完全相同。换言之，该决策系统准确地模拟了经验丰富的人类操作员的控制决策功能，且其性能明显高于基于统计模型的系统，很好地解决了水净化过程很难用数学模型或物理模型来精确描述，使用常规控制系统性能不佳的难题。4.4前馈神经网络——BP网络——BP网络的应用10/25/2023101——遗传算法优化BP神经网络分为3个部分：BP网络结构确定：根据拟合函数输入输出参数个数确定BP网络结构，进而确定遗传算法个体的长度；遗传算法优化：使用遗传算法优化BP网络的权值和阈值，种群中的每个个体都包含了BP网络的一组权值和阈值；BP网络预测：用遗传算法得到的最优个体作为网络的权值和阈值，预测函数输出。4.4前馈神经网络——BP网络——BP网络的应用10/25/2023102——神经网络与遗传算法进行非线性函数极值寻优对于未知的非线性函数，仅通过函数的输入输出数据难以准确寻找函数极值。这类问题可以通过神经网络结合遗传算法求解，利用神经网络的非线性拟合能力和遗传算法的非线性寻优能力寻找函数极值。算法流程包含2部分：BP网络训练拟合：根据寻优函数特点构建合适的BP网络，用非线性函数的输入输出数据训练BP网络，训练后的BP网络就可以预测函数输出；遗传算法极值寻优：把训练后的BP网络预测结果作为个体适应值，进行遗传操作，寻找函数的全局最优值及对应的输出值。4.4前馈神经网络——BP网络——BP网络的应用10/25/2023103工程实例：该算法有比较重要的工程应用价值，比如对应某项实验来说，实验目的是得到最大实验结果，及对应的实验条件。但由于时间和经费限制，该实验只能进行有限次，单靠实验结果找不到最优的实验条件。这时可以在已知实验数据的基础上，首先根据实验条件和结果确定BP网络结构，然后把条件作为输入，结果作为输出，训练BP网络，训练后的网络就可以预测一定实验条件下的实验结果。然后把条件作为遗传算法中种群个体，把网络预测的结果作为适应度值，进行遗传操作寻优。4.4前馈神经网络——BP网络——BP网络的应用10/25/2023104实验条件实验结果添加物A/kg温度/

添加物B/kg时间/s产量/kg0017006025810017006027230017006031250017006036305165080360010170040493015170060605020175060400101016504046410151700606274.4前馈神经网络——BP网络——BP网络的应用10/25/2023105实验条件实验结果添加物A/kg温度/

添加物B/kg时间/s产量/kg1020175080406305175040390301016508051930151700606625051650804565010175060523501517006071250201700405554.4前馈神经网络——BP网络——BP网络的应用10/25/2023106在实验中获得的最大实验结果为712，对应的实验条件为[5015170060]。在实验数据的基础上，采用神经网络遗传算法优化，选择的BP网络结构为4-10-1。最后得到的最优实验结果为745，对应的实验条件为[42.216.61692.664.6]，该结果可以为最优实验条件的选择提供参考。4.4前馈神经网络——BP网络——BP网络的应用10/25/20231074.5神经联想记忆与反馈神经网络

10/25/2023108神经联想记忆就是通过学习每对模式之间的关联来进行工作。这种网络输入一模式时，它能够给出一个联想的响应状态。由此可看出，神经联想记忆是按内容存取记忆，而且从某种意义上来讲，可认为联想神经网络能够像人类那样来进行学习。当网络输入一个与所有已学的样本模式不同的模式时，网络能通过联想输出和输入模式最为相似(按某个标准)的样本模式。由于这个特性，这种网络的功能和生物学习过程很相似。将一个模式提供给人看时，例如字母“A”，此模式不是必须和他之前所学的样本字母“A”一模一样，只要和他经验中的“A”足够相象，能够提醒他想起以前遇到过的其它形式的“A”，就能够被正确地识别出来。4.5反馈神经网络——神经联系记忆10/25/2023109在典型的数字计算机存储器中，数据是通过它在存储器中的地址来进行存储的，数字计算机的存储器被称为按地址存储记忆；在联想记忆当中不存在地址，因为存储的信息是空间分布的并且在整个网络中是叠加的，联想记忆被称作按内容存储记忆(CAM)联想记忆可分为自联想和异联想两种形式。对于自联想网络记忆，训练输入和目标输出是等同的。可以认为网络是通过将模式和它自己进行联想来记忆此模式的。异联想网络记忆是通过将输入模式和由教师提供的截然不同的训练模式进行联想的。

反馈网络首先由Hopfield提出的，通常称它为Hopfield网。是一种动态网络，需要工作一段时间才能达到稳定，主要用于联想记忆和优化计算。4.5反馈神经网络——神经联系记忆10/25/2023110Hopfield网络是回归并且是自联想的。能存储许多不同的模式。如果这些模式中的任何一种被输入到网络(也就是联想记忆被设置到预存状态之一)时，网络仍将稳定在预存的那个状态。当向网络输入一扭曲的存储模式时，网络从此状态逐渐演化，最后收敛到稳定的预存模式。Hopfield记忆模型即Hopfield神经网络在人工神经网络的复兴中起了非常重要的作用。根据网络的输出是离散量或是连续量，Hopfield网络也分为离散和连续的两种。4.5反馈神经网络——神经联系记忆10/25/2023111···x1x2xn·········

1－1

2

n－1－1单层网络，共n个神经元节点，每个节点输出均连接到其它神经元的输入，同时所有其它神经元的输出均连到该神经元的输入。4.5反馈神经网络——离散Hopfield网络——结构和工作方式10/25/2023112wii=0，

i为阈值，f(

)是变换函数。对于离散Hopfield网络，f(

)通常取为二值函数，即：4.5反馈神经网络——离散Hopfield网络——结构和工作方式10/25/2023113(1)异步方式其调整次序可以随机选定，也可按规定的次序进行。每次只有一个神经元节点进行状态的调整计算，其它节点的状态均保持不变。4.5反馈神经网络——离散Hopfield网络——结构和工作方式10/25/2023114(2)同步方式W是由wij所组成的n

n矩阵

动态的反馈网络，输入是网络的状态初值：

输出是网络的稳定状态：

所有神经元节点同时调整状态：4.5反馈神经网络——离散Hopfield网络——结构和工作方式10/25/2023115从工作过程可以看出，离散Hopfield网络实质上是一个离散的非线性动力学系统。如果系统是稳定的，则它可以从任一初态收敛到一个稳定状态；若系统是不稳定的，由于网络节点只有1和－1(或1和0)，系统不可能出现无限发散，只可能出现限幅的自持振荡或极限环。若将稳态视为一个记忆样本，那么初态朝稳态的收敛过程便是寻找记忆样本的过程。初态是给定样本的部分信息，网络改变的过程是从部分信息找到全部信息，从而实现了联想记忆的功能。若将稳态与某种优化计算的目标函数相对应，并作为目标函数的极小点，那么初态朝稳态的收敛过程便是优化计算的过程。该优化计算是在网络演变过程中自动完成的。网络稳定状态对应为神经网络的能量函数E(W,Q)的极小值点。4.5反馈神经网络——离散Hopfield网络——稳定性和吸引子10/25/2023116则称x为网络的稳定点或吸引子。

定理：对离散Hopfield网络，若按异步方式调整状态，且连接权矩阵W为对称阵，则对于任意初态，网络最终收敛到一个吸引子定义：若网络的状态x满足：定理：对于离散Hopfield网络，若按同步方式调整状态，且连接权矩阵W为非负定对称阵，则对于任意初态，网络都最终收敛到一个吸引子。对于同步方式，它对连接权矩阵W的要求更高了，若不满足W为非负定对称阵的要求，则网络可能出现自持振荡即极限环。由于异步工作方式比同步工作方式有更好的稳定性能，实用时较多采用异步工作方式。异步方式的主要缺点是失去了神经网络并行处理的优点。4.5反馈神经网络——离散Hopfield网络——稳定性和吸引子10/25/2023117——吸引子的性质

则－x也一定是该网络的吸引子。a、若x是网络的一个吸引子，且：b、若x(a)是网络的吸引子，则与x(a)的海明距离dH(x(a)，x(b))=1的x(b)一定不是吸引子(海明距离定义为两个向量中不相同的元素的个数)。

则dH(x(a)，x(b))=n－1的x(b)一定不是吸引子。

推论：若x(a)是网络的吸引子，且：4.5反馈神经网络——离散Hopfield网络——稳定性和吸引子10/25/2023118——吸引域为了能实现正确的联想记忆，对于每个吸引子应该有一定的吸引范围，这个吸引范围便称为吸引域。定义：若x(a)是网络的吸引子，对于异步方式，若存在一个调整次序可以从x演变到x(a)，则称x弱吸引到x(a)；若对于任意调整次序都可以从x演变到x(a)，则称x强吸引到x(a)。定义：对所有x

R(x(a))，均有x弱(强)吸引到x(a)，则称R(x(a))为x(a)的弱(强)吸引域。对于同步方式，由于无调整次序问题，所以相应的吸引域也无强弱之分。对于异步方式，对于同一个状态，若采用不同的调整次序，有可能弱吸引到不同的吸引子。4.5反馈神经网络——离散Hopfield网络——稳定性和吸引子10/25/2023119从本质上讲，联想记忆就是利用反馈型动态网络模块的稳定吸引子来存储信息的。通常，网络模块的每一稳定吸引子均对应网络能量函数的一个极小值。当以一个激发样本去激发神经网络时，神经网络运行的结果会自动收敛于网络模块的带边界约束的极小值点，即联想出已记忆的样本。神经网络的运行过程即网络从激发状态向其相应稳定吸引子流动的过程，也就是寻找其相应记忆的过程。4.5反馈神经网络——离散Hopfield网络——稳定性和吸引子10/25/2023120为了保证Hopfield网络在异步工作时能稳定收敛，连接权矩阵W应是对称的。若要保证同步方式收敛，则要求W为非负定阵。因而设计W一般只保证异步方式收敛。另外一个要求是对于给定的样本必须是网络的吸引子，而且要有一定的吸引域，这样才能正确实现联想记忆功能。为了实现上述功能，通常采用Hebb规则来设计连接权。设给定m个样本x(k)(k=1，2，

m)，并设x

{－1,1}n，则按Hebb规则设计的连接权为：4.5反馈神经网络——离散Hopfield网络——连接权的设计10/25/2023121或：4.5反馈神经网络——离散Hopfield网络——连接权的设计10/25/2023122当网络节点状态为1和0两种状态，即x

{0,1}n，连接权为：

或：

其中：

显然，上面所设计的连接权矩阵满足对称性的要求。

4.5反馈神经网络——离散Hopfield网络——连接权的设计10/25/2023123以x

{-1,1}n的情况为例分析所给的样本是否为网络的吸引子。若m个样本x(k)(k=1，2，

m)是两两正交的，即：则只要满足n－m>0，便有：则x(k)是网络的吸引子。4.5反馈神经网络——离散Hopfield网络——连接权的设计10/25/2023124若m个样本x(k)(k=1，2，

m)不是两两正交的，向量之间内积为：显然：

则只要满足：则x(k)是网络的吸引子。

其中：

4.5反馈神经网络——离散Hopfield网络——连接权的设计10/25/2023125若m个样本x(k)(k=1，2，

m)满足：

则有：

从而得出m个样本均为网络吸引子的条件为：上式为充分条件。当不满足上述条件时，需要具体检验才能确定。4.5反馈神经网络——离散Hopfield网络——连接权的设计10/25/2023126有时将待存储原始样本正交化是很有必要的。将非正交的记忆样本正交化的经典方法是GramSchmidt方法。对于一组训练样本x(k)(k=1,2,

p)构成的原始记忆模式组，其正交化后的新模式相应为其中（x(k),x(i)）为二者的内积。4.5反馈神经网络——离散Hopfield网络——连接权的设计10/25/2023127所谓记忆容量是指：在网络结构参数一定的条件下，要保证联想功能的正确实现，网络所能存储的最大的样本数。也就是说，给定网络节点数n，样本数m最大可能为多少，这些样本向量不仅本身应为网络的吸引子，而且应有一定的吸引域，这样才能实现联想记忆的功能。记忆容量不仅与节点数n有关，它还与连接权的设计有关，适当地设计连接权可以提高网络的记忆容量。记忆容量还与样本本身的性质有关，对于用Hebb规则设计连接权的网络，如果输入样本是正交的，则可以获得最大的记忆容量。实际问题的样本不可能都是正交的，所以在研究记忆容量时通常都假设样本向量是随机的。记忆容量还与要求的吸引域大小有关，要求的吸引域越大，则记忆容量便越小。4.5反馈神经网络——离散Hopfield网络——记忆容量10/25/2023128一个样本向量x(k)的吸引域可以看成是以该向量为中心的球体。在该球体中的向量x(s)满足：称

为吸引半径。对于给定的网络，严格的分析并确定其记忆容量并不是一件很容易的事情。Hopfield曾提出了一个数量级范围，即：按照样本为随机分布的假设所作的理论分析表明，当n

时，其记忆容量为：其中

为要求的吸引半径。4.5反馈神经网络——离散Hopfield网络——记忆容量10/25/2023129为了保证记忆样本的正确联想，一方面是在同一个Hopfield网络模块中，同时存储的样本不要太多；另一方面是所记忆的样本彼此不要太接近，即要求它们要保持一定的分辨距离和海明距离。用离散Hopfield神经网络实现联想记忆，总希望每一个记忆样本都应具有一定的吸引范围，在此范围内，网络的激发模式能由相应的存储样本来纠错，即具有一定的容错能力（吸引域）。当样本为两两正交时可以有最大的记忆容量。对于一般的记忆样本，可以通过改进连接权的设计来提高记忆容量。4.5反馈神经网络——离散Hopfield网络——记忆容量10/25/2023130设离散Hopfield网络的结构如图，其中n=4，

i=0(i=1,2,3,4)，m=2，两个样本为：首先根据Hebb规则求得连接权矩