机器学习（第3版）课件第6章 神经网络

第6章神经网络基础赵卫东复旦大学赵卫东复旦大学1章节介绍人工神经网络(ArtificialNeuralNetork,即ANN)是由简单神经元经过相互连接形成网状结构，通过调节各连接的权重值改变连接的强度，进而实现感知判断反向传播(BackPropagation,BP)算法的提出进一步推动了神经网络的发展。目前，神经网络作为一种重要的机器学习方法，已在医学诊断、信用卡欺诈识别、手写数字识别以及发动机的故障诊断等领域得到了广泛的应用本章将介绍神经网络基本分类，包括前馈神经网络、反馈神经网络、自组织神经网络等常用的神经网络模型。重点介绍神经网络的概念和基本原理，为后续深度学习章节的学习打下基础赵卫东复旦大学2章节结构神经网络概述前馈神经网络反馈神经网络自组织神经网络神经网络相关概念激活函数损失函数学习率过拟合与正则化数据预处理训练方式神经网络模型训练中的问题网络模型效果评价神经网络的应用赵卫东复旦大学3神经网络概述传统神经网络结构比较简单，训练时随机初始化输入参数，并开启循环计算输出结果，与实际结果进行比较从而得到损失函数，并更新变量使损失函数值极小，当达到误差阈值时即可停止循环神经网络的训练目的是学习到一个模型，实现输出一个期望的目标值。学习的方式是在外界输入样本的刺激下不断改变网络的连接权重。传统神经网络主要分为一下几类：前馈神经网络、反馈神经网络和自组织神经网络。这几类网络具有不同的学习训练算法，可以归结为有监督学习算法和无监督型学习算法赵卫东复旦大学4议程前馈神经网络前馈神经网络(FeedForwardNeuralNetwork)是一种单向多层的网络结构，即信息从输入层开始，逐层向一个方向传递，一直到输出层结束。所谓的“前馈”是指输入信号的传播方向为前向，在此过程中并不调整各层的权重参数，而反向传播时是将误差逐层向后传递，从而使用权重参数实现对特征的记忆，即通过反向传播(BP)算法来计算各层网络中神经元之间边的权重。BP算法具有非线性映射能力，理论上可逼近任意连续函数，从而实现对模型的学习赵卫东复旦大学5议程感知机

赵卫东复旦大学6议程BP神经网络BP(BackPropagation)神经网络也是前馈神经网络，只是它的参数权重值是由反向传播学习算法进行调整的BP神经网络模型拓扑结构包括输入层、隐层和输出层，利用激活函数来实现从输入到输出的任意非线性映射，从而模拟各层神经元之间的交互激活函数须满足处处可导的条件。例如，Sigmoid函数连续可微，求导合适，单调递增，输出值是0~1之间的连续量，这些特点使其适合作为神经网络的激活函数赵卫东复旦大学7议程激活函数赵卫东复旦大学8议程激活函数赵卫东复旦大学9议程BP神经网络的训练（1）BP神经网络有3个输入单元（偏置单元不计在内），3个隐藏单元及一个输出单元。神经网络的本质是非线性回归分析赵卫东复旦大学10式中的

就是相邻两层神经元之间的权重；

表示第2层的第1个神经元输出，上面公式分别求出了3个神经元的输出结果；而

表示输出层第1个神经元的输出值。图中箭头所指的方向为前向传播的方向，即所有输入参数经过加权求和之后，将结果依次向下一层传递，直到最后输出层。可见BP神经网络可以简单表示为一个函数

，网络的输出

与参数

密切相关，层数越多、层中神经元越多，形成的权重参数就越多。议程BP神经网络的训练（2）赵卫东复旦大学11对网络的输出与样本的真实值之间的误差的大小进行度量：设有一个样本集

，共有m个样本，对于其中单个样本

，BP神经网络的训练通常采用下述损失函数（目标函数）来度量误差：基于上述目标函数，神经网络训练的过程就可以归结为：通过训练求解出下式最优参数使得损失函数取得极小值。议程BP神经网络的训练（3）神经网络训练虚拟演示：/赵卫东复旦大学12议程BP神经网络的训练（4）赵卫东复旦大学13BP算法核心思想是：由后层误差

推导前层误差

，由后向前逐层计算权重的梯度值，并由此更新权重参数。为计算

项，可以分两种情况进行讨论。一是当l为第

层输出层时，对该层第i个神经元的输入

求导如下，式中

表示第

层神经元数：

议程BP神经网络的训练（5）赵卫东复旦大学14二是当l=

各个层时，关于第i个节点的残差

计算需要依据链式法则，由最高层函数逐层向下求导，以

层为例，详细的推导过程如下依据链式法则，上式化为：

议程BP神经网络的训练（6）赵卫东复旦大学15其中，

项表示

层第j个神经元的残差，而

输入由

层的各个节点激活值乘以相应权重并相加得到，因此上式可以进一步展开：可见，

层的残差与

层的残差相关，将上式中的

与

的关系替换为与

的关系，就能够得到

关于后一层神经元

的递推表达式：

议程BP神经网络的训练（6）赵卫东复旦大学16基于BP算法，对BP神经网络进行训练的基本步骤可以归纳如下：①初始化网络权重和神经元的阈值，一般通过随机的方式进行初始化。②前向传播：计算隐层神经元和输出层神经元的输出。③后向传播：根据目标函数公式修正权重

。反复迭代上述过程，通过损失函数（描述单个样本的误差）和成本函数（描述数据集整体误差）对前向传播结果进行判定，并通过后向传播过程对权重参数进行修正，以起到监督学习的作用，直到满足终止条件为止。议程BP神经网络的训练（7）赵卫东复旦大学17采用批量梯度下降训练BP神经网络时为例，一次权重更新的迭代实现如下：①

对网络的第l层，令

，

。其中

和

是相同维度的零矩阵，

和

是相同维度的零向量，用于进行参数梯度的累加。②

对于一批大小为m的样本，令i=1~m，执行以下步骤：a.对样本i计算网络第l层的

和

。b.各层梯度分别进行累加：③

依据梯度下降公式更新各层参数：议程BP神经网络结构赵卫东复旦大学18议程反向传播总结1赵卫东复旦大学19误差反向传播的实现步骤总结如下：①进行前馈传导计算，得到网络

直到输出层

的激活值向量

。②对输出层

，计算列向量：③

对

各层，计算向量：依据链式法则，计算得到参数梯度：

议程BP神经网络

赵卫东复旦大学20议程训练方法神经网络批量梯度下降法随机梯度下降法Mini-batch梯度下降法随机梯度下降法赵卫东复旦大学21赵卫东复旦大学22议程手写体的识别赵卫东复旦大学23议程局部极小值和鞍点赵卫东复旦大学24议程冲量项Momentum是一种帮助SGD在相关方向进行加速并抑制振荡，减少陷入局部极小值的方法。赵卫东复旦大学25议程径向基函数网络（1）赵卫东复旦大学26径向基函数（RadialBasisFunction，RBF）网络由布鲁姆黑德（Broomhead）和洛（Lowe）等人于1988年提出，该网络为单隐层前馈神经网络，其隐层的神经元的激活函数采用的是RBF，而输出层则将隐层神经元的输出进行线性组合。所一个简单的RBF网络可以通过下述公式表示：其中，

表示输出层的输出结果，

为隐层神经元的个数，

对应隐层第i个神经元输出的权重，

为该神经元采用的中心点，

表示RBF。议程径向基函数网络（2）赵卫东复旦大学27RBF是一个取值仅依赖于离原点距离的实值函数，也就是

，或者是到任意一点c的距离，c点称为中心点，也就是

。任意一个满足

特性的

函数都叫作RBF，一般使用欧氏距离（也叫作欧氏RBF），其他距离函数例如高斯函数也是常用的RBF：其中，x是输入层的输入向量；b是偏置值，一般为固定常数，用于决定高斯函数的宽度；c是隐层，决定高斯函数的中心点。该函数输出结果不再是非0即1，而是一组很平滑的小数。高斯分布函数的最明显的特点就是径向对称，自变量在偏离中心位置时数值下降幅度特别大，选择性极强。议程径向基函数网络（3）赵卫东复旦大学28以高斯径向函数网络为例，训练RBF网络可以分为两个步骤：第一步，确定RBF中心点；第二步，利用上文介绍的BP算法训练隐层神经元权重ωi和RBF中的偏置b（下文称其为扩展常数）。目前常用的确定中心点的方法有如下3种：随机采样：随机地在输入样本中选取中心点，且中心点固定。一旦中心点固定下来，隐层神经元的输出便是已知的，这样神经网络的连接权就可以通过求解线性方程组来确定。该方法适用于样本数据的分布具有明显代表性的场景。聚类：主要采用k-均值聚类法来选择RBF的中心点，属于无监督学习方法。通过该方法确定的RBF神经网络的中心点可以变化，并可以通过自组织学习确定其位置。这种方法是对神经网络资源的再分配，通过学习，使RBF的隐层神经元中心点位于输入空间重要的区域。梯度下降：采用梯度下降法，可利用训练样本获得较优的中心点。议程反馈神经网络赵卫东复旦大学29与前馈神经网络相比，反馈神经网络内部神经元之间有反馈，可以用一个无向完全图表示。霍普菲尔德神经网络采用了类似人类大脑的记忆原理，即通过关联的方式，将某一件事物与周围场景中的其他事物建立关联，当人们忘记了一部分信息后，可以通过场景信息将缺失的信息找回。霍普菲尔德神经网络分为离散型霍普菲尔德神经网络（DiscreteHopfieldNeuralNetwork，DHNN）和连续型霍普菲尔德神经网络（ContinuesHopfieldNeuralNetwork，CHNN）两种，在本小节中主要介绍DHNN在霍普菲尔德神经网络中，学习算法基于Hebb学习规则，权重调整规则为若相邻两个神经元同时处于兴奋状态，那么它们之间的连接应增强，权重增大；反之，则权重减小。议程反馈神经网络赵卫东复旦大学30反馈神经网络的训练过程，主要用于实现记忆的功能，即使用能量的极小点（吸引子）作为记忆值，一般可应用以下操作来实现训练。存储：基本的记忆状态，通过权重矩阵存储。验证：迭代验证，直到达到稳定状态。回忆：没有（失去）记忆的点，都会收敛到稳定的状态。虽然霍普菲尔德神经网络具有强大的记忆能力，但是它的缺点也比较明显假记忆问题：只能记住有限个状态，并且当状态之间相似性较大，或者状态的特征较少或不明显时，容易收敛到别的记忆上。存储容量限制问题：主要依赖极小点的数量。当两个样本距离较近时，就容易产生混淆。局部最优问题。议程反馈神经网络赵卫东复旦大学31埃尔曼神经网络是一种RNN，网络中存在环形结构，部分神经元的输出反馈作为输入，而这样的反馈将会出现在该网络的下一个时刻，即这些神经元在这一时刻的输出结果，反馈回来在下一时刻重新作为输入作用于这些神经元，因此RNN可以有效地应对涉及时序性的问题。图中所示为一个简单的埃尔曼神经网络。从图中可以

清晰地看出埃尔曼神经网络的特点，隐层神经元的输

出被反馈回来，作为一个单独的结构被定义为承接层，

而承接层的数据将与输入层的数据一起作为下一时刻

的输入。议程自组织神经网络赵卫东复旦大学32自组织神经网络（Self-OrganizingNeuralNetwork）又称Kohonen网络，是芬兰的科霍宁教授提出的一种自组织特征映射网。这一神经网络的特点是当接收到外界信号刺激时，不同区域对信号自动产生不同的响应。神经网络相关概念学习神经网络相关概念有助于理解深度学习中网络设计原理，可在模型训练过程中有的放矢地调整参数，并且这些神经网络相关概念是深度学习的基础，随着深度学习的不断演化，深入理解这些常识性理论有助于快速理解层出不穷的深度学习网络模型赵卫东复旦大学33议程激活函数

赵卫东复旦大学34议程Binarystep函数Binarystep（二进制步进）函数是基于阈值的激活函数。其函数表达式如下，实际应用中通常采用0作为激活阈值：随着神经网络的发展，Binarystep函数逐步被淘

汰，主要有两个原因：该函数输出只有0和1两个

值，不利于在多分类问题中使用；该函数没有梯

度，在训练BP神经网络时，无法通过梯度下降进

行网络学习。赵卫东复旦大学35议程Sigmoid函数Sigmoid函数的优点在于输出范围有限，数据在传递的过程中不容易发散，并且其输出范围为(0,1)，可以在输出层表示概率值，如图6-8所示。Sigmoid函数的导数是非零的，很容易计算Sigmoid函数的主要缺点是梯度下降非常明显，且两头过于平坦，容易出现梯度消失的情况，输出的值域不对称，并非像tanh函数那样值域是-1到1赵卫东复旦大学36议程双曲正切函数(tanh)双曲正切函数将数据映射到[-1,1]，解决了Sigmoid函数输出值域不对称问题。另外，它是完全可微分和反对称的，对称中心在原点。然而它的输出值域两头依旧过于平坦，梯度消失问题仍然存在。为了解决学习缓慢和梯度消失问题，可使用其更加平缓的变体，如log-log、Softsign、SymmetricalSigmoid等赵卫东复旦大学37议程

Softsign函数赵卫东复旦大学38议程ArcTan函数赵卫东复旦大学39ArcTan函数为Tan函数的反函数。ArcTan函数在视觉上类似于双曲正切（Tanh）函数，但ArcTan函数更加平坦。在默认情况下，ArcTan函数激活值输出范围为(-π/2,π/2)。ArcTan函数相较于Tan函数的优势在于其导数趋向于0的速度更慢，这意味着学习的效率更高，但它同Tan函数一样属于饱和函数，“梯度消失问题”依然存在。议程

Softplus函数赵卫东复旦大学40议程Mish函数Mish函数由迪甘塔·米斯拉（DigantaMisra）于2019年提出，主要针对ReLU函数的非平滑以及负值截断的特性做出了优化，函数表达式如下：赵卫东复旦大学41议程SoftExponential函数SoftExponential函数是一种能够在对数函数、线性函数和指数函数之间实现连续插值的神经网络激活函数，函数表达式如下：赵卫东复旦大学42议程Sinusoid函数Sinusoid（简单正弦）函数与Tanh、ArcTan等双曲函数的相同点在于，它同样是零点对称的奇函数。该函数的值域为[-1,1]，对称的输出区间平衡了神经元的输出，可避免网络出现输出偏移问题。Sinusoid函数又是激活函数中较为特殊的一个，如同余弦函数，Sinusoid函数为神经网络引入了周期性，且Sinusoid函数的导数为余弦函数，导数在定义域内处处连续，并具有周期性，不存在像Sigmoid、Tanh函数那样随着输入值x的增加或减少，梯度值逐渐趋于0的趋势。赵卫东复旦大学43议程Sinc函数Sinc函数又称辛格函数，该函数在数字信号处理和数学领域中具有不一样的定义，具体分为归一化和非归一化形式，两种形式的区别在于，归一化比非归一化形式多了自变量的放大系数。当选择Sinc函数作为激活函数时，通常采用的是非归一化的形式：赵卫东复旦大学44议程高斯函数高斯函数与RBF网络中常用的高斯核函数不同，如图（a）所示，它可以看作峰值为1、均值为0、方差为

的正态分布，高斯函数在多层感知机类模型中使用得并不广泛。由图（b）可知高斯函数可微且为偶函数，其缺点在于该函数的一阶导数很快收敛到0，在输入值较大或较小时容易产生梯度消失问题。赵卫东复旦大学45议程ReLU函数ReLU函数是目前神经网络里常用的激活函数，由于ReLU函数是线性特点使其收敛速度比Sigmoid、Tanh更快，而且没有梯度饱和的情况出现。计算更加高效，相比于Sigmoid、Tanh函数，只需要一个阈值就可以得到激活值，不需要对输入归一化来防止达到饱和赵卫东复旦大学46议程

LeakyReLU函数

赵卫东复旦大学47议程ELU函数ELU函数在x>0的正值区间内的值为输入x本身，这一点与ReLU函数及其衍生的其他激活函数类似，因此该函数具备与ReLU函数相同的解决“死亡神经元”、减轻梯度消失问题（x>0时导数处处为1）的能力。赵卫东复旦大学48议程Maxout函数

赵卫东复旦大学49议程Softmax函数赵卫东复旦大学50议程Mish函数

赵卫东复旦大学51议程Swish函数赵卫东复旦大学52议程常见的激活函数赵卫东复旦大学53议程激活函数赵卫东复旦大学54议程激活函数如何选择激活函数？通常使用ReLU函数，并注意设置好学习率如果存在死亡神经元的问题，就尝试LeakyReLU或Maxout函数尽量避免使用Sigmoid函数tahn函数大部分情况下效果不如ReLU和Maxout函数赵卫东复旦大学55议程损失函数

赵卫东复旦大学56议程Softmax使用Softmax函数的好处是可以使分类问题的预测结果更加明显，不同类别之间的差距更大。在实际应用中，特别是在Tensorflow中推荐采用交叉熵与Softmax结合作为损失函数，可以避免数值不稳定的情况赵卫东复旦大学57议程损失函数-交叉熵

赵卫东复旦大学58议程损失函数-平均绝对误差平均绝对误差损失函数相比于直接采用预测值和真实值之间的差值作为误差函数，采用MAE度量更加准确。当度量多个样本的预测结果误差时，若只采用差值，因差值存在正、负，在多个差值相加后误差相互抵消，得到的总和误差自然不够准确。而MAE通过取绝对值的方式，能够将每个样本的误差转化为正数进行累加，具有更好的学习效果。赵卫东复旦大学59议程损失函数-均方误差均方误差损失函数赵卫东复旦大学60议程损失函数-Huber赵卫东复旦大学61议程损失函数-FocalLossFocalLoss是在标准交叉熵损失函数的基础上，增加了一个调制因子，为难分类样本（易错误分类）的样本分配更大权重来处理类不平衡问题：式中αt​、γ为参数，pt​为样本分类的概率。

其曲线如图所示，可以看出，FocalLoss

降低了易分类（样本pt​较大）的样本的

损失占比,将更多注意力放在难训练或易

分错样本上（样本pt​​较小）。赵卫东复旦大学62FL(pt​)=−αt​(1−pt​)γlog(pt​)议程损失函数-自定义函数对于某些候选属性，单独将一些预测值取出或者赋予不同大小的参数。或者合并多个损失函数，实现多目标训练任务，或者在不同的情况下采用不同的损失函数赵卫东复旦大学63议程学习率（1）学习率控制每次更新参数的幅度，过高和过低的学习率都可能对模型结果带来不良影响，合适的学习率可以加快模型的训练速度常见学习率调整方法基于经验的手动调整固定学习率均分分步降低策略指数级衰减多项式策略AdaGrad动态调整AdaDelta自动调整动量法动态调整RMSProp动态调整随机梯度下降Adam自动调整赵卫东复旦大学64议程学习率（2）学习率的动态调整赵卫东复旦大学65议程学习率（3）赵卫东复旦大学66议程学习率（4）Adam学习率优化算法Adam:(adaptivemomentestimation)利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率赵卫东复旦大学67议程神经网络算例赵卫东复旦大学68议程过拟合（1）过拟合是指模型在训练集上预测效果好，但在测试集上预测效果差常用的防止过拟合的方法有参数范数惩罚数据增强提前终止权重衰减Bagging等集成方法Dropout批标准化赵卫东复旦大学69议程过拟合（2）赵卫东复旦大学70议程模型训练中的问题选择恰当的激活函数权重初始化学习率梯度消失和梯度爆炸梯度截断标准化(Normalization)周期

/训练迭代次数局部极小值超参数优化训练过程可视化赵卫东复旦大学71议程权重初始化Xavier权重初始化He权重初始化赵卫东复旦大学72Xavier初始化能够保持输出在很多层之后依然有着良好的分布。使用Xavier初始化时网络中任意第i层的权重满足：其中

表示网络第i层权重的方差，

和

分别表示第i层和第i+1层的神经元个数。Xavier初始化对应下面的均匀分布：使用He初始化方法，将权重初始化为服从下式描述的均值为0的正态分布。其中

、

分别表示卷积层中的卷积核高和宽，而

表示当前第i层卷积核个数：考虑了LeakyReLU函数负数域的曲线斜率

，权重初始化分布如下：议程梯度消失和梯度爆炸（1）防止梯度消失和梯度爆炸的方法：1.重新设计网络模型2.使用ReLU激活函数3.使用长短期（LSTM）记忆网络4.使用梯度截断（GradientClipping）5.使用权重正则化（WeightRegularization）链式法则：当权重过小或过大（<1或>1），会分别导致梯度消失和梯度爆炸赵卫东复旦大学73议程梯度爆炸与梯度截断梯度截断（GradientClipping）是防止梯度爆炸常用的方法之一它首先设置梯度截断的阈值，在计算梯度时，若梯度的范数超过了设定的阈值a，就采取强制方法将梯度限制在某个较小的区间内，从而将超出限制的梯度值减少，缓解了梯度爆炸的趋势。可以对梯度的数值进行限制在某个区域、限制梯度的范数梯度修剪赵卫东复旦大学74议程局部极小值鞍点赵卫东复旦大学75议程Dropout（1）简化网络，减少网络的过拟合引入了多样性的模型Dropout是一个集成方法，将所有子网络结果进行合并fromkeras.layersimportDropoutx=Dropout(0.5)(x)赵卫东复旦大学76议程Dropout（2）前向传播时：#A1为上一层的输出，D1为用随机数生成的一组dropout向量，然后将其与保留概率prob做比较得到一个布尔向量，再将其与A1做乘积可得到失活后的A1，最后将A1除以保留概率。D1=np.random.rand(A1.shape[0],A1.shape[1])D1=D1<probA1=np.multiply(D1,A1)A1

=

A1

/

prob

反向传播时：dA1=np.multiply(dA1,D1)dA1=dA1/prob使用了dropout后，在模型训练阶段只有占比为p的神经元参与了训练，那么在预测阶段得到的结果会比实际平均要大1/p，所以在测试阶段需要将输出结果乘以p来保持输出规模不变。神经网络以1-p的概率丢弃某些神经元，多次训练随机性每次训练不同的网络，使神经网络不依赖于某些独立的特征，最后的结果也就是几次训练之后的平均结果，提高神经网络的泛化性能。赵卫东复旦大学77议程Dropout（3）赵卫东复旦大学78议程batchsize对网络性能的影响赵卫东复旦大学79议程batchnormalization（1）在训练的过程中，激活函数会改变各层数据的分布，随着网络的加深，这种改变（差异）会越来越大，使模型训练起来特别困难。要对每个隐层神经元的激活值做BN，可以想象成每个隐层加上了BN操作层，它位于激活函数变换之前赵卫东复旦大学80议程batchnormalization（2）若训练过程中每批的数据分布各不相同，那么网络每次迭代学习过程就会出现较大波动，使之更难趋于收敛，降低训练收敛速度。对于深层网络，网络前几层的微小变化都会被网络累积放大，则训练数据分布变化问题就会被放大，更加影响训练速度。InternalCovariateShift上层网络需要不停调整来适应输入数据分布的变化，导致网络学习速度的降低网络的训练过程容易陷入梯度饱和区，减缓网络收敛速度白化操作减弱了网络中每一层输入数据表达能力，再加个线性变换操作，恢复这些数据的表达能力白化：PCA白化保证了所有特征分布均值为0，方差为1；而ZCA白化则保证了所有特征分布均值为0，方差相同网络加入BN后丢弃Dropout，也同样具有很好的泛化效果每个通道分别计算赵卫东复旦大学81议程batchnormalization（3）提升了训练速度，收敛过程大大加快增加分类效果降低了初始化要求，可以使用大的学习率。不足：如果batchsize太小，均值、方差不能代表整个数据分布。batchsize太大：会超过内存容量赵卫东复旦大学82议程batchnormalization（4）GN是LN和IN的折中赵卫东复旦大学83议程变量归一化和标准化特征间的单位（尺度）可能不同因尺度差异，损失函数的等高线图可能是椭圆形，梯度下降会走zigzag路线，对特征进行标准化后，损失函数的等高线图更接近圆形赵卫东复旦大学84议程正则化赵卫东复旦大学85议程神经网络效果评价用于分类的模型评价以准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1分值(F1Score)为主，辅以ROC、AUC并结合实际应用进行结果评价如果神经网络用于聚类，数据源并没有进行标记，那么其模型结果的评价按照聚类算法的标准来操作，如RMSSTD、RSquare、SRP等随着机器学习在不同领域中的应用，其评价方式需要与实际业务相结合，通过确定目标要求来定量设计评价标准，例如在目标检测等方面使用平均曲线下面积(meanAveragePrecision,mAP)指标进行衡量识别准确性赵卫东复旦大学86议程径向基函数网络

赵卫东复旦大学87议程反馈神经网络与前馈神经网络相比，反馈神经网络内部神经元之间有反馈，可以用一个无向完全图表示，包括了Hopfield网络、BAM网络，Elman网络等Hopfield网络类似人类大脑的记忆原理，即通过关联的方式，将某一件事物与周围场最中的其他事物建立关联，当人们忘记了一部分信息后，可以通过场最信息回忆起来，将缺失的信息找回。通过在反馈神经网络中引入能量函数的概念，使其运行稳定性的判断有了可靠依据，由权重值派生出能量函数是从能量高的位置向能量低的位置转化，稳定点的势能比较低。基于动力学系统理论处理状态的变换，系统的稳定态可用于描述记忆Hopfield网络分为离散型和连续型两种网络在Hopfield网络中，学习算法是基于Hebb学习规则，权值调整规则为若相邻两个神经元同时处于兴奋状态，那么他们之间的连接应增强，权值增大；反之，则权值减少赵卫东复旦大学88议程反馈神经网络反馈神经网络的训练过程，主要用于实现记忆的功能，即使用能量的极小点(吸引子)作为记忆值，一般可应用以下操作来实现训练存储:基本的记忆状态，通过权值矩阵存储验证:选代验证，直到达到稳定状态回忆:没有