BP算法及其优缺点.ppt

1、BP算法及其优缺点、错误反向传递算法改进和BP网络设计、基于BP算法的多层感知器模型、三层BP网络、输入层、隐藏层、输出层、模型的数学表示、输入向量：x=(；Ym)T输出层输出向量：O=(o1，o2，ok，ol)T预期输出向量：d=(d1，d2，dk，dl)T输入层中隐藏层之间的加权矩阵，神经学习的本质：变量权重的动态曹征学习规则：权重曹征规则，即在学习过程中网络中更改每个神经元连接权的基础的曹征规则。BP算法是一种学习规则，BP算法的基本思想，学习类型：导师学习核心思想：输出误差以某种形式通过银层返回输入层的过程：信号正向传播误差的反向波，误差是每层所有单位每层单位的误差信号，每个单位权重的

2、修正，BP算法的学习过程，正向传播：输入样品输入层的每个如果输出层的实际输出与所需输出(教师信号)不匹配，则将错误反向发送错误修改每个层的加权网络输出的错误减少到字典设置的学习次数，达到可接受的程度。，权重变化量和错误之间的关系，输出层次和银层K=1，2，l (3.4.9a)，i=0，1，2，n；J=1，2，m (3.4.9b)，表达式中的减号表示渐变减少，常数(0，1)表示比例系数，反映培训速度。可以看出BP算法属于学习规则类。这种算法常被称为误差的梯度下降算法。BP算法节目实现，(1)初始化；(4)计算各层的误差信号。(5)调整各级权重。(6)检查所有样品的旋转训练是否完成。(7)确保总网

3、络误差符合准确度要求。(2)输入培训抽样以计算X Xp，d DP的每个层次结构的输出。(3)网络输出误差计算；BP算法节目实现，并根据总误差计算各层的误差信号，调整权重。另一种方法是在所有样品输入后计算网络总误差。BP网络主要功能，(1)非线性映射功能，多层前馈网络可以学习和存储许多输入-输出模式映射关系，而无需事先知道描述这种映射关系的数学方程。只要能为BP网络培训提供足够的示例模式，就可以完成从N维输入空间到M维输出空间的非线性映射。多层前馈网络的主要能力，(2)泛化能力，网络输入训练中从未见过的非样本数据，网络也可以在输入空间中完成对输出空间的精确映射。牙齿能力称为多层前馈网络的泛化能力

4、。(3)容错，输入样本中存在大错误或个别错误，对网络输入/输出规律影响不大。错误曲面和BP算法限制，可误差函数的参数数NW等于每个层的权重数加上阈值数。换句话说，错误E是NW一维空间中非常复杂的形状曲面。曲面上每个点的“高度”对应于误差值，每个点的坐标矢量对应于NW权重，因此称为空间。，误差曲面的分布BP算法限制，曲面的分布特性-算法限制(1)平面区域-误差减少缓慢，并且影响收敛速度(2)的几个茄子小点。接近0时平坦区域的原因分析：每个节点的净输入太大，与误差对应的溪谷点、平坦区域、曲面分布特性2:有多个小点，误差梯度为0的大部分极值为局部极点。全球极点即使很小，也往往不是唯一的。单权值、双权

5、值、曲面分布特性2:有多个极值点，BP以误差梯度下降为权重调整原则误差曲面的这些特性，算法调整使极值点的性质无法分辨的结果。因此，训练往往陷入特定的部分极点，无法脱身，因此训练无法收敛给定的误差。(大卫亚设，美国电视电视剧，英语)，标准BP算法改进概论，误差表面的形状固有的算法作用是什么呢？调整权重并找到最佳点后，如何更好地调整权重？您可以使用算法(WHO)在更新权重的过程中采取适当的路径。例如，从平坦区域突出，提高收敛速度，跳出局部最小值等，如何工作？进入平坦区域或局部最小值点时需要进行一些判断，并通过一些参数更改使权重调整更合理。标准BP算法内在缺陷：容易形成局部极小，得不到全局最优。训练

6、次数多，学习效率低，收敛速度慢。隐藏节点选择缺乏理论指导。训练时学习新样品有忘记旧样品的倾向。针对上述问题，国内外已经提出了很多有效的改进算法，下面只介绍其中三种茄子比较常用的方法。改进3.5标准BP算法，改进1:动量项增加2:提高自适应曹征学习率3:引入陡度因素，改进1:动量项增加，提出的原因：仅调整标准BP算法T时间误差的梯度下降方向，不考虑T时间点之前的梯度方向，训练过程经常振动，收敛慢。方法：动量系数，一般为(0，1)，改进1:动量项增加，实质：将以前的一些权重曹征添加到此次权重调整中：动量项反映以前积累的曹征经验，在T时间调整中起到阻尼的作用。误差表面突然波动，可以减少振动趋势，提高

7、训练速度。改进2:适应调节学习率，提出的原因：标准BP算法中的学习率也称为阶段，从头到尾很难确定合适的最佳学习率。在平坦区域，太小会增加训练次数。在误差变化很大的区域，以太大的调整量，穿过狭窄的“坑凹”，代替振动训练，增加重复次数。改善2:适应调节学习率，基本思想：适应变化学习率，随着环境的变化增加或减少。基本方法：设置初始学习率。如果在成批权重曹征后出现总误差，则牙齿调整无效，此时=(1)。改进3:引入陡度系数，提出原因：误差表面有平坦区域。权重调整进入平坦区域的原因是神经元输出进入传输函数饱和区域。基本想法：调整为平面区域后，如果压缩神经元净输入，试图从传输函数不饱和区域减去输出，则可以改

8、变误差函数形状，使调整偏离平面区域。改进3:引入陡度系数，基本方法：将陡度系数引入原始传输函数，可以判断为发现E接近于0，d-o仍较大时进入平坦区域。牙齿情况1；退出平整区域，然后将其设置回=1。改进3:引入陡峭系数，作用分析：1: net坐标压缩两倍，神经元传输函数曲线的敏感段变长，从而导致绝对值大的net偏离饱和值。=1:恢复以前的函数，对绝对值较小的net的敏感度高。应用结果表明，牙齿方法对提高BP算法收敛速度非常有效。，摘要，基于BP算法的多层前馈网络模型BP算法实现基本思想衍生过程节目BP学习算法功能BP学习算法限制BP学习算法改进，3.6 BP网络设计基础，1。准备培训样品集1。输

9、入输出量选择2。输入量提取和3 .输出量表示法2、输入输出数据的规范化3、网络培训和测试、1输出量选择、输出量：表示系统需要实现的功能目标系统的性能指标分类问题的类别的非线性函数函数值、1、教育样本集输入量选择的两个茄子基本原则对输出有很大影响，可以检测或提取的变量应选择徐璐相关或相关性较小。首先，由于培训样本集的准备、输入输出的特性、输入、输出量的特性，可以分为两类茄子。一个是数值变量，一个是语言变量。数值变量的值是由数值决定的连续或离散量。语言变量是用自然语言表达的概念，其“语言值”是用自然语言表达的事物的多种属性。选择语言变量作为网络输入或输出变量时，必须将其语言值转换为单独的数值。1，

10、准备训练样本集，2。输入量提取和表示，xc=(11100111)t Xi=(11100111)t XT=(11100111)t，(1)文字(4)图像输入(4)图像输入，1，准备训练样本集，3。输出量表示法，(1)“N中的1”表示法，“N中的1”表示输出向量中的分量数等于类别数，输入样本判定为哪种类型，相应的输出分量取1，其馀n-1全部取1，例如，0001，0010，0100，1000，(2)“n-1”表示如果类别显示为n-1全部0的输出矢量，则可以节省输出节点。例如，您也可以使用000、001、010和100来表示四个类别：优秀、良好、中间和差异。(3)对于数字表示法，增量分类，可以将语言值转换为二进制值之间的数字表示法。数字选择要保持从小到大的渐进关系，根据实际意义拉开距离。1，准备训练样本集，2，规范化、规范化输入输出数据也称为或标准化，是指通过转换处理将网络输入、输出数据限制为0、1或-1、1间隔。规范化的主要原因：规范化方法：规范化的主要原因：网络每个输入数据往往徐璐具有不同的物理意义和不同的尺寸，在每个输入组件上规范化，占据同等重要的位置。BP网络中的所有神经元都使用Sigmoid传输函数，转换后净输入的绝对值过大，防止神经元输出饱和，从而将权值调整到错误曲面的平坦区域。Sigmoid传输函数输出介于01或-11之间。教师信号不规范化的话，必须确保数字大的输出量绝