误差反传算法_第1页
误差反传算法_第2页
误差反传算法_第3页
误差反传算法_第4页
误差反传算法_第5页
已阅读5页，还剩7页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

误差反传算法及标准BP算法的改进1整理ppt要点BP算法的根本思想基于BP算法的多层感知器模型标准BP算法的改进2整理ppt1、BP算法的根本思想学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。假设输出层的实际输出与期望的输出不符，那么转入误差的反向传播阶段。误差反传是将输出误差以某种形成通过隐层向输入层逐层反传，并将误差摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的次数为止。3整理ppt2、基于BP算法的多层感知器模型4整理ppt2、基于BP算法的多层感知器模型三层感知器中，输入向量为图中是为隐层神经元引入阈值而设置的；隐层输出向量为，图中是为输出层神经元引入阈值而设置的，输出层输出向量为；期望输出向量为。输入层到隐层之间的权值矩阵用V表示，，其中列向量为隐层第个神经元对应的权向量；隐层到输出层之间的权值矩阵用表示，，其中列向量为输出层第个神经元对应的权向量。5整理ppt对于输出层，有对于隐层，有以上两式中，变换函数均为单极性Sigmoid函数具有连续、可导的特点，且有6整理ppt根据需要，也可以采用双极性Sigmoid函数〔或称双曲线正切函数〕网络误差与权值调整当网络输出与期望输出不等时，存在输出误差，定义如下将以上误差定义式展开至隐层，有进一步展开至输入层，有7整理ppt由以上可以看出，网络输入误差是各层权值的函数，因此调整权值可改变误差显然，调整权值的原那么是使误差不断地减少，因此应使权值的调整量与误差的梯度下降成正比，即8整理ppt标准BP算法的改进存在的缺陷：易形成局部极小而得不到全局最优；训练次数多使得学习效率低，收敛速度慢；隐节点的选取缺乏理论指导；训练时学习新样本有遗忘旧样本的趋势9整理ppt改进方法：增加动量项；自适应调整学习率；引入陡度因子增加动量项：为了考虑t时刻之前的梯度方向。假设用W代表某层权矩阵，X代表某层输入向量，那么含有动量项的权值调整向量表达式为自适应调节学习率从误差曲面可以看出，在平坦区域内太小会使训练次数增加，因而希望增大值；而在误差变化剧烈的区域，太大会因调整量过大而跨过较窄的“凹坑〞处，使训练出现振荡，反而使迭代次数增加。10整理ppt设一初始学习率，假设经过一批次权值调整后使总误差增大，那么本次调整无效，且；假设经过一批次权值调整后使总误差减少，那么本次调整有效，且引入陡度因子

误差曲面上存在着平坦区域。权值调整进入平坦区的原因是神经元输入了变换函数的饱和区。如果在调整进入平坦区后，设法压缩神经元的净输入，使其输出退出变换函数的饱和区，就可以改变误差函数的形状

人人文库> 全部分类> 教育资料 > 作文作品

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论