反向传播算法.doc_第1页
反向传播算法.doc_第2页
反向传播算法.doc_第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

反向传播算法神经元j在迭代n时（即呈现第n个训练例子）输出误差信号定义如下： e(n)=d(n)-y(n) 神经元j是输出节点 （4.1）我们将神经元j的误差能量瞬间定义为（1/2）e(n）。相应的，整个误差能量的瞬间值即为输出层的所以神经元的误差能量瞬间值的和；这些只是那些误差信号可被直接计算的“可见”神经元。因此，的计算公式是 = （4.2） 集合C包括网络输出层的所以神经元。令N记为包含在训练集中模式（例子）的总数。对所有n求的和然后关于集的大小规整化即得的均方误差能量，表示为=（4.3）误差能量的瞬间值和误差能量的平均值是网络所有自由参数（即突触权值和偏置水平）的函数。对下一个给定的训练集，表示的代价函数作为学习性能的一个度量。学习过程的目的是调整网络的自由参数使得最小化。要达到这种最小化，我们使用第3章推导LMS算法所用原理相似的一个逼近。特别地，我们考虑一个训练的简单方法，即权值在一个模式接一个模式的基础更新，知道一个回合（epoch)结束，也就是整个训练集的完全表示已被网络处理。权值的调整根据每个呈现给网络的模式所计算的各自的误差进行。因此，这些单个权值在训练集上的改变的算术平均，是基于使整个训练集的代价函数最小化的真实权值改变的一种估计。然后考虑图4-3，它描绘神经元j被它左边的一层神经元产生的一组函数信号所馈给。因此，在神经元j的激活函数输入处产生的诱导局部域是（4.4）图4-3 显示输出神经元j细节的信号流图这里m是作用于神经元j的所有输入（不包括偏置）个数。突触权值（相应于固定输入）等于神经元j的偏置。所以迭代n时出现在神经元j 输出处的函数信号是 （4.5） 反向传播算法以与LMS算法类似的方式对突触权值应用一个修正值，它正比于对的偏导数。根据微分的链式规则，可以将这个梯度表示为 （4.6）偏导数代表一个敏感因子，决定突触权值在权值空间的搜索方向。在式（4.2）两边对取微分，我们得到（4.7）在式（4.1）两边对取微分，得到（4.8）接着，在式（4.5）两边对取微分，得到（4.9）最后，在式（4.4）两边对取微分，得到（4.10）将式（4.7）至（4.10）代入式（4.6），得到（4.11）应用于的修正由delta法则定义为（4.12）其中是反向传播算法的学习率参数。式（4.12）中负号的使用意味着在权空间中梯度下降（即寻找一个使得值下降的权值改变的方向）。于是将（4.11)代入（4.12）中得到（4.13）这里局域梯度定义为(4.14)局域梯度指明突触
人人文库> 全部分类> 应用文书 > 技术指导

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论