BP神经网络的几种改进方法_第1页
BP神经网络的几种改进方法_第2页
BP神经网络的几种改进方法_第3页
BP神经网络的几种改进方法_第4页
BP神经网络的几种改进方法_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

BP神经网络的几种改进方法,研一队:张之武2010年6月8日,BP神经网络的几种改进方法,BP网络存在的问题:1.对初始权值的选取很敏感2.网络隐含层节点数选择的盲目性3.收敛速度慢容易陷入局部极小而无法得到全局最优解4.泛化能力较差,BP神经网络的几种改进方法,主要的改进策略:1.算法自身的改变2.与其他优化算法的结合,BP神经网络的几种改进方法,提高BP网络收敛速度的方法归纳为三类：优化网络学习率的变化方式来提高训练速度的方法。如：动量项法、自适应学习率法、共轭梯度法、牛顿迭代法等优化网络初始参数方式来提高训练速度的方法。如：对输入初始参数和网络连接权重参数进行归一化等优化网络学习结构的参数来提高训练速度的方法。如：误差函数修正法、激励函数选取法等,BP神经网络的几种改进方法一些具体改进方法:,1.修正BP算法的误差函数和激励函数等效误差分量和的大小和正负的变化对收敛速度存在影响,修正误差函数可以定义为：激励函数也是BP算法中影响收敛的重要因素，激励函数的选取影响着BP算法的收敛速度,BP神经网络的几种改进方法,2.网络初始参数归一化处理由于输入样本属于不同量纲，故对所有的输入样本，(如：网络初始数据)进行归一化处理并使之转化到0,1之间。这里利用比例压缩法，具体公式为：训练完成后，将最终得到的数据进行还原处理；其公式为,BP神经网络的几种改进方法,3.隐含层节点数选择方法的改进隐含层的神经元数可用以下公式计算：式中k为隐含层节点数，n为输入层节点数，m为输出层节点数，公式计算值需要用四舍五入法进行取整，在考虑上述公式和比较仿真的效果后确定隐含层的节点数。,BP神经网络的几种改进方法,4.改进的BP网络学习率其中0.00010.001,此算法认为,如果网络误差处于下降状态,尤其下降趋势明显时,则说明此时学习率可以按一定比例增大.,BP神经网络的几种改进方法,与其他优化算法的结合:遗传算法、利用混沌运动遍历的特点的混沌算法、模拟退火算法其中与遗传算法结合的论文相对较多,两者算法特性存在明显互补性，前者利用梯度下降法，使权值向它的误差函数负梯度方向进行调整，以实现最快减少误差，局部微调性强，但容易陷于局部最优点。后者主要特点是群体搜索策略和群体中个体之间的信息交换，搜索不依赖于梯度信息，算法鲁棒性强，不易陷于局部最优，但是收敛到全局最优解所需的时间可能很长,BP神经网络的几种改进方法发展趋势:,人工神经网络正向模拟人类认知的道路上更加深入发展,与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。随着神经网络理论研究的深入以及网络计算能力的不断提高,神经网络的应用领域将会
人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论