版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
要点BP算法的基本思想基于BP算法的多层感知器模型标准BP算法的改进第1页,课件共11页,创作于2023年2月11、BP算法的基本思想学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时,输入样本从输入层传入,经各隐层逐层处理后,传向输出层。若输出层的实际输出与期望的输出不符,则转入误差的反向传播阶段。误差反传是将输出误差以某种形成通过隐层向输入层逐层反传,并将误差摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程,是周而复始地进行的。权值不断调整的过程,也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度,或进行到预先设定的次数为止。第2页,课件共11页,创作于2023年2月22、基于BP算法的多层感知器模型第3页,课件共11页,创作于2023年2月32、基于BP算法的多层感知器模型三层感知器中,输入向量为图中是为隐层神经元引入阈值而设置的;隐层输出向量为,图中是为输出层神经元引入阈值而设置的,输出层输出向量为;期望输出向量为。输入层到隐层之间的权值矩阵用V表示,,其中列向量为隐层第个神经元对应的权向量;隐层到输出层之间的权值矩阵用表示,,其中列向量为输出层第个神经元对应的权向量。第4页,课件共11页,创作于2023年2月4对于输出层,有对于隐层,有以上两式中,变换函数均为单极性Sigmoid函数具有连续、可导的特点,且有第5页,课件共11页,创作于2023年2月5根据需要,也可以采用双极性Sigmoid函数(或称双曲线正切函数)网络误差与权值调整当网络输出与期望输出不等时,存在输出误差,定义如下将以上误差定义式展开至隐层,有进一步展开至输入层,有第6页,课件共11页,创作于2023年2月6由以上可以看出,网络输入误差是各层权值的函数,因此调整权值可改变误差显然,调整权值的原则是使误差不断地减少,因此应使权值的调整量与误差的梯度下降成正比,即第7页,课件共11页,创作于2023年2月7标准BP算法的改进存在的缺陷:易形成局部极小而得不到全局最优;训练次数多使得学习效率低,收敛速度慢;隐节点的选取缺乏理论指导;训练时学习新样本有遗忘旧样本的趋势第8页,课件共11页,创作于2023年2月8改进方法:增加动量项;自适应调整学习率;引入陡度因子增加动量项:为了考虑t时刻之前的梯度方向。若用W代表某层权矩阵,X代表某层输入向量,则含有动量项的权值调整向量表达式为自适应调节学习率从误差曲面可以看出,在平坦区域内太小会使训练次数增加,因而希望增大值;而在误差变化剧烈的区域,太大会因调整量过大而跨过较窄的“凹坑”处,使训练出现振荡,反而使迭代次数增加。第9页,课件共11页,创作于2023年2月9设一初始学习率,若经过一批次权值调整后使总误差增大,则本次调整无效,且;若经过一批次权值调整后使总误差减少,则本次调整有效,且引入陡度因子误差曲面上存在着平坦区域。权值调整进入平坦区的原因是神经元输入了变换函数的饱和区。如果在调整进入平坦区后,设法压缩神经元的净输入,使其输出退出变换函数的饱和区,就可以改变误差函数的形状,从而使调整摆脱平坦区。实现这一思路的做法是,在原变换
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 溶剂绿7相关行业投资方案
- 乙醇催化剂行业相关投资计划提议
- 银行取消“手工补息”对流动性指标的影响测算
- 第二部 第三章-名著《钢铁是怎样炼成的》阅读导引+思维导图+内容概括+原文批注+阅读训练
- 比较级、最高级(修订版)
- 017人教版生物七年级上册复习资料
- 影响世界的工业革命 教案 高一下学期统编版(2019)必修中外历史纲要下
- 安全与健康演讲稿
- 元素周期律 同步练习 高一上学期化学人教版(2019)必修第一册+
- 2024届盐城南京高三一模作文“比还是不比”导写+素材+范文7篇
- 中国戏曲教案
- 襄阳东海水务有限公司资产收购尽职调查报告(最终版韩林桂)
- 学校课间巡查制度4篇
- 校园欺凌防治会议制度
- GB 18613-2020 电动机能效限定值及能效等级
- 2022年全国高考文科数学(乙卷)试题及答案解析
- DB44∕T 2214-2019 地理信息公共服务平台 服务接口规范
- 生产安全事故应急救援程序流程图
- 知名企业施工图深化设计指导手册(67页)
- 《蘑菇的奇妙世界》PPT课件(PPT 43页)
- 五年级上册道德与法治教学计划
评论
0/150
提交评论