已阅读5页，还剩8页未读， 继续免费阅读
版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
梯度下降法,梯度下降法,又称最速下降法。1847年由著名的数学家柯西Cauchy给出。,基本思想,假设我们爬山，如果想最快的上到山顶，那么我们应该从山势最陡的地方上山。也就是山势变化最快的地方上山,同样，如果从任意一点出发，需要最快搜索到函数最大值，那么我们也应该从函数变化最快的方向搜索。,函数变化最快的方向是什么呢？,如果函数为一元函数，梯度就是该函数的导数,函数的梯度。,梯度下降法,如果为二元函数，梯度定义为：,如果需要找的是函数极小点，那么应该从负梯度的方向寻找，该方法称之为梯度下降法。,要搜索极小值C点，在A点必须向x增加方向搜索，此时与A点梯度方向相反；在B点必须向x减小方向搜索，此时与B点梯度方向相反。总之，搜索极小值，必须向负梯度方向搜索。,梯度下降法-步骤,假设函数 只有一个极小点。 初始给定参数为 。从这个点如何搜索才能找到原函数的极小值点？,方法：,1. 首先设定一个较小的正数，;,2. 求当前位置处的各个偏导数：,3. 修改当前函数的参数值，公式如下：,4. 如果参数变化量小于，退出；否则返回2。,梯度下降法,例1 任给一个初始出发点，设为x0=-4，利用梯度下降法求函数y=x2/2-2x的极小值。,(1) 首先给定两个参数：,(2) 计算导数：,(3) 计算当前导数值：,(4) 修改当前参数：,(5) 计算当前导数值：,(6) 修改当前参数：,梯度下降法,(7) 计算当前导数值：,(8) 修改当前参数：,(9) 计算当前导数值：,(10) 修改当前参数：,(11)此时变化量满足终止条件，终止。,梯度下降法,梯度下降法，要求E的极小点,取,梯度下降法,为学习率,所以,而其中的,且,所以,梯度下降法,且,所以：,令,梯度下降法,(1) 假设，oj为输出层神经元输出,由于,梯度下降法,如果函数f为sigmoid函数,此时，权值的调整公式为：,所以:,梯度下降法,(2) 假设，oj为隐含层神经元输出
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年江西应用工程职业学院单招（计算机）考试备考题库必考题
- 2026年西安明德理工学院单招职业技能考试模拟测试卷附答案
- 2026年江苏农牧科技职业学院辅导员招聘备考题库附答案
- 2026年扬州工业职业技术学院单招职业适应性考试模拟测试卷附答案
- 2026年山西金融职业学院单招（计算机）测试模拟题库附答案
- 2026年青海柴达木职业技术学院单招（计算机）考试参考题库必考题
- 2026年宜春幼儿师范高等专科学校单招职业技能考试题库附答案
- 2026年广西经济职业学院单招（计算机）测试备考题库及答案1套
- 2025年重庆交通大学辅导员考试笔试真题汇编附答案
- 2026年朔州职业技术学院单招职业技能测试题库附答案
- YY/T 1245-2014自动血型分析仪
- GB/T 16571-2012博物馆和文物保护单位安全防范系统要求
- 苏教版小学数学《解决问题的策略一一列举》课件
- 2022年南通经济技术开发区控股集团有限公司招聘笔试试题及答案解析
- 化学水车间设备、管道安装作业指导书
- 幼儿园绘本故事：《十二生肖》 课件
- 电焊工高级理论知识试题库与答案（共550题）
- DBJ53T-69-2014云南省建筑与市政基础设施工程施工现场专业(管理)人员配备标准
- 林肯电梯故障描述及解决办法
- 三年级上册数学课件-5.1 角的初步认识｜北京版 (共15张PPT)
- 改系列申报专业技术职称评审表
评论
0/150
提交评论