最优化：最速下降法和Newton法.ppt_第1页
最优化：最速下降法和Newton法.ppt_第2页
最优化：最速下降法和Newton法.ppt_第3页
最优化：最速下降法和Newton法.ppt_第4页
最优化：最速下降法和Newton法.ppt_第5页
已阅读5页，还剩29页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

最优化,主讲：刘陶文,课件制作：刘陶文,唯楚有材於斯为盛,学好最优化，走遍天下都不怕,第三章无约束问题算法(I)最速下降法、Newton法,第一节最速下降法第二节Newton法及其修正形式,第一节最速下降法,1、思想：每次沿负梯度方向进行搜索,最古老的优化方法，十九世纪中叶由Cauchy提出,负梯度方向也称为最速下降方向：,以负梯度为搜索方向的算法称为最速下降法,2、算法步骤,最优化算法看来是如此的简单？,事实上，上面的例子刻画了最速下降法的所有收敛特征,3、最速下降法的收敛性,全局收敛性,收敛速度估计,从上图可以看出，最速下降法具有锯齿现象,对一般的非二次函数有下面的收敛速度估计：,定理的证明参见文献19,定理3.4,由上面的分析可知，最速下降法的收敛速度比较慢，通常将其用在某些算法的初始阶段求较好的初始点或作为某些算法的间插步.,思考题：,有点难啊,第二节Newton法及其修正形式,1、思想：用近似二次函数的极小点作为原问题的新的近似解,几何解释：,2、Newton法的算法步骤,对不同的两个初始点，经一次迭代求出最优解，,这是偶然还是必然的呢？,下面我们来看看最速下降法与Newton法求解二次函数的比较,等值线,3、Newton的收敛性,4、局部二次收敛性,(1)收敛性略，参见前面的牛顿法的收敛性,(2)收敛速度,5、Newton法的修正形式：如何有效计算下降方向,该算法有较好的稳定性及较快的收敛速度,从Newton法出发进行修改，利用其优点，克服其缺点，产生很多效果非常好的其他新算法,上面的Newton法的两种修正形式，在较弱的条件下具有超线性收敛性或二次收敛性.还有很多其他的修正形式,N
人人文库> 全部分类> 教育资料 > 幼儿教育

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论