SM00120140414 最优化理论梯度下降法.docx_第1页
SM00120140414 最优化理论梯度下降法.docx_第2页
SM00120140414 最优化理论梯度下降法.docx_第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

最优化理论之梯度下降法 文章编号SM00120140414梯度下降法是一个一阶最优化算法，通常也称为最速下降法。1、有关梯度下降法的描述梯度下降法，基于这样的观察：如果实值函数F(x)在点a处可微且有定义，那么函数 F(x)在 a点沿着梯度相反的方向 下降最快。因而，如果，对于 为一个足够小的小数值时成立，那么 。考虑到这一点，我们可以从函数 的局部极小s值的初始估计 出发，并考虑如下序列 x0, x1, x2, , xn使得因此可得到如果顺利的话序列(xn)收敛到期望的极值。注意每次迭代步长 可以改变。右侧的图片示例了这一过程，这里假设 定义在平面上，并且函数图像是一个碗形。蓝色的曲线是等高线(水平集)，即函数 F为常数的集合构成的曲线。红色的箭头指向该点梯度的反方向。（一点处的梯度方向与通过该点的等高线垂直）。沿着梯度下降方向，将最终到达碗底，即函数 F值最小的点。直观的解释：函数J(a)在某点ak的梯度是一个向量，其方向是J(a)增长最快的方向。显然，负梯度方向是J(a)减少最快的方向。在梯度下降法中，求某函数极大值时，沿着梯度方向走，可以最快达到极大点；反之，沿着负梯度方向走，则最快地达到极小点。推导：求函数J(a)极小值的问题，可以选择任意初始点a0,从a0出发沿着负梯度方向走，可使得J(a)下降最快。s(0)：点a0的搜索方向。对于任意点ak，可以定义ak点的负梯度搜索方向的单位向量为: 从ak点出发，沿着方向走一步，步长为,得到新点ak+1,表示为：因此，在新点ak+1，函数J(a)的函数值为：所有的ak组成一个序列，该序列由迭代算法生成a0, a1, a2, , ak, ak+1, .该序列在一定条件下收敛于使得J(a)最小的解a*迭代算法公式：关键问题：如何设计步长如果选得太小，则算法收敛慢，如果选得太大， 可能会导致发散。2、示例梯度下降法处理一些复杂的非线性函数会出现问题，例如Rosenbrock函数其最小值在(x, y)=(1, 1)处，数值为f(x, y)=0。但是此函数具有狭窄弯曲的山谷，最小值 (x, y)=(1, 1) 就在这些山谷之中，并且谷底很平。优化过程是“之”字形的向极小值点靠近，速度非常缓慢。下面这个例子也鲜明的示例了之字的下降，这个例子用梯度下降法求 :的极小值。 3、缺点由上面的两个
人人文库> 全部分类> 应用文书 > 技术指导

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论