给新老师第三天l bfgs_第1页
给新老师第三天l bfgs_第2页
给新老师第三天l bfgs_第3页
给新老师第三天l bfgs_第4页
给新老师第三天l bfgs_第5页
免费预览已结束，剩余9页可下载查看

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、LBFGS算法讲解RanskiLBGSL limited memoryBFGS > 一种拟算法optimization algorithms法解决函数求根问题根问题的迭代公式 f(x)函数在x1 点的导数: 是该函数在x1点切线的斜率y/xf(x1) = f(x1)/(x1x2)= f(x1)/f(x1)x1x2得出x2 = x1 f(x1)/f(x1)当第k 次迭代时:xk = xk1 f(xk1)/f(xk1)求根的流程1. 已知函数f(x) 的情况下随机产生x02. 由已知的x0 按照xk = xk1 f(xk1)/f(xk1) 公式进行k次迭代3. 当迭代结果xk 与上一次迭代结

2、果xk1 相同或小于一定阈值时本次的结果即为函数f(x)的根利用函数的驻点当函数f(x) 的一阶导数f(x) = 0 时点(x,f(x)为函数f(x)的驻点求某函数的驻点即为求该函进行求解对于f(x) 函数来说迭代公式的导函数的根,同样可以利用xk = xk1 f(xk1)/f(xk1)求点的本质任意函数在xk点附近的展开公式为:该公式表达的函数于原函数的最的几何意义为: 通过2次函数对当时,结果依然是xk = xk1 f(xk1)/f(xk1)对于多元函数一阶导数f(x) à 梯度导数f(x) à Hessian多元函数下的牛顿法求极值迭代问题: H矩阵维度超大求逆矩阵非常怎么办?怎么办!BFGS 算法一种通过迭代逼近的拟算法逼近方法:其中:回到迭代公式:BFGS 指的是在迭代过程中,使用DK 矩阵代替Hk矩阵的逆矩阵进迭代,一D矩阵D0 为矩阵,随着迭代次数增多, 公式中的Dk矩阵矩阵越来越趋近于真正的H块矩阵初次迭代时由于使用矩阵替代矩阵, 等价于梯度下降算法, 所以BFGS算法是一种随着迭代由梯 下降法逐步过渡到的算法LBFGS算法对于传统的BFGS算法, 每次运都需要Dk矩阵LBFGS算法: 对于BFGS算法的近似回到D0 已知, 只需要知道S0 SK Y0 YK 就可以一步步算出dk+1只保留最后M组向量, 只

人人文库> 全部分类> 应用文书

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论