




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、问题1:,如何建立有效的算法?,从二次模型到一般模型.,问题2:,什么样的算法有效呢?,二次终止性.,共轭方向法和共轭梯度法,最初是由计算数学家Hestenes和几何学家Stiefel于1952年 为求正定系数矩阵线性方程组而独立提出的.他们合作的著名文章Method of conjugate gradients for solving linear systems 被认为是共轭梯度法的奠基性文章。,1964年,Fletcher和Reeves将此方法推广到非线性最优化, 得到了求解一般函数极小值的共轭梯度法.,简介,共轭方向法和共轭梯度法,(3) 共轭梯度法的收敛性分析的早期工作主要由Flet
2、cher、 Powell、Beale等学者给出.,(4) Nocedal、Gilbert、Nazareth、Al-Baali、Storey、 Dai、Yuan和Han等学者在收敛性方面得到了不少新成果.,共轭梯度法是介于最速下降法与牛顿法之间的一个方法,它仅需利用一阶导数信息,但克服了最速下降法收敛慢的缺点,又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点,共轭梯度法不仅是解决大型线性方程组最有用的方法之一,也是解大型非线性最优化最有效的算法之一.,(1) 建立在二次模型上,具有二次终止性,(2) 一种有效的算法,克服了最速下降法的锯齿现象, 又避免了牛顿法的计算量大和局部收敛性的缺点,
3、(3) 算法简单,易于编程,无需计算二阶导数,存储 空间小等优点,是求解中等规模优化问题的主要 方法,特点,共轭方向法和共轭梯度法,共轭方向法,定义-共轭方向,定义-共轭方向法,共轭方向法,性质,特例,n,共轭方向法,算法步骤,Step1:,Step2:,Step3:,Step4:,Step5:,共轭方向法,特例,注,共轭方向法具有二次终止性,共轭梯度法,简介,共轭梯度法(conjugate gradient method, CG)是以共轭方向(conjugate direction)作为搜索方向的一类算法。CG法是由Hesteness和Stiefel于1952年为求解线性方程组而提出的。后来
4、用于求解无约束最优化问题,它是一种重要的数学优化方法。这种方法具有二 次终止性。,共轭梯度法,基本思想,确定?,CG的基本思想是把共轭性与最速下降法相结合,利用已知点处的梯度构造一组共轭方向,并沿着此组方向进行搜索,求出目标函数的极小点。,定义-共轭梯度法,(Hestenes-Stiefel公式),共轭梯度法,共轭梯度法的形式,(A) 正定二次函数的无约束最优化问题的共轭梯度法形式,消除Qdk,结合性质:,共轭梯度法,共轭梯度法的形式,一般最优 化问题的共轭梯度法形式,共轭梯度法,共轭梯度法的形式,(B) 一般无约束最优化问题的共轭梯度法形式,(1969),(1964),(1971),共轭梯度
5、法,注意,说明,根据 的上述三种形式,可分别绪出FR共轭梯度法、DM 共轭梯度法和PRP共轭梯度法对于目标函数是正定二次函数 的无约束最优化问题(7. 3. 3)和最优一维投索,这些方法是完全 等价的但是,对于目标函数是非二次函数的无约束最优化问 题 (7. 1. 1),它们所产生的按索方向是不同的,由于Rn中共扼方向最多有 n 个,因此在用上述二种方法求 解目标函数为非二次函数的无约束最优化问题(7.1.1)时,在 n 步之后构造的搜索方向不再是共轭的,从而降低了收敛速度克服的办法是重设初始点,即把经过 n 次迭代得到的 xn 作为初始 点重新迭代,共轭梯度法,算法步骤FR共轭梯度法,Step1:,Step2:,Step3:,Step5:,Step6:,Step4:,Step7:,共轭梯度法,举例,参见 P187 例7.3.1.,共轭梯度法,收敛性分析,与Newton法相比,共轭梯度 法具有较弱的收敛条件.,注,全局收敛性,共轭
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 清创术后的护理查房
- 角膜层改变治疗及护理
- 假性动脉瘤的护理查房
- 煤矿产量监控管理与数据分析应用
- 复杂绒癌术后护理查房
- 食品油企业品质管理制度
- 手术后甲状腺出血查房
- 基于PDCA模型的护理健康教育体系构建
- 应力演化动力学-洞察及研究
- 脾先天性畸形护理课件
- T/CASTEM 1007-2022技术经理人能力评价规范
- 食堂食材配送采购投标方案(技术标)
- 开工前安全检查记录表
- GB/T 2550-2016气体焊接设备焊接、切割和类似作业用橡胶软管
- GB/T 14335-2008化学纤维短纤维线密度试验方法
- JJG 1186-2022 直流电能表检定装置检定规程
- 单招英语词汇表
- 初中英语单元整体教学讲座课件
- 国家开放大学《老年用药基本知识》形考任务1参考答案
- m6A甲基化研究方法
- 医院智能化弱电设计方案
评论
0/150
提交评论