数值最优化方法

数值最优化方法第一页，共一百二十四页，2022年，8月28日2算法思想哪个方向最快？第二页，共一百二十四页，2022年，8月28日3算法步骤第三页，共一百二十四页，2022年，8月28日4整体收敛性第四页，共一百二十四页，2022年，8月28日5整个证明的思路是怎么样的？只要不趋向于0，就有下降第五页，共一百二十四页，2022年，8月28日6第六页，共一百二十四页，2022年，8月28日7例题课堂练习第七页，共一百二十四页，2022年，8月28日8第八页，共一百二十四页，2022年，8月28日9能证明吗？第九页，共一百二十四页，2022年，8月28日10第十页，共一百二十四页，2022年，8月28日11最优化方法补充内容6牛顿法第十一页，共一百二十四页，2022年，8月28日12最速下降法的本质线性函数来逼近原来的函数有没有什么想法？第十二页，共一百二十四页，2022年，8月28日13二次函数的逼近第十三页，共一百二十四页，2022年，8月28日14算法步骤有缺点吗？第十四页，共一百二十四页，2022年，8月28日15例题第十五页，共一百二十四页，2022年，8月28日16例题第十六页，共一百二十四页，2022年，8月28日17收敛性第十七页，共一百二十四页，2022年，8月28日18第十八页，共一百二十四页，2022年，8月28日19优缺点优点：第十九页，共一百二十四页，2022年，8月28日20作业P129习题：3.7（1），（2）第二十页，共一百二十四页，2022年，8月28日最优化方法补充内容7共轭梯度法第二十一页，共一百二十四页，2022年，8月28日共轭方向第二十二页，共一百二十四页，2022年，8月28日第二十三页，共一百二十四页，2022年，8月28日怎么解释？第二十四页，共一百二十四页，2022年，8月28日第二十五页，共一百二十四页，2022年，8月28日实际意义是什么？第二十六页，共一百二十四页，2022年，8月28日第二十七页，共一百二十四页，2022年，8月28日共轭方向法的框架第二十八页，共一百二十四页，2022年，8月28日共轭梯度法的构造第二十九页，共一百二十四页，2022年，8月28日第三十页，共一百二十四页，2022年，8月28日翻译成文字语言第三十一页，共一百二十四页，2022年，8月28日第三十二页，共一百二十四页，2022年，8月28日第三十三页，共一百二十四页，2022年，8月28日算法的下降性质第三十四页，共一百二十四页，2022年，8月28日如果初始方向不是负梯度方向是否还共轭？第三十五页，共一百二十四页，2022年，8月28日作业第三十六页，共一百二十四页，2022年，8月28日作业P130习题：3.9（2）；3.11第三十七页，共一百二十四页，2022年，8月28日38最优化方法补充内容8拟牛顿法第三十八页，共一百二十四页，2022年，8月28日39拟牛顿法思想第三十九页，共一百二十四页，2022年，8月28日40第四十页，共一百二十四页，2022年，8月28日41第四十一页，共一百二十四页，2022年，8月28日42怎么解？第四十二页，共一百二十四页，2022年，8月28日43DFP算法为什么明显？第四十三页，共一百二十四页，2022年，8月28日44第四十四页，共一百二十四页，2022年，8月28日45例题第四十五页，共一百二十四页，2022年，8月28日46第四十六页，共一百二十四页，2022年，8月28日47第四十七页，共一百二十四页，2022年，8月28日48DFP算法的性质第四十八页，共一百二十四页，2022年，8月28日49部分性质的证明第四十九页，共一百二十四页，2022年，8月28日50请仔细体会一下这部分的证明？第五十页，共一百二十四页，2022年，8月28日51正定继承性第五十一页，共一百二十四页，2022年，8月28日52二次终止性第五十二页，共一百二十四页，2022年，8月28日53第五十三页，共一百二十四页，2022年，8月28日54第五十四页，共一百二十四页，2022年，8月28日55第五十五页，共一百二十四页，2022年，8月28日56第五十六页，共一百二十四页，2022年，8月28日57作业P130习题：3.12；3.13第五十七页，共一百二十四页，2022年，8月28日最优化方法补充内容10约束优化问题的最优性条件第五十八页，共一百二十四页，2022年，8月28日第五十九页，共一百二十四页，2022年，8月28日先看等式约束问题第六十页，共一百二十四页，2022年，8月28日回顾以前学的知识第六十一页，共一百二十四页，2022年，8月28日第六十二页，共一百二十四页，2022年，8月28日如果等于0呢？等于常数第六十三页，共一百二十四页，2022年，8月28日什么定理？第六十四页，共一百二十四页，2022年，8月28日推广到一般的情况第六十五页，共一百二十四页，2022年，8月28日第六十六页，共一百二十四页，2022年，8月28日几何解释第六十七页，共一百二十四页，2022年，8月28日二阶充分条件第六十八页，共一百二十四页，2022年，8月28日不等式约束问题不等式约束问题和等式约束问题之间是否存在什么关系？第六十九页，共一百二十四页，2022年，8月28日有效约束和非有效约束再换句话说，不等式约束问题的在最优解处的某个小邻域内，看以看成等式约束问题第七十页，共一百二十四页，2022年，8月28日回想最优解的定义，可行的概念对于不等式约束是怎么样的概念？第七十一页，共一百二十四页，2022年，8月28日第七十二页，共一百二十四页，2022年，8月28日

无解

有解第七十三页，共一百二十四页，2022年，8月28日举例验证第七十四页，共一百二十四页，2022年，8月28日KT条件KKT最优化条件是Karush[1939]以及Kuhn和Tucker[1951]先后独立发表出來的。这组最优化条件在Kuhn和Tucker发表之后才逐渐受到重视，因此许多书只记载成「Kuhn-Tucker最优化条件(Kuhn-Tuckerconditions)」。第七十五页，共一百二十四页，2022年，8月28日第七十六页，共一百二十四页，2022年，8月28日凸锥中最优解不一定是KT点第七十七页，共一百二十四页，2022年，8月28日第七十八页，共一百二十四页，2022年，8月28日二阶充分条件第七十九页，共一百二十四页，2022年，8月28日凸规划问题的充分条件

KT条件就是最优条件第八十页，共一百二十四页，2022年，8月28日验证KT点第八十一页，共一百二十四页，2022年，8月28日第八十二页，共一百二十四页，2022年，8月28日验证KT点的步骤小结1化为标准形式2验证约束成立并且求得有效约束3约束规范4一阶条件方程例如5验证不等式约束互补条件、乘子的非负性6结论第八十三页，共一百二十四页，2022年，8月28日第八十四页，共一百二十四页，2022年，8月28日第八十五页，共一百二十四页，2022年，8月28日第八十六页，共一百二十四页，2022年，8月28日第八十七页，共一百二十四页，2022年，8月28日二阶充分条件第八十八页，共一百二十四页，2022年，8月28日作业第八十九页，共一百二十四页，2022年，8月28日最优化方法补充内容10约束优化问题的最优性条件第九十页，共一百二十四页，2022年，8月28日第九十一页，共一百二十四页，2022年，8月28日先看等式约束问题第九十二页，共一百二十四页，2022年，8月28日不等式约束问题不等式约束问题和等式约束问题之间是否存在什么关系？第九十三页，共一百二十四页，2022年，8月28日有效约束和非有效约束再换句话说，不等式约束问题的在最优解处的某个小邻域内，看以看成等式约束问题第九十四页，共一百二十四页，2022年，8月28日回想最优解的定义，可行的概念对于不等式约束是怎么样的概念？第九十五页，共一百二十四页，2022年，8月28日第九十六页，共一百二十四页，2022年，8月28日

无解

有解第九十七页，共一百二十四页，2022年，8月28日KT条件KKT最优化条件是Karush[1939]以及Kuhn和Tucker[1951]先后独立发表出來的。这组最优化条件在Kuhn和Tucker发表之后才逐渐受到重视，因此许多书只记载成「Kuhn-Tucker最优化条件(Kuhn-Tuckerconditions)」。第九十八页，共一百二十四页，2022年，8月28日第九十九页，共一百二十四页，2022年，8月28日凸锥中最优解不一定是KT点第一百页，共一百二十四页，2022年，8月28日第一百零一页，共一百二十四页，2022年，8月28日二阶充分条件第一百零二页，共一百二十四页，2022年，8月28日凸规划问题的充分条件

KT条件就是最优条件第一百零三页，共一百二十四页，2022年，8月28日验证KT点第一百零四页，共一百二十四页，2022年，8月28日第一百零五页，共一百二十四页，2022年，8月28日验证KT点的步骤小结1化为标准形式2验证约束成立并且求得有效约束3约束规范4一阶条件方程例如5验证不等式约束互补条件、乘子的非负性6结论第一百零六页，共一百二十四页，2022年，8月28日第一百零七页，共一百二十四页，2022年，8月28日第一百零八页，共一百二十四页，2022年，8月28日第一百零九页，共一百二十四页，2022年，8月28日第一百一十页，共一百二十四页，2022年，8月28日二阶充分条件第一百一十一页，共一百二十四页，2022年，8月28日作业第一百一十二页，共一百二十四页，2022年，8月28日113乘子法数值最优化方法补充内容12第一百一十三页，共一百二十四页，2022年，8月28日114引入乘子法的原因第一百一十四页，共一百二十四页，2022年，8月28日115单纯求解Lagrange函数，是否可行？

举例（先考虑等式约束）单纯求解外罚函数，罚因子不趋向于无穷大，是否可行？第一百一十五页，共一百二十四页，2022年，8月28日116单纯求解罚函数，是否可行？

单纯求解Lagrange函数的极小，是否可行第一百一十六页，共一百二十四页，2022年，8月28日117增广Lagrange函数。能证明吗？启发我们对Lagrange函数进行外罚方法。两种方法的结合第一百一十七页，共一百二十四页，2022年，8月28日118