经典最优化方法

关于经典最优化方法第1页，讲稿共34页，2023年5月2日，星期三内容介绍微分学中求极值无约束最优化问题常用微分公式凸集与凸函数等式约束最优化问题不等式约束最优化问题变分学中求极值第2页，讲稿共34页，2023年5月2日，星期三微分学中求极值一元函数的极值1.一元函数极值的求法与判别必要条件：设函数在点处具有导数，且在处取得极值，则该函数在处的导数

这里有个前提，即函数在设计区间要连续可导。凡是满足上述的点都叫函数的驻点。我们可知驻点并不完全是极值点，它还有拐点，当然，极值点必定是驻点。因此，还必须有判别函数极值的更充分条件。第3页，讲稿共34页，2023年5月2日，星期三微分学中求极值第4页，讲稿共34页，2023年5月2日，星期三微分学中求极值第5页，讲稿共34页，2023年5月2日，星期三微分学中求极值二元函数的极值第6页，讲稿共34页，2023年5月2日，星期三微分学中求极值第7页，讲稿共34页，2023年5月2日，星期三微分学中求极值第8页，讲稿共34页，2023年5月2日，星期三微分学中求极值(3)赫森矩阵（Hesse）第9页，讲稿共34页，2023年5月2日，星期三无约束最优化问题由上一节可知，对于无约束最优化问题，其数学模型中只有目标函数采用解析法求解，其求解过程可以归结为一下三个步骤：

1.令梯度g=0，解出各个驻点。

2.计算各驻点的矩阵A,判断矩阵A正定或负定，得到相对应的极小点或极大点；

3.计算极值。

第10页，讲稿共34页，2023年5月2日，星期三常用微分公式第11页，讲稿共34页，2023年5月2日，星期三凸集与凸函数第12页，讲稿共34页，2023年5月2日，星期三凸集与凸函数第13页，讲稿共34页，2023年5月2日，星期三凸集与凸函数第14页，讲稿共34页，2023年5月2日，星期三凸集与凸函数第15页，讲稿共34页，2023年5月2日，星期三凸集与凸函数第16页，讲稿共34页，2023年5月2日，星期三凸集与凸函数第17页，讲稿共34页，2023年5月2日，星期三凸集与凸函数第18页，讲稿共34页，2023年5月2日，星期三凸集与凸函数第19页，讲稿共34页，2023年5月2日，星期三凸集与凸函数第20页，讲稿共34页，2023年5月2日，星期三凸集与凸函数第21页，讲稿共34页，2023年5月2日，星期三凸集与凸函数第22页，讲稿共34页，2023年5月2日，星期三凸集与凸函数第23页，讲稿共34页，2023年5月2日，星期三等式约束最优化问题

等式约束最优化问题的数学模型式这里介绍两种比较常用的方法：消元法和拉格朗日乘子法。第24页，讲稿共34页，2023年5月2日，星期三等式约束最优化问题

第25页，讲稿共34页，2023年5月2日，星期三等式约束最优化问题

第26页，讲稿共34页，2023年5月2日，星期三等式约束最优化问题

第27页，讲稿共34页，2023年5月2日，星期三等式约束最优化问题

第28页，讲稿共34页，2023年5月2日，星期三不等式约束最优化问题

不等式约束的最优化问题的解析法与前面处理的基本思路相类似，也是构造一个包含原目标函数与约束函数的新目标函数。只是具体的构造方法不同，这里处理的也是二维问题原问题的数学模型为引入一个松弛变量r,把约束条件改为等式约束，即

第29页，讲稿共34页，2023年5月2日，星期三不等式约束最优化问题

第30页，讲稿共34页，2023年5月2日，星期三等式约束最优化问题

第31页，讲稿共34页，2023年5月2日，星期三变分学中求极值第3