优化方法的数学基础

1、第二章最优化方法的数学基础，2.1方向导数和梯度，2.2多变量函数的泰勒展开和海森矩阵，2.3无约束最优化问题的极值条件，2.4凸集，凸函数和凸规划，2.5不等式约束最优化问题的极值条件，定义1 .点，存在，的偏导函数注意：偏导数、一、方向导数、二元函数偏导数的几何意义：是：曲线、点M0处的切线、向x轴的倾斜、点M0处的切线、倾斜、曲线、向y轴的、一、方向导数、定义：如果该函数是在点p处沿方向l的方向导数、点、方向方向导数和偏振导数的公式导出二项函数(可定义微)是点x0，沿着方向s的方向导数三项函数：方向导数和偏振导数的关系n元函数在点x0处的d方向的方向导数上式表示方向导数和偏振导数的函数关

2、系的方向导数是偏振导数概念的推进方向导数的S/d方向的变化率，标量函数f(X )在X(0)点向s方向增加，-函数f(X )在X(0)点向s方向减少，2、梯度二元函数的梯度(二元函数方向导数的式)、是函数f(x1，x2 )在x0点的梯度、梯度的另外，将两个向量梯度和d的内积作为向量间的射影形式，梯度方向是函数值的变化最快的方向，梯度的量值是函数变化率的最大值。 梯度方向和等值线的关系：其中，有，单位向量。 多变量函数的梯度、梯度模式：函数的梯度方向垂直于函数的等价面，即等价面垂直于通过x0的所有曲线。 梯度的幅度因点而不同，也就是说函数点的最大变化率不同。 因此，梯度是函数的局部性质。 例题2-

3、1，求出的函数在点3、2t、2，0t处的梯度解在点x (1)=3，2t处的梯度，在点x (1)=3，2t处的梯度，在点x(2)=2， 在0t处的梯度，如果在某个函数点取极值，则该点的一次偏导数一定为零，即梯度为零，2.2多变量函数的泰勒展开和海森矩阵，复杂函数的极值问题常用泰勒展开式得到目标函数讨论点处的近似式，最常用的是线性近似和二次近似n元函数在二次项中展开并写入矩阵形式，返回f(X )的二次微分矩阵，被称为f(X )的海森矩阵，海森矩阵是nXn的对称矩阵，用常用H(X )表示，例题、泰勒展开中用点将函数简化为线性函数和二次函数。 解：函数为点的函数值、梯度和二次导数矩阵：简化线性函数、简

4、化二次函数、2.3无约束优化问题的极值条件、1 .取极值所需的条件为：在极值点处函数的梯度为n维零向量。 为了判断是否是根据上述必要条件求出的极值点，需要确立极值的充分的条件。 根据函数方面的泰勒展开公式，考虑上述极值要求，可以得到充分的条件。 要求极值充分的条件，即各级主人公式大于零。、24凸集、凸函数和凸规划、全局最优和局部最优？ 1、凸集合几何特征，其任意两点线上的所有点都位于该集合内，2、凸函数，在凸集合d内，任意两点的X(1)、X(2)和01 f (X )是凸函数几何的意思，这两点的线是否完全在f (X )曲线(曲面)上通过判定一个函数的凸性，可以利用以下性质的f (X )是一次连续

5、导数，f (X )是在凸集合d上成为凸函数的充分条件是f (X )是二次连续导数，f (X )是在凸集合d上成为凸函数的充分条件是H (X) 0凸规划- -非线性规划f (X )。 同时成为凸函数凸规划的局部极小点一定是全局极小点的2.5不等式约束优化问题的极值条件，不等式约束的多元函数极值的必要条件是著名的库恩塔克条件，非线性优化问题的重要理论(1)库恩塔克条件(K-T条件)对多元函数不等式的约束优化问题：库恩塔克条件点是函数的极值点，或者目标函数的负剃度是否等于作用约束梯度的非线性耦合(在该情况下)，K-T条件：作用约束：令牌库条件的几何意义是：在约束极小点，因此，函数的负梯度一定会将约束于该点的梯度(法线向量)的所有非线性耦合同时具有方程式和不等式制约的最优化问题：K-T条件：K-T条件是多变量函数取得制约极值所必需的条件，作为制约极值的判断条件使用，可以直接解决比较简单的制约最优化问题。 例1-6判断库恩塔克(K-T )条件应用例、s.t、1 0T是否制约最多。 说明了：(1)当前点是