第二章优化设计的数学基础PPT课件.ppt

机械优化设计 2004年10月 1 第二章优化设计的数学基础 2 1函数的方向导数与梯度2 2函数的泰勒展开与海赛矩阵2 3凸集 凸函数 凸规划2 4无约束优化问题的极值条件2 5约束优化问题的极值条件 2 2 1函数的方向导数与梯度 一 函数的方向导数函数f X 在点X0处沿S方向的方向导数定义为意义 函数在该点处沿给定方向的变化率 附图 3 二 函数的梯度 方向导数的向量积形式令为函数在X点的梯度 包含函数的一阶导数信息 4 梯度的意义 梯度方向是函数变化率最大的方向 梯度方向为等值面的法线方向 5 例2 1求二元函数f x1 x2 x12 x22 4x1 2x2 5在X0 2 2 处函数下降最快的方向 解 梯度方向是函数变化率最大的方向 负梯度方向则是函数下降最快的方向 6 2 2函数的泰勒展开与海赛矩阵 函数f X 在X 点处的泰勒 Taylor 展开式其中海赛 Hessian 矩阵包含函数的二阶导数信息 7 例2 2求二元函数f x1 x2 x12 x22 4x1 2x2 5在X0 2 2 处的海赛二阶泰勒展开式 解 8 2 3凸集 凸函数 凸规划 基本概念 局部极小点 函数f X 在X 附近的一切X均满足不等式f X f X 称函数f X 在X 处取得局部极小值 X 为局部极小点 全局极小点 在整个可行域内函数值的最小点 可行域内可能存在两个或两个以上的局部极小点 其中之一为全局极小点 9 一 凸集 有 则D为凸集 凸集的性质 1 若D为凸集 为实数 则 D仍为凸集 凸集的实数积为凸集 2 若D 均为凸集 则二者的并集 和 为凸集 凸集的和为凸集 3 若D 均为凸集 则二者的交集 积 为凸集 凸集的积为凸集 10 11 二 凸函数 En的子集D为凸集 f为D上的函数 恒有 则f为D上的凸函数 反之为凹函数 12 凸函数的性质 1 设f为D上的凸函数 为实数 则 f为D上的凸函数 2 设f1 f2为D上的凸函数 则f f1 f2为D上的凸函数 3 若f在D一阶可微 则对 f为凸函数的充要条件 见下图 4 若f在D二阶可微 则对 f为凸函数的充要条件 海赛矩阵半正定 若正定 严格凸函数 13 14 三 凸规划 其中目标函数 不等式约束均为凸函数 则称该问题为凸规划 15 凸规划的性质 若给定一点X0 则集合为凸集 2 可行域D为凸集 3 任何局部最优解即为全局最优解 4 若目标函数可微 则最优解的充要条件 16 2 4无约束优化问题的极值条件 N维无约束极值问题1 在点X 处极值存在的必要条件 在点X 处梯度为零 2 在点X 处极值存在的充分条件 在点X 处海赛矩阵正定 极小点 或负定 极大点 17 2 5约束优化问题的极值条件 一 等式约束优化问题 拉格朗日乘子法构造将等式约束优化问题转化为无约束优化问题 在最优点处 18 二 不等式约束优化问题 库恩 塔克 Kuhn Tucker 条件 1 一维不等式约束问题引入松弛变量a1 b1 使则该问题的拉格朗日函数 19 其极值条件必须满足如图的三种可能 1 左右约束均不起作用 即则 2 左约束起作用 即则 3 右约束起作用 即则 20 2 库恩 塔克 Kuhn Tucker 条件 对优化问题库恩 塔克条件描述为即约束极小点存在的必要条件是 目标函数在该点的梯度可表示为诸约束面梯度的线性组合的负值 21 3 考虑等式约束的库恩 塔克条件对于凸规划问题 K T条件是充要条件 对非凸规划问题 到底是局部最优点还是全域最优点还需要进一步讨论确定 22 3 库恩 塔克条件几何意义约束极小点目标函数梯度