第三章_优化设计问题的若干理论基础.ppt

优化设计问题实际上就是极值问题 工程设计问题一般可以归结为多变量 多约束的非线性优 化问题 高等数学中的极值理论是求解优化设计问题的基础 但在大多数情况下 却不能用来直接求解他们的最优解 因此 有必要对多变量约束优化问题的求解方法所涉及的 数学概念及有关理论进行补充和扩展 第三章优化设计问题的若干理论基础 3 1优化设计问题的几何意义 目标函数是n维变量的函数 它的函数图像只能在n 1维空间中描述出来 为了在n维设计空间中反映目标函数的变化情况 常采用目标函数等值面的方法 对可计算的函数f x 给定设计点 x k x1 k x2 k xn k f x 总有一个定值c与之对应 而当f x 取定值c时 则有无限多个设计点x i x1 i x2 i xn i i 1 2 与之对应 这些点集构成一个曲面 称为等值面 当c取c1 c2 等值时 就获得一族曲面族 称为等值面族 当f x 是二维时 获得一族等值线族 当f x 是三维时 获得一族等值面族 当f x 大于三维时 获得一族超等值面族 等值面和等值线 优化问题的图解方法 对于简单的问题 可用等值线或等值面来描述函数的变化趋势 还可以直观地给出极值点的位置 1 目标函数的等值面 其数学表达式为 f x c 在这种线或面上所有点的函数值均相 等 因此 这种线或面就称为函数的等值线或等值面 当c取一系列不同的常数值时 可以得到一组形态相似的等值线或等值面 称为函数的等值线簇或等值面簇 x y z o 条曲线 称为等高线 以二维优化为例 设目标函数为z f x y 它的图形是三维空间中的一个曲面 1 等值线的概念 等高线 用一个z f x y c的平面去切这个平面 得到一 x 将等高线投影到xoy平面 得到的曲线称为目标函数的等值线 改变常数c为c1 c2 可得到由一系列等值线构成的等值线族 y o o x1 x2 c1 c3c2 f x f x c1 f x c2f x c3 f x f x1 x2 有心等值线族 x f x ci ci i 1 2l 一系列常数 等值线 面 具有相同目标函数值的点集在设计空间形成的曲线和曲面其数学表达式 总结 2维问题 3维 n维 在极值处 函数的等值线聚成一点 并位于等值线族的中心 当该中心为极小值时 离中心线愈远 函数值愈大 当目标函数值的变化范围一定时 等值线越稀疏 说明函数值的变化愈平缓 等值线的分布情 况 反映了目标函数值的变化情况 等值线越向里 目 标函数值越小 等值线越密的地 方 其目标函数值的变化率也越大 对于有心的等值线族来说 等值线族的中心就是一个相对极小点 f x ax 2bx12 cx x12 bc x2 二维高次函数 在极值点附近 等值线也呈近似椭圆形状 等值线的性态 当 a 0 ac b2 0时 等值线为同心椭圆族 22 ab x1 1x2 x 二维二次函数 一个 心 是单峰函数的极 小 值点 是全局极 小 值点 没有 心 例 线性函数的等值线是平行的 无 心 认为极 值点在无穷远处 多个 心 不是单峰函数 每个极 小 值点只是局部极 小 值点 必须通过比较各个极值点和 鞍点 须正确判别 的值 才能确定极 小 值点 等值线的 心 以二维为例 等值线的形状 同心圆族 椭圆族 近似椭圆族 等值线的疏密 沿等值线密的方向 函数值变 化快 沿等值线疏的方向 函数值变 化慢 等值线的疏密定性反应函数值 变化率 严重非线性函数 病态函数的等值线族是严重偏心和扭曲 分布疏密严重不一的曲线族 图 函数的等值线簇 0 40302010 10 20 30 40 50 60 f x 3600f x 2400f x 1200f x 0 x1 目标函数f x 一60 x1一120 x2的等值线族 这是一组相互平行的直线 函数值沿箭头所指方间逐渐下降 如图所示 f x 60 x1 120 x2x2 函数f x xl2十x22一4x1十4的图形 旋转抛 物面 以及用平面f x c切割该抛物面所得交线在设计空间中的投影 函数的等值面簇 二 约束最优解和无约束最优解 最优点 x 则称 最优点 x minf x f x x rn s t gux 0u 1 2 l m hvx 0v 1 2 l p 1 无约束最优解 minf x f x x rn 若在整个设计空间内所得点 x 使 则称 f x 最优值 无约束最优解 约束最优解 2 约束最优解若设计空间内点x 使 f x 最优值 无约束优化设计问题最优解 约束优化设计问题最优解 不受约束条件限制 使目标函数达到最小值的一组设计变 量 即最优点x x1 x2 xn 和最优值f x 构成无 约束问题最优解 满足约束条件 使目标函数达到最小值的一组设计变量 即最优点 x x1 x2 xn 和最优值f x 构成约束问题最优解 min4412221fxxxx xxx 20112stg xx 021g xx 032g 102241gxxx 例 用图解法求解下列优化问题 2 1 0 1 2 1 2 43 3 4 5 x25 x1 g2 x 0 g4 x 0 g1 x 0 f x 1f x 3 8 f x 9 x 0 58 1 34 t 最优解是等值线在函数值下降方向上 与可行域的最后一 个交点 g3 x 0 min4412221fxxxx xxx 20112stg xx 021g xx 032g 102241gxxx 无约束最优解 0 fx 约束最优解 3 812 fx 例 minf x x12 x22 4x1 4 x 2 0 t x 0 58 1 34 t 非线性问题的最优解要么是一个内点 要么是一 个边界点 非线性问题的最优解如果是一个边界点 那么它必定是等值线 面 在函数值下降方向上与可行域的最后一个交点 线性问题的最优解必定是等值线 面 在函数值 下降方向上与可行域的最后一个交点 一般情况下 三 局部最优点和全域最优点 l等值线 l极值点 值点 如图 有两个极值点 x 和 情况a 情况b 对于无约束优化问题 当目标函数不是单峰函数时 则会有多个极1 x 2 它们称为局部最优点 对于约束优化问题 极值点不仅与目标函数的性质有关 还与约束集 合的性质有关 如图 目标函数是凸函数 约束集合为非凸集 则有1 整个可行域内的最小点称为全域最优点 只有当目标函数在可行域内是凸函数 并且可行域 是凸集时 所得最优点才是全域最优点 结论 当目标函数是非凸函数 或者约束集合是非凸集时 则有可能存在多个最优点 这些点都称为局部最优点 3 2无约束目标函数的极值点存在条件无约束优化问题的极值只决定于目标函数本身的性态 而约束优化问题的极值不仅与目标函数的性态有关 而且还与所有约束函数的构成密切相关 一 函数的极值与极值点 极大值 极小值 必要条件 充分条件 f xk 0f xk 0 当当 时取极小值时取极大值 f xk 0f xk 0 一 一元函数 即单变量函数 的情况 l 1 极值点存在的必要条件一元函数f x 在点xk取极值的条件为 对于连续可微的一元函数 f x k f x k xn f x k f x k f x k l xn x2 x1 补 梯度1 梯度的定义n维函数的梯度是函数各维一阶偏导数组成的向量 t f x f x k x1 x2 k l 梯度的模是函数各维一阶偏导数平方和的开方 2 22 k f x 梯度与它的模的比值称为梯度的单位向量 f x k f x k f x f x f x f x xn f x f x 0 2 x1 f x 0 2 x2 xn 2 函数梯度的性质 1 函数的梯度 f x k 是函数在点x k 的最速上升方向 而负梯度 f x k 是函数在点x k 的最快下降方向 函数的梯度随着点x k 在设计空间的位置不同而异 这只是反映了函数在点x k 邻域内函数的局部性质 仅在该点附近具有这种性质 由于梯度的模因点而异 即函数在不同点的最大增加率是不同的 故函数在某点的梯度向量只是指出了在该点极小领域内函数的最速上升方向 是函数的一种局部性质 t k k k x1 x2 k 0 f x 0 2 2 函数梯度的模是在点处函数变化率的最大值 kfx kx 4 当梯度与方向之间的 kfx 当梯度与方向之间的夹 kfx s 3 函数的梯度 f x k 与在点x k 的函数等值面正交 函数在任意点处的梯度向量与过该点的等值线的切线正交 即 任意点的梯度方向是等值线在该点的法线方向 与点x k 的函数等值面相切方向的函数变化率为零 夹角介于0 90 之间时 该区域内的任意方向都是使函数值 角介于90 180 之间时 该区域内的任意方向都是使函数值减小的方向 即函数下降方向 s 增大的方向 即函数 上升方向 5 函数f x1 x2 的梯度是一个向量 它在坐标轴x1 x2的分量是 f x1 f x2 梯度的符号是 f x f x1 x2 或gradf x gradf x1 x2 6 函数的方向导数 函数的梯度与方向s的单位向量的标量积7 梯度方向是函数具有最大变化率的方向 即 函数值沿正 梯度方向增加最快 沿负梯度方向下降最快 8 梯度的模就是函数的最大变化率 9 对于优化设计问题 为了尽快取得最优解 希望每一次迭代的搜索方向s等于或者接近于目标函数的负梯度方向 这样才能使得函数值的下降速度最快 尽快收敛于最优点 f x s f x k s f x k 10 函数在给定点x k 的梯度方向是函数等值线或等值面在该点的法线方向 x2 x1 f x1 x2 cix k f x k 上升方向 下降方向 t f s x k f x k s cos f x k s 0 k s f bx x f xx x f xqx x 几个常用的梯度公式 1 2 3 4 则 f x 0则 f x b则 f x 2xt f x c 常数 ttq对称矩阵 即 c 0 则 f x 2qx x 2x1 4 f 2x2 f x 1 3 2 f x2 2x1 4 2 2x2 例1 求二次函数 2 f x1 x2 x1 x2 4x1 4在点 3 2 t 处的梯度 解 在点 t 处的梯度为 x 0 1 处的最速下降方向为 x p f x 1 x 0 2 例2 试求二次函数 2 f x1 x2 3x1 4x1x2 x2在点x0 0 1 t 处的最速下降方向 并求沿这个方向移动一个单位长度后新点的目标函数值 解 6x1 4x2 f x1 4x1 2x2 f x2 0 x2 1 6x1 4x2 4 4x1 2x2 1 f f x2 x1 0 x2 1 0t 则函数在 f x f x 4 2 5 x 0 55 55 x x e 1 1 5 1 5 f x 3x 4x12 x x 25 该方向上的单位向量为 5 5 2 1 5 4 2 22 00 e 2 2 1 5 5 10 1 新点 265 1 12 22x1 该点函数值 f x0 x 2x1 4 2x2 2 x 2 f f f x0 2 5 4 0 f 1 f x2 x0 22 4 2 2 2 25 x1 x2 例3求二元函数22121212在x0 00 t处函数变化率最大的方向和数值 解 由于函数变化率最大的方向是梯度方向 这里用单位向量p表示 函数变化率最大的数值是梯度的模 f x0 求f x1 x2 在x0点处的梯度方向和数值 如下 2 1 5 4 25 f x0 f x0 p 0fx 2x4 1 0 1rx 2 2x2 00rrfxfx 0xx 例4求二元函数f x1 x2 x12 x22 4x1 2x2 5在x0 2 2 处函数下降最快的方向 解 梯度方向是函数变化率最大的方向 负梯度方向则 是函数下降最快的方向 2 rr x2 f x 2x2 2 3 和点x 2 1 2 2 t的梯度 并作图表示 求函数f x x1 2 2 x2 1 2在点x 3 2 t 例 2 2 解 根据定义 梯度 1 2x1 4 2 2 0 2 f x 2x1 4 2x2 2 2 2 f x 22 2 2 21 f x 2 梯度的模 f x 1 22 22 22 f x 2 02 22 2单位梯度向量 1 2 ss f x 1 1 2 2 2 1 f x 2 1 0 0 2 连得到向量 2 和 0 x1 0 1 2 3 4 5 x24321 x 1 f x 2 x 2 f x 1 点x 1 和x 2 所得新的向量就是点x 1 和x 2 的梯度 在设计平面x1ox2内标出点 2 2 和点 0 2 并将此两点分别与原点相tt22将这两个向量各自平移至 f x f 1n 12 n x k x x k n rn f x f x k f x k x x k f x k x x k 2 12 k k f x f x x f x k x2 式中 x x x k 在实际计算中 常取前三项 二次函数 来近似原函数 n 1 f 1 n 1 rn x x k n 1 点 在x k 与x之间 式中 补2函数的taylor展开式一 一元函数的taylor展开式 xiix k f x f x k ji 2 1 x x xii k x 同理 n维函数在x0点处的taylor展开式为 ij xi x k xj x k rn f x f x ni 1 f x k 1n 2f x k xi2 i j 1 xi xj k 其二阶近似式为 ij xi x k xj x k ni 1 f x k 1n 2f x k xiij k f x x k 12 x x h x x x k k x x x2 k 2f 2f h x k 2 k f x f x f 其中 f x 2f 2f x12 x x21 f x 2mmo xn 2f x1 xn x2 xn 2f xn 即 n维函数的二阶taylor展开式可写成 k 2 k k x1 x22 f 2f1 mm k xn x1 xn x2 t 2f mom 2 k xkk t k t k f x f x x h x k 就称为hesse矩阵 是一个实对称方阵 f x f x k ji 2 1 x x xiix k f x k 1n 2f x k xi xiix k xixi xj k x 二 多元函数f x 在点x k 取极值的条件为 ij ij xi x k xj x k rn ni 1 k ni 1 k f x k 1n 2f x k xi2 i j 1 xi xj f x f x f x f x 1 f x x12 x1 x x1 x x2 x x x2 x 二元函数 2 2 k 21 k k 2 k f x2 k 1 k 2 x x k x1 x1k f x1 2 k 2 k x2 x 2f x x22 k k 12 2f x k x1 x2 2 x x2 x f x f x x x2 x2 11 k x x k x2 x21x 2f x k 2f x x12 k 2f x k x1 x2 2f x k 2 k x1 x1k k x22 k x2 k x1 f x f x 12 k k 12 x1 上式的向量矩阵式 f x x2 x xh x x x h x f x 2f x k x x t k f x k x2 f x k x1 f x t x k 12 x1 x1k k x22 f x f x1 x2 t f x k k f x 2 2f x k x1 x22 k 2 2f x k k 2 k x121 12 x x k t 2f x k x x k 为了便于数学问题的分析和求解 往往需要将一个复杂的非线性函数简化成线性函数或二次函数 简化的方法可以采用泰勒展开式 一元函数的泰勒展开式 12 当只取前两项时简化为线性函数 如取前三项则为二次函数 多元函数的泰勒展开式 一般取前三项 f x f x k f x k t x x k x12 h x k x12 x x 2f 2f x22 2f 2f x2 x1 k 数组成的方阵 由于函数的二次连续性 有 22 x2 x1 x1 x2所以h k 矩阵为对阵方阵 f x f x x x x xhxx x k 2f xn x2 xn f x x1 xn x2 f x 2f x2 2f x x x1 即 n维函数的二阶taylor展开式可写成 k f x f x k t k 1 k t k 2 t f x k xn k k x1 k 其中 h x k 2f x k 2f 2 2f21m m xn x1 2f x1 x2 2f2mm 2f xn x2 kk 2f omom kk2 f x xhx 矩阵形式 f x xhx 0 x 若将函数的泰勒展开式只取到线性项 即取 t 则f x 是过点x 和函数f 所代表的超曲面相切的切平面 若将函数的泰勒展开式取到二次项时 则得到二次函数形式 在线性代数中将二次齐次函数称为二次型 t当对任何非零向量x使 h 对称矩阵t 则二次型函数正定 h为正定矩阵 lim 二元函数 x0 d 0 f d f x10 x1 x20 x2 f x10 x20 d 方向导数 补 多元函数的方向导数1 方向导数 f x1 x2 在x0 x10 x20 点处的偏导数的定义是 lim x1 0 x0 f x2 0 x0二元函数f x1 x2 在x0 x点处沿某一方向d的变化率 其定义为 f x10 x1 x20 x2 f x10 x20 d lim cos 2 x2 2 xd2x0x1 1x1x10 x20o d 图1二维空间中的方向 f dx0 f x1 x0 x0x2 f d 0cos 1 偏导数与方向导数的关系 ff x10 x1 x20 x2 f x10 x20 d d 称其为该函数沿此方向的方向导数 偏导数 x1 一个二元函数f x1 x2 在x0 x10 x20 处的偏导数定义为 x0 f x2 x0 f x10 x1 x20 f x10 x20 x1 lim f x1 x2 x0 f x1 0 x0 x1102021020 x02 x x 01 x f20 d 变化率如图所示 其定义为 lim d fx0 lim 010 x1 x20 x2 f x10 x d d 0 x0 f x0可以看成是该函数分别沿x1和x2方向的方向导数 0 0 cos 2 f x2x cos 1 f x1x d 0 方向导数和偏导数之间的关系 从下述推导可知1012021020 d 0 x0 d f x10 x1 x20 x2 f x10 x1 x20 x2lim cos 1 cos 2 0 cos 3 x0 f f f x1x0 x2x0 x3x f d 类似的 一个三元函数f x1 x2 x3 在x0 x10 x20 x30 点处沿d方向的方向导数和偏导数的关系如下所示 见图 推广到n元函数 cos i x0 x0 x0 x0 cos n f xn f x2 cos 1 f x1 f s cos 2 l f xi ni 1 x0 cos i 0 式中 f xix 函数f x 对坐标轴xi在x0处的偏导数 s与坐标轴ix方向之间夹角的余弦 f 可看成是函数 分别沿各坐标轴方向的方向导数 也即 方向导数是偏导数概念的推广 偏导数是方向导数的特例 x0 x0 x0 f xn f x1 l x2 f x x2 f x f x f x 沿任意方向 的变化率可用该点的方 向导数表示 k 多元函数f x 在某点x d f x d f x k s f x k d lim d 0 k 的梯度为 k 多元函数f x 在某点x t f x k xn k k x1 k l 如方向d的单位向量为 t则 f x t d k f x k d 1 02 1 x1 2 22 t 20 x1 2 02 x2 2 2 x2 2 x1 2 x2 2 例5求二元函数f x1 x2 x12 x22 4x1 2x2 5在x0 2 2 处的海赛二阶泰勒展开式 r解 f x0 22 22 4 2 2 2 5 1rr f x0 2x 2 2 2 x2 rrx 2fx2 02 2rrr2 2x 4x12 x x k x12x 2 104 x1 1 x 2 148 1 17 14 8 k 10 x1 4x2 4 f x 2 104 2 f x 5x1 4x1x2 x2 4x1 4 12 42 2 1 x 1 x2 2 故 解 2 例6 将函数f x 5x1 4x1x2 x2 4x1 4写成在点t f x k 5 12 4 1 2 22 4 1 4 17 h x 2 v x x21 x x12 v x x22 4x21 24x2 28 4x84 2v x x12 2v x x2 2 1t2 1x284 8 8x1 8x2 x1 8x1x2 2x2 2展开式 v x 2x1 2x2 10 1 vx 8 x2 则v在x0处的二阶泰勒展式为 x x 2xx 2xx 3x x12312233 f x 解 因为 2x1 2x2 x 2x 2x2 2x2 2x 2x 32x 2x x1 x2 0 2 x3 2 20 2f x 22 2 0 22 2 2 2 2 2f x1 x3 2f2 2f x1 x2 2f x2 x3 2f2 2f2 2x2 2x1 2x3 3 f x x2 2x3 2x2 222 例 求目标函数f x 的梯度和hesse矩阵 x1 f x x3 则又因为 t故hesse阵为 x a b 12 2 f x a11x1 a12x1x2 a21x1x2 a22x2 b1x1 b2x2 c a12 a21 补函数的二次型与矩阵的正定 若令 x1 x2 b1 b2 a11a12 a21a22 x x2 a b b2 xax bx c 若令 n 则按矩阵运算法则 上面函数的矩阵表达式 x1 b1 a11a12 a21a22 式中 a一对称方阵 a12 a21 tt 12 f x x aa 21222n b 式同样也是多元二次函数的矩阵表达式 a a11a12la1n la mm an1an2lann n n x x1 2 m xn b b1 2 m bn 其中 a n n阶对称方阵 aij aji f x xax x1 x2 a11 a21 a12 x1 a22 x2 t 一 函数的二次型 对于二元函数的二次型 221112 a1221 上式写成矩阵形式 此式也是 多元函数的二次型 的矩阵形式 f x xax xn aij aji t t l x2 x x1 函数的二次型 式中 a n阶对称方阵a与f一一对应 x 0 总有xax 0 类似地 若对于任何矢量 t 则称a为负定矩阵 相应的函数f x 为 负定二次型函数 二 正定矩阵及其判别法1 正定的概念设有二次型f x xtax 若对于任意不为 0 t应的系数对称矩阵a称为正定矩阵相应的函数f x 为 正定二次型函数 如对于某些矢量x有f x 0 另一些矢量x又有f x 0 则称矩阵a为不定矩阵 相应的函数f x 为 不定二次型函数 2 正定性的判别 1 若对称矩阵a正定 其充要条件是矩阵行列式a的各阶主子式值均大于0 0 0 an1 an2 ann a22 a11 a12 a1n a11a21 a12a22 a11 l a21m a2nm l l 0 l 如a a21 0 矩阵a为正定的充要条件 a的各阶主子式均大于零 a11 a31 a12a22a32 a13 a23 为正定 则必有 a33 a11 0a11a12a21a22a11a12a13a21a22a23 0a31a32a33 10 6 6 0 3 0 6 3 32 6 31 320 10 0104 解 对称矩阵q的三个主子式依次为 6 3例 判定矩阵q 32 1 0 是否正定4 一个n n对称矩阵q是正定矩阵的充要条件是矩阵q的各阶主子式都是正的 一个n n对称矩阵q是负定矩阵的充要条件是矩阵q的各阶主子式的值负 正相间 因此知矩阵q是正定的 a11 0 a21a31 a12a22a32 a13a23 0 l a33 a11a21 a12a22 a11 0 2 若矩阵a负定 其充要条件是矩阵行列式a的各阶主子式值负 正相间 即 三 正定二次型函数的性质 ytay bty c 12 f y f x xtax 坐标平移变换 x x2 1 正定二元二次型函数的等值线是同心椭圆族 椭圆的中心就是以该函数为目标函数的极小点 设 二元二次型函数 22 f x ax12 2bx1x2 cx ax a b b x1 c x2 x1t a 0 c 0 ac b2 0时 矩阵 正定 a ac b2 0 f x 椭圆抛物面 n 1维空间 x12 0 0 x cx 1 f x1 x2 f x x2 x1 0 椭圆抛物面 0 f x c1 c2 c3l tt x f fmin 0 2 f x c i 1 cc 2 3c 4 0 x 正定二元二次型函数的这个概念完全可以推广到n 3及多维的设计问题的分析中去 只不过对于3维问题 在设计空间对应的应是 球面的中心正好是极值 小 点 高于3维的问题 n 3 在设计空间中将是 超椭球面 多维正定二次函数的超等值面 无法用三维图形表示 是一个抽象的概念 目标函数的 等值面 同心椭球面族 椭 总结 x x 2 过同心椭圆族中心 作任意直线与椭圆族中任意两椭圆相交 通过交点所作的椭圆的切线必相互平行 x2 c3 f x ci 21 2 1 1 0 s1l1l2 x2 mx1c1cx 2 x x 过此两点的直线必通过椭圆族的 点 1 意义 根据这一性质 如果沿两条与给定方向平行的直线 求出两直线与椭圆族中某两椭圆的切 中心 即函数的极小点换句话说 若沿着x 1 x 2 两点连线方向搜索 就可以找到f x 的极小点 这一特性在建立了共轭方向的概念之后就知道 它对产生某些优化算法有着重大意义 正定函数的性质 称正定函数 如果二次型矩阵h是正定的 则函数 f x 1 正定二次函数的等值线或等值面是一族同心椭圆或同心椭球 椭圆族或椭球族的中心就是该二次函数的极小点 2 正定二次函数在极小点附近的等值线或等值面近似于椭圆或椭球 xax bx c 式中xax称二次型 a xij x a2n x2 aa x2 xn 2122 xtax 二次函数是最简单的非线性函数 在最优化理论中具有重要的意义 其向量形式为 tt 12 f x t a称二次型矩阵 ij ni j 1 f x x1 系数矩阵 a11a12 a1n x1 an1an2 ann xn 5 xax 0 b 矩阵的正定和负定的定义 对所有非零的向量xtttt t a矩阵是不定的 2 x1 x2 b c x1 ax2 例 2 f x ax1 2bx1x2 cx2 ax1 bx1x2 bx1x2 cx2 x a b2c b 二次函数用向量及矩阵的表示方法 f x f x1 x2 ax12 bx1x2 cx22 dx1 ex2 f令 x1 x2 2ab d e c f 则二元函数可写成f x ax12 bx1x2 cx22 dx1 ex2 f1tt2 f x f x12 l xn ijijx bkkx c x x 2 a a 21 b b 2 对多元函数 ax ni 1 nnj 1k 1 x tt x1 l xn a11 l an1 a12a22an2 la1n la2n lann b1 l bn c c f x x1 x2 3x1 3x2 9x1 3x1 6x1 9 f x 3x2 6x2 x 1 f x 120 00 2 1 6x1 60 0 6x2 6 x 1 例题 2 1 2 0 3 3322 l用泰勒展开将函数 1 在点x 1 1 t简化成线性函数与二次函数 解 函数在点x 1 的函数值 梯度和二阶导数矩阵 f x 1 3 x2 x2 1 f x f x f x x x 1 x1 1 x1 1 1 x x ll 简化的线性函数 1 1 t 1 3 3 x2 1 3x2 6简化的二次函数 1 1 t 1 1 1 t2 1 1 2221 1求函数f x x1 x2 6x1在点x x1x 1 6 1 1 t 4 x 2 x1 1 2 f x f x 2x2 x2 4 2 2 例题分析 的梯度及其模 解 1 1 1 t 1 f x 1 1 1 2 1 1 2 4 472 f x 47 22 1 1 1 t x1 f x 1 f x x2 x2 1 2x22 1 1 2 h x 2 1 x1 x12 x x2 1 016 的泰勒展开二次式 2函数解 1 1 2 t f x x1 x1 2 2 x2 x2 1 2在点x 19 1 f x 1 21 x1 2 2 2x1 x1 2 2 x f x 1 2 20 1 6x 80 06x2 4 1 2 2f x 1 2f x 1 2 2f x 1 2 f x x1 x2 1 t12 1x 11x x x2 h x x12 x 2 x1 f x f x x x x2 x 0 驻点为 再由充分条件 22值还是极小值 解 由必要条件 求驻点 f x 1 2x x2 x 0 t 0 1 0 39 18 t 21 12 0 2f x 2f x 2 22 1249 均大于零 故 为极小 h x 0 的一阶主子式a1 2 0二阶主子式 2112 4 1 3 0 a2 h x 0 为正定矩阵 则x 0 39 18 t 点 相应的极值为f x 0 392 39 18 182 60 39 3 18 114350 x12 6x1 60 x2 1 3x12 6x1 9 x1 f x 3x2 6x2 1 x2 1 2f x 1 6x2 6 1 x x1 h x 1 2 1 3322简化成线性函数和二次函数 1 1 3 f x 0 3 1 f x 1 2 2 f x 120 00 0 2f x 1 2 2f x 1 2 f x x1 x2 1 x1 1 x1 1 x2 1 x2 1 x x 1 1 1 fxfxfxxx 30 3 1 1 1 fxfxfxxxxxhxxxt 线性函数 二次函数 3x2 6 x2 1 x1 1 t 2 2 1 1 t 1 1 3x2 6 6 x1 1 2 6x1 12x1 3x2 x 0则x 为极小值点 x 则x 是极大点 f x 0 x 则x 是拐点 f 0 x 必要条件 f x m 0 f x n 1 必要条件 0 f f 无约束优化问题最优解的极值条件minf x x rn 充分条件 n 2 多元函数 f x 在点x 处取得极值的条件为 f x 1 xn 充分条件 h x 为正定阵h x 为负定阵 则x 是极大点h x 为不定阵 则x 是鞍点负定 奇数阶主子式0 f x f x x2 f x 无约束优化问题的极值条件 1 f x 在x 处取得极值 其必要条件是 即在极值点处函数的梯度为n维零向量 t 0 k k k xn k x1 f x f x f x f x x x x xhxx x f x f x x xh x x x h x x x 0 qf x f x 0 x x f x f x 0 x x h x x x 0 x为极大值点 2 f x 在x 处取得极值 其充分要条件是 t 1 t 2 t qx 为驻点 f x 0 1 t 2反之 t xii j 0 xx x f x xiijj 0 xx x ni j 1 2f x xi xj 根据最小值的充分条件 根据最大值的充分条件 h x 为负定矩阵 ni j 1 2 xi xj xii j 0 xx x h x 既不是负定矩阵 也不是正定矩阵 在此处无极值 ni j 1 2f x xi xj 3 3函数的凸性 下凸 上凸 单峰函数 当极值点x 能使f x 在整个可行域中为最小值时 即在整个可行域中对任一x都有f x f x 则x 为全域最优点 全域极小点 若f x 为局部可行域中的极小值而非整个可行域的最小值时 则称x 为局部最优点或相对最优点 优化的目标是全域最优点 为了判断某个极值点是否为全域最优点 研究函数的凸性是必要的 函数的凸性表现为单峰性 对于具有凸性特点的函数来说 其极值点只有一个 因而该点既是局部最优亦是全域最优点 为了研究函数的凸性 下面引入凸集的概念 x 1 x 2 两点之间的联接直线 可用数学式表达为 1 2 x x 1 x 式中 为由0到1 0 1 间的任意实数 直观上 凸集就是空间中内部无 洞 边界又不向内凹的一些点的集合 其基本特征是该集合中任意两点间的线段仍然属于这个集合 凸集 非凸集 空间中两点间的线段是由点的凸组合定义的 x 1 x 2 x 1 x 2 x 1 x 2 直观定义 内部没有 洞 边界不向内凹的形体非凸集实例 1 2 1 2 f x f x 1 x 1 f x 则称f x 函数为上的严格凸函数 凸函数定义 具有凸性 表现为单峰性 或只有唯一的局部最优值亦即全域最优值的函数 称为凸函数或单峰函数 其数学定义是 设f x 为rn中的一个凸集上的函数 若对任意实数 0 1 及中任意两点x 1 和x 2 恒有 f x 1 1 x 2 f x 1 1 f x 2 则称函数f x 为上的凸函数 如果 去掉等号 改为 即 y f x 2 x 2 x k f x f x x x y f x f x f x 1 f x 三 函数的凸性凸函数的几何意义可以通过一元凸函数来说明 如图 点x