现代设计方法-优化设计-数学基础

1、现代设计方法 优化设计部分优化设计部分 黄正东 二0一四年四月 本章主要内容 ? 优化设计概述 ? 优化设计的数学基础 ? 一维探索优化方法 ? 无约束优化方法 ? 约束问题优化方法 ? 优化设计若干问题 ? 优化设计概述 ? 优化设计的数学基础 ? 一维探索优化方法 ? 无约束优化方法 ? 约束问题优化方法 ? 优化设计若干问题 ? 函数的泰勒展开 ? 目标函数无约束极值条件 ? 目标函数的凸性 ? 约束问题的极值条件 （模型的性质与最优解的表征） 优化设计的数学基础 优化设计的本质：求极值。 为便于对多变量问题进行数学分析和求解，往往需要采 用线性函数和二次函数替代简化目标函数。 （1）一

2、元函数的f(X)泰勒展开：若f(x)在含有x(0)处的 某个开区间内直到（n+1）阶可导，只要开区间（a,b） 足够小,则该函数在（a,b）内x(0)点处的二阶泰勒展开 式为： (0)(0)(0)(0)(0)2 1 ( )()()()()() 2 f xf xfxxxfxxx+ 函数的泰勒展开 （2）二元函数f(x1，x2) 的泰勒展开： = 2 1 x x X )0( 2 1 )0( )( XX x f x f Xf = = = 2 2 2 12 2 21 2 2 1 2 )0(2 )( x f xx f xx f x f Xf 函数的泰勒展开 ( )() ) Xf )( 2 1 )( 0(

3、)0(2)0( )0()0()0( XXXfXX XXXfXf T T + + 1 2 n x x X x = M (0) 1 (0) 2 () n XX f x f xf X f x = = M (0) 222 2 1121 222 2(0)2 2122 222 12 () n n nnnn XX fff xx xx x fff f Xxxxxx fff xxxxxx = = L L MMLM L （3）多元函数f(x1，x2,xn) 的泰勒展开： (0)(0)(0) (0)2(0)(0) ()()() 1 () 2 T T f Xf Xf XXX XXf XXX + + (0) ()f X

4、 2(0) ()f x : 目标函数f(x)在点x(0)的所有一阶偏导数组成 的矩阵向量(一阶导数矩阵向量或梯度） :目标函数f(x)在点x(0)的所有二阶偏导数组成 的矩阵 (二阶导数矩阵或海色矩阵，记作 H(x)），nn阶对称矩阵 f(x(2) f(x(1) 函数Hessian矩阵函数Hessian矩阵 例子例子 优化设计的首要工作是判断极值的存在性，如不存在极 值，优化设计无意义。 （1）无约束目标函数极值的存在性 ? 目标函数为一元函数f(x) f(x) 在点x(0)处有极值的充要条件为： (0)(0) ()0,()0fxfx=时，有极小值； 时，有极大值。 (0)(0) ()0,()

5、0fxfx= = = + u uu uunu XXgXgX Xgx 1 x 0 2 x 0)( 2 =Xg 0)( 1 =Xg )( * 2 Xg )( * 1 Xg )( * Xf * X = =+= =+= + + + = 02 0)( 0)()( 2 1 unu un unu u m u uu x x L xXg L XgXf X L 1 x 0 2 x * X 0)( 1 =Xg 0)( 2 =Xg )( * 1 Xg )( * 2 Xg 0)(0 * =Xf u ，则必有）若 以上两点可以统一用一个条件来表示： = =+= =+= + + + = 02 0)( 0)()( 2 1 u

6、nu un unu u m u uu x x L xXg L XgXf X L =+ 0 0)()( )(0)( )()( )()( i Ii k ii k kk ki k XgXf XnXIiXg 则必有 是极值点，个起作用约束，且的是点设 K-T（Kuhn-Tucker)条件：)条件： 。此时线性组合起作用约束梯度的非负 的负梯度等于该点所有，要么目标函数在该点 此时的极值点，要么是函数若点 )0( )0 (0)( )( )()( = = i i kk XfXfX 满足K-T条件的点称为K-T点。 对于一般非线性规划问题，K-T点一定是约束极值 点，但却不一定是全域最优点。一般采用多初始点下 的极值点是否都逼近同一点（可看成最优点）的近似 方法来判别。 但是，对于目标函数为凸函数，可行域为凸集的凸规 划问题，K-T点一定是全域最优点。 例: 用KT条件判断点是否是下列约束 优化问题的约束极值点。 0)( 0)( 04)( . . ) 3()( min 13 22 2 2 11 2 2 2 1 = = += += xXg xXg xxXgt s xxXf T X)02( * = 使上式成使上式成立立判断是否存在 令 ，