第二章优化的数学基础

1、第二章 优化设计的数学基础 2.12.1 多元函数的方向导数和梯度多元函数的方向导数和梯度2.22.2 多元函数的泰勒展开多元函数的泰勒展开 2.32.3 无约束优化问题的极值条件无约束优化问题的极值条件 2.42.4 凸集、凸函数与凸规划凸集、凸函数与凸规划 2.52.5 等式约束优化问题的极值条件等式约束优化问题的极值条件 2.6 2.6 不等式约束优化问题的极值条件不等式约束优化问题的极值条件 机械设计问题一般是非线性规划问题。实质上是多元非线性函数的极小化问题，因此，机械优化设计是建立在多元函数的极值理论基础上的。机械优化设计问题分为：无约束优化约束优化无条件极值问题条件极值问题补充：

2、补充：等值（线）面等值（线）面： 对于可计算的函数对于可计算的函数 f(xf(x) )，给定一个设计点，给定一个设计点 X X(k)(k)(x(x1 1(k)(k),x,x2 2(k)(k), , ,x,xn n (k)(k) )，f(xf(x) )总有一个定值总有一个定值c c 与之对应；而当与之对应；而当f(xf(x) )取定值取定值 c c 时，则有无时，则有无限多个设计点限多个设计点X X(i)(i)(x(x1 1(i)(i), x, x2 2(i)(i), , ,x,xn n(i(i) ) ) ) （i=1,2, i=1,2, ）与之对应，）与之对应，这些点集构成一个曲面，称为这些点

3、集构成一个曲面，称为等值面等值面。 当当 c c 取取c c1 1,c,c2 2, , 等值时，就获得一族曲等值时，就获得一族曲面族，称为面族，称为等值面族等值面族。 当当f(xf(x) )是二维时，是二维时，获得一族等值线族；获得一族等值线族； 当当f(xf(x) )是三维时，是三维时，获得一族等值面族；获得一族等值面族； 当当f(xf(x) )大于三维时，大于三维时，获得一族超等值面族。获得一族超等值面族。)(kxc等值线的等值线的“心心” （以二维为例） 一个一个“心心”：是单峰函数的：是单峰函数的极（小）值点极（小）值点，是全局极（小）值点。，是全局极（小）值点。 没有没有“心心”：例

4、，线性函数的等值线是平行的，无：例，线性函数的等值线是平行的，无“心心”，认为，认为极值点在无穷远处。极值点在无穷远处。 多个多个“心心”：不是单峰函数，每个极（小）值点只是局部极（小）：不是单峰函数，每个极（小）值点只是局部极（小）值点，必须通过比较各个极值点和值点，必须通过比较各个极值点和“鞍点鞍点”（须正确判别）的值，（须正确判别）的值，才能确定极（小）值点。才能确定极（小）值点。补充：等值（线）面：补充：等值（线）面：等值线的形状等值线的形状： 同心圆族、椭圆族，近似椭圆族；同心圆族、椭圆族，近似椭圆族；等值线的疏密等值线的疏密： 沿等值线密的方向，函数值变化快；沿等值线密的方向，函数

5、值变化快； 沿等值线疏的方向，函数值变化慢。沿等值线疏的方向，函数值变化慢。 等值线的疏密定性反应函数值变化率。等值线的疏密定性反应函数值变化率。 严重非线性函数严重非线性函数病态函数的等病态函数的等值线族是严重偏心和扭曲、分布疏密值线族是严重偏心和扭曲、分布疏密严重不一的曲线族。严重不一的曲线族。补充：等值（线）面：补充：等值（线）面：2.1 多元函数的方向导数与梯度一、方向导数 从多元函数的微分学得知，对于一个连续可微函数f(x)在某一点 的一阶偏导数为：( )kx 1()kf xx 2()kf xx ()knf xx，它表示函数f(x)值在 点沿各坐标轴方向的变化率。( )kx有一个二维

6、函数，如图2-1所示。)()0(xfSxf)()0(图2-1 函数的方向导数 为为 d d 的方向角的方向角, ,即与坐标轴的夹角即与坐标轴的夹角21,2.1 多元函数的方向导数与梯度其函数在 点沿d方向的方向导数为 0 x 000(0)112212211,f xx xxf xxxxx1200limxx 00001221222,f xxxf xxxx 001212coscosf xf xxx 000(0)01122120,limf xx xxf xxf xd2.1 多元函数的方向导数与梯度2.12.1 多元函数的方向导数和梯度多元函数的方向导数和梯度 二维问题中，二维问题中，f (xf (x1

7、 1,x,x2 2 ) ) 在在 X X(0) (0) 点沿方向点沿方向d d的方向导数的方向导数可以写为：可以写为：二二. . 二元函数梯度二元函数梯度22)0(11)0()0(cos)(cos)()(xxfxxfdxfdfdxfdxfT,cos)()()0()0( 000012,Txf xf xf xxx12coscosd2.12.1 多元函数的方向导数和梯度多元函数的方向导数和梯度其中：其中：Txxfxxfxf2)0(1)0()0()(,)()(是是 X X(0)(0)点的梯度。点的梯度。为为d d方向的单位向量，方向的单位向量， 1coscos2212d方向导数方向导数dff为梯度为梯

8、度在方向在方向 d d 上的投影。上的投影。)()0(xfSxf)()0(21coscosd结论：函数在某点沿各方向的方向导数随结论：函数在某点沿各方向的方向导数随 即00Txff xdd 0cos,Tf xf d 0cos,Tf xf d 变化，其最大值在余弦函数取值为变化，其最大值在余弦函数取值为1 1时，也就是当时，也就是当梯度方向与梯度方向与d d方向重合时其值最大。可见，方向重合时其值最大。可见，梯度方梯度方向就是函数值变化最快的方向，而梯度的模就是向就是函数值变化最快的方向，而梯度的模就是函数变化率的最大值。函数变化率的最大值。梯度方向和切线方向梯度方向和切线方向垂直，即梯度方向为

9、垂直，即梯度方向为等值面的法线方向。等值面的法线方向。三、多元函数的梯度 000012,.Tnf xf xf xf xxxx沿d方向的方向向量即00Txff xdd 0cos,Tf xf d 12coscos.cosnd2.12.1 多元函数的方向导数和梯度多元函数的方向导数和梯度总结总结: 梯度是梯度是 X X(0)(0)点处最大的方向导数；点处最大的方向导数； 梯度的方向是过点的等值线的法线方向；梯度的方向是过点的等值线的法线方向； 梯度是梯度是X X(0)(0) 点处的局部性质；点处的局部性质； 梯度指向函数变化率最大的方向；梯度指向函数变化率最大的方向； 正梯度方向是函数值最速上升的方

10、向，正梯度方向是函数值最速上升的方向， 负梯度方向是负梯度方向是函数值最速下降的方向函数值最速下降的方向。2)0(22)0(21)0()0()()()()(nxxfxxfxxfxf 2.12.1 多元函数的方向导数和梯度多元函数的方向导数和梯度图2-5 梯度方向与等值面的关系2.22.2 多元函数的泰勒展开多元函数的泰勒展开 njinjijikiniikkxRxxxxxfxxxfxfxfk.)(!21)()(1,)(21)()()()()()()()()()()(!21)()()(kkTkkTkkxxHxxxfxfxfn n 维函数维函数 f(x) f(x) 在在 x x(k(k) ) 点的泰

11、勒展开式点的泰勒展开式: :二阶近似式二阶近似式：其中：增量其中：增量 X (k) =x1 (k) , x2 (k) , xn (k) TTnkkkkxxfxxfxxfxf)(,.,)(,)()()(2)(1)()(梯度梯度 一一. Hessian . Hessian 矩阵与正定矩阵与正定2.22.2 多元函数的泰勒展开多元函数的泰勒展开22221222222122122122120)(nnnnnxfxxfxxfxxfxfxxfxxfxxfxfxGHesseHesse 矩阵：矩阵：将函数进行泰勒展开取到二次项时得到二次函数形式，优将函数进行泰勒展开取到二次项时得到二次函数形式，优化计算经常把目

12、标函数表示成二次函数以便使问题简化。化计算经常把目标函数表示成二次函数以便使问题简化。HesseHesse 矩阵的特性：是实对称矩阵。矩阵的特性：是实对称矩阵。 矩阵正定的充要条件：矩阵正定的充要条件：主子式主子式 det(aitdet(ait) )0 0当主子式当主子式 det(ait)0 det(ait)0 时，矩阵半正定时，矩阵半正定 det(aitdet(ait) )0 0时，矩阵负定时，矩阵负定 det(ait)0det(ait)0时，矩阵半负定时，矩阵半负定HesseHesse 矩阵的正定性：矩阵的正定性：H(xH(x* *) )正定，正定， 是是 x x* * 为全局极小值点的充

13、分条件为全局极小值点的充分条件；H(xH(x* *) )半正定半正定, , 是是 x x* * 为局部极小值点的充分条件；为局部极小值点的充分条件；H(xH(x* *) )负定，负定， 是是 x x* * 为全局极大值点的充分条件；为全局极大值点的充分条件；H(xH(x* *) )半负定半负定, , 是是 x x* * 为局部极大值点的充分条件。为局部极大值点的充分条件。正定的二次函数：曲面为椭圆抛物面；正定的二次函数：曲面为椭圆抛物面； 等值线族为椭圆曲线族，椭圆中心为极小值点。等值线族为椭圆曲线族，椭圆中心为极小值点。正定正定HesseHesse 矩阵矩阵2.2 多元函数的泰勒展开若目标函

14、数f(x)处处存在一阶导数，则极值点的必要条件一阶偏导数等于零，即*0f x满足此条件仅表明该点为驻点，不能肯定为极值点，即使为极值点，也不能判断为极大点还是极小点，还得给出极值点的充分条件设目标函数在 点至少有二阶连续的偏导数，则*x在这一点的泰勒二次近似展开式为：2.3 无约束优化问题的极值条件 *2*1,112nniiijjii jiijf xf xf xf xxxxxxxxx x 2222112122222122222212.kkknkkkknkkknnnf xf xf xxx xx xf xf xf xG xx xxx xf xf xf xxxxxx 为N维函数f(x)在点( )kx

15、处的Hesse矩阵多元函数f(x)在 处取得极值，则极值的条件为*x（1） F(X*)=0； 必要条件（2）Hesse矩阵G(X*)为正定。 充分条件*x为无约束极小点的充分条件是其Hesse矩阵G(X*)为正定的。为无约束优化问题的极值条件同学考虑二元函数在 处取得极值的充分必要条件。*x 120fxf xfx10020 xxx02221120222212xffxx xG xffx xx 各阶主子式大于零2.3 2.3 无约束优化问题的极值条件无约束优化问题的极值条件极值点存在的必要条件：极值点存在的必要条件： 如果函数如果函数f f（x x）的一阶导数）的一阶导数ff（x x）存在的话，则

16、欲使）存在的话，则欲使x x* *为极值点为极值点的必要条件为：的必要条件为： ff（x x* *）=0=0极值点存在的的充分条件：极值点存在的的充分条件：f（x）0，则改点为极小值。，则改点为极小值。一一. .一元函数一元函数二二. .二元函数二元函数极值点存在的必要条件：极值点存在的必要条件： 如果函数如果函数f f（x x1 1，x x2 2）在某点处取得极值，必要条件为：）在某点处取得极值，必要条件为：0)(xf极值点存在的的充分条件：极值点存在的的充分条件：如果函数如果函数f f（x1x1，x2x2）在某点处取得极值，充分条件为在该）在某点处取得极值，充分条件为在该点处的海塞矩阵正定

17、。点处的海塞矩阵正定。 例1： 例2：的极值点和极值。的极值点和极值。求解求解362252)(21332232221xxxxxxxxXf是否为凸函数。是否为凸函数。判别函数判别函数2122212141060)(xxxxxxXf第四节 凸集、凸函数与凸规划前面我们根据函数极值条件确定了极小点*x则函数f(x)在 附近的一切x均满足不等式*x *f xf x所以函数f(x)在 处取得局部极小值，称 为局部极小点。*x*x而优化问题一般是要求目标函数在某一区域内的全局极小点。函数的局部极小点是不是一定是全局极小点呢？图2-7 下凸的一元函数一、凸集的线段都全部包含在该集合内，就称该点集为凸集，否则为

18、非凸集。一个点集（或区域），如果连接其中任意两点1x2x2x凸集的性质：凸集的性质：（1 1）若）若A A是一个凸集，是一个凸集，b b是一个实数，则是一个实数，则bAbA还是凸集。还是凸集。（2 2）若）若A A和和B B是凸集，则集合是凸集，则集合A+BA+B还是凸集。还是凸集。（3 3）任何一组凸集的交集还是凸集。）任何一组凸集的交集还是凸集。二、凸函数函数f(x）为凸集定义域内的函数，若对任何的011x2x及凸集域内的任意两点存在如下不等式： 121211fxxf xx称 f x是定义在凸集上的一个凸函数。 当上式中的当上式中的为时，为时，f(xf(x) )是严格凸函数。是严格凸函数。

19、图2-10 凸函数的定义2.42.4 凸集、凸函数与凸规划凸集、凸函数与凸规划凸函数的性质：凸函数的性质：上的凸函数。上的凸函数。也是也是则则上的两个凸函数，上的两个凸函数，为定义在凸集为定义在凸集和和设设上的凸函数。上的凸函数。也是定义在也是定义在则函数则函数，意实数意实数上的一个土函数，对任上的一个土函数，对任为定义在凸集为定义在凸集RxfxfRxfxfRxfRxf)()()()()2()(0)() 1 (2121l 若若f(x)f(x)是定义在凸集是定义在凸集D D上的严格凸函数，则上的严格凸函数，则f(x)f(x)在在D D上的上的一个极小点，也就是全局最小点。一个极小点，也就是全局最

20、小点。l 凸函数的线性组合仍然为凸函数。凸函数的线性组合仍然为凸函数。l 设设x x(1)(1), x, x(2)(2)为凸函数为凸函数 f(x)f(x)上的两个最小点，则其连线上的两个最小点，则其连线上的任意点也都是最小点。上的任意点也都是最小点。三、凸性条件（判别函数为凸函数）1.根据一阶导数（函数的梯度）来判断函数的凸性设f(x)为定义在凸集R上，且具有连续的一阶导数的函数，则f(x)在R上为凸函数的充要条件是对凸集R内任意不同两点 ，不等式1x2x 21211Tf xf xxxf x恒成立。设f(x)为定义在凸集R上且具有连续二阶导数的函数，则f(x)在R上为凸函数的充要条件：Hess

21、e矩阵在R上处处半正定。若Hesse矩阵处处正定，则f(x)为严格凸函数。2.根据二阶导数（ Hesse矩阵)来判断函数的凸性四、凸规划对于约束优化问题 min f x.st 0jgx 1,2,.,jm若 f x jgx都为凸函数，则此问题为凸规划。凸规划的性质：1.若给定一点 ，则集合0 x 0f xf xRx为凸集。2.可行域 1,2,.,0jjmgxRx为凸集。3.凸规划的任何局部最优解就是全局最优解。当f(x)为二元函数时，其等值线呈现大圈套小圈形式。2.42.4 凸集、凸函数与凸规划凸集、凸函数与凸规划总结总结：一的最优点。一的最优点。格凸函数，则它具有唯格凸函数，则它具有唯还是严还

22、是严最优点。若最优点。若极值点，同时也是它的极值点，同时也是它的的任何的任何上的一个凸函数，则上的一个凸函数，则为凸集为凸集最优点。但是，若最优点。但是，若的极值点不一定是它的的极值点不一定是它的说，说，上的一个函数，一般来上的一个函数，一般来为定义在凸集为定义在凸集设设)()()()()(XfXfRXfXfRXf第五节 等式约束优化问题的极值条件约束优化等式约束不等式约束求解这一问题的方法消元法拉格朗日乘子法 min fx.st 0khx 1,2,.,kl一、消元法（降维法）以二元函数为例讨论。0),(),(min2121xxhxxf.ts基本思想：根据等式约束条件将一个变量x1表示成另一个

23、变量x2的函数关系 。然后将这一函数关系带入到目标函数 中消去x1，使目标函数变成一元函数这就将等式约束转化为无约束优化问题。对于n维，有几个等式约束就可以消去几个变量。 )(21xx),(21xxf第五节 等式约束优化问题的极值条件二、拉格朗日乘子法（升维法）对于具有L个等式约束的n维优化问题*x处有*0Tdf xf xdx *10lTkkikiihdhxdxhxdxx 第五节 等式约束优化问题的极值条件基本思想：通过增加变量将等式约束优化问题变成无约束优化问题： min fx.st 0khx 1,2,.,kl 1,lkkkF xf xhx拉格朗日函数待定系数新目标函数的极值的必要条件0iF

24、x0kF将原来的目标函数作如下改造：例2-4 用拉格朗日乘子法计算在约束条件1212,2360h x xxx的情况下，目标函数221212,45f x xxx的极值点坐标。第六节 不等式约束优化问题的极值条件在工程中大多数优化问题，可表示为不等式约束条件的优化问题。有必要引出非线性优化问题的重要理论，不等式约束的多元函数的极值的必要条件是：库恩-塔克（Kuhn-Tucker）条件一、一元函数在给定区间上的极值条件一元函数f(x)在给定区间a,b上的极值问题，可以写成下列具有不等式约束条件的优化问题： min f x.st 10gxax 20gxxb拉格朗日乘子法，除了可以应用于等式的极值问题，

25、还可以用于不等式的极值问题。用拉格朗日乘子法时，需引入松弛变量，将不等式约束变成等式约束。设a1和b1为两个松弛变量，则上述的不等式约束可写为： 2211111,0h x agxaaxa 2221211,0hx bgxbxbb第六节 不等式约束优化问题的极值条件则该问题的拉格朗日函数： 11121 11221,F x a bf xhx ahx b 221121f xaxaxbb1020根据拉格朗日乘子法，此问题的极值条件：1212120dgdgFfdfxxdxdxdx1 1120Fbb1 1120Faa第六节 不等式约束优化问题的极值条件 221212,0Fhx bgxb 211111,0Fh

26、 x agxa由1 10a110,0a110,0a 10gxax（起作用约束） 10gxax（不起作用约束）同样 ，来分析 起作用何不起作用约束。2 10b 2gx因此，一元函数在给定区间的极值条件，可以表示为：第六节 不等式约束优化问题的极值条件12120dgdgdfdxdxdx 220gx 110gx1020多元库恩-塔克条件1212120dgdgdfdfdxdxdxdx分析极值点 在区间的位置，有三种情况*x第六节 不等式约束优化问题的极值条件当*axb时，此时120，则极值条件为：*0df xdx当*xa时，此时120,0则极值条件为10dfdx即*0df xdx第六节 不等式约束优化

27、问题的极值条件当*xb时 ，此时120,0，则极值条件为20dfdx*0df xdx即第六节 不等式约束优化问题的极值条件从以上分析可以看出，对应于不起作用的约束的拉格朗日乘子取零值，因此可以引入起作用约束的下标集合。 0,1,2jgxjJ xj一元函数在给定区间的极值条件，可以改写为：极值条件中只考虑起作用的约束和相应的乘子。 000jjj JjjdgdfdxdxgxjJjJ第六节 不等式约束优化问题的极值条件二、库恩-塔克条件仿照一元函数给定区间上极值条件的推导过程，可以得到具有不等式约束多元函数极值条件： *101,2,.,01,2,.,01,2,.,mjjjiijjjdf xdgxin

28、dxdxgxjmjm用起作用约束的下标集合表示第六节 不等式约束优化问题的极值条件*01,2,.,00jjj Jiijjdf xdgxindxdxgxjJjJ用梯度形式表示，可得*0jjj Jf xgx或*jjj Jf xgx库恩-塔克条件的几何意义：在约束极小点处，函数的负梯度一定能表示成所有起作用约束在该点梯度的非负线性组合。下面以二维问题为例，说明K-T条件的几何意义第六节 不等式约束优化问题的极值条件从图中可以看出，*f x*1gx*2gx处在和角锥之内，即线性组合的系数为正，是在*x取得极值的必要条件。第六节 不等式约束优化问题的极值条件三、库恩-塔克条件应用举例若给定优化问题的数学

29、模型为 22122minf xxx. .st 211210gxxx 223100gxxgxx *01,2,.,00jjj Jiijjdf xdgxindxdxgxjJjJK-T条件第六节 不等式约束优化问题的极值条件2.5 2.5 约束优化问题的极值条件约束优化问题的极值条件 一一. . 优化设计最优解优化设计最优解无约束优化设计问题最优解：无约束优化设计问题最优解：约束优化设计问题最优解约束优化设计问题最优解： 不受约束条件限制，使目标函数达到最小值的一组设计变量，即最不受约束条件限制，使目标函数达到最小值的一组设计变量，即最优点优点 x x* *=x=x1 1* *,x,x2 2* *,

30、,x,x n n* * 和最优值和最优值 f(xf(x* *) )构成无约束问题最优解。构成无约束问题最优解。 满足约束条件，使目标函数满足约束条件，使目标函数达到最小值的一组设计变量，达到最小值的一组设计变量， 即最优点即最优点 x x* *=x=x1 1* *,x,x2 2* *, ,x,x n n* * 和最优值和最优值 f(xf(x* *) )构成约束问题最构成约束问题最优解。优解。0)()(kxf二二. . 有约束问题最优点的几种情况有约束问题最优点的几种情况2.2. 有适时约束有适时约束 目标函数是凸函数目标函数是凸函数, ,可行域是凸可行域是凸集，则目标函数等值线与适时约集，则目

31、标函数等值线与适时约束曲面的切点为最优点，而且是束曲面的切点为最优点，而且是全局最优点。全局最优点。1.无适时约束无适时约束 目标函数是凸函数，可行域是凸目标函数是凸函数，可行域是凸集，则最优点是内点。相当于无约集，则最优点是内点。相当于无约束问题的最优点。束问题的最优点。x x (k)(k) 为最优点为最优点x x* *的条件：的条件：必要条件：必要条件：充分条件：充分条件： HesseHesse矩阵矩阵 H(xH(x(k(k) ) ) 是正定矩阵是正定矩阵0X1X2g3 (x) = 0g2 (x) = 0g1 (x) = 0f (x) x*X*2.52.5 约束优化问题的极值条件约束优化问

32、题的极值条件 )(pf3.3. 有适时约束有适时约束 目标函数是非凸函数（图目标函数是非凸函数（图 a a），或可行域是非凸集（图），或可行域是非凸集（图 b b）：）： 则目标函数等值线与适时约束曲面可能存在多个切点，则目标函数等值线与适时约束曲面可能存在多个切点，是局部极值点，其中只有一个点是全局最优点。是局部极值点，其中只有一个点是全局最优点。二二. . 有约束问题最优点的几种情况有约束问题最优点的几种情况p)(pg)(qf)(qg)(pf)(qf)(pg)(qgQQp2.5 2.5 等式约束优化问题的极值条件等式约束优化问题的极值条件 三三. K-T ( . K-T ( Kuhn-Tu

33、cker Kuhn-Tucker 库恩库恩- -塔克塔克) ) 条件条件 它是它是约束极值点存在条件，用来判断某个可行点是否为约束极值点。约束极值点存在条件，用来判断某个可行点是否为约束极值点。2.5 2.5 约束优化问题的极值条件约束优化问题的极值条件 日乘子。日乘子。非负值的因子称拉格朗非负值的因子称拉格朗、点的等式约束的个数；点的等式约束的个数；在在；点的不等式约束的个数点的不等式约束的个数在在的如下线性组合：的如下线性组合：、度度可表示为该点约束面梯可表示为该点约束面梯在该点的目标函数梯度在该点的目标函数梯度是一个局部最优点，则是一个局部最优点，则若若对于约束优化问题对于约束优化问题k

34、jKKlkkkkmjkjjkkkkkjkkjXlXmXhXgXfXXhXgXflkxhmjxgtsxf0)()()()()()(),.,2 , 1(0)(),.,2 , 1(0)(. .)(min11kX2.5 2.5 约束优化问题的极值条件约束优化问题的极值条件 KT条件的图形说明： 几何上，几何上，x x(k(k) )成为约束最优点（极小点）成为约束最优点（极小点）x x* *时，目标函数的负梯度向时，目标函数的负梯度向量位于量位于 m m 适时约束梯度向量所张成的子空间内。适时约束梯度向量所张成的子空间内。2.5 2.5 约束优化问题的极值条件约束优化问题的极值条件 日乘子。日乘子。非负

35、值的因子称拉格朗非负值的因子称拉格朗点的等式约束的个数；点的等式约束的个数；在在的如下线性组合：的如下线性组合：度度可表示为该点约束面梯可表示为该点约束面梯在该点的目标函数梯度在该点的目标函数梯度是一个局部最优点，则是一个局部最优点，则若若题，一般形式为题，一般形式为则变为等式约束优化问则变为等式约束优化问若若kKlkkkkkkkkkkXlXhXfXXhXflkxhxfm0)()()()(),.,2 , 1(0)()(min1kX02.5 2.5 约束优化问题的极值条件约束优化问题的极值条件 日乘子。日乘子。非负值的因子称拉格朗非负值的因子称拉格朗。点的不等式约束的个数点的不等式约束的个数在在

36、的如下线性组合：的如下线性组合：度度可表示为该点约束面梯可表示为该点约束面梯在该点的目标函数梯度在该点的目标函数梯度是一个局部最优点，则是一个局部最优点，则若若问题，一般形式为问题，一般形式为则变为不等式约束优化则变为不等式约束优化若若jKmjkjjkkkjkjXmXgXfXXgXfmjxgtsxfl0)()()()(),.,2 , 1(0)(. .)(min1kX01. 1. 有一个适时约束时：有一个适时约束时： 从几何上看，当从从几何上看，当从 x (k)x (k)点出发不存点出发不存在一个在一个 S S 方向能同时满足方向能同时满足: :与与x x(k)(k)点目标函数的负梯度方向成锐角

37、，即点目标函数的负梯度方向成锐角，即沿沿 S S 方向目标函数值下降；方向目标函数值下降； 与与x x(k)(k)点约束函数的梯度方向成钝角，即点约束函数的梯度方向成钝角，即保证保证 S S方向上各点在可行域内。方向上各点在可行域内。 此时，获得最优解此时，获得最优解 x x(k(k) ) 为为最优点最优点 x x* *，f(xf(x(k(k) ) )为为最优值最优值 f(xf(x* *) )。)()(kxg)()(kxf2.5 2.5 约束优化问题的极值条件约束优化问题的极值条件 从几何上看，当从从几何上看，当从 x x(k(k) )点出发存在一个点出发存在一个 S S 方向能同时满足：方向

38、能同时满足： 与与x x(k)(k)点目标函数的负梯度方向成锐角，点目标函数的负梯度方向成锐角，即沿即沿 S S 方向目标函数值下降；方向目标函数值下降； 与与x x(k)(k)点约束函数的梯度方向成钝角，即点约束函数的梯度方向成钝角，即保证保证 S S方向上各点在可行域内。方向上各点在可行域内。 此时，此时，x x(k(k) )不是不是最优点最优点 x x* *。)()(kxf)()(kxg2.5 2.5 约束优化问题的极值条件约束优化问题的极值条件 0)()(kTxfS)()()()(22)(11)(kkkxgxgxf0, 0212.2. 有二个适时约束时：有二个适时约束时： x x(k)(k)成为约束最优点成为约束最优点 x x* * 的必要条件为的必