第二章优化设计的理论与数学基础

1、1,第二章 优化设计的理论与数学基础,2.1 目标函数的泰勒(Taylor)展开式 2.2 目标函数的等值线(面) 2.3 无约束目标函数极值点存在条件 2.4 凸集与凸函数 2.5 约束极值点存在条件,2 .6 优化计算的数值解法及收敛条件,2,二元二次函数,令:,则:,梯度:,验证:,二次函数的矩阵表示方法(补充),其中：:,3,二次函数的矩阵表示方法(补充),例题:将F(X)=x12-2x1x2+x22-8x1+9x2+10写成矩阵表示式，并求其梯度。 解:,验证:,4,2.1 目标函数的泰勒(Taylor)展开式,工程实际中的优化设计问题，常常是多维且非线性函数形式，一般较为复杂。为便

2、于研究函数极值问题，需用简单函数作局部逼近，通常采用泰勒展开式 作为函数在某点附近的近似表达式，以近似于原函数。 一元函数f(x)在x(k)点的泰勒展开式：,二元函数F(X)= F(x1,x2)=在X(k)=x1(k) x2(k) T点的泰勒展开式为：,5,矩阵 形式,海赛矩阵,即:,其中:,6,多元函数F(X)在X(k)=x1(k) x2(k) xn(k) T点的泰勒展开式为：,(二阶偏导数矩阵),nn阶的对称方阵,同上：,一阶偏导数矩阵 称为函数在K点的梯度：,但其中：,7,称为函数在 点的梯度.梯度是一个向量,其方向是函数在 点处数值增长最快的方向.,8,2.2 目标函数的等值线(面),

3、9,10,函数的极值与极值点,2.3 无约束目标函数极值点存在条件,11,极值点存在条件 一元函数的情况 极值点存在的必要条件 的点称为驻点，极值点必为驻点，但驻点不一定为极值点。 极值点存在的充分条件 若在驻点附近,12,(一)极值存在的必要条件: 各一阶偏导数等于零,H,驻点,二元函数的情况,多元函数的情况:,13,(二)极值存在的充分条件: 海赛矩阵H(X*)正定点X*为极小点 海赛矩阵H(X*)负定点X*为极大点 海赛矩阵H(X*)不定点X*为鞍点,海赛矩阵H(X*)正定点X*为极小点,证明:,=0,处处F(X) F(X*), 故点X*为极小点,二次型0,若：,14,什么是矩阵正定、负

4、定、不定？,若各阶主子行列式均大于零正定,若各阶主子行列式如下负定,不是正定或负定不定,15,2.3 无约束目标函数极值点存在条件,H,高等数学：设函数F(X)=F(x1,x2)在点X*的某邻域内连续且有一阶及二阶连续偏导数，在点X*有Fx1=0、 Fx2=0，令：,正定,16,极值存在的必要条件: 各一阶偏导数等于零,H,驻点,极值存在的充分条件: 海赛矩阵H(X*)正定点X*为极小点,各阶主子行列式均 大于零正定,小结:无约束目标函数极值点存在条件,17,例题,试判断X0=2 4T是否为下面函数的极小点：,解：,满足极值存在的必要条件,各阶主子行列式均大于零H(X0)正定 X0是极小点,1

5、8,例：求解 极值点和极值 解 的极值点必须满足： 解此联立方程得： 即点 为一驻点。再利用海赛矩阵的性质来判断此驻点是否为极值点。,19,20,因此，赫森矩阵是正定的。故驻点 为极小点。 对应于该极小点的函数极小值为 由:,21,设平面上有点的集合 ，在该集合中任意取两个设计点x1和x2，如果连接点x1与x2直线上的一切内点均属于该集合，则此集合称为x1ox2平面上的一个凸集，,2.4 凸集与凸函数,22,凸集的数学定义如下：对某集合内的任意两点x1与x2连线，如果连线上的任意点x均满足xx1+(1-)x2，则该集定义为一个凸集,23,优化设计总是期望得到全局最优解,局部最优解,全局最优解,

6、2.4.2 凸函数,由前局部极小点与全局极小点:,24,凸函数 函数的凸性(单峰性) 最优值(最小值)与极小值是有区别的,在什么情况下极小点就是最小点?极小值就是最优值?函数的凸性：实质就是单峰性。如果函数在定域内是单峰的,即只有一个峰值,则其极大值就是全域内的最大值,则其极小值就是全域内的最小值,25,几何解释： 如图所示的一元函数f(x)，在定义域内 任取两点x1与x2，函数曲线上的对应点 为K1与K2，连该两点的直线方程设为 。如在x1，x2内任取一点x，则该点 对应的f(x)与直线 两个函数值之关系 为f(x) ，则称f(x)为a，b区间内的 凸函数。,数学定义： 设F(x)为定义在n

7、维欧氏空间中一个凸集 上的函数，x1与x2为 上的任意两设计点，取任意实数，0，1，将x1与x2连线上的内点x表达为：xx1+(1-)x2，如果恒有下式成立 Fx1+(1-)x2F(x1)+(1-)F(x2) 则称函数F(x)为定义在凸集 上的凸函数。,26,凸函数的判定 若函数F(x)在凸集 上存在二阶偏导数并且连续时，则它在 该域上为凸函数的充要条件是：海赛矩阵H(x)处处是半正定(各阶主子行列式均大于等于零)。 若海赛矩阵H(x)处处都是正定的，则F(x)为严格凸函数. 凸函数的基本性质: (1) 设F(x)为定义在凸集上的凸函数，取为任意正实数，则 F(x)也是域上的凸函数。 (2)

8、设函数F1(x)、F2(x)为定义在凸集上的凸函数，则两函数之和 所构成的新函数F(x)F1(x)+F2(x)也必定是域上的凸函数。 (3) 设函数F1(x)、F2(x)为定义在凸集上的凸函数，对于正实数，0、0，则线性组合F(x)F1(x)+F2(x)也是域上的凸函数。,27,函数的凸性与局部极值及全域最优值之间的关系： 若F(x)为凸集 上的一个凸函数，则 上的任何一个极值点，同时也是它的最优点。,28,例： 判别函数 在 上是否为凸函数。,解：利用海赛矩阵来判别：,因海赛矩阵是正定的，故 为严格凸函数。,29,2.5 约束极值点存在条件(p89) 在约束条件下求得的函数极值点,称为约束极

9、值点. K-T条件(约束极小点的必要条件 ):如果有n个起作用的约束条件,即n个约束函数交于一点,则该点成为约束极值点的必要条件是:该点目标函数的梯度方向应处在由该点的n个约束函数梯度方向所组成的锥形空间内.,30,31,32,33,对于凸规划问题(可行域为凸集,目标函数为凸函数),局部极值点和全域最优点相重合,但对于非凸规划问题则不然.如图:,34,K-T条件只能检验起作用约束的可行点,如下图中X*是约束极值点,但K-T条件对它不实用.,35,例: 用 条件检验点 是否为目标函数 在不等式约束 、 条件下的约束最优点。 解：计算诸约束函数值,点是可行点，该点起作用约束函数为,计算 点有关诸梯

10、度,36,解得： ，乘子均为非负， 故满足 条件，点 为约束极 值点，参看左图，亦得到证实。而且， 由于 是凸函数，可行域为凸集， 所以点 也是约束最优点。,代入式，求拉格朗日乘子,37,2.6 优化计算的数值解法及收敛条件,2.6.1 数值计算法的迭代过程,选初始点 x(0) 确定搜索方向 S(0), 沿S(0)搜索,步长为(0) 求得第一个迭代点 x(1),基本迭代公式:,步长,方向,步步下降 步步逼近,38,数值计算法的基本思想及迭代格式 ： 在设计空间从一个初始点x(0)出发，应用某一规定的算法,按某一方向S(0)和步长(0)，产生改进设计的新点x(1) ，使满足F(x(1)F(x(0)，再以x(1)为新起点，仍应用同一算法,按某一方向S(1)和步长(1)，产生第二个设计新点x(2) ，使满足F(x(2)F(x(1)，这样一步一步地搜索下去，依次得设计点x(1)、x(2)、x(3)、x(k)、x(k+1)、使目标函数