优化设计的数学基础.ppt

1、1,第二章,优化设计的理论基础,第三周,2,优化设计中绝大多数是多变量有约束的非线性规划问题，即是求解多变量非线性函数的极值问题。由此可见，优化设计是建立在多元函数的极值理论基础上的，对于无约束优化问题为数学上的无条件极值问题，而对于约束优化问题则为数学上的条件极值问题。 为便于后续各章优化方法的学习，有必要研究这些非线性函数的性质和变化规律。,3,2.1 函数的泰勒(Taylor)表达式 工程设计的优化问题中，所列的目标函数往往很复杂，为了简化问题，常将目标函数在所讨论点附近展开成泰勒多项式来近似原函数。 一元函数f(x)在点X(k)的某个领域内具有直到（n+1）阶导数，其Taylor展开式

2、可表示为一个多项式与一个余项的和：,4,多元函数f(x), X=x1, x2, ,xnT,在x(k)点的Taylor展开式为： 矩阵形式为：,5,称为f(X)在点x(k)的梯度,它是f(X)在该点的一阶偏导数的列向量。,称为f(X)在点x(k)的Hessian矩阵,它是f(X)在该点的二阶偏导数所组成的方阵。它是一个实对称矩阵，也记作H(x(k)。,6,Taylor展开式若取到二次项，函数可近似用一个二次函数来逼近，称为平方近似： 若只取一次项，可得到函数的一次Taylor近似式： 该式也称为线性展开式或函数的线性化。,7,2.2 二次型与正定矩阵 一、二次型与实对称矩阵 将关于变量x1, x

3、2, , x n的二次齐次函数 称为x1, x2, , x n的二次型。用矩阵表示，则上述二次 型可表示为： 其中： 为n阶实对称矩阵。,8,二、正定矩阵 若任何一个非零向量X=x1, x2, ,xnT都使二次型 则称该二次型为正定二次函数,称矩阵A为正定矩阵。 反之，如果实对称矩阵A是正定的，则二次型对于所有非零向量X，其值总为正。 若二次型 则A为半正定矩阵； 若二次型 则A为负定矩阵； 若二次型 则A为半负定矩阵； 若二次型 有些X使它为正,有些X使其为负,则A为不定矩阵。,9,判断矩阵A是正定或负定的方法： 若矩阵A的行列式|A|的各阶顺序主子式都大于零， 即： 则矩阵A为正定矩阵。

4、若矩阵A的行列式|A|的各阶顺序主子式负、正交 替地变换符号，则矩阵A为负定矩阵。,10,2.3 函数的等值面或线 对一般的二次函数 若 ，则其等值线为椭圆族； 若 ，则其等值线为双曲线族； 若 ，则其等值线为抛物线族； 若目标函数是线性的，则其等值线是一族平行线。 对于二次函数，若有极值点存在，则在该点附近的等值线为一族同心椭圆。 对高次非线性函数，等值线形状复杂，有时不只一个线族中心。例如：,11,有两个等值线族心。,12,2.4 函数的最速下降方向 函数的等值线或面只能从几何图形方面定性地表示 函数值的变化情况，如何定量反映函数在某点的变化 形态？ 方向导数 函数f(x1, x2)在X(

5、0)处沿某一方向S的变化率：,13,上式称为函数f(x1,x2)在X(0)点处沿方向S的方向导数。 式中： 为向量S的模 分别为向量S与x1, x2轴的夹角。 当 时 当 时,偏导数是方向导数的特例,14,n元函数f(x1, ,xn)在X(0)点处沿方向S的方向导数:,15,函数在某点沿一方向的方向导数等于函数在该点处的梯度与方向单位向量的内积。写成向量模的形式：,当,所取方向同梯度的方向相同，方向导 数为最大值。梯度方向是函数值增长 最快的方向。当所取方向为梯度向量 的负方向时， , 方向导数最 小。 负梯度方向 为目标函数在该 点的最速下降方向。,16,对于一般二元二次函数,令,则,梯度公

6、式,17,2.5 凸集、凸函数 一、局部最优和全局最优 函数极值点是局部区域中各点相比较而言。当点 X*邻近的所有点X都满足： 称X*和f(X*)分别为局部极小点和局部极值。 局部最优点可能有多个，例如： 最优化问题是求全域最优解。,18,二、凸集 1、函数的凸性 函数的凸性表现为单峰性。 2、凸集 定义：设集合 D En，若任意 两点X(1) D, X(2) D, 所连成的线段上的点X 对任意实数a0,1都在集合D内，则称集合为凸集， 否则称为非凸集。,19,3、凸函数 D为En中的一个凸集，f(x)为定义在D上的函数， 若对任意实数 和D中任意两点X(1),X(2)都 有 则称函数f(x)

7、为定义在D上的一个凸函数。 凸函数的性质：,20,21,2.6 约束函数的性质 1.约束函数的集合 满足所有约束条件的点X组成的集合称为约束函数 的集合，可表示为： 式中gu(X) 和hv(X)为连续的，qn。 约束条件把设计空间分割成两个区域：可行域D和非可行域。 不等式约束函数在n维设计空间中形成的可行域是由一些超曲线、超曲面、超平面包围而成的n维设计空间的一个子集。 q个等式约束形成的可行域是一个(n-q)维的光滑超曲面。 如果约束函数都是线形函数，则D必是一个凸集。,22,2.适时约束 定义：可行点X(k)落在代表一个不等式约束g(X) 0 的约束边界上，即X(k)使该约束g(X(k)

8、 =0，则称这个 约束为点X(k)的一个适时约束或起作用约束。 边界点或极限设计点 可行设计点或内点 外点或非可行设计点 每个等式约束都是适时约束 约束最优解X*常常发生在适时 约束上。,23,2.7 最优解与最优解条件 1.无约束优化设计问题的最优解条件 无约束优化问题的最优解的实质是求目标函数的最 小值： 对一维问题 x*为极值点的必要条件f(x)=0。一阶导数等于零的 点为驻点，极值点是驻点，但驻点不一定是极值点。 驻点是极值点的充分条件是：,24,练习： 有一二级减速器，总传动比 ， 问如何分配两级传动比，使输入输出轴之间距离最小。,25,对二维问题 f(x1, x2) X*=x1*,

9、 x2*为极值点的必要条件: 一阶偏导数为零的点是驻点，不一定是极值点，例 如鞍点。充分条件：在X*处的Hessian矩阵是正定。,26,对n维问题 f(X) X*=x1*, x2*, x2n为极值点的必要条件是该点梯度 为零： 充分条件：在X*处的Hessian矩阵是正定或负定。 若H(X*) 为正定矩阵， 则X*为极小点； 若H(X*) 为负定矩阵， 则X*为极大点； 若H(X*) 为不定矩阵， 则X*为鞍点。,27,2.约束优化设计问题的最优解条件 约束优化问题的最优解的实质是求目标函数的条件 极值，即： 约束最优点不仅与目标函数本身的性质有关，而且 还与约束函数的性质有关。,无适时约束

10、的极小点,约束最优点,28,由于目标函数或约束函数的非凸性，使约束极值点 的数目增多了，从而使求优过程就复杂了。对于约束 最优化问题，除了需要判断约束极值点存在条件，还 应判断所找到的极值点是全局最优点还是局部最优 点。,29,约束极小点(局部)存在的必要条件(K-T条件) 设计点处只有一个不等式约束为适时约束 在X(k)可找到方向S(k)满足： S(k)是可行的下降方向，X(k)不 是极值点。 在X*,约束函数与目标函数的等 值线相切,目标函数的负梯度方向 与约束函数的梯度方向重合。不 能找到满足上式的方向。点X*为 极值点。,30,设计点处有两个不等式约束为适时约束 在X(k)点,目标函数的负梯度方向-f(X(k)在向量g1(X(k)和 g2(X(k)所组成的子空间外，即存在方向S使目标函数即可行 又下降；在X*点，目标函数的负梯度方向-f(X(k)在向量 g2(X(k)和g3(X(k)所组成的子空间内，为局部极值点。,有两个适时约 束