优化设计的数学基础.ppt

第二章 优化设计的理论基础 第三周 1 v优化设计中绝大多数是多变量有约束 的非线性规划问题，即是求解多变量 非线性函数的极值问题。由此可见， 优化设计是建立在多元函数的极值理 论基础上的，对于无约束优化问题为 数学上的无条件极值问题，而对于约 束优化问题则为数学上的条件极值问 题。 v为便于后续各章优化方法的学习，有 必要研究这些非线性函数的性质和变 化规律。 2 2.1 函数的泰勒(Taylor)表达式 v工程设计的优化问题中，所列的目标函数 往往很复杂，为了简化问题，常将目标函 数在所讨论点附近展开成泰勒多项式来近 似原函数。 一元函数f(x)在点X(k)的某个领域内具有直到 （n+1）阶导数，其Taylor展开式可表示为一 个多项式与一个余项的和： 3 v多元函数f(x), X=x1, x2, ,xnT,在x(k)点的Taylor展开式 为： v矩阵形式为： 4 称为f(X)在点x(k)的 梯度,它是f(X)在该 点的一阶偏导数的 列向量。 称为f(X)在点x(k)的 Hessian矩阵,它是 f(X)在该点的二阶 偏导数所组成的方 阵。它是一个实对 称矩阵，也记作 H(x(k)。 5 vTaylor展开式若取到二次项，函数可近似用一个 二次函数来逼近，称为平方近似： v若只取一次项，可得到函数的一次Taylor近似式 ： v该式也称为线性展开式或函数的线性化。 6 2.2 二次型与正定矩阵 一、二次型与实对称矩阵 将关于变量x1, x2, , x n的二次齐次函数 称为x1, x2, , x n的二次型。用矩阵表示，则上述二次 型可表示为： 其中： 为n阶实对称矩阵。 7 二、正定矩阵 若任何一个非零向量X=x1, x2, ,xnT都使二次型 则称该二次型为正定二次函数,称矩阵A为正定矩阵。 反之，如果实对称矩阵A是正定的，则二次型对于所有非零 向量X，其值总为正。 若二次型 则A为半正定矩阵； 若二次型 则A为负定矩阵； 若二次型 则A为半负定矩阵； 若二次型 有些X使它为正,有些X使其为负,则A为不定矩阵。 8 判断矩阵A是正定或负定的方法： 若矩阵A的行列式|A|的各阶顺序主子式都大于零， 即： 则矩阵A为正定矩阵。 若矩阵A的行列式|A|的各阶顺序主子式负、正交 替地变换符号，则矩阵A为负定矩阵。 9 2.3 函数的等值面或线 对一般的二次函数 若 ，则其等值线为椭圆族； 若 ，则其等值线为双曲线族； 若 ，则其等值线为抛物线族； 若目标函数是线性的，则其等值线是一族平行线。 对于二次函数，若有极值点存在，则在该点附近的 等值线为一族同心椭圆。 对高次非线性函数，等值线形状复杂，有时不只一 个线族中心。例如： 10 1 2 3 4 5 0123-1-2 有两个 等值线 族心。 11 2.4 函数的最速下降方向 函数的等值线或面只能从几何图形方面定性地表示 函数值的变化情况，如何定量反映函数在某点的变化 形态？ 1.方向导数 函数f(x1, x2)在X(0)处沿某一方向S的变化率： 12 上式称为函数f(x1,x2)在X(0)点处沿方向S的方向导数。 式中： 为向量S的模 分别为向量S与x1, x2轴的夹角。 当 时 当 时 偏导数是 方向导数 的特例 13 n元函数f(x1, ,xn)在X(0)点处沿方向S的方向导数: 其中为函数在X(0)的梯度 为一个单位向量 14 2.函数在某点沿一方向的方向导数等于函数在该点处 的梯度与方向单位向量的内积。写成向量模的形式： 当 所取方向同梯度的方向相同，方向导 数为最大值。梯度方向是函数值增长 最快的方向。当所取方向为梯度向量 的负方向时， , 方向导数最 小。 负梯度方向 为目标函数在该 点的最速下降方向。 15 对于一般二元二次函数 令 则 梯度公式 16 2.5 凸集、凸函数 一、局部最优和全局最优 函数极值点是局部区域中各点相比较而言。当 点 X*邻近的所有点X都满足： 称X*和f(X*)分别为局部极小点和局部极值。 局部最优点可能有多个，例如： 最优化问题是求全域最优解。 17 二、凸集 1、函数的凸性 函数的凸性表现为单峰性。 2、凸集 定义：设集合 D En，若任意 两点X(1) D, X(2) D, 所连成的线段上的点X 对任意实数a0,1都在集合D内，则称集合为凸集 ， 否则称为非凸集。 凸集 非凸集 非凸集 18 3、凸函数 D为En中的一个凸集，f(x)为定义在D上的函数 ， 若对任意实数 和D中任意两点X(1),X(2) 都 有 则称函数f(x)为定义在D上的一个凸函数。 凸函数的性质： 19 20 2.6 约束函数的性质 1.约束函数的集合 满足所有约束条件的点X组成的集合称为约束函 数 的集合，可表示为： u式中gu(X) 和hv(X)为连续的，qn。 u约束条件把设计空间分割成两个区域：可行域D和非 可行域。 u不等式约束函数在n维设计空间中形成的可行域是由 一些超曲线、超曲面、超平面包围而成的n维设计空间 的一个子集。 uq个等式约束形成的可行域是一个(n-q)维的光滑超曲 面。 u如果约束函数都是线形函数，则D必是一个凸集。 21 2.适时约束 定义：可行点X(k)落在代表一个不等式约束g(X) 0 的约束边界上，即X(k)使该约束g(X(k) =0，则称这 个 约束为点X(k)的一个适时约束或起作用约束。 u边界点或极限设计点 u可行设计点或内点 u外点或非可行设计点 u每个等式约束都是适时约束 u约束最优解X*常常发生在适时 约束上。 22 2.7 最优解与最优解条件 1.无约束优化设计问题的最优解条件 无约束优化问题的最优解的实质是求目标函数的 最 小值： l对一维问题 x*为极值点的必要条件f(x)=0。一阶导数等于零 的 点为驻点，极值点是驻点，但驻点不一定是极值点 。 驻点是极值点的充分条件是： 23 v练习： 有一二级减速器，总传动比 ， 问如何分配两级传动比，使输入输出轴之间 距离最小。 24 l对二维问题 f(x1, x2) X*=x1*, x2*为极值点的必要条件: 一阶偏导数为零的点是驻点，不一定是极值点， 例 如鞍点。充分条件：在X*处的Hessian矩阵是正定 。 25 l对n维问题 f(X) X*=x1*, x2*, x2n为极值点的必要条件是该点梯 度 为零： 充分条件：在X*处的Hessian矩阵是正定或负定 。 若H(X*) 为正定矩阵， 则X*为极小点； 若H(X*) 为负定矩阵， 则X*为极大点； 若H(X*) 为不定矩阵， 则X*为鞍点。 26 2.约束优化设计问题的最优解条件 约束优化问题的最优解的实质是求目标函数的条 件 极值，即： 约束最优点不仅与目标函数本身的性质有关，而 且 还与约束函数的性质有关。 无适时约束的极小点 约束最优点 27 目标函数为非凸函数 约束函数为凸函数的情况 目标函数为凸函数 约束函数为非凸函数的情况 由于目标函数或约束函数的非凸性，使约束极值 点 的数目增多了，从而使求优过程就复杂了。对于约 束 最优化问题，除了需要判断约束极值点存在条件， 还 应判断所找到的极值点是全局最优点还是局部最优 点。 28 v约束极小点(局部)存在的必要条件(K-T条件) l设计点处只有一个不等式约束为适时约束 在X(k)可找到方向S(k)满足： S(k)是可行的下降方向，X(k)不 是极值点。 在X*,约束函数与目标函数的等 值线相切,目标函数的负梯度方向 与约束函数的梯度方向重合。不 能找到满足上式的方向。点X*为 极值点。 29 l设计点处有两个不等式约束为适时约束 在X(k)点,目标函数的负梯度方向-f(X(k)在向量g1(X(k) 和 g2(X(k)所组成的子空间外，即存在方向S使目标函数即可 行 又下降；在X*点，目标函数的负梯度方向-f(X(k)在向量 g2(X(k)和g3(X(k)所组成的子空间内，为局部极值点。 有两个适时 约 束，且在设 计 点的梯度向 量 线形无关 30