优化设计第二次课PPT课件.ppt

第四节优化设计问题的基本解法 求解优化问题可以用解析解法 也可以用数值的近似解法 解析解法就是把所研究的对象用数学方程 数学模型 描述出来 然后再用数学解析方法 如微分 变分方法等 求出优化解 但是 在很多情况下 优化设计的数学描述比较复杂 因而不便于甚至不可能用解析方法求解 另外 有时对象本身的机理无法用数学方程描述 而只能通过大量试验数据用差值或拟合方法构造一个近似函数式 再来求其优化解 并通过试验来验证 或直接以数学原理为指导 从任取一点出发通过少量试验 探索式的计算 并根据试验计算结果的比较 逐步改进而求得优化解 这种方法是属于近似的 迭代性质的数值解法 1 1 迭代法的基本方法 然后 以点作为新的出发点 重复上述步骤 得到第二个点 继续下去 依次可得到点 最终得到一个近似的最优点 它与理论的最优点的逼近程度应该满足一定的精度要求 2 在机械优化设计中 迭代的基本方法大致可以分为两类 1 优化准则法 2 数学规划法 3 迭代法的基本解法思想 4 2 迭代过程的终止准则 收敛于 存在一个只与 有关而与 自然数N 使得当两自然数m p N时 满足 或 柯西准则 对于某种迭代程序产生的序列 的实数 无关的 5 1 点距准则 模准则 2 函数下降量准则 值准则 3 梯度准则 在最优点 计算精度 应适当 一般取 常用迭代收敛准则 6 优化设计的数学基础 7 第一节多元函数的方向导数和梯度 一 偏导数 8 二 方向导数 9 方向导数是函数在某点沿给定方向的变化率 所以 可以把它看成是偏导数的推广 并可用偏导数来表示 即 10 同理 对于三元函数在三维空间的一点沿向量的方向的方向导数为 同理多元函数的方向导数可写成 11 例 求目标函数在点处沿向量和两方向的方向导数 如图所示 向量的方向 向量的方向 12 三 梯度 二元函数在点处的方向导数的表达式可改写成下面的形式 令 在它称为函数的梯度 13 若设 则有 14 15 多元函数在点处的方向梯度可以定义为 方向导数可以表示为 16 其中 梯度的模 梯度方向单位向量 17 梯度在优化设计方法中具有重要的作用 它具有下列几个重要的性质 1 梯度是一个向量 函数的梯度方向是函数变化率最大的方向 2 函数在某点的梯度方向是指在该点函数值的最快上升方向 函数在其定义域内的各点都对应着一个确定的梯度 所以函数在某点的梯度仅仅是对函数在该点附近而言的 梯度是函数的一种局部性质 3 函数在某点的梯度与过该点的函数等值面 线 是正交的即梯度方向是函数等值面 线 的法线方向 18 四 几种特殊类型函数的梯度 二次函数用向量及矩阵的表达方法 若 则 例 将函数写成向量及矩阵形式 19 n维函数用向量及矩阵的表达方法 式中 20 几种特殊形式的函数的梯度 1 因为 所以有 从而得到函数的梯度为 21 几种特殊形式的函数的梯度 2 因为 所以有 从而得到函数的梯度为 22 几种特殊形式的函数的梯度 3 因为 所以有 固有 23 几种特殊形式的函数的梯度 对一般的二次函数 根据上述公式 极易求出其梯度为 例 求函数的梯度 24 例 求目标函数在点和点的梯度 函数的梯度的求解举例 25 第二节多元函数的泰勒展开式 多元目标函数可能是很复杂的函数 为了便于研究函数极值问题 须用简单函数作局部逼近 通常采用泰勒展开式作为函数在某点附近的表达式 对于一元函数在点 即的泰勒展开式为 二元函数 函数在点附近的泰勒展开 若只取到二次项则可写为 26 上式可写成矩阵形式 即 式中 27 是函数在点的二阶偏导数矩阵 称为海色 Hessian 矩阵 也可用表示 Hessian矩阵是对称矩阵 由于上面讨论的是二元函数 所以它是阶对称矩阵 引用上述符号后 二元函数泰勒展开式 可简写为 将海色矩阵推广到元函数 可写成 28 29 上述的泰勒展开式都只是取泰勒级数的前三项 即取到二次项为止 这种泰勒展开式称为函数的平方近似表达式 即用二次函数逼近所讨论的函数 例 将函数在点展开泰勒二次近似式 30 第三节二次型函数的形式及性质 多元函数用泰勒展开式作局部逼近 当取到二次项时 函数最高次数为二次形式 因此在求目标函数最优解时 常把某一给定点函数近似地用二次函数来代替 以便分析问题时得以简化 31 写成矩阵形式为 式中 在优化设计中 某点附近采用泰勒展开式近似表达时 研究该点邻域的极值问题 需要分析二次型函数是否正定或负定 二次型函数正定和负定的定义如下 设二次型函数 若对于任意的 为非零向量 即对于不全为零的任何实数 32 都为正数 则称此二次型为正定二次型 其对应的矩阵称为正定矩阵 有称为二次型半正定 称二次型负定 称二次型半负定 称二次型不定 若矩阵的各阶主子式 即对应的各阶行列式 均大于零 则该矩阵为正定 33 若所有奇数阶顺序主子式均小于零 而所有偶数阶顺序主子式均大于零 则该矩阵为负定 34 第四节无约束优化问题的极值条件 非线性规划问题 一般归结为寻求目标函数的极值问题 极值是函数的极大和极小值的统称 使函数取得极值的点称为极值点 对于多变量复杂的目标函数 当函数不是单峰函数时 则有几个极值点 各个极值点都称为局部极值点 局部最优点 在这种情况下 一般先求若干个极值点 加以比较来确定函数的全局极值点 即全局最优点 本节主要讨论多元函数的局部极值问题 35 一 一元函数的极值条件 设一元函数连续可微 在给定区间内的一点有极值 其必要条件为 一般说来 一阶导数为零的点 不一定都是极值点 通常称为驻点 因此 上式仅是极值存在的必要条件 并非充分条件 极值点必定是驻点 而驻点不全是极值点 驻点是否为极值点可以通过二阶导数来判断 36 a图b图分别为极小值点和极大值点 而c图则为拐点 不是极值点 37 二 二元函数的极值条件 多元函数的性质不能完全从一元函数的情况中反映出来 但能从二元函数得到较好的反映 因此 以二元函数为例来分析 所得结论则可推广到多元函数中去 若二元函数在某点有极小值 则过点分别垂直于轴的平面与该曲面的交线 亦必同时在点处有极小值 而这两条曲线为一元函数 如果它们在给定区间是连续的 且处处有导数 则它们在点处存在极值的必要条件是一阶导数为零 38 对于二元函数 若在点处取极值 其必要条件是 即 39 例如 二元函数的驻点 可通过令其一阶偏导数等于零来求得 即 所以 原点 0 0 是函数的驻点 在以和为坐标铀的三维空间中 此二元函数表示为曲面 如图所示 从图中看到坐标原点对一元函数来说 是极大值点 而对于一元函数来说 则是极小值点 所以原点 0 0 不是该二元函数的极值点 由于曲线像马鞍形 这个驻点通常称为鞍点 由此可见 满足上述条件的点只能说明是驻点 是否为极值点尚需引出充分条件来判断 40 为了判断驻点是否为极值点 还需要建立极值的充分条件 将二元函数在驻点附近用泰勒展开式 并考虑极值存在的必要条件 有 同一元函数相似 在点附近 若对一切的点总有 或者 则该点为极小点 若相反 即 或者 则该点为极大点 41 根据二次型正定和负定的定义 这两式中的海色数矩阵也分别为正定矩阵和负定矩阵 所以 二元函数在驻点处取极值的充分条件是 正定时 驻点是极小点 负定时 驻点是极大点 42 三 多元函数的极值条件 把上述二元函数的极值条件推广到元函数中去 若在点处有极值 则极值的必要条件是在该点的梯度等于零 即 在点处存在极值的充分条件也要用海色矩阵的性质 正定和负定 来决定 该点的海色矩阵为 43 当正定时 则点为极小点 为极小值 负定时 则点为极大点 为极大值 44 例1 试证明函数在点处具有极小值 例2求函数的极值点和极值 45 第五节凸集 凸函数和凸规划 函数的极值点 最优点 有局部和全局的 一般来说 局部最优点不一定时全局最优点 而全局最优点必定是局部最优点 即当函数符合某种条件时 两者便等同起来 那么求得的极值点就是全局最优点 46 一 凸集 一个点集 或区域 如果连接其中的任意两点和的线段都全部包含在该集合内 就称该点集为凸集 否则称为非凸集 如下图所示 47 凸集的概念可以用数学的语言简练地表示为 凸集具有以下性质 1 若是一个凸集 是一个实数 是凸集中的动点 即 则集合 48 3 任何一组凸集的交集还是凸集 如图所示 若函数具有凸性 即函数是凸函数 则其驻点不仅是局部极值点 而且还是全局极值点 下面我们就讲一下凸函数 49 二 凸函数 若函数具有凸性 即函数是凸函数 则其驻点不仅是局部极值点 而且还是全局极值点 其中 50 设一元函数 若函数曲线上任意两点的连线永远不在曲线的下面 如下图所示 则函数称为凸函数 相反 若这种连线永远不在曲线的上面 则称为凹函数 一元凸函数 一元凹函数 51 凸函数的一些简单性质 1 设为定义在凸集上的一个凸函数 对于任意实数 则函数也是定义在凸集上的凸函数 2 设和为定义在凸集上的两个凸函数 则其和也是定义在集上的凸函数 3 设和为定义在凸集上的两个凸函数 对任意两个正数和 则函数也是定义在凸集上的凸函数 52 三 凸性条件 凸性条件是用来判断一个函数是否具有凸性的条件 该判别条件可以用一元函数例子来说明 如图所示 53 从图中可以看出 式中表示在轴上点至点的线段长度 于是 由图可知 曲线上对应于的点位于切线上对应于的点之上 因此有 即 把上式推广到多元函数中 判别条件就可以写成前面的式子 54 这是根据函数的一阶导数信息 即的梯度来判断函数的凸性 也可以用函数的二阶导数信息 即的海色矩阵来判断函数的凸性 55 综上所述 如果能判断目标函数在可行域内为凸函数 只要求到极小点 极大点 就得到了全局最优点 但是 在实际的优化设计问题中 目标函数常常是高阶多元函数 很难判断它是否为凸函数 另外 目标函数也常常是多极值函数 也很难判断所求得的极值点是全局的还是局部的 实用的方法是 求出多个极值点 比较其函数值的大小来确定最优点 56 四 凸规划 对于约束优化问题 凸规划具有如下性质 1 若给定一点 则集合为凸集 此性质表明 当