《最优化方法》课程复习考试

审阅摘要最优化方法第一章是关于最优化问题和数学准备知识1.1型号无约束优化问题。约束优化问题()也就是说，即目标函数、决策变量、可行域，这被称为约束条件。1.多元函数的梯度、黑塞矩阵和泰勒公式定义集。如果维度向量具有。据说在一点上是可微的，在一点上叫做微分。如果某一点的每个分量的偏导数如果它们都存在，它们被称为点和向量的一阶导数。是该点的一阶导数或梯度。定理1假设如果它在一个点上是可微的，那么这个点上的梯度有，也有。定义集。是给定维度的非零向量。如果如果有，那么这个极限被称为沿着点的方向的方向导数，它被记录为。定理2规定，如果它在一个点上是可微的，在任何非零方向上的方向导数都存在于该点上，并且在那里。定义集是上的连续函数。是维度的非零向量。如果是，那么，有()。然后它被称为该点的下降(上升)方向。定理3在某一点上成立并可微。如果非零向量使()为0，则它是该点的下降(上升)方向。定义已设置。如果自变量的每个分量的二阶偏导数都存在于该点，那么该函数被称为该点的二阶导数，矩阵被称为。它是该点的二阶导数矩阵或赫斯矩阵。记住，定义集，如果自变量的每个分量在某一点的偏导数。所有的向量函数都是存在的，向量函数被称为一阶导数，称为矩阵它是该点的一阶导数矩阵或雅可比矩阵，简称为。示例2假设获得了任意点的梯度和赫斯矩阵。如果你解决了这个问题，正因为如此，我们才能得到它。还有一个原因。例3被设置为对称矩阵，称为二次函数，以找到梯度和任何点的黑塞矩阵。为了解决这个问题,因此。然后我们得到偏导数，所以。建立了实例4，其二阶是可导的。这个解是由多元复合函数的微分方法得到的。定理4成立，如果在一个点的邻域内有一个二阶连续偏导数，在这个点上有一个泰勒展开式。如果证明成立，那么，根据一元函数的泰勒公式，它展开在，有。从实施例4可知。是的，有。根据定理1和定理4，我们有以下两个公式,1.3优化的基本术语该定义被设置为目标函数，并且是可行区域。(1)如果两者都存在，它们在上表面被称为全局(或全局)极小值，或者换句话说，被约束最优化问题的全局(或全局)最优解，并且被称为它们的最优值。(2)如果两者都有，它们在世界上被称为严格的全局(或全局)极小值。(3)如果邻域是这样的，即存在所有的，它被称为上界的局部极小，或者换句话说，是约束优化问题的局部最优解。(4)如果邻域使得，所有的都有，那么它就叫做严格的局部极小。第二章最优性条件2.1无约束优化问题的最优条件定理1在某一点上是可微的，如果问题的局部极小值是。定义被设置在一个可微分的位置，如果它是，它被称为一个静止点。定理2被设置为在一点上有一个二阶连续偏导数，如果问题的局部极小点，那么它是半正定的。定理3设置在一个二阶连续偏导数的点上。如果它是正定的，那它就是问题的严格局部极小值。注：定理2不是充分条件，定理3不是必要条件。例1对于无约束优化问题，显然，使，得到一个平滑的点，和。它很容易被看作是一个正半定矩阵。但是，在的任何邻域中，它总是可以获得的，因此它不是局部最小值。例2对于无约束优化问题，其中，这很容易知道，以便得到一个稳定的点。显然，它不是一个正定矩阵。然而，取最小值为严格的局部最小值。示例3解决了以下无约束优化问题，其中，解决原因,所以，有通过解这个方程组得到的稳定点。因此,因为总和是不确定的推论5被设置为凸的并且在点处是可微的。全局最小值的充要条件是。例4试图证明正定二次函数具有唯一的严格全局极小值，其中它们是阶的正定矩阵。证明了由于它是正定矩阵，又由于它是严格凸函数，所以它是严格全局极小值。2.2等式约束优化问题的最优条件定理1被设置为在一点上是可微的，并且在该点上具有一阶连续偏导数。向量集是线性无关的。如果这是个问题的局部最小值。这叫做拉格朗日函数，其中。它被称为拉格朗日乘子向量。在这里很容易看到。定理2让和在点上有二阶连续偏导数。如果有，就会有，只要有，那就是问题的严格局部极小值。示例1尝试求解最优性条件如果拉格朗日函数被求解，那么，得到的静止点的总和对应于还有。由于。因此。是的。利用定理2，两个可行点的和是问题的严格局部极小值。2.3不等式约束优化问题的最优性条件如果定义集，它被称为该点集合的可行方向。这里。秩序。定理1被设置为非空且在点处可微。如果问题是局部最小的，那么。为(1)其中。秩序，这是上述问题(1)的可行点。定理2被设定为问题(1)的可行点，并且在该点是可微的并且在该点是连续的。如果它是问题(1)的局部极小点，那么，其中。定理3被设置为问题(1)的可行点，并且在该点是可微的并且在该点是连续的。如果问题(1)的局部极小点有非负数，则不全是0，导致(叫弗里茨约翰波因特)如果在这一点上也是可微的，则存在不全为0的非负数，从而导致(叫弗里茨约翰波因特)例1建立了一个试验来判断它是否是弗里茨约翰点。这是因为，此外，因此，为了保持弗里茨约翰的状态，有必要采取它。因此，这是弗里茨约翰的观点。定理4被设定为问题(1)的可行点，它在该点是可微的，在该点是连续的，并且线性无关。如果问题(1)的局部极小点存在，它使得(称为K-T点)如果在这一点上也是可微的，那么就有，所以(称为K-T点)示例2找到了优化问题的K-T点。解决办法是因为，因此，K-T条件是如果这是矛盾的话。因此，因此；如果这是矛盾的话。因此，因此；因为，并且是问题的可行点，它是K-T点。定理5设在问题(1)中，和是凸函数，是可行点，和在点是可微的。如果问题(1)的K-T点是问题(1)的全局最小值。2.4一般约束优化问题的最优条件等式和不等式约束的优化问题(1)其中。并且问题(1)的可行区域被记录为.定理1被设置为问题(1)的可行点，并且在该点是可微的，在该点具有一阶连续偏导数，在该点是连续的，并且向量集是线性独立的。如果问题(1)的局部最小点是，在这里。定理2被设置为问题(1)的可行点，并且在该点是可微的，在该点具有一阶连续偏导数，并且在该点是连续的。如果它是问题(1)的局部极小点，那么就有一个不全是0的数的和，如果(叫弗里茨约翰波因特)如果它在某一点上也是可微的，那么就有一个不全是零的数的和，而且(叫弗里茨约翰波因特)例1建立了一个试验来判断它是否是弗里茨约翰点。解决方案，并且，因此，为了让弗里茨约翰的条件成立，只有这样它才能成立。因此，采取，即，弗里茨约翰的观点是众所周知的。定理3被设置为问题(1)的可行点，并且在该点是可微的，在该点具有一阶连续偏导数，在该点是连续的，并且向量集是线性独立的。如果问题(1)的局部极小点，那么就有一个数的和，这使得(称为K-T点)如果在这一点上也是可微的，那么就有一个数的和，使得(称为K-T点)秩序，,和称为广义拉格朗日乘子向量或K-T乘子向量。假设是一个广义拉格朗日函数。它被称为广义拉格朗日函数定理4设在问题(1)中，和是凸函数、线性函数、可行点，和在点上是可微的。如果问题(1)的K-T点是问题(1)的全局最小值。示例2解决优化问题广义拉格朗日函数的解是。因为.所以K-T条件和约束是以下讨论分为两种情况。(1)有它可以从这里解决，但它不是一个可行点，所以它不是一个K-T点。(2)有由此我们可以获得，解决或。因此，或，因此，或(这是矛盾的)。或者。因此，我们可以看到这是问题的关键点，但不是问题的关键点。显然，它在上面是凸函数，在上面是凹函数，是线性函数。因此，从定理4可知，它是问题的全局最优解。定理5被设置为问题(1)的可行点，并且在该点具有二阶连续偏导数，并且有一个乘数向量和来使K-T条件成立，即如果你满意的话的向量，都有，是问题(1)的严格局部极小值。示例3解决优化问题其中常数。解决这个问题的广义拉格朗日函数是。因为。所以问题的K-T条件和约束是从第一个公式和第三个公式，因此从第二个公式，然后从第一个公式，因此，可以获得，所以。所以这是问题的关键。由于该点处的赫斯矩阵是一个阶对角矩阵，因此对角线上的第一个元素是,因此，它是一个正定矩阵。根据定理5，它是问题的严格局部极小值。第三章介绍了常用的优化算法3.1一维搜索给你，命令。定义是否找到步长，以便(3.1.1)这种一维搜索称为最优一维搜索或精确一维搜索。这被称为最佳步长。定理1对于一个问题，将它设置为一个可微函数，它是从沿着起始方向的最优一维搜索中获得的，然后有。定义为，如果选择目标函数以获得沿该方向的适当的可接受下降量，即使下降量是我们可接受的，这种一维搜索被称为可接受的一维搜索或不精确的一维搜索。定义集，如果有，则称之为问题的搜索间隔。如果定义集的存在使得严格单调在上半部分减少而严格单调在上半部分增加，则称为单谷区间，并且是单谷函数或上半部分的单峰值函数。定理2被设置为单谷区间，然后(1)如果是，则为单谷区间；(2)如果是，则为单谷区间。算法3-1(进退法)选择初始数据。给定初始点、初始步长、倍增因子(一般取值)、计算、设置。第二步测试。步骤3比较目标函数值。如果是，转到步骤4，否则，转到步骤5。逐步探索。反向搜索。如果搜索方向改变，转到步骤2；否则，停止迭代，排序并输出搜索间隔。3.20 0.618方法和斐波那契方法想想。假设搜索间隔已经被确定并且被设置为单个谷函数。算法3-2(0.618方法)选择初始数据。确定初始搜索间隔和允许误差。步骤2计算前两个探测点：并将其并置。检查？是，停止计算和输出；否则，转到步骤4。比较函数值。如果是，转到步骤5；如果是，转到步骤6。向左搜索。计算，转到步骤7。向右搜索。计算，转到步骤7。设置步骤7并转至步骤3。斐波那契数被定义为满足以下条件的序列：(3.2.1)通过数学归纳法可以证明斐波那契数可以用以下公式表示：(3.2。2)算法3-3(斐波那契方法)选择初始数据。给定初始搜索间隔和允许误差，区分系数、搜索次数。第二步计算前两个探测点：找出函数值的和并置。检查？是的，转到步骤4。不，转到步骤5。向左搜索。计算并转至步骤6。向右搜索。计算并转至步骤6。步骤6设置，如果是，转到步骤3；如果是，转到步骤7。步骤7订单、计算和。如果是，订购；否则，计算将停止，并且最小点将包含在间隔中。3.3牛顿法想想。假设三阶连续导数给定初始点，允许误差，设置。检查？是，输出，停止计算；不，转到第三步。步骤3计算点，设定，转到步骤2。3.4最陡下降法考虑无约束优化问题(3.4.1)其中存在一阶连续偏导数。算法3-5(最速下降法)选择初始数据。选择初始点并给出允许的误差。检查是否满足终止标准。如果迭代终止，计算是问题的近似最优解(3 . 4 . 1)；否则，转到步骤3。一维搜索。拿、算、做,回到第二步。具体而言，请考虑(3.4.2)正定矩阵在哪里。让第一次迭代的点成为进行一维搜索以获得的点,最佳步长在哪里？根据定理3.1.1，有。而且，因此，因此，正定，也就是说，上面的公式被解决了(3.4.3)因此.(3.4.4)这是问题(3.4.2)的最速下降法的迭代公式。例1最速下降法被用来解决这个问题(3.4.5)其中，取初始点并允许误差。问题(3.