最优化方法-1.3-最优性条件

1、第一章 基本概念1.3-1.41.3 最优性条件2022/9/25最优化方法2一、可行方向与下降方向重点2022/9/25最优化方法31.3 最优性条件定理1.3.2 设函数f(x)在 处连续可微，如存在非零向量 使成立则s是f(x)在点 处的一个下降方向。2022/9/25最优化方法41.3 最优性条件2022/9/25最优化方法51.3 最优性条件2022/9/25最优化方法61.3 最优性条件2022/9/25最优化方法71.3 最优性条件2022/9/25最优化方法81.3 最优性条件定理1.3.4 考虑最优化问题（1.1.1），设x*是问题的一个局部最优解，函数f(x)连续可微，则成

2、立有约束规范条件2022/9/25最优化方法11二、最优解的一阶必要条件( )1.3 最优性条件互补松弛条件x*为K-T点重点2022/9/25最优化方法121.3 最优性条件2022/9/25最优化方法131.3 最优性条件2022/9/25最优化方法141.3 最优性条件2022/9/25最优化方法15三、最优解的二阶必要条件1.3 最优性条件2022/9/25最优化方法161.3 最优性条件2022/9/25最优化方法171.3 最优性条件2022/9/25最优化方法181.3 最优性条件2022/9/25最优化方法191.3 最优性条件2022/9/25最优化方法201.4 最优化方法

3、概述1.4 最优化方法概述1.最优化问题的图解法等高线 图解法 例 用图解法求解下列最优化问题等高线是以为圆心的同心圆，并且这簇同心圆的外圈比内圈的目标函数值大 重点迭代过程中有几个需要确定关键部分：1. 初始点的选取(收敛准则);2.迭代点好坏的判定(评价函数的选取); 3.计算终止条件;4.修正量的确定(搜索方向和步长因子的选取). 1. 初始点的选取(收敛准则);-全局收敛(任取)和局部收敛(经验) 收敛速度:定义: 设由算法1.4.1产生的迭代点列在某种“|”的意义下收敛于点 ，即 ，若存在实数 及一个与迭代次数 无关的常数 ，使得则称算法1.4.1产生的迭代点列具有 阶收敛速度，或称

4、算法1.4.1为 阶收敛的特别地： 当 时，称迭代点列具有线性收敛速度或称算法1.4.1为线性收敛的 当 时，或 时，称迭代点列具有超线性收敛速度或称算法1.4.1是超线性收敛 当 时，迭代点列 叫做具有二阶收敛速度或算法1.4.1是二阶收敛的一般认为，具有超线性收敛或二阶收敛的算法是较快速的算法例 设一算法A产生迭代点列 ，它收敛于点 ，试判定算法A的收敛速度解 即所以算法A具有线性收敛速度2022/9/25最优化方法292.迭代点好坏的判定(评价函数的选取);1)若迭代点都是可行点,则可用目标函数作评价函数;2)若迭代点不都是可行点,则用可行点的可行程度和目标函数值的组合来作为评价函数.3.计算终止条件;对于无约束优化问题通常采用的迭代终止准则有以下几种：1)点距准则相邻两迭代点 之间的距离已达到充分小，即上式中 是一个充分小的正数，代表计算精度2)函数下降量准则相邻两迭代点的函数值下降量已达到充分小当 时，可用函数绝对下降量准则当 时，可用函数相对下降量准则3)梯度准则目标函数在迭代点的梯度已达到充分小，即这一准则对于定义域上