数值最优化(李董辉)第三章-最速下降法和Newton法课件

最优化主讲：刘陶文博士课件制作：刘陶文唯楚有材於斯为盛最优化主讲：刘陶文博士课件制作：刘陶文唯楚有材於斯1第三章无约束问题算法(I)——最速下降法、Newton法第一节最速下降法

第二节Newton法及其修正形式第三章无约束问题算法(I)——2数值最优化(李董辉)第三章-最速下降法和Newton法课件3第一节最速下降法1、思想：每次沿最速下降方向进行搜索第一节最速下降法1、思想：每次沿最速下降方向进行搜索42、算法步骤2、算法步骤5数值最优化(李董辉)第三章-最速下降法和Newton法课件6数值最优化(李董辉)第三章-最速下降法和Newton法课件73、最速下降法的收敛性全局收敛性3、最速下降法的收敛性全局收敛性8收敛速度估计收敛速度估计9从上图可以看出，最速下降法具有锯齿现象从上图可以看出，最速下降法具有锯齿现象10数值最优化(李董辉)第三章-最速下降法和Newton法课件11由上面的分析可知，最速下降法的收敛速度比较慢，通常将其用在某些算法的初始阶段求较好的初始点由上面的分析可知，最速下降法的收敛速度12第二节Newton法及其修正形式1、思想：用近似二次函数的极小点作为原问题的新的近似解第二节Newton法及其修正形式1、思想：用近似二次132、Newton法的算法步骤(3.3)2、Newton法的算法步骤(3.3)14数值最优化(李董辉)第三章-最速下降法和Newton法课件15数值最优化(李董辉)第三章-最速下降法和Newton法课件16数值最优化(李董辉)第三章-最速下降法和Newton法课件17数值最优化(李董辉)第三章-最速下降法和Newton法课件18数值最优化(李董辉)第三章-最速下降法和Newton法课件193、Newton的收敛性3、Newton的收敛性204、局部二次收敛性4、局部二次收敛性215、Newton法的修正形式5、Newton法的修正形式22数值最优化(李董辉)第三章-最速下降法和Newton法课件23上面的Newton法的两种修正形式，在较弱的条件下具有超线性收敛性或二次收敛性还有很多其他的修正形式上面的Newton法的两种修正形式，在较弱的条件下24Newton法的优点：收敛快缺点：对初始点要求很高，而且计算量大从Newton法出发进行修改，利用其优点，克服其缺点，产生很多效果非常好的其他新算法Newton法的优点：收敛快25最优化主讲：刘陶文博士课件制作：刘陶文唯楚有材於斯为盛最优化主讲：刘陶文博士课件制作：刘陶文唯楚有材於斯26第三章无约束问题算法(I)——最速下降法、Newton法第一节最速下降法

第二节Newton法及其修正形式第三章无约束问题算法(I)——27数值最优化(李董辉)第三章-最速下降法和Newton法课件28第一节最速下降法1、思想：每次沿最速下降方向进行搜索第一节最速下降法1、思想：每次沿最速下降方向进行搜索292、算法步骤2、算法步骤30数值最优化(李董辉)第三章-最速下降法和Newton法课件31数值最优化(李董辉)第三章-最速下降法和Newton法课件323、最速下降法的收敛性全局收敛性3、最速下降法的收敛性全局收敛性33收敛速度估计收敛速度估计34从上图可以看出，最速下降法具有锯齿现象从上图可以看出，最速下降法具有锯齿现象35数值最优化(李董辉)第三章-最速下降法和Newton法课件36由上面的分析可知，最速下降法的收敛速度比较慢，通常将其用在某些算法的初始阶段求较好的初始点由上面的分析可知，最速下降法的收敛速度37第二节Newton法及其修正形式1、思想：用近似二次函数的极小点作为原问题的新的近似解第二节Newton法及其修正形式1、思想：用近似二次382、Newton法的算法步骤(3.3)2、Newton法的算法步骤(3.3)39数值最优化(李董辉)第三章-最速下降法和Newton法课件40数值最优化(李董辉)第三章-最速下降法和Newton法课件41数值最优化(李董辉)第三章-最速下降法和Newton法课件42数值最优化(李董辉)第三章-最速下降法和Newton法课件43数值最优化(李董辉)第三章-最速下降法和Newton法课件443、Newton的收敛性3、Newton的收敛性454、局部二次收敛性4、局部二次收敛性465、Newton法的修正形式5、Newton法的修正形式47数值最优化(李董辉)第三章-最速下降法和Newton法课件48上面的Newton法的两种修正形式，在较弱的条件下具有超线性收敛性或二次收敛性还有很多其他的修正形式上面的Newton法的两种修正形式，在较弱的条件下49