矩阵理论 第2次最速下降法 黄金分割法

1、无约束最优化问题无约束最优化问题1. 黄金分割法黄金分割法2. 最速下降法最速下降法一一. 无约束最优化问题无约束最优化问题无无约约束束最最优优化化问问题题nRxtsxf .)(min有有一一阶阶连连续续偏偏导导数数。其其中中)(xf解析方法：利用函数的解析性质构造迭代公式使之收敛到最优解。一、黄金分割法一、黄金分割法(0.618法法)定义定义 f :a,b R R, t是在是在 a,b 上的全局极小点。上的全局极小点。如果对于如果对于a,b 的任意两点的任意两点t1, t2, 且且t1t2都有都有当当 时，时，12( )();f tf t 2tt 1tt 当当 时，时，12( )().f t

2、f t 那么那么f (t)是是a,b 上的单峰函数上的单峰函数.*tab1t2t性质性质 设设a, b是单峰函数是单峰函数f(t)的极小点的一个搜索区间，的极小点的一个搜索区间，在在a, b上任取两点上任取两点t1, t2, 且且t1t2，若，若则则a, t2是是f(t)的极小点的搜索区间；若的极小点的搜索区间；若则则t1, b是是f(t)的极小点的搜索区间的极小点的搜索区间.12( )(),f tf t 12( )(),f tf t 黄金分割法的基本思想黄金分割法的基本思想: 在搜索区间在搜索区间a, b内适当插内适当插入两点入两点t1, t2将将a, b分成三段，然后由分成三段，然后由单峰

3、函数的性单峰函数的性质，就可以删去最左端或者最右端的一段质，就可以删去最左端或者最右端的一段. 然后在然后在留下来的区间上再插入一点，重复上述过程，可将留下来的区间上再插入一点，重复上述过程，可将区间无限缩小区间无限缩小.问题是：每次迭代中如何确定问题是：每次迭代中如何确定t1, t2的位置才能使得在的位置才能使得在函数值计算同样多的条件下，区间缩短得最快函数值计算同样多的条件下，区间缩短得最快? ?经分析可得经分析可得12(),0.382,(),0.618.tabataba二二. 最速下降法最速下降法迭代公式：迭代公式：(1)( )( )kkkkxxd 如何选择下降最快的方向？如何选择下降最

4、快的方向？( )()kf x )(kxf 函函数数值值下下降降最最快快的的方方向向函函数数值值增增加加最最快快的的方方向向函数值下降的方向函数值下降的方向kx梯度法（最速下降法）：梯度法（最速下降法）：也称为最速下降方向；也称为最速下降方向；搜索方向：搜索方向：, )(. 1kkxfd 。即即满满足足取取最最优优步步长长搜搜索索步步长长)(min)(,:. 2kkkkkkdxfdxf 梯度法算法步骤：梯度法算法步骤：。令令允许误差允许误差给定初始点给定初始点1,0,. 11 kRxn ;)(. 2kkxfd 计算搜索方向计算搜索方向kkkxd 否则，求最优步长否则，求最优步长为所求极值点；为所

5、求极值点；则停止计算，则停止计算，若若,|. 3 。使得使得)(min)(kkkkkdxfdxf 。转转令令令令2,1:,. 41 kkdxxkkkk ,)1 ,2(,3)(min:.12221Txxxxf 设初始点为设初始点为用最速下降法求解用最速下降法求解例例。求迭代一次后的迭代点求迭代一次后的迭代点2x解：解：,)6,2()(21Txxxf .)6,4()(11Txfd .)61,42(11Tdx ，令令2211)61(3)42()()( dxf)(min 求解求解0)61(36)42(8)( 令令62131 Tdxx)318,3136(1112 收敛性收敛性)(min)(kkkkkdxfdxf 。则有则有0)( kTkkkddxf 性质性质. 证明：证明：所以所以，令令)()(kkdxf .)()(kTkkddxf )(min)(kkkkkdxfdxf .0)()( kTkkkkddxf 满足满足步长步长有一阶连续偏导数，若有一阶连续偏导数，若设设kxf )(注：注：。kkkTkdddd 110)(所以所以，因为梯度法的搜索方向因为梯度法的搜索方向)(1kkkkdxfd 锯齿现象锯齿现象，其等值面近似，其等值面近似数可以用二次函数近似数可以用二次函数近似在极小点附近，目标函在极小点附近，目标函椭球面。椭球面。1x*x2x3x它它只只是是。标标函函数