第四节无约束--DFP变尺度法6

1、2.6、DFP变尺度法：变尺度法是Davidon由于1959年提出后又经Fletcher和Powell加以发展和完善了后的一种变尺度法，故称DFP变尺度法1、基本思想： 变尺度法是克服了梯度法收敛慢和牛顿法计算量大的缺点而发展起来的，是求解无约束问题最有效的算法，在工程优化设计中得到了广泛的应用。 利用牛顿法的迭代公式，然后并不是直接计算 1)()(kxH而是 用一个对称正定矩阵 )()(kxG近似 地代替 ,)(1)(kxH)()(kxG在迭代过程中不断改进。 最后逼近 1)()(kxH这种方法省去了海色矩阵的计算和求逆，计算量大为减少。3、迭代计算公式：令 )()()()()(KKKxfx

2、GS则迭代计算公式为： )()()()()()()()()()1(kkkkkkkkxfxGxSxx若在初始点 )0(x取 IxG)()0(（单位矩阵） 迭代计算公式为： )()()()()1(kkkkxfxx相当于梯度法)(kE为k 次迭代的修正矩阵 )()()1()()(KkkExGxG)()()()()()()()()()()()()()()()()()()()()()()()(kKTkKTkkKkTkTkkkKTkKTkkKkTkTkkkkgGgGggGgxxxgGgGggGgsssE)()1()(kkkxxx即两迭代点信息之差,位移矢量差 )()()()1()()1()(kkkkkxf

3、xfggg梯度矢量差即两迭 代点的目标函数一阶导数信息之差。4.计算迭代步骤给定初始点 )0(x迭代精度 维数 n置 k0单位矩阵 )0(GI 计算 )0()0()(gxf计算搜索方向 )()()(kkkSgG进行一维搜索求 )(k得迭代计算点 )1()()()(kkkkxSx检验是否满足迭代终止条件： )()1(kxf若满足，则终止迭代，输出最优解 )()(*)1(*)1(xfxfxxkk否则进行下一步：检查迭代次数若 nk 置)0()1( xxk则转(2) 若 nk 则转(7) 计算 )1()()()()()()1()()()1()1()1()(kkkkkkkkkkkkGEGExxxggg

4、gxf然后 置 kk1转(3) 程序框图见 47p)()()(kkkSgG5、变尺度法的特点迭代第一步为梯度法:在迭代开始时,一般是 IG0（单位矩阵）此时变尺度法的迭代公式就是梯度法的迭代公式当变尺度矩阵逼近 1)()(kxH时，变尺度法迭代公式逼近牛顿法的迭代公式。例：试用变尺度法求解下列无约束优化问题： 2221)6()5(4)(xxxf的极小点和极小值，取初始点.Tox9,8)(梯度精度 01. 0解：第一次迭代取初始点 Tox9,8)(45)()0(xF目标函数梯度函数为： 1001)6(2)5(8)()0(21IGxxxf计算 )0(x点的导数值 624)69(2)58(8)()0

5、()0(xfg求 )0(S搜索方向 )()0()0()0(xFGS及新的迭代点 )1 (x)0()0()0()0()0()0()1()0()0()0(69248624986246241001SxxgGS用一维搜索（优化）方法求解最优步长 )0(本题的目标函数简单，可用解析法求 但因)0(于是得： 2)0(2)0()1(6)69(5)248(4)(xf0)()0()1(dxdf130769. 006124680)0()0(9846. 4)(2154. 88615. 4)1()1(xfx计算 )1 (x点的函数梯度，检验迭代终止条件 56719. 4)43076. 4()10784. 1()(43

6、076. 410784. 1)62154. 8(2)58615. 4(8)(22)1()1()1(xfxfg因此 )1(x不是极小点，则继续迭代。 第二迭代 TTxxxggg78462. 0,13848. 356924. 1,10784.25)0()1()0()0()1()0(按DFP公式计算近似矩阵 )1(G（变尺度法） 003801. 1031487. 0031487. 012697. 056924. 110784.25100156924. 1,10784.25100156924. 1,10784.2556924. 110784.25100156924. 110784.2578462. 0

7、,13848. 378462. 0,13848. 378462. 013848. 31001)0()0()0()0()0()0()0()0()0()0()0()0()1(GggGggGgxxxGGTTTT求搜索方向 )1(S即新的迭代点 )2(x48248. 428017. 043076. 410784. 1003801. 1031487. 003148. 012697. 0)()1()1()1()1()1(xfGgGS沿 )1(S方向进行一维搜索得:00014. 699998. 44942. 0)1()1()1()2()1(Sxx检验迭代终止条件。 00032. 0)00028. 0()00

8、016. 0()(00028. 000016. 0)600014. 6(2)599998. 4(8)(22)2()2(xfxf满足精度要求，迭代结束，输出最优解： 8)2(*)2(*101 . 2)()(00014. 6,99998. 4xfxfxxT总结： 变尺度法的最初的几步迭代与梯度法类似，函数值下降较快而在最后的几步迭代，与牛顿法相近可较快地收敛为极小点。变尺度法能够克服梯度法收敛慢的缺点，但却保留了梯度法在最初几步函数值下降快的优点。同时，变尺度法避免了计算海色矩阵及其逆阵。从而克服了牛顿法计算量大的缺点，变尺度法的收敛速度介于梯度法和牛顿法之间。说明:)(xf变尺度法所构成的搜索方向 已