优化设计2——一维优化及牛顿法

1、1xh1x2x3x4xhh2h44x3x2x1xhh2h4单峰区间：42,xx2x)()(21xfxf,2xa,1bx)()(21xfxf)()(21xfxf)(xfxa1x2xbab黄金分割法：黄金分割：将一线段分成两段，使得整段长度 与较长段 的比值等于较长段 与较短段 的比值llll )1 (解得0.618lll1lllll1l1ab1x2x)(382. 01abax)(618. 02abax黄金分割法的特点：（1）函数不必可微（2）第一次计算取两点，以后每次只需计算一点（3）收缩速度均匀。搜索次数 )(abN618.0lnlnabN2 . 4618. 0lnln2N499576. 01

2、8.46cos18.46sin)(499576. 082.43cos82.43sin)(18.46)4050(618. 040)(618. 082.43)4050(382. 040)(382. 0)1(2)1(1)1(2)1(1xfxfabaxabax)()()1(2)1(1xfxf)1(2b ,x,)1(1xa,)1(1xa50,43.8250,04,(1)(1)1(1b ,ab ,xba例例3-4：min f(x) = -sinx cosx，已知初始区间a,b40,50，区间缩小的相对精度2=0.13。（1）区间缩短次数（迭代次数） 取N=5 （2）第1轮迭代。计算黄金分割点，并对其函数值

3、比较，缩短区间因，可淘汰或，这里淘汰，新区间为 与与0.618法相比较，二次插值法利用函数在已知几个近似法相比较，二次插值法利用函数在已知几个近似点的值来确定新的近似点位置。而点的值来确定新的近似点位置。而0.618法仅对几点函数值的法仅对几点函数值的大小进行比较，没有充分的利用函数本身的性质。因此，当大小进行比较，没有充分的利用函数本身的性质。因此，当函数函数f (x)具有较好的性质（如具有较好的性质（如连续可微性连续可微性）时，插值法往往）时，插值法往往比比0.618法效果好，但它的程序要比法效果好，但它的程序要比0.618法稍复杂些。法稍复杂些。)()()()()(kkkXFXFS0 x

4、1x2x3x梯度法（最速下降法）的特点：1）初始点选取没有要求2）相邻两点的搜索方向正交缺点：迭代开始时下降幅度较大；在接近极小值点的时候，目标函数下降得很慢总结：负梯度方向仅是局部下降最快，不是最好的下降方向kgXFS)()0()0()(1)1(kkkSgS22111kkkTkkTkgggggg共轭方向（1）定义： 为n阶正定矩阵，若两个矢量满足则称 和 对矩阵 共轭。共轭矢量方向为共轭方向。 （2）共轭方向与函数极小值点的关系考察正定二次函数 A021ASST1S2SAAST1AST22S1SAXXXbaXFTT21)(11110)(SAXbSXFT12120)(SAXbSXFT两式相减，

5、得012112ASSASXXTT1X2X*X1S1S2S)(1XF沿 的共轭方向 可搜索到正定二次函数极小值点。沿共轭方向的搜索具有二次收敛性1S2S共轭梯度法的特点：共轭梯度法的特点：（1）具有超线性收敛速度，计算效率高于梯度法，低于牛顿法）具有超线性收敛速度，计算效率高于梯度法，低于牛顿法（2）对初始点没有要求）对初始点没有要求（3）不需计算二阶偏导及其逆矩阵，计算量小）不需计算二阶偏导及其逆矩阵，计算量小)()()()()()()()()()()()(kkTkkTkkkkTkTkkkgAgAggAgXXXA1001)0(A，继续迭代22)0(001221)0(410|)(|41024210)(XfxxxxXf4104101001)(AS)0()0()0(Xf继续下一步迭代,)526. 5()211. 2(|)(|526. 5211. 224210)(22)1()