第四章—牛顿法求解无约束问题

1、牛顿法求解无约束多维优化问题一、基本思想牛顿法是一种线性化的方法，其基本思想是将非线性方程逐步归结为某种显性线性方程来求解。在邻域内用一个二次函数来近似代替原目标函数，并将的极小值点作为对目标函数求优的下一个迭代点。经多次迭代，使之逼近目标函数的极小值点。二、数学模型将目标函数作二阶泰勒展开，设为的极小值点这就是多元函数求极值的牛顿法迭代公式。对于二次函数，海塞矩阵是一个常矩阵，其中各元素均为常数，因此，无论从任何点出发，只需一步就可以找到极小值点。从牛顿法迭代公式的推导过程中可以看到，迭代点的位置是按照极值条件确定的，其中并未含有沿下降方向搜寻的概念。因此对于非二次函数，如果采用上述牛顿迭公

2、式，有时会使函数值上升。三、算例分析算例1、取初始点初步分析，目标函数为二次函数，经过一次迭代即可得到。编制程序及计算结果如下：syms x1 x2;f=(x1-4)2+(x2-8)2;v=x1,x2;df=jacobian(f,v); df=df.; G=jacobian(df,v); e = 1e-12;x0=1,1;g1=subs(df,x1,x2,x0(1,1),x0(2,1);G1=subs(G,x1,x2,x0(1,1),x0(2,1);k=0;while(norm(g1)e) p=-G1g1; x0=x0+p; g1=subs(df,x1,x2,x0(1,1),x0(2,1);

3、G1=subs(G,x1,x2,x0(1,1),x0(2,1); k=k+1; end; kx0结果：k = 1x0 = 4 8正如分析所得，迭代一次即可得出极小值点。算例2、取初始点目标函数为三维函数，且都高于二次，海塞矩阵存在且不为常数，迭代次数大于一次。编制程序和计算结果如下：syms x1 x2 x3;f=(x1-10)2+(x2-8)4+(x3+5)3; v=x1,x2,x3;df=jacobian(f,v); df=df.; G=jacobian(df,v); e = 1e-12;x0=-1,4,1;g1=subs(df,x1,x2,x3,x0(1,1),x0(2,1),x0(3,

4、1);G1=subs(G,x1,x2,x3,x0(1,1),x0(2,1),x0(3,1);k=0;while(norm(g1)e) p=-G1g1; x0=x0+p; g1=subs(df,x1,x2,x3,x0(1,1),x0(2,1),x0(3,1); G1=subs(G,x1,x2,x3,x0(1,1),x0(2,1),x0(3,1); k=k+1; end; kx0结果：k = 28x0 = 10.0000 8.0000 -5.0000四、结果分析牛顿迭代法主要利用二阶梯度进行求解，在针对上述算例进行计算后，主要存在以下问题：1) 牛顿法所求极小值点是局部极小值点，对于取初值有一定要求。为了克服这一困难，引入了阻尼牛顿法以得到大范围收敛特性。2) 对于二次的目标函数，其海塞矩阵为常数阵，迭代一次即可得到结果，收敛速度较快。3) 对于某些方程，例如，迭代点的海塞矩阵为奇异，则