拟牛顿法.doc

拟牛顿法牛顿法的收敛速度虽然较快，但要求海森矩阵要可逆，要计算二阶导数和逆矩阵，就加大了就算机计算量。为了克服牛顿法的缺点，同时保持较快收敛速度的优点，就产生了拟牛顿法。拟牛顿法是牛顿法的直接推广，通过在试探点附近的二次逼近引进牛顿条件来确定线搜索方向，它主要有和两种形式，拟牛顿法的一般步骤为：（1） 给定初始点，初始对称正定矩阵，及精度；（2） 计算搜索方向；（3） 作直线搜索，计算，（4） 判断终止准则是否满足；（5） 令置，转步骤（2）；不同的拟牛顿法对应不同的，主要介绍和两种拟牛顿法。1. 法（1） 算法原理算法中的校正公式为：为了保证的正定性，在下面的算法中迭代一定次数后，重置初始点和迭代矩阵再进行迭代。（2） 算法步骤1） 给定初始点，初始矩阵及精度；2） 若，停止，极小点为；否则转步骤3）；3） 取，且令；4） 用一维搜索法求，使得，令，转步骤5）；5） ，停止，极小值点为；否则转步骤6）；6） 若，令，转步骤3）；否则转步骤7）；7） 令，取，置，转步骤4）。（3） 算法的MATLAB程序调用格式：其中，：目标函数 ：初始点 ：自变量向量 ：精度 ：目标函数取最小值时的自变量值 ：目标函数的最小值的MATLAB程序代码如下：function x,minf=minDFP(f,x0,var,eps)%目标函数:f;%初始点:x0;%自变量向量:var;%目标函数取最小值时的自变量值:x;%目标函数的最小值:minf;format long;if nargin=3 eps=1.0e-6;endx0=transpose(x0);n=length(var);syms l;H=eye(n,n);gradf=jacobian(f,var);v0=Funval(gradf,var,x0);p=-H*transpose(v0);k=0;while 1 v=Funval(gradf,var,x0); tol=norm(v); if tol=eps x=x0; break; end y=x0+l*p; yf=Funval(f,var,y); a,b=minJT(yf,0,0.1); xm=minHJ(yf,a,b); x1=x0+xm*p; vk=Funval(gradf,var,x1); tol=norm(vk); if tol=eps x=x1; break; end if k+1=n x0=x1; continue; else dx=x1-x0; dgf=vk-v; dgf=transpose(dgf); dxT=transpose(dx); dgfT=transpose(dgf); mdx=dx*dxT; mdgf=dgf*dgfT; fz=H*(dgf*(dgfT*H); H=H+mdx/(dxT*dgf)-inv(dgfT*(H*dgf)*fz; p=-H*transpose(vk); k=k+1; x0=x1; endendminf=Funval(f,var,x);format short;2. 法（1） 算法原理算法中的校正公式为为了保证的正定性，在下面算法步骤中迭代一定次数后，重置初始点和迭代矩阵再进行迭代。（2） 算法步骤1） 给定初始点，初始矩阵及精度；2） 若，停止，极小点为；否则转步骤3）；3） 取，且令；4） 用一维搜索法求，使得，令，转步骤5）；5） ，停止，极小值点为；否则转步骤6）；6） 若，令，转步骤3）；否则转步骤7）；7） 令其中：，取，置，转步骤4）。（3） 算法的MATLAB程序调用格式：其中，：目标函数 ：初始点 ：自变量向量 ：精度 ：目标函数取最小值时的自变量值 ：目标函数的最小值的MATLAB程序代码如下：function x,minf=minBFGS(f,x0,var,eps)%目标函数:f;%初始点:x0;%自变量向量:var;%目标函数取最小值时的自变量值:x;%目标函数的最小值:minf;format long;if nargin=3 eps=1.0e-6;endx0=transpose(x0);n=length(var);syms l;H=eye(n,n);gradf=jacobian(f,var);v0=Funval(gradf,var,x0);p=-H*transpose(v0);k=0;while 1 v=Funval(gradf,var,x0); tol=norm(v); if tol=eps x=x0; break; end y=x0+l*p; yf=Funval(f,var,y); a,b=minJT(yf,0,0.1); xm=minHJ(yf,a,b); x1=x0+xm*p; vk=Funval(gradf,var,x1); tol=norm(vk); if tol=eps x=x1; break; end if k+1=n x0=x1; continue; else dx=x1-x0; dgf=vk-v; dgf=transpose(dgf); dxT=transpose(dx); dgfT=transpose(dgf); mdx=dx*dxT; mdgf=dgf*dgfT; H=H+(1+dgfT*(H*dgf)/(dxT*dgf)*mdx/(d