最优化牛顿法最速下降法共轭梯度法matlab代码

1、牛顿法迭代公式：Matlab代码：function x1,k =newton(x1,eps)hs=inline('(x-1)4+y2'); 写入函数ezcontour(hs,-10 10 -10 10); 建立坐标系hold on; 显示图像syms x y 定义变量f=(x-1)4+y2; 定义函数grad1=jacobian(f,x,y); 求f的一阶梯度grad2=jacobian(grad1,x,y); 求f的二阶梯度k=0; 迭代初始值while 1 循环grad1z=subs(subs(grad1,x,x1(1),y,x1(2); 给f一阶梯度赋初值grad2z=s

2、ubs(subs(grad2,x,x1(1),y,x1(2); 给f二阶梯度赋初值 x2=x1-inv(grad2z)*(grad1z)' 核心迭代公式if norm(x1-x2)<eps 判断收敛条件 break;else plot(x1(1),x2(1),x1(2),x2(2),'-r*'); 画图 k=k+1; 迭代继续 x1=x2; 赋值endendend优点：在极小点附近收敛快缺点：但是要计算目标函数的hesse矩阵最速下降法1. ：选取初始点xo，给定误差2. 计算一阶梯度。若一阶梯度小于误差，停止迭代，输出3. 取4. 例题：求min (x-2)4+

3、(x-2*y)2.初始值（0,3）误差为0.1(1)编写一个目标函数，存为f.mfunction z = f( x,y )z=(x-2.0)4+(x-2.0*y)2;end (2)分别关于x和y求出一阶梯度，分别存为fx.m和fy.mfunction z = fx( x,y )z=2.0*x-4.0*y+4.0*(x-2.0)3;end和function z = fy( x,y )z=8.0*y-4.0*x;end（3）下面是脚本文件，一维搜索用的是黄金分割法Tic 计算时间eps=10(-4);误差err=10;dt=0.01;x0=1.0;初始值y0=1.0;mm=0;while err&

4、gt;eps 黄金分割法 dfx=-fx(x0,y0); dfy=-fy(x0,y0);tl=0;tr=1;确定一维搜索的区间 h=3; nn=0; gerr=10; geps=10(-4); while gerr>geps tll=tl+0.382*abs(tr-tl); trr=tl+0.618*abs(tr-tl); if f(x0+tll*h*dfx,y0+tll*h*dfy)>f(x0+trr*h*dfx,y0+trr*h*dfy) tl=tll; else tr=trr; end gerr=abs(tl-tr); 区间的长度之差 tt=0.5*(tl+tr); nn=n

5、n+1;步数增加 if nn>200 迭代终止条件 break end end x0=x0+tt*h*dfx; 重新迭代 y0=y0+tt*h*dfy; err=sqrt(fx(x0,y0)2+fy(x0,y0)2); mm=mm+1;步数增加 if mm>700 迭代步数超过700，终止 break endendres=x0,y0;输出最后的x，y。toc 计算运行时间拟牛顿法（DFP算法） 这是一个脚本文件可以直接运行syms x1 x2;定义变量eps=0.00001;x0=1,1'初始值h0=1,0;0,1;f=x12+4*x22;待求函数fx=diff(f,x1)

6、;对x求导fy=diff(f,x2);对y求导df=fx,fy;f的一阶梯度dfx0=subs(fx,x1,x2,x0),subs(fy,x1,x2,x0)'赋初值d0=-dfx0;搜索方向n=1;while 1syms t;s0=x0+t*d0;引入变量tff=subs(f,x1,x2,s0)给f赋值;t=solve(diff(ff);求ff的极小点xx1=x0+t*d0;更新初始值dfx1=subs(fx,x1,x2,xx1'),subs(fy,x1,x2,xx1')'赋值pp=sqrt(dfx1*dfx1');判断此时一阶梯度的值if(pp<

7、0.001)迭代终止条件 breakenda1=xx1-x0;r1=dfx1-dfx0;h1=h0+(a1*a1')/(a1'*r1)-(h0*r1*r1'*h0)/(r1'*h0*r1);h0的更新d1=-h1*dfx1;搜索方向的更新d0=d1;循环赋值x0=xx1;循环赋值h0=h1;二阶梯度的近似的更新n=n+1;计算迭代步数end共轭梯度法。这是一个脚本文件clc;clear all;syms x y t ; 定义变量x0=1,1;初始值n=1;初始迭代t=0;f1=x2+2*y2-4*x-2*x*y;待求函数dfx=diff(f1,x);求函数的对x

8、一阶梯度dfy=diff(f1,y);函数对y的一阶梯度df=dfx,dfy;函数一阶梯度以数组的形式while 1 syms kk;在循环里定义变量 g0=subs(dfx,x,y,x0),subs(dfy,x,y,x0);给一阶梯度赋值 s0=-g0;下降方向 m0=x0+kk*s0;引入变量kk f11=f(m0(1),m0(2);带入原函数，得到关于kk的函数 kk=solve(diff(f11);求f11的极小点 m1=x0+kk*s0;更新迭代初始值 g1=subs(dfx,x,y,m1),subs(dfy,x,y,m1);给一阶梯度赋值 s1=-g1;k=(s1*s1')/(g0*g0');s2=s1+k*s0; 更新梯度 s0=s2;重新迭代