线性方程组的最速下降法与共轭梯度法

1、共轲梯度法共辗梯度法原理对于线性方程组AX=b,即:&1%+42X2+|+ainxn-bia2iXia22X2-III-a2nXn=b2（1）aniX1an2X2.IbannXn=bn其中，A二(aj1刈为对称正定矩阵，b=(b,如何熟练地运用最速下降法与共腕梯度法的求解线性方程组。在求解线性方程组之前，首先用内积将问题转化为函数问题。1最速下降法最速下降法是一种运用梯度与极值的性质，综合数值计算方法寻找局部极值。基本思想：任一点的负梯度方向是函数值在该点下降最快的方向。将n维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最速下降法。具体步骤：1、搜索方向：

2、dk=-Vf(Xk),即最速下降方向。2、搜索步长：取最优步长，即满足：f(Xkkdk);minf(Xkdk)A1给定初始点X0wRn,允许误差60,令k=1。2计算搜索方向dk=-Vf(Xk)o3若Ldk_M,则Xk为所求的极值点，否则，求解最优步长相，使得f（Xkdk）=minf（Xkdk）儿4令xk*=xk+Kkdk,k=k+1最速下降方向是反映了目标函数的局部性质，它只是局部目标函数值下降最快的方向。2共腕梯度法对于minf(x)JxTAxbTx2其中，xwRn,A是对称正定矩阵。基本思想：将共腕性与最速下降法相结合利用已知迭代点的梯度方向构造一组共腕方向，并沿此方向搜索，求出函数的极

3、小值。具体步骤：1取初始点x(0),取第一次搜索方向为d(0)=-邛(x(0)。2设已求得x(kN若华(今)#0,令g(x)=W(x(k1),则下一个搜索方向d(k-kjPkd(D由于d(k七与d关于A共腕，所以给(1)两边同时乘以d(kTA,即：d(k)TAd(kJ_d(k)TJg，d(k)Tdk)=0kIk(k)T解得.b_dAgk-(用牛仔.k-d(k)TAd(k)(2)3搜索步长的确定,已知迭代点x(k),和搜索方向d(k),确定步长久,即：minf(x(k)+Kd(k)记:(K)=f(x(k)+M(k),令()=f(x(k)d(k)Td(k)=0既有：A(x(k)d(k)bTd(k)

4、=0令gkf(x(k)=Ax(k)b既有：gkAd(k)Td(k)=0解得:T(k)gkdd(k)TAd(k)减少了迭代次数从而共腕梯度法是对最速下降法的一种改进,提高了程序运行效率。二程序框图程序：%最速下降法%functionx,k=fast(A,b)esp=input(?e?e?eD?(2fesp=);N=input(?e?e?X/ouu，?eyN=);x0=input(?e?e?3?e?ax0=);k=0;tol=1;whiletol=espr=b-A*x0;q=dot(r,r)/dot(A*r,r);x=x0+q*r;k=k+1;tol=norm(x-x0);x0=xifk=Ndispfespr0=b-A*x0;k=k+1;ifk=1p0=r0;elseendendx=r0;k;endlamda=(r0*r0)/(p0*A*p0);ri