最小二乘法及其应用..

1、最小二乘法及其应用1引言最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔(F.W.Bessel,17841846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其分析概论中。正态分布作为一种统计模型,在

2、19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒(S.M.Stigler)所说，“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。2.最小二乘

3、法所谓最小二乘法就是：选择参数b,b，使得全部观测的残差平方和最小.01用数学公式表示为：min工e2i=工(Y-Y)2ii=工(Y-b-bx)2i01i为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例.一元线性回归方程)由于总体回归方程不能进行参数估计，我们只能对样本回归函数来估计即：Y=b+bx+e(i=l,2n)i01ii从上面的公式可以看出：残差e是Y的真实值与估计值之差，估计总体ii回归函数最优方法是，选择B,B的估计量b,b，使得残差e尽可能的小.0l0li总之，最小二乘原理就是选择样本回归函数使得所有Y的估计值与真实值差的平方和为最小，这种确定b,b的方法叫做最小

4、二乘法。0l最小二乘法是回归分析中的最基本的方法。回归方程一般分为2类，线性回归方程和非线性回归方程。2.1线性回归最小二乘法最小二乘法是由实验或调查的数据，建立线性型公式的一种常用方法.在建立线性型公式中，虽然有很多种不同的方法来求样本回归函数(即真实总体回归函数的估计值)，但是在回归分析中最广泛应用的方法是最小二乘法.如果变量x和y有精确的线性关系比如说y=ax+b，那么y=§即观测ii值与回归值是相等的.事实上现实世界中的诸多变量的关系未必都是如此，由于受诸多随机因数的干扰使得物与物之间没有那种很明确的对应关系.比如说人的身高和体重就是一个对应，我们都知道长的高的人不一定就重，

5、同理长的矮的人也不一定就轻.但身高和体重的确存在着一定的关系，而这种关系并非是y=ax+b所能确定的.那么我们要寻求身高和体重之间的关系就需要通过数学的方法.首先调查统计得出数据;其次把数据描绘出来；然后拟合一条跟已有的图象最接近的曲线，这样就可以相对地将身高和体重之间的关系表示出来.在处理类似的事情中常常用到最小二乘法.2.2非线性回归最小二乘法13非线性回归的种类很多，常用的有抛物线方程(Y=a+bX+cX2)、指数方程(Y=abx)等。设已知列表函数y=f(x)(i=0,1,.,m)并且我们想用一个通常的iin(<m)次多项式p(x)=a+ax+.+axnn01n去近似它。问题是应

6、该如何选择a,a，a使p(x)能较好地近似列表函01nn1)数f(X)。按最小二乘法，应该选择a，a，a01n使得S(a，a，.，a01ni=0)=兰(f(x.)-P(x)2)取最小。注意到S是非负的，且是a,a，a的2次多项式，它必有最小值。01n求S对a,a，a的偏导数，并令其等于零，得到01n迟(y-a-ax-.-axn)xk=0(k=0,1,.,n)i01iniii=0进一步，可以将它们写成步，迟yxk=aiii=o引进记号0i=oxk+airxk+i+.+a迟1ii=oxk+n(k=0,1,n.,nii=osa+sa+sa0011nnsa+sa+sa1021-n+n1sa+sa+sa

7、0n+11-4n2n=unu,0=u,1yxkiii=os=kii=o则上述方程组为(3)它的系数行列式是Xn+1s0s1s1s2snsn+1sn+1由s.(i=0,1,2n)的定义及行列式性质，可以断言iXn+1=侖)£(W(g0g1汕-(4)此处符号W表Vandermonde行列式，而工是对所有可能的g(i=0,1,n)求i和(每个g可以取值x,x,x,并且当i丰j时gMg。由(4)式及i1mijVandermonde行列式的性质可知，当x,x,x互异时,01gog20W(g,g,g)=1n11g1g211ng2ng1n从而，Xm0(>0)方程组(3)有唯一解,a，且它们使

8、(2)取极n+101n小值如此，我们应用最小二乘法找到了f(x)的近似多项式p(x)n在利用最小二乘法组成和式(2)时，所有点x都起到了同样的作用，但i是有时依据某种理由认为工中的某些项的作用大些，而另外一些作用小些(例如，一些y是由精度较高的仪器或操作上比较熟练的人员获得的，自然i应该予以较大的信任)，这在数学上表现为用和5)£p(f(x)-p(x)iinii=0替代和(2)取最小值.P>0，且£p=1,P通常称之为权；而(5)为加权和.iiii=1用多项式p(x)=a+ax+axn去近似一个给定的列表函数(即给出n01n的一组观测值y=f(x)时。需要确定的参数是

9、a,a,a;而p(x)可以看ii01nn成是a,a,a的线性函数但是有时在利用观测或实验数据去确定一个经01n验公式时,往往要确定的函数和待定参数之间不具有线性形式的关系这样问题就变得有些复杂.然而，常常可以通过变量替换使其线性化.最小二乘法原理是用来求解线性方程组的,非线性方程经线性化后方可应用该原理.通常在测量中遇到的问题不一定都是线性问题,必须先把非线性问题线性化,然后求解.例如：(i)有时，我们希望用如下类型的函数：s=ptq(6)去近似一个由一组观测数据(列表)所描绘的函数，其中p和q是待定的两个参数显然s已非p和q的线性函数怎样线性化呢？为此，我们在(6)式两端取对数，得到Ins=

10、Inp+qInt记Ins=y,Inp=a,a=q,x=Int,则(6)式变成01y=a+ax01这是一个一次多项式，它的系数a和a可以用最小二乘法求得.01(ii)我们经常希望用函数S=AeCt(7)去近似一个以给定的列表函数，其中A、C是待定的参数这时，我们可以(7)的两端取对数：InS=InA+Ct记InS=y,InA=a,C=a,x=t，U(1.7)式变成011y=a+ax01这样仍可用最小二乘法定出a,a(从而也就定出了A,C)，得到近似函数01S=AeCt.下面列出几种常用的线性处理方法，利用最小二乘法的原理对直线型抛物线型和指数曲线型的方程的参数估计方法，介绍如下：(1)直线型直线

11、方程的一般形式为Y=a+bX令工(Y-C)2=E(a+bX-C)2为最小值，分别为a和b求偏导数，并令导数等于0，得到联立方程组。解方程组，即可得到参数的计算公式。a=Y-bX<正X-Y工X工Yb=VVn乙X2-(乙X)2(2)抛物线型抛物线方程的一般形式为Y=a+bX+cX2令工(Y-C)2=E(a+bX-C)2为最小值，分别为a、b、c求偏导数,并令导数等于0,得到联立方程组解方程组,即可得到参数的计算公式。Y -na-bZXc工X2=0Y X2-aZX-bZX2-cZX3=0YX2-aZX2-bZX3-cZX4=0(3)指数曲线型指数曲线的一般形式为Y=abX取对数，将指数曲线转化

12、成对数直线形式lgY=lga+Xlgb用最小二乘法估计参数a,b,可有如下方程组lgY=nlga+lgb-X(X-lgY)=lga工X+lgb-解此方程组，可得参数的对数值，查其反对数，即可得参数值。3最小二乘法原理的应用3.1最小二乘法原理在线性回归中应用例1.已知2009年3月到2010年4月居民收入与物价信心的满意指数如下图，求出当期物价满意指数x与时间t的曲线拟合。T123456X29.5028.2025.9021.7021.9013.80解：/Irr*t=123456;x=29.5028.2025.9021.7021.9013.80;plot(t,x,'o');282

13、6polyfit(t,x,1)ans=-2.902933.6600则所得到的近似方程为y=-2.9029+33.6600x.3.2最小二乘法原理在非线性回归中的应用例2设已知函数f(x)的表列值为X0.20.50.70.851Y1.2211.6492.0142.3402.718试按最小二乘法构造f(x)的二次近似多项式.解：下面用Matlab程序来求参数a,a和a.012程序如下：x=0.20.50.70.851;y=1.2211.6492.0142.3402.718;plot(x,y,'o');polyfit(x,y,2)ans=0.92480.75531.0346即所求a=

14、0.9248，0=0.7553，a=1.0346.2所求的近似多项式为f(x)二0.9248+0.7553x+1.0346x2.例3、在某冶炼过程中，根据统计数据的含碳量与时间关系，试求含碳量y与时间t的拟合曲线。t0510152025303540455055y01.272.162.863.443.874.154.374.514.584.024.64解：实验程序如下：t=0510152025303540455055;y=01.272.162.863.443.874.154.374.514.584.024.64;plot(t,y,'o');p=polyfit(t,y,2)p=-0

15、.00240.20370.2305综上，y与t的拟合曲线是y=-0.0024+0.2037t+0.0.2305t2。例2设已知如下一组实验数据：t=2.22.73.54.1S=65605350试求一个SAeCt型的函数去近似它.解:计算以紧凑的形式表示如下：x0x=Intx2y=Insxy10.34240.11721.81290.620710.43140.18611.77820.767110.54410.29601.72430.938210.61280.37551.69901.041141.93070.97487.01443.3671S0S1S2u0u1由此得方程组4a+1.9307a二7.0

16、144,011.9307a+0.9748a=3.3671.01解之得a=Inp=1.963,p=91.9,q=a=0.434从而01S=91.9t0.434。4.小结应用最小二乘法的几个问题：最小二乘法虽然在数据处理方面具有显著的效果,但如果使用不当会导致很大的误差,甚至错误的结果。因此,在应用时必须注意以下几个问题:(1) 慎重选择拟合关系式。在实际问题中,适当选择拟合关系式是一项十分谨慎的工作,它将直接影响计算的工作量和结论。(2) 自变量的选择。在实际工作中，对一组实验(x,y)数据按不同的拟11合形式，结果会不一样。特别注意当两个变量都有一定误差时，应当使用双变量最小二乘法进行处理，否

17、则可以使用单变量最小二乘法。(3) 加权最小二乘法。此法是应用于实验测量值y非等精度的情况下1的拟合方法。它不同程度的消除误差因素，结果更准确可靠。设拟合函数为y=f(x),当X值取x时y的实测值为y,取b卜-f(x)|。11111加权偏差平方和s=艺wb2=艺w(y-f(x)，式中w为第i个实验点的权1iiiiii=1i=1重因子。选取合适的权重因子w可获得高精度的拟合参数。i(4) 最小二乘原理在很多领域有着广泛应用，利用MATLAB求解非常方便，但一定要组要问题的类型，尤其是数据大且复杂时，来更好的突出Matlab计算出线性参数的最佳估计值，提高了效率和精度。(5) 非线性参数的最小二乘

18、法处理程序可归结为：首先根据具体问题将非线性问题线性化，列出误差方程；再按最小二乘法原理，利用求极值的方法将误差方程转化为正规方程；然后求解正规方程，得到待求的估计量；最后给出精度估计。上面例题利用程序求解组合测量问题，用Matlab进行曲线的拟合。致谢：长江之滨，青山湖畔，是我美丽的校园。转眼间，我已经在美丽的湖师度过了四个年头。四年，这是我人生中非常重要的四年，我有幸能够接触到这些不仅传授我知识、学问，而且从更高层次指导我的人生与价值追求的良师。他们使我坚定了人生的方向，获得了追求的动力，留下了大学生活的美好回忆。在此，我真诚地向我尊敬的老师们和母校表达我深深的谢意！这篇论文是在我的导师胡宏昌教授的多次指导下完成的。从论文的选