最小二乘法及其应用..

1、最小二乘法及其应用131.引言最小二乘法在19世纪初发明后，很快得到欧洲一些国家的天文学家和测 地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最 小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百 科全书第7版,亦收入有关方法的介绍。同时，误差的分布是“正态”的，也 立刻得到天文学家的关注及大量经验的支持。如贝塞尔（F. W. Bessel, 17841846）对几百颗星球作了三组观测，并比较了按照正态规律在给定范围内 的理论误差值和实际值，对比表明它们非常接近一致。拉普拉斯在1810年也 给出了正态规律的一个新的理论推导并写入其分析概论中。正态

2、分布作 为一种统计模型，在19世纪极为流行，一些学者甚至把19世纪的数理统计学 称为正态分布的统治时代。在其影响下，最小二乘法也脱出测量数据意义之 外而发展成为一个包罗极大，应用及其广泛的统计模型。到20世纪正态小样 本理论充分发展后，高斯研究成果的影响更加显著。最小二乘法不仅是19世 纪最重要的统计方法，而且还可以称为数理统计学之灵魂。相关回归分析、 方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论 基础。正如美国统计学家斯蒂格勒（S. M. Stigler） 所说，“最小二乘法之 于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方 法所以研究最小二乘法原理及

3、其应用对于统计的学习有很重要的意义。2. 最小二乘法所谓最小二乘法就是：选择参数b0,b,使得全部观测的残差平方和最小用数学公式表示为：2A 22minE G （Y -Y）=送（Yi -b -bx为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为 例.Y = Bo +B/ +片（一元线性回归方程）由于总体回归方程不能进行参数估计，我们只能对样本回归函数来估计即:Y=bb +b|Xi(i =1,2.n)从上面的公式可以看出：残差ei是Y的真实值与估计值之差，估计总体回归函数最优方法是，选择B,Bi的估计量bo,bi，使得残差ei尽可能的小. 总之，最小二乘原理就是选择样本回归函数使得

4、所有丫的估计值与真实值差的平方和为最小，这种确定bo ,bi的方法叫做最小二乘法。最小二乘法是回归分析中的最基本的方法。回归方程一般分为2类，线 性回归方程和非线性回归方程。2.1线性回归最小二乘法最小二乘法是由实验或调查的数据，建立线性型公式的一种常用方法.在建立线性型公式中，虽然有很多种不同的方法来求样本回归函数 (即真实 总体回归函数的估计值)，但是在回归分析中最广泛应用的方法是最小二乘 法.如果变量x和y有精确的线性关系比如说 y =ax - b ,那么yi即观测 值与回归值是相等的.事实上现实世界中的诸多变量的关系未必都是如此， 由于受诸多随机因数的干扰使得物与物之间没有那种很明确的

5、对应关系.比如说人的身高和体重就是一个对应， 我们都知道长的高的人不一定就重， 同 理长的矮的人也不一定就轻.但身高和体重的确存在着一定的关系 ，而这种 关系并非是y =ax b所能确定的.那么我们要寻求身高和体重之间的关系就需要通过数学的方法.首先调查统计得出数据；其次把数据描绘出来；然后 拟合一条跟已有的图象最接近的曲线，这样就可以相对地将身高和体重之间 的关系表示出来.在处理类似的事情中常常用到最小二乘法.2.2非线性回归最小二乘法非线性回归的种类很多，常用的有抛物线方程（Y =abX cX2）、指数方程（Y =abx）等。设已知列表函数 = f（xj（i =0,1,.,m），并且我们想

6、用一个通常的n（ ： m）次多项式Pn X 二 a。6X anXn（ 1）去近似它。问题是应该如何选择 a0，a，an使Pn X能较好地近似列表函 数f x。按最小二乘法，应该选择ao, ai，an使得m 2S a。，ai，an 八.f Xi - pn X（2）i =0取最小。注意到S是非负的，且是ao, ab.，an的2次多项式，它必有最小值。求S对ao, ab.，an的偏导数，并令其等于零，得到m为(yi ao aiXi anXr )Xk =0 (k =0,1，n)i 进一步，可以将它们写成mi zom=0 Xiki zommx - k H、k -n-ax . anxi =oi -o引进记

7、号mmSk =迟 xik和和Uk =迟 yxiki =oi =o则上述方程组为sa 0 + s a 划 11 + Sna u , 0 s1a 0 * S a 中川 * Sn + an1 = U , 1 iiiiiiiiiiiiHiiniiiiniiiiiiOna0 +氏碎 和ll*Snan=UnsS1HISnXn41 Si*S2d11*1Snd4dSnSn +HIS2n由s（i=0,1,IH,2n）的定义及行列式性质，可以断言它的系数行列式是X + =1（n + 1）W2 川.此处符号W表Vndermonde亍列式，而是对所有可能的：（i=0,1H，n）求 和（每个i可以取值心为,川,冷,并且

8、当2 j时ij。由（4）式及W,%|,En 戶1一0-2一0IIIIIIIIIn-2Jn-0.Ill-nJn从而，Xn 1 = 00方程组有唯一解%印,川， ,且它们使取极Vandermonde行列式的性质可知，当x0 ,%,| |, xm互异时,小值如此，我们应用最小二乘法找到了 f x的近似多项式pn x .在利用最小二乘法组成和式 时，所有点Xi都起到了同样的作用，但是有时依据某种理由认为7 中的某些项的作用大些，而另外一些作用小些（例如，一些yi是由精度较高的仪器或操作上比较熟练的人员获得的，自然 应该予以较大的信任），这在数学上表现为用和(5)m 2乞 t （f （x）- Pn（Xi

9、 ）i 二0n替代和 取最小值几.0，且V q = 1,几通常称之为权；而 为加权和.i用多项式Pn xa0 a1x anxn去近似一个给定的列表函数(即给出 的一组观测值 = f Xj时。需要确定的参数是a0,a-i|,an;而pn x可以看 成是玄,和川,可的线性函数但是有时在利用观测或实验数据去确定一个经 验公式时，往往要确定的函数和待定参数之间不具有线性形式的关系这样问题就变得有些复杂然而，常常可以通过变量替换使其线性化最小二乘法原理是用来求解线性方程组的，非线性方程经线性化后方可 应用该原理通常在测量中遇到的问题不一定都是线性问题，必须先把非 线性问题线性化，然后求解例如：(i )有

10、时，我们希望用如下类型的函数：s 二 ptq(6)去近似一个由一组观测数据(列表)所描绘的函数，其中 P和q是待定的两 个参数显然s已非p和 q的线性函数怎样线性化呢？为此，我们在 式两端 取对数，得到Ins 二 Inp qInt记 Ins =y, Inp =ao,ai =q,x =Int,贝U (6)式变成y = a。yx 这是一个一次多项式，它的系数 ao和a可以用最小二乘法求得(ii)我们经常希望用函数S = AeCt(7)去近似一个以给定的列表函数，其中 A、C是待定的参数这时，我们可以(7) 的两端取对数：InS 二 InA Ct记 InS = y, I nA = a0，G = q,

11、x = t，则(1.7)式变成y 二 a。aix这样仍可用最小二乘法定出ao,a1 （从而也就定出了 A,C ），得到近似函数Ct二 Ae下面列出几种常用的线性处理方法，利用最小二乘法的原理对直线型、 抛物线型和指数曲线型的方程的参数估计方法，介绍如下：（1）直线型直线方程的一般形式为Y =a bX令（Y_C）2八（a bX -C）2为最小值，分别为a和b求偏导数，并令导数等于0,得到联立方程组。解方程组，即可得到参数的计算公式。a=Y _bX“ n送X Y 送X送丫b =. n瓦 X2（送 X）2（2）抛物线型抛物线方程的一般形式为2Y =a bX cX2令 （Y -C）2（a bX -C）

12、2为最小值，分别为a、b、c求偏导数,并令导数等于0,得到联立方程组解方程组即可得到参数的计算公式Y - na -b. X - c_ X? = 0、Y X2 _a X _b X2 _c x3 =0 YX2 _a X2 _b X3 _c X21 =0（3）指数曲线型 指数曲线的一般形式为Y =abX取对数，将指数曲线转化成对数直线形式lg Y = lg a X lgb用最小二乘法估计参数a,b,可有如下方程组 lg Y 二 n lg a lg b Xi2、:(X lgY) =lga x lg b X2解此方程组，可得参数的对数值，查其反对数，即可得参数值。3. 最小二乘法原理的应用3.1最小二乘

13、法原理在线性回归中应用302826242220181614121.52.53.54.55.5例1.已知2009年3月到2010年4月居民收入与物价信心的满意指数如下 图，求出当期物价满意指数x与时间t的曲线拟合。T123456X29.5028.2025.9021.7021.9013.80解：t=1 2 3 4 5 6;x=29.50 28.2025.90 21.70 21.90 13.80;plot(t,x,o);polyfit(t,x,1) ans =-2.9029 33.6600则所得到的近似方程为y=-2.9029+33.6600x.3.2最小二乘法原理在非线性回归中的应用 例2设已知函

14、数f (x)的表列值为X0.20.50.70.851Y1.2211.6492.0142.3402.718试按最小二乘法构造f (x)的二次近似多项式. 解：下面用Matlab程序来求参数a0,q和a2. 程序如下：x=0.2 0.5 0.7 0.851;y=1.2211.6492.0142.3402.718;plot(x,y,o);2.82.62.42.221.81.61.41.20.20.30.40.50.60.70.80.91polyfit(x,y,2)ans =0.92480.75531.0346即所求 a=0.9248 ,印=0.7553 , a2 =1.0346.所求的近似多项式为f

15、(x) =0.9248 0.7553x 1.0346x2 .例3、在某冶炼过程中，根据统计数据的含碳量与时间关系，试求含碳量y与时间t的拟合曲线t0510152025303540455055y01.272.162.863.443.874.154.374.514.584.024.64解：实验程序如下：t=0510 15 20 25 30 35 40 45 50 55;y=01.272.162.863.443.874.154.374.514.584.024.64;plot(t,y,o);5厂4.5 -4 -3.5 -3 -2.5 -2 -1.5 -1 -0.5 -0 L01020304050p=p

16、olyfit(t,y,2)P =-0.00240.20370.2305综上，y与t的拟合曲线是y=-0.0024+0.2037t+0.0.2305t2。例2设已知如下一组实验数据：t =2.2 2.7 3.5 4.1S =65 60 53 50试求一个S二AeCt型的函数去近似它.60解：计算以紧凑的形式表示如下:X。x = Intx2y= Insxy10.34240.11721.81290.620710.43140.18611.77820.767110.54410.29601.72430.938210.61280.37551.69901.041141.93070.97487.01443.36

17、71S0SUoU1由此得方程组4a0 1.9307a, =7.0144,1.9307a 0.9748a, =3.3671.解之得 a0 = Inp =1.963, p = 91.9,q = c - -0.434从而0.434S =91.9t4. 小结应用最小二乘法的几个问题：最小二乘法虽然在数据处理方面具有显著的效果，但如果使用不当会导 致很大的误差，甚至错误的结果。因此，在应用时必须注意以下几个问题：(1) 慎重选择拟合关系式。在实际问题中，适当选择拟合关系式是一项 十分谨慎的工作，它将直接影响计算的工作量和结论。(2) 自变量的选择。在实际工作中，对一组实验,y1数据按不同的拟 合形式,结

18、果会不一样。特别注意当两个变量都有一定误差时，应当使用双变 量最小二乘法进行处理，否则可以使用单变量最小二乘法。(3) 加权最小二乘法。此法是应用于实验测量值 非等精度的情况下 的拟合方法。它不同程度的消除误差因素，结果更准确可靠。设拟合函数为y = f（x）,当x值取x1时y的实测值为y1,取口壯-气和mm2加权偏差平方和s = 2： wSZ w-f（N ）,式中Wi为第i个实验点的权i 4i z4重因子。选取合适的权重因子 W可获得高精度的拟合参数。（4）最小二乘原理在很多领域有着广泛应用，利用MATLAB解非常方便， 但一定要组要问题的类型，尤其是数据大且复杂时，来更好的突出 Matlab计 算出线性参数的最佳估计值，提高了效率和精度。（5）非线性参数的最小二乘法处理程序可归结为：首先根