最小二乘法及其应用

1、最小二乘法及其应用1. 引言最小二乘法在19世纪初发明后，很快得到欧洲一些国家的天文学家和测 地学家的广泛关注。据不完全统计，自1805年至1864年的60年间，有关最 小二乘法的研究论文达256篇，一些白科全书包括1837年出版的大不列颠白 科全书第7版，亦收入有关方法的介绍。同时，误差的分布是“正态”的，也 立刻得到天文学家的关注及大量经验的支持。如贝塞尔(F. W. Bessel，17841846)对几白颗星球作了三组观测，并比较了按照正态规律在给定范围内 的理论误差值和实际值，对比表明它们非常接近一致。拉普拉斯在1810年也 给出了正态规律的一个新的理论推导并写入其分析概论中。正态分布

2、作 为一种统计模型，在19世纪极为流行，一些学者甚至把19世纪的数理统计学 称为正态分布的统治时代。在其影响下，最小二乘法也脱出测量数据意义之 外而发展成为一个包罗极大，应用及其广泛的统计模型。到20世纪正态小样 本理论充分发展后，高斯研究成果的影响更加显著。 最小二乘法不仅是19世 纪最重要的统计方法，而且还可以称为数理统计学之灵魂。相关回归分析、 方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论 基础。正如美国统计学家斯蒂格勒(S. M. Stigler) 所说，“最小二乘法之 丁数理统计学犹如微积分之丁数学”。最小二乘法是参数回归的最基本得方 法所以研究最小二乘法原理及其

3、应用对丁统计的学习有很重要的意义。2. 最小二乘法所谓最小二乘法就是：选择参数b0，b，使得全部观测的残差平方和最小 用数学公式表示为：_29.9min£ e =£ (Y Y) =£ (Yi b° 灯为)为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为 例.Y = B0 +B1X +*(一元线性回归方程) 由丁总体回归方程不能进行参数估计，我们只能对样本回归函数来估计即：Y =bb +b1Xi +e (i =1,2.n)从上面的公式可以看出：残差e是Y的真实值与估计值之差，估计总体回归函数最优方法是，选择 B°,Bi的估计量bo,

4、bi，使得残差e尽可能的小.总之，最小二乘原理就是选择样本回归函数使得所有Y的估计值与真实值差的平方和为最小，这种确定 岛,bi的方法叫做最小二乘法。最小二乘法是回归分析中的最基本的方法。回归方程一般分为2类，线 性回归方程和非线性回归方程。2.1线性回归最小二乘法最小二乘法是由实验或调查的数据，建立线性型公式的一种常用方法.在建立线性型公式中，虽然有很多种不同的方法来求样本回归函数(即真实总体回归函数的估计值)，但是在回归分析中最广泛应用的方法是最小二乘 法.如果变量x和y有精确的线性关系比如说 y = ax + b ,那么yi = y；即观测 值与回归值是相等的.事实上现实世界中的诸多变量

5、的关系未必都是如此， 由丁受诸多随机因数的干扰使得物与物之间没有那种很明确的对应关系.比如说人的身高和体重就是一个对应，我们都知道长的高的人不一定就重， 同理长的矮的人也不一定就轻.但身高和体重的确存在着一定的关系 ，而这种 关系并非是y=ax+b所能确定的.那么我们要寻求身高和体重之间的关系 就需要通过数学的方法.首先调查统计得出数据；其次把数据描绘出来；然后 拟合一条跟已有的图象最接近的曲线，这样就可以相对地将身高和体重之间 的关系表示出来.在处理类似的事情中常常用到最小二乘法.2.2非线性回归最小二乘法非线性回归的种类很多，常用的有抛物线方程(Y=a+bX+cX2)、指数方程(Y =ab

6、x)等。设已知列表函数 = f(x)(i=0,1,.,m),并且我们想用一个通常的n( <m)次多项式Pn (x ) = a° +ax + . + anXn(1)去近似它。问题是应该如何选择 a0, a,.，an使pn(x)能较好地近似列表函数f(x )。按最小二乘法，应该选择乳.，an使得-T 2S(a。，a”.，an )=£ (f (xj- PnW )(2)i =0取最小。注意到S是非负的，且是ao, ai，an的2次多项式，它必有最小值。求S对ao, ai，an的偏导数，并令其等丁零，得到m- I yi - a0 - aixi -.-为乂广 xk = °

7、; (k=0,1,.,n)i =0进一步，可以将它们写成mmmmZ 乂为"=a0£ x" +a£ xk* +. +an£ xk* (k = 0 , 1 , n.i 至i ri hif引进记号mmSk =Z xik和Uk =Z yxiki zoi zo则上述方程组为S°a° + sa 寸+Snan =u , 0,sia0*sa 半 *sn + an1=u , 1iSna0 * & +a 广 * s nan Un12它的系数行列式是S0SiXniSiS2SnSn iSnsn iS2n由S （i =0,1，,2n）的定义及

8、行列式性质,可以断言X d =n (n 1) !(W(LE 广,n )2 .此处符号W表Vandermonde亍歹0式，而£ 是对所有可能的（i = 0,1，n）求和（每个弓可以取值X0,X1，Xm,并且当2 j时 。由（4）式及Vandermonde行歹0式的性质可知，当x0,x1"b ,xmM异时,W 0, 1, n =1 0-2一 01tn-2Jn=0.从而，Xn+#0。）方程组有唯一解小值如此，我们应用最小二乘法找到了-nJn4,4,，an，且它们使（2）取极f（X）的近似多项式pn（X）.在利用最小二乘法组成和式 时，所有点X都起到了同样的作用，但 是有时依据某种

9、理由认为Z 中的某些项的作用大些，而另外一些作用小些（例如，一些yi是由精度较高的仪器或操作上比较熟练的人员获得的，自然应该予以较大的信任），这在数学上表现为用和(5)m2'、：i f X - Pn Xii 二0n替代和取最小值.Pj A0 ,且£耳=1,耳通常称之为权；而为加权和.i 4用多项式pn (x ) = a0+a1x +anxn去近似一个给定的歹U表函数(即给出 的一组观测值乂 = f w )时。需要确定的参数是a0,a1，,an;而pn(x)可以看 成是ao,ai,，&的线性函数.但是有时在利用观测或实验数据去确定一个经 验公式时，往往要确定的函数和待定

10、参数之间不具有线性形式的关系.这样问题就变得有些复杂.然而，常常可以通过变量替换使其线性化.最小二乘法原理是用来求解线性方程组的，非线性方程经线性化后方可 应用该原理.通常在测量中遇到的问题不一定都是线性问题 ，必须先把非 线性问题线性化，然后求解.例如：(i) 有时，我们希望用如下类型的函数：s = ptq(6)去近似一个由一组观测数据(列表)所描绘的函数，其中 p和q是待定的两 个参数.显然s已非p和q的线性函数.怎样线性化呢？为此，我们在 式两端 取对数，得到Ins = Inp qInt记 Ins =y, Inp =a°,ai =q,x = Int,贝U (6)式变成y = a

11、。 ax .这是一个一次多项式，它的系数 a。和ai可以用最小二乘法求得.(ii)我们经常希望用函数S = AeCt(7)去近似一个以给定的列表函数，其中 A、C是待定的参数.这时，我们可以(7) 的两端取对数： InS =InA CtI己 InS = y, InA = a0，G = q, x = t，则(1.7)式变成y=a0 aix这样仍可用最小二乘法定出a。, (从而也就定出了 A,C ),得到近似函数S = AeCt .下面列出几种常用的线性处理方法，利用最小二乘法的原理对直线型、 抛物线型和指数曲线型的方程的参数估计方法，介绍如下：(1)直线型直线方程的一般形式为Y =a bX令&#

12、163; (Y-C)2=£ (a + bX-C)2为最小值，分另U为a和b求偏导数，并令导数等丁 0,得到联立方程组。解方程组，即可得到参数的计算公式。，a=Y -bX« n£ X Y -£ X 2 Yb =、 花 X2-(£ X)2(2) 抛物线型抛物线方程的一般形式为2Y =a bX cX2令Z (Y-C)2=，(a + bX-C)2为最小值，分别为a、b、c求偏导数，并令导数等丁 0,得到联立方程组解方程组，即可得到参数的计算公式。一 Y - na -b.L X - c.L X? = 0'、Y X2 a' X b'

13、 X2 c' X3 =0'、YX2 -a' X2 -b' X3 -c' X21 =0(3) 指数曲线型指数曲线的一般形式为Y =abX取对数，将指数曲线转化成对数直线形式lg Y = lg a X lgb用最小二乘法估计参数a,b,可有如下方程组丁 lg Y = n lg a lg b ' X 2' (X lgY) =lga、X lg b ' X2解此方程组，可得参数的对数值，查其反对数，即可得参数值。3. 最小二乘法原理的应用3.1最小二乘法原理在线性回归中应用例1.已知2009年3月到2010年4月居民收入与物价信心的满意指数

14、如下 图，求出当期物价满意指数x与时间t的曲线拟合。T123456X29.5028.2025.9021.7021.9013.80解：t=1 2 3 4 5 6;x=29.50 28.2025.90 21.70 21.90 13.80;plot(t,x,'o');30 ,.r111,r28-26-24 -22-20-18-16-14-12 11111111111.522.533.544.555.56polyfit(t,x,1)ans =-2.9029 33.6600则所得到的近似方程为y=-2.9029+33.6600x.3.2最小二乘法原理在非线性回归中的应用例2设已知函数f

15、(x)的表列值为X0.20.50.70.851Y1.2211.6492.0142.3402.718试按最小二乘法构造f (x)的二次近似多项式.解：下面用Matlab程序来求参数30,务和a2.程序如下： x=0.2 0.5 0.7 0.851;y=1.2211.649 2.014 2.340 2.718;plot(x,y,'o');2.8 11111112.6 -2.4 -2.2 -2-1.8 -1.6 -1.4 -1.2 11111JJ0.20.30.40.50.60.70.80.91polyfit(x,y,2)ans =0.9248 0.7553 1.0346即所求 a0

16、=0.9248 , a =0.7553, a2 =1.0346.所求的近似多项式为f(x) =0.9248 0.7553x 1.0346x2 .例3、在某冶炼过程中，根据统计数据的含碳量与时间关系，试求含碳量y与时间t的拟合曲线t0510152025303540455055y01.272.162.863.443.874.154.374.514.584.024.64解：实验程序如下：t=0510 15 20 25 30 35 40 45 50 55;y=01.272.162.863.443.874.154.374.514.584.024.64;plot(t,y,'o');54.5

17、43.532.521.510.51020304050600p=polyfit(t,y,2)P =-0.0024 0.2037 0.2305综上，y与t的拟合曲线是y=-0.0024+0.2037t+0.0.2305 t2。例2设已知如下一组实验数据：t =2.2 2.7 3.5 4.1S =65 60 53 50试求一个S=AeCt型的函数去近似它.解：计算以紧凑的形式表示如下:X。x = Int2 Xy= Insxy10.34240.11721.81290.620710.43140.18611.77820.767110.54410.29601.72430.938210.61280.37551

18、.69901.041141.93070.97487.01443.3671S0U0U1由此得方程组4ao 1.9307a =7.0144,1.9307ao 0.974电=3.3671.解之得 a0 = Inp =1.963,p = 91.9,q = % =0.434S =91.9t4. 小结应用最小二乘法的几个问题：最小二乘法虽然在数据处理方面具有显著的效果，但如果使用不当会导 致很大的误差，甚至错误的结果。因此，在应用时必须注意以下几个问题：(1) 慎重选择拟合关系式。在实际问题中，适当选择拟合关系式是一项 十分谨慎的工作，它将直接影响计算的工作量和结论。(2) 自变量的选择。在实际工作中，对

19、一组实验(x,y1)数据按不同的拟 合形式，结果会不一样。特别注意当两个变量都有一定误差时，应当使用双变 量最小二乘法进行处理，否则可以使用单变量最小二乘法。(3) 加权最小二乘法。此法是应用丁实验测量值V1非等精度的情况下的拟合方法。它不同程度的消除误差因素，结果更准确可靠。设拟合函数为y = f(x),当x值取x1时y的实测值为y1,取6yi-f(x“。mm2加权偏差平方和S = £ w芦i2 =£ w (yi - f (xj),式中Wi为第i个实验点的权 i 4i重因子。选取合适的权重因子 W可获得高精度的拟合参数。(4) 最小二乘原理在很多领域有着广泛应用，利用MATLAB解非常方便， 但一定要组要问题的类型，尤其是数据大且复杂时，来更好的突出 Matlab计 算出线性参数的最佳估计值，提