最小二乘法及其应用..

1、最小二乘法及其应用 1. 引言 最小二乘法在19世纪初发明后，很快得到欧洲一些国家的天文学家和测 地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最 小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百 科全书第7版,亦收入有关方法的介绍。同时，误差的分布是“正态”的，也 立刻得到天文学家的关注及大量经验的支持。如贝塞尔(F. W. Bessel, 1784 1846)对几百颗星球作了三组观测，并比较了按照正态规律在给定范围内 的理论误差值和实际值，对比表明它们非常接近一致。拉普拉斯在1810年也 给出了正态规律的一个新的理论推导并写入其分析概论中。

2、正态分布作 为一种统计模型，在19世纪极为流行，一些学者甚至把19世纪的数理统计学 称为正态分布的统治时代。在其影响下，最小二乘法也脱出测量数据意义之 外而发展成为一个包罗极大，应用及其广泛的统计模型。到20世纪正态小样 本理论充分发展后，高斯研究成果的影响更加显著。最小二乘法不仅是19世 纪最重要的统计方法，而且还可以称为数理统计学之灵魂。相关回归分析、 方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论 基础。正如美国统计学家斯蒂格勒(S. M. Stigler) 所说，“最小二乘法之 于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方 法所以研究最小二乘法原

3、理及其应用对于统计的学习有很重要的意义。 2. 最小二乘法 所谓最小二乘法就是：选择参数b0, b1,使得全部观测的残差平方和最小 用数学公式表示为： 2八22 min u (Yi - Y)2 一 (Yj - b0 - b )2 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为 例. Y = B。B1Xj讥 (一元线性回归方程) 由于总体回归方程不能进行参数估计，我们只能对样本回归函数来估计即: Y 二 bo b)Xi ei (i 二 1,2.n) 从上面的公式可以看出：残差ei是Yi的真实值与估计值之差，估计总体 回归函数最优方法是，选择Bo,Bi的估计量bo,bi，使得残差e

4、i尽可能的小. 总之，最小二乘原理就是选择样本回归函数使得所有丫的估计值与真实 值差的平方和为最小，这种确定bo,bi的方法叫做最小二乘法。 最小二乘法是回归分析中的最基本的方法。回归方程一般分为2类，线 性回归方程和非线性回归方程。 2.1线性回归最小二乘法 最小二乘法是由实验或调查的数据，建立线性型公式的一种常用方法. 在建立线性型公式中，虽然有很多种不同的方法来求样本回归函数 (即真实 总体回归函数的估计值)，但是在回归分析中最广泛应用的方法是最小二乘 法. 如果变量x和y有精确的线性关系比如说 y =ax b ,那么yi二yi即观测 值与回归值是相等的.事实上现实世界中的诸多变量的关系

5、未必都是如此， 由于受诸多随机因数的干扰使得物与物之间没有那种很明确的对应关系.比 如说人的身高和体重就是一个对应， 我们都知道长的高的人不一定就重， 同 理长的矮的人也不一定就轻.但身高和体重的确存在着一定的关系 ，而这种 关系并非是y =ax b所能确定的.那么我们要寻求身高和体重之间的关系 就需要通过数学的方法.首先调查统计得出数据；其次把数据描绘出来；然后 拟合一条跟已有的图象最接近的曲线，这样就可以相对地将身高和体重之间 的关系表示出来.在处理类似的事情中常常用到最小二乘法. 2.2非线性回归最小二乘法 非线性回归的种类很多，常用的有抛物线方程（Y=abX cX2）、指 数方程（Y

6、=abx）等。 设已知列表函数yi =f（xj（i =0,1，,m），并且我们想用一个通常的 n（ ： m）次多项式 Pn X 二 ao yx . anXn（ 1） 去近似它。问题是应该如何选择a0，印，an使pn x能较好地近似列表函 数f x。按最小二乘法，应该选择ao，ai,., an使得 m 2 (2) S a。，ai,.,an八 f X - pn x i =0 取最小。注意到S是非负的，且是ao, ai，.，an的2次多项式，它必有最小值。 求S对ao, ai,., an的偏导数，并令其等于零，得到 m - - a。- a/i -. - anxj xj = 0 (k = 0,1,.,

7、 n) i 进一步，可以将它们写成 mmmm 二 /Xi1二a0二 xik - ar xk 1. an二 xk n (k = 0,1,n. =o 引进记号 i =o i =0i =0 mm Sk =送 Xik和Uk =送 yiXik inin 则上述方程组为 rs)a0 + sa 打lt+Snan = u , so + s a 卄lt+Sn+an1=u , 1 川 Illi川 Mil 川 lllllil 川 I 胛0 +SnW 旷川+Snan =Un 它的系数行列式是 S) 3 III Sn Xn舟= S2 III Snd1 * * K H F Sn S1 + III S2n 由s(i =0,

8、1川,2n)的定义及行列式性质， 可以断言 1 2 Xn 十一-Z川，n ). (n + 1 ) ! 此处符号W表Vandermonde亍列式，而是对所有可能的i( = 0,1|, n)求 和(每个i可以取值Xo , X|, | 1( , Xm ,并且当 j时i = j。由(4)式及 Van dermo nde行列式的性质可知，当x0,xjl|,xm互异时， 1 1 IH 1 t 0 一 1 IH t n m-01JlUn 戶 巴2 -0 芒2 一 1 IH 巴2 n 式0. + 巴n -0 巴n 一1 IH F 巴n n 从而，Xn十H0(a0 )方程组有唯 解 a, a1 ，川, an ,

9、且它们使取极 小值如此，我们应用最小二乘法找到了 f x的近似多项式pn x . 在利用最小二乘法组成和式 时，所有点X都起到了同样的作用，但 是有时依据某种理由认为中的某些项的作用大些，而另外一些作用小些 (例如，一些y是由精度较高的仪器或操作上比较熟练的人员获得的，自然 应该予以较大的信任)，这在数学上表现为用和 m 2 ：i f x - Pn X( 5) i 二0 n 替代和取最小值 q .0，且-；1,i通常称之为权；而为加权和. i 用多项式Pn xa0 a1xanxn去近似一个给定的列表函数(即给出 的一组观测值 = f Xi时。需要确定的参数是ao,ai,|)(,an；而Pn x

10、可以看 成是ao, aiJ|, an的线性函数但是有时在利用观测或实验数据去确定一个经 验公式时，往往要确定的函数和待定参数之间不具有线性形式的关系.这样 问题就变得有些复杂然而，常常可以通过变量替换使其线性化 最小二乘法原理是用来求解线性方程组的，非线性方程经线性化后方可 应用该原理.通常在测量中遇到的问题不一定都是线性问题，必须先把非 线性问题线性化，然后求解例如： (i )有时，我们希望用如下类型的函数： s = ptq(6) 去近似一个由一组观测数据(列表)所描绘的函数，其中 P和q是待定的两 个参数.显然s已非p和 q的线性函数.怎样线性化呢？为此，我们在 式两端 取对数，得到 In

11、s 二 Inp qlnt 记 Ins 二 y, I np 二 a。, ai 二 q,x = I nt,贝 U (6)式变成 y = a。 aix . 这是一个一次多项式，它的系数ao和ai可以用最小二乘法求得. (ii) 我们经常希望用函数 S = AeCt(7) 去近似一个以给定的列表函数，其中 A、C是待定的参数.这时，我们可以(7) 的两端取对数： InS 二 InA Ct 记 InS 二 y, InA 二 a0Q =印，x = t，则(1.7)式变成 y 二 aoaix 这样仍可用最小二乘法定出a。 （从而也就定出了 A,C ），得到近似函数 S = AeCt 下面列出几种常用的线性处

12、理方法，利用最小二乘法的原理对直线型、 抛物线型和指数曲线型的方程的参数估计方法，介绍如下： （1）直线型 直线方程的一般形式为 Y = a bX 令（Y-C）2八（a FX-C）2为最小值，分别为a和b求偏导数，并 令导数等于0,得到联立方程组。解方程组，即可得到参数的计算公式。 a=Y _bX /n送X Y 送X送丫 b =22 .n瓦 X2-（瓦 X）2 （2）抛物线型 抛物线方程的一般形式为 2 Y = a bX cX 2 令 （ -C） （a bX -C）2为最小值，分别为a、b、c求偏导数, 并令导数等于0,得到联立方程组解方程组 即可得到参数的计算公式 Y - na - b. X

13、 - c_ X ? = 0 Y X2 _a X _b X2 _c x3 =0 Z YX2 _a送 X2 _bZ X3 _c瓦 x4 =0 （3）指数曲线型 指数曲线的一般形式为 Y = abX 取对数，将指数曲线转化成对数直线形式 lg Y = lg a X lg b 用最小二乘法估计参数a,b,可有如下方程组 lg Y 二 n lg a lg b X 二(X IgY) =lga X lg b X2 解此方程组，可得参数的对数值，查其反对数，即可得参数值。 3. 最小二乘法原理的应用 3.1最小二乘法原理在线性回归中应用 30 28 26 24 22 20 18 16 14 12 1.5 2.

14、5 3.5 4.5 5.5 例1.已知2009年3月到2010年4月居民收入与物价信心的满意指数如下 图，求出当期物价满意指数x与时间t的曲线拟合。 T 1 2 3 4 5 6 X 29.50 28.20 25.90 21.70 21.90 13.80 解： t=1 2 3 4 5 6; x=29.50 28.2025.90 21.70 21.90 13.80; plot(t,x,o); polyfit(t,x,1) ans = -2.9029 33.6600 则所得到的近似方程为 y=-2.9029+33.6600 x. 3.2最小二乘法原理在非线性回归中的应用 例2设已知函数f (x)的表

15、列值为 X 0.2 0.5 0.7 0.85 1 Y 1.221 1.649 2.014 2.340 2.718 试按最小二乘法构造f (x)的二次近似多项式. 解：下面用Matlab程序来求参数a。和a2. 程序如下： x=0.2 0.5 0.7 0.851; y=1.2211.6492.0142.3402.718; plot(x,y,o); 2.8 2.6 2.4 2.2 2 1.8 1.6 1.4 1.2 0.20.30.40.50.60.70.80.91 polyfit(x,y,2) ans = 0.92480.75531.0346 即所求 30=0.9248 , a1 =0.7553

16、 , 32=1.0346. 所求的近似多项式为 f(x) =0.9248 0.7553X 1.0346x2 . 例3、在某冶炼过程中，根据统计数据的含碳量与时间关系，试求含碳 量y与时间t的拟合曲线 t 0 5 10 15 20 25 30 35 40 45 50 55 y 0 1.27 2.16 2.86 3.44 3.87 4.15 4.37 4.51 4.58 4.02 4.64 解：实验程序如下： t=0510 15 20 25 30 35 40 45 50 55; y=01.272.162.863.443.874.154.374.51 4.584.024.64; plot(t,y,o

17、); 5厂 4.5 - 4 - 3.5 - 3 - 2.5 - 2 - 1.5 - 1 - 0.5 - 0 L 01020304050 p=polyfit(t,y,2) P = -0.00240.20370.2305 综上，y与t的拟合曲线是 y=-0.0024+0.2037t+0.0.2305t2。 例2设已知如下一组实验数据： t =2.2 2.7 3.5 4.1 S =65 60 53 50 试求一个S二AeCt型的函数去近似它. 60 解：计算以紧凑的形式表示如下: X。 x = Int x2 y = Ins xy 1 0.3424 0.1172 1.8129 0.6207 1 0.4

18、314 0.1861 1.7782 0.7671 1 0.5441 0.2960 1.7243 0.9382 1 0.6128 0.3755 1.6990 1.0411 4 1.9307 0.9748 7.0144 3.3671 S0 S S2 Uo U1 由此得方程组 4a0 1.9307a, =7.0144, 1.9307a 0.9748a, =3.3671. 解之得 a0 = Inp =1.963, p = 91.9, q = ai - -0.434 从而 0.434 S =91.9t 4. 小结 应用最小二乘法的几个问题： 最小二乘法虽然在数据处理方面具有显著的效果，但如果使用不当会导

19、 致很大的误差，甚至错误的结果。因此，在应用时必须注意以下几个问题： (1) 慎重选择拟合关系式。在实际问题中，适当选择拟合关系式是一项 十分谨慎的工作，它将直接影响计算的工作量和结论。 (2) 自变量的选择。在实际工作中，对一组实验x1,y1数据按不同的拟 合形式,结果会不一样。特别注意当两个变量都有一定误差时，应当使用双变 量最小二乘法进行处理，否则可以使用单变量最小二乘法。 (3) 加权最小二乘法。此法是应用于实验测量值Y1非等精度的情况下 的拟合方法。它不同程度的消除误差因素，结果更准确可靠。 设拟合函数为y = f（x）,当x值取xi时y的实测值为取“-f（x,卜 mm2 加权偏差平方和s = vwi yf xi ,式中wi为第i个实验点的权 i 4i=J 重因子。选取合适的权重因子 Wi可获得高精度的拟合参数。 （4）最小二乘原理在很多领域有着广泛应用，利用MATLAB解非常方便， 但一定要组要问题的类型，尤其是数据大且复杂时，来更好的突出 Matlab计 算出线性参数的最佳估