最小二乘法综述及举例

1、最小二乘法综述及算例一最小二乘法的历史简介1801年，意大利天文学家朱赛普皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没奥尔伯斯根据有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希 高斯计算出来的轨道重新发现了谷神星。中。随着现代电子计算高斯使用的最小二乘法的方法发表于1809年他的著作大体运动论经过两百余年后，最小二乘法已广泛应用与科学实验和工程技术中， 机的普及与发展，这个方法更加显示出其强大的生命力。 二最小

2、二乘法原理最小二乘法的基本原理是：成对等精度测得的一组数据xi,yi(i =1,2,.,n),是找出一条最佳的拟合曲线，似的这条曲线上的个点的值与测量值的差的平方和在所有拟合曲线中最小。设物理量y与1个变量xi,x2,.,xi间的依赖关系式为：y= f (xi,x2,., xi；a0, ai,., an)。其中a0,a1,.,an是n +l个待定参数,记s = £ (v y )其中vi是测量值，vi是由己求得的i Wao，ai，.，an以及实验点(xi,xi2,.,xii；vi)(i =1,2,.,m)得出的函数值y = f (xi1, xi2,.,xil; a0, a1,., an

3、)。在设计实验时，为了减小误差，常进行多点测量，使方程式个数大于待定参数的个数 ， 此时构成的方程组称为矛盾方程组。通过最小二乘法转化后的方程组称为正规方程组(此时方程式的个数与待定参数的个数相等)。我们可以通过正规方程组求出 a最小二乘法又称曲线拟合，所谓“拟合”即不要求所作的曲线完全通过所有的数据点 ， 只要求所得的曲线能反映数据的基本趋势。三曲线拟合曲线拟合的几何解释：求一条曲线，使数据点均在离此曲线的上方或下方不远处。(1) 一元线性拟合设变量y与x成线性关系y=a0+ax,先已知m个实验点xi,vi(i = 1,2,.,m),求两个未知参数a0, a1 °m2: s令 s

4、= £ (y a0axi)，则 a0,a应满足 丁 = 0,i =0,1。；ais=一2£ （y-a。qx） =0:a0 i 4:s疽/=-2 （yi _a。_axi） =0：aii 4化简得一 ai.m .1a m iAXi =mmyi imma" 乂a1' xiyi Li 1-.从中解出m xyx、yii A i 1ai 二mmim xiLt xi旧i4mma0=m：y-mLxi（2）多元线性拟合设变量y与n个变量X，沦."xKn芝1）的内在联系是线性的，即有下式ny = a。土 a1 xjj ±设xj的第i次测量值为xij ,对应

5、的函数值为yi =（1,2,-,m）,则偏差平方和2m匕ms =、yi _y= '、 y -a。-axi =1i=1为使S去得最小值的方程组- mi -a0 _ ax = 0j1旦=2 -a。i d- m：STn.=-2源 yi -a。二 ajxj x” =0a1i* .j-m竺=一2£L an i 4即yi _a0 ajxij xin = 0n m ma0 -1.1j 1 J 1mnZ xka0+£ i =1j =1k=1,2,.,n。（4）mxij a = ' vz m*mZ xijxk 切=Z xiky<i =i/i m将实验数据（xj,yi）代

6、入（4）式，即得a0,a1,.,an。（3）多项式拟合科学实验后得到一组数据时，常会遇到因变量y与自变量x之间根本不存在线性关系。此可以考虑用一个n次多项式来拟合y与x之间的函数关系。n对于n多项式y=£ aix1，令x =x¥j =0,1,.,n）,则可将其化为线性形式：i =0ny = ao 、ajxj皂对于i=1,2,.,m个实验点有xj =x?，代入（3）式有n / mmma+£ iZ xij1aj =£ yj皂7注 ik = 1,2,., nmn ，mmZ xkao +Z ZxijxikOj =£ Xkyjj a、m从而得出多项式的最

7、小二乘法拟合的方程n / m mX X x* ¥i=，xky k=0,1,.,ni 注i 旦 )i =1写成矩阵的形式即为mmm飞< mmZ xiz2xi.n£为zymi=1mi=1mi=1mmzxiz x2z3xi.寸n +Z xa1zxiyii Mi 土i 4im.i注.m.m.m.m<an J.mzn 为寸n Hf2- xiznd2 x.2 n2- Xzn 为yi<i MiMii经JLi兰J从中可以解出ao, ai,.,an。（4）指数函数拟合此时拟合函数具有形式 y=aebx （a, b为待定系数）。两端取自然对数有In y = In a bx （

8、*）令 Y = In y bo = In a则（*）式化为线性形式Y =b。十bx再利用（1）式和（2）式，即可求出bo,b。从而有a = e。故y = e"*'。四最小二乘法应用举例例：已知某铜棒的电阻与温度关系为：R = R0 +ot -t。实验测得7组数据（见表1）如下:试用最小二乘法求出参量 Ro、a以及确定它们的误差。表1t / C19.125.130.136.040.045.150.1Rt /76.3077.8079.7580.8082.3583.9085.10此例中只有两个待定的参量 R0和a,为得到它们的最佳系数， 所需要的数据有n、£ X、W y、

9、W Xi2、£ y和£ XiYi六个累加数，为此在没有常用的科学型计算器时，通过列表计算的方式来进行，这对提高计算速度将会有极大的帮助（参见表2）,并使工作有条理与不易出错。其中表内双线右边的计算是为了确定R。和a的误差项用的。表2it/ C(Xi )Rt / Q (yi )t X t(x2i )RtX Rt (y2i )t x Rt(为 yi )R计算/ Q。/ QV2 X 10-4119.176.30364.85821.71457.376.26+0.0416225.177.80630.06052.81952.877.99-0.19361330.179.75906.063

10、60.12400.579.43+0.321024436.080.801296.06528.62908.881.13-0.331089540.082.351600.06781.53294.082.28+0.0749645.183.902034.07039.23783.983.75+0.15225750.185.102510.07242.04263.585.19-0.0981n =7£ Xi =245.5Z V =566.00一 2£ Xi =9340.8Z y：=45826，x yi =20060.8寸2z Vi =一一 -42845X10根据表2中所求得的数据，代入公式(1

11、2)则可得：:7 20060.8 -245.5 566.001472.6。八 =k =20.287881 / C7 9340.8 -(245.5)25115.35566.00245.5R0 =b = 0.28788 = 70.76078"77把测量数据代入式（13）和（15）中可求出相关系数xb x' yin212212 _一 Xi - (._ Xi) ._ yi - (._ yi ) nn20060.8-245.5 566.007(245.5)2(566.00)29340.8 (45826)=kx2 -1e Xi)2n= 0.28788、y2 -1T yi)2n(245.5

12、)29340.8 7 2 =0.99757(566.00)245826 7说明：电阻Rt与温度t的线性关系良好，所以取Ro的有效数字与 R对齐，即R°= 70.7心;又因为t7-11 = 31.0 C, R7 Ri = 8.800，取k有效数字为以上两个差值中较少的位数3位，则k = 0.288Q/P。由此可以得到电阻与温度的相关关系为：Rt =70.76 0.288t按补充资料中的公式计算k和b的不确定度，可得Sy = SRtsk =s：n 2Sy2845 10 x0.239(")7 -20.239,=0.239 x(9340.8 竺55-.70.03699 =0.0088("/ C)=0.0088 一 J9340'8 = 0.33(0) n7故R0 =(70.76 ±0.33)Q =(70.8 ±0.3)。，:=(0.2879 一 0.009)" / C = (0.288 一 0