最小二乘法拟合原理

1、最小二乘法拟合原理最小二乘法拟合原理最小二乘拟合在物理实验中经常要观测两个有函数关系的物理量。根据两个量的许多组观测数据来确定它们的函数曲线，这就是实验数据处理中的曲线拟合问题。这类问题通常有两种情况：一种是两个观测量x与y之间的函数形式已知，但一些参数未 知，需要确定未知参数的最佳估计值； 另一种是x与y之间的函 数形式还不知道， 需要找出它们之间的经验公式。后一种情况常假设x与y之间的关系是一个待定的多项式， 多项式系数就是待定的未知参数，从而可采用类似于前一种情况的处理方法。一、最小二乘法原理在两个观测量中，往往总有一个量精度比另一个高得多，为简单起见把精度较高的观测量看作没有误差，并把

2、这个观测量选作x，而把所有的误差只认为是y的误差。设x和y的函数关系由理论公式 y = f (x; cl , c2 , cm) (0-0-1 ) 给出， 其中cl , c2 , cm是m个要通过实验确定 的参数。对于每组观测数据(xi , yi ) i = 1, 2 , N。都对应于xy平面上一个点。若不存在测量误差， 则这些数据点都准确落在理论曲线上。只要选取m组测量值代入式（0-0-1 ）,便得到方程组 yi=f （x; cl , c2 , cm）（0-0-2 ） 式中 i = 1,2 , m.求m个方程的联立解即得 m个参数的数值。显然Nm时，参数不能确定。在Nm的情况下，式（0-0-2

3、）成为矛盾方程组，不能直接用解方程的方法求得 m个参数值，只能用曲线拟合的方法来处理。设测量中不存在着糸统误差，或者说已经修正，则y的观测值yi围绕着期望值f （x ； cl ,c2 , cm）摆动，其分-布为正态分布，则yi的概率密度为 pyi1yif xi;c1,c2,cmexp22i2i2，式中i是分布的标准误差为简便起见，下面用C代表（cl， c2， cm）。考虑各次测量是相互独立的，故观测值（y1， y2， cN）的似然函数L11exp2 N2N N1 2.i1yi N 2f x;C2i.取似然函数L最大来估计参数C,应使y i1 2 i1 if xi; Cmin 2（0-0-3 ）

4、取最小值：对于y的分布不限于正态分布来说，式（0-0-3 ）称为最小二乘法准则。若为正态分布的情况，则最大似然法与最小二乘法是一致的因权重因子1/，故式 （0-0-3）表明,用最小二乘法来估计参数,要求各测量值yi的偏差的加权平方和为最小2i 2i根据式（0-0-3）的要求,应有xi; C从而得到方程组ck2cX； CCkc c 1, c2, . . . , cmx; cyixi; Ck 1, 2,.(0-0-4)c2, . . . , cm解方程组（0-0-4），即得m个参数的估计值c1, 从而得到拟合的曲线方程。2然而，对拟合的结果还应给予合理的评价。若yi服从正态分布，可引入拟合的x量，

5、 N x 2i 1 N 1 2iyi f xi; C2（ 0-0-5）把参数估计c c1, c2, . . . , cm代入上式并比较式（0-0-3），便得到最小的x2值x 2 min2 2yi 1 2i 1 if xi; c 2（ 0-0-6）2 可以证明，xmin服从自由度v = N-m的x2分布，由此可对拟合结 果作x2检验。由x分布得知，随机变量xmin的期望值为N-m。如果由式（0-0-6 ） 计算出xmin 接近N-m 2 （例如xminN m）,则认为拟合结果是可接受的；如果拟合结果与观测值有显著的矛盾。2 xmin2 N m2, 则认为 二、直线的最小二乘拟合曲线拟合中最基本和

6、最常用的是直线拟合。设x和y之间的函数关系由直线方程y = aO+a1x （0-0-7）给出。式中有两个待定参数，a0代表截距，al代表斜率。对于等精度测量所得到的N组数据（xi , yi ）, i = 1, 2 ,N, xi值被认为是准确的，所有的误差只联系着yi。下面利用最小二乘法把观测数据拟合为直线。1.直线参数的估计前面指出，用最小二乘法估计参数时，要求观测值yi的偏差的加权平方和为最小。对于等精度观测值的直线拟合来说，由式（0-0-3 ）可使N（0-0-8 ）最小即对参数a （代表a0 , al ）最佳估计，要求观测值yi的偏差的平方和为最小。根据式(0-0-8 )的要求，应有i1y

7、ia0alxi2aaa0a1y i1Ni 1Nia0alxia1xi2aa 0a1xi0,2yiai1Nyia0 2aa0a1xi0.2yi ai1N整理后得到正规方程组0Na1xiyi,a0xia1xi2xiyi. a1 。即解正规方程组便可求得直线参数a0和al的最佳估计值a0 和 a 0axyxxy Nxx (0-0-10 ) N xy(0-0-11 ) 2i i i i i 2i 2i ii i i 1 2i 2i 2拟合结果的偏差1是根据有误差的观测数据点计算出来的，它们不可避免由于直线参数的估计值a0和a 地存在着偏差。同时，各个观测数据点不是都准确地落地拟合线上面的，观测值yi与

8、对应于拟合直线上的yi这之间也就有偏差首先讨论测量值yi的标准差S。考虑式（0-0-6），因等精度测量值yi所有的i都相同，可应表示为x 2min1S 2 0yia i1 N 1x.a22(0-0-12)已知测量值服从正态分布时，xmin服从自由度v=N-2的x分布，其期望值 x2 min 21S2 0yia i1 N1xia 2N2. 2i由此可得yi的标准偏差S1Ny2 i1N 0a1xi.;用yi的标准偏差S来估计，故该式在等精度测量值的直线拟合中(0-0-13) 0a这个表示式不难理解,它与贝塞尔公式是一致的，只不过这里计算S时受到两参数1估计式的约束， 故自由度 变为N-2罢了。a

9、和式（0-0-13）所表示的S值又称为拟合直线的标准偏差，它是检验拟合结果是否有效的重要标志。如图0-0-1如果xy平面上作两条与拟合直线平行的直线所示，则全部观测数据点（xi , yi ）的分布，约有68. 3%的点 落在这两条直 0 a 1x S, y a 0 a1x S, ya线之间的范围内。图0-0-1拟合直线两侧数据点的分布下面讨论拟合参数偏差，由式（0-0-10）和（0-0-11）可见，直线拟合的两个参数 估计1是y的函数。因为假定x是精确的，所有测量误差只有y有关，故两个估 计参数值a0和aili的标准偏差可利用不确定度传递公式求得，即N 0aa;Sa1S .Sa0S1i 1yi

10、i1yi把式（0-0-10）与（0-0-11）分别代入上两式，便可计算得 N2 2 Sa0Sx N2i 2i 2xx i ;（0-0-14）2Sa1 SNNxx2ii.（0-0-15）三、相关系数及其显著性检验当我们把观测数据点（xi，yi）作直线拟合时，还不大了解x与y之间线性关系的密切程度。为此要用相关系数（x，y）来判断。其定义已由式（0-0-12）给出，现改写为另一种形式，并改用r表示相关系数，得x riiyi1/2 22xxiii ir 值范围介于-1与+1之间，即-1r1。当r0时直线的斜率为正，称正相关；当r0时直线的斜率为 负，称负相关。当| r| = 1时全部 数据点（xi

11、, yi ）都落在拟合直线上。若r = 0则x与y之间完全不相关。r值愈接近1则它们之间的线性关系愈密切。7OI$z6Nk!y5MiZw3KhY v2JgXu1lfVs+GdUr-FcTq)EbSo*C9QnB8 Pm%A70k!y5Mj #x4LiZw3KhXu 1lfWtOHeVs+G dUq)EbSp(DaRo*C9Q n%A7OI$6Nk!y5Mj#w3 KhY v2JgXu1lf Wt+GdUr-FcTq)EbSp*C9Q nB8Pm%A7OI$y5Mj#x4LiZw3Kh Yv1lfWtOHeVs+GdUr-EbSp(DaRo*C9Q nB70l 4KhY v2JgXu1lfWtO

12、GdUr-FcT B8Pm%A7OI$z6Mj#x4LiZw3Kh +GdUr-FcSp(DaRo*C9Q nB80 x4Lh Yv2JgXu1lfWtOHeUr-Fc B8Pm%A7OI$z6Nk#x4LiZw3K s+GdUr-FcTp(DaRo*C9Q nB8 #x4LiZv2JgXu1lfWtOHeVs-F o*B8Pm %A7OI$z6Nk!x4LiZw$z6Nk!y5Mj#xq)EbSp(D9QnYv2JfWtOHeVsI$z6Nk!y5Mj#Tq)EbSp(DaRnhY v2JgXt0HeVPm$z6Nk!y5MjcTq)EbSp(DaR3KhY v2JgXuOHeVs+GdUr

13、-FcTq)DaRo*C9QB8Pm%6Nlk!y5 Mj#x4LiZw3JgXu1lfWtOHeVs +GcTq)EbSp(DaRo*C8Pm%A7OI$z6Nk!y5LiZ w3KhYv 2JgXu1 IeVs+GdUr-FcTq) EbRo*C9Qn B8Pm%A70k!y 5Mj#x4LiZw3KhXu1lfWtOHeV s+GdTq ) EbSp( DaRo*C9Qm%A7OI$z6Nk!y5ZW3KhYV2JgXu 1IfWs+GdUr-F cTq) EbSp*C9QiB8Pm%A7Oy5Mj#x4LiZw3 K hYu1lfWtOHe Vs+GdUr) EbSp (DaRo*C9

14、QnA 7Ol$z6Nk!y5M j#x3KhY v2JgX u1lfWtOGdUr-FcTq) EbSp(C9 Qn B8P m%A7Ol $z5Mj#x4LiZw3Kh Yv2lfWtOH eVs+Gd Ur-FbS p(DaRo*C9QnB8OI$z6Nk!y5 Mj#x4Kh Yv2Jg Xu1IfWt0HdUr-FcTq) EbSp(D aQnB8Pm%A7OI$z6Nj#x4LZ w3KhYv2JgWt OHeVs+Gd Ur-F cTp(DaRo*C9Qi B8Pl$z6Nk! y5Mj#x4 LiYv2 JgXu1IfWt0He V r-FcTq) EbSp (DaRoB8Pm

15、%AOI$z6Nk!x4L iZ w3KhYv2JgX tOHeVs+G dUr- FcTq(DaRo*C9QnB8Pm%z6N*5Mj#x4 LiZw 2JgXu1IfWtOH eVs+FcTq) EbS p(DaRo*C 8Pm%A7OI$z6Nk!y4 L iZw3KhYv2Jg Xu1HeVs+GdUr -FcTq) EaRo*C9QnB8Pm%A7IN5Mj#x4LiZ w3KgXu1IfWtO HeVs+GdTq) Eb Sp(DaRo *C9Pm %A7OI$z6Nk!y 5MiZw3KhYv2J gXulIfV s+GdU r-FcTq) EbSo* C 9Qn B8Pm%A7

16、OI!y5Mj#x4Li Zw3KhXu1IfWt OHeVs+GdUq)E bSp(DaRo*C9Q n %A7OI$z6Nk!y5Mj#w3Kh Yv2JgXu1lf Wt+Gd Ur-FcTq) EbSp ( C9Q n B8Pm%A7OI$y5M j#x4 LiZw3Kh Yvllf WtOHeVs+GdUrEbSp(Da Ro*C9Q nB7OI$z6Nk!y5Mj#x4Kh Y v2JgXu1lf WtO GdUr-FcTq) Eb Sp(D9Q nB8Pm %A7OI$z6Mj#x 4LiZw3Kh Yv2J fWtOHeVs+GdUr-FcSp(DaRo*C9Q nB8PI$z

17、6Nk!y5Mj#x4LhYv2JgXu1IfWtOHeUr-FcTq)EbSp(DaRnB8Pm%A7OI$z6Nk#x4LiZw3Kh Yv2JgXtOHeVs+G連海道蛊讷匚 Zv2JgXu1 一fwsHevsFCTq ) Ebsp( DaRO*B 8Pm%A7O一Sz6Nk 一 y4 匚 Zw3KhY v2JgxuoHevs+ GdurFCTq) DaRO*c9QnB8pm %A6Nk 一 y5Mttx 4 匚 Zw3JgXx4 匚 Zw3KhYv2JgX UOHevs+GduTFCTq) DaRO*c9QnB8pm%A6Nk 一 y5Mttx4 匚 Zw 3JgXu1 _fwoHev

18、s+FCTq) EbS p(DaR O*c8pm% A7O一Sz6Nk 一 y5 匚 Zw3KhYv2Jg Xul _evs+GduFCTq) EbRO* C 9QnB8pm%A7y5Mttx4 匚 Z w3KgXu1 _fwoHevs+GdTq) Eb spoaR0*0003 %A70一Sz6Nk 一 y5MNw3KhYV2J gxu1_f Ws+Gdu rFCTq) EbSo *C9QnB8Pm%A7 O一一 y5Mttx4 匚Zw3KhY ul _fwfoHevs+Gdu)Ebsp(DaR0*c9 QnA70一Sz6Nk 一 y5Mttx3KhYV 2Jgxu1_fwf+G durFCT

19、q) EbS p (c9QnB8pm 虽 70一sz5Mttx4 匚 zw3KhYV2_f w5Hevs+GduFbsp(DaRO*c9QnB7o一Sz6hk 一 y5Mttx4KhY v2JgXu1 _fw5HdurFCTq) Eb sp(DaQnB8pm%A70_sz6Nttx4 匚 Zw3KhYv2J g wfoHevs+GdurFCSP( DaRO*c9QnB8 卫 Sz6Nk 一 y5Mttx4 匚 Yv2JgXu1 _fwf OHevrFCTq) Ebsp(DaROB8pm%A7o_sz6Nk- x4 匚 zw3KhYV2JgxoHevs+Gd UFCT q(DaRO *c9QnB

20、8pm%z6Nk 一 y5Mttx4Lizw2Jg Xu1_fwoHevs+FCTq)Ebsp(DaRO*B8pm%A7l$z6Nk 一y4匚Zw3KhYv2JgXu1 Hevs+GiurFCTq)EaRO*c9QnB8pm%A7Nk_y5Mttx4uzw3Kgxu1_fwoHevs+GCTq )Ebsp(DaRO*c9pm%A7o一SzlSk 一 y5MiZw3KhY v2JgXu1 _fvs +GduFCTq)E bso*c9QnB8pm %A70k 一 y5Mttx4 匚 Zw3KhXu1 _fwoHevs+Gd uq) Ebsp(DaRQC9Qn%A70_sNk 一 y5Mttw3Kh

21、 Yv2JgXu1 _fwf+Gdu FCTq)EbVs+GdUq) Eb Sp(DaRo*C9Qn %A7OI$z6Nk!y 5MjZw3KhYv2J gXu1lfWs+GdUr-FcTq)EbSp*C9Q nB8Pm%A7 OI$y5Mj#x4LiZw3Kh YvIlfWtOHeVs+GdUr-E bSp(DaRo*C9Qn A7OI$z6Nk!y5Mj#x3Kh Yv2J gXullfWtOGd Ur-FcTq)EbSp(D9Q nB8Pm%A7OI$z6Mj#x4LiZw3Kh Yv 2lfW tOHeVs+GdUr- F bSp(DaRo*C9Qn B8OI$z6Nk!y5Mj#x4

22、Lh Yv 2JgXu1lfWtOH eUr-FcT q) EbSp(DaRnB8Pm%A 7Ol$z 6Nj#x4LiZw3Kh Yv2J gWtOHeVs+GdUr-FcTp(DaRo*C9QnB8Pn$z6Nk!y5Mj#x4Li Zv 2JgXu1IfWt OHeVr-FcTq)E bSp(DaRoB8Pn%A7OI$z6NkX4LiZw3Kh Yv2 JgXuOHeVs+GUr -FcTq)DaRo* C9QnB8 Pm%A6Nk!y5Mj#x4LiZw2JgXu 1IfWt0HeVs+F cTq)EbSp(DaRo*C8Pm%A7OI$ z6Nk!y 8Pm%z6 Nk! y5Mj

23、#x4LiZw2JgXu1lfWt 0HeVs+ FcTq) E bSp(DaRo*C8Pm%A7OI$z6Nk!y5LiZ w3Kh Yv2JgXu1HeVs+G d Ur-FcTq) EaRo *C9Qn B8Pm%A 7Nk!tOHeVs+GdTq)y5Mj#x4LiZw3KgXu1lfWEbSp(DaRo*C9Qm%A7OI$z6Nk !y5MiZ w3Kh Yv 2JgXu1IfVs+GdUr-FcTq)EbS o*C9Q nB8Pm%A7OI! y5Mj#x4LiZw3KhYullf WtOHeVs+GdUQ EbSp(DaRo*C9Q n%A7OI$z6N k!y5M j#w3K

24、h Y v2JgXu1IfWt+GdUr-FcTq) Eb Sp(C9Q nB8Pm %A7OI$z5Mj#x4LiZw3Kh Yvll fWtOH eVs+GdUr-EbSp(DaRo * C9Q nB7OI$z6 Nk!y5Mj#x4Kh Yv2JgX u1IfWt0HdUr-FcTq)EbSp(D9Q nB8 Pm%A7OI$z6Mj#x4LiZw6Nk!y5Mj#x4KhY v2J gXullfWtOGdUr-FcTq) EbSp( D9Q nB8Pm%A7OI$z6Mj#x4LiZw3Kh Yv2JfWtOHeVs+GdUr-F連海道蛊讷csp(DaRO*c9QnB8o一Sz6Nk 一 y5Mttx4LhYV2 JgXul _fwoHeuFCTq) EbSp (DaRnB 8pm%A70_sz6Nk#x4L iZw3KhYv2JgXoHevs+ Gdur FCTP(DaRO*c9QnB8pmsz6Nly5Mttx4 匚 Zv 2JgXu1 _fwoHevsFCTq) EbS poaRO* B8Pm 蚩 70一sz6Nkx4 L iZw3KhYv2Jg XUOHevs+Gdur FCTq) DaRO*c9QnB8pm%A6N k 一 y5Mttx4 匚 Z w3Jgxu1_fwoHevs+GCTq) Eb sp(DaRO*c8pm%A7o一Sz6Nk 一 y5 匚 z