第十一讲_数据拟合与线性最小二乘拟合

1、数据拟合与线性最小二乘法数据拟合与线性最小二乘法数据拟合与线性最小二乘法数据拟合与线性最小二乘法张兴元张兴元2003.04数据拟合与线性最小二乘法数据拟合与线性最小二乘法1 1曲线拟合的提法与求解思路曲线拟合的提法与求解思路 1 1）. .提法提法 曲线拟合问题的提法曲线拟合问题的提法是，已知一维（二维）数据，即平面上的是，已知一维（二维）数据，即平面上的n n个个点点(x(xi i，y yi i) )，i=1,2,i=1,2,n,n，x xi i互不相同，寻求一个函数互不相同，寻求一个函数( (曲线曲线) ) y=f(xy=f(x) ) ，使，使f(x)f(x)在某种准则下与所有数据点最为接

2、近，即曲线拟合在某种准则下与所有数据点最为接近，即曲线拟合的最好，如下图所示的最好，如下图所示( (图中图中i i为为(x(xi i，y yi i) )与与y=f(x)y=f(x)的距离的距离) )。 2 2）. .求解思路求解思路 线性最小二乘法是解决曲线拟合最常用的方法。线性最小二乘法是解决曲线拟合最常用的方法。 基本思路基本思路是，令是，令 f(x)=af(x)=a1 1r r1 1(x)+a(x)+a2 2r r2 2(x)+(x)+a+am mr rm m(x(x) (1) (1)其中其中r rk k(x(x) )是事先选定的一组函数，是事先选定的一组函数，a ak k是待定系数是待

3、定系数(k=1,2,(k=1,2,m,m，mn)mn)。拟合准则是使拟合准则是使n n个点个点(x(xi i，y yi i) )，i=1,2,i=1,2,n,n，与，与y=f(xy=f(xi i) )的距离的距离i i 的平的平方和最小，称为方和最小，称为最小二乘准则最小二乘准则。 Oxyi(xi，yi)数据拟合与线性最小二乘法数据拟合与线性最小二乘法2 2线性最小二乘法线性最小二乘法 1 1）. .理论理论基本理论之基本理论之a ak k的确定的确定 根据最小二乘准则，记根据最小二乘准则，记J(aJ(a1 1，a a2 2，a am m)= )= n1i2i)2(y)x( f n1i2ii

4、为求为求a a1 1，a a2 2，a am m是是J J达到最小，只需要利用极值的必要条件达到最小，只需要利用极值的必要条件 , )m.,1k(0aJk， 得到关于得到关于a a1 1，a am m的线性方程组的线性方程组 )3(0y)x(ra )x(r.0y)x(ra )x(rim1kikkn1iimim1kikkn1ii1 数据拟合与线性最小二乘法数据拟合与线性最小二乘法2 2线性最小二乘法线性最小二乘法 记记 mnnmn11m11)x(r.)x(r.)x(r.)x(r ，A=(aA=(a1 1，a a2 2，a am m) )T T，y=(yy=(y1 1，y yn n) )T T，

5、方程组方程组(3)(3)可表为可表为R RT TRA=RRA=RT Ty y (4) (4)(4)(4)称为法方程组，当称为法方程组，当rr1 1(x)(x)，r rm m(x(x)线性无关时，线性无关时，R R列满秩，列满秩，R RT TR R可逆，于是方程组可逆，于是方程组(4)(4)有唯一解有唯一解A=(RA=(RT TR)R)-1-1R RT Ty (5)y (5)可以看出，只要可以看出，只要f(x)f(x)关于待定系数关于待定系数a a1 1，a am m线性，在最小二乘准则线性，在最小二乘准则（2 2）下得到的方程组）下得到的方程组(3)(3)关于关于a a1 1，a a2 2，a

6、 am m也一定是线性的，故称线也一定是线性的，故称线性最小二乘法。性最小二乘法。 数据拟合与线性最小二乘法数据拟合与线性最小二乘法2 2线性最小二乘法线性最小二乘法 2) 2) 理论理论_函数函数r rk k(x(x) )的选取的选取 面对一组数据面对一组数据(x(xi i，y yi i) )，i=1,2,i=1,2,n,n，用线性最小二乘法作曲线拟合时，用线性最小二乘法作曲线拟合时，首要的、也是关键的一步是恰当地选取首要的、也是关键的一步是恰当地选取r r1 1(x)(x)，r r2 2(x)(x)，r rm m(x(x) )。 如果通过机理分析，能够知道如果通过机理分析，能够知道y y与

7、与x x之间应该有什么样的函数关系，则之间应该有什么样的函数关系，则r r1 1(x)(x)，r rm m(x(x) )容易确定。容易确定。 若无法知道若无法知道y y与与x x之间的关系，通常可以将数据之间的关系，通常可以将数据(x(xi i，y yi i) )，i=1,2,i=1,2,n,n作图，直观地判断应该用什么样的曲线去作拟合。人们常用的参数曲线有作图，直观地判断应该用什么样的曲线去作拟合。人们常用的参数曲线有u u 直线直线y=ay=a1 1x+ax+a2 2u u 多项式多项式 y=ay=a1 1x xm m+ +a+am mx+ax+am+1m+1 ( (一般一般m=2,3,m

8、=2,3,不宜过高不宜过高) )u u 双曲线（一支）双曲线（一支） y=ay=a1 1/x+a/x+a2 2u u 指数曲线指数曲线 对于指数曲线，拟合前需作变量代换，化为对对于指数曲线，拟合前需作变量代换，化为对a a1 1，a a2 2的线性函数。的线性函数。已知一组数据，用什么样的曲线拟合最好，可以在直观判断的基础上，选已知一组数据，用什么样的曲线拟合最好，可以在直观判断的基础上，选择集中曲线分别作拟合，然后比较，看那条曲线的最小二乘指标择集中曲线分别作拟合，然后比较，看那条曲线的最小二乘指标J J最小。最小。 数据拟合与线性最小二乘法数据拟合与线性最小二乘法2 2线性最小二乘法线性最

9、小二乘法 3 3）求解方法）求解方法（1 1） 描出数据的图示；描出数据的图示；（2 2） 观察并选择不同的数学模型进行拟合；观察并选择不同的数学模型进行拟合；（3 3） 比较多种拟合结果，选择其中较好的一种或者某几种作为备选结比较多种拟合结果，选择其中较好的一种或者某几种作为备选结果；果； 注意：通常需要将非线性函数注意：通常需要将非线性函数r rk k(x(x) )的转化成线性的函数的转化成线性的函数R Rk k(x(x) )， 然后再用然后再用R Rk k(x(x) )进行拟合，计算中通常需要列下表：进行拟合，计算中通常需要列下表： i i0 01 1n nx xi ix x0 0 x

10、x1 1x xn ny yi i=f(x=f(xi i) )y y0 0y y1 1y yn nR R1 1(x)(x)R R1 1(x(x0 0) )R R1 1(x(x1 1) )R R1 1(x(xn n) )R Rm m(x(x) )R Rm m(x(x0 0) )R Rm m(x(x1 1) )R Rm m(x(xn n) )这样就容易确定出法方程组这样就容易确定出法方程组R RT TRA=RRA=RT Ty y。上表中后面的。上表中后面的m m行即为行即为R RT T。 数据拟合与线性最小二乘法数据拟合与线性最小二乘法2 2线性最小二乘法线性最小二乘法 3 3）. .算例算例 例例

11、 给定数据给定数据(x(xi i，f(xf(xi i)，i=0,1,2,3,4i=0,1,2,3,4，见下表，使选择适当的模型，见下表，使选择适当的模型，求最小二乘拟合函数求最小二乘拟合函数g(x)g(x)。 i i0 01 12 23 34 4x xi i1.001.001.251.251.501.501.751.752.002.00f(xf(xi i) )5.105.105.795.796.536.537.457.458.468.46Y Yi i=lnf(x=lnf(xi i) )1.6291.6291.7561.7561.8761.8762.0082.0082.1352.135解：解：（

12、1 1）、先描出数据的图示）、先描出数据的图示 数据拟合与线性最小二乘法数据拟合与线性最小二乘法2 2线性最小二乘法线性最小二乘法 （2 2）选定不同的数学模型或者）选定不同的数学模型或者r rk k(x(x) )进行拟合进行拟合 直线模型直线模型 y=a+bxy=a+bx 选取线性函数模型，选取选取线性函数模型，选取Y=a+bxY=a+bx，此时，此时，。要。要求求 Y=a+bxY=a+bx与与(x(xi i，y yi i) )，i=0,1,2,3,4i=0,1,2,3,4，做最小二乘拟合，做最小二乘拟合，Y Yi i=f(x=f(xi i) )。 列表计算如下：列表计算如下： i i0 0

13、1 12 23 34 4x xi i1.001.001.251.251.501.501.751.752.002.00Y Yi i=f(x=f(xi i) )5.105.105.795.796.536.537.457.458.468.46r r1 1(x)(x)1 11 11 11 11 1r r2 2(x)(x)1.001.001.251.251.501.501.751.752.002.00 00. 2175. 1150. 1125. 1111R RRT 00. 2175. 1150. 1125. 111100. 275. 150. 125. 1111111 875.1150. 750. 75

14、数据拟合与线性最小二乘法数据拟合与线性最小二乘法2 2线性最小二乘法线性最小二乘法 YRT 46. 845. 753. 679. 510. 500. 275. 150. 125. 1111111 09.5233.33求解法方程组求解法方程组 09.5233.33ba875.1150. 750. 75得到得到 a=1.6380a=1.6380，b=3.3520b=3.3520，于是得到该模型下的最小二乘拟合曲线为于是得到该模型下的最小二乘拟合曲线为g(x)=1.6380+3.3520 xg(x)=1.6380+3.3520 x。 数据拟合与线性最小二乘法数据拟合与线性最小二乘法2 2线性最小二乘

15、法线性最小二乘法 多项式模型多项式模型 y=ay=a0 0+a+a1 1x+ax+a2 2x x2 2 选取线性函数模型，选取选取线性函数模型，选取Y=a+bx+cxY=a+bx+cx2 2，此时，此时， r r1 1(x)=1(x)=1，r r2 2(x)=x(x)=x，r r3 3(x)=x(x)=x2 2。 要求要求Y=a+bx+cxY=a+bx+cx2 2与与(x(xi i，y yi i) )，i=0,1,2,3,4i=0,1,2,3,4，做最小二乘拟合，做最小二乘拟合，Y Yi i=f(x=f(xi i) )。列表计算如下：。列表计算如下： i i0 01 12 23 34 4x x

16、i i1.001.001.251.251.501.501.751.752.002.00Y Yi i=f(x=f(xi i) )5.105.105.795.796.536.537.457.458.468.46r r1 1(x)=1(x)=11 11 11 11 11 1r r2 2(x)=x(x)=x1.001.001.251.251.501.501.751.752.002.00r r3 3(x)=x(x)=x2 21.001.001.56251.56252.252.253.06253.06254.004.00 0000. 400. 210625. 375. 112500. 250. 11562

17、5. 125. 110000. 111R RRT 0000. 400. 210625. 375. 11250. 250. 115625. 125. 110000. 11100. 40625. 325. 25625. 1100. 275. 150. 125. 1111111 8828125.336875.198750.11687500.198750.1150. 7875000.1150. 75数据拟合与线性最小二乘法数据拟合与线性最小二乘法2 2线性最小二乘法线性最小二乘法 YRT 46. 845. 753. 679. 510. 500. 40625. 325. 25625. 1100. 275

18、. 150. 125. 1111111 85.49552.09033.330求解法方程组得到求解法方程组得到 a=3.6294a=3.6294，b=0.5406b=0.5406，c=0.9371c=0.9371，于是得到该模型下的最小二乘拟合曲线为于是得到该模型下的最小二乘拟合曲线为g(x)=3.6294+0.5406x+0.9371xg(x)=3.6294+0.5406x+0.9371x2 2数据拟合与线性最小二乘法数据拟合与线性最小二乘法2线性最小二乘法线性最小二乘法 双曲线模型双曲线模型 y=1/(ay=1/(a0 0+a+a1 1x)x) 选取双曲函数模型，例如，选取选取双曲函数模型，

19、例如，选取y=1/(ay=1/(a0 0+a+a1 1x)x)，令，令Y=1/y=aY=1/y=a0 0+a+a1 1x x， 此时，此时，r r1 1(x)=1(x)=1，r r2 2(x)=x(x)=x。 要求要求Y=aY=a0 0+a+a1 1x x与与(x(xi i，y yi i) )，i=0,1,2,3,4i=0,1,2,3,4，做最小二乘拟合，做最小二乘拟合，Y Yi i=1/f(x=1/f(xi i) )。列表计算如下：。列表计算如下： i01234xi1.001.251.501.752.00f(xi)5.105.796.537.458.46Yi=1/f(xi)0.1960780

20、.1727120.1531390.1342280.118203r1(x)11111r2(x)1.001.251.501.752.00 00. 2175. 1150. 1125. 1111R RRT 00. 2175. 1150. 1125. 111100. 275. 150. 125. 1111111 875.1150. 750. 75数据拟合与线性最小二乘法数据拟合与线性最小二乘法2 2线性最小二乘法线性最小二乘法 YRT 118203. 0134228. 0153139. 0172712. 0196078. 000. 275. 150. 125. 1111111 11299. 177436

21、. 0求解法方程组得到求解法方程组得到 a a0 0=0.27139=0.27139，a a1 1=-0.07768=-0.07768，于是得到该模型下的最小二乘拟合曲线为于是得到该模型下的最小二乘拟合曲线为g(x)=1/(0.27139-0.07768x)g(x)=1/(0.27139-0.07768x)。 数据拟合与线性最小二乘法数据拟合与线性最小二乘法2线性最小二乘法线性最小二乘法 l l 指数曲线模型指数曲线模型 y=aey=aebxbx 根据给定数据选择数据模型根据给定数据选择数据模型y=aey=aebxbx，取对数，取对数lny=lna+bxlny=lna+bx， 令令Y=lnyY

22、=lny，A=lnaA=lna，取，取r r1 1(x)=1(x)=1，r r2 2(x)=x(x)=x， 要求要求Y=A+bxY=A+bx与与(x(xi i，Y Yi i) )，i=0,1,2,3,4i=0,1,2,3,4，做最小二乘拟合，做最小二乘拟合，Y Yi i=lnf(x=lnf(xi i) )。计算结果如下。计算结果如下： i01234xi1.001.251.501.752.00f(xi)5.105.796.537.458.46Yi=lnf(xi)1.6292405401.7561322921.876406942.008214032.13534917r1(x)11111r2(x)1.001.251.501.752.00 00. 2175. 1150. 1125. 1111R RRT 00. 2175. 1150. 1125. 111100. 275. 150. 125. 1111111 875.1150. 750. 75数据拟合与线性最小二