第五章 曲线拟合与最小二乘法

1、第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作 第五章第五章 曲线拟合与最小二乘法曲线拟合与最小二乘法 如果已知函数如果已知函数f(xf(x) )在若干点在若干点x xi i(i (i=1,2,n)=1,2,n)处处的值的值y yi i, ,便可根据插值原理来建立插值多项式作为便可根据插值原理来建立插值多项式作为f(xf(x) )的近的近似。但在科学实验和生产实践中，往往会遇到这样一种似。但在科学实验和生产实践中，往往会遇到这样一种情况，即节点上的函数值并不是很精确的，这些函数值情况，即节点上的函数值并不是很精确的，这些函数值是由实验或观测得到的数据

2、，不可避免地带有测量误差是由实验或观测得到的数据，不可避免地带有测量误差，如果要求所得的近似函数曲线精确无误地通过所有的，如果要求所得的近似函数曲线精确无误地通过所有的点点(x (xi i,y ,yi i), ),就会使曲线保留着一切测试误差。当个别数据就会使曲线保留着一切测试误差。当个别数据的误差较大时的误差较大时, ,插值效果显然是不理想的。此外插值效果显然是不理想的。此外, ,由实验由实验或观测提供的数据个数往往很多或观测提供的数据个数往往很多, ,如果用插值法如果用插值法, ,势必得势必得到次数较高的插值多项式，这样计算起来很烦琐。到次数较高的插值多项式，这样计算起来很烦琐。第五章 曲

3、线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作为此为此, ,我们希望从给定的数据我们希望从给定的数据(x (xi i,y ,yi i) )出发出发, ,构造一个构造一个近似函数近似函数 , ,不要求函数不要求函数 完全通过所有的完全通过所有的数据点，只要求所得的近似曲线能反映数据的数据点，只要求所得的近似曲线能反映数据的基本趋势，如图基本趋势，如图5-15-1所示。所示。)(x)(x y o x 图图5-1 5-1 曲线拟合示意图曲线拟合示意图 换句话说换句话说: :求一条曲线求一条曲线, ,使数据点均在离此曲线的上使数据点均在离此曲线的上方或下方不远处方或下

4、方不远处, ,所求的曲线称为拟合曲线所求的曲线称为拟合曲线, ,它既能它既能反映数据的总体分布反映数据的总体分布, ,又不至于出现局部较大的波又不至于出现局部较大的波动动, ,更能反映被逼近函数的特性更能反映被逼近函数的特性, ,使求得的逼近函数使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量与已知函数从总体上来说其偏差按某种方法度量达到最小达到最小, ,这就是最小二乘法。这就是最小二乘法。 第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作 与函数插值问题不同与函数插值问题不同, ,曲线拟合不要求曲线通过曲线拟合不要求曲线通过所有已知点所有已

5、知点, ,而是要求得到的近似函数能反映数据的而是要求得到的近似函数能反映数据的基本关系。在某种意义上基本关系。在某种意义上, ,曲线拟合更有实用价值。曲线拟合更有实用价值。 在对给出的实验在对给出的实验( (或观测或观测) )数据数据作曲线拟合时作曲线拟合时, ,怎样才算拟合得最好呢？一般希望各怎样才算拟合得最好呢？一般希望各实验实验( (或观测或观测) )数据与拟合曲线的偏差的平方和最小数据与拟合曲线的偏差的平方和最小, ,这这就是最小二乘原理。就是最小二乘原理。两种逼近概念两种逼近概念: : 插值插值: : 在节点处函数值相同在节点处函数值相同. . 拟合拟合: : 在数据点处误差平方和最

6、小在数据点处误差平方和最小), 1 , 0)(,(niyxii第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作 函数插值是插值函数函数插值是插值函数P(xP(x) )与被插函数与被插函数f(xf(x) )在节处函数在节处函数值相同值相同, ,即即 而曲线拟合函数而曲线拟合函数 不要求严格地通过所有数据点不要求严格地通过所有数据点 , ,也就是说拟合函数也就是说拟合函数 在在x xi i 处的偏差处的偏差( (亦称残差）亦称残差） 不都严格地等于零。但是不都严格地等于零。但是, ,为了使近似曲线能尽量反为了使近似曲线能尽量反映所给数据点的变化趋势映所给数

7、据点的变化趋势, ,要求要求 按某种度量标准按某种度量标准最小。若记向量最小。若记向量 , ,即要求向量即要求向量 的某种的某种范数范数 最小最小, ,如如 的的1- 1-范数范数 或或-范数范数即即 )()(iixfxP), 1 , 0(ni)(x),(iiyx)(x)()(iiixfx), 1 ,0(niiTne,10eee1ee第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作niiiniixfxe001)()()()(maxmaxiiiiixfxe或或 最小。为了便于计算、分析与应用，通常要求最小。为了便于计算、分析与应用，通常要求 的的2- 2

8、-范数范数 e212021022)()(niiiniixfxe200222)()(niiiniixfxe即即 为最小。这种要求误差（偏差）平方和最小的拟合为最小。这种要求误差（偏差）平方和最小的拟合称为称为曲线拟合的最小二乘法。曲线拟合的最小二乘法。 第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作 （1 1）直线拟合）直线拟合设已知数据点设已知数据点 , ,分布大致为一条直线分布大致为一条直线。作拟合直线。作拟合直线 , ,该直线不是通过所有的该直线不是通过所有的数据点数据点 , ,而是使偏差平方和而是使偏差平方和miyxii,2, 1,xaaxy1

9、0)(iiyx ,miiiyxaaaaF121010)(),(为最小，其中每组数据与拟合曲线的偏差为为最小，其中每组数据与拟合曲线的偏差为根据最小二乘原理，应取根据最小二乘原理，应取 和和 使使 有极小值有极小值，故，故 和和 应满足下列条件：应满足下列条件：iiiiyxaayxy10)(mi,2, 10a1a),(10aaF1a0a0)(2),(0)(2),(110110110010imiiimiiixyxaaaaaFyxaaaaaF第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作即得如下正规方程组即得如下正规方程组 miiimimiiimiimii

10、yxxaxayxama1110211110(5.1) 例例5. 1 5. 1 设有某实验数据如下：设有某实验数据如下： 1 2 3 41 2 3 4 1.36 1.37 1.95 2.28 1.36 1.37 1.95 2.28 14.094 16.844 18.475 20.963 14.094 16.844 18.475 20.963iixiy 用最小二乘法求以上数据的拟合函数用最小二乘法求以上数据的拟合函数 解解: :把表中所给数据画在坐标纸上把表中所给数据画在坐标纸上, ,将会看到数据点将会看到数据点的分布可以用一条直线来近似地描述的分布可以用一条直线来近似地描述, ,设所求的设所求的

11、 。 第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作拟合直线为拟合直线为 记记x x1 1=1.36, x=1.36, x2 2=1.37, x=1.37, x3 3 =1.95 =1.95x x4 4 =2.28, y =2.28, y1 1 =14.094, y =14.094, y2 2= 16.844, y= 16.844, y3 3=18.475, =18.475, y y4 4=20.963=20.963则正规方程组为则正规方程组为 xaaxy10)(4141214104141104iiiiiiiiiiiyxxaxayxaa32. 741

12、iix8434.13412iix376.7041iiy12985.13241iiiyx其中其中 将以上数据代入上式正规方程组将以上数据代入上式正规方程组, ,得得12985.1328434.1332. 7376.7032. 741010aaaa解得解得 4626.7,9374.310aa即得拟合直线即得拟合直线 xy4626.79374.3第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作（2 2）多项式拟合）多项式拟合 有时所给数据点的分布并不一定近似地呈一条直有时所给数据点的分布并不一定近似地呈一条直线线, ,这时仍用直线拟合显然是不合适的这时仍用直

13、线拟合显然是不合适的, ,可用多项式可用多项式拟合。对于给定的一组数据拟合。对于给定的一组数据寻求次数不超过寻求次数不超过m (mN ) m (mN ) 的多项式，的多项式， Niyxii,2,1,mnxaxaxaay2210来拟合所给定的数据，与线性拟合类似，使偏差的来拟合所给定的数据，与线性拟合类似，使偏差的平方和平方和201)(jimjjNiixayQ为最小为最小第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作由于由于Q Q可以看作是关于可以看作是关于 ( j=0,1,2, m)( j=0,1,2, m)的多的多元函数元函数, , 故上述拟合多项

14、式的构造问题可归故上述拟合多项式的构造问题可归结为多元函数的极值问题。令结为多元函数的极值问题。令201)(jimjjNiixayQmkaQk,2, 1 ,0,0得得 mkxxaykijimjjNii, 1 , 0, 0)(01即有即有 第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作imimimmimiiimimiiimimiyxxaxaxayxxaxaxayxaxaNa2110121010这是关于系数这是关于系数 的线性方程组，通常称为正规方程的线性方程组，通常称为正规方程组。可以证明，正规方程组有惟一解。组。可以证明，正规方程组有惟一解。 ja例

15、例5.2 5.2 设某实验数据如下：设某实验数据如下： 1 2 3 4 5 61 2 3 4 5 6 0 1 2 3 4 5 0 1 2 3 4 5 5 2 1 1 2 3 5 2 1 1 2 3iixiy用最小二乘法求一个多项式拟合这组数据用最小二乘法求一个多项式拟合这组数据 (5.2)(5.2)第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作解：将已给数据点描在坐标系中，可以看出这些点解：将已给数据点描在坐标系中，可以看出这些点 接近一条抛物线，因此设所求的多项式为接近一条抛物线，因此设所求的多项式为 2210 xaxaay由法方程组（由法方程组（

16、5.25.2）, , 经计算得经计算得 N N=6 =6 612616161461361261122,30,14,797,225,55,15iiiiiiiiiiiiiiiiyxyxyxxxx其法方程组为其法方程组为 122979225553022555151455156210210210aaaaaaaaa解之得解之得 5000. 0,7857. 2,7143. 4210aaa25000. 07857. 27143. 4xxy所求的多项式为所求的多项式为 第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作（3 3）可化为线性拟合的非线性拟合）可化为线性拟合

17、的非线性拟合 有些非线性拟合曲线可以通过适当的变量替换转化有些非线性拟合曲线可以通过适当的变量替换转化为线性曲线，从而用线性拟合进行处理，对于一个实为线性曲线，从而用线性拟合进行处理，对于一个实际的曲线拟合问题，一般先按观测值在直角坐标平面际的曲线拟合问题，一般先按观测值在直角坐标平面上描出散点图，看一看散点的分布同哪类曲线图形接上描出散点图，看一看散点的分布同哪类曲线图形接近，然后选用相接近的曲线拟合方程。再通过适当的近，然后选用相接近的曲线拟合方程。再通过适当的变量替换转化为线性拟合问题，按线性拟合解出后再变量替换转化为线性拟合问题，按线性拟合解出后再还原为原变量所表示的曲线拟合方程。还原

18、为原变量所表示的曲线拟合方程。 表表5-15-1列举了几类经适当变换后化为线性拟合求解的列举了几类经适当变换后化为线性拟合求解的曲线拟合方程及变换关系曲线拟合方程及变换关系 第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作表表5-15-1 曲线拟合方程曲线拟合方程 变换关系变换关系 变换后线性拟合方变换后线性拟合方程程baxy xxyyln,ln)ln(aaxbaycaxyxx cxaybaxxyxxyy1,1xbaybaxy1yy1axbycbxaxy21yy1cbxaxy2cbxaxxy2yxy cbxaxy2第五章 曲线拟合与最小二乘法 计算方法

19、与实习贵州航天职业技术学院计算机科学系 王陞国 制作几种常见的数据拟合情况。图几种常见的数据拟合情况。图 ( a ) ( a ) 表示数据接近于表示数据接近于直线，故宜采用线性函数直线，故宜采用线性函数 拟合；图拟合；图(b)(b)数数据分布接近于抛物线。可采拟合；二次多项式据分布接近于抛物线。可采拟合；二次多项式 拟合；拟合； xaay102210 xaxaay y y O x O x (a)(a)(b)(b)第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作图图 ( c ) ( c ) 的数据分布特点是开始曲线上升较快随后逐的数据分布特点是开始曲线上

20、升较快随后逐渐变慢渐变慢, ,宜采用双曲线型函数宜采用双曲线型函数 或指数型函或指数型函数数 图图 ( d ) ( d ) 的数据分布特点是开始曲线下降快的数据分布特点是开始曲线下降快, ,随随后逐渐变慢后逐渐变慢, ,宜采用宜采用 或或 或或等数据拟合。等数据拟合。bxaxyxbaeybxaxy2bxaxybxaey y y O x O x ( c ) ( c ) ( d ) ( d )第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作例例5. 3 5. 3 设某实验数据如下设某实验数据如下: : 1 2 3 4 5 6 1 2 3 4 5 6 0 0

21、.5 1 1.5 2 2.5 0 0.5 1 1.5 2 2.5 2.0 1.0 0.9 0.6 0.4 0.3 2.0 1.0 0.9 0.6 0.4 0.3iixiy用最小二乘法求拟合曲线用最小二乘法求拟合曲线 解解: :将已给数据点描在坐标系中下图所示将已给数据点描在坐标系中下图所示, ,可以看出这可以看出这些点接近指数曲线些点接近指数曲线, ,因而可取指数函数因而可取指数函数作为拟合函数作为拟合函数. .对函数对函数两边取对数得两边取对数得. . 令令 得得 则就得到线性模型则就得到线性模型 bxaeybxaeybxaylnlnbaaa10,lnbaaa10,lnxaay10第五章 曲

22、线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作则正规方程组为则正规方程组为 6161216106161106iiiiiiiiiiiyxxaxayxaa其中其中 5 . 761iix75.13612iix043302. 2ln61iiy714112. 5ln61iiiyx将以上数据代入上式正规方程组，得将以上数据代入上式正规方程组，得714112. 575.135 . 7043302. 25 . 761010aaaa解得解得 772282. 0,562302. 010aa 由由 得得 , ,aaln0754708. 1562302. 00eeaaba1由由 得得

23、772282. 01 ab于是得到拟合指数函数为于是得到拟合指数函数为 xey772282. 0754708. 1第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作 （4 4）超定方程组的最小二乘解）超定方程组的最小二乘解设线性方程组设线性方程组Ax=bAx=b中，中， ,b ,b 是是m m维已知向维已知向量，量，x x是是n n维解向量，当维解向量，当m mn n，即方程组中方程，即方程组中方程的个数多于未知量的个数时，称此方程组为超定的个数多于未知量的个数时，称此方程组为超定方程组。一般来说，超定方程组无解（此时为矛方程组。一般来说，超定方程组无解

24、（此时为矛盾方程组盾方程组), ),这时需要寻求方程组的一个这时需要寻求方程组的一个“最近似最近似” ” 的解的解. .记记 , ,称使称使 , ,即即 最小的解最小的解 为方程组为方程组Ax=bAx=b的最小二乘解。的最小二乘解。nmijaA)(Axbr2r22r*x第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作定理定理5.15.1 是是Ax=bAx=b的最小二乘解的充分必要条件为的最小二乘解的充分必要条件为 是是 的解的解. .证明证明: :充分性充分性 若存在若存在n n维向量维向量 , ,使使 任取一任取一n n维向量维向量 , ,令令 ,

25、,则则 , ,且且 *xbAAxATT*x*xbAAxATT*xx *xxy0y),(*22*22AyAxbAyAxbAyAxbxAb),(),( 2),(*AyAyAxbAyAxbAxb22*22*)(2AyAxbAyAxbTT2222*AyAxb22*Axb 所以所以 是是Ax=bAx=b的最小二乘解。的最小二乘解。 *x第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作必要性必要性:r :r的第的第i i个分量为个分量为, , , ,记记knkikiixabr1mi,2 , 1 2112122)(),(knkikiminxabxxxIr由多元函数求

26、极值的必要条件，可得由多元函数求极值的必要条件，可得0)(211ijknkikimijaxabxInj,2 , 1 即即 nj,2, 1imiijknkikmiijbaxaa 111)(由线性代数知识知由线性代数知识知, ,上式写成矩阵形式为上式写成矩阵形式为 bAAxATT它是关于的线性方程组它是关于的线性方程组, ,也就是我们所说的正规方程或也就是我们所说的正规方程或法方程组。可以证明如果法方程组。可以证明如果A A是列满秩的是列满秩的, ,则方程组（则方程组（5.35.3）存在惟一解存在惟一解 （5.35.3）第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系

27、王陞国 制作例例5. 4 5. 4 求超定方程组求超定方程组 7262353114221212121xxxxxxxx的最小二乘解的最小二乘解, ,并求并求误差平方和。误差平方和。 解解: :方程组写成矩阵形式为方程组写成矩阵形式为 763111221534221xx正规方程组为正规方程组为 7631112542132122153421254213221xx第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作485146331821xx即即 2418. 1,0403. 321xx解得解得 3224.725239.529119.2530478.11422121

28、2121xxxxxxxx此时此时 误差平方和为误差平方和为 2222)4324. 77()5239. 56()9119. 23 ()0478.1111(I34065942. 0第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作 我们已经讨论了最小二乘意义下的曲线拟合我们已经讨论了最小二乘意义下的曲线拟合问题问题, ,由于方程比较简单由于方程比较简单, ,实际中应用广泛实际中应用广泛, ,特别是因特别是因为任何连续函数至少在一个较小的邻域内可以用为任何连续函数至少在一个较小的邻域内可以用多项式任意逼近多项式任意逼近, ,因此用多项式作数据拟合因此用多项式作

29、数据拟合, ,有它的有它的特殊重要性。从而在许多实际问题中特殊重要性。从而在许多实际问题中, ,不论具体函不论具体函数关系如何数关系如何, ,都可用多项式作近似拟合都可用多项式作近似拟合, ,但用多项式但用多项式拟合时拟合时, ,当当n n较大时较大时(n7),(n7),其法方程的系数矩阵的条其法方程的系数矩阵的条件数一般较大件数一般较大, ,所以往往是病态的所以往往是病态的, ,因而给求解工作因而给求解工作带来了困难。带来了困难。第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作这组基函数就称为点集这组基函数就称为点集 上上 的正交函数集。的正交函数集

30、。这种情况下法方程组的系数矩阵是对角阵，显然容易这种情况下法方程组的系数矩阵是对角阵，显然容易求解。关于正交函数的求法本书从略，同学们可参考求解。关于正交函数的求法本书从略，同学们可参考其它书籍。其它书籍。 近年来近年来, ,产生一些直接解线性最小二乘问题的新产生一些直接解线性最小二乘问题的新方法，例如正交三角化方法。另外方法，例如正交三角化方法。另外, ,如果能选取基如果能选取基函数函数 使得使得 时时, , ), 2 , 1)(mjxjik0)()(),(1jjinikjkxxnxxx,21第五章 曲线拟合与最小二乘法 计算方法与实习贵州航天职业技术学院计算机科学系 王陞国 制作本章小结本

31、章小结 本章介绍的曲线拟合与最小二乘法都是实用性本章介绍的曲线拟合与最小二乘法都是实用性很强的方法。它们解决的实际问题虽然各式各样，很强的方法。它们解决的实际问题虽然各式各样，但抽象为数学问题却有它的共性，即利用已知的数但抽象为数学问题却有它的共性，即利用已知的数据去寻求某个较为简单的函数据去寻求某个较为简单的函数P(x)P(x)来逼近来逼近f(x)f(x)。插值。插值法和曲线拟合的最小二乘法分别给出了寻求这种近法和曲线拟合的最小二乘法分别给出了寻求这种近似函数的两类不同的原则，以及构造近似函数的几似函数的两类不同的原则，以及构造近似函数的几种具体方法。其中插值法要求近似函数在已知的数种具体方法。其中插值法要求近似函数在已知的数据点必须与据点必须与f(x)f(x)完全一致，曲线拟合法不要求点点一完全一致，曲线拟合法