计算方法第六章最小二乘法与曲线拟合ppt课件

1、第六章第六章 最小二乘法与曲线拟合最小二乘法与曲线拟合6.0 6.0 问题的提出问题的提出6.1 6.1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组6.2 6.2 多项式拟合多项式拟合 假照实践问题要求解在假照实践问题要求解在a,ba,b区间的每一点都区间的每一点都“很很好地好地 逼近逼近f(x)f(x)的话，运用插值函数有时就要失败。的话，运用插值函数有时就要失败。另外，插值所需的数据往往来源于察看丈量，本身有另外，插值所需的数据往往来源于察看丈量，本身有一定的误差。要求插值曲线经过这些本身有误差的点，一定的误差。要求插值曲线经过这些本身有误差的点，势必使插值结果更加不准确。势必使

2、插值结果更加不准确。 假设由实验提供的数据量比较大，又必然使得插假设由实验提供的数据量比较大，又必然使得插值多项式的次数过高而效果不理想。值多项式的次数过高而效果不理想。6.0 6.0 问题的提出问题的提出 从给定的一组实验数据出发，寻求函数的一个近从给定的一组实验数据出发，寻求函数的一个近似表达式似表达式y=y=(x)(x)，要求近似表达式可以反映数据的，要求近似表达式可以反映数据的根本趋势而又不一定过全部的点根本趋势而又不一定过全部的点(xi,yi)(xi,yi)，这就是曲，这就是曲线拟合问题，函数的近似表达式线拟合问题，函数的近似表达式y=y=(x)(x)称为拟合曲称为拟合曲线。本章引见

3、用最小二乘法求拟合曲线。线。本章引见用最小二乘法求拟合曲线。6.1 6.1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组一、矛盾方程组的定义一、矛盾方程组的定义设线性方程组设线性方程组或写为或写为其矩阵方式为其矩阵方式为NnNnNNnnnnbxaxaxabxaxaxabxaxaxa22112222212111212111), 2 , 1(1NjbxainjjijbxA 当方程组的系数矩阵合增广矩阵的秩不相等时，当方程组的系数矩阵合增广矩阵的秩不相等时，方程组无解，此时方程组称为矛盾方程组。对于方程组无解，此时方程组称为矛盾方程组。对于rankAnA的秩为的秩为n的矛盾方程组的矛盾方程组

4、Nn，我，我们寻求其最小二乘意义下的解。们寻求其最小二乘意义下的解。二、用最小二乘法求解矛盾方程组二、用最小二乘法求解矛盾方程组1.最小二乘原那么 由于矛盾方程组的准确解不存在，我们转而由于矛盾方程组的准确解不存在，我们转而寻求其某种意义下，即最小二乘意义下的解。寻求其某种意义下，即最小二乘意义下的解。令令), 2 , 1(1Nibxainjjiji称称 为偏向。为偏向。i到达最小值，这一条件称为最小二乘原那么。到达最小值，这一条件称为最小二乘原那么。 工程实践中的许多问题都可以归结为矛盾方程组，工程实践中的许多问题都可以归结为矛盾方程组，实践中需求寻求矛盾方程组的一组解，以使得偏向的实践中需

5、求寻求矛盾方程组的一组解，以使得偏向的绝对值之和绝对值之和 尽能够地小。为了便于分析尽能够地小。为了便于分析计算和运用，常采用使偏向的平方和计算和运用，常采用使偏向的平方和Nii1 NiinjjijNiibxaQ12112 按照最小二乘原那么来选择未知数按照最小二乘原那么来选择未知数x1,x2,xnx1,x2,xn的一组取值的方法称为求解矛盾方程组的最小二乘的一组取值的方法称为求解矛盾方程组的最小二乘法。符合条件的一组取值称为矛盾方程组的最小二法。符合条件的一组取值称为矛盾方程组的最小二乘解。乘解。 把把Q Q看成是看成是n n个自变量个自变量x1,x2,xnx1,x2,xn的二次函数，的二次

6、函数，记为记为Q Qf(x1,x2,xn)f(x1,x2,xn)，因此，求矛盾方程组的，因此，求矛盾方程组的最小二乘解就是求二次函数最小二乘解就是求二次函数Q Qf(x1,x2,xn)f(x1,x2,xn)的的最小值点。最小值点。问题：二次函数问题：二次函数Qf(x1,x2,xn)能否存在最小值？能否存在最小值？假设最小值存在，如何求出该最小值点？假设最小值存在，如何求出该最小值点？2.2.最小二乘解的存在独一性最小二乘解的存在独一性引理1：设n元实函数f(x1,x2,xn)在点P0(a1,a2,an)的某个邻域内延续，且有一阶及二阶延续的偏导数，假设(1)(2)矩阵),2,1(00nkxfP

7、k0000000002222122222212212212212PnPnPnPnPPPnPPxfxxfxxfxxfxfxxfxxfxxfxfM是正负定矩阵，那么是正负定矩阵，那么f(a1,a2,an)f(a1,a2,an)是是n n元元实函数实函数f(x1,x2,xn)f(x1,x2,xn)的极小大值。的极小大值。引理引理2 2：设非齐次线性方程组：设非齐次线性方程组 的系数矩阵的系数矩阵A=(aij)NA=(aij)Nn n，假设，假设rankA=nrankA=n，那么，那么bxA(1)(1)矩阵矩阵ATAATA是对称正定矩阵；是对称正定矩阵；(2)n(2)n阶线性方程组阶线性方程组 有独一

8、的解。有独一的解。bAxAATT证明：证明：1 1矩阵矩阵ATAATA显然是对称矩阵。显然是对称矩阵。设齐次线性方程组设齐次线性方程组0 xA由于由于rankA=n，故齐次方程组有独一零解。，故齐次方程组有独一零解。因此，对于恣意的因此，对于恣意的 ，有，有 ，从而，从而0 x0 xA0)()()(xAAxxAxATTT故矩阵故矩阵ATAATA是对称正定矩阵。是对称正定矩阵。(2)(2)由于矩阵由于矩阵ATAATA是正定矩阵，故是正定矩阵，故rank(ATA)=nrank(ATA)=n，从，从而线性方程组而线性方程组 有独一的解。有独一的解。bAxAATT证毕证毕定理：设矛盾方程组的系数矩阵的

9、秩为定理：设矛盾方程组的系数矩阵的秩为n n，那么二，那么二次函数次函数 NiinjjijnbxaxxxfQ12121),(一定存在最小值。一定存在最小值。证明：由于证明：由于Q Q是是x1,x2,xnx1,x2,xn的二次函数，故的二次函数，故Q Q不仅不仅是延续函数，且有延续的一阶及二阶偏导数。是延续函数，且有延续的一阶及二阶偏导数。由于由于)(2)(2)(2112221111njNjNjNknjjjknjjjkkbxaabxaabxaaxQ 引理引理2 2阐明阐明, ,在条件在条件RankA=nRankA=n下下, ,无论线性方程组无论线性方程组Ax=bAx=b能否有解能否有解, ,构造

10、的构造的n n阶方程组阶方程组ATAx=ATbATAx=ATb一定有独一解。一定有独一解。njNjNjnjjjnjjjNkkkbxabxabxaaaa1122111212)(221bxAaaaNkkk故故)(2)(221bAxAAbxAAxQxQxQTTTn令令), 2 , 1(0nkxQk即即bAxAATT* * 由于由于rankA=nrankA=n，故由引理，故由引理2 2知，上式有独一解。设解知，上式有独一解。设解为为x1=a1, x2=a2, xn=anx1=a1, x2=a2, xn=an，记为点，记为点P0(a1,a2,an)P0(a1,a2,an)，即二元函数即二元函数Q Q存在

11、点存在点P0P0，使，使 。故。故满足引理满足引理1 1的条件的条件1 1。), 2 , 1(00nkxfPk由于由于), 2 , 1,(2)(2122112ntkaaaaaaaaxxQNiitikNtNktktktk故故AAaaaaaaaaaaaaaaaaaaaaaMTNiinNiiniNiiniNiiniNiiniNiiiNiiNiiiNiiniNiiiNiiiNii22121312111213212212111131121121 由引理由引理2 2知，当知，当rankA=nrankA=n时，矩阵时，矩阵M M是对称正定阵，是对称正定阵，M M满足引理满足引理1 1的条件的条件2 2，故由

12、引理，故由引理1 1知，二次函数知，二次函数Q Q存存在极小值。在极小值。 又因方程组又因方程组* *式有独一解，故式有独一解，故Q Q存在的极小值存在的极小值就是最小值，线性方程组就是最小值，线性方程组* *式的解就是最小值点。式的解就是最小值点。证毕证毕Remark1Remark1：线性方程组：线性方程组* *式称为正那么方程组。式称为正那么方程组。Remark2Remark2：该定理阐明，只需矛盾方程组的系数矩：该定理阐明，只需矛盾方程组的系数矩阵阵A A的秩的秩rankA=nrankA=n，那么，那么1 1矛盾方程组的最小二乘解存在；矛盾方程组的最小二乘解存在；2 2正那么方程组有独一

13、解，此解就是矛盾方程组正那么方程组有独一解，此解就是矛盾方程组的最小二乘解。的最小二乘解。3.3.最小二乘法解矛盾方程组最小二乘法解矛盾方程组计算步骤：1 1判别方程组的秩能否满足判别方程组的秩能否满足rankA=nrankA=n？2 2写出正那么方程组；写出正那么方程组；3 3求解正那么方程组，其解就是矛盾方程求解正那么方程组，其解就是矛盾方程组的最小二乘解。组的最小二乘解。一、曲线拟合模型一、曲线拟合模型确定曲线的类型：普通选取简单的低次多项式。确定曲线的类型：普通选取简单的低次多项式。定义：根据某种规范选择一条定义：根据某种规范选择一条“最好的简单最好的简单曲线作为一组离散数据曲线作为一

14、组离散数据的延续模型。的延续模型。Niiiyx0),(6.2 6.2 多项式拟合多项式拟合求一个次数不高于求一个次数不高于N N1 1次的多项式：次的多项式：) 1()(2210Nmxaxaxaaxymm其中其中a0,a1,ama0,a1,am待定，使其待定，使其“最好的拟合最好的拟合这组数据。这组数据。“最好的规范是：使得最好的规范是：使得(x)(x)在在xixi的的偏向偏向), 2 , 1()(Niyxiii的平方和的平方和NiiiNiiyxQ1212)(到达最小。到达最小。 由于拟合曲线由于拟合曲线y=y=(x)(x)不一定过点不一定过点(xi,yi)(xi,yi)，因，因此，把点此，把

15、点(xi,yi)(xi,yi)带入带入y=y=(x) (x) ，便得到以，便得到以a0,a1,ama0,a1,am为未知量的矛盾方程组为未知量的矛盾方程组NmNmNNmmmmyxaxaxaayxaxaxaayxaxaxaa22102222221011212110其矩阵方式为其矩阵方式为bxA其中其中NmmNNNmmyyybaaaxxxxxxxxxxA2110222221211,111 (x)(x)在在xixi的偏向就是矛盾方程组各方程的偏向。的偏向就是矛盾方程组各方程的偏向。曲线拟合的条件就是确定曲线拟合的条件就是确定a0,a1,ama0,a1,am，使得偏向的平，使得偏向的平方和方和Q Q到

16、达最小值。到达最小值。bAxAATT 据此可知，据此可知， a0,a1,am a0,a1,am就是矛盾方程组的最小就是矛盾方程组的最小二乘解，也就是正那么方程组二乘解，也就是正那么方程组 的解。的解。二、曲线拟合的最小二乘解法二、曲线拟合的最小二乘解法NiimiNiiiNiiTNimiNimiNimiNimiNimiNiiNiiNiiNimiNiiNiiTyxyxybAxxxxxxxxxxxNAA111121211111131211121,正那么方程组为：正那么方程组为：NiimiNimimNimiNimiNimiNiiiNimimNiiNiiNiiNiiNimimNiiNiiyxxaxaxa

17、xayxxaxaxaxayxaxaxaNa112122111101111321211011122110三、解的存在独一性三、解的存在独一性定理：设定理：设x1,x2,xNx1,x2,xN互异，且互异，且Nm+1Nm+1，那么上，那么上面的正那么方程组有独一的解。面的正那么方程组有独一的解。证明：只需证明矛盾方程组的系数矩阵证明：只需证明矛盾方程组的系数矩阵A A的秩的秩rankA=mrankA=m1 1。 矛盾方程组的系数矩阵矛盾方程组的系数矩阵A A是是N N(m+1)(m+1)的矩阵，记的矩阵，记A A的前的前m m1 1行构成行构成m m1 1阶子矩阵阶子矩阵mmmmmmxxxxxxxx

18、xA1211222212111111 该矩阵是范德蒙矩阵，由该矩阵是范德蒙矩阵，由x1,x2,xNx1,x2,xN互异知行列互异知行列式不为零，从而有式不为零，从而有rankA=mrankA=m1 1。由引理。由引理2 2知，正那么方知，正那么方程组有独一解。程组有独一解。证毕证毕四、最小二乘法拟合曲线的步骤四、最小二乘法拟合曲线的步骤1.经过察看、分析得到拟合曲线的数学模型，或根据阅历公式确定数学模型。2.2.将拟合曲线的数学模型转换为多项式。将拟合曲线的数学模型转换为多项式。3.3.写出矛盾方程组。写出矛盾方程组。4.4.写出正那么方程组。可由多项式模型直接得到写出正那么方程组。可由多项式

19、模型直接得到5.5.求解正那么方程组，得到拟合曲线的待定系数。求解正那么方程组，得到拟合曲线的待定系数。6.6.将正那么方程组的解带回到数学模型中，得到将正那么方程组的解带回到数学模型中，得到拟合曲线。拟合曲线。Remark1.1.同一问题可以有不同的拟合曲线，通常根据同一问题可以有不同的拟合曲线，通常根据均方误差均方误差 和最大偏向和最大偏向 的大小来衡量拟合曲线的优劣。均方误差和最的大小来衡量拟合曲线的优劣。均方误差和最大偏向较小的拟合曲线为较优的拟合曲线。大偏向较小的拟合曲线为较优的拟合曲线。Niiiyx12)(iiNiyx)(max12.2.在处理实践问题时，有时经过察看选择多个在处理

20、实践问题时，有时经过察看选择多个函数类型进展计算、分析、比较，最终获得较函数类型进展计算、分析、比较，最终获得较好的数学模型；有时把阅历公式作为数学模型，好的数学模型；有时把阅历公式作为数学模型，只是用最小二乘法来确定公式中的待定常数。只是用最小二乘法来确定公式中的待定常数。RemarkRemark3.3.当拟合曲线当拟合曲线(x)(x)中的待定常数是线性方式中的待定常数是线性方式时，可直接根据矛盾方程组得到正那么方程组时，可直接根据矛盾方程组得到正那么方程组而求解。当待定常数不是线性方式时，那么应而求解。当待定常数不是线性方式时，那么应该先将待定常数线性化，再根据矛盾方程组写该先将待定常数线

21、性化，再根据矛盾方程组写出正那么方程组而求解。出正那么方程组而求解。例例1：bxaey bxay lnlnbBaAyu,ln,lnBxAubxay1bxay1yu1bxau例例2：曲线拟合运用实例曲线拟合运用实例: :例例1: 1: 试用最小二乘法求一个形如试用最小二乘法求一个形如 (a,b (a,b为常数为常数) ) 的阅历公式的阅历公式, ,使它与以下数据相拟合使它与以下数据相拟合( (取四位小数取四位小数) )xi12345678yi15.3 20.5 27.436.649.1 65.6 87.8 117.6bxaey 解解: :由于阅历公式中待定常数由于阅历公式中待定常数a,ba,b是非线性方式是非线性方式, ,故做故做如下变形如下变形: :bxay lnlnbBaAyu,ln,ln令令: :BxAu那么有那么有: : 将将x,ux,u带入得到关于带入得到关于A,BA,B的矛盾方程组，进而得正规的矛盾方程组，进而得