吉林大学数值计算方法 曲线拟合的最小二乘法

1、最小二乘法最小二乘法最小二乘解的求法最小二乘解的求法加权最小二乘法加权最小二乘法主要内容主要内容问题的提出问题的提出一、问题的提法一、问题的提法怎样从给定的一组数据出发，在某个函数类中怎样从给定的一组数据出发，在某个函数类中寻找一个寻找一个“最好最好”的函数来拟合这组数据。的函数来拟合这组数据。二、目二、目 的的在科学实验和生产实践中，经常要从一组实验数据在科学实验和生产实践中，经常要从一组实验数据出发，寻找函数出发，寻找函数y=f(x)的一个近似公式（称为经验公的一个近似公式（称为经验公式）。已有的多项式插值法解决这类问题有明显的式）。已有的多项式插值法解决这类问题有明显的缺陷：实验数据有误

2、差；实验数据量大等。缺陷：实验数据有误差；实验数据量大等。三、方三、方 法法曲线拟合方法曲线拟合方法.一、基本概念：残差一、基本概念：残差(1,2,)iiieyyiN二、残差的选取方法（原则）二、残差的选取方法（原则）1、选取、选取 ，使偏差绝对值之和最小，即，使偏差绝对值之和最小，即)(x11minNNiiiiieyy拟合的目的：使得残差最小，其中拟合的目的：使得残差最小，其中 为所要找为所要找的函数。的函数。( )yx3、选取、选取 ，使偏差平方之和最小，即，使偏差平方之和最小，即)(x2、选取、选取 ，使偏差最大绝对值最小，即，使偏差最大绝对值最小，即)(x2211minNNiiiiie

3、yymaxmaxminiiiiieyy三、最小二乘原则（方法）三、最小二乘原则（方法）1、定义：使、定义：使“偏差平方和最小偏差平方和最小”的原则的原则称为最小二乘原则。称为最小二乘原则。2、定义：按照最小二乘原则选取拟合曲、定义：按照最小二乘原则选取拟合曲线的方法，称为线的方法，称为最小二乘法最小二乘法。3、线性最小二乘问题的提法、线性最小二乘问题的提法对给定数据表对给定数据表要求在某个函数类要求在某个函数类 中寻求一个函数（中寻求一个函数（线性构成线性构成）使使 满足条件满足条件1212NNx x xxy y yy01( ),( ),( )()mxxxmN *0011( )( )( )(

4、)mmxaxaxax)(*x22( )11 ( )min ( )NNiiiixiixyxy式中，式中， 是函数类是函数类 中中任一函数。任一函数。0 01 1( )( )( )( )m mxaxaxax满足上述关系式的函数满足上述关系式的函数 ，称为上述最小二乘，称为上述最小二乘问题的问题的最小二乘解最小二乘解。)(*x如何求解最小二乘问题？如何求解最小二乘问题？22( )11 ( )min ( )(*)NNiiiixiixyxy1、确定函数类、确定函数类 原则：根据实际问题与所给数据点的变化规律；原则：根据实际问题与所给数据点的变化规律；有两个基本环节有两个基本环节2、求解如下方程：、求解如

5、下方程：一、求解的基本原理：极小值原理一、求解的基本原理：极小值原理点点 是多元函数是多元函数的极小值点，从而有的极小值点，从而有 满足方程组满足方程组20110(,)( )NmmkkiiikS a aaaxy 01(,)ma aa01,ma aa0,(0,1,)kSkma二、正则（法）方程组二、正则（法）方程组0001000101111101( , ) ( , )( ,)( , )( , ) ( , )( ,)( , )(*)( , ) ( , )( ,)( , )mmmmmmnmafafaf 如果定义如果定义:对任意函数对任意函数 和和 ，引入记号，引入记号( )h x( )g x1( ,

6、 )( ) ( )Niiih gh x g x三、定理（最小二乘解的存在唯一性定理）三、定理（最小二乘解的存在唯一性定理）对于给定的一组实验数据对于给定的一组实验数据 ( 互异，互异， ）, 在函数类在函数类 （ 且且 线性无关）线性无关）中，存在唯一的函数中，存在唯一的函数使得关系式（使得关系式（*）成立，并且其系数）成立，并且其系数 可以通过解法方程组（可以通过解法方程组（*）得到。）得到。( ,)iix yix1,2,iN01 ( ), ( ),( )mxxx01( ),( ),( )mxxxmN*0011( )( )( )( )mmxaxaxax*01,ma aa作为一种应用，拟合曲线

7、假设为代数曲线，即取作为一种应用，拟合曲线假设为代数曲线，即取:01( )1,( ),( )mmxxxxx则有：则有：11(,)( ,0,1,)NNjkj kjkiiiiix xxj km 11(,)(0,1,)NNkj kkiiiiifx yxkm四、应用分析四、应用分析于是正则（法）方程组为：于是正则（法）方程组为：11102111111121111NNNmiiiiiiNNNNmiiiiiiiiinNNNNmmmmiiiiiiiiiNxxyaxxxax yaxxxx y五、应用举例五、应用举例说明最小二乘法解决实际问题的具体步骤和某些技巧。说明最小二乘法解决实际问题的具体步骤和某些技巧。例

8、例1(补充补充) 某种铝合金的含铝量为某种铝合金的含铝量为x(),其熔解温度为其熔解温度为y（0C），由实验测得），由实验测得x与与y的数据如下表左边的三列。试的数据如下表左边的三列。试用最小二乘法建立用最小二乘法建立x与与y的经验公式。的经验公式。解：解：1、将、将数据数据进行描图观察；进行描图观察；2、确定拟合曲线的形式。这里根据所描图形分析，、确定拟合曲线的形式。这里根据所描图形分析，拟合曲线接近于一直线，故可用拟合曲线接近于一直线，故可用进行拟进行拟合这组数据；合这组数据；3、建立法方程组建立法方程组；4、解法方程组；、解法方程组；5、检验拟合值与实测值之间的偏差（、检验拟合值与实测值

9、之间的偏差（）：）：616161261616iiiiiiiiiiiyxybaxxx法方程组法方程组3 .10117628.283656 .39614589 .3966baba对应的代数方程组：对应的代数方程组：1、实际问题的解决中测得的数据并不都是等精度、等、实际问题的解决中测得的数据并不都是等精度、等地位的。显然，对于精度高、地位重的数据应该以足够地位的。显然，对于精度高、地位重的数据应该以足够的重视，在计算时，给以足够的、更大的权重，在这种的重视，在计算时，给以足够的、更大的权重，在这种情况下，求给定的数据的拟合曲线，情况下，求给定的数据的拟合曲线，2、利用最小二乘法原则上解决了最小二乘法意义下的、利用最小二乘法原则上解决了最小二乘法意义下的曲线拟合问题，但在实际问题的解决时，曲线拟合问题，但在实际问题的解决时，n往往很大，往往很大，法方程组往往是病态的，因而给求解带来了一定的困难，法方程组往往是病态的，因而给求解带来了一定的困难，为了解决这一问题，近年来，产生了一些新方法来克服为了解决这一问题，近年来，产生了一些新方法来克服这一困难，利用正交函数（正交多项式）作多项式的拟这一困难，利用正交函数（正交多项式）作多项式的拟合。合。小结小结曲线拟合的最小二乘法的基本原理、具体的