数值分析3-4(最小二乘法).ppt

,一、最小二乘法的定义,第3章函数逼近与曲线拟合4曲线拟合的最小二乘法,二、求解方法,三、求解步骤,四、举例,一、最小二乘法的定义,1.“曲线拟合”问题,已知：一组实验数据（xi，yi）(i=0,1,m)，且观测数据有误差求：自变量x与因变量y之间的函数关系y=F(x)，不要求y=F(x)经过所有点，而只要求在给定点上误差,按某种标准最小。,(1)使残差的最大绝对值为最小,(2)使残差的绝对值之和为最小,(3)使残差的平方和为最小,最小二乘法,度量标准不同，将导致不同的拟合结果，常用的准则有如下三种：,2.多项式拟合的一般定义,一组数据（xi，yi）(i=0,1,m)，,已知：,求：,在函数类中找一个函数，使误差平方和最小，即,这里,3.一般定义,一组数据（xi，yi）(i=0,1,m)，,已知：,求：,在函数类中找一个函数，使误差平方和最小，即,这里,4.广义定义,通常把最小二乘法都考虑为加权平方和,即,其中,注：权函数在实际问题中有重要作用！,二、求解方法,求S*(x),求如下多元函数的最小值,由多元函数求极值的必要条件,展开,解方程组,三、求解步骤,确定拟合曲线的形式,确定变量对应的数据,确定法方程,求解法方程,最困难！,四、举例,例1.已知一组实验数据如下，求它的拟合曲线.,解,根据所给数据，在坐标纸上标出，从图中看到各点在一条直线附近，故可选择线性函数作拟合曲线，即令,得法方程为,解得,于是所求拟合曲线为,例2.在某化学反应里，根据实验所得生成物的浓度与时间关系如下表，求浓度y与时间t的拟合曲线y=F(t).,解,根据所给数据，在坐标纸上标出，得下图,t,y,从图中可以看出开始时浓度增加较快，后来逐渐减弱，到一定时间就基本稳定在一个数值上，即当t时，y趋于某个常数，故有一水平渐近线。另外t=0时，反应未开始，浓度为0。概括起来为,根据这些条件，可设想两种形式的函数关系：,y=F(t)是双曲线型,y=F(t)是指数形式,b0,y=F(t)是双曲线型,为了确定a、b，令,于是可用x的线性函数拟合数据。可由原始数据计算出来。,可求得代入法方程得,解得,从而得到,于是由计算出，拟合数据的曲线仍设为,y=F(t)是指数形式,为了确定a与b，对上式两边取对数得,令,得法方程,解得,从而得到,?,请回答:,怎样比较这两个数学模型的好坏呢？,答：只要分别计算这两个数学模型的误差，从中挑选误差较小的模型即可。,本例经过计算可得,而均方误差为,由此可知第二个模型较好。,结论：,选择拟合曲线的数学模型，并不一定开始就能选好，往往需要通过分析若干模型后，经过实际计算才能选到较好的模型，如本例的指数模型就比双曲线模型好得多。,例3.用最小二乘法解超定方程组,解,欲求（x,y）使得其尽可能使四个等式成立，即使,达到最小,则（x,y）应满足,即,解得,所以用最小二乘法解得的超定线性方程组的解为,第三章补充,逼近问题的发展,对基于经验数据估计函数依赖关系的方法的研究（从实例学习的研究）已经有很长的历史了。这些研究是由两个伟大的数学家开始的：他们是高斯（Gauss,1777-1855）和拉普拉斯（Laplace,1749-1827），他们提出了从天文学和物理学中的观测结果估计依赖关系的两种不同方法。,逼近问题的发展,高斯提出了最小二乘法，而拉普拉斯提出了最小模方法。从那时起就有了下面的问题：那种方法更好呢？在19世纪和20世纪初，人们更趋向于最小二乘法。,在1953年，L.LeCam定义了ML方法一致收敛的一些充分条件后，人们发现：如果离散数据点的噪声是服从高斯（正态）规律的，则最小二乘法给出最好的结果；若噪声是服从拉普拉斯规律的，则最小模法给出最好的结果。,但遗憾的是，在实际中噪声的形