数值分析3-4(最小二乘法)

1、一、最小二乘法的定义一、最小二乘法的定义 第第3 3章章 函数逼近与曲线拟合函数逼近与曲线拟合 4 4 曲线拟合的最小二乘法曲线拟合的最小二乘法 二、求解方法二、求解方法三、求解步骤三、求解步骤 四、举例四、举例 一、最小二乘法的定义一、最小二乘法的定义1. “曲线拟合曲线拟合”问题问题已知：一组实验数据（已知：一组实验数据（xi，yi）(i=0,1,m)， 且观测数据有误差且观测数据有误差求：求：自变量自变量x与因变量与因变量y之间的函数关系之间的函数关系y=F(x) ，不要求，不要求y=F(x)经过所有点，而只要经过所有点，而只要求在给定点上误差求在给定点上误差),.,1 , 0()(mi

2、yxFiii 按按某种标准某种标准最小。最小。(1)使残差的最大绝对值为最小使残差的最大绝对值为最小min)(maxmaxiiiiixFye(2)使残差的绝对值之和为最小使残差的绝对值之和为最小miniie(3)使残差的平方和为最小使残差的平方和为最小min2iie最小二乘法最小二乘法度量标准不同，将导致不同的拟合结果，常用度量标准不同，将导致不同的拟合结果，常用的准则有如下三种：的准则有如下三种：2. 多项式拟合的一般定义多项式拟合的一般定义一组数据（一组数据（xi，yi）(i=0,1,m)，已知：已知：求：求：在函数类在函数类 中找一中找一个函数个函数 ，使误差平方和最小，使误差平方和最小

3、，即即,., 1nxxspan )(xSy miiixSmiiimiiyxSyxS02)(020222)(min)( 这里这里)(.)(10mnxaxaaxSnn3. 一般定义一般定义一组数据（一组数据（xi，yi）(i=0,1,m)，已知：已知：求：求：在函数类在函数类 中找一中找一个函数个函数 ，使误差平方和最小，使误差平方和最小，即即,.,10nspan )(xSy miiixSmiiimiiyxSyxS02)(020222)(min)( 这里这里)()(.)()()(1100mnxaxaxaxSnn 4. 广义定义广义定义通常把最小二乘法通常把最小二乘法 都考虑为加权平方和都考虑为加权

4、平方和 22 0)()()(0222 xyxSxmiiii 即即其中其中)()(.)()()(1100mnxaxaxaxSnn 注：权函数在实际问题中有重要作用！注：权函数在实际问题中有重要作用！二、求解方法二、求解方法求求S S* *(x)(x)求如下多元函数的最小值求如下多元函数的最小值miinjijjinxfxaxaaaI02010)()()(),.,(由多元函数由多元函数求极值的必求极值的必要条件要条件)( )()( )(2), 1 , 0(,000iknjiijjmiikkxxfxaxaInkaI即展开展开 miikiimiikijinjjxxfxxxxa000)()()()()()

5、( 法方程法方程解方程组解方程组)(.)()()(),.,1 , 0(1100 xaxaxaxSnkaannkk 则则有唯一解有唯一解三、求解步骤三、求解步骤确定拟合曲线的形式确定拟合曲线的形式确定变量对应的数据确定变量对应的数据确定法方程确定法方程求解法方程求解法方程最困难！最困难！四、举例四、举例例例1. 已知一组实验数据如下，求它的拟合曲线已知一组实验数据如下，求它的拟合曲线.xi12345fi44.5688.5i21311解解根据所给数据，在坐标纸上标出，从图根据所给数据，在坐标纸上标出，从图中看到各点在一条直线附近，故可选择中看到各点在一条直线附近，故可选择线性函数作拟合曲线，即令线

6、性函数作拟合曲线，即令xaaxS101)( 得法方程为得法方程为 5 .1457422472281010aaaa解得解得13. 1,77. 210 aa于是所求拟合曲线为于是所求拟合曲线为xxS13. 177. 2)(1 例例2. 在某化学反应里，根据实验所得生成物的在某化学反应里，根据实验所得生成物的浓度与时间关系如下表，求浓度浓度与时间关系如下表，求浓度y与时间与时间t的拟的拟合曲线合曲线y=F(t).t12345678Y4.006.408.008.809.229.509.709.86t910111213141516y10.00 10.20 10.32 10.42 10.50 10.55

7、10.58 10.60解解根据所给数据，在坐标纸上标出，得下图根据所给数据，在坐标纸上标出，得下图ty从图中可以看出开始时浓度增加较快，后来从图中可以看出开始时浓度增加较快，后来逐渐减弱，到一定时间就基本稳定在一个数逐渐减弱，到一定时间就基本稳定在一个数值上，即当值上，即当t时，时，y趋于某个常数，故有一趋于某个常数，故有一水平渐近线。另外水平渐近线。另外 t = 0 时，反应未开始，浓时，反应未开始，浓度为度为0。概括起来为。概括起来为 趋于一个定值趋于一个定值时，时，时，时，当当的增函数的增函数是是ytytty)3(; 00)2(;)1(根据这些条件，可设想两种形式的函数关系：根据这些条件

8、，可设想两种形式的函数关系：y = F(t) 是双曲线型是双曲线型y = F(t) 是指数形式是指数形式 )(,1battytbay 即即tbaey/ b0y = F(t) 是双曲线型是双曲线型)(,1battytbay 即即为了确定为了确定a、b，令，令txyy1,1 于是可用于是可用 x 的线性函数的线性函数 拟合拟合数据数据 。 可由原始可由原始数据数据 计算出来。计算出来。)16,.,1(),( iyxii),(iiyxbxaxS )(1),(iiytxxx )(, 1)(10 这这里里可求得可求得 代入法方程得代入法方程得1 , 0,),(),( kjyjjk 331052886.

9、058435. 138073. 3108372. 138073. 316baba解得解得6822.161,6621.80 ba从而得到从而得到)(6822.1616621.80)1(tFtty 于是由于是由 计算出计算出 ，拟合数，拟合数据据 的曲线仍设为的曲线仍设为),(iiyt),(iiyx),(iiyxy = F(t) 是指数形式是指数形式 )0(/ baeytb为了确定为了确定a 与与b，对上式两边取对数得，对上式两边取对数得tbay lnln令令txaAyy1,ln,ln bxAxS )(1得法方程得法方程 82229.1658435. 138073. 326394.7538073.

10、 316bAbA解得解得0567. 1,48072. 4 bA从而得到从而得到)(103253.11)2(0567. 13tFeyt 3103253.11 Aea请回答请回答: :怎样比较这两个数学模型的好坏呢？怎样比较这两个数学模型的好坏呢？答：只要分别计算这两个数学模型的误差，答：只要分别计算这两个数学模型的误差，从中挑选误差较小的模型即可。从中挑选误差较小的模型即可。本例经过计算可得本例经过计算可得3)2(3)1(10277. 0|max,10568. 0|max iiii 而均方误差为而均方误差为312)2(312)1(1034. 0)(,1019. 1)( miimii 由此可知第二

11、个模型较好。由此可知第二个模型较好。结论：结论： 选择拟合曲线的数学模型，并不一定开始选择拟合曲线的数学模型，并不一定开始就能选好，往往需要通过分析若干模型后，就能选好，往往需要通过分析若干模型后，经过实际计算才能选到较好的模型，如本经过实际计算才能选到较好的模型，如本例的指数模型就比双曲线模型好得多。例的指数模型就比双曲线模型好得多。例例3. 用最小二乘法解超定方程组用最小二乘法解超定方程组解解欲求（欲求（x,y）使得其尽可能使四个等式成）使得其尽可能使四个等式成立，即使立，即使 72623531142yxyxyxyx2222)72()62()353()1142(),( yxyxyxyxyx

12、Q达到最小达到最小则（则（x,y）应满足）应满足 0),(0),(yyxQxyxQ即即 48463176yxyx解得解得 2408. 10403. 3yx所以用最小二乘法解得的超定线性方程组的所以用最小二乘法解得的超定线性方程组的解为解为 2408. 10403. 3yx第三章第三章 补充补充 逼近问题的发展逼近问题的发展对基于经验数据估计函数依赖关系的方法的对基于经验数据估计函数依赖关系的方法的研究（研究（从实例学习的研究从实例学习的研究）已经有很长的历）已经有很长的历史了。这些研究是由两个伟大的数学家开始史了。这些研究是由两个伟大的数学家开始的：他们是的：他们是高斯高斯（Gauss,177

13、7-1855）和）和拉普拉普拉斯拉斯（Laplace,1749-1827），他们提出了从），他们提出了从天文学和物理学中的观测结果估计依赖关系天文学和物理学中的观测结果估计依赖关系的两种不同方法。的两种不同方法。逼近问题的发展逼近问题的发展高斯提出了高斯提出了最小二乘法最小二乘法，而拉普拉斯提出了，而拉普拉斯提出了最小模方法最小模方法。从那时起就有了下面的问题：。从那时起就有了下面的问题：那种方法更好呢？在那种方法更好呢？在19世纪和世纪和20世纪初，人世纪初，人们更趋向于最小二乘法。们更趋向于最小二乘法。在在1953年，年，L.Le Cam定义了定义了ML方法一致收方法一致收敛的一些充分条件后，人们发现：如果离散敛的一些充分条件后，人们发现：如果离散数据点的噪声是服从高斯（正态）规律的，数据点的噪声是服从高斯（正态）规律的，则最小二乘法给出最好的结果；若噪声是服则最小二乘法给出最好的结果；若噪声是服从拉普拉斯规律的，则最小模法