高等数值分析(曲线拟合)

1、高等数值分析,曲线拟合,XXX 2012.11.27,主要内容,拟合的基本概念和最小二乘原理 解线性超定方程组 最小二乘拟合问题的一般解法 线性组合模型下最小二乘拟合的一般解法 常用的线性组合模型的最小二乘解 广义最小二乘拟合问题,为了测定两个变量x和y之间的函数关系，可以通过实验得到一系列离散的数据点 ，然而这些数据点可能存在一定的观察误差。如何利用这些带误差的数据点得到变量之间的函数关系呢？,拟合的基本概念和最小二乘原理,x,把数据点在坐标图上描出，得到散点图,由于数据量大，高次插值会引起严重误差，分段插值则会使函数非常复杂，并且保留了原始数据的误差。,观察到 x 和y 之间大致呈线性关系

2、,我们不要求逼近函数通过所有数据点，而是希望逼近函数的形式相对简单，并且与各数据点的偏差在某种标准下最小化，这就是拟合。,插值与拟合这两类函数逼近方法的比较,评价拟合函数数 y=p(x) 与原始数据之间的偏差情况（如下图）通常有以下几种方法：,(1) 使拟合函数与各个原始数据的偏差的绝对值的最大值最小化，即最小化 的值。其中 为原始数据。这实际上对应于向量 的-范数,(2) 使拟合函数与各个数据的偏差的绝对值之和最小化，即最小化 的值。这实际上对应于向量 r 的1-范数。,(3) 使拟合函数与各个数据的偏差的平方和最小化，即最小化 的值。这实际上对应于向量 r 的2-范数的平方。,定义1 最小

3、二乘拟合问题,给定数据点 选择合适的函数类型，求该函数类型中的一个函数 ，使得 p(x) 在各个数据点上的偏差 的平方和最小化，即,这个最小化问题即为最小二乘拟合问题，拟合函数 p(x) 称为上述实验数据的最小二乘解，求拟合函数 p(x) 的过程则称为曲线拟合的最小二乘法。,例1、已知气压存在随着海拔高度的上升而下降的关系，表1给出了在某地粗略测得的不同海拔高度时的气压值。利用这些数据，试寻找气压与海拔高度之间的所满足的大致关系。,表1 气压与海拔高度关系表,解: (1)取海拔高度为自变量 x，气压为因变量 y，根据表1所给的40个数据点做出如图1所示的散点图，观察 x 与 y 之间的分布规律

4、。,图1 气压与海拔高度散点图,根据最小二乘原理，把问题转换为最小化问题，使拟合函数与数据点的偏差的平方和最小化，即,(2) 从散点图可以看出 y 与 x 大致成线性关系，不妨设拟合函数为 y=ax+b。,2个未知数，40个方程，无解！,这个问题就可解了！,这类方程个数大于未知数个数的方程组称为超定方程组，一般来说是无解的。,(3) 解函数的最小化问题。,根据微积分中求极值的原理，对 求最小值，相当于分别对a，b求偏导数，其值都为0，得到以下方程组,这个方程组称为上述拟合问题的正规方程组。解这个方程组得到a=-0.077 249 1, b=1010.87。因此，所求的拟合函数为 y=-0.07

5、7 249 1x+1010.87,(4) 观察拟合函数对原始数据的拟合情况，决定拟合结果能否被接受。本例中的拟合函数如下图2所示。可以看到，该拟合函数能大致反映原始数据点的变化趋势。,图2 拟合函数图示,通过上述例子可以看到，给定一组带有误差的实验数据，采用最小二乘原理，对数据进行拟合的基本步骤包括：,步骤： 作散点图，观察实验数据的一般趋势，选择合适的拟合函数类型。,步骤： 观察拟合函数对数据的拟合效果，如果拟合效果不理想，则选择新的拟合函数类型，按照上述过程重新拟合。,步骤： 根据拟合函数的类型，选择合适的方法，求最小二乘解。,步骤： 根据最小二乘拟合原理，把问题转换为使拟合函数与原始数据

6、之间偏差的平方和最小的问题。,解线性超定方程组,方程个数大于未知数个数的方程组称为超定方程组。一般而言，超定方程组是无解的（这时也称为矛盾方程组），因此，需要用最小二乘原理来求出超定方程组的最小二乘解。,不妨设线性超定方程组为,其中有 mn。记,则超定方程组可以写成 Ax=b 的矩阵形式。,由于上述超定方程组 Ax=b 在一般情况下无解，因此需要寻找最小二乘解，也就是要找到一组 使得 最小化。用矩阵的形式来描述，就是要使 即向量 Ax-b 的 2-范数的平方最小化。,为了得到线性超定方程组的最小二乘解，有如下定理：,定理1： x* 是超定方程组 Ax=b 的最小二乘解的充分必要条件是 x* 是

7、方程组 的解。,定理1： x* 是超定方程组 Ax=b 的最小二乘解的充分必要条件是 x* 是方程组 的解。,证明：先证明充分性。 记 (x,y) 为向量 x 和 y 的内积。根据向量内积及2-范数的定义，可知 设x* 是方程组 的解，并设 是任意一个 n 维向量，则有,又因为 x* 是方程组 的解，所以 代入上式得,也就是说，对任意 n 维向量 ，都有 ，所以x* 是该超定方程组的最小二乘解。,证明：下面证明必要性。,定理1： x* 是超定方程组 Ax=b 的最小二乘解的充分必要条件是 x* 是方程组 的解。,若向量 是超定方程组 Ax=b 的最小二乘解，则有,达到最小值。根据多元函数求极值

8、的条件，对各个变量的偏导数值为0，即,改写得,例2、 已知超定方程组 求出其最小二乘解。,解：方程组的系数矩阵和右端项为,解方程组得 ，即该超定方程组的最小二乘解是,有定理1可知，求超定方程组的最小二乘解对应于解下面的方程组,即,最小二乘拟合问题的一般解法,为了便于讨论，不妨假设离散最小二乘拟合问题的原始数据是 ， ，拟合函数类型为，对任意函数，有如下形式 其中，x 是函数的变量， 是函数中的待定系数。所能表达的拟合函数类型是多种多样的，例如： 多项式函数： 三角函数： 对数函数： 指数函数： 双曲函数：,最小二乘拟合问题的求解目标就是确定待定系数 的值，得到拟合函数 ，简记为p(x)，使 的

9、值最小化。,一、线性组合模型下最小二乘拟合的一般解法,下面分别从“利用偏导数求多元函数极值”以及“求线性超定方程组的最小二乘解”这两种思路出发，探索线性组合模型下最小二乘拟合的一般解法。,给定 n+1 个关于 x 的线性无关的连续函数 ，拟合函数p(x) 是由 的线性组合所构成，即 这类函数称为广义多项式，以这种类型的函数作为拟合函数的最小二乘拟合问题称为线性组合模型的最小二乘拟合，函数 称为该线性组合模型的基函数。 线性组合的函数类型在实践中很常见，多项式函数 和对数函数 等都属于这一类。,1、基于偏导数求多元函数极值的方法,线性模型的最小二乘拟合问题可以转化为使函数 最小化的问题。对于任意

10、待定系数 ，上式都是一个关于 的线性函数。因此，根据求多元函数极值的原理，可以对上式的各个待定系数 分别求偏导数，使其值均为0，从而得到以 为未知数的方程组,化简并移项得,记 则任意两个向量 和 的内积 就是,向量 与向量 的内积 是,这个方程组 Gt=h 称为相应拟合问题的正规方程组。当 线性无关时，系数矩阵 G 的行列式不为0，所以上述方程组有唯一解，即相应的线性拟合问题有唯一解。,那么方程组可简记为 Gt = h 其中,2、基于解线性超定方程组的方法,把所有数据点 代入拟合函数 ，以 为未知数，可以得到一个含有 m+1 个方程，n+1 个未知数的超定方程组,把方程组的系数矩阵、未知向量和

11、右端项记为 根据定理1，上述超定方程组的最小二乘解对应于方程组 的解。,3、方法小结,步骤：解上述方程组,比较上述两种思路得到的方程组 Gt=h 和 ，根据矩阵乘法运算法则，容易得到 ，也就是说，无论采用偏导数求解多元函数极值问题的方法，还是采用解线性超定方程组的方法，线性组合模型的最小二乘拟合问题最终都可以被转换为解正规方程组 Gt=h 的问题。,二、常用线性组合模型的最小二乘解,根据上面介绍的方法，下面具体讨论两类常用的满足线性组合模型的最小二乘拟合问题。,1、多项式模型,令式 中的基函数为 ，可以得到多项式函数,以多项式函数作为拟合函数类型的拟合问题称为多项式拟合。根据上述讨论结果，把

12、代入 Gt=h ,可以得到方程组,为了使方程组的关系更加清楚，记,则上式所示的正规方程组可以简写为,因此，求解多项式拟合问题只需要执行下面两个步骤： 计算 以及 的值，得到正规方程组； 解正规方程组，求得 的值。,例3、给定如下一组实验数据： 试求对上述数据作最小二乘拟合得到的二次多项式。,解：设二次拟合多项式是,则其相应的正规方程组是 其中 的值如下表3所示,表3,把这些值代入正规方程组，得,解方程可得 ，即拟合多项式是,2、对数模型,令式 中的基函数为 ，得到如下形式的对数函数,根据 Gt=h ,可得正规方程组 解此方程即可得到上述模型的最小二乘拟合解。,例4、给定如下的一组实验数据： 采

13、用形如 的拟合函数，求其最小二乘解。,解：上述拟合问题的最小二乘解对应于方程组 的解。把实验数据代入以上方程，得,解方程组得 ，即拟合函数为：,广义最小二乘拟合问题,定义2 连续性的最小二乘拟合问题,给定在区间 a,b 内定义的连续函数 y=f(x) ，选择一种函数类型，对任意函数，有如下的形式 其中 x 是函数变量， 是函数中的系数，求函数 简记为p(x)，使得该拟合函数满足 的值最小化。即最小化函数 p(x) 与原函数 f (x) 在区间 a,b 内的误差的平方的积分，这就是连续型的最小二乘拟合问题，也被称为函数的最佳平方逼近问题。,离散型： 已知离散数据点 对每个点 都有一个正的权重值 ，表示该数据点的重要程度。确定参数 ，得到拟合函数p(x)，使得带权的最小二乘函数 的值最小化，这个问题称为离散型的带权的最小二