曲线拟合最小二乘法ppt课件.ppt

曲线拟合 曲线拟合问题 仍然是已知x1 xn y1 yn 求一个简单易算的近似函数f x 来拟合这些数据 但是 n很大 yi本身是测量值 不准确 即yi f xi 这时没必要取f xi yi 而要使 i f xi yi总体上尽可能地小 这种构造近似函数的方法称为曲线拟合 f x 称为拟合函数 称为 残差 1 y f x y p x 插值 2 求一条曲线 使数据点均在离此曲线的上方或下方不远处 所求的曲线称为拟合曲线 它既能反映数据的总体分布 又不至于出现局部较大的波动 更能反映被逼近函数的特性 使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到最小 拟合 3 与函数插值问题不同 曲线拟合不要求曲线通过所有已知点 而是要求得到的近似函数能反映数据的基本关系 在某种意义上 曲线拟合更有实用价值 两种逼近概念 插值 在节点处函数值相同 拟合 在数据点处误差平方和最小在对给出的实验 或观测 数据作曲线拟合时 怎样才算拟合得最好呢 4 常见做法 使最小 较复杂 使最小 不可导 求解困难 使最小 使 i P xi yi尽可能地小 有不同的准则 5 曲线拟合的最小二乘法 一 拟合问题的提出及其最小二乘法 6 例某物质的溶解度y和温度x的关系经测定满足下面数据表 试建立该问题的数学模型 将 x y 的数据点描在一坐标纸上 则如下图所示 7 y与x近似成抛物线关系 数据点分布在一抛物线的两侧 从图中可见 因此 可以猜测 即有 这就是本问题的数学模型 8 确定了问题的数学模型后 即 这里 是线性无关函数系 为待定常数 9 在例1中 设函数 误差为 我们希望猜想的数学模型应尽量接近观测数据 即使得误差带权平方和 越小越好 10 11 根据最小二乘原理 应取和使有极小值 故和应满足下列条件 1 直线拟合设已知数据点 分布大致为一条直线 作拟合直线 该直线不是通过所有的数据点 而是使偏差平方和 为最小 12 即得如下方程组 例设有某实验数据如下 12341 361 371 952 2814 09416 84418 47520 963 用最小二乘法求以上数据的拟合函数解 把表中所给数据画在坐标纸上 将会看到数据点的分布可以用一条直线来近似地描述 设所求的 13 拟合直线为记x1 1 36 x2 1 37 x3 1 95x4 2 28 y1 14 094 y2 16 844 y3 18 475 y4 20 963则正规方程组为 其中 将以上数据代入上式正规方程组 得 14 解得 即得拟合直线 15 2 多项式拟合有时所给数据点的分布并不一定近似地呈一条直线 这时仍用直线拟合显然是不合适的 可用多项式拟合 对于给定的一组数据寻求次数不超过n n m 的多项式 来拟合所给定的数据 与线性拟合类似 使偏差的平方和 为最小 16 由于Q可以看作是关于 j 0 1 2 n 的多元函数 故上述拟合多项式的构造问题可归结为多元函数的极值问题 令 得 即有 17 这是关于系数的线性方程组 通常称为正规方程组 可以证明 正规方程组有惟一解 例设某实验数据如下 123456012345521123 用最小二乘法求一个多项式拟合这组数据 18 解 将已给数据点描在坐标系中 可以看出这些点接近一条抛物线 因此设所求的多项式为 由法方程组 3 2 经计算得 m 6 其法方程组为 解之得 所求的多项式为 19 几种常见的数据拟合情况 图 a 表示数据接近于直线 故宜采用线性函数拟合 图 b 数据分布接近于抛物线 可采拟合 二次多项式 拟合 a b 20 图 c 的数据分布特点是开始曲线上升较快随后逐渐变慢 宜采用双曲线型函数或指数型函数图 d 的数据分布特点是开始曲线下降快 随后逐渐变慢 宜采用或或等数据拟合 c d 21 例3 13设某实验数据如下 12345600 511 522 52 01 00 90 60 40 3 用最小二乘法求拟合曲线 解 将已给数据点描在坐标系中下图所示 可以看出这些点接近指数曲线 因而可取指数函数作为拟合函数 对函数两边取对数得 令得则就得到线性模型 22 则正规方程组为 其中 将以上数据代入上式正规方程组 得 解得 由得 23 由得 于是得到拟合指数函数为 4 超定方程组的最小二乘解设线性方程组Ax b中 b是m维已知向量 x是n维解向量 当m n 即方程组中方程的个数多于未知量的个数时 称此方程组为超定方程组 一般来说 超定方程组无解 此时为矛盾方程组 这时需要寻求方程组的一个 最近似 的解 记 称使 即最小的解为方程组Ax b的最小二乘解 25 定理是Ax b的最小二乘解的充分必要条件为是的解 证明 充分性若存在n维向量 使任取一n维向量 令 则且 所以是Ax b的最小二乘解 26 必要性 r的第i个分量为 记 由多元函数求极值的必要条件 可得 即 由线性代数知识知 上式写成矩阵形式为 它是关于的线性方程组 也就是我们所说的正规方程组或法方程组 可以证明如果A是列满秩的 则方程组 5 48 存在惟一解 27 例求超定方程组 的最小二乘解 并求误差平方和 解 方程组写成矩阵形式为 正规方程组为 28 即 解得 此时 误差平方和为 29 我们已经讨论了最小二乘意义下的曲线拟合问题 由于方程比较简单 实际中应用广泛 特别是因为任何连续函数至少在一个较小的邻域内可以用多项式任意逼近