最小二乘法的基本原理和多项式拟合.pdf

第一节 最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数 同所给数据点 i 0 1 m 误差 i 0 1 m 的大小 常用的方法有以下三种 一是误差 i 0 1 m 绝对值的最大 值 即误差 向量的 范数 二是误差绝对值的和 即误差向 量r的1 范数 三是误差平方和的算术平方根 即误差向量r的2 范数 前两种方法 简单 自然 但不便于微分运算 后一种方法相当于考虑 2 范数的平方 因此在曲线拟合 中常采用误差平方和来 度量误差 i 0 1 m 的整体大小 数据拟合的具体作法是 对给定数据 i 0 1 m 在取定的函数类中 求 使误差 i 0 1 m 的平方和最小 即 从几何意义上讲 就是寻求与给定点 i 0 1 m 的距离平方和为最小的曲线 图6 1 函数称为拟合 函数或最小二乘解 求拟合函数的方法称为曲 线拟合的最小二乘法 在曲线拟合中 函数类可有不同的选取方法 6 1 二 多项式拟合 假设给定数据点 i 0 1 m 为所有次数不超过的多项式构成的函数 类 现求一 使得 xp ii yx iii yxpr iii yxpr i mi r 0 max T m rrrr 10 L m i i r 0 m i i r 0 2 m i i r 0 2 i r ii yx xp iii yxpr m i i r 0 2 m i ii yxp 0 2 min ii yx xpy xp xp ii yx mnn n k k kn xaxp 0 Page 1 of 8第一节 最小二乘法的基本原理和多项式拟合 2008 12 29mhtml file C Documents and Settings 邵雷 桌面 最小二乘法 第一节 最小二乘 1 当拟合函数为多项式时 称为多项式拟合 满足式 1 的称为最小二乘拟合多项式 特别地 当n 1时 称为线性拟合或直线拟合 显然 为的多元函数 因此上述问题即为求的极值 问题 由多元函数 求极值的必要条件 得 2 即 3 3 是关于的线性方程组 用矩阵表示为 4 式 3 或式 4 称为正规方程组或法方程组 可以证明 方程组 4 的系数矩阵是一个对称正定矩阵 故存在唯一解 从式 4 中 解出 k 0 1 n 从而可得多项式 5 可以证明 式 5 中的满足式 1 即为所求的拟合多项式 我们把 称为最小二乘拟合多项式的平方误差 记作 由式 2 可得 min 00 2 0 2 m i m i n k i k ikiin yxayxpI xpn m i n k i k ik yxaI 0 2 0 n aaaL 10 10n aaaIIL njxyxa a I m i j i n k i k ik j 1 0 0 2 00 L njyxax n k m i i j ik m i kj i 1 0 000 L n aaaL 10 m i i n i m i ii m i i n m i n i m i n i m i n i m i n i m i i m i i m i n i m i i yx yx y a a a xxx xxx xxm 0 0 0 1 0 0 2 0 1 0 0 1 0 2 0 00 1 M M L MMM L L k a n k k kn xaxp 0 xpn xpn m i iin yxp 0 2 xpn m i iin yxpr 0 2 2 2 Page 2 of 8第一节 最小二乘法的基本原理和多项式拟合 2008 12 29mhtml file C Documents and Settings 邵雷 桌面 最小二乘法 第一节 最小二乘 6 多项式拟合的一般方法可归纳为以下几步 1 由已知数据画出函数粗略的图形 散点图 确定拟合多项式的次数n 2 列表计算和 3 写出正规方程组 求出 4 写出拟合多项式 在实际应用中 或 当时所得的拟合多项式就是拉格朗日或牛顿插值多项 式 例1 测得铜导线在温度 时的电阻如表6 1 求电阻R与温度 T的近似函数关 系 解 画出散点图 图6 2 可见测得的数据接近一条直线 故取n 1 拟合函数为 列表如下 正规方程组为 解方程组得 m i n k m i i k iki yxayr 000 2 2 2 m i j i njx 0 2 1 0 L m i i j i njyx 0 2 1 0 L n aaaL 10 n k k kn xaxp 0 mn mn mn i T i R i 0 1 2 3 4 5 6 i T 19 1 25 0 30 1 36 0 40 0 45 1 50 0 i R 76 30 77 80 79 25 80 80 82 35 83 90 85 10 TaaR 10 i i T i R 2 i T iiR T 0 19 1 76 30 364 81 1457 330 1 25 0 77 80 625 00 1945 000 2 30 1 79 25 906 01 2385 425 3 36 0 80 80 1296 00 2908 800 4 40 0 82 35 1600 00 3294 000 5 45 1 83 90 2034 01 3783 890 6 50 0 85 10 2500 00 4255 000 245 3 565 5 9325 83 20029 445 445 20029 5 565 83 93253 245 3 2457 1 0 a a Page 3 of 8第一节 最小二乘法的基本原理和多项式拟合 2008 12 29mhtml file C Documents and Settings 邵雷 桌面 最小二乘法 第一节 最小二乘 故得R与T的拟合直线为 利用上述关系式 可以预测不同温度时铜导线的电阻值 例如 由R 0得T 242 5 即预测温 度 T 242 5 时 铜导线无电阻 6 2 例2 已知实验数据如下表 试用最小二乘法求它的二次拟合多项式 解 设拟合曲线方程为 列表如下 得正规方程组 921 0 572 70 10 aa TR921 0572 70 i 0 1 2 3 4 5 6 7 8 i x 1 3 4 5 6 7 8 9 10 i y 10 5 4 2 1 1 2 3 4 2 210 xaxaay I i x i y 2 i x 3 i x 4 i x iiy x ii yx2 0 1 10 1 1 1 10 10 1 3 5 9 27 81 15 45 2 4 4 16 64 256 16 64 3 5 2 25 125 625 10 50 4 6 1 36 216 1296 6 36 5 7 1 49 343 2401 7 49 6 8 2 64 512 4096 16 128 7 9 3 81 729 6561 27 243 8 10 4 100 1000 10000 40 400 53 32 381 3017 25317 147 1025 Page 4 of 8第一节 最小二乘法的基本原理和多项式拟合 2008 12 29mhtml file C Documents and Settings 邵雷 桌面 最小二乘法 第一节 最小二乘 解得 故拟合多项式为 三 最小二乘拟合多项式的存在唯一性 定理1 设节点互异 则法方程组 4 的解存在唯一 证 由克莱姆法则 只需证明方程组 4 的系数矩阵非奇异即可 用反证法 设方程组 4 的系数矩阵奇异 则其所对应的齐次方程组 7 有非零解 式 7 可写为 8 将式 8 中第j个方程乘以 j 0 1 n 然后将新得到的n 1个方程左右两端分别 相 加 得 因为 其中 所以 i 0 1 m 是次数不超过n的多项式 它有m 1 n个相异零点 由代数基本定理 必须有 1025 147 32 253173017381 301738152 381529 2 1 0 a a a 2676 06053 3 4597 13 210 aaa 2 2676 0 6053 3 4597 13xy n xxx 10 L m i i n i m i ii m i i n m i n i m i n i m i n i m i n i m i i m i i m i n i m i i yx yx y a a a xxx xxx xxm 0 0 0 1 0 0 2 0 1 0 0 1 0 2 0 00 1 M M L MMM L L njax n k k m i kj i 1 0 0 00 L j a n j n k k m i kj ij axa 000 00 m i m i m i in n k k ik n j j ij n j n k kj ijk n j n k k m i kj ij xpxaxaxaaaxa 000 2 0000000 n k k kn xaxp 0 0 in xp xpn Page 5 of 8第一节 最小二乘法的基本原理和多项式拟合 2008 12 29mhtml file C Documents and Settings 邵雷 桌面 最小二乘法 第一节 最小二乘 与齐次方程组有非零解的假设矛盾 因此正规方程组 4 必有唯一解 定理2 设是正规方程组 4 的解 则是满足式 1 的最小二 乘拟合多项式 证 只需证明 对任意一组数组成的多项式 恒有 即可 因为 k 0 1 n 是正规方程组 4 的解 所以满足式 2 因此有 故为最小二乘拟合多项式 四 多项式拟合中克服正规方程组的病态 在多项式拟合中 当拟合多项式的次数较高时 其正规方程组往往是病态的 而且 正规方程组系数矩阵的阶数越高 病态越严重 拟合节点分布的区间偏离原点越远 病态越严重 i 0 1 m 的数量级相差越大 病态越严重 为了克服以上缺点 一般采用以下措施 尽量少作高次拟合多项式 而作不同的分段低次拟合 不使用原始节点作拟合 将节点分布区间作平移 使新的节点关于原 点对称 可大大 降低正规方程组的条件数 从而减低病态程度 平移公式为 9 对平移后的节点 i 0 1 m 再作压缩或扩张处理 0 10 n aaaL n aaa 1 0 L n k k kn xaxp 0 n bbb 1 0 L n k k kn xbxQ 0 m i iin m i iin yxpyxQ 0 2 0 2 n j m i j i n k i k ikjj m i n j n k i k ik j ijj iin m i inin m i inin m i iin m i iin xyxaabyxaxab yxpxpxQxpxQ yxpyxQ 000000 00 2 0 2 0 2 2 20 2 k a 0 0 2 0 2 m i iin m i iin yxpyxQ xpn m xx 0 i x i x mi xx xx m ii 1 0 2 0 L i x Page 6 of 8第一节 最小二乘法的基本原理和多项式拟合 2008 12 29mhtml file C Documents and Settings 邵雷 桌面 最小二乘法 第一节 最小二乘 10 其中 r是拟合次数 11 经 过 这 样 调 整 可 以 使的 数 量 级 不 太 大 也 不 太 小 特 别 对 于 等 距 节 点 作式 10 和式 11 两项变换后 其正规方程组的系数矩阵 设 为A 则对1 4次多项式拟合 条件数都不太大 都可以得到满意的结果 变换后的条件数上限表如下 在实际应用中还可以利用正交多项式求拟合多项式 一种方法是构造离散正交多项式 另 一种方法是利用切比雪夫节点求出函数值后再使用正交多项式 这两种方法都使正规方程 组 的系数矩阵为对角矩阵 从而避免了正规方程组的病态 我们只介绍第一种 见第三节 例如 m 19 328 h 1 ih i 0 1 19 即节点 分布在 328 347 作二次 多项式拟合时 直接用构造正规方程组系数矩阵 计算可得 严重病态 拟合结果完全不能用 作平移变换 用构造正规方程组系数矩阵 计算可得 比降低了13个数量级 病态显著改善 拟合效果较好 取压缩因子 作压缩变换 用构造正规方程组系数矩阵 计算可得 mixpx ii 1 0 L r m i r i xmp 2 0 2 1 i x 1 0 0 miihxxiL 拟合次数 1 234 2 Acond 1 9 9 50 3 435 0 x 1 x 0 x i x 0 A 16 02 1025 2 Acond 19 1 0 2 347328 L ixx ii i x 1 A 16 12 10483868 4 Acond 02 Acond 1498 0 20 4 19 0 4 i i x p 19 1 0 L ixpx ii i x 2 A839 6 22 Acond Page 7 of 8第一节 最小二乘法的基本原理和多项式拟合 2