最小二乘法及其应用

0 最小二乘法及其应用最小二乘法及其应用 摘要摘要 最小二乘法是一种数学优化技术 它通过最小化误差的平方和 寻找数据的最佳函数匹配 利用最小二乘法可以简便地求得未知的数据 并使 得这些求得的数据与实际数据之间误差的平方和为最小 最小二乘法还可用于 曲线拟合 其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来 表达 关键字关键字 最小二乘法 经验公式 近似计算 1 1 最小二乘法的简介及其定义最小二乘法的简介及其定义 1 11 1 关于最小二乘法的简介关于最小二乘法的简介 1801 年 意大利天文学家朱赛普 皮亚齐发现了第一颗小行星 谷神星 经过 40 天的跟踪观测后 由于谷神星运行至太阳背后 使 得皮亚齐失去了谷神星的位置 随后全世界的科学家利用皮亚齐的 观测数据开始寻找谷神星 但是根据大多数人计算的结果来寻找谷 神星都没有结果 时年 24 岁的高斯也计算了谷神星的轨道 奥地利 天文学家海因里希 奥尔伯斯根据高斯计算出来的轨道重新发现了 谷神星 高斯使用的最小二乘法的方法发表于 1809 年他的著作 天体运 动论 中 法国科学家勒让德于 1806 年独立发现 最小二乘法 但因不为世人所知而默默无闻 勒让德曾与高斯为谁最早创立最小二乘法原理发生争执 1829 年 高斯提供了最小二乘法的优化效果强于其他方法的证 明 因此被称为高斯 莫卡夫定理 1 21 2 最小二乘法的定义最小二乘法的定义 在科学研究和实际工作中 常常会遇到这样的问题 给定两个变 量 x y 的 m 组实验数据 如何从中找出这两个变量间的函数关系的 近似解析表达式 也称为经验公式 使得能对 x 与 y 之间的除了实验 数据外的对应情况作出某种判断 这样的问题一般可以分为两 类 一类是对要对 x 与 y 之间所存在的对应规律一无所知 这时要从 实验数据中找出切合实际的近似解析表达式是相当困难的 俗称这类 问题为黑箱问题 另一类是依据对问题所作的分析 通过数学建模或 者通过整理归纳实验数据 能够判定出 x 与 y 之间满足或大体上满足 1 某种类型的函数关系式 其中是 n 个待定的参数 这些参数的值可以 通过 m 组实验数据来确定 一般要求 这类问题称为灰箱问题 解决 灰箱问题的原则通常是使拟合函数在处的值与实验数值的偏差平方 和最小 即取得最小值 这种在方差意义下对实验数据实现最佳拟合 的方法称为 最小二乘法 2 2 最小二乘法原理最小二乘法原理 在我们研究两个变量 x y 之间的相互关系时 通常可以得到 一系列成对的数据 x1 y1 x2 y2 xm ym 将这些数据描绘 在 x y 直角坐标系中 如图 1 若发现这些点在一条直线附近 可 以令这条直线方程如 式 1 1 Y 计 a0 a1 X 式 1 1 其中 a0 a1 是任意实数 为建立这直线方程就要确定 a0 和 a1 应用 最小二乘法原理 将实测值 Yi 与利用 式 1 1 计算值 Y 计 a0 a1X 的离差 Yi Y 计 的平方和 Yi Y 计 2 最小为 优化判据 令 Yi Y 计 2 式 1 2 把 式 1 1 代入 式 1 2 中得 Yi a0 a1 Xi 2 式 1 3 当 Yi Y 计 平方最小时 可用函数 对 a0 a1 求偏导数 令这两个偏导数等于零 m a0 Xi a1 Yi 式 1 6 Xi a0 Xi2 a1 Xi Yi 式 1 7 得到的两个关于 a0 a1 为未知数的两个方程组 解这两个方 程组得出 a0 Yi m a1 Xi m 式 1 8 a1 Xi Yi Xi Yi Xi2 Xi 2 式 1 9 2 这时把 a0 a1 代入 式 1 1 中 此时的 式 1 1 就是我们回归 的元线性方程即 数学模型 在回归过程中 回归的关联式是不可能全部通过每个回归数据 点 x1 y1 x2 y2 xm ym 为了判断关联式的好坏 可借助相关 系数 R 统计量 F 剩余标准偏差 S 进行判断 R 越趋 近于 1 越好 F 的绝对值越大越好 S 越趋近于 0 越好 R XiYi m Xi m Yi m SQR Xi2 m Xi m 2 Yi2 m Yi m 2 式 1 10 在 式 1 1 中 m 为样本容量 即实验次数 Xi Yi 分别任意 一组实验 X Y 的数值 微积分应用课题一 最小二乘法 从前面的学习中 我们知道最小二乘法可以用来处理一组数据 可以从一组测定的数据中寻求变量之间的依赖关系 这种函数关系 称为经验公式 本课题将介绍最小二乘法的精确定义及如何寻求与之 间近似成线性关系时的经验公式 假定实验测得变量之间的个数据则 在平面上 可以得到个点 这种图形称为 散点图 从图中可以粗 略看出这些点大致散落在某直线近旁 我们认为与之间近似为一线 性函数 3 3 应用背景应用背景 在科学研究和实际工作中 人们常常会遇到这样的问题 给定两 个变量 x y 的 m 组实验数据 如何从中找出这两个变量间的函数关 系的近似解析表达式使得能对 x 与 y 之间的除了实验数据外的对应 情况作出某种判断 这样的问题一般可以分为两类 一类是对要对 x 与 y 之间所存在的对应规律一无所知 这时要从实验数据中找出切合 实际的近似解析表达式是相当困难的 俗称这类问题为黑箱问题 另 一类是依据对问题所作的分析 通过数学建模或者通过整理归纳实验 数据 能够判定出 x 与 y 之间满足或大体上满足某种类型的函数关系 式 其中是 n 个待定的参数 这些参数的值可以通过 m 组实验数据来 确定 这类问题称为灰箱问题 解决灰箱问题的原则通常是使拟合函 数在处的值与实验数值的偏差平方和最小 即取得最小值 这种在方 差意义下对实验数据实现最佳拟合的方法称为 最小二乘法 3 4 4 实际应用实际应用 用最小二乘法分析国民经济的增长趋势 GDP 是衡量国名经济 发展的重要指标 我国近几年来国名经济高速发展 通过最小二乘 法我们可以大致做出估计出国内 GDP 的变化趋势 通过 GDP 的发展 我们可以大致分析近几年我国的经济发展趋势 从而大致估计国内 的经济发展趋势以及 GDP 的增长速率 用最小二乘法求解物理实验中的问题 超声光栅测液体声速 物理中我们经常需要测量比值定义的物理量 物理中当多次测量两 个线性相关的物理量 对这两个物理量我们一般采用最小二乘法的 方法进行计算 继而得到两个变量的相关关系 而这两个变量的比 值通常我们所要求的待测物理量 5 5 总结总结 最小二乘法是一个比较古老的方法 早在十八世纪 就由首先创 立并成功地应用于天文观测和大地测量工作中 此后近三百年来 它 己