最小二乘法及其应用

1、最小二乘法及其应用最小二乘法及其应用 摘要最小二乘法是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘 法来表达。关键字 最小二乘法经验公式近似计算1最小二乘法的 简介及其定义1. 1 关于最小二乘法的简介1801年，意大利天文 学家朱赛普皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，

2、但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希奥尔伯斯根据高斯计算出来的轨道重 新发现了谷神星。高斯使用的最小二乘法的方法发表于 1809年他的著作天体运动论中法国科学家勒让德于1806年独立发现最小二乘法，但因不为 世人所知而默默无闻。勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。1829 年，高斯提供了 最小二乘法的优化效果强于其他方法 的证明，因此被称为高斯-莫卡夫定理。1. 2最小二乘法的定义 在科学研究和实际工作中，常常会遇到这样的问题：给定两个变量x, y 的m组实验数据，如何从中找 出这两个变量间的函数关系的近似

3、解析表达式（也称为经验公式），使得能对x与y之间的除了实验数据外的对应情况作出某种判断. 这样的问题一般可以分为两类：一类是对要对x与y之间所存在的 对应规律一无所知，这时要从实验数据中找出切合实际的近似解析 表达式是相当困难的，俗称这类问题为黑箱问题；另一类是依据对 问题所作的分析，通过数学建模或者通过整理归纳实验数据，能够 判定出x与y之间满足或大体上满足某种类型的函数关系式，其中是n个待定的参数，这些参数的值可以通过 m 组实验数据来确 定（一般要求），这类问题称为灰箱问题.解决灰箱问题的原则通常 是使拟合函数在处的值与实验数值的偏差平方和最小，即取得最小值. 这种在方差意义下对实验数据

4、实现最佳拟合的方法称为最小二乘法。2 最小二乘法原理在我们研究两个变量（x, y） 之间的相互 关系时，通常可以得到一系列成对的数据（x1, y1 、x2, y2. xm, ym）；将这些数据描绘在x -y直角坐标系中（如图1）,若 发现这些点在一条直线附近， 可以令这条直线方程如（式1-1）。Y计=aO + a1 X(式 1-1)其中：aO 、a1是任意实数为建立这直线方程就要确定aO 和 a1 ，应用最小二乘法原理，将实测值Yi与利用（式1-1）计算值（Y计=aO+a1X）的离差（Yi-Y 计）的平方和（Yi - Y 计）2最小为优化判据。令：二（Yi - Y计）2(式1-2）把（式1-1

5、）代入（式1-2）中得:=(Yi -aO - a1 Xi) 2（式1-3）当（Yi-Y计）平方最小时，可用函数对aO、a1求偏导数，令这两个偏导数等于零。maO + (Xi ) a1 = Yi(式 1-6)(Xi ) aO+ ( Xi2 ) a1 = (Xi, Yi)(式 1-7)得到的两个关于aO、a1为未知数的两个方程组，解这两个方程组得出：aO= (Yi) / m - a1(Xi) / m(式1-8) a1 = Xi Yi - (Xi Yi) / Xi2 - (Xi) 2 )(式 1-9)这时把aO、al代入（式1-1）中，此时的（式1-1）就是我们回归 的元线性方程即：数学模型。在回归

6、过程中，回归的关联式是不可能全部通过每个回归数据点（x1, y1 、x2, y2. . xm, ym）,为了判断关联式的好坏，可借助相关系数R,统计量F,剩余标准偏差S进行判断；R越趋近于1越好；F的绝对值越大越好；S越趋近于0越好。R = Xi Yi - m (Xi / m) (Yi / m) / SQRXi2 - m (Xi / m)2 Yi2 - m(Yi / m) 2(式 1-10) 在(式1-1)中，m为样本容量，即实验次数；Xi、Yi分别任意一 组实验X、Y的数值。微积分应用课题一 最小二乘法 从前面的学习中，我们知道 最小二乘法可以用来处理一组数据，可以从一组测定的数据中寻求变

7、量之间的依赖关系，这种函数关系称为经验公式.本课题将介绍最 小二乘法的精确定义及如何寻求与之间近似成线性关系时的经验公 式.假定实验测得变量之间的个数据则在平面上，可以得到个点，这种图形称为散点图，从图中可以粗略看出这些点大致散落在某直线近旁，我们认为与之间近似为一线性函数，。3 应用背景在科学研究和实际工作中，人们常常会遇到这样 的问题：给定两个变量x, y 的m组实验数据，如何从中找出这两 个变量间的函数关系的近似解析表达式使得能对 x与y之间的除了 实验数据外的对应情况作出某种判断。这样的问题一般可以分为两类：一类是对要对x与y之间所存 在的对应规律一无所知，这时要从实验数据中找出切合实

8、际的近似 解析表达式是相当困难的，俗称这类问题为黑箱问题；另一类是依 据对问题所作的分析，通过数学建模或者通过整理归纳实验数据，能 够判定出x与y之间满足或大体上满足某种类型的函数关系式，其中是n个待定的参数，这些参数的值可以通过 m组实验数据来最新资料推荐确定，这类问题称为灰箱问题.解决灰箱问题的原则通常是使拟合函 数在处的值与实验数值的偏差平方和最小 ，即取得最小值.这种在 方差意义下对实验数据实现最佳拟合的方法称为最小二乘法。4 实际应用 用最小二乘法分析国民经济的增长趋势：GDP是衡量国名经济发展的重要指标，我国近几年来国名经济高速发展，通过最小二乘法我们可以大致做出估计出国内 GDP的变 化趋势，通过GDP的发展我们可以大致分析近几年我国的经济发展 趋势，从而大致估计国内的经济发 展趋势以及GDP的增长速率。用最小二乘法求解物理实验中的问题（超声光栅测液体声速）：物理中我们经常需要测量比值定义的物理量。物理中当多次测量两个线性相关的物理量， 对这两个物理量我 们一般采用最小二乘法的方法进行计算， 继而得到两个变量的相关 关系，而这两个变量的比值通常我们所要求的待测物理量。5 总结最小二乘法是一个比较古老的方法 ，早在十八世纪，就由首先创立并成功地应用于天文观测和大地测量工作中.此后近三百年来，它己广泛应用