最小二乘法及其应用研究

学科分类号 0701 本科生毕业论文题目: 最小二乘法及其应用研究 The Least Square Method and its Applications 学生姓名: 陈端杰 学 号: 1009402034系 别: 数学与应用数学专 业: 数学与应用数学 指导教师: 何郁波 副教授起止日期: 2013.122014.052014 年 5 月 10 日怀化学院本科毕业论文(设计)诚信声明作者郑重声明:所呈交的本科毕业论文(设计),是在指导老师的指导下,独立进行研究所取得的成果,成果不存在知识产权争议.除文中已经注明引用的内容外,论文不含任何其他个人或集体已经发表或撰写过的成果.对论文的研究做出重要贡献的个人和集体均已在文中以明确的方式标明.本声明的法律结果由作者承担.本科毕业论文(设计)作者签名:年 月 日目 录 摘 要 .I关键词 .IAbstract .IKey words.I1 引言 .12 最小二乘法的原理 .32.1 最小二乘法的定义 .32.2 最小二乘法的统计学原理 .43 曲线拟合 .53.1 一元线性拟合 .53.2 多元线性拟合 .73.3 多项式拟合 .93.4 非线性最小二乘法拟合 .94 应用最小二乘法解决实际问题 .114.1 一元线性拟合实例 .114.2 多项式拟合实例 .125 Matlab 对最小二乘法的实现 .135.1 用 Matlab 实现曲线拟合 .135.2 线性最小二乘曲线拟合问题 .135.3 非线性最小二乘法曲线拟合问题 .145.4 实例应用 .166 结束语 .19参考文献 .19致 谢 .21附 录 .22I最小二乘法及其应用研究摘 要最小二乘法是一种最基本、最重要的计算技巧与方法.它是从误差拟合角度对回归模型进行参数估计或系统辨识,并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用.本文主要探讨了最小二乘法的基本原理及其各种变形的拟合方法,其中包括:一元线性最小二乘法拟合、多元线性拟合、 多项式拟合、最小二乘法曲线拟合,运用实例来展示最小二乘法在实践中的应用.给出最小二乘法的 MATLAB 程序.同时也针对一些典型问题,利用 MATLAB 进行实现.关键词最小二乘法;线性拟合;曲线拟合;非线性拟合The Least Square Method and its Applications AbstractLeast-squares method is one of the most basic and important computing techniques and methods. It proceeded parameter estimation or system identification to the regression model from the perspective of error fitting, and it is widely applied by parameter estimation, system identification, forecasting, and many other fields etc. This paper mainly discusses the basic principles of least-squares method and its various-modifications fitting method, including: a linear least-squares fitting, multivariate linear fitting, polynomial fitting, least-squares curve fitting, and uses the examples to demonstrate the application of the least-squares method in practice, giving the least-squares-method MATLAB. At the same time for some typical problem, we can use MATLAB to implement.Key wordsLeast square method; linear fitting; curve fitting; nonlinear fitting11 引言最小二乘法是法国大数学家 A.M.Legendre 最先于 1805 年发表的,其动机是为处理一类从天文学和测地学中提出的数据分析问题.最小二乘法还可用于曲线拟合,工程施工中,我们会经常取得一些相关的数据,这些数据往往来自与施工密切相关的测量或实验中,我们可以通过作图或多段插值取得变量之间的联系,但作图和插值查图往往误差较大.这时可采用最小二乘法先拟合出一个多项式,再根据此多项式求解任一自变量所对应的因变量较精确的结果,据此绘图可得到较精确、较合理的曲线 4.1801 年,意 大 利 天文学家朱赛普皮亚齐发现了第一颗小行星谷 神 星 ,经过 40 天的跟踪观测后,由于谷神星运行至太阳背后,使得皮亚齐失去了谷神星的位置.随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星,但是根据大多数人计算的结果来寻找谷神星都没有结果.时年 24 岁的高 斯 也计算了谷神星的轨道.奥 地 利 天文学家海因里希奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星.高斯使用的最小二乘法的方法发表于 1809 年他的著作天体运动论中. 法国科学家勒 让 德 于 1806 年独立发现“最小二乘法”,但因不为世人所知而默默无闻. 勒让德曾与高斯为谁最早创立最小二乘法原理发生争执. 1829 年,高斯提供了最小二乘法的优化效果强于其他方法的证明,因此被称为高斯- 莫卡夫定理.最小二乘法作为函数逼近的一种重要方法,广泛的应用于物理学、测绘学、数值计算、大地测量学等.最小二乘法在 19 世纪初发明后,很快得到欧洲一些国家的天文和测地学工作者的广泛使用.据不完全统计,自 1805 年至 1864 年的 60 年期间,有关这一方法的研究论文约 250篇,一些百科全书,包括 1837 年出版的不列颠百科全书第 7 版,都收进了有关这个方法的介绍.同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持.如贝塞尔( F. W. Bessel, 17841846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致.拉普拉斯在 1810 年也给出了正态规律的一个新的理论推导并写入其分析概论中.正态分布作为一种统计模型,在 19 世纪极为流行,一些学者甚至把 19 世纪的数理统计学称为正态分布的统治时代.在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型.所以研究论文中,有一些是关于最小二乘估计的计算,这涉及解线性方程组.高斯也注意了这个问题,给出了正则方程的命名并发展了解方程的消去法.但是,在电子计算机出现以前,当参数个数较大时,计算任务很繁重.1858 年,英国为绘制本国地图作了一次大型的测绘,用两组人员独立计算,花了两年半的时间才完成.1958 年我国某研究所计算一个炼钢方面的课题,涉及用最小二乘法解 13 个自变量的线性回归,30 余人用电动计算机算,夜以继日花了一个多月的时间.勒让德的工作没有涉及最小二乘法的误差分2析问题.这一点由高斯在 1809 年发表的正态误差理论加以补足.高斯的这个理论对于最小二乘法之用于数理统计有极重要意义.目前,近代统计估计理论的概念、矩阵符号表示法和近代线性代数的概念以及大型快速数字计算机的应用这三领域的发展越来越广泛地运用于最小二乘法,对最小二乘法估计理论和实用都带来了深刻的影响.本文主要介绍了最小二乘法的基本原理及其各种变形的拟合方法,和最小二乘法在实践中的应用及最小二乘法的 MATLAB 实现.32 最小二乘法的原理2.1 最小二乘法的定义问题的提出:已知一组实验数据 求它们的近似函数关系,1,2,kxynfx这需要解决两个问题(1)确定近似函数的类型,它需要根据数据点的分布规律和问题的实际背景;(2)确定近似函数的标准:由于实验数据有误差,不能要求 真实值与实验值的差叫做偏(),12,.)iiyfxn=差,偏差 有正有负为使所有偏差的绝对值都较小且便于计算,可由偏差平()iiiryfx=-方和最小21()minniiiyfx=-=来确定近似函数 .fx最小二乘法原理 2设有一列实验数据 它们大体分布在某条曲线上,通过偏差平方,1,2kyn和最小求该曲线的方法称为最小二乘法,找出的函数关系称为经验公式.特别,当数据点分布近似一条直线时,问题为确定 使 满足,abx21min.nkMyab令21()0,.nkkkyaxbab得法方程组 2111, .nnnkkkk kxaxby解此线性方程组得4, 112211nnkknnkkxyya21112211.nnnkkknnkkxyxb这时把 代入方程 中,此时的方程就是我们所要求的原线性方程.,byax另外当函数关系为指数函数: 时,我们可以把指数函数转化为一元线性函数,bxyae再对其进行上述运算,其过程如下对等式两边同时取对数 lnln,bxyaeyabx 令 则 .同样当函数关系为三角函数 时,我们可ln,l,YyAaBbYABsinyabx以用泰勒公式将 展开为:six35212n()(),!)!mmxx然后再根据要求对 进行取值,代入原函数即可 ;其中对 取第一项是线性逼近.six sin2.2 最小二乘法的统计学原理基本最小二乘法,其统计学原理是:设统计量 与 个变量 间的依赖关系式为yl12,lx,1201(,;,)lnyfxa 其中 是方程中需要确定的 个参数.01,na n最小二乘法就是通过 个实验点 确定出一m12(,)(1,2)iilxym组参数值,01(,)na使由这组参数得出的函数值,1201=(,)iilnyfxa与实验值 间的偏差平方和iy 2011(,)()mniisay取得极小值.在设计实验时,为了减小随机误差,一般进行多点测量,使方程式个数大于待求参数的个数,即 .这时构成的方程组叫做矛盾方程组 .通过用最小二乘法进行统计处理,1mn将矛盾方程组转换成未知数个数和方程个数相等的正规方程组,再进行求解得出.01,na由微分学的求极值方法可知 应满足下列方程组5,0iya(1,2)n这样就实现矛盾方程组向正规方程组的转换 3.3 曲线拟合3.1 一元线性拟合设变量 与 成线性关系,即 .现在已知 个实验点 ,yx01yaxm,ixy(1,2)m求两个未知参数 .01a方法一 3 由最小二乘法原理,参数 应使01,201(,)()miiisayax取得极小值.根据极小值的求法, 和 应满足 011012(),iiimiiisyaxa0112,iimmiiixaxy这就是含有两个未知数和两个方程的正规方程组.从中解得 ,即01(1)21101()/(),.mmi iaxyx其中,11,mmiixy线性相关系数 ,式中/xyyRll,22111,mmmixiyilxly相关系数是用来衡量实验点的线性特性 6.方法二 1 将 代入 得矛盾方程组,(,2)ixy 0a6(2)1012201,.mmyax 令, ,12mxA 12yB则(2)式可写成,01aBA则有,01Ta所以.011()TaAB其中 称为结构矩阵, 称为数据矩阵, 称为信息矩阵 , 称为常数矩阵.ABTA为了定量地给出 与实验数据之间线性关系的符合程度,可以用相关系数01yax