数学专业毕业论文-最小二乘法的应用研究.doc

最小二乘法的应用研究最小二乘法的应用研究摘要最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识,并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用.然而,最小二乘法因其抽象、难懂常常不能被准确理解.本文探讨了最小二乘法的基本原理及其各种变形的拟合方法,其中包括:一元线性最小二乘法拟合、多元线性拟合、多项式拟合、非线性拟合,并且讨论了用镜像映射和切比雪夫多项式解“病态”矛盾方程组的基本原理和方法,在此基础上给出了几种最小二乘法程序的设计原理.关键词：最小二乘法,线性拟合,曲线拟合,切比雪夫多项式StudyontheApplicationaboutMethodofLeastSquareAbstractLeastsquarewasusedtoestimateparametersandidentifysystemofregressionmodel,bythepointoferrorfitting.Andithaswidelyapplicationintheparametersestimate,systemidentification,prediction,forecastingandotherfields.However,theleastsquaremethodbecauseofitsabstractanddifficult，oftencannotbeaccuratelyunderstanding.Theleastsquaremethodsprincipleandthevariouskindsoffittingmethodssuchasthelinearleastsquarefitting,multiplelinearfitting,polynomialfittinganonlinearfittingaredealtwith.AnddiscussedusingmirrorandChebyshevpolynomialsolutionpathologicalcontradictoryequationsbasicprinciplesandmethods.Finallysomekindsoftheprincipleoftheprogramsontheleastsquaremethodaregiven.KeyWords：leastsquaremethod,linearfitting,curvefitting,Chebyshevpolynomial目录一、最小二乘法的统计学原理1二、曲线拟合21.一元线性拟合22.多元线性拟合43.多项式拟合54.非线性最小二乘法拟合65.多项式回归的高精度快速算法7三、应用最小二乘法的几个问题9四、程序设计原理101.线性拟合程序的设计原理102.多元线性拟合程序的设计原理103.Shehata方程12ksksuksks的拟合程序设计原理11结束语11参考文献121一、最小二乘法的统计学原理1基本最小二乘法,其统计学原理是:设物理量y与l个变量12,lxxx间的依赖关系式为1201(,)lnyfxxxaaa,其中01,naaa是方程中需要确定的1n个参数.最小二乘法就是通过1mmn个实验点12(,)(1,2,)iiilixxxyim,确定出一组参数值01(,)naaa,使由这组参数得出的函数值1201=(,)iiilnyfxxxaaa与实验值iy间的偏差平方和2011(,)()mniisaaayy取得极小值.在设计实验时,为了减小随机误差,一般进行多点测量,使方程式个数大于待求参数的个数,即1mn.这时构成的方程组叫做矛盾方程组.通过用最小二乘法进行统计处理,将矛盾方程组转换成未知数个数和方程个数相等的正规方程组,再进行求解得出01,naaa.由微分学的求极值方法可知01,naaa应满足下列方程组:0iya(1,2,)in,这样就实现矛盾方程组向正规方程组的转换.2二、曲线拟合1.一元线性拟合2设变量y与x成线性关系,即01yaax.现在已知m个实验点,iixy(1,2,)im,求两个未知参数01,aa.方法一由最小二乘法原理,参数01,aa应使201011(,)()miiisaayaax取得极小值.根据极小值的求法,0a和1a应满足011001112()02()0miiimiiiisyaaxasyaaxxa,10112011111mmiiiimmmiiiiiiiaaxymmaxaxxy,这就是含有两个未知数和两个方程的正规方程组.从中解得01,aa,即2211101()/()mmiiiiiaxymxyxmxayax(1)其中1111,mmiiiixxyymm,线性相关系数/xyxxyyRlll,式中32222111,mmmxyiixxiyyiiiilxymxylxmxlymy,相关系数是用来衡量实验点的线性特性.方法二将,(1,2,)iixyim代入01yaax得矛盾方程组1011201201mmyaaxyaaxyaax(2)令12111mxxAx,12myyBy,则（2）式可写成01aBAa,则有01TTaABAAa,所以011()TTaAAABa.其中A称为结构矩阵,B称为数据矩阵,TAA称为信息矩阵,TAB称为常数矩阵.为了定量地给出01yaax与实验数据之间线性关系的符合程度,可以用相关系数r来衡量.它定义为11122221111mmmiijiijimmmmiiiiiiiimxyxyrmxXmyy.