最小二乘法的应用研究

最小二乘法的应用研究最小二乘法的应用研究摘要最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识,并在参数估计、系统辨识以及预测、预报等众多领域中得到极为广泛的应用然而,最小二乘法因其抽象、难懂常常不能被准确理解本文探讨了最小二乘法的基本原理及其各种变形的拟合方法,其中包括一元线性最小二乘法拟合、多元线性拟合、多项式拟合、非线性拟合,并且讨论了用镜像映射和切比雪夫多项式解“病态”矛盾方程组的基本原理和方法,在此基础上给出了几种最小二乘法程序的设计原理关键词最小二乘法,线性拟合,曲线拟合,切比雪夫多项式STUDYONTHEAPPLICATIONABOUTMETHODOFLEASTSQUAREABSTRACTLEASTSQUAREWASUSEDTOESTIMATEPARAMETERSANDIDENTIFYSYSTEMOFREGRESSIONMODEL,BYTHEPOINTOFERRORFITTINGANDITHASWIDELYAPPLICATIONINTHEPARAMETERSESTIMATE,SYSTEMIDENTIFICATION,PREDICTION,FORECASTINGANDOTHERFIELDSHOWEVER,THELEASTSQUAREMETHODBECAUSEOFITSABSTRACTANDDIFFICULT，OFTENCANNOTBEACCURATELYUNDERSTANDINGTHELEASTSQUAREMETHODSPRINCIPLEANDTHEVARIOUSKINDSOFFITTINGMETHODSSUCHASTHELINEARLEASTSQUAREFITTING,MULTIPLELINEARFITTING,POLYNOMIALFITTINGANONLINEARFITTINGAREDEALTWITHANDDISCUSSEDUSINGMIRRORANDCHEBYSHEVPOLYNOMIALSOLUTIONPATHOLOGICALCONTRADICTORYEQUATIONSBASICPRINCIPLESANDMETHODSFINALLYSOMEKINDSOFTHEPRINCIPLEOFTHEPROGRAMSONTHELEASTSQUAREMETHODAREGIVENKEYWORDSLEASTSQUAREMETHOD,LINEARFITTING,CURVEFITTING,CHEBYSHEVPOLYNOMIAL目录一、最小二乘法的统计学原理1二、曲线拟合21一元线性拟合22多元线性拟合43多项式拟合54非线性最小二乘法拟合65多项式回归的高精度快速算法7三、应用最小二乘法的几个问题9四、程序设计原理101线性拟合程序的设计原理102多元线性拟合程序的设计原理103SHEHATA方程的拟合程序设计原理1112KSU结束语11参考文献121一、最小二乘法的统计学原理1基本最小二乘法,其统计学原理是设物理量与个变量间的依赖关系式为YL12,LX,01,LNYFXA其中是方程中需要确定的个参数01,NAN最小二乘法就是通过个实验点确定M12,1,2IILXYM出一组参数值,01,NA使由这组参数得出的函数值1201,IILNYFXA与实验值间的偏差平方和IY2011,MNIISAY取得极小值在设计实验时,为了减小随机误差,一般进行多点测量,使方程式个数大于待求参数的个数,即这时构成的方程组叫做矛盾方程组通过用最小二乘法1MN进行统计处理,将矛盾方程组转换成未知数个数和方程个数相等的正规方程组,再进行求解得出01,NA由微分学的求极值方法可知应满足下列方程组01,NA,IY,2这样就实现矛盾方程组向正规方程组的转换2二、曲线拟合1一元线性拟合2设变量与成线性关系,即现在已知个实验点YX01YAXM,IXY,求两个未知参数1,2IM1方法一由最小二乘法原理,参数应使01,20101,MIIISAYAX取得极小值根据极小值的求法,和应满足01,011012MIIIIIISYAXA,0112MIIMIIIAXYX这就是含有两个未知数和两个方程的正规方程组从中解得,即01A121101/MMIIXYXA其中,11,MMIIXY线性相关系数,式中/XYYRLL3,22111,MMMXYIXIYILYLXLY相关系数是用来衡量实验点的线性特性方法二将代入得矛盾方程组,2IXY01YAX21012201MMYAX令,12MXA12MYB则（2）式可写成,01ABA则有,01TA所以011TAAB其中称为结构矩阵,称为数据矩阵,称为信息矩阵,称为常数矩阵ABTA为了定量地给出与实验数据之间线性关系的符合程度,可以用相01YAX关系数来衡量它定义为R1122221111MMIJIIIIIIYXYRXX4值在中,值越接近1,与的线性关系越好为正时,直线斜率R01RXYR为正,称为正相关；为负时,直线斜率为负,称为负相关接近于0时,测量数据点分散或之间为非线性不论测量数据好坏都能求出和,所以我们必须有一种0A1判断测量数据好坏的方法,用来判断什么样的测量数据不宜拟合,判断的方法是时,测量数据是非线性的称为相关系数的起码值,与测量次数有关,如0R0RN图表所示相关系数起码值0RN0RNN0R31000907981506414099010076516062350959110735170606609171207081805907087413068419057580834140661200561在进行一元线性拟合之前应先求出值,再与比较,若,则和具有R0R0RXY线性关系,可求回归直线；否则反之2多元线性拟合设变量与个变量间存在线性关系,设变量的第次测YNX01NJYAXJI量值为,对应的函数值为,则偏差平方和IJX1,2IYM22010111,NNIIJIIISAYAX为使取极小值,得正规方程组为S5,011010112020MNIJIIIJIIMNIJININSYAXASYAXA即,0110111NMMIJIJNIKIJKJIKJJIXAYX2,N将实验数据代入上述正规方程组中,即得出未知参数IJXY01,NA3多顶式拟合对于次多项式,令,则可转化为线性形式N0NJJYAX0,12JJXN这是曲线化直对于个实验点有,代入多元线性01JYAX,IMJIJIX拟合的正规方程,001111NMMNMMIJIIKIJKJIKJJIAXAYXAXAXY可直接得出多项式最小二乘拟合的正规方程；011NMMJKIJIKJXAXY0,2,N矩阵形式6,01200123112342212NIIIIIIIIIINNNMNIIIIINXXXXYAXXXXYA式中代表,这是一个具有个参数和个方程的线性方程1MI012,N1组,可用高斯迭代法求出这些未知参数,得出回归方程4非线性最小二乘法拟合将非线性关系直接代入偏差平方和表达式中,采1212,INYFXB用极小值的求法得出的数值,此方法常常较为繁琐为此,先将函数展开NB成泰勒级数,忽略高次项,化成线性形式后按线性拟合的方法求出参数,经多次逼近可得到满足精度要求的结果计算步骤1设所求参数真值为,另取初值,其差值,故1,2JBN0JB0JJB0JJJB2将函数1212,LNFXB在处展开成泰勒级数由于初值与真值应当很接近,故可以略去函数的泰0JB0JJ勒展开式高次项,取得一阶近似展开式,01IIIINFFFB式中0001212,IIILNFXB71212,IIILNFXB1,2IM为实验点数3令,则展开式可以写为0,IIJIJJJFXYFAB,121NIIIIJXXA这是线性关系式的特殊形式4将多元线性最小二乘法拟合的正规方程式应用于上式,得出其正规方程组11,2NMMIJKJIKJIXAXYN令121212NMMNXXA,TAA,0001212,TTMMYYFFF则上式成为TAYA5以高斯消元法或其它方法求解正规方程,即可得出即,求出JAJ,此式是一个近似式,因而得出的也是一个近似值将首次求出的0JJJBJB值赋给作为新的初值,重复上述过程,再求出新的值,从而得到新的初值,JJJ反复迭代,直到得出足够精度的为止JB5多项式回归的高精度快速算法8多项式回归分析在回归分析方法中具有特别重要的地位在多项式回归分析的矩阵运算中,解决数字病态问题则成为重要问题之一为此采取两个措施第一,因为正规方程的条件数是矛盾方程组的平方倍,所以首先采用镜像影射法解矛盾方程组,不解正规方程组；第二,采用切比雪夫多项式,使矛盾方程组系数矩阵正交化,使条件数进一步减小采用这两种有效方法后,多项式逐次分析的运算工作就容易了,并且提高了精度算法原理1运用切比雪夫多项式降低矛盾方程的条件数对矛盾方程组的系数矩阵,01,NXXX向量的线性相关程度与矩阵的条件数有密切关系当系数矩01,NX阵为正交向量时条件数最小因此,如果将多项式回归转化成切比雪夫多项式回归,就能将条件数降低到尽可能小的程度2将测量数据化为区间的数据将一般多项式的测量数据1,KY2NXX线性影射到内,就能把一般多项式的回归问题转化成切比雪夫回归问题13对数据拟合切比雪夫多项式对KX2201YATXA用切比雪夫多项式拟合数据,并经过模型方次和参数的最小KN二乘估计,算出,IA12,N4由切比雪夫多项式还原成普通多项式这种算法能在一次输入实验数据后,系统自动根据残差平方和的检验快速确定方次并求出参数例如,某振动F3筒式压力传感器的静态标定数据,在95的置信带内,运行建模程序得到静态频率压力特性为二次多项式；268504121478FPP9三、应用最小二乘法的几个问题最小二乘法虽然在数据处理方面具有显著的效果,但如果使用不当会导致很大的误差,甚至错误的结果因此,在应用时必须注意以下几个问题1慎重选择拟合关系式在实际问题中,适当选择拟合关系式是一项十分谨慎的工作,它将直接影响计算的工作量和结论2自变量的选择在实际工作中,对一组实验数据按不同的拟合形式,结果会不一样特IXY别注意当两个变量都有一定误差时,应当使用双变量最小二乘法进行处理,否则可以使用单变量最小二乘法3加权最小二乘法此法是应用于实验测量值非等精度的情况下的拟合方法它不同程度的消IY除误差因素,结果更准确可靠设拟合函数为,当值取时的实测值为,取加YFXIXYIYIIIFX权偏差平方和,2211MIIISWYFX式中为个实验点的权重因子选取合适的权重因子可获得高精度的拟合参IWIW数四、程序设计原理1线性拟合程序的设计原理4对于给定的实验数据,求作拟合直线,使总误差,1,2IXYNYABX10为最小21NIIIQYABX再由数学中极值求法得公式LS,211/NNIIIIIBXYX,AB式中,1NIX1NIY2多元线性拟合程序的设计原理对式,设变量的第次测量值为,对应的函数值01NJYAXJIIJX偏差平方和1,2I,22010111,MMNNIIJIIISAYYAX求其极小值得正规方程组,011NMIJIJAXAY,0111NNIKIJKJIJKJJIX,2N式中为实验点数,为未知参数个数,为变量在第MXMN1,JXI次测量中的取值；为函数第次测量值,为正规12IIJXYIIYCMN方程组的系数和,第列存放和为存放未知参1MIJX1IJK1N1MIY1IKXA数01,NA113SHEHATA方程的拟合程序设计原理12KSU将方程考虑为的函数,将12,21USK22USK代入正规方程即得结果结束语最小二乘法是一个比较古老的方法,早在十八世纪,就由首先创立并成功地应用于天文观测和大地测量工作中此后近三百年来,它己广泛应用于科学实验与工程技术中最小二乘法能将从实验中得出的一大堆看上去杂乱无章的数据中找出一定规律,拟合成一条曲线来反映所给数据点总趋势,以消除其局部波动它为科研工作者提供了一种非常方便实效的数据处理方法随着现代电子计算机的普及与发展,这个占老的方法更加显示出其强大的生命力12参考文献1李庆扬,王能超