第5章最小二乘法PPT学习教案

1、会计学1第第5章最小二乘法章最小二乘法第1页/共73页第2页/共73页 设X和Y两个物理量之间的函数关系为假定此函数关系f已知，但其中a1，a2，ak等参数还未求出，现对于X和Y有一批观测数据： xi，yi ，i1，2，,n，要利用这批数据在一定法则之下作出这些参数a1，a2，ak的估计。第3页/共73页 假设诸观测值相互独立且服从正态分布。在等精度观测的情况下，即认为各误差服从相同的正态分布N(0， y)。 现在的问题是一个参数估计问题：需要给出a1，a2，ak的估计值 ， ， 。 解决这类问题最常用的方法就是最小二乘法。在一些情况下，即使函数值不是随机变量，最小二乘法也可使用。 1 a2

2、aka 一般根据测量的实际情况，可假设变量X的测量没有误差(或与Y的误差相比很小，可略去)，而变量Y的测量有误差，故关于Y的观测值yi可以写成这里y0i表示xi对于的Y的变量真值，i表示相应的测量误差。 第4页/共73页 在参数估计问题中，最小二乘法的法则最小二乘法的法则是： 所选取的参数估计值 ， ， 应使变量Y的诸观测值yi与其真值的估计值(又叫拟合值)，即f(xi；a1,a2，ak)之差的平方和为最小。 用式子表示时，记残差i为1 a2 aka 最小二乘法就是要求 =最小最小在这个条件下，利用数学中求极值的方法可以求出参数 ， ， 。这样求出的参数叫参数的最小二乘估计。 1 a2 aka

3、 第5页/共73页=最小最小共得k个方程，称正规方程正规方程，求此联立方程的解可得出诸参数估计值 (j1，2，k)。ja 第6页/共73页 以上是等精度观测的情况，若诸观测值yi是不等精度的观测，即它们服从不同的方差i2的正态分布N(0，1)，那么也不难证明，在这种情况下，最小二乘法可改为： 选取的参数估值应使诸观测值yi与其估计值 之差的加权平方和为最小。用式子表示就是要使 iy =最小最小其中，wi为各观测值yi的权。wi2i2，i1，2，n。这里2为任选的正常数，它表示单位权方差。 第7页/共73页同样地，根据数学分析中求函数极值的条件：共得k个方程，称正规方程，求此联立方程的解可得出诸

4、参数估计值 (j1，2，k)。 ja 第8页/共73页 从几何图形上可看出,最小二乘法就是要在穿过各观测点(xi，yi)之间找出这样一条估计曲线，使各观测点到该曲线的距离的平方和为最小。 YX第9页/共73页 如果假定各观测值是相互独立且服从正态分布，期望值是(xi；a1，a2，ak)，方差是i2, 则观测值的似然函数为 最大似然法要求上式取极大值，这就相当于要求指数项中的=最小最小这就说明了在观测值服从正态分布的条件下，最小二乘估计与最大似然估计是一致的。这就说明了在观测值服从正态分布的条件下，最小二乘估计与最大似然估计是一致的。 第10页/共73页 实质上，按最小二乘条件给出最终结果能充分

5、地利用误差的抵偿作用，可以有效地减小随机误差的影响，因而所得结果具有最可信赖性。 假若观测值不服从正态分布，则最小二乘估计并不是最大似然估计。但应该指出，在有些问题中观测值虽然不服从正态分布，但当样本容量很大时，似然函数也趋近于正态分布，因此，这时使用最小二乘法和最大似然法实质也是一致的。 第11页/共73页 若观测值是服从正态分布的，这时最小二乘法和最大似然法实际上是一回事。但观测值不服从正态分布或其分布未知时，这时用最小二乘法显得缺乏理论的验证。但应该指出，作为一种公理来使用，最小二乘法仍然是可以接受的，而且可以证明，所得到的估计仍然具有一些很好的统计性质，这些性质是： (1)解是无偏的，

6、即(2)解是观测值的线性组合，且有最小方差。这称为高斯马尔可夫定理;(3) 加权的残差平方和的期望值是当21，即取wi1/i2，这时称为2 量。期望值为nk。第12页/共73页 一般情况下，最小二乘法可以用于线性参数的处理，也可用于非线性参数的处理。由于测量的实际问题中大量的是属于线性的，而非线性参数借助于级数展开的方法可以在某一区域近似地化成线性的形式。 因此，线性参数的最小二乘法处理是最小线性参数的最小二乘法处理是最小二乘法理论所研究的基本内容二乘法理论所研究的基本内容。 第13页/共73页线性参数的测量方程一般形式为 （5-7） 相应的估计量为（5-8） 第14页/共73页其误差方程为（

7、5-9） 第15页/共73页设有列向量 和nt阶矩阵(nt) 则线性参数的误差方程式(59)可表示为 即（5-10） 第16页/共73页即或（5-11） （5-12） 残余误差平方和最小这一条件的矩阵形式为 第17页/共73页最小二乘原理的矩阵形式为 或（5-14） （5-13） 式中的P为nn阶权矩阵。 线性参数的不等精度测量还可以转化为等精度的形式，从而可以利用等精度测量时测量数据的最小二乘法处理的全部结果。第18页/共73页 为了获得更可取的结果，测量次数n总要多于未知参数的数目t，即所得误差方程式的数目总是要多于未知数的数目。因而直接用一般解代数方程的方法是无法求解这些未知参数的。 最

8、小二乘法则可以将误差方程转化为有确定解的代数方程组(其方程式数目正好等于未知数的个数)，从而可求解出这些未知参数。这个有确定解的代数方程组称为最小二乘法估计的正规方程正规方程(或称为法方程)。 第19页/共73页线性参数的最小二乘法处理程序可归结为：线性参数的最小二乘法处理程序可归结为：（1）根据具体问题列出误差方程式；）根据具体问题列出误差方程式；（2）按最小二乘法原理，利用求极值的方法将误差方程转化为正规方程；）按最小二乘法原理，利用求极值的方法将误差方程转化为正规方程；（3）求解正规方程，得到待求的估计量；）求解正规方程，得到待求的估计量；（4）给出精度估计。）给出精度估计。对于非线性参

9、数，可先将其线性化，然后按上述线性参数的最小二乘法处理程序去处理。对于非线性参数，可先将其线性化，然后按上述线性参数的最小二乘法处理程序去处理。 建立正规方程是待求参数最小二乘法处建立正规方程是待求参数最小二乘法处理的基本环节。理的基本环节。第20页/共73页线性参数的误差方程式为最小二乘法处理的正规方程为 （5-19） 这是一个t元线性方程组当其系数行列式不为零时，有唯一确定的解，由此可解得欲求的估计量 第21页/共73页正规方程(519)组，还可表示成如下形式 表示成矩阵形式为 第22页/共73页（5-21） 又因 有 即 （5-22） 若令 则正规方程又可写成 （5-22） （5-23）

10、 若矩阵C是满秩的，则有 第23页/共73页X因式中Y、X为列向量(n 1阶矩阵和tl阶矩阵) 可见X是X的无偏估计。 其中矩阵元素Y1，Y2，Yn为直接量的真值，而Xl，X2，Xn为待求量的真值。 第24页/共73页 在不同温度下，测定铜棒的长度如下表，试估计在不同温度下，测定铜棒的长度如下表，试估计0时的铜棒长度时的铜棒长度y0和铜的线膨胀系数和铜的线膨胀系数。 解：（1）列出误差方程式中, li在温度ti下铜棒长度的测得值； 铜的线膨胀系数。 令y0a，y0=b为两个待估计参量，则误差方程可写为 第25页/共73页为计算方便，将数据列表如下： 将表中计算出的相应系数值代人上面的正规方程得

11、第26页/共73页求解正规方程解得待求估计量即第27页/共73页由正规方程，有由正规方程，有第28页/共73页则所以所以（4）给出实验结果）给出实验结果铜棒长度yt随温度t的线性变化规律为第29页/共73页用矩阵表示的正规方程与等精度测量情况类似，可表示为 （5-27） 即第30页/共73页上述正规方程又可写成（5-28） 该方程的解，即参数的最小二乘法处理为（5-29） 令则有（5-30） 第31页/共73页试求x1，x2的最小二乘法处理正规方程的解。 解：解：（1）首先确定各式的权第32页/共73页（2）用表格计算给出正规方程常数项和系数）用表格计算给出正规方程常数项和系数（3）给出正规方

12、程）给出正规方程（4）求解正规方程组）求解正规方程组解得最小二乘法处理结果为第33页/共73页为了确定一个量X的估计量x，对它进行n次直接测量，得到n个数据 l1，l2，ln，相应的权分别为p1，p2，pn，则测量的误差方程为(5-35)第34页/共73页其最小二乘法处理的正规方程为 (5-36)由误差方程知al，因而有可得最小二乘法处理的结果 (5-37)这正是不等精度测量时加权算术平均值原理所给出的结果。第35页/共73页则由最小二乘法所确定的估计量为此式与等精度测量时算术平均值原理给出的结果相同。 由此可见，最小二乘法原理与算术平均值原理是一致的，算术平均值原理可以看做是最小二乘法原理的

13、特例。 第36页/共73页 对测量数据最小二乘法处理的最终结果，不仅要给出待求量的最可信赖的估计量，而且还要确定其可信赖程度，即应给出所得估计量的精度。 第37页/共73页 为了确定最小二乘估计量X1，X2，Xt的精度，首先需要给出直接测量所得测量数据的精度。测量数据的精度也以标准差来表示。因为无法求得的真值，因而只能依据有限次的测量结果给出的估计值 ，所谓给出精度估计，实际上是求出估计值 。 第38页/共73页 设对包含t个未知量的n个线性参数方程组（57）进行n次独立的等精度测量，获得了n个测量数据l1，l2，ln。其相应的测量误差分别为1，2，n，它们是互不相关的随机误差。因为一般情况下

14、真误差1，2，n是未知的，只能由残余误差l，2，n给出的估计量。 第39页/共73页nii122/前面已证明前面已证明是自由度为（nt）的2变量。根据2变量的性质，有（5-39）取 （5-40）可以证明它是2的无偏估计量 因为第40页/共73页习惯上，式5-40的这个估计量也写成2，即 （5-41）因而测量数据的标准差的估计量为（5-43）第41页/共73页已知残余误差方程为将ti，li，值代人上式，可得残余误差为第42页/共73页 不等精度测量数据的精度估计与等精度测量数据的精度估计相似，只是公式中的残余误差平方和变为加权的残余误差平方和，测量数据的单位权方差的无偏估计为（5-44） 通常习

15、惯写成（5-45） 测量数据的单位权标准差为 （5-46） 第43页/共73页 最小二乘法所确定的估计量X1，X2，Xt的精度取决于测量数据的精度和线性方程组所给出的函数关系。对给定的线性方程组，若已知测量数据l1，l2，ln的精度，就可求得最小二乘估计量的精度。 第44页/共73页 设有正规方程 现要给出由此方程所确定的估计量xl，x2，xt的精度。为此，利用不定乘数法求出xl，x2，xt的表达式，然后再找出估计量xl，x2，xt的精度与测量数据l1，l2，ln精度的关系，即可得到估计量精度估计的表达式。 第45页/共73页 设d11，dl2，dlt；d2l，d22，d2t：； dtl，dt

16、2，dtt分别为下列各方程组的解： 第46页/共73页（5-52） 相应的标准差为（5-53） 式中，为测量数据的标准差。不等精度测量的情况与此类似。不等精度测量的情况与此类似。 第47页/共73页利用矩阵的形式可以更方便地获得上述结果。设有协方差矩阵(nn阶矩阵)式中第48页/共73页若l1，l2，ln为等精度独立测量的结果，即且相关系数ij = 0，即Dlij = 0协方差矩阵 于是估计量的协方差为 第49页/共73页式中各元素即为上述的不定乘数，可由矩阵(ATA)求逆而得，或由式(551)求得。 各估计量各估计量xl，x2，xt的方差为的方差为第50页/共73页同样，也可得不等精度测量的

17、协方差矩阵 式中 单位权标准差。矩阵式中各元素即为不定乘数，可由(ATPA)求逆得到，也可由式(554)求得。第51页/共73页已知正规方程为测量数据li的标准差为第52页/共73页根据所给正规方程的系数，可列出求解不定乘数方程组 （1）列出求解不定乘数方程组，并求解）列出求解不定乘数方程组，并求解分别解得第53页/共73页可得估计量a、b的标准差为因（3）求出y0、的标准差故有第54页/共73页第55页/共73页 为简单起见，现以检定三段划线间距为例，说明组合测量的数据处理方法。 如图51所示，要求检定刻线A、B、C、D间的距离x1、x2、x3。 第56页/共73页测量数据 组合测量的方案第

18、57页/共73页根据测量方案列出误差方程误差方程的矩阵形式（3）写出误差方程的相关矩阵）写出误差方程的相关矩阵第58页/共73页由式（5-24）得式中第59页/共73页所以最后解得第60页/共73页1 = 0.013mm2 = 0.002mm3 = 0.007mm4 = 0.005mm5 = 0.015mm6 = 0.008mm将最佳估计值代入误差方程得第61页/共73页nii12=0.000536mm3 因为是等精度测量，测得数据l1，l2l3，l4，l5，l6的标准差相同，为 mmmmtnnii013. 036000536. 012第62页/共73页因故有第63页/共73页解解： 本例有一个约束条件这类约束条件容易消去，将C180AB代入即可。另外，在计算中应注意将角度、分、秒值化度。第64页/共73页有关计算值列表如下第65页/共73页正规方程组解得（3）计算测量精度标准差）计算测量精度标准差97. 02394809. 0tnwvv第66页/共73页不定乘数方程组 4d113 d121 3d115 d120 4d213 d220 3d215 d221解得（5）计算最佳估计值标准差）计算最佳估计值标准差67. 011dA60. 022d