整体最小二乘估计的深入研究

1、整体最小二乘估计的深入研究整体最小二乘估计的深入研究摘要：整体最小二乘法是一种较为先进的最小二乘法结构，整体最小二乘法认 为回归矩阵存在干扰，在计算最小二乘解时考虑了这个因素，而在一般最小二 乘法时没有考虑该因素的影响。整体最小二乘法应用广泛，得到效果也比较好。 本文主要讨论了整体最小二乘法的基本原理，给出了整体最小二乘的单位权中误差计算公式以及待估参数的近似精度评定公式。一、整体最小二乘的基本原理最小二乘法经历了百余年的发展考验，已经成为许多领域数据处理广泛应用 的方法。测量数据的处理方法，通常是指按最小二乘法进行测量平差，它是测 量数据处理中最基本、最广泛的应用方法，尤其是近几十年来得到了

2、充分的发 展和应用。最小二乘平差的基本思想是在最小二乘准则下进行测量数据的调整。 测量平差模型均可归结线性方程组AX = L + ?的求解问题。最小二乘准则要求残差的范数平方和极小，它主要是针对观测值中的偶然误差的。然而，实际 问题中参数估计中的观测值和系数阵都可能存在误差，针对这种更复杂的情况， 20世纪80提出了整体最小二乘法。先介绍整体最小二乘的基本思想：对于线性方程组 Ax = L,普通最小二乘的基本思想是在残差平方和极小的准则约束下求解最佳参数。这里有一个前提， 系数矩阵A是没有误差的精确值，但是多数情况系数阵A和观测向量L同时存在误差，若同时考虑二者的误差，此时，线性方程组可表示为

3、(A + E?s) x=L+ E?其中A C R , L? , ?C ? , rank (? ) = n , rank (? ) = n < m ； m为观测值个数，n为待估参数个数，？?为系数阵白噪声，？?为观测噪声， 误差矩阵? ?属于相互独立的白噪声误差。这一模型称为 EIV (Errors-in-Variables )模型。解决这类问题的适宜方法是整体最小二乘法 (Total Least Squares, TLS )。对于线性方程组 Ax = L ,整体最小二乘问题就 是在以下准则约束下?;? e ?-(?-i)|? ? ? ? R(?)寻求？、？，任何满足A?= ?的？均称为线

4、性方程 A x = L的整体最小二乘解。E?- E? = A L - A ?为相应整体最小二乘改正数。式中，|M?|为 Frobenius范数，简称为F范数。整体最小二乘的求解是通过奇异值分解来实现的。将线性Ax = L改写为? ?- 1?= 0记增广矩阵C = A L,对增广矩阵C进行奇异值分解 C= U/?其中.=diag( 14 C2, 0? o?+1)团(2？o?o?+10则整体最小二乘解可由增广矩阵右奇异向量的最后一列?n+ 1得到，即整体最小二乘解为? = -?,?+.？?,?+?+i,?+i当A为列满秩时，整体最小二乘还有另一种解的形式X?=? (?- ?+1初-1 ?整体最小二

5、乘的基本思想是同时考虑设计矩阵和观测向量的误差，而在许 多情况下，设计矩阵的某一列或某几列是常数，如在直线拟合、曲面拟合、GPS 非差定位等模型中都存在这种情况。因此，在这种情况下对A的不同列就应区别对待，与此相应的参数可分别采用最小二乘法和整体最小二乘法求解，简称 为混合最小二乘将线性方程Ax = L表示为?1 ?阳?1 = ?其中m为观测值个数，n为待估参数个数，n1、n2分别为A1、A2对应的 参数个数，A1的元素为常数。和整体最小二乘相比混合最小二乘问题就是?懑;？ e?x(?2+1|?2 ?健物？?准则下，寻求恭2 ?任何满足A = A1 ?1 + A2 ?2 = 2的？=密? ?均

6、称为混合最小二乘解。E?2 & = A2 L- A2均为相应的 混合最小二乘改正量。混合最小二乘解的求解基本思路是首先采用 QR分解法，或者约化的方法 将系数矩阵分为常数部分和非常数部分，后者采用整体最小二乘法求解， 层者采用普通最小二乘法求解。二、整体最小二乘求解附有限制条件的间接平差模型依据整体最小二乘原理的 附有限制条件的间接平差的误差方程为l + V = ( B + VB) ?CX W = 0式中，l为n X1的观测值向量；V为n X1的观测误差向量；B为n x m的系数矩阵；VB为n xm的系数误差矩阵；xA为m X 1的待估参数向量； C为c >m的限制系数矩阵；W为

7、c M的向量，满足m > c。该问题依 然可以用拉格朗日原理进行求解，根据整体最小二乘原理，建立拉格朗日目标函数如下=V?Vb + V?V + 2 展 l B? + V VbX) 2不?( W - C5)分别对V、Vb、入 卬xA求导，经过转根据拉格朗日函数的必要条件, 换可得V V + 入=0VB ? = 0l B?+ V Vb? = 0-W + CX = 0B?入 + V?入C?小 0再由上式可得l B?二一V + Vb?=入(+ x?X)同时也可以得到误差改正数的计算公式为V =-入=(l B?) (1 + x?)-1Vb =?= ( l B?) (1 + x?句-1 X?根据上式

8、，可得下列关系k = ( l BX) ? l B?) /(1 + ?豺=V?Vb + 7 A令N = BtB,M = B?,先将上式左右两边都乘以B?然后再加上 C? (1 +X?),联立式之前的公式有N? - M + C ?科(1+ x?) = (B?入一C?w ) (1+ X?)=V?入(1+ x?) = xA T( l BxA)=?(l B?)?( l B?) /(1 + x?) = ?k最后可推出N? M + C? M1 + ?) = ? kC? W = 0根据整体最小二乘原理，所求得的最佳估计参数?使得k取得最小值。对于参数的最优估计也可以采用迭代的方法进行。由于"1 +

9、?)形式复杂,这里构建新的参数t = M1 + ?) , k 一般为接近零的较小的值，则先令k = 0,得到初始化条件筠=?3W运用下面的式子来进行迭代计算k(?) = (l . Bx(?)?(l B?的)/(1 + x?(?)?(?)-1?+1) = ? o W 式中，i >1求得待估参数?后，即可求得观测值的改正数 V和系数矩阵的改正数 V?/、精度评定单位权中误差计算公式为TVb+VTV式中，f为自由度。无限制条件时，单位权中方差的计算公式为+ 俨淞+ ?.如？ ?式中，n为观测方程的个数；m为待求参数个数。附有限制条件时，单位权中方差的计算公式为；?成?2+ ?0 = +一? ?

10、+ ?式中，n为观测方程的个数；m为待求参数个数；c为限制条件方程个数。根据方差的定义，有Dx = E (X E(X) (X E(X)?测量中的观测方程为L = BX + d写成函数的形式为F( 2, B, X )= 0,根据文献，误差传播在隐函数中，有?X?XdX= ?l ?后？由误差传播率可得到X的中误差?X = ± VKDK通过对隐函数求导提取估计量对观测量的线性信息,然后通过误差传播定律估计出待估参数的误差。整体最小二乘求解间接平差模型待估参数的近似方差计 算公式如下Dx ?2(N klm)-1 N(N klm)-1 = (n m) -1 k(N klm)-1 + k2(N

11、klm) -1 四、总结整体最小二乘方法自20世纪90年代初正式提出以来，已在自动控制、 信号处理、图像处理等许多领域取得了成功应用，作为一种新的数据处理方法 是目前的一个研究热点之一。在测量数据处理中许多情况下系数矩阵和观测向量同时存在误差，如多元线性回归、 GPS高程拟合，图形图像纠正等学多情况 都适于采用整体最小二乘法处理。运用整体最小二乘解算间接平差，增加了理 论的严密性，使得估计出的参数是最优的，且给出的整体最小二乘的迭代解法， 计算简便，易于编程实现。实现了整体最小二乘求解附有限制条件的间接平差， 有利于整体最小二乘法在测绘数据处理领域中的推广。但从目前整体来看， 整体最小二乘方法

12、在测绘领域的应用研究还比较片面，只是针对某些工程项目进 行了应用研究的探索，且整体最小二乘中定权策略、待估参数的精确精度评定及可靠性理论等还有待作进一步研究。整体最小二乘的算法研究在理论上已 经取得了较为丰富的成果，但由于整体最小二乘属于非线性估计，模型和算法 的复杂性要远高于最小二乘估计，因此，在应用上收到一定的限制，如何进一 步简化算法和提高算法的效率是今后整体最小二乘估计算法的重要目标。参考文献:1 丁克良，欧吉坤，陈义等.整体最小二乘法及 其在测量数据处理中的应用 C./中国测绘学 会第九次全国会员代表大会论文 集.2009:399-405.2刘大杰，陶本藻.实用测量数据处理方法M. 北京：测绘出版社，20003许超铃，姚宜斌，张豹,等.基于整体最小二 乘的参数估计新方法及精度评定J.测绘通