几种创新大地测量数据处理理论与方法概述

1、现代大 地 测量学论文几种创新大地测量数据处理理论与方法概述现代测量平差与数据处理理论发展概述经典的测量平差与数据处理是以高斯 - 马尔柯夫模型为核心：L AX (1a)2 2 1E( ) 0, D( ) 2, Q 2?P 1 (1b)Rnk( A) n, R(Q) R(P) n (1c)这里L为观测向量，为误差向量，X为未知参数向量，A为X的系数矩阵，E()为数学期 望，2为单位权方差，P为观测权矩阵，Q为协因素矩阵，n为观测个数。现代测量平差与数 据处理理论仍然是以高斯 - 马尔柯夫模型为核心 , 通过该模型在不同层面上的扩充、发展形 成了若干新理论、 新方法。各种现代平差理论与方法与经典

2、平差模型的关系可以描述如图 1 所示【 1】图 1 各种现代平差理论与方法与经典平差模型的关系图1测量平差主要发展状况概述测量平差估计准则的发展：高斯最小二乘理论的发展，相关平差理论的发展，极大验后估计准则，稳健估计 的准则，统计决策的基本概念，容许性的概念。测量平差数据质量评估及质量控制理论的发展： 经典的数据质量评估与质量控制理论， 现代的方差协方差估 计理论的发展，赫尔黙特方差估计理论，二次无偏估计法，方差分量的 Bayes 理论，方差估计的精度评定。稳健估计主要介绍： 稳健估计理论的发展， 污染误差模型构成， 污染误差模型在测量数据处理中的具体形式， 稳健性度量的概念，各种稳健性度量准

3、则，影响函数的定义，影响函数的确定。稳健估计的种类，稳健的M估计的原理，选权迭代法的基本原理，测量中常用的几种选权迭代法，均方误差最小的稳健估计，污染误差模型下的 测量数据处理理论。 一次范数最小的估计， 一范最小估计的性质， 一范最小估计的算法 (线性规划法， 迭代法) ， P范最小的原理，算法。粗差探测的理论，data-s no opi ng 的原理和方法，可靠性理论(内可靠性，外可靠性)，稳健估计理论在测量中的应用及发展现状。时间序列数据处理的理论发展： 实时动态数据的处理概况， 动态数据的卡尔曼滤波 (动态模型的建立， 滤波)， 动态数据的预报，动态数据的平滑，随机过程与时间序列的概念

4、，平稳随机过程和平稳时间序列，时间序列的随 机线性模型平稳自回归模型， 平稳自回归可逆滑动平均混合模型， 线性模型的自相关函数和偏相关函数， 模型的 初步识别，模型参数的矩估计，模型参数的最小二乘估计，模型的检验和改进时间序列的预报。多源数据的融合：多源数据的融合的基本概念，多源数据的融合的基本方法，先验信息的描述，Bayes 估计的原理， Bayes 准则，无信息先验，共扼分布，损失函数的概念，经验 Bayes 估计， Bayes 假设检验， Bayes 预 测， Bayes 估计在测量中的应用，方差分量的 Bayes 估计， Bayes 估计的广义可容许性。估计，有偏估计在测量中的应用。【

5、0208】本文根据上述扩展，将作重介绍几种现代新发展起来的几种处理方法。2.几种创新方法介绍2.1关于粗差一抗差估计抗差估计的提出是与粗差（Gross error）相联系的，粗差指离群的误差，由失误、观测模式差、分布模式差而 来,它实际不可避免，观测模式差是指局部对全局性的系统差，没有有效的估计方法，就结果而言，观测模式比估计方法更重要。所谓抗差估计，实际是在粗差不可避免的情况下，选择估计方法使未知量估值尽可能减免粗差的影响，得出正常模式下的最佳估值。抗差估计也包括方差估计和假设检验。最小二乘估计为粗差所吸引，使未知量估值偏离，但在正常分布模式下，此法具有优越的数学和统计性能。因此一个有效估计

6、方法必须具有保留最小二乘法的优越 性同时增加其抗差性。设有观测子样人其相互独立，观测权为 Pi，i由1至n。M估计是由观测 Xi求参量 j的估值j由1 至m，余差为vi。求j的条件是p 就j极小，即1PP（ ?）? P ? 0（ 1）jjj其中是挑选的极值函数。（1）式是估值方程，直接计算往往很困难，但它可改写为（一乞）PV APV 0（ 2）mnm其中,，记为AnP (Pi),Pi1p(?社 p称为权因子。（2）式可以看作最小二乘解的法方程相应观测方程Anm mlX V等价权Pnl nl计算P要知道，它可取适当的近似值，权的精度要求不高。我们称 P为等价权,因为取它作为观测方程（3）的权所得

7、出的法方程，正是估值方程（1）。这样利用等价权 P可将M估计化为最小二乘估计，这无论在计算、估算方案制定上都带来很大的便利，我们就充分利用它。通过权因子，可以对不同的极值函数进行对比，反之,若规定了权因子，也可以找出相应的极值函数。F面列举几种通常有效的估计方案，这里作了适当的改化。在k 时，权因子均为1，为观测权中误差权因子：(i)K sign( i)等价权：Pi(3)Huber 估计极值函数:i)2i2,(K权因子：(i)1,KH，等价权:RP, iRKk为倍数。(1)经典的最小二乘估计(LS)极值函数：2(i) y 权因子：1,权与i无关等价权：R R(i) k(2)绝对和极小(LAS)

8、或称一次范数最小极值函数(4)丹麦法极值函数：（i）(K2i|exp( JK1), i权因子：(i)(1K-等价权:PiiP(1 IGGI万案极值函数:(i)1,)/exp(1Pi,K )/exp(1i2i2 ,KC,1,权因子：（i)K o Kttk0,等价权:PR,k?pk0,抗差方案的选择IGGI方案:),i(8)从上节列举的几种估计方案看，一个有效的抗差方案应作如下考虑:有一界限K ,在限内采用最小二乘法，权因子为1;限外权因子随11的增大由1逐渐减小。绝对和极小的最简单情形联系于中位数，正负余差权之和相等。观测变动只须保持余差符号不变，解不受影响，因此具有优越的抗差性。抗差理论证明，

9、它的影响函数（In flue nee fu nctio n） 绝对值不变（不因粗差而异）;其崩溃污染率（Breakdown point）为权大值1/2（污染率在此限内，估值在界内）。这和最小二乘解（平均值）相比,具有明显的优越性。但由界限现代测量平差与 数据处理理论的进展 K向内，权因子由1无限增大，这与观测权大大不符。从测量误差理论 来看,界限K之K可取1.5（按正态分布，误差在土 1.5以外的概率仅为0.13）,限外之观测既不能完全否定，又要限制其有害作用，采用抗差权因子(9)1 bK以除低观测权是可取的。式中b取正值。当余差超出土 2.5 时,（正常模式下,概率为0.01）,在观测模式可

10、用的情况下，不应作为观测信息，即取 0 （从抗差估计看，粗差也不能过大）。如按绝对和方案（5）,当 =2.5 时, 仅达3/5,权因子缩小嫌慢。 丹麦法权因子采用 exp（1 ）,且在叠代计算中累乘因子，没有抗差上的论证，它实K质上是淘汰法。综上所述,余差在土 1.5 以内，采用原观测权，即此段用最小二乘法; 2.5 以外，观测不用，即淘汰法；在1 1.5 2.5之间（包括土 2.5 ）,按绝对和极小取权因子作为抗差方案，这个方案就是IGGI方/K案。【09】2.2关于数据融合大地测量观测数据类型越来越多，有距离观测、方向（或角度）观测以及点的位置观测等，由于观测仪器、观测时间、观测方案不同，

11、即使是同类型观测，也可能造成观测量间不相容。综合处理各类大地测量观测信息有多种模式，如序贯平差法1、整体平差法等。无论采用哪种平差方法，都涉及观测信息的函数模型和随机模型的构造与选择问题，同时还涉及数据融合的方式问题，即基于观测信息的融合或基于导出观测量（伪观测量）的融合。一般情况下，基于独立观测信息的融合是一种较为严密的融合。在实践中，大地测量数据融合经常需要虑函数模型误差和随机模型误差，如在2000中国GPS大地控制网数据融合中，不同等级的GPS观测函数模型顾及了函数模型误差 （如基准差、地壳形变误差、轨道误差等）,在多时段、多等级的GPS观测信息的融合中，采用了顾及各类随机模型 误差的方

12、差分量估计【10,11】。2.2.1 观测信息的融合2.2.1.1 基于观测信息的融合在进行观测信息的融合时，可以分别考虑函数模型和随机模型误差。现考虑两类观测信息L1和L2,相应的权阵为P 11 ,. P221，1，2为相应的协方差矩阵，其误差方程分别为:V ax L1(1)V2 a2x l2式中，X为t x 1待估参数向量；A、A分别为L1、L2的设计矩阵；Vi、V2为Li、L2的残差向量；L、L2的维数分别为n、n?。式(1)和式的参数解为:X (At paA)1(a1t a1 a2p2A2)验后协方差矩阵为:2?(atpa1 ATP21V TPV1 VJFV2n1n22.2.1.2 具

13、有函数模型误差的观测信息融合解若考虑L1有系统误差，则可以对其函数模型进行改进，即V A,XB1S L1式中，S为模型系统误差；B1为相应的系数矩阵。对式(2)和式(6)求解,则待估参数向量解为:A P1A1 A2 P A2 A PB1B1 PAB1 PB1? A1 RL1 A2 P2L2B P1L12.2.1.3具有随机模型误差的观测信息融合解若考虑观测向量L1、L2的随机模型误差，则201202n11 1 12tr(N N1) tr(N N1N N1)1 1tr(N N2N N2)1 1tr(N N1N N1)1n2 2tr(N N2)1 1tr(N N2N N2)yTpyvJpv2(8)

14、式中，NA：PA aJ P2A2; N1aTpa； n2 aTF2A2解得h和02后,重新调整L1、L2的权:P(k1)Pk/01, P2(k1)p；/O2(9)若考虑观测函数模型误差，在估计正常模型参数X的基础上，同时解算模型系统参数 S,采用方差分量估计调节Li、L2的权阵，此时,方差分量估计式与式(8)相同，只是其法方程矩阵不同，即aTra 00 0MAtRA ATRBimNiTT, N2BBiS(19)Ti TXi(aTra) i aTrb(i7)因子及其相应的权阵。关于联合平差的方差分量估计已有现成的结果2-6。这里仅给出常用的Helmert方差分量估计公式仍为式(1),则随机模型误

15、差对Li的平差结果Xi的影响为:对Xi的协因数的影响为:式中,J QxiAT(i AQxiAT)打 Qxii对最小二乘融合解的影响为:X (PiPxi) Px2i(PiPxi)(XiXi J(Li AiXi)(20)QxiJAQ xi(2i)Ti(ARA)。Xi) PX2X2 PxiPx2iPxiXiPX2X2(22)式中，Pxi为 i对虚拟观测量Xi的权阵的影响量。如果同时考虑 S、 i对参数估值Xi 及其协方差的影响，将给实际计算带来极大困难。因为当 Li含有系统误差时，会对平差结果 Xi有影响，虽对其协因数无影响，但对方差因子 ：有影响，从而对验后协方差矩阵有影响。当Li有随机模型误差时

16、，对平差结果Xi及其协方差都有影响，而且它们的影响是交叉的、不 可分离的。2.22.2 具有函数模型误差的平差结果的融合假使Li的平差结果含有模型误差，则相应的观测方程为:VxiXRiSxiXi (23)式中，Sxi为模型系统误差；Ri为相应的系数矩阵。基于式(23)和式(i5)的最小二乘融合解XSxiFXi FX2Pxi RRTPxiRTPxiR?PxiXiPx2XRi PXiR2(24)比较式(7)和式(24)不难发现，这两种顾及函数模型误差的融合解一般是不等价的。当观测信息含有系统误差时，基于观测信息的融合解比基于平差结果的融合解更合理，因为基于平差结果的融合模式中无法分别考虑各观测信息

17、的系统误差，即观测信息的系统误差已混叠到最后的平差参数中，即使在平差参数的观测方程中可以估计系统误差，但此时的系统误差已是各种误差的结合，其估计及控制效果都不如直接基于观测信息的融合。222.3具有随机模型误差的平差结果的融合般情况下，各类观测信息的内符合精度较高，因而导致各类观测平差结果的协方差矩阵过于理想，于是基于平差结果Xi (i1,2)及其 Pxi2x12x2t(25)2tr(N 1p(1)tr(N 旨1 1tr(N %N Px2)艮)ttr(N 际 1Fx1)1 1 , ,2tr(N Fx2)tr(N Px?” Px?)小宀V FXVX-TX2式中，NPXlPX2比较式(8)和式(2

18、5)不难发现:尽管二者都是 Helmert严密方差分量估计解，但由于二 者基于不同的随机变量，则解一般不等价；基于观测信息的残差二次型一般远大于基于参数 平差值的残差二次型；基于参数平差值融合的方差分量估计解容易造成式(25)的法方程矩阵的对角线元素为负，甚至造成负方差现象。【12】2.3关于非线性问题一非线性模型的参数估计测量平差与数据处理所涉及到的误差模型基本上是两种:函数误差模型和随机误差统计模型。随机误差模型主要用于观测值权的估计，这方面的内容将在专门的文献中论述。对于函数误差模型，测量学上大致有两种情形:1) 结构关系模型即函数关系明确，模型误差由参数测量的不准确引起。例如，平面上三

19、角形的三内角和为180 ,这一函数关系明确，模型误差由实际测量角误差产生。2) 相关关系模型即函数关系不明确，模型误差由函数关系、参数的数量及参数的测量误差引起。例如,在确定GPS水准高程时，高程异常的拟合函数的选择带有主观性，函数关系不十分明确对上述两类模型而言 , 只要二者的模型性质相同 , 参数的估计方法是基本一致的。在测绘领域内 , 人们习惯于在线性空间内研究一些问题 ,因此绝大多数的非线性问题都是通 过转化为线性问题来解决的 , 究其原因 : 测量平差与数据处理中多数非线性模型的线性性 较强, 模型中未知参数多有充分的近似值。 基于这类模型的间接数据处理方法能够基本满足 过去乃至现在

20、一些实际工作对数据处理精度的要求 ; 理论上尚未提供成熟而又适用的非 线性测量数据处理方法。 测量平差与数据处理所涉及到的数学模型大多是非线性模型 , 对非 线性模型作线性化处理必然导致信息的损失和特征的改变 1 。随着测绘技术的进步和生产 实践的发展 , 既有的间接数据处理方法可能成为制约测量数据精度进一步提高的主导因素。 因此研究非线性模型空间内的测量平差与数据处理方法已成为当今测绘学科发展的迫切需 要。2.3.1 非线性误差模型2.3.1.1 误差模型 上节已经提到测量学上所涉及的函数误差模型有两种情形。对于结构关系模型下的参数点 计, 其数学模型如下 :Lif (xj ) ei(i 1

21、,2,.n; j 1,2,.m)(1a)E(ei ) 0 (1b)Cov(e) (r) (1c)式中，f表示非线性函数关系，L是观测量，可能含有随机误差，小粗差及可变系统误差，考 虑到粗差的随机特性及系统误差的二象性【13】, 因此认为 ei 是由 LiLi 引起的随机误差分量; f 对 ei 没有贡献。模型 (1a)(1c) 用于估计非随机参数 xj 的或然值。对于相关关系模型 下的参数点估计 , 测量数据处理上称为回归拟合或数字逼近。其数学模型如下 :yif(xii; j) s ei(i 1,2,.n; j 1,2,.m)(2a)(2c)E(ei)0;E( i)0(2b)Cov(e) (r

22、)式中，f是非线性映射关系；xyi是直接观测量；s是模型误差效应，主要由f引起；随机误差e主要由贡献，i主要由Xi产生,可根据实际情况决定是否考虑其影响。模型（2a）（2c）用于估计误差模型中未知参数j, s。2.3.1.2 随机误差模型假设式（1c）、（2c）中（r）是由方差一协方差构成的线性或非线性正定对称矩阵，r是含在 （r）中的未知参数。当（r）退化为 时,随机误差模型呈线性形式。从测量误差统计的观点来看，大致有如下几种情形:（1）2I I表示单位矩阵，式中子样观测值是相互独立的，且观测误差服从相同的概率分布,即等精度独立观测。（2）：diag（pi,pi,.,pn）或：diag（ 缶

23、, 花,2Ink）式中子样观测值是相互独立的，观测误差或组间观测误差不服从同一母体分布，即观测精度不等，组内观测精度相同21 Q112Q12m1Qm1m2Qm21 nQ1n上式表明子样观测值是相关观测值，观测精度不等。此时（1a）、（2a）中的e应写成:e i i（3）i为相关部分，i是独立的随机部分。对于i,其部分延流模式为:UiN（0, 2）, p为延流比。（1）、（2）两种情形属经典意义下的随机误差模型,（3）属广义意义下的随机误差模型。误差假设的合理性可能通过对现有的数据进行残差分析和诊断分析作 出评价。2.3.2相关抗差估计准则迄今,最小二乘法在参数（包括随机参数和非随机参数）估计中

24、使用频率最高。其目标函数为:RSS()iyi f (Xi, )2 min RSS(O )式中i是大于0的权数,如果yi- f(Xi,)是相互独立的N(0, 2/ i),贝y是 的极大似然估计。 对于(5)式,如果f(Xi,)是线性函数或可线性近似的非线性函数时,参数估计量(不是估计值)具有无偏性、一致性和有效性；f(Xi,)为强非线性函数时，参数估计必须经过迭代求解 参数的估计量具有有偏性。但最小二乘法存在两个明显缺陷:(1) is的影响函数是个无界函数，崩溃点(is) 0即LSE对观测数据中哪怕是唯一的粗差十 分敏感,并导致结果不可靠。 观测量或参数之间存在相关关系，即出现共线性时，设计矩阵

25、X的列向量线性相关，XTX奇异或接近奇异，此时LSE的精度很不稳定。实践中:模型误差是普遍存在的； 均值漂移模型或方差扩大模型下的粗差处理都有其局限性；测量数据多是时序样本值。因此,为克服最小二乘法的两个缺陷，相应地找到了两种处理途径:稳健估计和有偏估计。2.3.2.1 稳健估计稳健估计被设计为基本假设有误差或基本数一M估计。其核心思想是:n(Z i) / min(6)1式中，是连续的凸函数，是标量因子，(Zi)有选权迭代和 P-范数最小法两种不同 的形式,对应着两种不同估计准则。针对 (1)、(2)两类参数估计模型，按P-范数最小法求解 较为实用。nn(i) i i p min，1 p 2,

26、 i 011取P 1即为I-范和最小准则或J估计准则，对方差估计和非随机未知参数估计均适用。如果给定的约束条件为线性方程，则通用的算法是单纯形法【14】;如果给出的约束条件为非线性方程，则通常采用迭代求解。结合(1)、(2)和(7)式并令P 1有n0. f .min i i1 ( 8)st i f() Li式中i表示观测值的权，由(1c),(2c)确定;其它参数的意义同前。理论上，估计值不唯 且缺乏验后统计特性，而实际上只要算法适当，可保证匚估计的唯一性及估计量的无偏性。232.2 有偏估计有偏估计设计为当观测值之间或模型参数之间存在相关关系时，参数的估计量仍有较高的准确度。参数估计的准确度用

27、均方误差表示如下MSE(x)tr(Cov(x)QE(x) x(9)适当增加偏差P ,换取方差Q更多的减少，从而使偏差和方差的总影响减小。这里P反映系统误差；Q Ridge Estimation(岭估计)。其基本思想是:设有非线性模型2L F(X) ,N(0, I)依据均方误差和最小准则nSMSE Var(Xj) bias(Xj)2 E(x X)T(x X) min (10)j 1用迭代法求得参数的估值 X。(10)式中X为参数的有偏估计，X为参数的真值，一般未知 实际计算时，一般认为Xi1是比Xi更接近真值的准真值。2.323 相关抗差有偏估计测量数据中往往是既存在样本粗差或残余样本粗差，又存

28、在样本之间或模型参数之间的相关性。如果单以L1范数和最小或者SMSE和最小准则为依据估计参数，势必不能同时 克服最小二乘法的两个弱点。对于线性模型，文献【15】提出相关抗差主特征根估计法，对于非线性模型，本文提出以SMSE,LAS为非线性多目标优化极小为准则，即在(8)式的基础上 加上目标条件:SMSE E(X X)T(X X)(11)式中参数意义与(10)式同。由于(8)式中的约束函数不作线性化，目标函数必须通过迭代求 解。2.3.3非线性目标函数的迭代解在数学领域迭代算法有比较成熟的理论，提的算法较多。针对具体的测量问题，应根据非线模型(随机非线性误差模型在此不作讨论)的不特点采取相应的迭

29、代方法并加以改 造。对于测量差中的多参数关系型函数模型，由于模型中未知数多有充分的近似值，这种近似值可以是历史据,也可以是粗略的观测值,采用Gauss-Newto迭代法效果好,收敛快。对于 测量数据回归分析的少数相关关系模型，因缺乏初值的先验信息，用最速下降迭代法较为有 利。不失一般性,将(8)式变化为F(X) i i Wf(X) WL min(12)(12)式中F(X)是函数向量，W是权向量，L是测值向量，最速下降法要求函数 F(?)在迭代点的负梯度方向获得最快下降，因此沿直线搜索第k+ 1次迭代点X(k 1)即:X(k 1) X(k) k F(X(k)(13)(13)式中k t k为步长因

30、子，应使它满足F(X(k) k F(X(k) (X(k)(14)于是构成自由极值函数:F(X(k) k F(X(k) min(15)(13)、(15)式为最速下降法的基本解式。对于(12)式,F(X)在X(k)处的梯度为F(X(k)F(X)X x XkWBk(16)将(16)式代入(15)得:F(X(k) k W Bk) Wf(X(k) k W Bk) WL min (17) (17)式对k求导并令其为零，化简得:Bk 10(18)由(18)式可解得k。最速下降法的算法步骤如下:设k= 0,首先由外部提供一初值；生成方向，确定向量F(X(k)作为当前这一步的方向；直线搜索，确定正比例步长因子

31、k;判断是否满足迭代终止目标，如果满足，则将X(k 作为(12)式的解，否则将k加1回到 步,继续迭代。算法的特点如下 : 对初值的依赖性较弱 ; 不需要任何高于一阶的偏导数 无需矩阵求逆 ; 参数值直接代入非线性模型求解。 【 1617】3结束语大地测量函数模型与随机模型是大地测量数据处理必须要涉及的模型。经过众多学者 不懈努力，中国学者根据大地测量应用实际，构建和改进了许多函数模型，如广义测量平 差模型、等价观测方程、非线性平差模型等；在方差分量估计和误差检验方面做了大量创 新性工作，如基于 Bayes 估计的方差分量估计、拟准误差检验等，丰富了测量平差理论与 方法。本文只是重点介绍其中几个中国学者在大地测量数据处理函数模型、随机模型和误 差检验方面所取得的成就。当然，以上只是众多学者研究成果中的很少一部分，还有很多 学者的重要成果未被介绍 . 但可以肯定的说，中国学者在大地测量数据处理这方面的研究 取得了令人瞩目的成就。由于大地测量技术的发展,观测种类越来越多 , 观测模型越来越复杂,测量平差与数据处理的理论和方法必将得到进一步的发展, 在各种新技术中的应用