（大地测量学与测量工程专业论文）基于虚拟观测的若干测量数据处理方法研究.pdf

中南大学硕士学位论文 摘要 摘要 半参数模型、v o n d a r k 滤波及岭估计是测量数据处理中的三个重 要的数学方法。半参数模型既含有参数分量又含有非参数分量，用它 描述测量中的实际问题，更接近于真实情况，能充分利用观测值所提 供的信息；v o n d r a k 滤波能够在未知拟合函数的情况下对随时间变化 的测量数据序列进行合理平滑，滤除噪声，保留感兴趣的信息；岭估 计模型能改善测量数据处理中的病态问题。这三种方法的共性是选取 合适的平滑因子或岭参数，参数选取的恰当与否直接影响数据处理的 质量，而当前选取平滑因子或岭参数的方法存在很多不足和缺点。 本文在吸取前人研究成果的基础上，分别从半参数模型、v o n d a r k 滤波模型及岭估计模型这三种方法的原理出发，提出了新的选择平滑 因子或岭参数的方法基于虚拟观测的平滑因子或岭参数选取方 法。新方法将半参数模型、v o n d a r k 滤波模型及岭估计模型三种模型 中拟合项和补偿项看作两类观测值，光滑因子或岭参数看作两类观测 值的权比，利用测量数据处理中的经典的h e l m e r t 方差分量估计的方 法求出最优的平滑因子。本文主要研究了如下内容： ( 1 ) 提出了基于虚拟观测的半参数模型算法，讨论了新算法与传 统算法的关系。将新算法应用于变形检测的数据处理得到了 好的效果。 ( 2 ) 提出了基于虚拟观测的v o n d r a k 滤波算法，通过对模拟数据 分析验证了新算法的有效性，并将新方法用于g p s 多路径效 应的研究取得了较好的效果，指出了新算法与补偿最小二乘 模型的关系。 ( 3 ) 提出了基于虚拟观测的岭估计算法，并用于处理病态问题得 到了好的效果。 关键词：半参数，v o n d r a k 滤波，岭估计，虚拟观测，补偿最小二 乘 中南大学硕士学位论文 a b s t r a c t a bs t r a c t s e m i p a r a m e t r i cr e g r e s s i o n ，v o n d r a kf i l t e ra n dr i d g ee s t i m a t i o na r e t h et h r e em a i na p p r o a c h e si nt h ed a t ap r o c e s s i n go fg e o d e t i c t h e r ea r e p a r a m e t r i cc o m p o n e n t sa n dn o n p a r a m e t r i cc o m p o n e n t si n c l u d e di nt h e s e m i p a r a m e t r i cr e g r e s s i o nm o d e l ，w h i c hm o r er e f l e c tt h et r u ew o r l d a n dm a k eg o o du s eo ft h ei n f o r m a t i o nw h e nu s e dt od e s c r i b et h e p r o b l e m s v o n d r a kf i l t e rc a nb eu s e dt oc o p ew i t ht h ed a t as e r i a l sw i t h t i m ei n f l u e n c e db yt h eh i g hf r e q u e n c yn o i s y r i d g ee s t i m a t i o ni su s e dt o d e a lw i t ht h ei l l - c o n d i t i o np r o b l e m si nt h ed a t ap r o c e s s i n g t h e r ei sac o m m o np r o b l e mt od e t e r m i n et h es m o o t h i n gf a c t o ro r r i d g ep a r a m e t e r w h e t h e rt h ef a c t o r i ss u i t a b l eo rn o ti n f l u e n c e st h e q u a l i t y o ft h ed a t a p r o c e s s i n gd i r e c t l y h o v e r e r ，t h e r e a r e m a n y d i s a d v a n t a g e si nt h ew a yt od e t e r m i n et h es m o o t h i n gf a c t o r sa tp r e s e n t s t h et h e s i sb a s e do nt h ef o r m e rr e s e a r c h , f r o mt h ep r i n c i p l eo ft h e s e m i - p a r a m e t r i cr e g r e s s i o n ，v o n d r a kf i l t e ra n dr i d g ee s t i m a t i o n ， p r o p o s e dan e wa p p r o a c ht od e t e r m i n et h es o m e t h i n gf a c t o r o rr i d g e p a r a m e t e rb a s e do nt h ev i r t u a lo b s e r v a t i o n a la p p r o a c h t h ek e yo ft h i s m e t h o di st om a k et h es m o o t h i n gf a c t o ra st h ew e i g h tc o e f f i c i e n tb yu s i n g v i r t u a lo b s e r v a t i o n s t h e o r y , t h e h e l m e r t t y p e v a r i a n c e c o m p o n e n t e s t i m a t i o nt h e nw a su s e dt of i n dt h eo p t i m a lf a c t o r w h e nt h er a t i oo f v a r i a n c eo ff i t n e s st os m o o t h i n ge q u a lt oo n eo rt h r o u g ht h ec e r t a i nw a y t oc o n s i d e rt h a tt h er a t i oe q u a l ，t h e nt h ef a c t o ri st h eo p t i m a l t h em a i n c o n t e n t sa sf o l l o w s ： ( 1 ) t h et h e s i sp r o p o s e ds e m i p a r a m e t r i cr e g r e s s i o nb a s e do nt h e v i r t u a lo b s e r v a t i o n a la p p r o a c h ，d i s c u s s e dt h er e l a t i o n s h i pb e t w e e nt h e n e wa p p r o a c ha n dt h et r a d i t i o n a la p p r o a c h e s i ti su s e dt os o l v et h e d e f o r m a t i o nm o n i t o r i n gp r o b l e ma n dg e t sg o o dr e s u l t s ( 2 ) t h et h e s i sp r o p o s e d v o n d r a kf i l e t e rb a s e do nt h ev i r t u a l o b s e r v a t i o n a la p p r o a c h t h r o u g ha n a l y s i n gt h es i m u l a t i o nd a t aa n dr e a l e x p e r i m e n td a t a ，p r o v i n gt 1 1 a tt h en e wm e t h o di sf e a s i b l e ，u s i n gt h en e w a p p r o a c ht on f i t i g a t et h eg p sm u l t i p a t he f f e c t sa n dg e tg o p dr e s u l t s t h e s i sa l s od i s c u s s e dt h er e l a t i o n s h i pb e t w e e nt h en e wa p p r o a c ha n dt h e p e n a l i z e dl e a s ts q u a r e s i i 中南大学硕士学位论文 a b s t r a c t ( 3 ) t h et h e s i sp r o p o s e dr i d g ee s t i m a t i o n b a s e do nt h ev i r t u a l o b s e r v a t i o n a la p p r o a c h ，a n dg e t t i n gt h a tt h en e wa p p r o a c hi s f e a s i b l e t h r o u g hc o m p a r i n gw i m t h eo t h e r s k e yw o r d s ：s e m i p a r a m e t r i cr e g r e s s i o n ，v o n d r a kf i l t e r , r i d g e e s t i m a t i o n ，v i r t u a lo b s e r v a t i o n ，p e n a l i z e dl e a s ts q u a r e s i i i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在在论文中作了明确的说 明。 轹彩嗍宇垒岁日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位 论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论 文；学校可根据国家或湖南省有关部门规定送交学位论文。 名：姑名燧吼粤曲手日 中南大学硕士学位论文第一章绪论 1 i 引言 第一章绪论 现代科学技术的发展，为测绘科学提供了一个良好的发展机遇，同时也对测 绘科学提出了更高的要求。首先，数学科学的发展为测量数据处理奠定了理论基 础，如最小二乘估计，卡尔曼滤波等。其次，许多应用领域要求测绘技术能够提 供更精确的测量数据和正确的分析结论，如地壳运动，大坝变形监测，高层建筑 物的运营监测等。 现代科学研究和工业技术要求以更高的分辨能力来认识客观事物的运动规 律。为了求得某些未知参数，常常要进行一系列的观测。由于测量的局限性，往 往只能观测未知量的某些函数，并且观测数据或实测信号都不可避免的包含有误 差或干扰成分( 或称为噪声) 例如观测地壳运动，地壳运动是一个十分缓慢而 又复杂的过程，其运动量( 可视为信号) 与观测误差( 噪声) 掺杂在一起( 即信号淹 没在噪声之中) ，使人们难以正确发现其运动规律。再如，利用g p s 全球定位技术 进行气象研究( 即所谓g p s 气象学) ，电离层延迟在定位测量中被认为是系统误差， 而对于气象研究则是十分有用的观测量。但是，电离层延迟的存在形式却是与观 测误差混在一起。因此，需要将上述具有不同性质的量加以区分。区分上述具有 系统性质的信号和观测误差( 具有偶然性质) 的方案有两种：其一，提高测量数据 的观测精度，使具有偶然性质的观测误差远远小于具有系统性质的变形量( 信 号) 。这样需要提高测量仪器的精度级别或增加多余观测。其二，分析研究各种 误差的性质特点，运用现代数理统计理论得出更加适合测量实际情况的数据处理 理论和方法，对上述两种不同性质的测量误差进行分离，以满足现代科学技术对 测绘科技的要求。 在传统测量数据处理中，通常假定观测误差只含有偶然误差，不含系统误差 和粗差。观测值的真值可表示为一组参数的线性函数，如常用的高斯一马尔柯夫 模型，在这种情况下，称观测值已被完全参数化。以最小二乘平差方法为主的数据 处理方法成为测量数据处理的主要手段。为消除或减小偶然误差的干扰，提取有 用信息，必须对观测值进行预处理，预处理的好坏直接影响到研究工作的结果。 平滑和滤波都是用来消除观测资料中的噪声分离出有用信号的方法。常用的有最 小二乘曲线拟合平滑、高斯平滑法、小波滤波，v o n d r a k 滤波等。 关于系统误差的处理目前通用的主要方法是采用附加系统参数的平差方法， 即根据观测对象、观测过程及外界条件的物理特性等先验信息，建立系统误差与 中南大学硕士学位论文 第一章绪论 某些因素的函数关系，通过附加参数实现消除系统误差影响的目的。另一种方法 是通过精化客观的物理模型来削弱系统误差的影响，例如通过精化大气模型等来 改正和减少大气的系统性误差影响，通过精密星历来减少轨道误差的影响等。第 三种方法是半参数回归的方法。半参数模型既含有参数分量又含有非参数分量， 用它描述实际问题时，更接近于真实情况，更能充分地利用观测值所提供的信息。 系统误差处理还有一些其它的方法，例如差分方法、观测值的线性组合方法等。 在实际平差问题中，法方程系数的行列式的绝对值可能很小，所以法方程的 解很不稳定，亦即法方程中系数和常数项存在舍入误差而存在微小变化时，会引 起解的很大差异。此时的法方程系数阵的性质不好，称为病态方程。为解决法方 程系数阵病态而导致最小二乘估计不稳定问题，统计学家们提出了一些新的估计 方法来改善这种情况下的最小二乘估计，这些方法主要有岭估计、广义岭估计和 主成分估计等。其中有影响和便于应用的主要是岭估计、广义岭估计方法。 1 2 国内外研究现状和动态 1 2 1 半参数模型研究现状 半参数模型是八十年代发展起来的重要回归模型，它是参数回归模型和非参 数回归模型的综合模型。由于半参数模型既含有参数分量又含有非参数分量，可 以概括和描述众多的实际测量问题，所以其应用范围比较广泛。 g r e e n 和s i l v e r m a n 对半参数模型进行了深入的研究，奠定了半参数模型的理 论基础。f i s c h e r ( f i s c h e r ，1 9 9 9 a , 1 9 9 9 b ) 应用半参数模型来解决滤波问题， 得到了有益的结论。相对来讲，国内学者在半参数模型研究方面起步较晚，但也 取得了可喜的研究成果。在二阶段估计及逼近理论方面取得了一系列的成果( 柴 根象，洪圣岩，1 9 9 5 ；柴根象，孙平，1 9 9 5 ；钱伟民，柴根象，1 9 9 8 ，1 9 9 9 ) ， 孙海燕将标量半参数模型应用于系统误差的处理( 孙海燕等，2 0 0 2 ) ，得到了高精 度的解。j i a 首次利用向量半参数模型来处理g p s 的系统误差。将系统误差从观测 值中分离出来，得到了高精度的基线向量( j i a , 2 0 0 0 ) ，在处理过程中，正则化 矩阵采用f e s s l e r ( f e s s l e r ，1 9 9 1 ) 的公式。 总体来讲，半参数回归模型的研究处于初始阶段，解法方面还需要进一步深 入研究。目前半参数回归的各种算法主要是以函数的光滑性为基础的。解算半参 数模型的关键是确定正则化矩阵r 和平滑因子o 。确定正则化矩阵的主要方法有： 一种方法是利用时间序列来选择正则化矩阵( f i s c h e r ，1 9 9 9 a ，1 9 9 9 b ；孙海燕， 吴云，2 0 0 2 ；吴云，2 0 0 2 ) ；另一种是对非参数s 的函数空间施加一定的限制， 2 中南大学硕士学位论文 第一章绪论 一般是进行光滑性限制，如自然样条函数法( f e s s l e e r ，1 9 9 1 ；g r e e n ，s i l v e r m a n ， 1 9 9 4 ) 。由于s 的函数形式可以任意，使用光滑性后则可以使用合理的参数逼近， 将非参数部分参数化。这些方法中得到的正则化矩阵很难有几何意义，因此在实 际应用中很难根据具体的情况选择合适的正则化矩阵。半参数模型中平滑因子a 是重要的待估参数，它的作用是平衡观测值的拟合部分和光滑部分，平滑因子a 是否恰当对估计量的影响很大。目前确定平滑因子a 的方法有多种，主要有交叉 核实( c v ) ( 6 r e e n ，s i l v e r m a n ，1 9 9 4 ) 、广义交叉核实( g c v ) ( f e s s l e e r ， 1 9 9 1 ) 、l 曲线法等。这些方法往往计算量大可靠性差，在具体的计算中不是很 稳定。 此外，如何结合大地测量实际，将半参数模型成功地应用到大地测量的多 个方面，还有很多的工作要做。 1 2 2v o n d r a k 滤波研究现状 在处理时序数据时，有必要确定参量和变量之间的函数关系。如果二者之间 的函数关系已知，则用最小二乘估计即可解决；如果找不到到合适的函数，问题 将变得复杂。在已经存在的很多方法中，其共同的特点是假设各个变量是等间距 的，且变量间的权相等( w h i t t a k e r ，r o b i n s o n ，1 9 4 6 ) 。为处理不等间距的数 据序列，捷克p e c n i 天文台的天文学家j y o n d r a k 提出了v o n d r a k 滤波方法 ( y o n d r a k ，1 9 6 9 ；v o n d r a k1 9 7 7 ) 。v o n d r a k 滤波方法能够在未知拟合函数的情 况下，通过选择不同的平滑因子控制数据平滑的程度，对测量数据序列进行平滑， 从而最大程度的滤除噪声信号，保留感兴趣的信息，适应于等间距和不等间距的 测量数据。 v o n d r a k 滤波方法在天文及g p s 数据处理中得到了广泛的应用和发展( 黄坤 仪，1 9 8 1 ；郑大伟，1 9 8 5 ；赵铭，1 9 8 5 ；v o n d r a k ，2 0 0 0 ；聂世忠，1 9 9 4 ；杨马陵， 1 9 9 4 ；钟萍，2 0 0 5 ) 。v o n d r a k 滤波方法的实质是通过选择平滑参数，在对测量 数据序列的绝对拟合和绝对平滑之间求一个平衡。因此选择合理的平滑因子是 v o n d r a k 滤波方法的关键。目前常用的选择平滑因子的方法有：频率响应法、观 测误差法、平滑误差法、交叉证认法等。这些选取平滑因子方法都是从纯数学的 角度着手，各有不同的适应范围，不容易为测量人员所理解，阻碍了其在测量数 据处理中的应用。 中南大学硕士学位论文 第一章绪论 1 2 3 岭估计研究现状 岭估计是从减小均方误差的角度出发而提出的一种有偏核估计方法。该方法 最初由a e h o e r l 提出并于1 9 7 0 年作了系统发展( a e h o e r l ，1 9 6 2 ；a e h o e r l ， r w k e n n a r d ，1 9 6 2 ) ，成为目前使用最多一种有偏估计。岭估计是在最小二乘估 计的法方程系数阵的对角线上加上一个常数，从而改变法方程系数阵的态性，从 而在一定程度上改进了最小二乘估计。但其估计结果与岭参数有关，若选择不同 的岭参数，得到的估计结果可能大不相同，所以岭估计的关键是选择合适的岭参 数。 关于岭参数的选择问题，许多文献进行了研究与总结( 王松桂，1 9 8 7 ；h o e r l ， k e n n a r d ，1 9 7 0 ) ，这些方法在测量数据处理中也得到了广泛应用( 黄维彬，1 9 9 2 ) 。 在这些方法中，比较常用的是岭迹法、6 c v 法、l 曲线法。岭迹法的优点是比较直 观，其缺点是岭参数的选择有一定的主观随意性。6 c v 法的优点在于理论上能够 选择最优的岭参数，但是有时g c v 函数的变化过于平缓，此时定位它的最小值很 困难( h a n s e n ，1 9 9 2 ) 。相比较而言，i j a n s e n 针对不适定题提出的l 曲线法( h a n s e n ， 1 9 9 2 ：h a n s e n ，0 l e a r y ，1 9 9 3 ) 是一种较好的方法，其核心是定位l 曲线上曲率 最大的那个点。此外还有其他一些确定岭参数的方法( 朱建军，1 9 9 7 ；归庆明， 1 9 9 7 ；汪明瑾，2 0 0 3 t 王志福，2 0 0 3 ) 1 3 本文的研究思路及目标 本文的研究是以虚拟观测值法和h e l m e r t 方差分量估计方法为基础，针对半 参数模型、v o n d r a k 滤波模型和岭估计模型的特点，充分考虑大地测量实际，研 究相应的虚拟观测值构造方法及平滑参数a ( 岭参数) 的确定方法。虚拟观测值 的构造及平滑参数a ( 岭参数) 的选取贯穿本文。 本文的研究目标是结合大地测量实际，通过对半参数模型、v o n d r a k 滤波模 型、岭估计的研究，建立起一套较系统的有关参数选择的处理理论及方法；研究 既具有严密的理论依据，又具有重要实用价值的新算法。 1 4 本文的研究内容及意义 针对以上问题，本文在借鉴比较以前研究成果的基础上，提出了基于虚拟观 测值方法的数据处理方法。该方法的思想主要是将半参数模型、v o n d r a k 滤波模 型中的拟合项和平滑项看作两类虚拟的观测值，平滑参数岭参数看作两类观测 4 中南大学硕士学位论文 第一章绪论 值的权比，通过h e l m e r t 方差分量估计的方法，确定平滑参数岭参数。重点论述 了半参数模型和v o n d r a k 平滑方法在处理变形监测数据和g p s 多路径效应的应用 和岭估计在处理病态问题上的应用。基于虚拟观测确定平滑参数岭参数的方法 从测量的角度解释半参数模型和v o n d r a k 模型中平滑参数及岭估计中的岭参数的 内涵，易为测量工作者理解和接受，同时丰富了h e l m e r t 方差分量估计的应用范 围，同时也对其它基于补偿最小二乘模型的数据处理方法提供借鉴意义。 本文将主要从以下几方面展开研究： 第一章绪论。首先介绍了半参数模型、v o n d r a k 滤波模型、岭估计方法存在 的领域及包含的内容，回顾了它们的研究进展及存在的问题。最后介绍了本文研 究的思路、内容及意义。 第二章介绍了补偿最小二乘回归模型、h e h n e r t 方差分量估计的原理及内容。 第三章介绍了半参数模型的原理、研究方法。比较分析了半参数模型中确定 正则化矩阵和光滑参数的方法，系统的研究了基于虚拟观测值方法确定平滑参数 的方法。指出了半参数模型与传统测量的关系及半参数模型与补偿最d , - - 乘回归 模型的关系。通过模拟数据及实验数据验证了基于虚拟观测方法的半参数模型的 效果。 第四章介绍了v o n d r a k 滤波模型的原理和方法。比较分析了各种确定平滑因 子的方法的效果，指出了v o n d r a k 滤波应用中的问题。系统的研究了基于虚拟观 测值方法的v o n d r a k 滤波算法及其m a t l a b 实现，通过模拟数据及实验数据验证了 的新方法的效果；指出了v o n d r a k 滤波模型与补偿最小二乘模型的关系。 第五章介绍了岭估计的原理方法，提出了基于虚拟观测岭参数确定方法。比 较分析了各种确定岭参数的方法，通过数据实验，指出了基于虚拟观测值法选择 岭参数的效果。 第六章是本文的总结及下一步工作的设想。 中南大学硕士学位论文第二章补偿最 b - - 乘及h e l m e r t 方差分量估计 第二章补偿最小二乘及h e lm e r t 方差分量估计 2 1 补偿最j 、_ - 乘回归模型 2 1 1 补偿最小二乘回归原理 假定有一组关于两个变量x 和y 的数据 ( 石，y ，) ，i = 1 ，玎，。如果认为这 两个变量有一个近似的函数关系咒= f ( x 。) + 毛，i = l ，栉。这里毛可以看成是 随机干扰。如何去估计函数厂( x ) ，对于这个问题，大体上有两种估计方法。 一种是参数估计，也就是假定该函数的形式是己知的，并且可以写成带参数 的形式( 石，回，利用残差最小n n r s s ( f ) = ，一，( t ) ) 2 来估计出每的值，问 # - 1 题即可解决。如果表示反应变量与解释变量之间数量关系的回归函数是由有限参 数所决定的一类函数时，回归函数的形式已知，而参数是未知，则该模型称为参数 回归模型。经典的线性或非线性回归就属于这种方法。但是并不是所有的关系都 能用一个有限的数学式子来表达，许多情况下即使引入大量的参数，仍不能改善 拟合的结果，这时可以考虑采用非参数估计。 非参数估计，并不假定也不固定函数的形式，也不设置参数，函数在每一点 x 的值都由数据决定。如果表示反应变量与解释变量的数量关系不明确，反应变量 的分布不确定等原因，而且回归函数只限制属于某一光滑函数类，且回归函数属 于某个函数的集合，则该模型属于非参数回归模型。 参数回归的最大优点是回归结果可以外延，但是回归形式一旦固定就比较 呆板，往往回归效果差。非参数回归与参数回归则正好相反，它的回归函数形式 可以任意，是不确定的，而且观测量的分布也很少限制，因而有较大的适应性，拟 合效果比较好。实际上对拟合函数不作任何限制是没有意义的。 故此，我们对非参数回归方法加一个光滑函数的约束，即 ，( 厂) = r 厂”( f ) 2 西 ( 2 - 1 1 ) 吨 因此，以前估计函数即变为 r s s 0 9 + ( j - = 逝a 0 ( 2 - 1 2 ) 旯就是所谓平滑因子。( 2 - 1 - 2 ) 式可看作是在绝对拟合和平滑之间寻求一个 平衡，其中a 用来调节平滑度与拟合度。如果z = o o ，上述方程就是非参数回归 6 中南大学硕士学位论文第二章补偿最d , - - 乘及h e l m e r t 方差分量估计 方法；如果五= 0 ，就是参数回归方法。此即补偿最d - - 乘回归模型的基本形式。 2 1 2 补偿最小二乘拟合广义形式 补偿最小二乘回归是在最小二乘的目标函数上增加一个非参数部分的补偿 项，即 ( 拟合部分) + a ( 光滑部分) 通过定义不同的拟合部分与光滑部分的形式，我们可以得到不同的拟合形 式。如 q 2 喜川饥一她) ) 2 + 2 r g t m ) ( f ) 2 d t ， 舱0 ( 2 - 卜3 ) 其中，m 表示观测值的正定权，m 为一正值，表示g 的m 阶导数。( 2 - 1 - 3 ) 式 中等式右边第一项是残差平方和，第二项是补偿项。九为平滑参数，弘为观测值， g 纯) 为观测值的拟合值。在数据处理中，通常以咖i n 为准则。 1 ) 当九0 时， q = w , c v ，一g ( ) ) 2 = r a i n ( 2 1 4 ) 即最小二乘回归模型。 2 ) 当九 0 ，m = 3 时， q _ - 毒w l 一g 2 + z r g 圆d t = m i n , a 0 ( 2 - l _ 5 ) 3 ) 当k 0 ，m = 2 时，若以g ) 表示系统信号分量，用z 7 口表示参数分量， 则 q 2 喜m - z i r a - g “) ) 2 + 五r g ( 2 协2 d t = n f i n , 胁0 ( 2 - 卜6 ) 根据t l k h o n o v 正则化原则，( 2 1 - 3 ) 式可化为如下形式 i l y - g l l 2 + 幻题= r a i n ( 2 1 7 ) r 即为正则化矩阵，名为正则化参数，也称为平滑参数。 2 2h ei m e r t 方差分量估计 在测量平差中，为了确定不同类型观测值的权，一般采用验后方差分量估计 法。h e l m e r t 方差分量估计是其中蕞具有代表性的一种。 h e l m e r t 方差分量估计是根据各次平差得到改正数向量v 来估计方差分量， 修正平差所用的权值，然后再以修正后的权值重新平差，逐渐趋近到权比合理为 7 中南大学硕士学位论文第二章补偿最小二乘及h e l m c r t 方差分量估计 止，从i f u 得剑止确的参数佰值。 设平差的数学模型为 l ：b 甏+ e ( ) = 放，e ( ) = 0 d l = d a = q = 爵尸。1 若观测向量l 是由两类观测值或两种不同精度观测值组成， 或两种精度观测将观测向量ly ) - i 央，有 三= 纠 相应的改正数向量、函数模型的系数阵和观测权阵分块为 y = 芝 b - 主 尸- 0 墨 所以误差方程式为 矿= 芝 = 主 量一 要 依最小二乘原理求解时，法方程式为 叠= n 。z 式中 = m + 2 = p b = 舛日墨+ 霹最 f = + 厶：b 彤= 群只一+ 硝只 ( 2 2 - 1 ) ( 2 - 2 - 2 ) 则依两类观测 ( 2 - 2 - 3 ) ( 2 2 4 ) ( 2 2 - 5 ) ( 2 - 2 6 ) ( 2 - 2 - 7 ) ( 2 2 - 8 ) ( 2 2 - 9 ) ( 2 2 1 0 ) 根据预平差的信息曙只k 和曙足砭，可得两类观测值的方差分量估值 晶及疗盎。然后依下式确定修正后的权，即 量2 c 7 靠只( 2 - 2 - 1 1 ) 昱= c 号丕b 式中丘、豆为预平差修改后的权( 验后权) ，只、最为平差前所定的权( 验前权) 。 c 为任一常数，一般是选取武中的某一个值。 计算出晶、醴后，依下式进行检验。若 武= 畦 ( 2 - 2 1 2 ) 或通过必要的检验认为上式成立，则说明平差前所定的权比正确。若上式部 成立，则以置、丘作为下次平差的验前权，重新进行平差计算，直到等式成立或 者通过必要的检验认为各类单位权方差之比等于1 为止。 8 中南大学硕士学位论文 第二章补偿最小二乘及h e l m e r t 方差分量估计 假设被估计参数有2 个。则2 类观测值的h e l m e r t 方差估计公式可写为 s 口= ( 2 2 1 3 ) 式中 s = n i - 2 t r ( n - j 簧茹护。 2 ，屯一2 加t r 。( n 。- i n ：i ，n + - 护i n 。2 ) 。，： 务= 陆砖】，= k 7 只k 曙只圪j 其解为： 口= s 1 f ( 2 2 1 4 ) 利用h e l m e r t 方差分量估计必须满足以下几个条件： ( 1 ) 必须有足够多的多余观测值，以使估计值具有良好的统计意义。即应在 大样本条件下进行。 ( 2 ) 为避免方程出现病态，观测值分类不可过多。 ( 3 ) 在估计过程中，单位权方差因子有可能出现负值，即出现了负方差，应 分析原因，重新估计。 h e l m e r t 方差分量的严密估计公式，从统计的角度讲，它们具有无偏的良好 特性。但当数据量大的时候，计算工作量很大，这主要表现在几个矩阵的乘法运 算和求迹运算。因此，实际应用中常用如下的近似公式： 对于两类观测值而言，i = 1 ，2 ，有 晶= n , - 虹t r ( n - ，n d ( 2 - 2 - 1 5 ) 实践证明，利用简化公式进行方差估计，可以得到较好的结果。 2 3 本章小结 本章介绍了补偿最小二乘回归模型的原理及其广义形式，补偿二乘最小模型 既含有参数回归模型的特性又含有非参数回归的特性，是应用广泛的一种数学模 型。f l e l m e r t 方差分量估计具有统计上无偏的良好特性，广泛应用在方差分量估 计中。补偿最小二乘回归模型和h e l m e r t 方差分量估计是全文的主线，贯穿全文。 9 中南大学硕士学位论文 第三章半参数模型 第三章半参数模型 在测量数据处理中，观测误差除了偶然误差，还含有系统误差和粗差。平差时，如 果在参数模型中不顾及系统误差，将会严重地影响到平差精度，甚至会导致错误的结论。 为了削弱或消除系统误差，通常采取以下措施：一是对观测值进行系统性改正。改正模 型与实际情况相差较大时，效果并不十分理想。二是附加系统参数的平差方法。当系统 误差与个别因素呈线性关系时，在平差中加入少量的系统性参数，可以较好地削弱系统 误差对参数的影响。如果系统误差的性态比较复杂时，很难用少量参数表达，而引入的 参数较多时，往往会导致过度参数化，从而引起法方程系数阵病态甚至秩亏。用观测值 线性组合平差也是削弱系统误差影响的一个办法。如在g p s 定位测量时，用相位的差分 作为观测值求解参数，可以有效地削弱钟差、电离层及大气层的影响。卫星信号在电离层 及大气层的延时是研究电离层与大气层性质十分有用的信息，但在提高定位精度的同时 也失去了这些信息。 统计学界在2 0 世纪8 0 年代提出了半参数回归分析模型，这种模型既含有参数分量 又含有非参数分量。用它描述实际问题时，更接近于真实情况，更能充分地利用观测值 所提供的信息。 3 1 半参数回归模型 为了弥补参数回归与非参数回归两种模型的不足，统计学晃提出了一种所谓的偏线 性回归模型( p a r t i a ll i n e a rm o d e l ) ，又称为半参数回归模型( s e m i p a r a m e t r i cr e g r e s s i o n m o d e l ) 其模型有如下形式： l = b x + s + a ( 3 1 一1 ) 其中l 表示n 维的观测向量，x 为u 维的参数向量，b 为系数矩阵，表示偶然误 差，s = i s 。，s ：，s 。r 表示规律不十分明确，难以用简单的函数表示，但又不能归入误 差项的非参数部分。 半参数模型有两个特点：一是s 可以是任意的函数形式，可以包含任意多的参数； 二是模型的目的主要在于估计参数，非参数s 的引入主要是为了得到更准确的参数估计， s 本身的大小和精度并不重要。很显然，对于测量数据处理，s 可以描述模型误差或系 统误差。如果把s 简单地看作为参数，则上述问题变为具有n + u 个未知数，只有n 个观 测的不定问题，如果不增加其它信息则不可能求解。 1 0 中南大学硕士学位论文 第三章半参数模型 当前对于半参数模型的研究有多种方法。如：补偿最小二乘法、样条光滑、分段多 项式逼近、概率权函数、小波函数、核光滑、近邻函数等。它们的共同点是先对非参数 分量进行处理，从而将半参数模型变成线性回归模型。其中广泛应用的是补偿最小二乘 方法，其内容如下： 将模型( 3 一l 1 ) 改写成误差方程，有： v = b x + s 一三 f 3 - 1 - 2 ) 根据最b - - - - 乘原理： v 1 p v = m i n ( 3 - 1 - 3 ) 得到法方程： b r p b x + b 7 西= 丑7 p l ( 3 1 - 4 ) 式中，p 为对称正定方阵，是观测值l 的权。未知量为参数x 和非参数s ，共有t + n 个，而方程只有t 个。所以式( 3 1 4 ) 无法得到唯一解。为了求得上述问题的解，可以 增加对非参数s 函数光滑性的限制，即要求： v 7 p v + 酬s ) = m i l l ( 3 - 1 - 5 ) 其中： ，( 回= “s ( 2 o ) ) 2 d t ( 3 一l 一6 ) 是刻画非参数函数光滑性的一个定量指标。a 称为平滑因子，它起到在拟合度( v t p v ) 和光滑程度之间的平衡作用。 在自然样条的概念下，( 3 - 1 - - 5 ) 等价于： v 7 p v + o 蓉7 p , g = m i n ( 3 - 卜7 ) 其中r 称为正则矩阵，可由所采用的自然样条或其它方法事前确定。 由拉格朗日乘数法，构造函数： m = v 7 p v + 岱雪7 p 心+ 2 k 7 ( b 2 + g l i i ) ( 3 - 1 - 8 ) 分别令雾= 0 、詈= 。、篓o x = o ，可得： k = p v k = - a r s ( 3 - 1 _ 9 ) 口7 k = 0 联立( 3 1 2 ) ，( 3 1 _ 9 ) 可得： b 7 p b k + 曰7 p g b 7 p l = 0 ( 3 - 1 1 0 ) 中南大学硕士学位论文第三章半参数模型 令n = b 7 p b ，由于n 可逆，所以有： j = 一b 7 p 一1 丑7 藤 ( 3 一卜1 1 ) 由式( 3 - 1 3 ) 左乘p ，与式( 3 1 9 ) 联立，得： p b x + ( p + c e r ) = p l ( 3 1 - 1 2 ) 将( 3 一卜1 1 ) 代入( 3 1 - 1 2 ) ，熬理得： ( p + a r p b n 。1 8 7 p ) s = 伊一p b n 一1 8 7 p ) l ( 3 - 1 - 1 3 ) 令 m = p + a r p b n 。b 7 p ( 3 - 1 - 1 4 ) 则 s = m 一1 ( p p b n 一1 8 7 p ) l ( 3 - 1 1 5 ) 这样就计算出了非参数分量估值s 、参数分量估值x 及观测值改正数v 。 3 2 正则化矩阵r 及平滑参数c l 的选取 补偿最小二乘解法的关键是如何确定平滑因子n 和正则矩阵r 。由于这两个量的测 量学含义并不十分明确，针对各种实际测量工作应该如何确定这两个量目前还没有统一 的解释。在实际应用中，原则上我们可根据需要选取合适的。和r 。根据现有的文献， 确定a 和r 主要有以下一些方法。 3 2 1r 的选取 ( 1 ) r 一= ( 6 ( 1 t t yi ”。- l 2 。，其中b = 6 ( ，) 是满足正定条件q q 6 ( i ，l 一0i ) 0 的 i ，j 合适函数。当j ( f ) 的光滑程度较好时，可y r b ( r ) = k b 。其中马表示在卜d ，川上非零且 二次连续可微的三次b 样条( b e t af i s h e r ，1 9 9 9 ) 。 ( 2 ) r = ( j ，) 。其中为j ，= s ( t ，) 与5 ，= s ( j ) 的某种距离。 如 s ￥2 = b l s | 丫+ q i t | 丫，或s l 奄se sj 等。 、 令f = p p x n 。1 x 7 p ，则可得 ( a r + f ) 雪= ，_ y ( 3 2 一1 ) 中南大学硕士学位论文 第三章半参数模型 若此式有唯一解，则可得到蜃，从而也得到月。 ( 3 ) 若观测值是在时刻f l ，f 2 ，t n 得到的一时间观测序列，而认为相邻时刻的模型误差或 系统误差t 与j ，相差不大，则可取： 其中， g = 置= g 7 g l1o ollo 1 0-11 j 。，。 ( 3 - 2 - 2 ) ( 3 - 2 - 3 ) 此时由于r 秩亏( r a n k ( r ) ) = 万一1 0 ，使得i v 7 ( a ) p r ( a ) 匿c ，则由此式能够求出口的 范围，选择一值即可。 或者希望信号范数雪7 ( a ) e g 位) 在控制之内，即事先给定一个可接受的常数c t 0 ，使 得l 7 ( 口) r 蜃( 口) 悟c ，则由此式能够求出口的范围，选择一值即可。 ( 2 ) 同时控制 事先给定常数c 0 ，c t 0 ，使得i v 7 ) p 矿 ) l o ，m = 2 时，若以g ( t 。) 表示系统信号分量，用z 口表示参数分量时，补偿最小二 乘模型可表示为如下形式： 艺嵋o ，一z ，4 一g 纯) ) 2 + a i g o ) ( 矿d t ， 2 0( 3 5 1 0 ) 坤l 。 对于半参数模型( 3 2 1 ) ，令b x = 拟，s = g o ) l = y ，则其误差方程( 3 2 2 ) 可表示戈 v lb xs = y 一一g ( f ) 。根据式( 3 2 5 ) ， ( 3 2 6 ) ， ( 3 - 2 7 ) 可知， ( 3 - 5 1 0 ) 同 ( 3 - 1 1 ) 是等价的，即半参数模型属于补偿最小二乘模型的特殊形式。 3 6 本章小结 本章首先介绍了半参数模型的原理及其发展，然后介绍了半参数模型正则矩阵和平 滑因子的选择方法。基于虚拟观测法提出了虚拟观测法的半参数解算方法，运用h e l m e r l 方差分量估计选择平滑因子。通过模拟试验数据，将各类选择平滑因子的方法进行了h = 较，论证了虚拟观测半参数模型的可行性。指出了半参数模型与传统测量数据处理模型 的关系及其与补偿最小二乘模型的关系。最后将半参数模型运用于变形分析。数据分析 结果显示了该方法的有效性。 中南大学硕士学位论文 第四章v o n d r a k 滤波模型 第四章v o n d r a k 滤波模型 在数据处理