半参数回归模型虚拟1

1、半参数回归模型虚拟1半参数模型解算的虚拟观测法1朱建军冯光财戴吾蛟中南大学信息物理工程学院摘要半参数模型中的非参数部分可以很好地描述测量数据处理规律不是十分明确的系统误差或模型误差，因而近年得到了测绘工作者的广泛重视。但目前半参数模型的各种解算方法主要还是沿用数学中提出的方法，例补偿最小二乘法，样条函数法，核光滑估计等，这些方法的特点是：所用的参数和语言都是纯数学的、相对抽象的，与具体应用中的实际意义关系不大， 如何根据具体的问题确定方法中的有关量， 没有成熟可靠的方法。本文首先介绍半参数回归中常用的补偿最小二乘法。然后基于先验信息， 从纯测量学的观点讨论半参数模型的解算。 即将对问题的先验信

2、息转换成对问题的虚拟观测， 用虚拟观测与原观测联合按常规的最小二乘方法求解。 理论和实际1 本项目由湖南省自然科学基金项目(02JJY2066) 和湖南省科技计划项目联合资助(2004022200611)都证明，该方法与最小二乘补偿法完全等价。 从而在理论上得到一个重要的结论： 半参数回归的补偿最小二乘法中的正则矩阵可由虚拟观测的观测方程系数确定，即， R AlT Al ，平滑因子可由观测方差与虚拟观测方差的方差比（权比）2 /2 确定，而该方差比可以在计算中用方差分Ll量估计的方法确定。 由此将半参数回归的解算与传统的测量数据处理方法有机地结合起来了。 实例的计算结果表明， 本文提出的虚拟观

3、测方法计算的结果一般要优于常规的补偿最小二乘结果，基本上可达到常规补偿最小二乘法在理论上的最优解。关键词：半参数模型，补偿最小二乘法，先验信息 虚拟观测中国图书分类号： P207A quasi observation approach for semi-parameter regression Zhu Jianjun Feng Guangcai Dai wujaoSchool of info-physcs and Geomatics, Central South UniversityAbstractThe non-parameterin semi-parametricmodelcan be u

4、sed to describe the systemic errorormodelerroringeodesy, so semi-parameterregression get a great attention in geodesy. However, all the methods to find solutions of the model are based on mathematics, some concepts in the methods are very abstract, especially some quantities are no relationship to p

5、ractical situation. So it is very difficult to determine these quantities on practical situations. In this paper the method of penalized least squares(PLS) is introduced at first. And then, the solution of the model is studied on the viewof geodesy. It is suggested that the prior information on the

6、semi-parameters is transformed into quasi observations, and the quasi observations are adjusted then together with the real observations. The paper proves that the quasi observations method is equal to PLS. The regular matrix in PLS can be determined by coefficient matrix of the quasi observation eq

7、uation, that is, R AlT Al , the smoothing parameter is equal to the ratio of the observation variance to the quasi observation variance. The example shows that the quasiobservation method usually will be better thanPLS. And it can get nearly the best theoreticalresult of PLS1、引言来描述，如果把它归入半参数回归模型随机误差

8、部分， 明显会是 20 世纪 80 年才发展丢失信息，影响数据处起来的一种重要的统理的精度，但用上述模计模型，这种模型的特型中的非参数则可以点是既有参数分量又很好地描述这一部分含有非参数分量， 参数的信息，即可用上述模分量部分可以用来描型中的参数部分描述述函数关系明确的那观测值与被观测对象一部分，而非参数部分的明确函数关系， 用非可以用来描述函数关参数部分描述并不完系或规律不明确的那全确定的模型误差或一部分 1 。在测量数据系统误差部分。 因而半处理中，观测值与被观参数模型在近年得到测的对象的函数关系了测绘工作者的广泛往往非常明确， 但测量重视 2-10 。的系统误差或模型误目前测绘界对半差往

9、往则很难用函数参数模型的研究主要集中在以下几个方面：对抽象的，与具体应用一是用测量平差的语中的实际意义关系不言和方式介绍半参数大，例补偿最小二乘准回归的有关方法及其则中的两个重要量： 光处理模型误差和系统滑因子和正则矩阵， 偏误差能力 2-6 ，二是研核光滑估计中的光滑究半参数回归模型与矩阵，这些量都是一些传统平差模型的关系纯数学含义的量， 他们7-8 ，三是研究有关的在测量实际中的含义算法改进及统计性质不是十分明确， 因而不9-10 。半参数回归算利于测量工作者的理法具有较好的处理系解和使用，也不利于测统误差和模型误差的量工作者针对测量的能力这一点在多数文实际情况对半参数估献中都进行了肯定，

10、 但计的有关理论和方法目前的算法主要还是进行深入研究和扩充。沿用数学中提出的算本文将基于先验法，例补偿最小二乘信息，从纯测量的观点法，样条函数法，核光来讨论半参数模型的滑估计等，这些方法的解算，并由此得出了目特点是：所用的参数和前半参数模型解算方语言都是纯数学的、 相法中有关参数的测量学含义。2、半参数回归方法半参数模型可表示为 13 ：LBXS(1)其中 L 表示 n 维的观测向量，X 为 u 维的参数向量， B 为系数矩阵，表示误差， S 表示规律不十分明确， 难以用简单的函数表示， 但又不能归入误差项的非参数部分。半参数模型有两个特点(文献1P5) ：一是 S 可以是任意的函数形式， 可

11、以包含任意多的参数； 二是模型的目的主要在于估计参数，非参数S的引入主要是为了得到更准确的参数估计，S 本身的大小和精度并不重要。很显然，对于测量数据处理， S 可以描述模型误差或系统误差。如果把 S简单地看作为参数，则上述问题变为具有 n+u 个未知数，只有 n 个观测的不定问题，如果不增加其它信息则不可能求解。 目前半参数模型的解法主要是按两种思路进行设计的，一是对非参数S 的函数空间施加一定的限制，一般是进行光滑性限制，由于 S 的函数形式可以任意， 使用光滑性后则可以使用合理的参数逼近， 将非参数部分参数化。 这种类型的估计是以非参数分量参数化为特征，例，偏光滑样条估计，偏分块多项式估

12、计等。另一种思路是分别对参数部分和非参数部分进行估计的两阶段估计方法。例可先假定参数已知，使用标准非参数方法估计非参数部分，然后去掉非参数部分，再使用标准的参数估计方法估计参数部分。由于篇幅所限，这里我们只简单介绍目前半参数模型求解中广泛应用的补偿最小二乘方法。将模型 (1) 改写成观测方程，有：LVBXS（ 2）为了求得上述问题的解，可以增加对非参数S 函数光滑性的限制，即要求：V T PVJ (S)min（ 3）其中：J( S)( S" ( t) 2 dt是刻划非参数函数光滑性的一个定量指标。 称为平滑因子， 它起到在拟合度 (V T PV) 和光滑程度之间的平衡作用。在自然样条

13、的概念下，上述准则等价于：V T PVST RSmin（ 4）其中 R 称为正则矩阵，可由所采用的自然样条或其它方法事前确定。在准则（ 4）下可求得（ 2）式的补偿最小二乘解：X (AT PA) 1AT PL (ATPA) 1AT PS S M 1(PL PA(AT PA) 1 AT PL)（ 5）MPRPA(AT PA) 1 ATP（ 6）补偿最小二乘法的关键是如何确定光滑因子 和正则矩阵 R。由于这两个量的测量学含义并不十分明确， 针对各种实际测量工作应该如何确定这两个量目前还没有统一的解释。当 L 是一个观测序列时，如果认为相邻时刻的模型误差或系统误差相差不大， 即 Si与 Si+1 差

14、别不大，文献2 建议取：（ 7）其中1100110G011（ 8）而 可以根据交叉核实法在计算中确定 (文献 1P47) 。3半参数模型的虚拟观测法对于先验信息 “认为相邻时刻的模型误差或系统误差相差不大，即 Si 与 Si+1 差别不大”可以用虚拟观测：liSi 1Si0（ 9）表示。全体虚拟观测用RG T G误差方程形式可表示为：110S10110S2lv011Sn（ 10）即lvAl S（ 11）其中 l 为虚拟观测向量，并且有 l=0，v 为虚拟观测残差向量， 对比（ 10）（11）和（ 8）式可知， A l 与式（ 8）中的 G 完全相同。对于上述先验信息下的虚拟观测，我们可以认为观

15、测等权，但观测方差的大小未知，因而其虚拟观测权可表示为：（ 12）其 中L/l 为观 测方22差与虚拟观测方差的方差比（权比）,虚拟观测与实际观测联合后的观测方程为：LVAXSlvAl S（ 13）在最小二乘准则：V T PVvT Pl vmin（ 14）下，可求得法方程为：AT PAXAT PSAT PLPAX( PlAlT Pl Al )SPLAlT Pl l（ 15）最后可求得：X(AT PA) 1 AT PL( AT PA) 1AT PSSM 1 (PLAlT PllPA( AT PA) 1 AT PL )（ 16）这里PlIMPAlT Pl AlPA( AT PA) 1 AT P（v

16、T Pl v ( Al S l )T I ( Al S l )( Al S) T I ( Al S)17）ST AlT Al S式（16）就是半参数模（18）型的虚拟观测法的解。考虑虚拟观测的最小将 l=0 和 PlI 代入（16） 二乘准则可变为：（17），再令V T PV vT Pl v V T PVST AlT Al SVTPVST RS minRAlT Al可见最小二乘准则就可得到与一般文献（14）与补偿最小二乘中补偿最小二乘法形准则（ 4）等价，由此，式完全相同的解的表从理论上可以得到一达式（ 5）（6）。虚拟观个重要的结论： 半参数测的方差一般难以事回归的补偿最小二乘前确定，可以按

17、经典测算法等价于对半参数量数据处理中的方差的虚拟观测法， 其中补分量估计方法确定。 实际计算中可以按 Pl偿最小二乘准则中的I 进正则矩阵实际就是对行初次计算，然后按方差分量估计方法确定半参数进行的虚拟观测组成的法方程，即，方差比。R AlT Al ，平滑因子实际考虑式 l=0 和 PlI ，就是观测方差与虚拟有观测方差的方差比 （权比），即，L/ l，完22全可以用方差分量估计的方法确定。4算例确定。由计算机产生一组模拟误差后， 可由上式计算相应的模拟观测，产生一组模拟观测后我们进行两种计算：一是用常规的补偿最为了使算例具有小二乘法，二是用本文可比性和可重复性， 本所提出的虚拟观测法。文选文

18、献 9 使用的算用常规的补偿最小二例，即假定有一个线性乘法的关键是难以确模型：定平滑参数。 甚至没有YBX评价平滑参数好坏的其中标准。对于该算例，文(bij ) 200 2 , bi1 i ，X23TB献2 曾建议取 40bi 2(i) 2 ,i1,2,.200 , 模型0.05。为了求得平滑因40子理论上的最好值， 我误差为 S(Si ) 200 1 , 其中们对每组观测计算 10sin( i) ，i1,2,.200 , 观Si1,2， ，20等20组解，100测误差假定为 N (0,1) ，然后取参数 X的真值与由计算机模拟给出。 则估值的差的均方根观测向量由（RMS ）作为评价解理LYS

19、论上最好的评价指标（因实际工作中不可能知道解的真值）。在取得一组观测后，不考虑模型误差求得的最小二乘解为：X( BT PB ) 1 BT PL(5.770,1.737)为了求得平滑因子理论上的最好值， 用不同的平滑因子按补偿最小二乘法求解的结果如表 1，按本文提出的虚拟观测法计算的结果列于表 1 最后一行，用虚拟观测法计算时，赫尔默特方差估计法确定虚拟观测方差， 由此可确定方差比 （平滑因子）。由表 1 可以看出，对于该算例的该组观测，采用补偿最小二乘时，理论上的最佳解为 X (2.043,2.981) ，理论上的最佳平滑因子为 3，相应的解偏差为 RMS 0.0474。按本文提出的虚拟观测方

20、法，求得的解为X (2.043,2.981) ，平滑因子（方差比）为 2.2，偏差为 RMS 0472。这里必须注意， 我们在算例中能知道理论上的最优解是因为我们知道模拟参数实际的真值，在实际应用中，我们是不知道真值的，所以，用补偿最小二乘法时很难知道或评价哪一组解最优。 这一计算结果表明：对于半参数模型，采用本文提出的虚拟观测方法计算的结果一般要优于常规的补偿最小二乘结果，并且，虚拟观测方法基本上可达到常规补偿最小二乘法在理论上的最优解。RMS 0.0969X(2.116,2.959)RMS 0.12311X(2.140,2.951)RMS0.11010X(2.128,2.955)RMS0.

21、13612X(2.152,2.948)表 1 虚拟观测法与补RMS 0.148偿最小二乘法的结果13X (2.163,2.944)比较RMS 0.172平滑参数与 真 实15及X的估计 值的偏X (2.185,2.938)值差 RMSRMS 0.19512X (2.082,2.969)X (2.045,2.980)17RMS RMS 0.088X (2.205,2.932)0.049RMS 30.2164X ( 2.043,2.981)X (2.052,2.978)19RMS RMS 0.0474（最X ( 2.224,2.926)优）0.056RMS 50.2356X (2.063,2.97

22、4)X (2.076,2.971)半参数模RMS RMS 0.068型解算的0.082虚拟观测法780.16114X(2.174,2.941)RMS0.18416X(2.195,2.935)RMS0.20518X(2.214,2.929)RMS0.22620X(2.233,2.924)RMS0.2452.2X(2.043,2.981)RMS 0.0472X(2.090,2.966)X(2.103,2.963)5结论补偿最小二乘结果（ 0.05 时的结果），在1）半参数模型可本例多余观测数比较以通过对半参数的虚大的情况下（多余观测拟观测与原观测联合数接近 100），虚拟观测进行求解，半参数模型方法基本上可达到常的补偿最小二乘法实规补偿最小二