抗差估计的概念及其任务.doc

抗差估计的概念及其任务刭,测绘通报1994年第4期潮量抗嫠最小=乘估计理论系列讲座(一)歹一,7抗差估计的概念及其任务翌垄且三编者按7抗差估计是一门年轻的分支学科,它在测最由的应用为最数据的处理打开了一条广阔而深邃的研究天地研究成果已遍及大地铡量,工程测量,航空摄影侧量等学科.但是作为应用学科的测量抗差估计理论不应只停旧在研究阶段.为此,本讲座力求将深奥的抗差估计理论浅显化将复杂的估值模型简单化,并将计算方法和计算过程尽量程式化,使其与大家熟知的最小二乘理论相对应.本讲座计划骨六讲:第一讲:抗差估计的概念及其任务第二讲:异常影响诊断与抗差估计第兰讲:等价权原理参数平差模型的抗差最小二乘解第四讲:条件平差,混合平差模型的抗差最小二乘解第五讲:聩亏抗差最小二录估计原理第六讲:相关观测抗差最小=乘估计抗差估计区别于最小二乘估计的显着特点是它具有较强的抗差能力(抵制异常册影响的能力),这对日渐发展的自动化测量技术具有一定的应甩潜力,通过该系列讲座,力图使广大测绘工程技术人员像熟悉最小=乘法那样熟悉现代抗差估计原理.本系列讲座的主要内容将在测绘出版社即将出版的抗差最小二乘法一中系统论述.抗差估计(RobustEstimation)是一门年轻的学科,经过统计学界和应用科学界20多年的耕耘,已在许多领域显示出勃勃生机和强大生命力.她正以多姿的步伐逐渐跨出纯统计学界,并渗透到应用数据处理的各个学科.本讲主要介绍抗差估计的概念,任务及其发展简史.一,一般性描述传统的,广为人们接受的最小二乘(Lea-staqures)估计理论,在实践中有着广泛而成功的应用.当观测样术服从正态分布时,参数的最小二乘估计具有无偏,一致,忧效性.在眨函分析理论的支持下,最小二乘估计又呈现出明晰,直观的几何意义和简捷的计算程式.但是,当测值有悖于正惑分布假设,样本遭受异常污染时,避小二乘估计又具有明显的负面,即估值不具有抗=F扰蛀,单个测值的偏差即可能导致解案而目全非.源于此,种迎异于最小二乘估计的新理论一抗差估计应运而生.抗差估计在测量界的引入与发展,为测绘领域打开了一个广阔而深邃韵研究天地研究成果遍及大地,航测,及工程测量.但是具有系统性和普适性的研究成果尚不多见.作为应用学科和基础学科并举的测绘学科,它有着不同于数理统计学的数据背景和模型方程.我ffJ不能也不可能照搬抗差统计学的理论和定则,而应致力于测量实际,不断灌注抗差估计以丰沛的新内容建立起相对独立且自成体系的理论和方法演绎出适于应用且计算简便的解式加强并拓宽这门学科的外沿,探寻新的广阔的应用前景.抗差估计与最小二泵估计各有千秋,它们只在特定的前景,特定准则下显示其优越性.l994年第4期测绘通报37不存在后者一致忧于前者的结论,反之亦然.在抗差估计内部,各种方法也有优劣,它们各倚为根据的种种假设也不相同.显然,在研究过程中很难给出一个在所有准则下均为最优的抗差估计方法.但我们将本着”两害相较弃其煎,两利相较取其大”的比较原则,以决定各种方法的应用范围.=,抗整估计概念“抗善估计一也称稳健估计,源于统计学中的抗差性概念.在众多统计学文献中,有关抗差性的陈述并不相同.归纳起来,可做如下一般性描述.一个估计方法当其依为根据的模型与实际模型有微小差异时,其估计方法的性能只受到微小的影响,即怙计方法具有一定的”稳定性.因若不然,则针对理论模型假设下的估值之优良性不仅没有实际意义,还可能导致使用者误入歧途.这是估计方法抗差性意义的一个方面.估计方法抗差性的另一个方面的意义是,当观测样本中混入少量粗差(outlier)时,估计量的数值受其影响不大,即估计方法具有一定的”抗干扰性.因若不然,则极少数的观测粗差都可能导致估计量面目全非.这种既能抵制模型偏差又能抗拒异常观测扰动的估值方法称为抗差怙计法.从一定意义上说,上述抗差性的两种含义是相通的.因为当数据受到粗差污染时,该数据可被视为来自另一个总体,其分布与原来模型所规定者不同.反之,模型偏差也可视作污染观测所为.上述关于抗差性的描述是定性的,相对的.事实上不存在什么”最抗差一的怙计方法.所谓抗差性的优劣,往往是相对于某种范围和准则而言的,如方差(variance)准则,偏差(bias)准则,标准差(meansquareerror)准则等,各种准则均有侧重.Tukey曾建议综合各类抗差准则,组成新的目标函数,以达到综合抗差之目的.顺便指出:本讲采用周江文教授提出的“抗差估计”一词而不采用”稳健”,其基本理由是,在数学学科中,稳健常被看成一组稳定性要求,类似于微分方程中的稳定性.我们研究”robustness”主要针对估值左模型分布与实际分布有差异时,估俺所具有的抵制能力.既然如此,为了与数学上解方程的稳定性(stability)相区别,我们认为采用”抗差估计”更确切.三,抗整估计的任务在描述抗差估计概念时,曾把估计方法的抗差性理解为其性能对模型的微小变化不敏感,但是一个估值如果只具备这一特性,并不一定有用.例如,不管观测样本如何,总是用一个固定的常数去估计某参数,显然,样本中的异常值不可能影响该参数估值,但这类怙值又有何意义!因此,抗差估计所追求的并非只具有抗差性,还应具有其它的良好性能.Huber曾提到抗差怙计的三个主要目标:(1)在所假定的模型下,估值具有合理的优效性(最优或接近最优)(2)在实际模型与假设模型有微小差异时,其估值或统计方法(如怙值的渐近方差或检验量的检验功效等)所受的影响也较小.(3)在实际模型与假定模型有严重偏离时,其怙值的性能仍能”过得去或者说,不致使估值受到破坏性影响.Hampel等提出了与之相类似的四个抗差估计目标:(1)估值应最优地拟台于观测样本(数据群体),(2)估值方法应能识别异常值(3)对于不平衡设计空间,怙值方法照能识别强影响观测J(4)估值方法应能处理与假设相关结构有偏离的数据.在其它文献中,还有许多抗差估计目标.如高渐近相对效率(relativeefficiency)或高绝对效率(absoluteefficiency)等.怛这些目标与前面提到的抗差目标相比要次要一些.88测绘通报1994年第4期四,进一步说明现就Hampel等的四个抗差估计目标作如下说明:Hampel等的第一个抗差目标意味着,当测值中台有少数异常值时,其估值的受害应限制在一定范围内.这种少数异常值对估值影响的最大允许比率一般用”崩溃污染率(breakdownpoint)度量.当崩溃污染率达到50时(如样本中位数),即可保证估值只取决于优质数据抗差估计的第二个目标是指抗差估值能自动显示出测值粗差.最小二乘估计常常使粗差转移或被掩盖(smearedOfmasked),而且基于残差算得的均方差也随之增大,使得粗差探测愈加复杂.尽管在许多理想情况下,经过仔细分析能够探测出粗差,但是对于多维,非平衡设计,大样本空问,最小二乘估计仍无法探测出所有的粗差.有些常用的粗差探测准则并不可靠,甚至使用最普通的学生化残差也只能探测出1O的粗差.抗差估计则要求能够解决多维,非平衡观测数据的粗差探测.抗差估计的第三个目标提示人们,当观测数据平衡,没有极弱观测结构时,可以找到非常好的抗差估计方法,以便在理想模型下获得几乎最优效的估计量.但是当观测值中有保差观测时,仅基于残差的抗差估计法(如Huber的M估计)已不能完全达到抗差目的.对于保差观测的处理也应分成两种情况:如果保差观测是正常测值,则降低其权的抗差法必然损失效率如果保差观测含有粗差,则不降权处理又必然影响估值的可靠性,甚至使估值面目垒非一崩溃.目前最好的方法只能是分别采取降权法和不降权法处理保差观测,然后进行比较,如果两种方法的结果相差较大,则表明部分保差讽测为异常观测值.显然对于保差观测的处理应十分谨慎.在大地测量中,保差讽测与观测方程的设计矩阵有关,设计矩阵又与观测方案有关,所以在进行粗差探测时,应充分利用设计空间的信息.经典的粗差探测技术已经烦及到了设计空间和残差向量两个方面的影响,有时考虑两种影响的乘积,但是这些探测技术通常又是基于最小二乘原理而不是抗差估计原理,故由于隐差(masking)现象的不可避免,使得粗差探测变得相当棘手.抗差估计的第四个目标告诉人们,长期观测序列中可能存在相关现象.所有依据独立假设得出的参数估计,置信区间,统计检验可能都不可靠.应该指出,Hampel等尽管认识到相关观测抗差估计的重要性,然而这方面的研究成果尚不多见.在大地测量,航空摄影测量中,即使是非时序观测也可能存在相关问题.对于这类相关观测的抗差估计问题将是本系列讲座要介绍的主要问题之一.五,蔫量抗差估计的发展简史抗差估计理论的提出也许可以追溯到统计学的史前时期.认真审查数据和反复检桉可疑观测正是朝向抗差性迈出的第一步.如果将剔除异常值的讨论也算作抗差性讨论的起源的话,则至少可以追逆到16世纪伯努利,丹尼尔时代.伯努利及当时天文学家在天文观测中已经普遍开始拒绝异常观测值,但直到1927年才由Student正式提出使用重复观测结合异常值剔除的技术.正式使用抗差估计名词是1904年,Huber在他的着名论文”位置参数的抗差估计”中,对”正态污染模型”首次提出了Minimax型抗差解的严格定量理论,并正式起用了”M一估计”一词.M估计是一个很广泛的估计类.它容纳了经典最小二乘估计,极大似然估计和其他L,(=1,2,)估计.在测量数据处理中,抗差估计也有广泛研究.如Baarda,Pope,Koch,Kok,Kubiket81,Cross等的单个粗差和多个粗差数据探测法.Lugae的多个粗差探测的应变分析法等.在国内,粗差探测的研究也比较普及,如选权迭代法进行粗差探测,未标定的粗差检验问题等.1994年第4期测绘通报39直到1980年抗差估计理论才被丹麦的Krarup和Kubik等人引入测量界.提出了着名的”丹麦法”.德国人Caspary和Borutta等也作了一系列应用研究,如抗差估计在形变模型中的应用,位置参数与标准差因子同时求解的抗差估计问题.国内抗差估计研究基本与国外同时起步,且研究成果具有一定深度和广度.如抗差估计的IGG方案;将权函数分成三段,正常段(主段)采用LS估计,可疑段(次段)采用L-范数解,对显着粗差段采用淘汰法.从实用的观点看,IGG方案的思想更适于测量实际.且计算较简单j此外关于L范数估计的应用性研究,也引起许多学者的关注.近几年周江文教授带领的研究小组对测量抗差估计作了系统研究,并取得了一系列成果,且大多数成果可直接用于各类测量平差计算.参考文献周江兑:经典误差理论与抗差估计,铷绘,Voll8,NO.2,1989.周江兑,杨元喜,欧吉坤,王跃进:抗差估计论(上接第24页)标准串口(RS22C):主计算机,MODEM(有线,无线),串口打印机,终端智能仪器仪表,一红外接口:专用红外收发器条形码设备接El:光笔,CCD扫描器,激光扫描器,卡槽并行打印机接口:并行打印机专用总线:与PC机的高速并行通讯接口,ZZP系列擞型机打印机,分时计费器接口板,数据采集(A/D)转换板二,软件(1)ZZ19oO采用ZBASIC语言.与PC-1500BASIC语言基本兼容,仅显示语句(ZZ1500为4l0汉字.821西文,12884点阵显示屏幕,故原PC-1599程序耍有所改动)和打印输出语句(ZBASIc驱动并行打印机和ZZ系列微型打印机)要有所改改动,其它语句和函数可保持不变ZBASIC还增加了一些用支持掌上电脑的专有功能.ZBASIC可以使用lZS/256KB的存贮空间,字符型变量采用动态管理疗,长度不限.ZBASIC还支持顺序和随机文件操作.(2)ZZlS00具有一个请晰的操作系统层(ZZ-OS),具有文件系统及动态内存管理功能.文集,测蛙出版社,1992.3.栖元喜:抗差估计及其在大地捌量中的应用,博士论文,中科舞瓤I量与地球物理研究所,1991.4.黄幼才:数据探侧与抗差估计,测绘出版社,I990.5.王任享:增强选代权函数的探讨,测绘,Vo1.15,No.21986.6.李德仁:误差处理和可靠性理论,测绘出版社,I9887.Caspary,W.andBorutta,H.,Robustestimationindeformationmodels,SurveyRevie,Vo1.29,NO.223,1987.8.Hampel,F.R,Roachetli,E.M,RoUSSeCJUW,P.J.,Stahel,W.A.,RobustStatistics,Th:ApproachBasedOnInflUOIlCeFuactions,Wiley,NowYork,1988.9.Huber,P.,RobustStatistics,Wiley,NewYork,1981.10,Tukey,J.W.,Studyofrobustnessbysimulation:Partieularlyinimprovementbyadjustmentandcombination,inRobustnessinStatistics,edirodbyLauller,R.LandWilkinso,G.N.,NeYork,1979.(3)ZZIb00的软件设计采用层狄和模块结构,易于扩充和移植.(4)ZZlSOO上可存储最多选64个文件.每个文件都有一个文件名,用户可用菜单选择执行某文件(5)ZZIS00掌上电脑的ROM内不但固化有键盘,显示,声音,时钟,通讯,打印,条码等基本输人输出程序,还固化有ZBASIC语言的解释程序.ZZIb0O系统开发及管理软件主要的就是提供一个ZB-ASIC的编译程寄以及对ZZ1500文件管理