（水文学及水资源专业论文）抗差理论在洪水预报中的应用研究.pdf

摘要 摘要 洪水预报系统的抗差性研究，就是把抗差理论引入洪水预报中，利用抗差系 统具有的抗差能力使许多严重的不正常因素误差影响，根本就不能进入系统， 这样，减少了系统的污染机会，降低了不正常因素的影响，可大大提高系统的稳 定性和洪水预报的精度。首先把抗差理论引入a r 模型的参数估计中，利用抗差 系统具有的抗差能力，提出了a r 模型误差方程参数动态抗差估计方法。结果表 明，当观测傻中不含粗差时，采用最小二乘法、h u b e r 估计方法、i g g 估计方法 率定的参数结果相差不大，采用该参数的a r 模型进行实时校正，校正效果也比 较接近。一旦观测值中出现粗差，采用传统的最 j 、- - 乘法率定参数的a r 模型进 行校正，校正效果有大幅度下降；而采用具有抗差效果的h u b e r 估计、i g g 估计 率定参数的a r 模型进行校正，校正效果只有微小下降，能保证洪水预报的精度。 分析水库入库实测流量中粗差的特点，把抗差理论与方法引入水库入库洪水预报 和误差实时修正中，研究了具有抗差特性的洪水预报实时修正方法，以抗御粗差 和极值误差对修正结果的影响，增强了修正结果的稳定性。提出了抗差均方差的 概念来比较各种估计方法的有效性。结果表明，抗差估计方法对于大误差的剔除 比较有效。入库流量波动大的水库，抗差估计方法与非抗差估计方法估计的参数 差别较大，抗差均方差减小的幅度大；反之亦然。然后根据遥测系统雨量观测资 料误差的类型和特点，结合抗差最小二乘法，提出了雨量观测资料误差三步权函 数修正方法。每一步均利用雨量资料误差的不同特点，提出不同的权函数进行修 正。论文考虑了面平均雨量是否分级，降权函数的选取等问题，共设定了4 种抗 差方案进行计算。并对抗差后的雨量资料采用新安江模型进行产汇流计算。计算 结果表明，采用雨量观测误差三步权函数修正法是有效的，能准确剔除雨量资料 的粗差，改善雨量资料的合理性，提高洪水预报的精度。最后采用抗差岭估计来 推算单位线，该方法既可以解决共线性的问题，也可以抗御粗差的影响，得到比 较稳定的单位线。 关键词：抗差估计；a r 模型；最小二乘估计；h u b e r 估计；i g g 估计；抗差均 方差；雨量观测误差；三步权函数修正；单位线 a b s t r a c t t h et h e o r yo fr o b u s te s t i m a t i o ni si n t r o d u c e di n t ot h er e a l t i m ef l o o df o r e c a s t i n g s y s t e m t h er o b u s ts y s t e mc a i l p r e v e n ta b n o r m a lf a c t o r sf r o me n t e r i n gt h e f l o o d s y s t e m s oa st oe n s u r et h es t a b i l i t yo f t h es v s t e ma n dt h ea c c u r a c yo ff l o o df o r e c a s t f i r s t l y ii n ti,the t h e o r yo f r o b u s te s t i m a t i o nsr o d u c e dn t op a r a m e t e re s t i m a t i o no ft h e a u t o r e g r e s s i v em o d e l ( a rm o d e l ) a l s os o m ee s t i m a t i o nm e t h o d sc o m m o n l yu s e d ， i n c l u d i n gt h eh u b e te s t i m a t i o na n di g ge s t i m a t i o n a r ei n t r o d u c e da n dc o m p a r e d w i t ht h el e a s ts q u a r em e t h o d ( l s m ) e x a m p l e ss h o wt h a t ，w i t hf l o r m a lo b s e r v e d d a t a ，t h er e s u l t so b t a i n e db yt h et h r e em e t h o d sa r es a t i s f a c t o r y , h o w e v e r , i ft h e o b s e r v e dd a t aa r ea b n o r m a l ，t h ee s t i m a t e dr e s u l t sb vl s mi sn o ts a t i s f a c t o r y , w h i l e t h er e s u l t s 抒o mt h eo t h e rt w om e t h o d sa r es t i l l s a t i s f a c t o r y , i n a d d i t i o n t h e c h a r a c t e r i s t i co fo u t l i e ri nt h er e s e r v o i ri n f l o wi sa n a l y z e da n dt h et h e o r yo fr o b u s t e s t i m a t i o ni si n t r o d u c e di n t ot h ef o r e c a s to fr e s e r v o i ri n f l o wa n dr e a l t i m ee r r o r c o r r e c t i o no fi t ，t l l er o b u s t s y s t e m c a n p r e v e n t o u t l i e ra n de x t r e m ee r r o rf r o m i n f l u e n c i n gc o r r e c t i o ne f f i c i e n c y , s oa st oi m p r o v e t h es t a b i l i t yo fc o r r e c t i o nr e s u l t s r o b u s tm e a ns q u a r ee r r o ri sp u tf o r w a r dt oc o m p a r ev a l i d i t yo ft h et h r e ee s t i m a t i o n m e t h o d s r e s u h ss h o wr o b u s t i f l e de s t i m a t i o nm e t h o d sa r ee f f e c t i r et ot h ep r e v e n t i o n o f o u t l i e r i nt h er e s e r v o k sw i t hb i gf l u c t u a t i o no f i n f l o w , t h ed i f r b r e n c eb e t w e e nl s m a n dr o b u s t i f i e de s t i m a t i o nm e t h o d s ( i n c l u d i n gh u b e re s t i m a t i o na n di g g e s t i m a t i o n ) i sl a r g ea n dr e d u c t i o ne x t e n to fr o b u s tm e a ns q u a r ee r r o ri sl a r g e ，a n dv i c ev e r s a f u r t h e r m o r e ，丘o mt h e v i e w p o i n t o f h y d r o l o g i c a la p p l i c a t i o n ，t h et y p e s a n d c h a r a c t e r i s t i co f r a i n f a l lo b s e r v a t i o ne r r o ri nh y d r o l o g i c a lr e m o t es y s t e ma r ea n a l y z e d a n dat h r e e s t e p w i s ew e i g h tf u n c t i o nc o r r e c t i o nm e t h o do ft h ee r r o ri nt h es y s t e mi s d e v e l o p e do nt h eb a s i so ft h e o r yo f r o b u s t i f l e dl e a s ts q u a r em e t h o d f o u rr o b u s t s c h e m e sa r e p r o p o s e db y c o n s i d e r a t i o no ft h e p r o b l e m t h a ti ft h em e a na r e a l p r e c i p i t a t i o ni sc l a s s i f i e da n dt h ed i f f e r e n tf o r m a to fd e s c e n d i n gw e i g h t e df u n c t i o n r a i n f a l ld a t ao f2 8f l o o d sb e t w e e n1 9 7 4a n d1 9 9 9i 1 1 w u x i g o ub a s i no fw e i s h u i r e s e r v o i ra r ea n a l y z e da n dc a l c u l a t e da n dt h ew e i g h tf u n c t i o no fe v e r ys t e pa r e o b t a i n e dt h em e t h o di st e s t e du s i n gx i n a n j i a n gm o d e it oc a l c u l a t et h ed i s c h a r g e h y d r o g r a p h r e s u l t ss h o wt h a ta t h r e e s t e p w i s ew e i g h tf u n c t i o nc o r r e c t i o nm e t h o di s e f f e c t i v ea n da p p l i c a b l ea n dc a nb e s p r e a di no t h e rb a s i n s i tc a ne l i m i n a t et h eo u t l i e r o fr a i n f a l ld a t aa n di m p r o v et h ea c c u r a c yo ff l o o df o r e c a s t f i n a l l y , r o b u s t i f l e dr i d g e e s t i m a t i o nt h a th a sb e e nw i d e l yu s e di ns u r v e y i n ga n dm a p p i n gi s s u g g e s t e da n d a p p l i e dt ot h ee s t i m a t i o no f u n i th y d r o g r a p h r 6 er e s u k ss h o wt h a tt h em i n u sv a l u e a n df l u c t u a t i o no fu n i t h y d r o g r a p h c a nb em i t i g a t e da n dt h ee r r o ro fo b s e r v e d d i s c h a r g ec a n b ew i t h s t o o d u s i n g t h er o b u s f i f i e dr i d g ee s t i m a t i o n k e yw o r d s ：r o b u s te s t i m a t i o n , a u t o - a g g r e s s i v em o d e l ( a rm o d e l ) ，l e a s ts q u a r e m e t h o df l s m ) ，h u b e re s t i m a t i o n , 1 g ge s t i m a t i o n ，r o b u s tm e a n s q u a r ee r r o r , r a i n f a l l o b s e r v e de r r o r , t h r e e - s t e p w i s e w e i g h tf u n c t i o nc o r r e c t i o nm e t h o d ，u n i th y d r o g r a p h 前言 刖磊 洪涝灾害是我国发生频率最高、损失最大的自然灾害。工程与非工程措施的 结合，能最有效地发挥防洪减灾效益。洪水预报是防洪减灾非工程措施的主要手 段，长期以来，国家和科学界已投入大量的人力和物力，致力于相关领域的研究， 获得了大量的科研成果。但对于实时洪水预报，正常情况预报精度较高，能满足 防汛要求，若遇实测资料误差、人类活动等非自然因素的影响，会导致洪水预报 精度大大降低，或破坏了正常洪水预报的环境，越是在发大洪水的时候，越容易 产生不正常因素，在关键时刻阻碍了防洪减灾效益的发挥。因此，对于实时洪水 预报方法，如何能有效地抗御各种实时误差的影响，使预测系统遇非正常因素也 能保证正常作业和洪水预报的精度，成为实时洪水预报的重要研究课题。 传统的处理方法，都是根据模型的计算误差，来实时修正估计结果、模型参 数或模型输入等，这些方法的共同点是，不正常因素都毫无阻挡地进入了预报系 统，且对结果产生了影响，由这被影响的误差结果再来进行修正，这一类属于被 动的方法。被动的方法有两个致命的弱点，一是对误差分布有严格的限制条件， 是预先设定的；二是估计方法受误差影响大。正是由于这两个致命弱点存在，使 大多数实时洪水预报系统，在正常误差情况下，系统具有较好的实时修正和动态 跟踪能力，预报精度也高，但遇一些大误差或极值误差，系统的实时修正效果大 大下降，跟踪能力减弱，遇极端非正常情况，会使整个系统崩溃。本文提出实时 洪水预报系统的抗差性研究，就是把抗差理论引入实时洪水预报中，利用抗差系 统具有的抗差能力，使许多严重的不正常因素误差影响，根本就不能进入系统， 这样，减少了系统的污染机会，降低了不正常因素的影响，可大大提高系统的稳 定性和洪水预报的精度。 抗差估计，是- f - j 十分年轻的分支学科，在数学界，到2 0 世纪6 0 年代才有 一些实质性的研究成果。在水文学中的应用，国内尚是空白，国外也研究不多， 且在许多方面的研究尚缺乏或严重不足。特别是适合于水文问题的抗差特征函 数、抗差性理论与实时洪水预报系统的结合应用等问题，国内外尚是空白。本文 提出把抗差估计理论引入洪水预报中，研究适合于洪水预报的各种抗差估计方 法，以形成具有水文学特点的，抗差性强的洪水预报理论和方法。这个无论是在 刚舌 理论研究上还是实际应用方面，均具有十分重要的意义。 论文对a r 模型误差方程参数动态抗差估计方法、遥测系统雨量观测资料误 差的抗差估计方法及单位线推算的抗差估计方法进行了研究，在三个方面进行了 创新： 1 、针对洪水实时预报误差的特点，把抗差理论引入a r 模型的参数估计中， 提出了a r 模型误差参数动态抗差估计方法。同时针对水库入库洪水实测流量中 包含粗差的特点，把抗差理论引入水库入库河段汇流参数的抗差估计中，研究了 具有抗差特性的洪水预报实时修正方法。并提出了抗差均方差的概念来比较各种 估计方法的有效性。 2 、针对遥测系统雨量观测资料误差的类型和特点，结合抗差最小二乘法， 提出了雨量观测资料误差三步权函数修正方法。每一步均利用雨量资料误差的不 同特点，提出不同的权函数进行修正。论文考虑了面平均雨量是否分级，降权函 数的选取等问题，共设定了4 种抗差方案进行计算。并对抗差后的雨量资料采用 新安江模型进行产汇流计算。计算结果表明，采用雨量观测误差三步权函数修正 法是有效的，能准确剔除雨量资料的粗差，改善雨量资料的合理性，提高洪水预 报的精度。 3 、针对最d , , - - 乘法估计会使推求的单位线不稳定，其纵坐标有可能出现负 值以及由于遥测设备的故障或者一些人为错误使样本遭到异常污染的情况下，最 小二乘法估计常不能得到稳定的解的情况，本文提出采用抗差岭估计来推算单位 线，大大改善了单位线出现负值和锯齿情况，又能消除粗差影响，得到比较稳定 的解。该方法的提出解决了最小二乘估计中存在的几个比较典型的问题，具有实 际意义。 学位论文独创性声明 本人所呈交的学位论文是我个人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工 作的同事对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。如不实，本人负全部责任。 论文作者( 签名) ：逊2 0 0 4 年4 月1 5 日 学位论文使用授权说明 河海大学、中国科学技术信息研究所、国家图书馆、中国学术 期刊( 光盘版) 电子杂志社有权保留本人所送交学位论文的复印件或 电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子 文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外， 允许论文被查阅和借阅。论文全部或部分内容的公布( 包括刊登) 授权 河海大学研究生院办理。 论文作者( 签名) ：趣2 0 0 4 年4 月1 5 日 第一章绪论 第一章绪论 1 1 抗差估计概念与研究问题提出 观测总是会有误差的。通常有一类误差是个别可预测的，称为偶然误差；另 有一类误差带有部分规律性的序列，称为系统误差。此外，还有粗差( o u t l i e r 或 用g r o s se r r o r ) ，指离群的误差【l l ，由失误、观测( 函数) 模式差、分布模式差而 来，它实际不可避免。统计学家根据大量数据，指出在生产实际和科学实验中， 粗差的出现约占观测总数的1 1 0 【2 】。粗差往往给常规的参数估计带来不良后 果，影响结果的正确性和合理性。 在粗差不可避免的情况下，选择适当的估计方法使未知量估值尽可能减免粗 差的影响，得出尽可能接近真值的估值，是参数估计研究的重要内容，这类方法 在英文中称为r o b u s te s t i m a t i o n ，在水文学中称为稳健估计，主要应用于水文频 率曲线的参数估计等。 对于实时洪水预报，正常情况预报精度较高，能满足防汛要求，若遇实测资 料误差、人类活动等非自然因素的影响，会导致洪水预报精度大大降低，或破坏 了正常洪水预报的环境，越是在发大洪水的时候，越容易产生不正常因素，在关 键时刻阻碍了防洪减灾效益的发挥。因此，对于实时洪水预报方法，如何能有效 地抗御各种实时误差的影响，使预测系统遇非正常因素也能保证正常作业和洪水 预报的精度，成为实时洪水预报的重要研究课题。r o b u s te s t i m a t i o nt h e o r y 能利 用各种动态权，抵御或降低粗差对预报结果的影响，减少预报系统的污染机会， 提高系统的稳定性和洪水预报的精度。从这个角度讲，用“稳健估计”不能确切 的表达其主要内涵，而采用测量学和数学中的“抗差估计”较确切，该名称不仅 能表达洪水预报系统中抗御误差进入系统的意义，也能表达参数估计中“稳健性” 意思。所以，本论文叫抗差估计。 抗差估计的原则是要充分利用有效信息，限制利用污染信息，排除有害信息。 比如，采用a r 模型进行实时校正，由于观测流量中出现粗差( 由人为观测的错 误和仪器的故障等引起) 导致率定的参数不准确，从而影响实时校正的效果；降 溷海久学蹲士学位论文 抗羞理论在洪承预报中的赢瑁研究 雨遥测系统中的冒大数现象( 粗差的一种) ；推求单位线的过程中由于流量出现 粗差导致推求的单位线不合理现象等等，都属于洪水预报中的不正常情况( 主要 是有粗差存在) 。对于这些问题的研究，可称之为洪水预报系统的抗差性研究。 传统的处理方法，都是根据模型的计算误差，来实时修正估计结果、模型参 数或模型输入等，这些方法的共同点是，不正常因素都毫无阻挡地进入了预报系 统，且对结果产生了影响，由这被影响的误差结果再来进行修正，这一类属于被 动的方法。被动的方法有两个致命的弱点，一是对误差分布有严格的限制条件， 是预先设定的；二是估计方法受误差影响大。正是由于这两个致命弱点存在，使 大多数实时洪水预报系统，在正常误差情况下，系统具有较好的实时修正和动态 跟踪能力，预报精度也高，但遇些大误差或极值误差，系统的实时修正效果大 大下降，跟踪能力减弱，遇极端非正常情况，会使整个系统崩溃。 本文提出把抗差估计理论引入洪水预报中，研究适合于洪水预报的各种抗差 估计方法，以形成具有水文学特点的，抗差性强的洪水预报理论和方法。这个无 论是在理论研究上还是实际应用方面，均具有十分重要的意义。 1 2 抗差理论研究综述 1 2 1 抗差估计理论研究进展 根据含有误差的观测向量，依一定的数学模型，按一定的准则，求未知参数， 在数理统计中称为参数估计，在测量中称为平差。 传统的参数估计方法有矩法【8 】、极大似然估计 8 j 最, - - 乘估计卅等等。矩 法( m o m ) 计算简便，但统计特性较差，尤其在样本容量较小时，其统计参数估 计值有界】，而且计算高阶矩时抽样误差甚大。极大似然法( m x l ) 具有较好统 计特性，但计算较繁，并要求子样的分布已知。当分布密度的形式未知时，参数 的极大似然估计没有明确的解析表达式，也不能通过设计算法由计算机运算得 到。鉴于此，宋卫星( 2 0 0 2 年) 提出了一种拟极大似然估计【7 8 】。这种估计的获 得不依赖于未知分布密度的形式，只与一已知的分布密度有关，通过计算机可以 实现对其求解。 迄今t 最小二乘法( l s e ) 在参数( 包括随机参数和非随机参数) 估计中使用 频率最高。当观测样本误差服从正态分布时，参数的最d , - - 乘估计具有无编、一 第一章绪论 致、有效性。在泛函分析理论的支持下，最小二乘估计又呈现出明晰、直观的几 何意义和简捷的计算程式。并已证明，观测误差服从正态分布时，极大似然估计 和最小二乘估计所得到的参数一致”1 。但它存在两个明显缺陷：( 1 ) 观测量或参 数之间存在相关关系，即出现共线性时，设计矩阵x 的列向量线性相关，x 。x 奇异或接近奇异，此时l s e 的精度很不稳定。( 2 ) l s e 对观测数据中哪怕是唯 一的粗差十分敏感，并导致结果不可靠。 实践中：1 ) 测量或观测数据多是时序样本值：2 ) 模型误差是普遍存在的。 因此，为克服最小二乘法的两个缺陷，相应地找到了两种处理途径：有偏估计和 稳健估计。 有偏估计是史太恩( c ，m s t e i n ) 于1 9 5 5 年提出的。以此为开端，3 0 多年来， 许多学者就如何很好地分析和解决测量平差中的病态性问题进行了有益的探索。 如针对法矩阵的病态性a e h o e f l 和r w k e n n a r d 于1 9 7 0 年提出了岭估计。 自提出后，岭估计的研究和应用得到了广泛的重视，成为目前最有影响的一种有 偏估计。还有w _ e m a s s y 于1 9 6 5 年首次提出的主成分估计1 1 0 3 】；张文文( 1 9 9 6 年) 提出了的主相关估计1 2 6 】；归庆明提出的岭压缩组合估计【”4 1 ( 简称c r s 估 计) 、约束岭估计和约束主成分估训80 1 。此外，还有广义岭估计、组合主成分估 计( c p c e ) ，单参数主成分估计( s p p c e ) ，根方估计( r r e ) ，岭型广义逆估计 8 3 - 8 4 - ) 9 6 8 1 等等方法。针对设计阵的病态性提出了基于奇异值分解的广义逆估计 s 5 , 8 6 1 以及基于h o u s e h o l d e r 算法的a d p a m 方法8 7 1 等等，并且有偏估计在秩亏自 由网平差等现代平差和地球物理反演中得到广泛的应用 s g - 9 5 】。 值得指出的是。8 0 年代有偏估计被国内外学者引入测量并得到发展，为测 绘领域开创了一个广阔而深邃的研究天地。在水文学中，m b r u e n j ci d o o g e l l 7 6 1 和包为刚”7 1 曾先后将岭估计应用于单位线的估算中，收到了好的效果。 近代估计理论中还有一些新的估计方法，比如b a y e s 估计【1 0 9 3 】【1 2 4 1 2 ”、信 息熵理论 7 2 - 7 3 】、极大熵原理r 7 w q 等。 而对于最小二乘法的另一缺陷，粗差的处理，最早引起重视的是粗差探测方 法。最早的数据探测法是采用几何条件闭合差旷进行检验，例如测角网中的三 角形闭合差和极条件闭合差等。但是在卫星大地测量、航空摄影测量及水文测验 中很难找到可以应用的几何条件闭合差，用旷检测粗差是不可能的。此外，如 3 澜海大学博士学位论文 抗差理论在洪水预报中的应用研究 果起算数据存在粗差，用几何条件闭合差也检测不出来。随后，出现了用残差v 检验粗差的方法，经典的方法是采用3 仃规则，但是该方法在理论上是不严格的。 b a a r d a l 9 6 8 年在严格统计假设检验基础上提出了d a t as n o o p i n g 方法p 卅来进 行粗差探测。但是，b a a r d a 租差探测法每次只能检验出一个租差，当存在n 个粗 差时，只有逐个进行检验，即首先剔除超出临界值最大的那个观测值，然后进行 下次平差求出残差，仿照前述方法再一次进行粗差探测，依此继续下去。其缺 点是粗差对每个观测都有影响，往往含有粗差的观测值并不一定有最大的残差， 而不含粗差的观测值相反却会有较大的残差，因此第一步探测中，很可能剔除的 不是含粗差的观测值，从而作出错误的判断。 在b a a r d a 之后，有很多学者进行了进步的研究，以验后信息v 和g 为依 据建立起各种粗差检验的统计量。比如，p o p e ( 1 9 7 6 ) 提出的f 检验2 9 】；s t e f a n o v i c 的z2 检验f ”1 ；c o o k ( t 9 8 2 ) 提出的余差分析 6 1 ；k o k ( 1 9 8 4 ) 提出的b 法检验巴f 和 f 检验刚；近似统计量检验法p l j 2 】；此外还有改进的主成分检验, 法1 3 5 , 3 6 1 。上述的 那些假设检验的方法都是单个粗差的定位方法，为了解决多个粗差的定位问题， 人们企图利用一维的数据探测法来发现多个粗差1 2 0 i 2 t i d 4 i d 7 】1 1 0 ”。 针对上述各种方法存在的不足，其后有很多研究人员从不同的方面进行了改 进和完善，提出了很多新的粗差检测方法 1 7 1 9 1 f 2 4 】【2 6 】【4 2 4 3 f 4 6 】。应该指出，上述的 多种识别粗差的方法主要是基于数理统计方法，这种方法需要己知或假设观测值 满足某种概率分布或在大样本的前提下使用。但实际观测工作中，由于多种因素 的影响和限制，统计特性不明显，难以保证其满足某种概率分布。 后来，随着电子计算机的发展，抗差理论的研究得以深入，出现了参数估计 的坚韧( r o b u s t ) 方法。也叫参数的稳健估计( 抗差估计) 。抗差估计这个术语 由g e r b o x 在1 9 5 3 年首次提出，其含义是在粗差不可避免的情况下，选择适当 的估计方法使未知量估值尽可能减免粗差的影响，得出正常模式下的最佳估值。 抗差估计的原则是要充分利用有效信息，限制利用可用信息，排除有害信息。由 于事先不大可能准确知道观测数据中有效信息和有害信息所占比例以及它们具 体包含在哪些观测中，从抗差的主要目标着眼是要冒一些效率的风险，去获得较 可靠的、具有实际意义的、较有效的估值。 第一苹绪论 抗差估计的理想目标是：1 ) 在假定的观测分布模型下，估值应是最优或接 近最优的；2 ) 假设的分布模型与实际的分布模型有较小差异时，估值受到粗差 的影响较小；3 ) 当假设的分布模型与实际的分布模型有较大偏离时，估值不致 受到破坏性影响。根据这个理想目标，所要寻求的抗差估计应当是在物理模型基 本正确的前提下，能够抵御下面几种误差或因素对参数估值的影响：1 ) 大量小 误差；2 ) 少量粗差；3 ) 假设的分布偏离实际数据的分布；4 ) 系统结构不良产 生的“保差”影响。削弱大量小误差对参数估值的影响实质上是估计的效率问题。 传统的最优估计都具有这种能力，具备优良的统计特性。例如最小二乘估计能有 效地抵御大量小误差的影响，估值无偏且方差最小。抗拒少量粗差对估值的影响 是抗差估计理论研究的重点。估计能容忍的粗差观测值的个数是衡量其抗差能力 的标志。观测值分布的假设是建立参数估计模型的基础。假设的分布与实际的分 布不符合会降低参数估值的可靠性和估计的效率。系统结构不良特别指存在“杠 杆观测”。如果这些观测值中出现粗差，则很难通过观测值余差的大小来发现这 些粗差，此即所谓的杠杆的保差作用。总之，抗差估计是一种既能减免粗差影响 或抗拒异常值干扰，又具有较高效率的估计。 抗差估计是对付粗差的一种新的理论方法。这种方法早在2 0 世纪初已经有 些学者提出，例如截断均值法【3 3 】就是在那时提出来的，直到六十年代统计估计和 推断的坚韧理论有了迅速的发展，抗差估计理论才有了实质性的进展。任何估计， 都依赖于一定的估计准则。抗差估计，假设实际的污染分布为 g = f 1 一e ) f + h 污染率s 和干扰分布都是未知的，而且也不知道哪些观测值来自干扰分布。抗 差估计理论通过对主体分布f 的占污染邻域 q 。= g ：g = ( 1 一s ) f + e h l 分析，要求在实际分布最不利的情况下，求得最优的估计。由此可知，抗差估计 理论与传统估计理论的根本不同点是估计对象的分布不同，后者要求分布固定， 在设定分布的条件下求最优估计，而前者没有设定分布，先在一定污染邻域内分 析实际分布，再求其最优估计。h u b e r 提出的极小极大准则可以用来选择这种“最 优”估计【2 】。 涌海天学博士学位论文抗差理论在洪水预报中的直再研究 极小极大估计原理是假设观测值在不利分布情况下求最优估值。它包含有两 部分内容：一是最小信息分布的选择；二是根据选出的最小信息分布求极大似然 估计，假设受污染的分布为g = n e ) f + e l i ，它由两部分叠加而成，为主体 分布，日为干扰分布，污染率是h 所占的比例。所谓最小信息分布是在n 。邻 域( 分布族) 中找出一个分布只，它含有待估参数的信息最少，因而由这种分 布得出的参数估值的渐进方差最大，故r 又称最不利分布。这就是极小极大原 理中极大的含义。所谓极小是指求分布为e 时的极大似然估计，使估值的渐进 方差最小，前者是保证估值的抗差性，后者是保证估值的效率。 直接在占污染邻域内寻找估计对象相应的实际分布是很困难的。h u b e r 于 1 9 6 4 年提出把占污染邻域的分布函数转换为相应的极值函数p ，只要这极值函数 满足对称性或是凸的或在正半轴上为非降函数，则有抗差估计准则 p ( x 。，瓦) = 式中，为随机变量；l = t a x ，x 2 ，矗) 为其估计向量。设p ( ) 的导数为 y ( x ，o ) = 三p ( x ，护) ，0 是待估参数，它包含定位参数和尺度参数，于是上式可 口 写为 y ( ，l ) = 0 设观测子样的实际分布为g ，相应于上面两式定义的m 估计的一般泛函分 别是下列方程的解： ip ( x ，t ( g ) ) d g ( x ) = r a i n i y ( x ，r ( g ) ) d g ( 工) = 0 由于p ( 或) 函数是根据需要适当选取的，有一个p ( 或y ) 函数就定义 了一个m 估计，因此上面定义的m 估计实际上是一类估计。故称为广义极大似 然型估计。这就是h u b c r 提出的一类稳健估计方法一极大似然型估计，简称m 第一苹绪论 估计，他建立构造稳健估计的极大极小理论，并由此提出了h u b e r 估计方法。其 后，h a m p e l i m 】提出了描述稳健性的三个基本概念：定性稳健性，崩溃点和影响 函数，建立了以影响函数为基础的构造稳健估计的理论，并提出了h a m p e l 估计 方法。随后，抗差估计理论发展迅速，国内外学者提出了许多抗差估计的方案。 基本的抗差估计有三种，极大似然估计( m 估计) 、顺序统计量线性组合型 估计( l 估计) 和秩检验型估计( r 估计) 。目前，只有m 估计较有使用价值， 也较易实施。m 估计实质上也是一种极大似然估计( m a x i m u ml i k e l i h o o de s t i m a t e ) ， 最d , - - 乘估计即是取极值函数为残差平方和的一种m 估计。为了克服最小二乘 估计不够稳健的缺陷，就应寻找一个增长速度比二次函数慢、且满足一定条件的 极值函数，使其极小而进行参数估计。m 估计不是一个确定的估计，而是指一 类估计，一般可分为选权迭代法和p 范数最小法。 选权迭代法的基本思路是：由于粗差未知，平差仍从惯常的最小二乘法开始， 但在每次平差后，根据基残差和有关其它参数，按所选择的权函数，计算每个观 测值在下步迭代平差中的权。如果权函数选择得当，且粗差可定位，则含粗差观 测值的权将愈来愈小，赢至趋近于零。迭代终止时，相应的残差将直接指出粗差 的值，而平差的结果将不受粗差的影响。选取不同的权函数便会得到不同的抗差 估计方法。如h u b e r 法( 1 9 6 4 年，h u b e r 概括了各种早期的方法而提出的相应的 r o b u s t 估计理论) ，h a m p e l 的r e d e s e e n d i n g 权函数，t u k e y 的b i w e i g h t 权函数， a n d r e w s 的正弦函数，李德仁法【t 4 2 1 ，丹麦法指数权函数( 此法是以k r a r u p 的 思想为根据的，并用于检验观测值向量中的粗差( k r a r p j u h l k u b i k 1 9 8 0 ： k u b i k ，1 9 8 2 ) ) ，选权最d - , - - 乘估计( 简称w l s 估计，抗差统计学中研究较成熟、 应用较广泛的一种估计方法，其估计的成败在于参数初值的抗差性1 1 11 1 5 6 1 ) ，粗 差估值型抗差估计 4 i l ( 以粗差估值构造等价权函数，能较好地抵制观测和设计空 间对参数估值的影响) ，杨元喜的有界影响权函数1 0 1 1 删【1 4 5 1 等。为了使估计过程 能自动地在广泛的误差分布类之间选择最佳估计，出现了自适应抗差最d , - 乘估 计。这类估计不仅能适于正态分布、对称污染分布，而且能适于非对称分布。但 是该估计只有当样本容量很大时才显示其优越性。 p - 范数最小法主要有两类。一类是最小绝对和法( p = i ) 及改进的带权最小 绝对和法h ”，该方法是近年来人们为剔除粗差而引入测量领域的一种新的方法。 洞海久学博士学位论文 抗差理论在洪水预报中的盛 j i 研究 这种平差方法具有很强的粗差检测能力。另一类是最小二乘法( p = 2 ) ，该方法在 假设观测数据来源于正态分布的前提下，集纳了观测值中的全部信息，包括有害 信息，一旦观测值出现了粗差或异常值，这种估计的可靠性和效率大大降低，甚 至结果完全是错误的。 近来，有学者提出基于i 一范解的选权迭代法，把选权迭代法与l - 一范数最小 法结合了起来，进行粗差探测与定位1 5 。黄桂平( 1 9 9 8 年) 用l 1 范数解的残差 v 2 i 构成统计量，直接对粗差进行探测与定位f 5 4 】。该方法作为稳健平差中的一种， 有效克服了传统方法的不足，可以对单个或多个粗差进行正确探测与定位。但其 求解参数的精度较低，因此，实际平差时，在用l 。一范数最小法探测后，再用最 小二乘法对剩余“干净“的观测值进行一次平差，可以提高求解参数的精度。 参数估值不仅受到观测空间的影响，而且也受到设计空间的影响。为了使参 数估值能同时抵制观测空间和设计空间的影响，文献 3 8 ，3 9 提出了i g g i i 方案 及有界影响抗差估计。但实际进行测量数据处理时，采用i g gi l 方案，预处理工 作量较大；而文献 4 0 】中的方案，条件数的计算较为麻烦。至于有界影响抗差估 计，虽然对杠杆观测值具有较好的抗差性，但对非杠杆观测值的抗差效果不理想。 独立观测量控制理论和方法虽然算不上十分成熟，但已被广泛讨论，提出多 种多样的单个误差和多个误差检测法。但基于抗差m 估计原理研究相关观测的 抗差估计才刚刚起步。x u 讨论了相关观测抗差估计的非线性迭代法f 4 7 1 。杨元喜 应用相关等价权原理构造了类似于相关最j , , - - 乘估计的相关抗差估计解式，称为 i g g i i i 方案日8 , 4 8 。这种相关观测抗差估计计算简单，误差分析直观，质量控制有 效。但i g g i i i 方案的相关等价权函数强调了权函数的抗差能力，并未考虑等价权 矩阵的对称性。这种非对称性尽管只是局部的( 因为含异常的观测量一般较少) ， 但由此构造的法矩阵和验后方差一协方差矩阵也有轻微的不对称，从而不能充分 利用对称矩阵的特点减少法方程解算量和矩阵元素的存贮量。基于此，刘经南等 研究了等价协方差矩阵法1 4 9 1 ，该方法不仅可以控制观测异常的影响，而且保持了 原有观测的相关性不变。 实际上，相关观测异常的影响可以通过扩大异常观测的方差和压缩异常观测 的权元素加以控制。基于此，杨元喜等提出了异常观测的方差膨胀法和等价权法 5 0 o 该方法可以保持观测量原有相关性不变；并且方差膨胀因子和降权因子的选 - 8 第一章绪论 择具有较大的灵活性，膨胀因子和降权因子的临界值可根据实际情况调整；同时 它还能有效地控制异常观测对参数估值的影响。 虽然相关观测抗差估计模型也不少，但其抗差效果不理想，如文献 3 8 中的 正弦权函数法、h u b e r 权函数法、t u k e y 权函数法、i g g i i i 方案及有界影响抗差 估计等。对于前4 种模型，仅考虑到了观测空间对参数估值的影响：对于后一种 模型，虽然同时考虑了观测空间和设计空间对平差成果的影响，但在实用过程中 其抗差效果不佳。构造一个对观测空间和设计空间均具有良好抗差效果的相关观 测抗差估计模型，是很有必要的。 余学祥等( 1 9 9 9 年) 提出了一种基于标准化残差的相关观测抗差估计模型 1 4 ”。它是根据观测误差对参数估值的影响，通过对解差函数的分析，提出一种以 标准化残差构造的相关观测等价权函数而实现的。该模型对观测空间和设计空间 均具有良好的抗差性，并可消除由于先验单位权中误差的取值不当而对抗差估计 效果的影响。 但是，现有的种种有偏估计、抗差估计方法均只能在一个方面改进l s 估计， 即：有偏估计只解决了法矩阵的病态性问题，它仍然受到粗差的强烈干扰，而抗 差估计虽然能够抵抗粗差的干扰，却对法矩阵的病态性一筹莫展。随着测量理论 和观测技术的发展，观测对象越来越复杂，观测数据中既存在病态性又含有粗差 的情况屡见不鲜，这时现有的l s 估计、有偏估计、抗差估计等均陷入困境，难 以给出平差参数的良好估计。针对这种观测数据中病态性和粗差同时存在的复杂 情况，一些学者做了研究，提出了抗差有偏估计方法，如文献 1 3 2 1 3 4 q b 提出的 各种方法。它们均是针对有偏估计不具有抗差性的缺陷，运用等价权法，将有偏 估计抗差化，以达到既消除病态性干扰又减免粗差影响的目的。比如，对于线性 模型，文献 8 u 提出了相关抗差主特征根估计法。对于非线性模型，文献【8 2 提 出了基于非线性误差模型的参数估计方法。隋立芬( 1 9 9 4 年) 1 3 4 1 从有偏估计类 中的岭估计和广义岭估计出发，结合抗差m 估计原理，推导出相应模型参数的 抗差解，简称抗差岭估计。随后，归庆明等( 1 9 9 8 年) 应用现代抗差估计理论， 提出了一个抗差有偏估计类一抗差泛岭估计类 1 6 1 】，并且建立了抗差泛岭估计的 计算方法。其中包括抗差岭估计( r o r e ) ，抗差主成分估计( r p c e ) ，抗差组合主 成分估计( r c p c e ) ，抗差单参数主成分估计( r s p p c e ) ，抗差根方估计( r r r e ) 。 洞海太学博士学位论文抗差理论在洪水颈报中的应如研究 2 0 0 0 年，他又运用有偏估计的压缩变换的方法，提出了一种新的估计一压缩型抗 差估计【1 3 5 1 。还有针对近代估计理论的抗差b a y e s 估计 1 等。上述的各种估计都 具有既可克服法矩阵病态性影响又可抵抗粗差干扰的良好性质。 1 2 2 抗差估计的应用研究进展 l 、测量学中的应用 基于1 9 6 4 年h u b e r 所提出的m 估计理论，丹麦的k r a r u p 和k u b i k 等人于 1 9 8 0 年将稳健估计理论引入测量界，并提出了著名的“丹麦法”。德国的c a s p a