（概率论与数理统计专业论文）关于线性模型中估计与预测问题进一步的研究.pdf

摘要 对于一般的线性模型= x 卢+ e ，e 一( 0 ，a w ) ，本文的工作之一是基于观测值探 讨关于即+ b z 的非负二次估计的二次充分性问题；其二是关于的线性函数铆 的预测问题及的随机部分e 的二次型d h e 的预测问题的讨论 首先，我们讨论了原始模型和变换模型下月口+ b 。的非负= 次估计问题，在一 般意义下分别考虑了关于非负无偏估计类和非负有偏估计类的二次充分性概念，给 出了变换f z i 是! 二次充分的相应的充分必要条件，并进一步得出了一些特殊情形下的 结论此外，我们还给出了个模拟例子 其次，我们讨论了原始模型和变换模型下q 的线性预测问题，提出了在该预测问 题意义下的线性充分性和模型比较的概念，分别给出了变换珊是线性充分的以及 个模型优于另个模型的充分必要条件，此外还得出了一些特殊结论 最后，我们在正态假设下讨论了原始模型和下e t h e 的二次预测问题，提出了不变 二次预测的概念，得到了最优不变二次无偏预测和最优不变二次有偏预测及其特征， 此外还得出了一些较好的结论，例如，“矿在部分样本下的最小范数二次无偏估计 是矿在另部分样本下，。的最小范数二次无偏估计的最佳预测”；最后还考虑了最 优不变二次无偏预测与最优不变二次有偏预测之间的关系 关键词t 非负二次估计( 预测) ，线性预测，不变二次无偏( 有偏) 预测，线性( 二次) 充 分性，模型比较，原始( 变换) 模型 a b s t r a c t i nt h el i n e a rm o d e lv = x 卢+ e ，e ( o ，叮2 y ) ，o n et a s ko ft h ea u t h o ri nt h ep r e s e n tp a p e r 缸 t oi n v e s t i g a t et h eq u a d r a t i ce u t h e i e n c yw i t h 唧e c tt ot h ep r o b l e mo fn o n n e g a t i v ee s t i m a t i o nf o r 日卢+ 矿o i lt h eb a s i so fo b s e r v a t i o n sf ，a n da n o t h e ri 8t op r e d i c tt h el i n e a rf o r mq o f 玑a n d t h eq u a d r a t i cf o r mo fe ，t h es t o c h a s t i cp a r to fy f i 哺堍t h ep r o b l e mo fn o n n e g a t i v ee s t i m a t i o nf o r 日卢+ b 2i sd i s c u s s e di nt h eo r 自吕i n a l m o d e la n di t st r a n s f o r m e dm o d e l t h en o t i o no fq u a d r a t i cs u f f i c i e n c yi sc o n s i d e r e di nt h e $ e l l f eo f g e n e r a l i t yw i t hr e s p e c tt on o n n e g a t i v eu n b i a s e de s t i m a t i o ns e ta n dn o n n e g a t i v eb i a s e de s t i m a t i o n f a m i l y ，r e s p e c t i v e l y , d t h ec o r r e s p o n d i n g n e c e s s a r y a n d s u f f i c i e n tc o n d i t i o n s 妇t h e t r a n s f o r m a t i o n t ob eq u a d r a t i c a l l ys u f f i c i e n tm 西w n f h r t h e r ，m e 印e c i a lr e s u l t sa r eo b t a i n e d m o r e o v e r ，a s i m u l a t e de x a m p l ei sg i v e na tt h ee n do ft h ec h a p t e r s e c o 曲，t h ep r o b l e mo fl i n e a rp r e d i c t i o n 妇q 掣i nt h e 删m o d e la n di t st r a n s f o r m e d m o d e li sc o n s i d e r e d ，t h en o t i o no fl i n e a rs u f f i c i e n c ya n dt h ep r o b l e mo fc o m p a r i s o no fl i n e a rm o d e l s w i t hr e s p e c tt op r e d i c t i o np r o b l e m sa r ep r o p o s e da n dt h ec o r r e s p o n d i n gu l n m r ya n ds u f f i c i e n t c o n d i t i o n sf o rt h et r a n s f o r n m t i o nt ob el i n e a r l ys u m c i e n ta n df o ro n em o d e lt ob es u p e r i o ro v e r a n o t h e ra r e 鲫，r e s p e c t i v e l y m o r e o v e r ，8 0 m es p e c i a lr e s u l t so fi m p o r t a n tc a s e smo b t a i n e d 删l y t h ep r o b l e mo fq u a d r a t i cp r e d i c t i o nf o rd h e i nt h e 甜i g i n a jm o d e li sc o n s i d e r e d ，a c o n c e p to fi n v a r i a n tq u a d r a t i cp r e d i c t i o nj 8c o n s i d e r e d 8n o t i o no fo p t i m a li n v a r i a n tq u a d r a t i cu n - b m s e dp r e d i c t o ra n da n o t h e ro f o p t i m a li n v a r i a n tq u a d r a t i cb i a s e dp r e d i c t o ra r ep r o p n s e d ，a n dt h e i r d e s c r i p t i o n sa i n v e s t i g a t e d m o r e o v e r ，s o m es p e c i a lr e s u l t so fn o t i c e a b l ec m e sa r eo b t a i n e d ，i n w h i c ht h em i n i m u mn o r mq u a d r a t i cu n b i a s e de s t i m a t o ro f 矿u n d e ro n es a m p l eb e i n g o p t i m a l p r e d i c t o rf o rt h a to f 矿u n d e ra n o t h e rs a m p l ej 8n o t i c e a b l e k e y w o r d s ：n o n n e g a t i v eq u a d r a t i ce s t i m a t i o n ( p r e d i c t i o n ) ，l i n e a rp r e d i c t i o n ，i n v s r i a n tq u a d r a t i c u n b i a s e d ( b i a s e d ) p r e d i c t i o n ，l i n e a r ( q u a d r a t i c ) s u f f i c i e n c y , c o m p a r i s o no fl i n e a rm o d e l s ，o r i g i n a l ( t r a n s f o r m e d ) m o d e l a m sc l a s s i f i c a t i o n ( 2 0 0 0 ) ：6 2 j 0 5 ；6 2 j 1 5 ；6 2 f 1 0 东南大学学位论文 独创性声明及使用授权的说明 一，学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果尽我所知，除了文中特别加以标明和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证 书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意 二、关于学位论文使用授权的说明 签名燃日期：卫蛐 东南大学，中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文 的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文本人电子文档 的内容和纸质论文的内容相一致除在保密期内的保密论文外，允许论文被查阅和借 阅，可以公布( 包括刊登) 论文的全都或部分内容论文的公布( 包括刊登) 授权东南 大学研究生院办理 签名燃导师签名：监日期：丑蛐 第一章符号与概述 为方便起见。本文采用下列符号， a r ，1 。表示a 为m t l 实矩阵； a r ：表示a 为f i 阶实对称矩阵； a r ：似r ：) 表示a 为n 阶实对称非负定( 正定) 矩阵； 对任矩阵a 。用，a 一，露( ) ，( a ) ，r k ( a ) 分别表示 的转置、任一广义 逆、m o o * p r o 逆、列生成子空间、零空间以及秩，用p a = a ( w a ) 一a i = 从+ 表示子空 间毋( a ) 的正交投影阵； 对n 阶方阵a r t l 。用t r ( a ) 表示a 的迹； a 1 表示任一满足a 1 = 0 且具有最大秩的矩阵。从而 露( a ) 1 皇 g e ( ) j 上= 留( a 1 ) = ( ) ； 对于矩阵a ，b r ：。用a b ( a 0 是未知参数 一般来说，对于模型( 1 0 1 ) ，我们一方面可以基于观测值y 估计中回归参数真值但未知 向量口或其线性或二次函数，另一方面可以利用残差 百= f x 万 预测的随机部分e 或其二次型，其中万是某准则下卢的估计关于线性模型中的估计与预测问 题，迄今为止已有很多统计学家讨论研究，例如l e g e n d r e ，g a ，m a r k o v ，b c e e ，g o l d m a n ，z e l e n ， r a o 【见王松桂( 1 9 8 7 ) 】 在第二章，我们讨论了原始模型和变换模型下h 卢+ b 2 的非负二次估计问题，在般意 义下分别考虑了关于非负无倡估计类和非负有偏估计类的二次充分性概念。给出了变换f i 厘二 次充分的相应的充分必要条件 1 东南大学硕士学位论文 2 在第三章。我们讨论了原始模型和变换模型下q f 的线性预测问题。提出了在预测阿题意义 下的线性充分性和模型比较的概念，分别给出了变换线性充分以及个模型优于另个模型的 充分必要条件 在第四章，我们讨论了原始模型下e h e 的二次预测问题，提出了不变二次预测的概念，包括 最优不变二次无偏预测以及最优不变二次有偏预测，并刻画了它们的特征，量后还考虑了最优不 变二次无偏预测与最优不变二次有偏预测之同的关系 第二章非负二次估计 2 1 引宫 考虑由( 1 0 1 ) 所给出的线性模型，其中f 服从正态分布，其期望向量为x 厉协方差矩阵 为矿y 在某些情形下。观测向量，可能无法直接获得。而只能得到它的某线性函数j 饥其中 f r 。其秩为i 且r k ( f x ) = f ，m p 这样一来，就得到了基于模型( 1 0 1 ) 和可观测向量 珊的变换模型( t r a n s f o r m e dm o d e l ) , 肘；= f _ ，f x 反户f v f ( 2 1 1 ) 为区别起见，我们称模型( 1 0 1 ) 为原始模型( o r i g i n a lm o d e l ) 如果我们的兴趣在于估计x 凡 那么我们此时可以考虑其线性充分估计【见d r y g a s ( 1 9 8 3 ) 由d r y g a a 于1 9 8 3 年所引入的线性充 分性( l i n e a rs u f f i c i e n c y ) 概念定义为t 若存在j _ 的线性函数g f y ，使得它为x 卢的最佳线性 无偏估计( b l u e ) ，捌称f y 为线性充分的 线性充分性的概念已有很多统计学家所考虑。相关的文献可以参考d r y g a a ( 1 9 8 5 ，1 9 9 3 ) ，b a k - 8 a 1 8 r y ，m a t h e w ( 1 9 8 6 ) ，m i i e l l e r ( 1 9 8 7 ) ，h e i l i g e r s ，m a x k i e w i c 2 ( 1 9 9 6 ) ，m a r k i e w i c z ( 1 9 0 8 ) ，关于更广 义的线性充分性概念见w a i - c h e u n gi p ，e ta l ( 2 0 0 4 ) 近年来，有些学者考虑了p 和，2 的二次联合函数 0 叁学h b + h 一 的非负估计问题，其中，日r ；，h 为非负实数这个问题的产生具有实际背景，例如一有时我们 要借助总体均方误差( t m s e ) 来估计x 卢的线性估计切的精度，切的t m s e 便具有日口+ b 2 的结构形式【另见g n o t ，e ta l ( 2 0 0 2 ) ， t m s e ( 幻) =彳( 功一x 回( 工掣一x 所 t r t 9 ( 幻) _ 0 芎( z 倒) 一x 口 2 = ( l x x ) ( l x x 垆+ 矿z r ( z v z ) 本章我们讨论了原始模型和变换模型下耶+ h a 2 的非负二次估计问题。在般意义下分 别考虑了关于非负无偏估计类和非负有偏估计类的= 次充分性概念，给出了变换凡厘二次充分 的相应的充分必要条件 3 东南大学硕士学位论文 本节我们记 2 2 非负二次估计和二次充分性 4 w = v + x u x 丽= f v f f + f x u x f f = f wf - 其中u 为任一p 。p 对称矩阵。使得 留( w ) = 露( 置n ， 或者等价地， 身( x ) 露( ) ， 这说明 劈( 形) = 露( f x ，f y ) 如m u e n e r ( 1 9 8 7 ) 和w e i c h a m gi p ，e ta l ( 2 0 0 4 ) 所述，既然由事实z f = 0 以概率1 成立当 且仅当口留【1 】【见m u e l l e f ( 1 9 8 7 ) 可得，贸( w ) 之外的元豢关于模型( 1 0 1 ) 构成了个零 测集，那么我们可以假设 露( 一) 露( ) 这意味着 露( f ) = g ( f g ) z e ( f w j ) = 曰( 形) 进一步地， 曰( f ) = 露( 衲， 从而我们有：话( 谚) = r k ( f ) = ；不失一般性，假设5 r 彳 艽记x 口与铲分别为原始模型 中x 口和矿的无偏估计，f x 声与铲分别为变换模型中f x 卢和矿的无偏估计，其中 声= i x 7 w + x + x 矸一v ， 铲= ( v x p ) w + 0 一x 向0 一r ) ， a = 伍f 一葡+ f x r x | f f 葡+ f v 铲= ( ，一x 声) f w + f ( y x 声) 忙一f ) 对于原始模型( 1 0 1 ) 和变换模型( 2 1 1 ) 下的非负二次可估函致( n o n n e g a t f v eq u l r a t i ce s - t l m a b l ef u n c t i o n ) f l h f l + h a 2 ，即分别有【见g n o t ，e ta l ( 1 9 9 5 ) 】 p x ，h p x = h ，p x ，f , i i p x p = h 东南大学硕士学位论文5 我们得到0 相应的直观估计 旁l 皇伊郦+ 号2 = l ，w + x ( x + x ) + 日( x + x ) + x w + y + 国一x 向w + ( ，一x 声) 扣一r ) ， t 叁h + h 铲= p 前+ f x 曙| f 雨+ f x p h 斟f 雨+ f x p x t p x w + f y + ( f x 声) 7 f w + f ( y x 励0 一f ) 关于0 的这两个估计，我们有如下引理t 引理1 t 假设口在模型m 和m t 之下非负二次可估，则瓦和瓦是口的有偏估计。分别具 有偏差 b t ( 瓦，口) = a 2 t r ( h ( x + x ) + 一明 0 ， b ( 瓦，p ) = 0 2 t r h ( x 7 形+ f x ) + 一明) 0 证明为方便起见，对于任对称非负定矩阵a ，记( + ) l 为 + j ( 下同) 首先，芎( 铲) = 矿 又注意到 曰( x ) 留( = 露( w + 1 ) ， 我们有 四( x 7 ) = 劈( x x ) 贸( x w + 1 ) = 留( x 7 + x ) 贸( x ) t 从而曰) = 露w + x ) ，进一步， p x = p x w + x 根据如下结论如果随机变量v 一( p ，e ) ，则对任一对称矩阵a ，有 彳( 暑，a y ) = p a p + t r ( e ) ， 以及w = v + x u x 7 ，既，日p x ，= h ( 进一步等价于j ，x ，日= 日段一= 日) 。得 孑( 瓦)；x w + x ( x l 矿+ x ) + 日( x y + x ) + x l 矿+ x 卢 + ，2 亡r w + x ( x - 矿+ x ) + h ( x 矸件x ) + x w + y ) + 矿 = f p x ，w + x h p x w + x 8 + a 2 t r h ( x | w x r x l x w + ( 一x u x ) w + x 俾w + x ) + + 矿 = b p x ，h p ”9 + 矿t r k h ( x l w x p 、 一f 2 t r j k ，w + x 日& ，+ x u ) + 矿 = ( 日卢+ ，) + 0 - 2 舌r 日【( x w + x ) + 一硼) ， 东南大学硬士学位论文 从而 b a s p l ，口) =户t r 日f ( x w + x ) + 一卅) 矿t r ( 日( x w + x ) + 卜仃2 t r 马p h p x ， 矿打 日( x 7 w + x ) + 一仃2 t r l l p x ，矿马【， = 盯2 打 日l ( x 7 - 矿+ x ) + 一马p c 厂马r h i = 矿打 日j ( x 7 h 件x ) + x - 矿y 仰件x ( x - 矿+ x ) + 日 ) 20 6 即第式得证i 同理可得第二式口 根据引理1 ，下面两个估计 矿= 磊一曰i ( 反口) a 2 加2 = 声日声+ 2 脚一t r i - i ( x w + x ) + 一c ，】) 】， 歹= 瓦一b i o a ( o , o ) 铲o a = 万7 晒+ 孑2 m t r h ( x 7 ，谚+ p x ) + 一卅l 是口的无倡估计由附录1 可知，矿和歹分别是原始模型( 1 0 1 ) 和变换模型( 2 1 1 ) 下口的唯一 的最佳二次无偏估计( b q u e ) 【详见附录1 】 注意到在引理1 中h t r h i ( x + x ) + 一，】 的值可正可负。如果 h t r 日 ( x i 矿x ) + 一卅) ， 那么我们可以采用f 作为口的估计，但是如果 h f = r 推论2 l t ：g 露( x ) 妄贸( p ) 如果口在模型m 之下非负二次可估( 从而在模型m t 之下 也非负二次可估) 并且f ，w p p w 。刖 扩笔矿骨c k 一司= 0 证明；我们只需证明t 由j ) f ，w 斥，w 可以推出第7 项成立事实上。若有j ，j 碲sw ， 则由x = 一，”x ：f + f x 和形j 谚+ j f ：f 可得 a l ( x w + x ( x ，谚+ f x ) + ) = a l ( + j x ( x ，形+ f x ) + x ，w + ) = a l ( w + j f _ 帚j 形+ j f x ( x ，形+ 肘1 + x f ，谚+ j 谚 p ”+ j 1 = l ( 矿1 f + 形5 + i “帝f + 矿。) 东南大学硕士学位论文 sa l ( + j + 形f 。+ + j ) ：a l ( w + i p f ，w v r ，w + j ) a l ( + j w w + ) ：1 应用事实：若a ，b 为对称非负定矩阵。则a b 当且仅当下面两条件同时成立 露旧) 曰( a ) ，a t ( h a + ) s1 ， 则由斥，p ，w 可得 x i w + xsx l f | 蔼+ f x 既然 留伍，+ x ) = 曰( x ) = 留( x ，) = 癣( x ，谚+ f x ) 另一方面，易证， x w 形+ f x = x 1 w 。h w if 1 xsx t w x 。 再结合x ，w + x x ，w + f x 可知第7 项成立，即得证口 推论3 - 饭谩口在模型m 之下非负二次可估，我们有下述结论， ，耐若露) 留( p ) 并且昂= 昂，财 声坚。f 号c 0 一；) = o 例若曰( p ) = 露( 明。则斧翟矿口 在推论3 中，结论( ”向我们展示了这样个结果若 劈( ，) = a ( w ) 成立，捌在一定意义之下。变换模型仁1 包含了原始模型o o u 的所有信息 如果我们的兴趣在于估计0 2 ，显然它在模型m 与晦之下均非负二次可估，那么下述结论 成立- 着再结合事实 厨( 一( 蹦) 1 ) = 舅( p ) n 露( x ) 1 ， r k ( a ，b ) = r k ( a ) + 础【( ，一a a + ) b 】， 该结论又进步地等价于g r o f l ( 1 9 9 8 ) 中的定理2 即- 推论4 t 铲些1 铲当且仅当s r = i t 进一步地又等价于 贸( y x l ) = 留( y p ( f x ) 1 ) 口 东南大学硬士学位论文 推论5 l 量设日卢在模型m 与坞之下非负二次可估，劓 啻h 蚕! = 移h 百甘h ( x | f 葡+ f ”h = x ( x w + x r t l 口 推论6 i 饭设0 在模型m 与肘；之下非负二次可估，则 矿笔歹错 2 坚。铲，且矿而笔矿砸口 下面的定理从另个角度阐述了定理1 的结论 定理2 t 假设0 在模型m 与模型坼之下非负二次可估，则矿翟矿当且仅当c ( s 一；+ r ) = 0 以及下述等式之一成立 l 曲t r g ( x i f l w f x r h 、= 钾k h 岱f w + x r h 、 i b ) x i f f w f x ( x | w + x 矿h = h 证明，首先我们证明； p x 例( w + x ) + p x f ( x 7 一形+ f x ) + ( 2 2 2 ) 事实上，应用事实【见王松桂贾忠贞( 1 9 9 5 ) l ：若a 0 ，b 0 ，则 a 2 b 幸= 争露( 口) 劈( a ) ，b b a + b ； 以及 6 叁x f t 蔼+ f xs x l w + x 叁g 。 我们有 p x ，p ( x 7 w + x ) + p x ，一( x ，谚+ f x ) + = 卜( 轮+ 0 0 ) 卜s0 即( 2 2 r ) 式成立。进步地， h ( x 7 w + x ) + 日= 日b r ，( x w + x ) + p x ，h 日( x f ，谚+ f x ) + 凰( 2 2 3 ) 再应用事实t 着b a 0 ，则a = b 当且仅当舌r ( ) = t r ( b ) ，( a ) 成立i 应用( 2 2 3 ) 以及事实 若b a 0 ，则x a x = x b x 当且- 仅当a x = b x 。( b ) 成立口 2 2 2 非负二次有偏估计和二次充分性 本小节设l 尹为0 的非负有偏估计类。且假设莎中的n n m b e 在概率1 意义下是唯一的，在 此情形下我们考虑二次充分性概念在前面我们已经讨论：当 h 打 日【( x + x ) + 一刎，h t r 日【( x ，谚+ v x ) + 一明) 东南大学硕士学位论文 1 4 时，估计矿和歹在实际应用中是不可接受的，那么此时的问题是如何用二次蛩；，g _ 来估计p ，其 中矩阵g 非负定事实上，在这种情形下我们可以考虑所谓的n n m b e ( 即非负最小有偏估计) 记 文c ，c ) = 万c 渗+ c 扫一x 易w + 扫一x 两， 氟石，刁= 芦0 修+ 石( 一x 厕w + 0 一x 西， 其中a 0 ，c ，f 0 根据引理1 ，我们给出下面的定义，对于该定义在v = ，n ，u = 0 的情 形见g n o t ，e t “( 1 9 9 5 ) i 关于上述问题的另个处理方法，即寻找由所有的二次型i ，a l l 所组成的 估计类中的最小有偏估计，可以参考g n o t ，e ta l ( t 0 0 2 ) 定义2 z 若( c k ，) 为下列极小化问意的解，我们就称巩c ，) 为p 在模型m 之下的一 个n n m b b , m 、i nt r ( h 一回2 + 【c h + 亡r c ( x w + x ) + 一l ? 毋r u b ( ，) 】2 a ( 2 2 4 ) 定义3 。若( 西，) 为下列桩小化问题的解。我们扰称矾西，) 为口在模型m t 之下的 一个n n m b e , r a i n t r ( 日一弓) 2 + f h + 亡r d ( x ，谚+ f x ) + 一了j k ，u p x ，f 一) 】2 口 口e r ；孑o 与g n o t e ta l ( 1 9 9 5 ) 中方法类似，若 h 打 日( x 7 耳( 只巧) + 最x ) + 一h u ， 又若口在模型 肘筝= 日玑最x 晟i f 2 毋y ) ，i = 1 ，2 之下均非负二次可