（概率论与数理统计专业论文）半相依回归模型的参数估计.pdf

摘要 摘要 半相依回归模型是一类在经济、生物、医学领域具有广泛应用的统讨模 型。本质上，它是由若干个误差相关的线性回归模型组成的一个系统。对于 这种模型的研究主要是利用误差相关性作为附加信息，来提高参数估计的效 率。许多作者对此作了研究，其中文献 2 给出了一种利用附加信息改进估计 的新方法。这种方法被称作协方差改进法。本文就是将文献【2 】2 中提出的协方 差改进法，做进一步深入研究，改进半相依回归模型中的参数估计。 对由三个相依线性回归方程组成的线性回归系统，本文讨论了如何选择 被引入估计的协变量的顺序，使得用协方差改进法得到的更好参数估计( 即 有更小的协方差阵) 。具体地，本文研究了如下三个问题：( 1 ) 给出一般模型 下，协变量被引入估计的顺序对改进估计的影响。( 2 ) 研究协方差阵已知时， 如何选择被引入估计的协变量的顺序，并把结果应用到几种特殊半相依模型 中；当协方差阵未知时，如何构造一个预检验估计，并且给出了两种检验方 法；( 3 ) 导出了所构造的预检验估计的一些重要统计性质。 本文的研究结果表明，在协方差已知的情况下，协变量的引入顺序取决于 它们和主变量的相关程度。一般情况下与主变量相关程度高的，优先引入。然 而当两个协变量之间不相关时，则不论它们与主变量的相关程度如何，协变量 的引入顺序对估计的改进都没有影响。同时本文给出了上述结果在一些特殊 模型下的应用。在协方差阵未知的情况下，本文给出了三种预检验估计，并相 应地给出了它们的分布，由此就可以确定协变量的引入顺序。最后还讨论了预 检验估计的一些统计性质。 关键词：半相依回归模型，协方差改进估计，预检验估计，协变量，w i s l ，a r t 分布 摘要 a b s t r a c t t h es e e m i n g l yu n r e l a t e dr e g r e s s i o ne q u a t i o n s ( s u r e ) m o d e li sas t a t i s t i c a lm o d e lt h a ta r ea d o p t e dw i d e l yi nv a r i o u sf i e l d s ) s u c ha se c o n o m i c s ，b i o l o g y m e d i c i n ea n ds oo i l i ne s s e n c e ，t i l es u r e m o d e li sa s y s t e mw h i c hc o n s i s t so f s e v e r a ll i n e a rr e g r e s s i o nm o d e l sw i t hc o r r e l a t e de r r o rt e r m s t h er e s e a r c ho n t h i sm o d e li sm a i n l yf o c u s e d0 1 1i m p r o v i n gt h ee s t i m a t e s e f f i c i e n c yo fr e g r e s s i o n c o e f f i c i e n t sb yu s i n gt h ec o r r e l a t i o no fe r r o rt e r m s r e c e n t y e a r sm a n ya u t h o r s p a yt h e i ra t t e n t i o nt ot h i s p io b l e m t h ea u t h o ro fp a p e r 2 】h a s p r o p o s e d an e wm e t h o do fa d j u s t i n ge s t i m a t eb ya p p l y i n gt h ea d d i t i o n a li n f o r m a t i o i j e o n t a i n e di ne r r o rt e r m st h i sm e t h o di s n a m e d ”c o v a r i a n c ea d j u s t e da p p r o a c h ”t h ep u r p o s eo ft h i sp a p e ri sh o wt oi m p r o v et h ep a r a m e t e re s t i m a t e i ns u r em o d e l b yu s i n gt h ec o 、r a r i a n c ea d j u s t e da p p r o a c hf u r t h e r f o ras u r e s y s t e mw i t ht h r e el i n e a rr e g r e s s i o ne q u a t i o n s ，t h i sp a p e r d i s c u s s e sh o wt oc h o o s et h eo r d e ro ft h ec o v a r i a b l e st oe n t e rt h ee s t i m a t ei n o r d e it o g e tab e t t e re s t i m a t e ( i e 、n e we s t i m a t ew i t t ls m a l l e rc o v a r i a n c e “a t r i x ) i nt h i sp a p e rw ec o n s i d e rt h ef o l l o w i n gp r o b l e n l s ：1 1f o rag e n e r a l s u r em o d e l ，t h ee f f e c to ft i l e ( ) ld e ro ft h ee o v a r i a b l e st ( ) e n t e r t h ee s t i m a t e 2 ) 、。h e n t h ec o 7 a r i a n c ei l i a t li x i sk n o w nh o wt o e h o ( ) s e 汕e ( 】r d e ro ft t l e c o 、a l i a b h ! st oe n t e rt h ee s t i n l a h 、t i l e r e s u l t sa r e a p p l i e d t os o m es d e c i a l ( a s e s、1 1 e n t i l e ( ( ) 、a t 。j a mpl 】lr l ili xi s1 1 1 i k l l ij 、，n t h i s p a ) e l i n t r n ( 1 ( f ，sa l s ( ) 摘 s o m ep r e t e s te s t i m a t e s ( p r e ) a n dr e l a t e dt c s tm e t h o d s 3 ) s o m ei m p o r t a u t s t a t i s t i c a lp i o p e r t i e sa b o u tp i e c e s te s t i m a t | 、a r eg i v e n o u rr e s u l t ss h o wt h a tu n d e rt h ec a s eo ffh ek n o w nc o v a r i a n c em a t r i x t t l e o r d e ro ft h ec o v a r i a b l e st oe n t e rt h ee s t i m a t el i e so nt h ee x t e n to ft h e i rc o r r e l a t i o nw i t ht h em a i nv a r i a b l e s g e n e , a l l y t h ec o v a r i a b l e sw h i c ha i eh i g h l y c o r r e l a t e dw i t ht h em a i nv a r i a b l e ss h o u l db ep r i o r i t yt oe n t e rt h ee s t i m a t e h o w e v e r ，w h e nt h et w os e t so ft h ec o v a r i a b l e sa r eu n r e l a t e d ，t h eo r d e rt oe n t e r e s t i m a t eh a sn oe f f e c to nt h en e we s t i m a t e t h i sp a p e ra l s op r e s e n t so t h e r c o n c l u s i o n sf o rs o m es p e c i a lc a s e s w h e nt i l ec o v a r i a n c em a t r i xi su n k n o w n t h i sp a p e rp r e s e n t ss o f t i e p r e t e s te s t i m a t e sa n dt h e i rs t a t i s t i c a ld i s t r i b u t i o n r e s p e c t i v e l yf r o mw h i c hw ec a nc h o o s et h eo r d e ro fc o v a r i a b l e st oe n t e re s t i m a t e i nt h ee n d ，w ed i s c u s e ss o m ei m p o r t a n ts t a t i s t i c a l p r o p e r t i e so ft h e s e p r e t e s te s t i m a t e s k e y w o r d s ：s e e m i n g l yu n r e l a t e dr e g r e s s i o ne q u a t i o n sm o d e l ；c o v a r i a n c e a d j u s t e da p p r o a c h ；p r e t e s te s t i m a t e ；c o v a r i a b l e ；w i s h a r td i s t r i b u t i o n 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得北京工业大学或其他教育机构的学位和证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 签名：垡蓝日期：圣! 望垒 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定， 即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复 制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：鲤壁! 导师签名：象盔趔日期：堡塑垒l 第1 章绪论 第1 章绪论 众所周知，世界上的万事万物都是相互联系的。在现实生活中，也经常会 碰到这样的一种现象：看起来互不相关的两件事，却可能存在着千丝万缕的联 系。比较典型的就是所谓的“蝴蝶效应”( 即当东京的一只蝴蝶振翅时，可能 导致一个月后佛罗里达的一场飓风) 。有一位统计学家注意到了这种看似不相 关，但却可能通过种种不可预测的因素相互影响的现象。他提出了一种模型来 描述这种现象，这种模型就是半相依回归模型。本章先给出了它的一些实际应 用背景，然后从统计学的角度对这种模型作一些简单的介绍。 5 l l模型简介 5 1 11 模型实际背景 上面所说的那位统计学家就是z e l l n e r 。他在1 9 6 2 年的一篇学术论文中首 次提出了“半相依回归模型”( “s e e m i n g l yu n r e l a t e dr e g r e s s i o ne q u a t i o n s ”简 写为s u r e ) 这个概念。在这里他考虑的是这样一种情况：由m 个一元线性 回归模型组成的集合，从结构上看，这m 个模型之间没有什么联系，但是它 们的误差方差协方差阵可能不是对角阵，这就表现为统计相关，“半相依”就 体现在这里，即可以提供一些附加信息。半相依回归模型考虑的就是如何利用 这些附加信息，得到比单个模型中更好的估计( 有更小的协方差阵) 。 这个模型自从被提出以后，就在生活的各个方面得到了应用。最早的是 z e l l n e l 自己在1 9 6 2 年，对美国通用电气公司和w e s t i n g h o u s e 公司的投资情况 用s u r e 模型进行了总结分析。他对这两个公司的投资情况，备建立了一个 线性回归方程。一般来说，公司的实际总投资由两个因素来决定：一个是公司 最初阶段的o u t s t a n d i n gs j l a r e s 值，另一个是实际总资产( r e a lc 郇i t a ls t o o k ) 我 们可以认为这两个投资方程中的误差项在同一时刻尾相关的，因为在同一时 北京工业大学理学硕士论文 ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! 苎苎! ! ! ! ! ! ! ! ! ! ! 苎i i ! iv i , 苎! ! 皇! ! 苎! 皇! ! 蔓 刻两个公司应该有相同的市场力( m a c k e tf o r c e ) ，并且，可能有一些影响投资 的相似因素包含在各自的回归方程的随机误差项里( t 1 1 el i k e l i h o o dt h a ts i m i l a r f a c t o r sm a yb er e s p o n s i b l ef o rt h er a n d o me f f e c t sn e c e s s i t a t i n gt h ei n c l u s i o no ft h e e r r o rt e r m si nt h e r e g r e s s i o n ) 。直观上也容易理解，例如，第一个回归方程的误 差项反映出了( 至少部分地) 一些被遗漏的不可观测的变量，那么这些变量， 或者另外一些和它们高度相关的变量，很可能也是第二个回归方程的误差项 中所包含的重要变量。同样一个例子，在1 9 7 1 年又分别被k r n e n t a ( p p ，5 2 7 5 2 8 ) 和t h e i l ( p p 2 9 5 - 3 0 2 ) 这两个人所引用。z e l l n e r 在1 9 7 1 年( p p 2 4 4 2 4 6 ) 给出了 由十个公司组成的s u r e 模型的b a y e s i a n 分析。 这个模型还被广泛应用到解释不同地理区域的经济活动中。在新泽西工业 飞速发展期间，g i l s 和h a m p t o n ( 1 9 8 4 ) 考虑这个州内五个不同的区域的c o b b i|1 d o u g l a s 生产函数时，就应用了s u r e 模型。他们认为在这些回归方程的误差 项之间可能存在着一种内在的区域关系。d o n n e l l y ( 1 9 8 2 ) 在为澳大利亚六个州 的石油需求建立方程时就以s u r e 模型作为基础。 上面这些例子说明了s u r e 模型在经济领域的应用，实践的需要就必然 推动理论的发展。所以有很多的统计学家在这个上面也作了不少的工作，发表 了很多文章在这些文章中有的作者将用传统的估计方法( 比如最小二乘法) 得出的估计，与从s u r e 模型系统中得出的估计进行比较。很多时候，两种方 法得出的估计差别是很显著的。不仅仅是体现在传统的统计意义上，而且在直 观意义的解释上也有差异 实践的证明更进一步的丰富了理论的研究，所以这篇文章就主要是从理 论上来完善改进s u r e 的参数估计。、 5 11 2模型的数学表述 2 第【章绪论 包含m 个回归方程的半相依回归模型最基本的表达式是 其中9 t ，是第j 个因变量( 这个变量被第i 个回归方程所“解释”) 的第t 个观 测值；x t i j 是在第i 个回归方程中的第j 个回归( 解释) 变量的第t 个观测值。 助是每一次观测中相应的x t i j 的系数。是第i 个回归方程的第t 个随机误 差值。具体写出来就是： 记 y l t 可2 l y i i = x l i l _ 臼i l + s l i 2 觑2 + + x l i k ，觑k ，+ l l l i y 2 i = x 2 i l 胁l + z 2 2 2 卢2 2 + ，+ z 2 储：屈 。+ “2 。 y t i = x t i l 卢i l + z t i 2 f l i 2 十+ x t i k ；胁女：+ u t i x 。垒 啦= 1 , 1o u 2 i 容易看出，y i 是分量为玑。的t 1 的向量；五是t k ：的矩阵，每一 列包括第i 个回归方程中相应的回归自变景所对应的t 个观测值；反是分量 为岛的k i 1 的向量；7 2 i 是相应的t 1 的误差向量。所以m 个回归方程 可以表示成如下形式： ( 1 2 ) u+ 反 z h 矧 = g 北京工业大学理学硕士论文 12 ) 可以改写成以下的矩阵的形式 l y 2 x 1 0 0 x 2 卢1 卢2 p m + 那么表示成矩阵的形式为： y = x 卢+ “ ( 1 3 ) 其中y 是( t m 1 ) 向量，x 是( t m + ) 阵，卢是( + 1 ) 向量，u 是 ( t m 1 ) 向量且k + = ：k i 把m 个回归方程中的每个方程都看作是传统的线性回归模型，对设计阵 我们做以下方便的假设： x 。是给定的，且它的秩是也f 14 1 恕( ；墨托) = q “江1 ，2 ，m ) ( 15 ) 其中q 。是固定的具有有限元素的非奇异阵 进一步，我们假设误差项“，服从多元正态分布，且 e ( u i ) = 0 ( 1 6 ) e ( 咄u ：) = g i i t ( i = 1 ，2 ：，m )( 1 7 ) 这里是第i 个回归方程每次测量的随机误差的方差，t 是个t 阶单位阵， e ( ) 表示通常的均值。 考虑模型中m 个回归方程之间的交互作用，有这样的假设： 7 l 骢( 亍1 ：i 玛) = q 。， ( 】8 ) m 啦 啪 第1 章绪论 e ( u i u ) = a l j l r ( z ，= 1 ，2 ，m ) 其中( ? ，是固定的具有有限元素的非奇异阵。 将( 16 ) ，( 17 ) 和( 1 9 ) 写成更紧凑的形式： e ( i t 】= 0 e ( u u ) = ( o i t ) = ( 11 0 1 其中。是k r o n e c k e r 乘积( 所以是( m t m t ) ) ，= ( ( o i ，) ) 是( m m ) 的 正定对称阵。 从( 1 1 1 ) 可以看出：给定i 后，u “的方差是一个常数( 对于所有的时刻 ) ；在同一时刻，i t t i 和“o 的协方差是一个常数( 对于所有的i ，j ) ；不同时 刻，和“，j ( t r ) 的协方差是零( 对于所有的i ，j ) 。 这篇文章中若不特殊说明，都认为s u r e 模型满足上面的假设条件。 从上面的介绍，我们注意到半相依回归模型和传统上的多元线性回归模 型有着很密切的联系。为了表述清它们之间的联系，下面记y 和u 为列向量 分别是叭和i t i ( i = 1 ，2 ，m ) 的t xm 矩阵，记z 为t k 矩阵，其中表 示模型中个不同解释变量t 表示对每个解释变量所获得的t 个观测值， 且记b 为k m 的未知回归系数阵，那么多元回归模型如下所定义： y=zb+u ( 11 2 ) e ( u 。) = 0( 1 1 3 ) c o v ( u i ) = ef 11 4 ) 北京工业大学理学硕士论文 若讹表示u 的第z 个列向量；b 。表示b 的第i 个列向量那么( 11 2 ) 的m 个 回归方程可以写成： ”。= z b i + 啦“= 1 ，2 ，- ，m )( 1 1 5 ) 注意到所有的噩都是z 的子矩阵，即 置= z ( i = 1 ，2 ，m )( 11 6 ) 其中以是取值为0 或者1 的k k 2 的适当的选择矩阵。最后，记冠为 t ( k 一砥) 矩阵，表示从第i 个回归方程剔除掉噩解释变量后剩下的一k 个解释变量的t 个观测值，即 x 。= z j i ( i = 1 ，2 ，m )( 11 7 ) 其中z 是k ( k 一) 的选择矩阵 这样具有m 个回归方程的s u r e 模型就可以表示为： y i = z 屈+ z ，。o + u i( 11 8 ) 比较( 1 1 5 ) 和( 11 8 ) 可以看到6 。= 风，这说明b f 的k 一甄个元素为0 因此，当对于所有的i 都有k = 。时，s u r e 模型和多元回归模型是 完全相同的它们的区别在于：s u r e 模型将回归方程中某些解释变量的缺 失作为先验信息考虑进去，而多元回归模型却忽视了这部分限定。s u r e 模 型所考虑的这种解释变量的缺失有很大的实际意义，尤其是在模拟经济数据 ( e c o n o m i cd a t a ) 方面。 对s u r e 模型的研究这些年取得了很大的进展。文献 i j 足这方面的第一 本专著，详尽的介绍了近些年来在s u r e 模型上，包括参数估计和统计推断 等方面所取得的一些结果。文献 3 也介绍了这个方向理论研究的近期发展。 第1 章绪论 文献2 把模型蕴涵的信息分为样本信息和附加信息，利用逐次迭加附加信息 给出了一种新的估计方法( 协方差改进估计法) 。该文主要解决了这样的三个 问题：( 1 ) 给出了概括附加信息的统计量；( 2 ) 找到了把附加信息迭加到样本 信息的方法；( 3 ) 证明了用这种方法所导出的新估计的一些重要统计性质协方 差改进法是构造更好估计的一个有力工具。这个方法提出来以后，很多统计学 家就开始利用这一个工具，提出或者改进了很多估计，并研究了它的各种统计 性质。文献( 4 系统讨论了协方差改进法及其重要的统计性质，综述了它在许 多模型参数估计中的应用，包括半相依回归模型、线性回归模型和生长曲线模 型。文献 6 】从矩阵的k r o n e c k e r 乘积和拉直理论出发，讨论了半相依回归系 统中协方差改进估计，给出了协方差改进估计和g a u s s m a x k o v 估计的一个等 价条件。这方面的结果在文献 5 1 ，f 7 】) 1 7 m 8 】中都有体现。但是迄今为止，还没 有人考虑过协变量引入模型的顺序的选择是否对协方差改进估计的效果有影 响。所以本文就来讨论这方面的问题。 本文研究m = 3 的情形主要解决了如下三个问题：( 1 ) 给出一般模型 下，协变量引入模型的顺序的选择对改进估计的影响。( 2 ) 把上述结论应用到 模型( 1 2 ) 中( 满足假设( 1 1 0 ) ，( 1 1 1 ) ) ，分别讨论当= ( 以，) 已知时如何选择协 变量的顺序，并把结果应用到几种特殊半相依模型中；以及当未知时，如 何构造一个预检验估计，并且给出了另外两种检验方法；( 3 ) 导出了所构造的 预检验估计的一些重要统计性质。 5 1 2本文的内容及结构 本文共分3 章。第1 章主要是从两个方面介绍本文要讨论的模型：一是 从实际背景方面进行引入和介绍，二是从它的统计学理论方面给出了模型的 数学表达式。还介绍了它的研究现状。第2 章主要介绍协方差改进法，并且对 其进行了适当的扩展，使之成为又一个改进估计的有力工具。第3 章讨论的是 在s u r e 模型的误差协方差阵已知与未知的情况下，分别利用第2 章中扩展 北京工业大学理学硕士论文 的仂、方差方法，改进了半相依回归模型的参数估计。在误差协方差阵已知时得 出丫一些简洁的结论；协方差阵未知时，提出了一种预检验估计，并对其统计 性质进行了总结 另外，在本文中的一些特殊记号表示的意义如下： a 表示a 的任一广义逆； 五。= ( 以1 a ，) ，吼= r a n k ( a ；) ： r = a 。( q a ) 。a ：表示与a ：的列空间m ( a ) 正交的投影阵； = 打一只； m ( a ) 表示列向量组成的空间； m 1 ( a ) 表示a 列向量的正交补空间； v e c ( a ) 表示将a 的诸列向量排列后得到的拉长向量； a b 表示a b 0 ，且ab 都是半正定阵，即a o ，b 0 屹= z ( z 7 z ) 一z 表示与z 的列空间m ( z ) 正交的投影阵； n z = i t p z ； 第2 章协方差改进法 第2 章协方差改进法 引理1 【4 】：设孔和t 2 分别为pxl 和q 1 维统计量，且e n = 口，e 码= g m ( ：) = ( i ：i ：) 垒 c z ， 口+ = 乃一1 2 丢噩( 2 2 ) 且 c o y 8 4 = 1 l 一1 2 者e 2 ls 1 1 = c o v t l( 2 3 ) ( 2 2 ) 所定义的估计如称为协方差改进估计。 证明：从0 容易推出m ( 2 1 2 ) cm ( 2 n ) ，由此不难证明1 1 一1 2 五2 l 是唯一的，与广义逆的选择无关 设f 为任一满足2 2 b0 的垃1 非随机向量，从e ( 噩f ) = 0 和c o v ( t 2 1 ) = z 2 7 k0 ，我们有乃ko ，a e ，这就汪明了乃川( 2 2 ) o e ，再结合m ( 1 2 ) c m ( 2 2 ) 便推知1 2 五码以及日+ 与广义逆的选择无关 9 一 北京工业大学理学硕士学位沦文 最后，我们证明0 + 的最优性由无偏性可推出，r 卡a 的任一无偏估计 必有a t = ，于是 c o v ( t ) a 。) e ( 乏) = ，一i z 面：+ c a ? + ，z 玉，e 船c a 。十z 玉，7 i e l l 一e 1 2 e 云2 1 = c o v ( o + ) 等号成立当且仅当a 2 = 一。品引理证毕 ( 2 3 ) 表明协方差改进估计0 + 比矸有较小的协方差阵，两者协方差阵之 差为1 2 面2 1 它是使用了乃和乃的相关性所带来的附加信息的结果。如 果e 1 2 = o ，那么两个协方差阵之差为零，这时如和孔不相关，自然码也就 没有任何改进斗的附加信息。为叙述方便，文献中称处为协变量。 5 2 2 协变量顺序的选择 现在我们考虑，在一般模型中，若存在两个协变量噩，死，该如何选择 这两个协变量的顺序，使得改进后的协方差更小。 下面以0 ；记用噩改进后的估计。以日玉记先用乃再用码改进后的估 计记 则 f 丑、f iii ”t 2l 、i 1 2 1 3 2 2e 0 3 3 2e s 3 畦= 孔一1 2 嘉乃 一1 f 1 】3 一1 2 爿2 3l 。：，j 2 2 e _ 跎 一雌 他 弛 一 1 3 e ，。，。 | | 、 嘭 码 ， dg 第2 章协方差改进法 于是 口毛= ( e 1 3 一1 2 爿e 2 3 ) 者乃= t 1 一1 2 爿乃一( 1 3 一e m 爿2 3 ) 者码 同理，再依次用码，噩改进得 = 丑一e 1 3 暑死 p 玉= 钙( e 1 2 一e 1 3 蠹3 2 ) 爿噩= 孔一1 3 e 嚣一( 1 2 一1 3 矗e 3 2 ) 丢m 2 有了上面的准备工作，下面我们分两种情况讨论协变量的顺序选择对改进估 计效果的影响。 5 2 2 1 噩，码不相关 如果码，码不相关，即2 3 = 0 此时： 日；3 = 钙一1 3 者码= 噩一1 2 e 若为一e 1 3 者码 日；2 = 一z 1 2 y 2 1 t 2 = 噩一z , 3 z 嚣t 3 一e 1 2 丢噩 易见目i 3 = 口；2 ，且 c o v ( o ；3 ) = c o y ( e ；2 ) = e u 一1 2 爿2 1 一e 1 3 蠢3 1( 24 ) 由( 24 ) 可以看出，协变量顺序的选择对改进的估计没有影响，即： 定理1 当噩，乃不相关即e 2 3 = e 3 2 = 0 时，协变量顺序的选择对改进 估计没有影响。 推论1 在存在多个协变量的情形下，当满足e 孔：口e 正：o “： 2 3 ，m ) 且c a v ( t i ：乃) = o ( z j ，z ，j = 2 ，3 ，m ) ，c o y ( t , 五) ：e l i f i ： 2 ，3 ，m ) 的条件时，协变量顺序的选择对改进估计没有影响。 证明从略。 北京工业大学理学硕士学位论文 222t j ，码相关 如果疋，乃相关，即e 2 3 0 此时 口i 3 = 啦一( 1 3 一1 2 才2 3 ) 蠹乃= 丑一1 2 爿乃一( 1 3 一e n 爿2 3 ) 矗乃 臼；2 = 畦一( 1 2 一1 3 e 矗3 2 ) 爿乃= 丑一e 1 3 蠹码一( 1 2 一i 3 矗3 2 ) 丢易 则可以计算得 o o w ( 0 ；3 ) = 1 1 一e 1 2 者2 t 一1 3 e 矗e 3 1 + e 1 2 者2 3 吾3 1 一1 2 爿e 2 3 暑3 2 爿2 l e 叫( 日；2 ) = e l l e 1 2 e 2 1 e 2 1 1 3 i ? 3 1 + e 1 2 者2 3 e 嚣3 l e 1 3 嘉3 2 爿2 3 蠹e 3 容易看出比较上面两式的大小，其实就是比较上两式最后一项的大小。 c o v ( o ；3 ) g o u ( 口；2 ) 甘1 2 爿2 3 蠹3 2 者2 1 1 3 矗3 2 孝2 3 蠹3 1 所以有： 定理2 当 1 2 丢2 3 蠹3 2 丢2 1 1 3 寻3 2 爿2 3 蠹3 1 时， g ( 呓3 ) g ( 目；2 ) ) 即：先用正再用码这样的改进顺序得到的估计的协方差阵小。 第3 章改进的参数估计 第3 章改进的参数估计 把上面的结论用到半相依旧归模型( 12 ) 中( 满足条件( 11 0 ) ( in ) ) ，可以 得到一些很漂亮的结果。根据协方差阵已知还是未知也分为两种情况来考 虑。由于卢：在模型中的对称性，下面以岛的估计为例进行讨论。 3l协方茬阵巴知的1 霄形 引理2 ( 2 1 ：对系统( 1 2 ) 式，依次利用前k 个回归方程得到的风的协方差改进 估计为： 硝= 万。一婴 ，)一1xim玑a；i(xlx + 。， l i o - o ( x ；x 】) 一1 x i j 蜥+ 2 4 ：j 之j ko i i c 7 j j 圳。鱼毫。羔等等( 凇1 粥- 蜥一 十( 一i ) 。塑竺蔓型( x l x l ) 一1 础2 肌玑： 七= 2 ，后( 31 ) 0 2 2 0 3 3 。吼 其中求和号对一切满足2 2 l i fs 的i l ，一，i 进行求和，m = ，一只= j x i ( x ：x d 一1 墨，i = 1 ，- ， 证明：对k 进行归纳法前已证对k = 2 成立现设命题对成立，往证 对b + 1 也成立记死+ ，：露+ ，y 女+ 1 1 这里z k + ，= x 冉。对卵。和+ 1 应用 引理1 及归纳假设，可得： 卢：+ 1 一所一g ( 硝，孔+ 1 ) c o ( n + 1 ) 一1 孔+ 1 = 声i 一i o - l il n l t n - i ) 。x ：f 叭 mo # # + 。乏。鬻m 一粥心圹 1 3 北京工业大学理学硕：i ：学位论文 删。铂毫。鬻等等( 翻。碱+ + ( _ 1 ) 。瓮糍( x i x l ) - x m 老篱( 捌x ) 一l 五i 帆帐+ - + 瑚6 r l w i 6 r i l k + l ( 墨x 1 ) 一1 x i m 机+ l 帅 。! i 点脚蔫( 琊圹1 粥妈蚺，+ 圳。鱼毫。群箸糕( 删。1 粥 + r k + l0 1 2 0 2 3 口l k o - k k + l 0 2 2 a 3 3 o - k k 盯+ 1 女+ 1 因为 ( 一1 ) 警譬掣( 弼x ，) 一x l n i 。蛳 ? l l 芝： 口 i i l 口i 2 i 2 盯q t n t t n k + 埘k + 1 + ( 3 2 ) + ( 一1 ) 。当堕凳鱼二导吐业( x ：x 1 ) 一1 墨川。m 帆+ l 鲰+ 1 2 i 1 ：乏 j 吼0 1 2 i 2 。i l i t o - k + 1 k + l 11 一 斗1 ) c 。舛。十，筹器等( 删。蛾呦z 所以( 3 2 ) 式中每两项可合并为( 31 ) 式中的一项，于是引理2 得证 引理2 是在= ( a o ) m 。m 已知得条件下，利用附加信息逐次迭加得方法 导出了回归系数得协方差改进估计对许多应用问题，是未知的此时我 们在( 3 1 ) 式中用的估计s = ( 8 i j ) 代替这里 8 u = 未弼i j ( i ，j = 1 2 3 )( 33 ) 其中矗。= f z 叭，f z 的定义参见5 12 1 4 第3 章改进的参数估计 我们称所得到的估计为两步协方差改进估计，并记为硝对于耐有一 下这样的性质： 引理3 2 】：在线性回归系统( 12 ) 式中，若“：，i = l ， ，m 的分布关于原点 对称，则日( 蓐) = 卢。，k = 2 ，3 ：，m ，即犀都是卢。的无偏估计 证明：记 ，m = ：i 蔷蓑，z 茎i i r m ，z = ，。，m 则两步协方差改进估计两可表为： 两：厉一k ( s ) ( x i x l ) - a x ；批叭 t = 2 + f i a s ) ( x i x l ) 一1 弼m j 蜥4 - 2 s 2 j 至七 十( 一1 ) 2 ( x ；x 1 ) 一1 x i 她m 。y “+ 2 _ i l p ，则 c o y ( 2 3 ) e o ( 卢；2 ) 即先用噩再用码的改进顺序比按照先码再乃这样的选择顺序所得到的估 计的效果好。 上面的定理说明，在存在两个协变量的情况下，先选用和丑相关程度高 的协变量，效果好。反之，若某个协变量与噩的相关程度较低，甚至接近零 的时候，我们就可以认为该协变量对对改进的效果没有明显影响，可以提前把 它剔除掉。 我们现在来看上述结果的两个特殊情形下的应用i 31 1限定误差协方差结构的情形 在文献 1 】b 5 8 中提出如下的一个半相依回归模型，该模型是在一般的半 相依回归模型的基础上对协方差的结构进行了一定的限制。把这种限制用到 模型( 1 2 ) 中，即为： f 如z 。如。， 【o 另薷 p 1 3 还是p 1 2 p 3 还是接受p 1 2 p l j 。 定义 s = ( 川= ( 击跏小，= ，。3 ( 3 1 2 ) 第3 章改进的参数估计 其中谒= ：尸z 玑= n z ! j i ( i = 12 ，3 ) 您与n z 的定义参见5 12 这样定义 的s 是的相合估计。 检验( 一) 对i = 2 或i = 3 之一 h o i ：p l i = 0 h h l i ：p 1 ：0 在文献【5 中，给出了一个在一定条件下的预检验估计，即满足以下三个 川1 ( x 1 ) n 川1 ( 置) ) 0( 31 4 ) 帮= 声，一老( 墨x - ) - 1 弼2 舻一嚣( x 一l x i 3 1 ( 3 1 6 ) 6 ，s q 一 。 、 ) = 0 ：茎三：萎薹薹 因为我们这里不需要( 31 3 ) 与( 31 4 ) 的条件，所以考虑在去掉这两个条件 后能不能有个好的预检验估计。观察的( 31 6 ) 式，可以看出万 3 和两步协方差 改进估计很相似，只是省略了两项，于是想到构造这样一个修正的预检验估计 = 蕊一列, s 1 2n t 一1 ，y j 肌h 嘞8 12 ；2 。3 ( 私j y ia 2 2 ：删? 北京下业大学理学硕士学位论文 一誊( x ；x - ) “x t i n a y ：；3 咖( 。( i = 2 ，3 ) 的意义同j ：。 为了获得合适的检验曲( 2 ) + 篡1 3 s 2 3 3 ( x l x l ) “x i i n 3 n 2 y 2 庐 ( 引7 ) i = 2 ，3 ) ，考虑如下的统计量： “：! ! 丝竺：兰 m t ) = v 可( t - i k 矿- 1 ) n 。 咖( z ) c r ，t ，= 1 l ：。蟓果vll，t，。(，r。j：i，)li_。c； 引理4 f 5 】：假设z 和y 是两个相互独立的n 1 的随机变量，m 是一个 秩为p 的n n 对称幂等阵。并且z u ( o ，r 7 2 厶) ，p ( m y = o * t x l ) = o 令 5 2 , , 2 x 2 2 m 2 2 x 2 2 2 y 2 2 m 2 2 y m y 2 z ， 丁= 鲁笳= 舄s i ；p _ 1一百j 严2v 二了” 叫0 ；卜 h i i h y 第3 章改进的参数估计 一焘j 2尚尚：lvl i ii i 、“j “1 “1| | p t l 。t ”= 。一，= p r 。6 上，7 ( ：) = 。 = f ，r 。6 t a 彳可= 。，= 。 且 t t l ，”l 相互独立由文献 2 0 的定理1 57 知，在给定”。的条件下， 丁= 舄8 一t p _ 1 即丁服从自由度为( p 1 ) 的t 分布t p 吐且不依赖于 所以7 服从f 。是 而且 “：；丝丝竺 、_ y n z y l y ；n z w ! ! 丝竺 、q z 9 1 k 轨 n z 是秩为t 一的t t 幂等阵 p ( v z y i = 0 ) = p ( i 。= 0 ) = 0 ( 3 1 8 ) ( 3 1 9 ) ( 32 0 ) 易见( 31 8 ) ( 3j g ) 和( 3 2 0 ) 均满足引理4 的条件，所以在原假设凰，成立的条 件下，有 北京工业大学理学硕士学位沦文 所以对于给定的c ，( 0 ，1 ) ，c ? 的值就是自由度为y 1 k 1 的t 分布的n 分位 数。 若在检验( 一) 中，凰被拒绝，则进行检验( 二) 。 检验( 二) 等价于 日o ：p i 2 p 2 3 h h l ：贡2 p 2 3 凰：p ；2 p 32 lh h 1 ：p 2 1 2 d 3 1 如果原假设被接受，则先选码再选死，否则按照相反的顺序进行选择。 由( 3 1 1 ) 知道，的估计为样本误差协方差阵s ，所以要是能知道s 的分 布，则检验( 二) 就容易实现了。在文献 2 0 中给出了误样本差协方差阵的渐 进分布。注：这里所说的随机矩阵t 的分布实际上就是v e c ( t ) 的分布。 引理5 【2 0 】若 x ；) ( i = 1 ，2 ，n ) 为p 1 的独立同分布序列，e x ： p e x ? o o ，c o v ( x i ) = e ，则 去( 雪蚓与( 0 ，d ) 其中 雪：壹( x 。一x ) ( x 。一又) d = c o v ( v e c ( x l 一) ( x 】 j4 ) = ( l 。+ k ) ( ) 。 ( 3 2 1 ) k = e i j ( p 。p ) e u ( p e j j ( p “p ) = e ，e ：e 。= ( 【】0i0 n ) 第3 章改进的参数估计 汪明 s p 。p = ( x ，一x ) ( x ：x ) z = l 7 1 , = e ( x z 一肛) ( x t p ) 一n ( x 一肛) ( 耳一p ) 2 = l n = 毗一n b 。 2 = 1 这里眠= ( x 。一卢) ( x 。一肛) b 。= ( 牙一p ) ( 霄一肛) n v e t ( g ) 脚1 = w c ( w d n v