（概率论与数理统计专业论文）半相依回归系统的根方估计.pdf

硕士学位论文 摘要 半相依回归系统，即s u r ( s e e m i n gu n r e l a t e dr e g r e s s i o n ) 系统是由两个误差项 相关的线性回归方程组成的系统，这种系统在计量经济、生命科学、工业、计量 地埋等许多领域有着重要的作用因此，关于它的研究一直很受人们的重视 著名学者r a o 在19 6 7 年引进了协方差改进法，王松桂将这个方法应用于半 相依回归系统中，得到了被估参数的更优估计，即协方差改进估计及两步协方差 改进估计在实际应用中，s u r 系统的第二个线性回归方程一般是为第一个方 程提供辅助信息，且未知回归系数反的所有结果与屈平行当设计矩阵呈病态 时，协方差改进估计历不再是屈的良好估计因此本文在均方误差意义下提出 了一类新的估计一根方估计 首先对s u r 系统给出了根方估计的表达式，并在一定的条件下，我们证明 了根方估计优于协方差改进估计，其相应的两步估计优于两步协方差改进估计， 同时讨论了根方估计相对于最小二乘估计以及协方差改进估计的效率，并给出效 率的上界与下界 其次在根方估计的基础上，构造了屈的广义根方估计，对广义根方估计的性 质做了研究，导出其优于协方差改进估计的充分条件，给出相应的两步估计并讨 论了其性质通过对一种特殊形式的广义根方估计做讨论，证明了广义根方估计 较一般根方估计有更小的均方误差，同时相应地讨论了广义根方估计的相对效 率 最后对s u r 系统增加一线性约束r = o ，并首次给出回归系数屈的条件协 方差改进估计的表达式，在此基础上，获得了屈的条件根方估计以及广义条件 根方估计，并分别就其优良性问题进行了讨论 关键词：半相依回归系统；协方差改进法；根方估计；广义根方估计；线性约束； 两步估计 1 l a b s t r a c t s u r ( s e e m i n g l yu n r e l a t e dr e g r e s s i o n ) s y s t e mi s v e r yu s e f u li nm e t r o l o g y e c o n o m e t r l e s ，l i f es c i e n c e s ，i n d u s t r y ，m e t r o l o g yg e o g r a p h ya n ds oo n t h e r e f o r e t h e s t u d yi ns u re q u a t i o n si sh i g h l yr e g a r d e d c r r a oi n t r o d u c e dt h em e t h o do fc o v a r i a n c ea d j u s t m e n ta p p r o a c hi n 19 6 7 i t w a sf l r s ta p p l i e dt os u r s y s t e mb yw a n gs o n g g u it og e tb e t t e re s t i m a t o r s ，w h i c ha f e c o v a n a n c ea d j u s t m e n te s t i m a t o ra n dt w o s t a g ec o v a r i a n c ea d j u s t m e n te s t i m a t o r i nt h ep r a c t i c a l a p p l i c a t i o n ， t h es e c o n dl i n e a rr e g r e s s i o n e q u a t i o no ft h i ss u r s y s t e m1 su s u a l l yr e g a r d e da sa u x i l i a r yi n f o m a t i o no ft h en r s to n e ，a n da l lo ft h e r e s u l t so tu n k n o w n r e g r e s s i o nc o e m c i e n t展a r ep a r a l l e lt ot h a to f屈w h e nt h e d e s l g n e dm a t r i xi s i l l c o n d i t i o n e d ， c o v a “a n c ea d j u s t m e n te s t i m a t o r 反 i sn o t a c c u r a t e ，s ow ep r o p o s eac l a s so fn e we s t i m a t o r s r o o tr o o te s t i m a t o r w h i c hi s b a s e do nt h em e a ns q u a r ee r r o rc r i t e r i o n t l r s t i y ，w eg l v et h ee x p r e s s i o no fr o o tr o o te s t i m a t o ra n dp r o v e du n d e rs o m e c o n d l t l o nr o o t f o o te s t i m a t o ri s m o r ee f n c i e n tt h a n t h ec o v a r i a n c ea d i u s t e d a p p r o a c h ，a n dt h ep r o p e n ie sa r ea l s od i s c u s s e df 0 rt h e t w o s t a g ee s t i m a t o r b e s i d e s ， t h er e l a t i v ee 所c i e n c i e so fr o o tr o o te s t i m a t o ra r eg i v e na n dt h eh i g h e ra n dl o w e r b o u n da r ea l s oo b t a i n e d s e c o n d i y ；w ei n t r o d u c e dab i a s e d e s t i m a t o r - g e n e r a l i z e dr o o tr o o te s t i m a t o r w h l c hl sb a s e do nt h eo r d i n a r yr o o t r o o te s t i m a t o r ，a n dt h e p r o p e r t i e sa r ea l s o d l s c u s s e d ，w eo b t a i nt h ec o n d i t i o nt h a te s t i m a t o r g e n e r a l i z e dr o o tr o o te s t i m a t o ri s m o r ee f f i c i e n tt h a nt h ec o v a r i a n c e a d j u s t e da p p r o a c h b ys t u d y i n gas p e c i a l e x p r e s s l o no te s t l m a t o r g e n e r a l i z e dr o o tr o o te s t i m a t o rw e p r o v e dt h a te s t i m a t o r g e n e r a l l z e dr o o tr o o te s t i m a t o rm o r eg r e a t l yr e d u c e st h em e a ns q u a r ee 1 1 r o ro ft h e e s t i m a t e dc o e 师c i e n t st h a no r d i n a r yr o o tf 0 0 te s t i m a t o r a n dt h ep r o p e r t i e s a r ea l s o d l s c u s s e d 士o rt h et w o s t a g ee s t i m a t o r b e s i d e s ，t h er e l a t i v ee 维c i e n c i e so fr o o tr o o t e s t i m a t o ra r eg i v e n f 1 n a l ly ，w ea d da1 i n e a rr e s t r i c t i o n - 妒= 0 t ot h i ss u r s y 8 t e m ，a n df i r s tg i v e t n ee x p r e s s l o no tr e s t r i c t e dc o v a r i a n c ea d j u s t e da p p r o a c h f u r t h e m o r e w eo b t a i n t h ee x p r e s s l o n so fr e 8 t r i c t e dt h e e x p r e s s i o no fr o o tr o o te s t i m a t o ra n de s t i m a t o r g e n e r a l l z e dr o o tr o o te s t i m a t o ra n dd i s c u s s e dt h ee s t i m a t o r a n do p t i m a l i t yo f u n k n o w nr e g r e s s i o nc o e f j f i c i e n t 届 i nt h es u r s y s t e mu n d e rt h e1 i n e a rr e s t r i c t i o n i i i 硕士学位论文 k e yw o r d s ：s e e m i n 9 1 yu n r e l a t e dr e g r e s s i o ns y s t e m ；c o v a r i a n c ea d j u s t e d e s t i m a t o r ；r o o tr o o te s t i m a t o r ；e s t i m a t o r - g e n e r a l i z e dr o o tr o o te s t i m a t o r ； l i n e a rr e s t r i c t i o n ；t w o s t a g ee s t i m a t o r i v 硕士学位论文 符号说明 本节中，我们给出一些在整篇论文中所要用到的记号和基本概念记号： 4 彳+ 彳 o 彳0 h 么。 i 。 ( 么) r 锄k ( 彳) 缸4 彳pb v e c ( 么) e ( x ) c o v ( x ，】厂) m s e ( x ) m s e m ( x ) i i 矩阵彳的广义逆 矩阵彳的加号逆 矩阵彳为对称正定方阵 矩阵彳为对称半正定方阵 矩阵爿的行列式 矩阵彳的转置 拧阶的单位方阵 矩阵4 的列向量张成的子空间 矩阵彳的秩 矩阵么的迹 矩阵彳和b 的k r o n e c k e r 乘积 矩阵么的向量化 随机向量x 的期望 随机向量x ，】，的协方差 随机向量x 的均方误差 随机向量z 的均方误差阵 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的 研究成果除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写的成果作品对本文的研究做出重要贡献的个人和集体，均 已在文中以明确方式标明本人完全意识到本声明的法律后果由本人承担 作者签名：裘瑙更日期：明年5 月孑f 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅本人授权湖南大学可以将本学位论文的全部或部分内容编入有关数据库进行 检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文 本学位论文属于 1 、保密口，在年解密后适用本授权书 2 、不保密团 ( 请在以上相应方框内打“”) 作者签名： 导师签名： 月多f日 月日 硕十学位论文 第1 章绪论 线性模型【l 】是一类统计模型的总称，它包括了线性回归模型、方差分析模型、 协方差分析模型和线性混合效应模型等许多生物、医学、经济、管理、地质、 气象、农业、工业、工程技术等领域的现象都可以用线性模型来近似描述因此 线性模型成为现代统计学中应用最为广泛的模型之一在建立数学模型应用过程 中，常见的一个问题是模型中参数估计的问题，作为统计推断的一种基本形式， 它已经发展为数理统计的一个重要分支 1 1 引言 半相依回归系统是由两个误差项相关的线性回归方程组成的系统近三、四 十年来，已有很多的学者对这类半相依回归系统进行了大量的研究，作出了十分 重要的成果：z e l l n e r ( 1 9 6 2 ) 【2 】提出了两步估计法，r e v a n k a r 【3 1 提出了限定两步估 计法，在其基础上，林春土( 19 8 4 ) 【4 】得出了两步估计的充要条件，陈昌华( 19 8 6 ) 【5 1 讨论了对设计矩阵不作任何要求的两步估计及其优良性，文献 6 】是关于这个统 计模型推断的一部专著，系统的总结了1 9 8 6 年以前的重要成果。进一步地，王 松桂、严利清( 1 9 9 7 ) 【7 】利用协方差改进法获得了参数的一个迭代估计序列，刘金 山( 1 9 9 4 ) 【8 1 、李文、林举干【9 1 ( 1 9 9 7 ) 则分别对协方差改进估计进行了推广 考虑由两个半相依回归方程组成的回归系统 ly ，= 五届+ q ，f = 1 ，2，。 i e ( q ) = o ，c o v ( 巳，p f ) = ，。，f ，j = l ，2 、l “7 这里y ，为拧1 的观测向量，x ，为拧p ，的列满秩阵，即r ( x ，) = 见，屈为仍1 的未 知回归参数，e ；为”1 的随机误差向量，y = p ，) 为二阶正定矩阵对固定的f ， 有： 乃= 彳f 屈+ q ，e ( p j ) = o ，c o v ( q ，白) = 仃f f l ，f = 1 ，2 ， 这时是一个普通的线性回归模型，不同观察值互不相关，然而当仃；，o 时，第f 个 模型与第，个模型的误差向量是相关的，“半相依”一词正反映了误差向量的这 种特性，半相依回归模型在计量经济学、生物、工业和地理等领域具有很多的应 用，颇受统计学家的关注于是关于半相依回归模型的研究的焦点就集中在如何 充分利用误差向量的这种相依性，获得参数向量的更好的估计 众所周知，当回归系统( 1 1 ) 中的y 已知时，在线性估计类 矽= 4 j ，l + 么2 y 2 ：彳f 为p 力矩阵，f = 1 ，2 ，p = p l + p 2 ) 半相依同归系统的根方估计 中，回归系数的最佳线性无偏估计( 简记为b l u 估计) 为 = x ( y _ 1o ，) x 】- 1 x ( 矿- 1o ，) y ， 这里，y = ( y i ，y ：) ，x = d i a g ( 墨，x 2 ) ，么ob 为彳与b 的k r o n e c k e r 乘积 但是在实际问题中y 往往是未知的，这时我们需要另辟途径来获得的估 计许多作者如z e l l n e r 【2 1 等讨论了这个问题，提出了两步估计法，王松桂【1 0 1 提 出了一种附加信息逐次迭加的新的估计方法，称为协方差改进估计，并将所得结 果推广到任意多个相依回归方程组成的回归系统 对于回归系统( 1 1 ) ，通过附加信息法，给出了参数屈的协方差改进估计 磊= ( x ；墨) 一1 x ：夕，一旦( x ；x ，) 一1x ；，罗， ( 1 2 ) d 矗 其中 m = j 只，暑= x ，( x ；x ，) 。1x ：，f = 1 ，2 ， 并将结果推广到多个回归方程组成的回归系统，获得了一些很有意义的结论文 献 11 ，12 证明了当z 置= o 时，届和夕：的b l u 估计为 厦= ( x ：x 。) 一1 彳：y ，一! 堕( x ：x 。) 一1 x ：2 y ：， o 2 2 厦= ( x ：x ：) 一1 x ；y 2 一垒( x ：x ：) 一1 x ：l 少。， ( 1 3 ) d l l 文献 6 证明了上式成立当且仅当只= 最# 一些文献如【1 3 一l7 】研究了协方差改 进估计以及种种修正例如文献 15 】从矩阵迭代的角度刻画了协方差改进估计的 本质，而 1 7 提出了协方差改进估计的修正形式一预验估计 鉴于未知参数向量届和履在( 1 1 ) 中具有完全对称的地位，故在以后的讨论 中我们只研究屈的估计显然磊是届的无偏估计当矿未知时用它的估计s = ( 瓯) 代替，得到两步协方差改进估计 历( 丁) = ( x ：x 。) q x ：j ，。一粤( x ：x 。) - 1 x ：2 y ：， ( 1 4 ) 0 2 2 文献 2 】和 1 0 】讨论了反和磊( r ) 相对于屈的最小二乘估计( 简记为l s 估计) 届= ( x i x l ) - 1 墨j ，l 的诸多统计优良性 对协方差改进估计互，其协方差阵为 一2 c o v ( 磊) = 仃。( 五) 一一旦堡( x ：x 。) 一1 彳：2 五( x ：x 。) ， ( 1 5 ) o 2 2 由于磊是磊的无偏估计，故其均方误差为 m s e ( 历) = 盯。t r ( x i 墨) 一应( x ：x 。) 一1 z 2 x 。( x ：x ，) 一1 ， 硕十学位论文 这里虎：立由于o 以1 ，o 2 ，故有 盯l l 仃2 2 m s e ( 厦) 盯。( 卜露) 艺， ( 1 6 ) j = l7 其中五如见n 是石：x l 的特征根 在实际问题中，两个相关变量之间通常并不表现为直线的关系，而是近似于 某种曲线方程的关系，一般有o o ，1 2 o 则在线性估计类4 = 口= 彳1 正+ 么2 正，么1 ，4 为非随机阵，e 丁= 口) 中的最佳线性无偏估计( 简记为b l u e ) 为： 移= 五一。：丢互， ( 1 9 ) 且 c o v 秒= l l 一1 2 丢2 1 l l = c d l ，五( 1 1 0 ) 我们称式( 1 9 ) 所定义的估计口为协方差改进估计，式( 1 1 0 ) 表明协方差改进 估计秒+ 比互有较小的协方差阵，两者之差为。：丢：。，若：。= o ，则正与互不相 关，自然正没有任何改进五的附加信息，通常称乃为协变量2 1 1 在实际中，往往是未知的，有学者构造的一个估计 s = 恿鼢 在式( 1 9 ) 中分别用墨：，曼：替换。：和：，得万= 互一墨：s 丢正，称为两步协方差改 进估计 定理1 3 2 2 2 1 ( 1 ) 若s 与互和互独立，则万是目的无偏估计 ( 2 ) 设 c 睁， m s “+ g ( 所，) ， 且互，f = 1 ，2 与s 独立，则 c o v ( 万) = 尝c 0 v ( p 。) ， 其中形( ，) 表示w i s h a r t 分布 这个定理给出了两步协方差改进估计万的协方差阵的精确表达式 c o v ( 万) = 墨( 1 一1 ：丢2 1 ) ， ( 1 1 1 ) 显然，c o v ( 万) c o v ( 口) 这就是说，用墨2 和s 2 2 分别代替。：和2 2 后，两步协方差 改进估计万的精度比9 要低 硕十学位论文 1 4 相依回归系统的协方差改进估计 对于回归系统( 1 1 ) ，记y = ( y ：，y ：) ，x = d i a 甙x 。，x ：) ，= ( 以，及) 。，g = ( 反，p ：) 。， “圆 表示矩阵的k r o n e c k e r 乘积，则回归系统( 1 1 ) 可改写为 y = 即+ p ， e ( p ) = 0 c o v ( p ) = ol ， ( 1 1 2 ) 众所周知，当已知时，的最佳线性无偏估计( b l u 估计) 为 肛川x ( - 1 引m ( 1 1 3 ) 在实际应用中，往往是未知的，此时声+ 不真正是一个估计，通常人们采用如 下两种途径，其一，是忽略两个回归方程误差向量的相关性，视仃：= o ，这就导 致了最小二乘估计( l s ) 估计 夕= 鼢眨g 。巍：) ， 不言而喻，这种途径没有充分利用数据中所蕴含的关于求知参数的全部信息其 二，是在( 1 13 ) 中用的某种估计s ( 一般用相合估计) 代替，这就产生了所谓的两 步估计 多( s ) ：l 孱! 印| - ( ( 工( s _ 。，) x ) q x 。( s - t 。歹) y ， ( 1 15 ) i 反( s ) j 虽然已知时，是最优的，但是显然，我们没有理由认为万是最优的许多 作者从理论和计算机模拟角度比较了夕和万( s ) 的统计性质一般说来，万( s ) 在 矩阵损失下优于夕，仅当样本大小刀和相关系数户= 仃。：止i i 都比较大时才成 立许多作者在寻求新估计方面作了很多努力，例如t e l s e r 【2 3 1 ，d o n 【2 4 】和 m a g n u s 2 5 1 他们提出的估计是用迭代产生的，在一定条件下这些估计是迭代收 敛，无偏和渐近正态的，但迭代收敛条件涉及到未知矩阵= p 打) 的元素，于是 比较难于验证 王松桂在文 5 中，把附加信息迭加法【2 6 1 应用于模型( 1 1 ) ，获得未知参数的 一类新估计，证明了这种估计的一些重要统计性质记 屏。( ) = 屈= ( z 墨) 叫y 。， 它概括了系统( 1 1 ) 的第一方程关于参数向量屈的全部信息，但因 c o v ( q ，p 2 ) = 盯1 2 j o ， 所以第二个回归方程也蕴含有关于展的信息，这些信息概括在统计量2 y ：中， 这里 半桐依归系统的根方估计 2 = ，一只= j z ：( x ：z ：) - 1 z ， 如果是已知的，且q ：o ，基于a 。( ) 和2 y ：可以获得屈的一个改进估计 磊。( ) = a 一垒五( x ：x 。) 一1 x ：y ：， ( 1 1 6 ) 届l ( ) = 届一二堡五( x ：x 1 ) _ 1 x ：2 y 2 ， ( 1 1 6 ) o 2 2 进一步，若2 五o ，我们对属( ) 和l y 。重复同样方法，可以得到屈一个改进 估计反：( ) ，这里1 = j 一互= ，一x ，( x ：墨) 1 x ：，重复这个过程，我们得到的屈一 个估计序列矗。( ) ，称为协方差改进估计若未知，用它的估计s 来代替，得 到两步估计历。( s ) ，称为两步协方差改进估计 引理1 4 1 对于回归系统( 1 1 ) ，屈的b l u 估计屏可表为 所= m ( y l 一旦建2 y 2 ) ， ( 1 1 7 ) u 2 2 其中， m = ( z ：x 。) 一1 x ： l p 2 ( p 2 最b ) 最l 】，p = 盯。：、：i 万i ，只= x ；( x ；x ，) 一1 x ：，f = 1 ，2 七= o ( 1 1 8 ) 定理1 4 1 ( 1 ) l i m 主厦 ( ) = 所； ( 2 )c o v 矗。( ) 在偏序意义下单调下降且收敛于c o 啊( ) ，即 c o v 所c o 惦七+ l ( ) c o v 矗t ( ) c o v a ， ( 1 19 ) l i m c o v 孱( ) = c o 咿，( 1 2 0 ) 当2 五0 ，冀最最足时，( 1 1 9 ) 中严格不等号成立 推论1 4 1 当系统( 1 1 ) 的两个设计阵墨和x ：满足忍暑= 置墨时，磊的所有协 方差改进估计屋。( ) 都相等且都等于b l u 估计屏，有表达式 a 。( ) = 厦。( ) ：屈一垒( x ：x 。) 一1 工：2 y ：， 后1 ， ( 1 2 1 )屈 ( ) = 屈l ( ) = 屈一二堕( x i x l ) _ 工i 2 y 2 ， 后1 ， ( 1 2 1 ) o 2 2 这个推论表明，当最最= 最置时，用协方差改进法一步迭代便从历。得到b l u 估计所，许多文献所讨论的工；五= o 的情形1 6 2 7 1 ，这是满足条件丘只= 忍最的一 个最简单的例子林春土【4 】的结果表明，足= 只罡也是用协方差改进法一步能 迭代到b l u 估计的充要条件 对于回归系统( 1 1 ) ，当未知时，存在着的两种常用估计：无限制估计和 限制估计，我们只讨论无限制估计的情形定义s = ( s ；，) ，这里 & = 儿妙，( ”一，) ，= ，一x ( x x ) 一x ， 硕t ：学位论文 岩为由x 。的列以及x ：中与x 。不相同的那些列组成的矩阵，= r a i l k ( 臂) 这样定 义的s 称为的无限制估计将s 代入矗。( ) 得到届的两步协方差改进估计序列 届。 ) 定理1 4 2 对于回归系统( 1 1 ) ，若p 。和e ：的分布关于原点对称，且磁七( s ) 存 在，则屈。( s ) 为的无偏估计 引理1 4 2 对任意固定的后，总有 ( 1 )e ( p z ) ：( p z ) t + d ( ! ) ； ( 2 ) e ( p z ) t 粤：( 尸z ) 垒+ o ( 马； j 2 2仃2 2 刀 ( 3 ) 酮( 2 嘲( 2 圳 下面的定理提示了两步协方差改进估计的协方差阵在偏序意义下的单调下 降性 定理1 4 3 对于回归系统( 1 1 ) ，若2 墨o ，最最最e ，则对任意露和充分大 的，z ，有 c 嘲“，( s ) o ，则彳的所有特征值均为正数 硕士学位论文 2 3 均值向量与协方差阵 定义2 3 1 设x = ( x l 一，x 。) 为，l l 随机向量，称 e ( x ) = ( 瓯，剧。) 为x 的均值 定理2 3 1 设么为掰以非随机矩阵，x 和6 分别为，l l 和，l 1 随机向量，记 】，= 么rt 6 ，贝i j e ( y ) = 彳e ( j r ) + e ( 6 ) 定义2 3 2 设x = ( 置，以) 为刀l 随机向量，称 c o v ( x ) = 研( x 一尉) ( x 一厨) 】 为x 的协方差阵 易见 仃c o v ( x ) = v a r ( x i ) ， f = l 这里倒表示方阵彳的迹，即对角元素之和 定理2 3 2 设x 为以x 1 随机向量，则它的协方差阵必为半正定的对称阵 定理2 3 3 设彳为朋刀阵，x 为刀1 随机向量，】，= 魃，则 c o v ( 】，) = 彳c o v ( j f ) 彳 定理2 。3 4 设x 和y 分别为嚣l ，朋l 随机向量，么和君分别为p 撑，g 珑 非随机矩阵，则 c o v ( a x ，曰】，) = 彳c o v ( x ，】，) b 。 2 4k ro n e c k er 乘积与向量化运算 定义2 4 1 设么= ( 口f ) 和b = ( ) 分别为m 刀，p g 的矩阵，定义矩阵 c = ( 曰) 这是一个印刀g 的矩阵，称为么和曰的k r o n e c k e r 乘积，记为 c = 么q 曰，即 么ob = 口1 2 召口l n 曰 口2 2 曰口2 n b ： ： 口2 b 口m n b 这种乘积具有下列性质： ( 1 ) o 彳= 么圆0 = o ： ( 2 ) ( 4 + 彳2 ) o 曰= ( 彳lob ) + ( 彳2pb ) ，彳o ( 置+ b 2 ) = ( 彳圆曰1 ) + ( 彳圆曰2 ) ； ( 3 ) ( 刎) 圆( 膨) = 筇似o b ) ； 半相依同归系统的根方估计 ( 4 )( 彳lo b l ) ( 4 2 b 2 ) = ( 4 彳2 ) p ( 曰l b 2 ) ； ( 5 )( 么圆b ) = 么。圆b ； ( 6 )( 彳pb ) 一= 彳一。曰一，应理解为：彳一。曰一为彳圆b 的广义逆，但不必是全 部广义逆特别 b ) + = 么+ o 召+ 当彳，b 都可逆时，有( 么 曰) = 彳- 1 圆b ； ( 7 )( 么 b ) p c = 么o ( 曰圆c ) 定理2 4 。l 设么，曰分别为刀靠，燃掰的方阵，a ，t 和l ，一，。分别为彳，曰 的特征值，则 ( 1 ) 以，f = 1 ，万，歹= 1 ，l 为彳ob 的特征值，且i 么0bi = i 彳| 埘ibr ； ( 2 ) t r ( 么。召) = 仃( 彳) 仃( b ) ； ( 3 ) r k ( 4 0 曰) = r k ( 么) r k ( b ) ； ( 4 ) 若彳o ，b o ，则么ob o 定义2 4 2 设彳。= ( 口l ，口2 ，口。) ，定义聊，z 1 的向量 v e c ( 彳) = 口l 口2 ： 口n 这是把矩阵彳按列向量依次排成的向量，往往称这个程序为矩阵的向量化 向量化运算具有下列性质： ( 1 ) v e c ( 么+ 曰) = v e c ( 彳) + v e c ( 曰) ； ( 2 ) v e c ( 剃) = 洲e c ( 彳) ，这里口为数； ( 3 ) 仃( 彳b ) = ( v e c ( 彳。) ) 。v e c ( b ) ； ( 4 ) 仃( 彳) = 仃( 朋) = 仃( 上彳) = ( v e c ( ，。) ) v e c ( 彳) ； ( 5 ) 设露和6 分另i j 为挖1 ，m 1 向量，贝l jv e c ( 口刍) = 6 口； ( 6 ) v e c ( 彳曰c ) = ( c 圆彳) v e c ( b ) ； ( 7 ) 设l 。= ( 而，屯) 为随机矩阵，且 c o v ( ，x ，) = e ( 一一五戈f ) ( x ，一五x ，) = ， 记y = ( ) ，则 c o v ( v e c ( x ) ) = y o ， c o v ( v e c ( x ) ) = o y ， c o v ( v e c ( z y ) ) = yo ( r 丁) ， 这里丁为非随机矩阵 上面给出的定义，引理，定理均见参考文献【1 】 硕士学位论文 第3 章半相依回归系统参数的根方估计 当回归系统( 1 1 ) 的x ，呈病态( 即x ：x ，至少有一个特征根很小) 时，协方差改 进估计屋的均方误差就变得很大，此时不能认为压是屈的一个良好估计，由此 可见，针对设计阵的病态提出有偏估计对历做出改进以减少均方误差是一件十 分有意义的工作为此，许多的专家和学者都提出了不同的改进有偏估计，解决 设计阵病态问题 文献 2 8 中刘爱义和王松桂( 19 9 1 ) 对历加以改进，提出岭型改进估计 屋( 庀) = ( 置+ 材) 。1 彳；y ，一挚( x ：置+ 材) 一x ；m j ， ( 后 o ，f ，= 1 ，2 ，f ) ， l ，盥 文献 2 9 】中刘爱义又提出了主成分改进估计 屏= o ，：( x ；x ；) 一1 x ；( y ，一翌，y ，) d 文献 3 0 ，3 1 】中又有学者分别提出了岭型主成分改进估计，组合主成分改进 估计。 本文将运用附加信息的办法，构造一种新的估计根方估计，并研究这种估计 在半相依回归系统中的优良性质 3 1 根方估计 考察线性回归模型： y = 即+ 已，( 3 1 ) 其中y 是刀维随机向量，是p 维向量，是模型中的待估参数，x 是刀p 设计阵， p 是，z 维随机误差向量，e ( p ) = o ，c o v ( e ) = 仃2 l ，l 记单位阵 夕记回归系数的最小二乘估计夕= ( x x ) 一1x y 当x x 呈病态时，m s e ( ) 较大，此时，夕不是的良好估计，z e l l n e r 在文献【1 l 】中首先提出了根方估计， 夏结来在文献 3 2 】、 3 3 】中对根方估计做了介绍，并讨论了其优良性，m o n l cc a r l o 模拟试验结果表明：有些情况下根方估计优于岭估计在m s e 的标准下，根方 估计 夕七= ( x x ) 七_ 1 石y ，o 露 1 优于最小二乘估计 易知回归系统( 1 1 ) 的典则形式 3 4 】为： 半相依同归系统的根方估计 篇，沪吼 川，2 ( 3 2 ) i e ( p f ) = o ，c o v ( q ，p ，) = l ，f ，j f = 1 ，2 、 其中z ，= x ，q ，= 或届，q 为正交阵，使得 d x ：x f q f = a f = d i a g ( 一，五) ，f = 1 ，2 ， 称口。为典则参数向量 对于回归系统( 1 1 ) ，由于愿与屈的结果完全平行，以下只给出照的估计的讨 论 定义3 1 1 对于回归系统( 1 1 ) ，称 互n = ：置) h x ：) ，一争：墨) h z 2 y ：，o 支 1 ， ( 3 3 ) 为第一个方程回归系数届的根方估计这里后为根方参数( x ：x 。) 卜1 为 3 5 所定 义的幂矩阵对于不同的七，( 3 3 ) 给出了不同的估计，特别七= o ，即得到屈的协 方差改进估计磊 与协方差改进估计磊比较，根方估计是把墨换成( 置) 卜而得到的直 观上这样做的理由是明显的因为当墨呈病态时，x ：x 。的特征根至少有一个非 常接近于零，而( z x ，) 1 _ 的特征根正，砑七，砖。是把x ：x ，的特征根都1 一七次方 得到的，它们接近于零的程度会得到改善，从而打破原来设计矩阵的病态性，达 到降低均方误差的目的这就是根方估计的基本思想 由定义3 1 1 有 厦= ( x ：五) 厦，e ( 厦”) = ( x ：墨) 屈屈，( o o ，使得当尼( o ，万) 时，在均方误差的意义下，反优于。，即 m s e ( 反d ) o ，所以丑 o ，f = 1 ，2 ，p l ， 硕+ 学位论文 口l = ( 口1 ，口2 ，口见) c o v ( 蟊) = c o v ( q 历) = q 屈， ( ( 船) 1 一乏( ( 凇1 ) - 1 玳 五( 墨) 1 ) q = q 。人- 1 一q 。虎q ( ( z 五) 一z 2 z 。( x x ) 。1 ) q ， m s e ( 历) = m s e ( 蟊) = 盯。t r ( 人- 1 ) 一q 。砘仃吲( ( x ：墨) 一1 x ：2 五( x i x 。) 一1 ) q 】， 由此得 c o v ( 厦) = ( x ：x 。) c o v ( 磊) ( x ：x 。) ( x ：x 。) ( 吼。( x 。) 一孚( ( x ：x 。) 一1x ：x 。( x ：x 。) 一t ) ( x i 置) t ， q 。( 墨) 2 扣1 一盯。名( x ：彳) 卜1 z ：x 。( x ：x 。) 卜1 ， = q 历n = q ( 一x ，) 扣1 墨咒一吼。砘q ( x ：五) 卜1x ：2 j ，：， e ( 西) = q ( x ：墨) 印。= 小口l ， m s e ( 厦) = m s e ( 瓴蠢) = 仃( c o v 蟊) + f fe ( 蟊) 一口l 令 = t r 仃。，人2 七_ 1 一盯。砘( x ：x 1 ) 扣1 工：2 工。( x ：x 1 ) 七_ 1 】+ i l 硝口l 一口l1 1 2 1 。麻仃 q ( 五) 。1 墨2 墨( x ：x 。) q 四i a g ( 彳，矽，碟) 】 可。虎仃 q ( x ：x 。) 。1 墨2 x 。( 置) q 舛i a g ( 名一磋，锋。一徭，o ) 】 d = d i a g ( 彳一磷，锋。一磋，o ) ， 由于名( 见 o ) 关于力是严格递增函数，所以d 0 ，且 d = d i a g ( ( 名 考虑到2 o ，于是 记 拓 q 。 i 一磷) 2 ，o ) ) 2 1 ) 2 口? ， ll = d2 d 2 ， ll ( x ：x ，) 一1 x ：2 五( x ：墨) 一1 q d ) = 仃( d 三q ( 石：x 。) 一1 x ：2 墨( z ：五) 一1 妒j ) o ， h ( 尼) = 1 5 一 记则 卜 管 兰埘 盯 2 f 口 2 d 一 笱 ，j 、 艺斟 + 扣 碍 兰埘 盯 笱 ，l a 瑚 + 卜zy ，l x 幌 x 三一， yx l眦 磋 砘 盯 一 砟 又! n 磷 一 2 f 口 d 一 七 乃 ，l 兰瑚 + r， xx ，l z m x r， zr ，l时 磋 砘q h 碍 芝h 仃 半相依同归系统的根方估计 则 m s e ( 历) h ( 后) ，七( o ，1 ) ，且 h ( o ) ：盯，。兰霄- 一盯。尸左t r 【( x ：x 。) 一t x ：x 。( x ：x 。) 一1 】= m s e ( 反) ， f = l 对h ( 忌) 关于忌求导，得 h ( 后) ：2 盯。艺名l n - 一2 q 。虎露l n 以。仃 ( x ：墨) 一1 墨2 x 。( _ 墨) 一1 】 + 2 艺( 霉一1 ) l n 以口? ， 由此，取尼= 0 ，得 h ( o ) ：2 仃。 兰布，1 n 五一以1 n 以。t r ( x ：石。) 一x ：2 x 。( x ：x ，) 一1 】) ， 因为 ( x ：x 。) - 1 x ：2 x 。( x ：