（概率论与数理统计专业论文）线性约束下半相依回归系统的协方差改进估计.pdf

摘要 半相依回归系统是由两个误差项相关的线性回归方程组成 的系统。近三、四十年来，已有很多的学者对这类半相依回归系 统进行了大量的研究，作出了十分重要的成果：z e l ln e r ( 19 6 2 ) 提出了所谓两步估计法；在其基础上，林春士( 19 8 4 ) 得出了两 步估计的充要条件，陈昌华( 19 8 6 ) 讨论了对设计矩阵不作任何 要求的两步估计及其优良性：进一步地，王松贵、严利清( 19 9 7 ) 利用协方差改进法获得了参数的个迭代估计序列，刘金山 ( 1 9 9 4 ) ，李文、林举干( 1 9 9 7 ) 则分别对协方差改进估计进行 了推广。在实际应用中，s u r 系统的第二个线性回归方程般是 为第一个方程提供辅助信息，且未知回归系数晟的所有结果与届 平行。本文将在文献 4 的基础上，对此s u r 系统增加一线性约 束r = r1 3 ，讨论在此线性约束r = rb 下半相依回归系统中未知回 归系数屈的估计及其优良性问题。具体而言，本文的主要结果如 下： 1 求出了在线性约束r = rd 下未知回归系数届的协方差改 进估计序列斑1 ( ) ( k = 1 ，2 ) ，及此序列的收敛性： i i m 虞1 ( ) = 厨； # 2 讨论了在三个m d e 准则下，协方差改进估计序列的优良性 问题； 3 证明了在误差向量正态分布的假定下，当其协方差阵未 知时，两步估计序列具有无偏性： e 掣( ) = 属( k = l ，2 ) 以及两步估计序列的协方差阵在偏序意义下具有单调性： c o v ( 岛? 。( s ) ) c o v ( 斑1 ( s ) ) c o v ( 磊1 1 ( s ) ) ( v k 1 ) ； 4 解决了戽、协方差改进估计序列以及两步协方差改进，估计 序列的协方差阵之间的收敛性问题，即： ( 1 ) ：对任意固定的k ：l i m c 0 v ( 鲫( s ) ) = c o v ( 妒( ) ) ； ( 2 ) ：对固定的n 。l i ，m 。c o v ( 鲫( s ) ) 2 c o v ( 声j ( s ) ) ； ( 3 ) ：i i mc o v ( p j ( s ) ) = c o v ( 夕i ) p 本文结果拓广和改进了王松贵等的结果，进一步显示了坍方 差改进法的有效性。 关键词：线性约束 两步估计 协方差改进估计序列 m d e 准则 a b s tr a c t ir lt h e1 a t e3 00 r4 0y e a r s m a n ys c h 0 1 a , r sh a v ea10 t0 f s t u d ie so i la s e e l n i l 3 9 ly u n r e l a t e dr e g r ess i o n ( s u r ) s y s t e m w i t ht w o1 i n e a , r r e g r e s s i o nm o d e l s ， f 1 r l ds 0 i n e i m p o r t a n t r es u l tsa r eo b t a i l 3 e d ：z e l l n e r ( 19 6 2 ) p u tf 0 1 - w a r dt w o s t a g e e s t i m a t o r ( t s e ) ：b a s e d0 nz e l l n e r s ，l i nc h u r l - s h i ( 19 8 4 ) o b t a i n e dt h es u f f i c i e n ta n d1 3 e e e s s a r yc o n d i t i o no ft w o s t a g e es t i m a t o r ：c h e r tc h a n g ? - h u a ( 1 9 8 6 ) d is c u s se dt h et s ea n di ts o p t i l n a l i t i esw i t h o u t a n yc 0 n d i t i o n f o rd e s i g n e d m a t r i x x ： u 1 t e l i o r l y w a n gs 0 1 3 g - g u i a f t dy a h1i q in g ( 1 9 9 7 ) o b t a ir l e d a ni t e r a t i0r ls e q u e n c eo f es t i m a t o r b y us i n g t h e c o v a r i a n c e i m p r o v e da p p r o a c h ：l i uj i n s h a n ( 1 9 9 4 ) 、l i w e n a l l dl i n jl 1 - g a n ( 1 9 9 7 ) g e n e r a l i z e d t h ec o v a r i a b c e i m p r o v e d e s t i m a t o fr e s p e c t i v e l y i i 3 t h ep f a , c t ic a la p p l ic a t i o r l ，t h e s e c 0 n dl i n e a rr e g r e ss i 0 1 1e q u a t i o n 0 ft h iss u rs y s t e i n is u s l l a l l yr e g a r d e da sa u x i l i a r y i n f o r m a t i o r lo ft h ef i r s t0r l e ， l , r l de t l l0 ft h er e s u l t s0 fu n k n o w n r e g r e s s i o nc o e f f ic i e n t 及a r ep a r a l l e lt o t h a to f 鼠b a s e do n 4 ，t h ea u t h o ra d d s al i n e a rr e s t r ic t i 0 nr = r1 3t ot h iss u rs y s t e m ，a n dd is c u s s e s t h ee s t i m a t o ra l l dt h eo p t i i l i a l i t i eso fu n k n o w n r e g r e ss i0 1 3 c 0 e f f ic i e l l t 届 i nt h es 1 3 rs y s t e mu n d e r t h el i n e a r r e s t r ic t i o n t h e m a i l 3r es u l tsa r ec a lc u l a t e da st h e f o l l o w i n g ： 1 t h ec o v a r i a n c e i m p r 0 v e de s t i m a t o rs e q u e l 3 c e6 7 ( ) ( k 2 1 ，2 ) 0 f l i d k n o w n r e g r e s s i o nc o e f f ic ie n t 届u n d e rt h e 1 in e a rr es t r ic t i o nr = rba n d i t s c 0 r l v e r g e n c e ，t h a t is ： l i m 印( ) = 2 t h e o p t i m a l i t i eso fc o v a r i ar l c e i t n p r o v e d e s t i m a t o r s e q u e r l c el l r l d e rt h r e el l d ec r i t e r i o n 8 l ij 3 s h o w e dt h eu n b i a s e d n e s so f t w o s t a g ee s t ij i l a t o ru n d e r n o r m a ld is t r i b u t i o na s s u m p t i o no nt h er a n d o me r r o r sw h e nt h e c o v a r i a n t em a t r i x e so f errorsis u n k n o w n ： e 掣岱) = 崩( k = 1 ，2 ) a n dt h e l d o n o t o n o u s n e s so f c o v a r i a n c em a t r ix e so f t h et w o s t a g ec o v a r i a n c e i m p r o v e des t i r a t o r s e q u e n c e 定( s ) ： c o v ( ( s ) ) c o y ( 碰1 ( s ) ) c o v ( 窿1 ( s ) )( v k 1 ) ： 4 s o l v e dt h e c o n v e r g e n c ea m o n gc o v a r i a n c em a t r ix es o f 所，c o v a r i a n t e i r p r o v e de s t i r a t o r s e q u e n c ea n d t w o s t a g e c o v a r i a n c e i m p r o v e d es t i m a t o r s e q u e n c e ，t h a t is ： ( 1 ) ：f o ra n ya n d r e g u l a rk 二 ：i 。m c o v ( 玑s ) )= c o v ( 护( z ) ) ； ( 2 ) ：f o rr e g u l a r n ： i m 。c o v ( 龟1 ( s ) ) = c o y ( p j ( s ) ) ( 3 ) ：l i r ac o v ( 夕j ( s ) ) = c o y ( 声j ) t 1 i nt h is p a p e r t h ea u t h o r e x t e n d e da n d i m p r o v e dt h e c o v a r i a n c e = i m p r o v e des t i m a t o rin t r o d u ce d b yw a n gs o n g - g u i ， t h er e s u l t 8s h o wc l e a r l yt h ep o w e ro ft h ec o v a r i a n c ei m p r o v e d a p p r o a c h k e y w or d s ：s e q u e n c eo f c o v a r i a n c e - i r p r o v e de s t i r a t o r 1i n e a rr es t r ic t i o n t o w s t a g ee s t i m a t o r m d ec r i t e r i o h s 1 记号、背景 记号：记a 为一实矩阵，r k ( 一) 表a 的秩，a + 表a 的加号逆，爿一表 a 的减号逆，只= ( 爿一) + a = a a + ，n 。= ，一只，p = 一，m = n 丘，t r ( 爿) 表a 的 迹，1 记“o ”表示矩阵的k r o n e k e r 乘积，a 0 表示a 为实对称半 正定阵，记号“a b ”或“b a ”表示“a b o ”，即在偏序意 义下，b 小于或等于a 。 考虑在计量经济、工业、生物等领域有广泛应用的一类系统 一半相依回归系统，简记为s u r 系统或s u r s ： 旷置崩w t ( 1 - 1 ) 【y 2 = x 2 反+ p 2 其中y s 为n 1 的观察向量，z 为n p i 的设计矩阵， r k ( 五) = p i ，届为b 1 的未知回归系数，q 为r l l 的随机误差向量， c o v ( q ，p ，) = ，。，i ，j = 1 ，2 ，且= ( 仃。) 2 。2 为正定阵。盯。2 0 ，否则 两线性回归方程为独立的，可分别讨论屈的估计。 对于此s u r 系统，当误差向量的协方差阵未知时，z e l l r l e r 在19 6 2 年对未知回归系数屈提出了两步估计法【i j ：林春士于1 9 8 4 年证明了屈的两步估计的充要条件，这一条件与设计矩阵x 有关 吐19 8 6 年陈昌华进一步地得到了与设计矩阵x 无关的两步估计， 并讨论了两步估计的优良性d 】；王松桂、严利清1 9 9 7 年利用协方 差改进法求得了该系统下未知回归系数屈的协方差改进估计序 列，并将用的强相合估计s 代替，得到了矗的一个两步协方差 改进估计序列 4 1 。 通常地，对未知参数一无所知，根据以往的知识和经验可 以获得有关的一些信息，最常见的情况是满足某一个线性约 束条件。因此，本文在文献 4 的基础上，讨论s u r 系统( 卜i ) 在线性约束条件： 1r 1 = r 。屈 【r 2 = r 2 2 ( 1 2 ) 其中为j ，1 的非随机向量，r ，为，只的矩阵，r k ( r ，) = j ， i ，j = 1 ，2 。 在此约束下， 利用观察值y ( i = l ，2 ) 对未知回归系数 = ( 爿，p 1 ) 进行估计，寻求的个比较好的估计。为此，将( 1 1 ) ) 化为下列线性模型： y = 卢+ e( 1 3 ) 其中y = ( y ：，y ；) ，= d i a g ( x 。，x ：) ，p = ( f l i ，麒) ，c = ( c ：，p ；) 7 。 并且将( 1 2 ) 改写为： r = r 口( 1 4 ) 其中r ：( ，l t ，哇) ，r = diag ( x 。，x ：) ，= ( 卢0 卢；) 。 若忽略q 与e ：的相关性，则在线性约束( 卜4 ) 下，对s u r 系统 ( 1 - 3 ) ，易知受约束的最小二乘估计 ( r l s e )为： 6 ( u ) ：6 e ? _ 1 - 卜u i 翌州硝。，她) ( 1 _ 5 ) i6 ( u ) jl 6 2 + u ；1 r 2 r 2 u i r d 。( r 2 r2 b 2 ) j 此处u = x ，t ，b = ( ，) 。jy ，u = x x ，i = 1 ，2 。 由于c o v ( 岛，e ，) = ，。0 ，i j ，i ，j = 1 ，2 ，在系统( 卜1 ) 中， 第一个方程或第二个方程中都包含了另一个方程的信息，而( 1 5 ) 中届的估计 i i i i l l6 出( ) i i i 触( ) i i i 1 1 | 即( ) i t l 触( ) 。 3 两步协方差改进估计 在实际中，往往是未知的，一般用的一个比较好的估计 来代替它。我们用s 2 ( s i j ) 来代替，其中s q = y ；n y , t ”一r ，n = ，一b ， r - - r k ( 卫) ，从而可得到届的两步协方差改进估计序列，记作：触( s ) 。 ( i = 1 ，2 ) ；k 一1 ，2 ， 1 记号、引理 + 以。i ( ) 。，记。为矩阵一的一种范数。若。= f 莓；n ； ；为 欧氏范数，则有；。= ( t r a 爿) ；。 文献 7 给出了矩阵收敛的定义 定义3 1 ：设矩阵序列 a 。 s ( s 为所有1 1 阶矩阵的集 合) ，令一。= l xt j ( m ) 1 i n 。，如果”2 个数列 “扩) ，( i ，j = l ，2 ，n ) 都收 敛时，称 4 。 收敛，以数列 n ，) 的极限为元素的矩阵a s ，称 为( a 。) 的极限，记作： l i r a 一。= a 或 a 。_ a ( 肌斗。0 ) 。 引理3 1 ：定义3 1 等价于”。一4 - 0 - + o 。) ( 其中i i i | 为任一 矩阵范数) 。 证明见 7 ，只。 引理3 2 ：设。和1 1 i l 。为两种矩阵范数，则总存在正数c ， o ， c ： 0 对所有1 矩阵恒有：c ，p 。c ：口。 证明见 7 ，舅。 引理3 3 ：设4 、b s ( s 为所有n 阶矩阵的集合) ，且有ab = b a ，则： 4 b 0j 省2 口o oa b 0j 彳 b k 0 ( k 为任意正整数) 证明见 1 2 ，日盯，定理2 4 。 事实上，我们可以把引理3 3 的结论改成如下形式： a b 0 a b 0a b o 铮 b - o ( 3 一1 ) 要证明( 3 1 ) 需要用到如下事实： 若a 、矗均为n 阶实对称矩阵，则ab = ba 铮3 正交矩阵p 使 得：a=p 7 人。p ，b = p 人2p ，其中 。、a ：为对角矩阵，人，= d i a g ( ，丑：，a 五。) ，a ：= d ia g ( ，：，人“) 。 ，n 分别为a 、b 的特征值， i = 1 ，2 ，n 。 下面证明( 3 - 1 ) ：显然a = p 人：p ，b = p 人：p 。若a b 0 ， 有人；a ：0 ，从而砖a ：o ，所以a b 0 ，反之可证得 a 。b 。0ja b 0 ：同理有a b 0 a “b 0 。 引理3 4 ：对系统( 卜3 ) ，假定e n 2 “( 0 ，o ，。) ，则s 为的 强相合估计。 证明见 1 0 ，如。 引理3 5 ：对任意固定的k ，总有当”_ c o 时： ( 1 ) e ( p 2 ) + ( ，2 ) 。，其中p 2 = 5 一2 1 ； 、 j i i j 2 2 ( 2 ) e ( p 2 ) 鼻i ( p 2 ) 。曩1 ； ( 3 ) e ( p z ) t ( 血) 2 ( p 2 ) ( 鲰) 2 。 s 2 2盯2 2 证明见 4 ，引理3 。 2 主要结果及证明 定理3 1 ：对满足约束( 1 4 ) 的回归系统( 卜3 ) ，若岛，e ：的 分布关于原点对称，且e 斑f ) ( s ) ( i = 1 ，2 ) 存在，则触( s ) 为屈的无 偏估计。 证明与阻0 定理3 类似。 定理3 2 ：在约束( 卜4 ) 下，对回归系统( 卜3 ) ，任意的k 和充分大的n ，有： 1 4 c o v ( 馥? 。( s ) ) c o v ( 6 k ( s ) ) c o v ( 税1 ( s ) ) 证明：利用引理3 5 不难证得。 弓i 理3 6 ：设 a 。：n 1 】为一随机矩阵序列，在偏序意义 ( a 。a h ，即a 。一a 。非负定) 下有0 a ，爿2 爿。， 且! i + m 。a 。2a ，对v n ，m 1 ，爿。与a 。a 。均y , j 对称矩阵，则有： ! i m e ( 爿。) 2e ( 嬲爿。) 2e ( 爿) ( e ( a ) 表随机矩阵4 的均值) 。 证明：由于a 。a ，a a 。o ( v n 1 ) 且a a 。 i i 爿。一彳l | 。= t r ( a 。- a ) ( 一。一一) ； 又a ：= a 。，a 。a 一( 一。a ) 7 = a a 。，a 。a = a a 。 由( 3 1 ) 式及0 a a 。a a 。： ( 一- a 。+ 1 ) 2 ( 爿一爿。) 2 从而t r ( a 。+ 。一爿) ( 爿。一一) t r ( a , 一一) ( 4 一爿) j | 1 4 。- a l l 。怕。一一忆 对v n 1 成立 即一4 忆 又l i ma 。= a 慷一爿k 0 ， 由引理3 2 ，对矩阵彳的任一种范数t 有： 0 c - a l l 。i i a 。- a f i c ：- a l l 。0 由单调收敛定理：e ( c ：一a l l 。) 0 ，又 l l 助。一点卅8 陋( 以一彳) i l 占忡i 一彳i | e ( c ：0 a - a u 。) 0 。l i r a i l 巩一尉0 ! i m 。e ( c ：l i a 。一a l l 。) ) 。0n _ ” “ 从而0 尉。一剧l | _ 0 ( 一m ) 由引理3 1 即可知： l i me ( a 。) = e ( a ) = e ( j i m a 。) - 一 1 5 定理证毕。 弓i 理3 7 ：记a 。=( p 2 ) ”。( ：n ) ( l ：) ， j 上i j = 爿2 ( p 2 ) ”( j v ：n ) 。( ，n ：) 7 ，则 s = i ；l ( 1 ) ：i ma t 2 a ； ( 2 ) ：a 。= a ：，且对v k ，m l a ia 。2 ( 4 t a 。) 2a 。a 女； ( 3 ) ：4 a 。2 0 v k 2 2 。 证明：( 1 ) 显然。 ( 2 ) ：显然a 。= 一：。注意到： 以及对任意的i ，j ，s ，t ：( 不妨设i + j s + t ) ( 2 】) i + j - jn 2 ( ln 2 ) 。 2 ( 2 n i ) ”1 ( 2 n 1 ) ”一n 2 ( a t l n 2 ) ”“ = ( ，n z ) ”1 n 2 ( n 2 n ) ”“ = ( 2 n 1 ) ”川n 2 ( i n 2 ) 。+ t - 1 】 有： 2 ( a t a 。) 2a 。a ( 3 ) a t a ( p 2 ) 卅( ：n ) 2 ( l n 2 ) 。 6 ) () 2 ( 叫 ) 2 p( 。纠 。 | | t 4 ) 2 ( u ) 2 p( 。一 。 = ， ) (2 ) 2 p( 。一 。d = 一+ ) ( 州 ” ) ， ) 。h，d 。川 。 r | m 4 以 一 吖 ) 2 ( 2 2 一 r 2 ( + ) ( 。 。川 。h = t ) () ( ) 2 p( 。h l i 记b 口= ( 2 n 1 ) ( i n 2 ) ，i ，j = 1 ，2 ，k 下面证明对v i ，j = l ，2 ，k ，都有b 。0 i ) ：当i + j 为奇数时 岛2 ( 2 n 1 ) ( 】n 2 ) 2 ( j 2 | v 1 ) 下2 ( l n 2 ) 7 0 ii ) ：当i + j 为偶数时 岛2 ( 2 n 1 ) 7 ( l n 2 ) 2 ( 2 j v j ) 。( l n 2 ) 亍 0 由i ) 、ii ) 知对v k 1 ， 4 。o 且a i a 。0 ，即a 。a 。 引理证毕。 记夕? ( s ) = h 。【，。一声2 ( p 2 b 鼻) 2 只，】 弘二：，：】+ 仍 k = o j 2 2 定理3 3 ：在约束( 卜4 ) 下，对回归系统( 1 3 ) ，有： ( 1 ) ：对任意固定的k l i m c o v ( 反1 ( s ) ) 2c o v ( 掣( ) ) ： ( 2 ) ：对固定的n ：l i mc o v ( 或1 ( s ) ) = c o v ( 声i ( s ) ) ； r ( 3 ) ： i mc o v ( p j ( s ) ) = c o v ( 声i ) 证明：c o v ( 龟匕。( s ) ) = e ( b “z k 、+ ，( s ) 一碗* 。( s ) ) ( 喀_ ( s ) 一e 窿_ ( s ) ) 7 = e e ( 2 ”k + ( s ) 一e 馥0 ( s ) ) ( 喀0 ( s ) 一e 馥_ 。( s ) ) s ) = e c o v ( 窀0 ( s ) ) s 2 q 。e h 。( 平+ p 2 l m ) 1 - 2 嚣n 2 + 等( 乏) 2 z w n 2 n , ) 叼)盯l i s 2 2盯l js 2 2 由引理3 5 ，便可得： ! i m 。e h ，( 舅+ p 2 9 , n o ( 皇+ 声2 n ：m ) 2 一 1 7 = h ( 只+ p 2 i n 2 ) ( 鼻+ p 2 n z i ) h 同理： e 日。( 以+ p 2 n 。n 2 ) a 1 2 s , 2n 2 ( 鼻+ p 2 n 2 n 。) h ；) o i i $ 2 2 旦斗h l ( 只+ p 2 1 v 2 ) ( 纽0 2 2 。) 2 2 ( 鼻+ 户2 2 1 ) h e 日i ( 只+ p 2 n i n 2 ) ! 堕( _ ! ! ! ；) 2 ：( 鼻+ p 2 ：) 日i ) 盯，s ， 上州# n e n z ) 警 ( 曼! ) 2n 2 ( 只+ p 2 2 1 ) h 0 2 2 从而c o v ( b 2 ( i ) ( s ) ) - - ) c o v ( 触2 k + l ( ) ) 同理：c o v ( 赶? ( s ) ) - - c o v ( i 安( ) ) ( 1 ) 成立。 ( 2 ) ：记a a k ) 一h 。( e + p 2 n t n 2 ) ( r l 叶) ( ”一) k = l ，2 ， m ( 声) = q 阪一p 2 i f , 2 b 以) p 2 n , c o v ( 6 ( s ) ) 2 e ( a a k ) 爿i ( p ) ) - o r , , e ( k ) 2 啪c r 2 s 2 ：2 _ 嚣( 砻2 n z 们) ) 由引理3 6 及引理3 7 ，即有： ；i m e ( a 。( p ) a i ( h ) ) = h - 叫+ l i r a e e ：。 酣) ( 2 州l 删h = m ( k ) m ( p ) 同理： t i m e 枷) 2 业0 1 1 s 2 2 ：一! o 堕l l ( 马3 2 2 2 2 们) ” = “w ) 2 墨o 1 如i s 2 2n 2 - 等( s i 2 ) z n 2 ( 剐 盯i i5 2 2 1 i m c o v ( 6 盟。( s ) ) = c o v ( 廖( s ) ) t 8 同理：! i mc o v ( 鲫( s ) ) = c o v ( p ? ( s ) ) # + ： j i mc o v ( 反”( $ ) = c o v ( 矽x s ) ) p - 即( 2 ) 成立。 ( 、3 ) ：由本定理( 1 ) 、( 2 ) 及定理2 3 ，( 2 ) 即可证得。 参考文献 1 ：z e l lr l e r a ，a n e f f ic ie n t m e t h o d0 fes t i m a t i n g s e e m i n 9 1yu n r e l a t e dr e g r e ss i0 n sa n dt es tf o ra g g r e g a t i0 n b i a s ，j a m e rs t a t is t ，a s s o r 5 7 ( 1 9 6 2 )3 4 8 3 6 8 2 ：林春士，一类回归方程系统的两步估计，科学通报 14 ( 1 9 8 4 )8 4 0 8 4 2 3 ：陈昌华，半相依回归方程组两步估计的优良性，应用概率 统计2 ( 19 8 6 ) 1 1 2 1 i9 4 ：王松桂、严利清，协方差改进法与半相依回归的参数估计， 应用概率统计3 ( 1 9 9 7 ) 2 5 2 2 5 8 5 ：刘金山，相依回归系统参数的待定系数估计，应用概率统 计l ( 19 9 4 ) 7 8 8 3 6 ：李文、林举干，半相依回归系统参数的广义压缩估计，应 用概率统计3 ( 19 9 7 ) 2 5 2 2 5 8 7 ：王朝瑞、史荣昌，矩阵分析，北京理工大学出版社 19 8 9 8 ：c r r a o ，h t o u t e n b u r g ，l i n e a rm o d e ls 世界图书出版 公司北京公司 i 9 9 8 9 1 ：王松桂、扬爱军，协方差改进法及其应用，应用概率统计 i ( 1 9 9 8 ) 9 9 1 0 7 10 1 ：张尧庭、方开泰，多元统计分析引论， 科学出版社 19 9 9 11 ：倪国熙，常用的矩阵理论和方法，上海科学技术出版社 1 9 8 4 1 2 。：严加