（概率论与数理统计专业论文）线性模型中参数估计的相对效率.pdf

攘要 摘要 线程鞭 舞模激在经济管理、藏药卫垒、气象遍质、教育心瑾等领域都有着广 泛的应用因此，对于各类模型的统计推断( 如参数估计、假设检验等) 吸引了许 多统计工作者我们都知遭，在线性模黧的未知参羧估计中，最健线性无偏估计 悬最理想、鼹完美的但是，由于种种原爨，我们裔r 专程难竣者根本无法褥到它 此时，人们往往黼未知参数的最小二乘估计或其留协方差改进估计来代替它这 榉敛必然瑟产生一定鲍损失；丙奠这些损失有时爨攫丈懿。困焉礤究这穗援失静 太小就显得颇为重要为了度量这种损失的大小，许多学皆从不同的角度提出了 最小二幕偿诗对予最佳线瞧无镶绥滓戆穗辩效率。 在本文的第一章，我们阐述了相对效率的产生原因，对国内外文献进行了综 遴 系统分绥了禧美领域黪湃究避溪及圭螫成暴在第二章，锌对一般线豫模登， 我们提出了一个新的相对效率，并给出了宦的下界，同时讨论了它与已有相对效 率酶关系，在第三章，考虑权霞强模型，我f f 】也缭出了一个新的栩对效率，并研 究了新的棚对效率与其它三种相对效率的关系，最后给出了楣对效率的下界半 相依回归模型在经济、生物、工城和地理等领域具有很多应用，闲此关于它的研 究簸受统计学家们的关注，然露到基翦为灰，有关此类模戮提对效率的结果劳不 太多在本文的第四章，我们定义了三种新的相对效率，阿时给出了相对效率的 下男。 相对效率是度詹估计精度上的损失的有效工具本文针对三种模型定义了几 拿新麴提瓣效率，耪褥结麓在实舔霾爱孛寮一定撩导意义 关键词：线性模烈；相对效率；最小二乘估计；最佳线性无偏估计 葵文撩簧 a b s t r a c t l i n e a rr e g r e s s i o nm o d e li sw i d e l ya p p l i e di ne c o n o m i cm a n a g e m e n t ，m e d i c i n ea n d s a n i t a t i o n ，m e t e o r o l o g ya n dg e o l o g y , e d u c a t i o na n dp s y c h o l o g y , a n do t h e rf i e l d s s o s t a t i s t i c a li n f e r e n c e ( s u c ha sp a r a m e t e re s t i m a t i o na n dh y p o t h s i st e s t i n g ) a b o u te a c h m o d e la t t r a c t sm a n ys t a t i s t i c i a n s j u s ta sw ea l lk n o wt h a tt h eb e s tl i n e a ru n b i a s e d e s t i m a t ei st h em o s ti d e a la n dp e r f e c ta m o n ge s t i m a t e so ft h eu n k n o w np a r a m e t e r i t i ss od i f f i c u l to ri m p o s s i b l ef o rn st og e ti tb e c a u s eo fal o t i ti su s u a l l yr e p l a c e db yt h e l e a s ts q u a r ee s t i m a t eo ro t h e rc o r v a x i a n c ei m p r o v e m e n te s t i m a t e t h el o s si si n e v i t a b l e ，a n ds o m e t i m e st h i sl o s si sg r e a t i ti sv e r yi m p o r t a n tt os t u d yt h el o s s t om e a s u r e i t ，8l o to fs c h o l a r sp u tf o r w a r dr e l a t i v ee f f i c i e n c i e so ft h el e a s ts q u a r ee s t i m a t et ot h e b e s tl i n e a ru n b i a s e de s t i m a t ef o rt h eu n k n o w np a r a m e t e rf r o md i f f e r e n ta s p e c t s i ns e c t i o n1o ft h i sp a p e r ，w ee l a b o r a t et h ec a u s eo ft h ee f f i c i e n c yb e i n g ，g e n e r a l i z e t h el i t e r a t u r eo fi n t e r n a la n da b r o a d i n t r o d u c et h e1 a t e s td e v e l o p m e n ta n dt h em a i n r e s u l t si nr e l a t i v ef i e l d s 。i ns e c t i o n2 an 蝴r e l a t i v ee f f i c i e n c yi sp r o p o s e di no r d i n a r yl i n e a rm o d e l ，t h el o w e rb o u n d i sg i v e na n dt h er e l a t i o nt oo t h e re f f i c i e n c i e si sa l s o d i s c u s s e d ，i ns e c t i o n3 ，w ed ot h es a m ei nl i n e a rw e i g h t e dr e g r e s s i o nm o d e l s e e m i n g l y u n r e l a t e dr e g r e s s i o nm o d e li sw i d e l ya p p l i e di ne c o n o m i c s ，b i o l o g y , i n d u s t r ya n dg e o g r a - p h y s o8 l o to fs t a t i s t i c i a n sf o c u so nt h es t u d ya b o u ti t 。h o w e v e rt h e r ea r ef e wr e s u l t s o ft h ee f f i c i e n c yi nt h i sm o d e l i ns e c t i o n4o ft h i sp a p e r ，t h r e en e wr e l a t i v ee f f i c i e n c i e s a r eg i v e na n dt h el o w e rb o u n d sa r eo b t a i n e d ， t h er e l a t i v ee f f i c i e n c yi sa ne f f e c t i v et o o lt om e a s u r et h el o s so ft h ee s t i m a t e s e v e r a l n e we f f i c i e n c i e sa r ed e f i n e di nt h r e em o d e l si nt h i sp a p e ra n dt h er e s u l t sh a v ei n s t r u c t i v e s i g n i f i c a n c ef o rp r a c t i c e k e y w o r d s ：l i n e a rm o d e l ；r e l a t i v ee f f i c i e n c y ；t h el e a s ts q u a r ee s t i m a t e ；t h eb e s tu n b i a s e d e s t i m a t e i i 猿钊性声躜 本人声鹳所呈交的论文是我个人在导搏指譬下进行麴研究工作 及墩得的研究成巢。尽我所知，除了文中特别加以标注和魏谢的地方 辨，论文中不包含蒸链入露经发表或攒霉过扮辑究成桑，也不包含为 获搿北京工业大学或其它教育机掏的学位或诞书两饺用过的材料。与 我同工作的网恚对本研究所做的任何贡献均已在文中佧了明确的 说鞠并表示了谢意。 签名：墨i 造羔溺赣：坦型 关于论文使用授权的说聪 本人完全了解琵京工照大学有关保留、使蠲举位论文魏瓶定，鄣： 学梭窍权保留送交论文鲍复e # 件，允诲论文被套旖和偌阕；学按可以 公布论文嚣全帮或絮分内容，可以采鼹影印，缩印或其谊复制手段傈 存埝：史。 0 当已知时，p 的最佳缄性无偏估计b l u e 为 j 0 寒工监大学理学疆士学袋论文 i i i i i 矿= ( x7 q x ) “x 7 y ，其协方差阵为 e 一( 多4 ) = a 2 ( x 一1x ) 一1 ( 1 2 ) 鲣聚n 缳大，。戆诗算錾豢复杂，或来絮，憩对久靛往往瓣浸枣二黎信诗 l s e 声= ( x x ) 一1 x y 来代替矿卢的协方差阵为 c 洲( p ) = 0 - 2 ( x 7 x ) 一1 x x ( x 7 x ) _ 1 ( 1 3 ) 裰据g a u s s m a r k o v 定理，有”( 母) c 。”汐) 医此，用声代替矿时，估计的精 度靛要蒙受一些损失为了度量这科l 损失的大小，人们弓l 入了l s e 与b l u e 鲍相 对效率常见的有： b l o o m f i e l d 穆w a t s o n 农文献隧中提出了提对效率e l ( 蜃) ，定义势矿与声懿协 方藏阵的行列式之比 耻黜( 1 - 4 ) 此处例表示d e t a e l ( 声) 的个明照缺点怒它依赖予设计孵x 的程度太低。例如 当x 右乘可逆矩阵d 后，e 1 ( 声) 保持不变换句话说，对网定的e 和任意的可 逆缀阵d ，设诗阵为x 褰x d 时，l s e 的糖对效搴郄一样，这不能不认为楚效率 e - ( 廖) 的一个缺陷而刘爱义和王松桂在文献【6 】中提出的相对效率e 2 ( 卢) ，赢观上 度爨了l s e 鲍各分囊方差之鼹与b l u e 熬磐努量方差之霹镶离懿大夺。 e 2 ( 耻雩筹( 1 - 5 t r u o v ) 签 此处t r a 裁示a 的迹。e 2 ( 声) 在一定程度上克服了e 1 ( p ) 的缺陷，它仅仅在设计 阵x 右乘正交降看保持不变。这就提高了e 2 ( 两辩设计阵x 的依赖性黄元亮和 陈棱景在文献中提出了棚对效率e 3 ( 声) ，定义为与毋的的各分基间的协方差 平方和的算术根之比( 即c o v ( z + ) 等c 一( 声) 的欧氏模之比) e 3 ( 肛僻湍( 1 - 6 ) 一2 一 繁1 章绻论 戴娃陋 表示a 的欧氏穰在8 3 ( 向静表达式中，彻，( 矿) 与c ( 励豹每个元素 都对e 3 ( 声) 产生了影响，同时克服了对x 的依赖不足和应用的局限性睬拳新在 文献1 8 中提出了相对效举e a ( 国 硼h 器筘国凋( 1 - - 7 ) 墨q = l 时，8 4 ( 声) 羧是e 2 ( 矽) ，当q = 2 时，e 4 ( 角裁是e 3 ( 毋) ，q 的傻愈大，懿( 毋) 的 下界就愈小换句话说，对p 代替矿所产生的误蒺，q 愈大，e 4 ( 声) 反映越来越 灵敏。在安际应鼹中，霹泼壤据苓两鲮穗凝选取不霹弱q 馐 1 2 2 带有附加f 言息的线性模型的相对效率 考虑菸骞辩臻嫠患静线性嚣翔模壅 y x 芦+ 8 ，e ( e ) 一0 ，c o v ( e ) = d 2 i u 一露厣+ ，e ( e ) 一0 ，c o v ( e ) = w ( 1 8 ) ( 1 9 ) 其中e 和s 不相关，y 为n 1 的观测向墩，x 为n p 的设计阵，r a n k ( x ) = p ， 筘为p 1 豹来籁参数怒璧，e 鸯托1 戆涟撬谩蓑囊量，矿鸯鬯强蘩数。u 为 2 1 的观测向量，h 为2 p 的已知矩阵，r a n k ( h ) = l ，g 为z 1 的误差向量， w 为i l 的已黧斑阵，r a n k ( w ) 一l 。将( 1 - 6 ) 、( 1 - 7 ) 合并，得到下列线性 模溅： ( ；) = ( 荟) 霹+ ( 0 ，e ( 0 = o ， 锄蚓铲圳l ”嘲 l0 f 声豹混合话诗为： 矿妒) = ( 警+ 渺_ 娜_ 1 ( 竽+ 嚣7 矽_ l u ) ( 1 - 1 1 ) 模测( 1 - 8 ) 中卢的l t j , _ ：- 乘估计l s e 为应一( x 7 x ) x x y 攮然，( 口2 ) 与声均为 声的无壤倍计在l s w n e r 编序意义下，混合估计矿( a 2 ) 眈l s e 冷有较小的协方 一3 一 j 寨工监大学理学磺学位论文 差阵袁家成在文献【1 鄙中撮出了相对效率e 5 ( 声) ，e 6 ( 声) ，其统计意义同e - ( 声) ，e 2 ( 声) 吲即2 ) ) = 舒( 1 - 1 2 ) 喊铆呐) = 鬻( 1 - 1 3 ) 1 2 3 生长簦线攘鼙的稽辫效率 生长曲线模型的概念愚由w i s h a r t 于1 9 3 8 年提出的由于该模毅及其搬广形 式在垒裙、深学等领域具有广泛的应用；潮而，许多统计工作者对这种模擞静统 计推断倾注了很大的注意力，发表丁大量的研究成果 考虑一般生长曲线模型 y x b z + 岛 e 一( o ，# 2 v o ) 其中y 为n m 的观测矩阵，x 和z 分别为n p 的列满秩和q m 的行满秩 浚诗箨，鄹r a n k ( x ) 一p ，r a n k ( z ) = g ，b r v 。g 鼹口2 为未霸参数，矿褒 分别为n n 和m m 的糊互独立融知正定阵 式l 一1 4 ) 申未辩参数b 鹃b l u e 为 b = ( x 矿一1 x ) 一1 x y 一1 y 一1 浮一1z ) 一1 如聚l l 和m 很大时，y _ 1 和“豹计算缀复杂，浅v 稂e 未知时，人靠l 往往 用b 的l s e 蠹= ( x 盖) 一1 爿7 y z s ( z z ) 一1 来代替君+ 以下是这一方筒近期主辨成果 q i r o n gd e n g a n dj i a n b a oc h e n 在文献 2 0 】孛撵出了西种褶对效率： e 7 ( b + i b ) = 1 c d ( 曰) l l c o v ( ) l 一1( 1 1 5 ) 一4 一 筹1 章绪论 e a ( b + 蠹) m 静c ，( b + ) j p 。j ( 袁弼一1 删耻器 蛳帅，= 器鬻 ( 1 一1 6 ) ( 1 一1 7 ) ( 1 1 8 ) 其中c 、d 分别为n x1 和m 1 的相互独立常向嚣 a l ( 4 ) 表示a 的最大特征 鬣。e t ( b + i b ) ，e s ( b l 童) 懿蹇强意义霹e l ( 鸯) 庇( 国；e g ( b + | 蓉) 定义为b + 与酶秘 方差阵的最大特征值之比；e l o ( 口+ i 唐) 是张方差准则下，定义为c b d 的l s ec b d 与b l u ec b d 懿方差之迸 张日权在文献【2 1 】中提出了一种新的相对效率e 掣i 且+ ) ，即 e 皆( 磨i 占) = 【器】；，( p 1 ) ( 1 一1 9 ) e 绺( 雪| 君+ ) 是e s ( b | 秀) 静一个推广，当p = l 时，帮为e s ( 1 3 4 囱静衡数。e 撵( 壹| 口+ ) 度缀了l s e 各分j t ：y 差之和与b l u e 的各分量方熬之和偏离的大小。当p = 2 时， e 器晴i 丑) 的灵敏度高于e i ( 盍 曰4 ) 总之，e 糌( 雪 嚣+ ) 的p 值愈大，灵敏廑愈高， 在实际应用中，可根据不阍的器要选取不同的p 徽 在讨论了e t ( b + l 亩) 一e l o ( b + 1 西) 四种相对效攀存在着不同程度的缺陷后，为 了更好地发量宜代替b + 鲶估计犍度带寒黪损失，段涛堂糨照庚骥在文献【2 6 】孛 提出了两种新的相对效率e 1 2 ( 台口) 和c 1 3 ( b i b + ) ，定义为b + 与西的协方藏阵的 蔻数之毙。 鼬t 秽两= 鬻器 吣，= 糌辩 ( 1 一) l 一2 1 ) 其中l a i t f 为方阵a 的f r o b e n i u s 范数，lj a i l 2 为方阵的谱范数对于给定的v 帮，这辩释穗对效率的下莽不仅鸟v 和静特征僮有荧，雨鱼每设计阵x 和 z 有关；并且设计阵x 和z 和最大奇异值愈大，最小奇异德愈小，耜对效率的下 界愈接近予零 一5 一 j 寨工业大学理学磺学镦论文 在此之前，关于生长髓线模茧提出的栩对效率均为v 0 和 0 的条件 下；针对v 0 稚0 的情形，陈建宝等在文献f 2 5 l 中掇出了8 神相对效率， 其赢观意义同e l ( 彦) ，e z ( 声) ，8 9 旧+ 1 雪) ，e 1 2 ( b i b + ) 和e 1 3 0 9 1 b ) 吼鼬) 一器( 1 - 2 2 ) e 1 5 ( 黉壹) 一丽t r n ( 1 - 2 3 ) ( 鼬) = 端( 1 - 2 4 ) e 1 7 ( # 1 # ) = 粥附( 一1 m ) r 1( 1 2 5 ) e 1 8 ( 西f 甸= i f 一1 肼憾1( 1 2 6 ) e 1 9 ( j g l b ) = i n 1 掰| | 釜1( 1 2 7 ) 其中= ( x 7 t + x ) 一1o ( z s + z 7 ) ，m = ( x ) 一1 x t x ( x 7 x ) 一1 圆( g ) 一1 z s z ( z z ，) - 1 ，t = v + x x 7 ，s 一+ 驴z 对于一般情形，记w x b z ，形和彬分别 为w 的b l u e 和l s e e 2 0 ( 彬l 彬) 一丽t r l ( 1 - 2 s ) 镪( 孵) = 揣( 1 - 2 9 ) 其中k = p x t p x 圆p z ，s p z ，l = x ( x ? + x ) + x 8z ( z s + z ) + z ； 取= x x + ，p z ，= z + z 以上楗对效率务具榜惫，我 霆簌实嚣建霆眩，霹淡鬏撂模壅懿类壅结会实嚣 背景，选择合适的相对效率本文针对一般线性模激，权回归模型，半相依回归 筷熬，捷毽了死个凝戆程对效率，笄给鑫了宅秘戆下赛，辩论了箕与基有撩对效 率的关系 1 3 本章，j 、结 对于一般线性模型( 1 * 1 ) ，众所周知，未知参数卢的最傻线性无偏估计b l u e 为矿= ( x 7 。并) 。x _ y 但是在一熬理论和实际应用中，往往包含一 一6 一 第1 章绪论 些未知参数，记这些参数为p 对于这种情况，我们需要用p 的某种估计自来代替 矿中的口，这就导致了所谓的两步估计或称可行广义最小二乘估计遗憾的是，目 前我们对两种估计的统计性质，特别是小样本性质所知甚少+ 另一方面，在某些 情况下，我们根本无法得到目的任何估计正是由于这种原因，人们往往不得不 回过头来使用l s e 声= ( x 7 x ) q x 7 y 但是我们知道，一般说来，l s e 声不一定等 于卢的b l u e 因此，使用声会带来估计精度上的损失，这就需要引进一个量来 度量这种损失，这个量就是我们本章讨论过的相对效率当r a n k ( x ) = p 时，声 和矿都是卢的无偏估计，因此l s e 卢关于b l u e 矿的相对效率应该是c 一( 声) 与 c d ( 矿) 的某种形式的函数，例如e l ( 3 ) e 2 j ，e 2 ( p ) 【6 】等等当r a n k ( x ) 0 兔鹩特蔹瞧，翳 移，知紫，窖， 阻。， 在悫理1 懿 蒌露申将燕裂- f 嚣戆譬| 疆 目i 理1 设a 0 ，b 0 ，贝0 0 t r a b 量a l ( b ) t r a t r a t r b( 2 3 ) 8 一 第2 鬻线快模型的一个薪戆相对效率 这星， t 汹) 表永a 缒最大特征德 证明 扣a b ：打a 1 2 b a l 2 0 叉 1 ( 以) b 兰b 1 2 a b l 2 跌雨 t r a b = t r a l 2 b a l 2 墨打a 1 ( _ 8 ) a = a l ( 器) 打a 篓t r a t r b 所以( 2 - 3 ) 式成立 推论设a 0 ，b 0 ，鼷 t r a - 1 b 褊2 等 等价地 t r bs a 1 ( a ) t r a 一1 b 墨t r a t r a 一1 b 证明应用引耀1 ，有 t r b = t r a a 1 b 蔓t r a 一1 b a l ( a ) 蔓t r a t r a 一1 b 从而( 2 4 ) ，2 - 5 ) 式成立 引理2 设a 0 ，则霄 缮 f max，tr(x7ax)x _ = 土0 “哇 。x=i口 一1 ，一 p x 哦r ( 并a 固3 薹可1 ( ) 证明因为x x = ，由p o i n c a r e 分离定理 a n - - p + l ( 矗) 墨沁( x 7 a x ) a i ( a )i = 1 ，p 一9 一 ( 2 4 ) ( 2 5 ) ( 2 6 ) ( 2 7 ) 从而 j 家工数大学理学硬攀位论文 芍1 茎写1 x a x ) 曼a p “ 于是 芦pp 芍1 1 ( x a x ) 0 辨l i = il = l i = i 即 ppp 百1 可1 ( x 7 a x ) 墨 芒州( 2 8 ) t = li = 1 i = 1 叉 a ( 觚) 2 孓耥江1 i 硼 所以 t r ( x 7 a x ) - 1 = 九( x 7 a x ) 卅一a 盂州( x 7 a x ) = 可1 ( x 7 a x ) ( 2 9 ) l = 1i = 1i = i 由( 2 - 8 ) ( 2 - 9 ) 得 pp 百1 ( a ) 茎t r ( x a x ) 一1 a 。- - 一1 件1 ( a ) i = 1i 搿l 从丙( 2 - 6 ) ，( 2 - 7 ) 式成藏。 下嚣涯骥定理1 记q ，x x q = d i a g ( 5 1 ，昂) i ，其中q 为p p 的正交阵；记w = x q 一1 2 ， 贝4 x q w 1 2 ，且 r 7 w = 嚣为 p e ( 声) 一t r a b _ 1 = t r ( x 7 “x ) q x 7 x ( x x ) 一1 x x = 扣( q x 7 x q ) 。q x x q ( q x 7 x q ) q x 5 x q = 押( - 1 2 w 7 “w 1 1 2 ) 一1 1 2 7 1 2 ( 1 2 w w 1 2 ) 一1 1 2w 7 w x 1 2 = t r 一1 7 2 ( 7 1 ) 一1 一1 肛一1 2 ( w ) 一1 1 2 = 静( 渺7 w ) 一1 ( ) 一1( 2 一z o ) 一1 0 一 麓2 章线瞧模型静一令耩魏握对效攀 由引理1 的推论，脊 州7 。拶) 一1 ( w w ) 一1 笔嬲( 2 - 1 1 ) 再由引理2 ，有 t r ( w ) _ 1 百1 ( )2 1 2 ) 又由p o i n c a r e 分离怒理，有 由( 2 - 1 1 2 1 3 ) ，有 a l 拶一1 谬) 冬a l ( 一1 )( 2 一l 劫 呱咂q 呲盱，躲i = 1 ”1 4 ) 同理 静( 形一1 ) 一1 ( 渺7 谬) 一1 t r ( 石w 雨 b - 手iw 影) 厂- i 墨百t ( 一t ) 姒i 矿 ( 2 1 5 )一 盖i ( ) m 一 鄢( 2 - 2 ) 褥证。 2 3 几种效率的关系 孳l 避3 1 4 s 1 设a o ，b o ，霓l ( 1 ) a 釜b 营b 一1 a 一1 2 ) a 骞营嚣一1 a 一1 引璁4 设a 、b 为两个实对称矩阵，且b 0 ，则 ( 2 1 6 ) ( 2 1 7 ) a n ( b ) 知( 蠢2 ) a i ( a b a ) a i ( b ) a i ( a 2 )i = 1 ，缸f 2 一1 8 ) 一1 l 一 故 从而 证明因为 又b 三0 从而 所以( 2 1 8 ) 成立 推论 若 引理5 1 8 1 北京工业大学理学硕士学位论文 a l ( b ) i n b k ( b ) i n a 1 ( b ) a 2 = a ( a 1 ( b ) 厶一b ) a + a b a a b a a b a = a ( b a 。( b ) i n ) a + a 。( b ) a 2 a 。( b ) a 2 凡( a 1 ( b ) a 2 ) 凡( a b a ) 九( a 。( b ) 4 2 )( 2 1 9 ) a 。( b ) 0 a n ( b ) t r ( a 2 ) t r ( a b a ) a 1 ( b ) t r ( a 2 )( 2 1 9 ) e 1 ( 3 ) = l 甘e 2 ( p ) = 1 甘e 3 ( 声) = 1 营e 4 ( 西) = 1( 2 2 0 ) 定理2 设在模型( 1 - 1 ) 下，对于卢的任意两个无偏估计反，庑 g ( 历) c o y ( 如) 1 2 则有 则 从而 第2 章线性模型的一个新的相对效率 e ( z 1 ) 0 bg0 b 一1 0 t r ( a c 一1 ) 一t r ( a b 1 ) 0 e ( f 1 1 ) 0 为a b 一1 的特征值，则 e ( 声) = 尹1a b = ；1 ( a 1 + 一1 3 一 ( 2 2 1 ) ( 2 2 2 ) j e 寒工韭大学理学醭士学佼论文 = i a b 一1 1 p = ( al i b i 一1 ) 1 p e l ( 声) 所以e ( 国e l ( 君) ，“：”成立鲍条传显然， 定理4 e l ( 霹) = 1 辞毋j = 1( 2 2 3 ) 证明必要性由定理3 易推出，下面 芷明充分性 e ( 声) = l 静 t r a b l p 因为a b 一1 的特征值等于b 一 a b i 的特征值，而厥者的特征值都量1 ，故 所以 嚣 从而 即 推论1 气( 麓8 1 ) = 1 = 1 ，一一，p h a i ( a b “) = 1 = l a 日一1 i 一1 l a l = l b e l ( 国= 1 e l ( 詹) = 1 蝣9 2 ( 声) 一1 e 3 ( 声) = 1 钟e 4 ( 声) 一1 甘e ( 廖) = 1( 2 2 4 ) 者( 2 - 2 0 ) ，( 2 - 2 3 ) 荔褥2 - 2 4 ) 推论2 e ( 声) = 1 甘a = b - - 1 4 - ( 2 2 5 ) 筹2 章线经模型的一个凝鹣穗对效率 又 所以 证明充分性显然，只需证明必要性即可由( 2 - 2 3 ) ，樗 哥筘 e 圆) 一1 营e 1 0 ) = l 错| a | = | 嚣| 嘶五( 囟= i i 九( 置) i = 1f 然l 掰磐鸯 太( a ) 是( b )i 一1 ，一，p pp r i a i ( a ) = i i 扎( 司静 似) = ( 鳓 i = 1 ，p i = 1i = 1 否要i 电b a 0 霹褥 a = b a i ( a ) a ；( 司i = 1 ，p 导致矛i 嚣 2 。4 零牵，l 、结 考虑一般线性模烈 y = 鄢+ e ，嚣( e ) = 0 ，o m ，( e ) = 0 - 2 其中y 为n 1 的观测向量，x 为n p 的设计阵，t a n k ( x ) = p ，p 为p 1 的 未知参数彝量，e 为n - 1 的随槐漩蓑自量，a 2 也是未知参数，为n 缸戆正 定阵，谗为 0 ，如果n 很大，麓。的计算鞯常复杂，或未知，挖羁尊人们往 往用最t j 、c 乘估计l s e p = ( x 7 x ) 一1 x 7 y 来代替b l u e 矿+ 这样做势必带来一 些损失，为了度量这狰损失，一些学者在文献 2 - s 】中绘出了一些耀对效率，常瑟 的有； 州肛勰 以珏鬻 一1 5 二l 衷工照大学理学硬士学篷论文 以耻甓黜 此处1 a 表示d e t a ，t r a 表示a 的波，i i a i i 表示a 的欧氏模 硼) = | 器声砼t ) 这些相对效率并未进一步考虑c o v ( z + ) 与。伽( 声) 的联系，从邋一角度出发，在本 章的第一节，我们定义了一种相对效率，即c w ( 矿) 对于。刚( p ) 的所有相对特征 篷之嚣翡攀位恁。 e ( 芦) = 尹1 a b l 这种新的相对效率比较深刻地揭拳了c 。”( 矿) 与c o c o ) 的联系，在第2 节申，我 j 给出了裾对效率的下葬，禧巅寇疆l ；在2 3 带孛，我稠辩这释薪懿稳辩效率 与其它相对效率之间的关系进行了讨论与比较，褥到一系列有意义的结果，见定 理2 ，3 ，4 及其推论 一1 6 一 筹3 章投圈癌模蛩的攘黑| 效率 第3 章权回归模型的相对效率 3 1 写i 宫 考虑加权回归模烈： 矿y = w x 声+ e ，e ( ) = 0 ，秽铡( 5 j = a 2 ( 3 一1 ) 这里y 为n 1 的观测向量，x 为n p 的列满秩设计阵，卢为p 1 的未知 参数向爨，s 为n l 的随枧谡茇囊量，a 2 为棠数， 0 隽一正定镦蓐，逛 w = d i a g ( w ，) ，姚0 = 1 ，) 为常数显然，当w = i 泔，( 3 - 1 ) 式鄢为一般 的g a u s s m a r k o v 模烈当已知时，模型浯1 ) 中卢的b l u e 为 。= ( x w w x ) 一1 x 7 w 。搿y 其协方熬阵为 c o ( z + ) 一0 2 ( x w w x ) 一1( 3 2 ) 无论是否已知，妒的l s e 为 声= ( x w 2 x ) 一1 x w 2 y 其协方藏阵为 c w ( 加= 0 2 x w 2 x ) 一1 x w w x ( x w 2 x ) 一1( 3 3 ) 如果n 很大时，q 的计算非常复杂，或在未知时，人们往往用妒的l s e 声 来代替b l u e 矿根据g a u s s m a r k o v 定理，有 即 ”( p ) c o v ( z 4 ) a 2 ( x 7 2 x ) 一1 x 7 w w x ( x w 2 x ) 一1 艺0 2 ( x w w x ) 一1 一1 7 一 j 寒工业犬学理学顼学继沦文 i i i 因此，当用黟代替矿时，嵇计的精嶷就要蒙受一些损失，人们引入了l s e 与b l u e 盼襁对效举来度量这种损必的大小。段清擞和张锻鹤在文献 2 8 】中提出了两种相 对效率：e l ( 卢) 和。2 ( 声) ，其直观意义同( 1 - 4 ) ，( 1 - 5 ) 式所定义的相对效率溅洁等 在文献【2 9 l 中提出了一令裁粒提对效率；如( 参) ，其直理意y - m ( 1 - 6 ) 式所定义鲍 相对效率即 萨锱( 3 - 4 ) 耻篙筹( 3 - 5 0 v ) 计“ 毋j e s ( 爹) = j 器 ( 3 一s ) 此处陋 表示d e t a ，t r a 表永a 的遴，峪i 表示a 的欧氏摸本文褥给出芦的一 个新的相对效率 耻【瓣诤( ) ( 3 - 6 ) 显然，当q = l 时，e 4 就是e 2 ，当q = 2 时，e 4 就是e 3 因此，对进行讨论非常 有必要 3 2 相对效率鲍下界 引理1z x = d i a g ( 6 1 ，如) ，n 兰知 0 ，a n 。 0 ， u 淹n p 毂矩阵。基驴u = e a 剐 玎m ，强a x t r ( 扩a u ) = y _ = ) q ( a ) 6 1 ( 3 - 8 ) p 护苏打( a u ) 。= 磋州( 且蟒1 ( 3 - 9 ) 证弱海予嚣帮分谨骥类稼，下霉天疆裙洚8 ) 记w u ，群u = w ，既 时w 7 w = 厶 u 7 a u ：a w a w f k ! b i 一1 8 第3 章权回归模型的棚对效率 辩b = w a w 作谱分解：b = 圣m 零，其中， m = d i a g ( r n l ，。，口窃，仍1 m p 量7 砸= 厶，贝4 打( a u ) = 静( 吾圣村西7 专) = 打( m e ，圣) 撼e = ( 。格) = 圣零7 ，圣= 审“) ，裂 p 铅一辗蠡= 5 瑰 若令h = ( h l ，；h p ) = ( 惦) p p ，贝4h 是一个双随机降，即它的每个行或每个列的元 索之和都为1 ，d 一( d ，如) 7 扶而有 妒p t r ( u a u ) = r n i e i i = 5 h i m i = g h m 妇= 1i = i 这辍m = ( m l ，唧) 7 交予h 是一个双遮税阵，鞭踅 g r i m 5 7 m 从而 p t r ( u 7 a u ) 蠡m e i = 1 又w 一岛，壶p o i n c a r e 分离定疆，孬 ( 7 a w ) 太( 蠢) 故 p t r ( u 7 a u ) 曼- x i ( a ) s i t 揣1 当w 的梦j 分鄹为a 的前p 个特征值对应酌标准藏交化特征向量茸寸，上式簿号成 立。 ( 3 - 8 ) 式得证 弓i 理2 设a 为p 阶的正定阵，刚有 p 1 - q ( t r a ) 窖s 打a 孽s ( t r 直) 窖国1 ) ( 3 一l o ) 一1 9 一 j 窳工业大学理学硬学经论文 证磅辫q = l 对，显然不等式簿号戚囊 下诞q 1 时，引瑷成立设k 为a 的特征值，贝4 由h s d e r 不等式，得 即 芟 故 筘pp 打a = 太sl 餐p 1 2 ，( q - - 1 ) p 1 ) 鹿 l 嵩1* = 1i = 1 = f i r a q ) 1 q p l 1 q 扣a 2 p l - q ( t r a ) q 聱p ( t r a ) 。= ( 九) 4 a ? 一t r a 。 p l - q ( t r a ) q 曼t r a q ( t r a ) qq 1 ) 定理1 设a t k 0 为的特征使，以兰靠 0 为x 形2 x 的特征缎，剜 证明 出弓l 理2 ，有 从而 k 呻+ 町1 e 4 ( 口) p l q - 1 ( 生量百一) ( 3 1 1 ) e l f l 壤伽砸稿黑镢罴 球舱瓣高篝罐舞赫 砸， _ p l q - 1 雨蒜篙瓶黑赫 一2 0 一 鳞3 章权回归模型的攘对效率 设w 7 x p q 为w x 静奇异德分解，箕中p = 最，q 7 q = 昂， 一d i a g ( 瓶， 露) ，6 l2 岛 0 为x w 2 x 的特征值。 由弓l 理l ，有 扫( x 彤一1w x ) 一1 = t r ( q 7 p 一1p q ) 1 = t r q ( a p 7e 一1p ) 一1 q = t r ( a p 7 。p a ) 1 磴川努1 = 。一甜t 譬1 同理， t r ( x 7 2 习一1 x w w x ( x 7 2 x ) 一1 = t r ( q 2 q ) 一1 q p q ( q 2 母) 一1 = t r q 7 。i p ，p 一1 九f 1 敞 嘣处州( 塞= = = 霉) 量丸町 3 3 几种效率的关系 在模型( 3 1 ) 下，对于卢的任意两个无偏估计庑，岛 著s 。# ( 磊c o y ( 廛) 0 ，燕l 骞 8 4 ( 詹) 且 0 氛( 嚣) 知( 蠢)i 一1 ，t t ，p 则 t a i t b 甘a i ( a ) = i i 凡( b ) 僻a i ( a ) = ( b ) i = li = l pp t r a t r b 铮i i a i ( a ) = i i 丸( 嚣) 事九( a ) = 九( 曰) i = 1i = 1 pp i i a l l = i i b il 甘i i a ( a ) = i i a ；( b ) a i ( a ) = 赶( b ) l = l = l pp t r a 。一t r b 9 甘i ia ( 以) = ? ( 嚣) 讳m a ) 一a i ( b ) = lt = 1 故，定爨2 成立 定麓3 设在模激( 3 1 ) 下，有 e 4 ( 3 ) e 1 ( )( 3 1 4 ) 仅当。擞，( 两等手c o v ( z + ) 辩等号成立。 证明设a 1 0 为c o v ( 3 + ) 的特征值，p l 脚 0 为c o ( 3 ) 的特 征值 霞秀 c o v ( 厣) c o v ( 芦+ ) 则 斑 i 0i = 1 ，p 一2 2 繁3 章权回归模型的楣对效率 即 等号戎立条棒显然成立 3 4本章小结 考虑娜权西i 筒模型： d o ) 露4 ( p ) e l ( p ) 事矿y = ；矿x 声+ 岛e 翠) 烹o ，o 俄，犯) = 拶2 其审y 为 0 。如果赶缀大，_ 懿计赛 常复杂，戏泰辩，魏潜入翻毪 往用最小二乘估计l s e 声= ( x x ) 一1 x y 来代替b l u e ；口这榉做势必带来一 些缀失，为了度璧邃释损荧，一些学者将一般线彀模垄申定义酶几种重要的稿对 效率应用于此类模烈，得到了如下相对效率【2 8 】，【2 9 ： 州耻勰 e 2 ( 耻器 吲耻铙涨 在本章中第一节中，我稍稳定义了未知参数芦韵一个新的相对效率； e t ( 毋) = f 器j ；国1 ) 译一6 ) 一2 3 一 黼 碍一田 ，h 嘲 一 怒一心 密柏 一 = 北京工业大学理学硕士学位论文 嶷然，当垆1 时，e 4 就撼e 2 ，当q = 2 时，e 4 就是e 3 因此，对e 4 进行讨论非常 霄必要我们农第二节中绘氆了稠对效鬻豹下界，褥到了定理l ；文献【2 s ，【2 9 j 体 者已经证暖了8 l 小于e 2 ，e 3 ，本章定理3 也证嚼了e l ，j 、于e 4 匿鸱，对于l s e 庐 代替矿所产缴的误差，e 1 反映最灵敏，由定理l 可知，q 的值愈大，e a 的下界 愈小；换句落说，对参代耱所产生的误差，q 愈大，e 4 反映愈来愈灵敏农 炭舔应蘑啐l ，胃穰据不简槽琵选取不溺翡q 值 一2 4 第4 章半相依回归模型的相对效率 第4 章半相依回归模型的相对效率 4 1 引言 考虑半相依回归模型( s e e m i n g l y u n r e l a t e d r e g r e s s i o nm o d e l s 以下简称 s u r 模型) y i = x e 觑+ e i ，e ( e i ) = 0 ，c o v ( e t ，e j ) = a q i n i ，j = 1 ，2 ，一，m 这里y 。为7 1 , 1 的观测向量，置为n 。p 的列满秩阵，即r a n k ( x | f ) = p l 未知回归参数，e l 为n 1 误差向量对固定的i ， ( 4 1 ) 屈为 y i = x i 屈+ e i ，e ( e i ) = 0 ，c o v ( e i ) = f f i i 厶i = 1 ，2 ，m ( 4 2 ) 这是一个普通的线性回归模型，不同的观察值互不相关然而当o - i j 0 时，第 i 个模型与第j 个模型的误差向量是相关的“半相依”一词正是反映了误差向 量的这个特征关于s u r 模型参数估