（基础数学专业论文）含缺失数据的约束线性模型回归系数的有偏估计.pdf

摘要线性模型中参数的有偏估计的研究一直是回归分析的热点问题。基于最小二乘法处理病态阵x 共线性问题的不足，线性有偏估计是改进最小二乘估计最直接的方法。无约束线性模型中参数的有偏估计理论的发展已经相对成熟，但在大量的统计问题，如试验设计、方差分析模型和协方差分析模型中，由于附加信息等原因，回归参数满足某些约束条件，这使得带线性等式约束的回归分析具有很重要的研究意义和应用价值。经研究发现，现今通用的一般带约束最小二乘估计同最小二乘估计一样，在处理共线性问题上也存在不足 1 。3 】，因此近年来，很多学者试图找更好的方法来改进一般带约束的最小二乘估计方法。本文试图寻找带约束线性模型中优于最小二乘估计的约束型有偏估计方法，对约束线性回归模型提出了一种新的参数估计的标准( 平均散布误差准则) ，得到了回归系数一种新的约束型有偏估计一一条件部分根方估计( c p r s e ) ，并在缺失数据情形下加以应用，探讨了缺失模型( 4 2 ) 回归系数的约束型岭估计( 砌迎) 的性质。第一章综述了目前国内外线性模型参数有偏估计的发展历史和研究现状。第二章给出了一些预备知识。第三章在郭建锋及史建红的基础上作者提出了一种新的可容许估计条件部分根方估计( c p r s e ) ，证明了存在参数尼，可使回归系数的c p r s e 的均方误差( m s e ) 小于约束最小二乘估计( r l s e ) 的均方误差；在平均散布误差( m d e ) 准则下给出了c p r s e 优于r l s e的充要条件或充分条件；讨论了确定最优尼值的方法。第四章研究了含缺失数据的约束线性模型，研究了缺火数据的填充法，并进一步对含缺失数据的约束线性模型回归系数建立了条件部分根方估计。第五章给出了缺失模型( 4 2 ) 回归系数的约束型岭估计( 也) ，适当地选择参数尼，可使回归系数的约束型岭估计( 迎) 的均方误差( m s e ) 小于约束最小二乘估计( i u s e ) 的均方误差；在平均散布误差( m d e ) 准则下给出了对迮优于r l s e 的充要条件或充分条件。关键词：约束线性回归模型；约束最小二乘估计；条件部分根方估计；岭估计；均方误差；缺失数据a b s t r a c tt h er e s e a r c ho ft h eb i a s e de s t i m a t i o no fp a r a m e t e r si nt h el i n e a rm o d e li sa l lt h et i m eo n eo ft h em o s tp o p u l a ri s s u e so fr e 野e s s i o na n a l y s i s m i l ed e a l i n gw i t ht h em u l t i c 0 1 1 i n e a r i t yo fd e s i g nm a t r i x m eo r d i n a r yl e a s ts q u a r e se s t i m a t i o ni sa l w a y sh e l p l e s s t h e1 i n e a rb i a s e de s t i m a t i o ni st h em o s td i r e c tm e t h o di n 锄e l i o r a t i n gt h eo r d i n a r y1 e a s ts q u a r e se s t i m a t i o n t 1 1 ed e v e l o p m e n to fm eb i a s e de s t i n l a t i o nt h e o 巧o fp a r a m e t e r sh a sb e e nr e l a t i v e l ym a t l l r ei nt h e1 i n e a rr e g r e s s i o nm o d e lw i t h o u ta d d i t i o n a lr e s t r i c t i o l l s 1 1 1a 铲e a td e a lo fs t a t i s t i c a lp r o b l e m ss u c ha si nt h ee x p e r i m e n td e s i g n ，m en l o d e l so fm ev 撕a n c ea n a l y s i sa 1 1 dt h ec o v 撕a n c ea n a l y s i sa n ds oo n ，b e c a u s eo fa d d i t i o n a li n f o m a t i o na n do t h e rr e a s o n s ，r e g r e s s i o np a r a m e t e r sm e e tc e r t a i nr e s t r i c t i v ec o n d i t i o n s ，w h i c hs h o wi np r a c t i c em ei n v e s t i g a t i v es i 印i f i c a n c e sa n dt h ea p p l i e dv a l u e so fm er e s t r i c t e dl i n e a rr e 伊e s s i o n l i k et h eo r d i n a 巧1 e a s ts q u a r e se s t i m a t i o n ，t h ew i d e l y 印p l i e do r d i n a 巧r e s t r i c t e d1 e a s ts q u a r e se s t i m a t i o ni sa l s od i s a d v 狮t a g e o u sf o rd e a l i n gw i t ht h em u l t i c 0 1 1 i n e 撕t yo fd e s i g nm a t r i x 【l - 3 】a sar e s u l t ，ag r e a tm a n yr e s e a r c h e r sr e c e n t l yt 巧t of i n do u tb e t t e rm e t h o d st oi m p r o v et h eo r d i n a 呵r e s t r i c t e d1 e a s ts q u a r e se s t i m a t i o n i nt h i sd i s s e r t a t i o n ，w et qt os e e ks o m eb i a s e de s t i l a t i o n sb e t t e rm a nt h eo r d i n a r yr e s t r i c t e dl e a s ts q u a r e se s t i m a t i o ni nr e s t r i c t e dl i n e a rr e g r e s s i o nm o d e l b e s i d e s ，p r e s e n tan e ws t a n d a r d ( m d e )f o re s t i m a t i n gt h er e 伊e s s i o nc o e 街c i e n to fr e s t r i c t e d1 i n e a rr e g r e s s i o nm o d e l ，a n dg i v ean e wr e s t r i c t e db i a s e de s t i m a t i o no fr e 铲e s s i o nc o e 伍c i e n t c o n d i t i o n a lp a n i a lr o o ts q u a r e se s t i m a t i o na n di ti si n t r o d u c e di n t or e s t r i c t e d1 i n e a rr e g r e s s i o nm o d e lw i t hm i s s i n gd a t a ，a n di n v e s t i g a t et h ef e a t u r e so ft h er e s t r i c t e dn d g ee s t i m a t i o no fr e g r e s s i o nc o e 伍c i e n ti nm o d e l ( 4 2 ) w i t hm l s s l n gd a t a i nc h 印t e r1 ，w ed i s c u s st h eh i s t o 巧o fd e ve l o p m e n ta n dt h ec u r r e n ts i m a t i o no ft h eb i a s e de s t i m a t i o ni nt h el i n e a rr e g r e s s i o nm o d e l i nc h 印t e r2 ，w eg i v es o m ep r e l m o w l e d g e i nc h a p t e r3 ，o nt h eb a s i so f ( h oj i a l l 一f e n ga j l ds h ij i a n - h o n g ，t h ea u t h o rg i v ean e wp e n l l i s s i b l ee s t i m a t i o n c o n d i t i o n a lp a n i a lr o o ts q u a r e se s t i m a t i o n ( c p r s e ) ，p r o v et h ee x i s t e n c eo fp a r 锄e t e r s 尼o fm a k i n gm e a ns q u a r e se n - o r ( m s e ) o ft h ec o n d i t i o n a lp a n i a lr o o ts q u a r e se s t i m a t i o n1 e s st h a nt h a to ft h er e s t r i c t e dl e a s ts q u a r e se s t i m a t i o n ( r l s e ) w eg a i nan e c e s s a 巧a n ds u f j i c i e mc o n d i t i o no rs u 珩c i e n tc o n d i t i o n sw h i c hc p r s ei ss u p e r i o rt or l s eu n d e rt h em e a nd i s p e r s i o ne r r o r ( m d e )m a t r i xc o m p a r i s o n sc r i t e r i o n ；a n ds o m eo fm e m o d sa r ed i s c u s s e dt oe v a l u a t et h eo p t i m a lv a l u eo f 厄i nc h 印t e r4 ，w er e s e a r c ht h er e s t r i c t e dl i n e a rr e g r e s s i o nm o d e lw i t hm i s s i n gd a t aa n di m p u t a t i o nm e m o d si nm i s s i n gd a t a ，a n dw eh a v ea c c e s st oc o n d i t i o n a lp 矾a 1r o o ts q u a r e se s t i m a t i o n ( c p r s e )o fr e g r e s s i o nc o e 伍c i e n ti nr e s t r i c t e dl i n e a rr e g r e s s i o nm o d e lw i t hm i s s i n gd a t a i nc h 叩t e r5 ，w eg i v et h er e s t r i c t e dr i d g ee s t i m a t i o no fr e g r e s s i o nc o e m c i e n t i nm o d e l ( 4 2 ) w i mn l i s s i n gd a t aa j l d 尼c a nb ec h o s e nt om a k em e a ns q u a r e se 仃o r ( m s e ) o ft h er e s 仃i c t e dr i d g ee s t i m a t i o n ( i 沁)1 e s st h a no ft h er e s 缸c t e d1 e a s ts q u a r e se s t i m a t i o n ( r l s e ) ，w eg a i nan e c e s s a r ya n ds u f j e i c i e n tc o n d i t i o no rs u f j i c i e n tc o n d i t i o n s 、h i c h 也i ss u p e r i o rt oi 也s eu n d e rt h em e a nd i s p e r s i o ne 盯r o r ( m d e ) m a t r i xc o 撕i p a r i s o n sc 订t e r i o n k e yw o r d s ：r e s t r i c t e dl i n e a rr e 伊e s s i o nm o d e l ；r e s t r i c t e dl e a s ts q u a u r e se s t i m a t i o n ；c o n d i t i o n a lp 矾i a lr o o ts q u a r e se s t i 啪t i o n ；硒d g ee s t i m a t i o n ；m e a ns q u a r e se 丌o r ；m i s s i n gd a t a i v湖南师范大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其它个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确的方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：砒年| 月劢日湖南师范大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权湖南师范大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于1 、保密口，在一年解密后适用本授权书。2 、不保密口。( 请在以上相应方框内打“)作者签名：导师签名：鹕刚何踩u日期：础年f 月勿日日期：加年，月汐日含缺失数据的约束线性模型回归系数的有偏估计绪论线性回归模型是一类重要的统计模型，是现代统计学中内容丰富、应用广泛的一个研究分支随着计算机的日益普及与数字计算能力的不断提高，它被广泛应用于生物、医学、经济、管理、金融、工农业、工程技术等领域，并在其中发挥着重要作用近几十年来，很多学者对线性模型进行了深入细致的分析和研究，使它无论在广度和深度上都有不少新的发展，例如有偏估计、可容许性理论、非参数回归、稳健回归、大样本理论、b a y e s 方法、回归诊断n 。4 1 等等这些新的研究方法中，多数在一定程度上扩大了线性模型的研究范围，具有很大的实用价值这些新的理论和方法进一步将线性模型的研究推向新的高峰，使得线性模型被更加广泛地应用于国民生产各个领域1 1 有偏估计的发展历史及研究现状线性回归模型是数理统计学发展比较早的分支之一，关于它的参数估计的研究可以追溯到上世纪初在众多的估计参数方法中，最小二乘法具有重要的基础地位著名数学家a m l e g e n d r e 和c f g a u s s分别于1 8 0 5 年和1 8 0 9 年把最小二乘法应用于观测数据的误差分析，从而开启了最小二乘法的大门1 9 0 0 年a a m a r k o v 证明了在无偏估计类中l s 估计具有方差最小的性质，即著名的g a u s s m a r k o v 定理，刻画了最小二乘估计在线性无偏估计类中的最优性，从而奠定了l s估计在线性模型参数估计理论中的地位19 71 年，针对奇异线性模型，因协方差阵的逆不存在，不能通过最小化残差平方和来求得参数的最小二乘估计，r a o 提出了“最小二乘统一理论”，这种方法既适用于设计阵列满秩或列降秩的情形，又适用于协方差阵奇异或非奇异的情形，进一步巩固了最小二乘估计在参数估计中的地位相合性是评价估计优良性的一个重要准则对于l s 估计的相合性，许多学者进行了研究n 叫9 j ，l s 估计的相合性奠定了l s 估计的重要地位l s 估计的结果使得人们在很长时间里认为l s 估计是解决线性模型参数估计的最好估计随着回归分析研究的深入，统计学家在实际应用和理论分析中发现最小二乘估计存在一些问题1 、实际应用中，l s 估计对处理高维的复共线性数据的无力性涉及众多参数的大型回归系统中，自变量之间难免存在近似的线性关系，从而导致设计阵的列向量近似线性相关乜。3 ，即设计阵的病态若自变量之间存在完全共线性，则( x x ) q 不存在，正规方程的解不唯一在一般共线性或近似共线性即病态下，( x x ) _ 尽管存在，但对角元素很大，由l s 估计量的方差表达式仃zf x x l _ l ，知估计的方差较大，从而精度较低，回归系数的估计方差将随着解释变量间的相关程度的不断增强而迅速扩大，l s 估计失效由于多重共线性的存在，也使方差扩大因子变大，这样，一方面使t 统计量的临界值增大n8 | ，拒绝域变小，导致通过样本计算的t 值小于临界值，从而做出对参数的错误推断，将重要的自变量排除在模型之外，因此，接受一个错误假设及作含缺失数据的约束线性模型回归系数的有偏估计出错误决策的风险都变大；在回归系数的估计值和它们的估计标准差对于样本数据的微小变化非常敏感，回归系数估计值的稳定性将变得很差甚或与实际结果大相径庭2 、理论分析中，l s 估计的不可容许性1 9 5 5 年，s t e i n 乜1 证明了对多元( 维数大于2 ) 正态分布，在平方损失下，其均值向量的最小二乘估计是不可容许的这一新的发现使得人们重新对l s 估计加以研究人们发现，l s 估计的优良性仅仅在线性无偏估计类中才能表现出来，如果将估计类从无偏估计扩展到有偏估计或非线性估计类中，l s 估计的优势不再存在为了解决最小二乘法带来的问题，很多统计学家提出稳健回归等方法来克服它，试图改进l s 估计一方面，从模型或数据角度加以考虑，如变量选择和回归诊断；另一方面，寻求一些新的估计1 9 5 5 年s t e i n 证明了l s 估计在平方损失下的不可容许性，紧接着j a m e s 和s t e i n 提出了著名的j 锄e s s t e i n 压缩估计，在二次损失下，它优于原有的最小二乘估计这些结果使得很多统计学家对有偏估计的研究产生了兴趣，并相继提出了很多新的有偏估计，其中主要有主成份估计心t3 1 、岭估计乜3 l 、广义岭估计乜1 ，p l s 估计1 、根方估计乜0 。2 2 3 等从某种意义上来说，这些估计都改进了l s 估计，这些估计的一个共同特点是，它们都不是无偏估计，于是人们把这些估计统称为有偏估计线性有偏估计是针对病态阵x 来改进l s 估计的最直接的方法随着时间的推移、科学的进步，参数估计也在不断的丰富和扩充其中，1 9 8 6 年s i n g h 和c h a u b e y 瞳33 提出了几乎无偏的岭估计，1 9 8 7高校教师在职硕十学位论文年贾忠贞瞳43 提出了组合主成分估计，1 9 8 8 年夏结来、郭祖超、胡琳心刚对线性回归模型提出了狭义根方估计，证明了其具有一些良好的性质，在一定的条件下，根方估计的均方误差比l s 估计的均方误差小根方估计和岭估计都是从同一个角度来改进最小二乘估计的，但采用的途径不一样，从数据模拟的结果可知，有时根方估计优于岭估计，有时岭估计优于根方估计19 8 9 年杨虎瞳卯提出了单参数主成分估计，归庆明乜6 3 于1 9 9 4 年提出了多元广义主成分估计类，1 9 9 4 年夏结来瞳7 1将狭义根方估计作了拓广，得出了回归系数的广义根方估计，同时也证明了广义根方估计能更有效地改善l s 估计，并且广义根方估计的均方误差小于狭义根方估计的均方误差徐文莉和林举干昭羽1 9 9 5 年提出了岭型组合主成分估计1 9 9 5 年黄养新乜2 1 采用根方估计来估计增长曲线模型中回归系数，通过根方参数的选取，可使根方估计的均方误差小于l s 估计的均方误差，给出了选取根方参数的三种方法1 9 9 5年于义良和宋卫星瞳9 。3 在多重共线性关系时，给出了回归系数的根方型主成分估计和s t e i n 型主成分估计，证明了根方型主成分估计更有效地改进主成分根方估计及l s 估计1 9 9 6 年高兑现、黄养新口2 1 将根方估计作一拓广，提出了回归系数的广义根方估计，证明了广义根方估计能更有效地改善最小二乘估计，并给出了广义根方估计的显示解和确定偏参数的方法1 9 9 6 年夏正茂等口3 1 从矩阵变换理论出发，对多元线性模型的系数提出了广义根方估计，证明了它优于系数的l s估计，并且是可容许性估计林路b 们于19 9 6 年提出综合岭估计a 1 d r i n 副于1 9 9 7 年提出了改进的岭估计1 9 9 7 年刘小茂，张钧心含缺失数据的约束线性模型凹归系数的有偏估计针对连续测量数据，给出了混合系数线性模型参数的根方估计，并且证明了通过根方参数的选取，可使根方估计的均方误差小于l s 估计的均方误差2 0 0 2 年归庆明、张建军、郭建锋提出了岭型广义逆估计6 1和部分根方估计口6 1 等等1 2 约束型有偏估计的现实意义和研究现状前面提到的估计方法都是考虑参数在无约束条件下的情况，模型形式为：】，= 又夕+ 岛e = o ，a 烈e ) = 厶在很多实际问题中，需要处理的线性模型往往是带约束条件的心3 4 3 ，例如，如果事先已经具有了回归参数夕的先验信息，利用约束，这时关于估计的信息增加了，因此，将使的估计性能有所改善，当然这种约束必须是真实的，否则会产生不良的后果声的约束有两种情况：线性约束和不等式约束n 3 又如，在方差分析模型或协方差分析模型中，固定效应口，岛或者交互效应乃，屹都要满足约束条件：口，= o ，红= o 或= o ，屹= o t。iij这些问题都可以归结为带约束条件下的线性模型，因而从这个意义上来说，约束型的线性模型同无约束的线性模型一样，具有重要的研究意义和应用价值一般情况下，上述问题可以表示为带线性等式约束的一般线性模型：y = + 占，尺= r ，占( o ，盯2 胛。)其中】，为门1 的观察向量，x 为”p 的设计矩阵，r 口础( x ) = p ，r 为9 p 非零已知矩阵，s 为，7 1 的随机误差向量，满足高校教师在职硕士学位论文e ( 占) = o ，e ( 箔) = 仃2 ，为g 1 向量，b 垒泸：筇= ， 为待估参数向量解决这个问题通常采用一般带约束的最小二乘估计叫1 ，简记为o i u s e 虽然o i u s e 作为一种无偏估计应用广泛，然而跟l s 估计一样，此方法也存在前述的设计阵j 为“病态”时，参数的估计极不稳定或严重偏离实际值的问题这种结果导致了在处理多变量的约束线性模型时，即使利用了快速且高精度的计算机然而估计得到的参数往往不理想，甚至会误导因此，若能提出一种类似于弥补l s 估计缺陷的方法，也许就可以很好的解决0 r l s e 所存在的问题，这也是当前所热衷解决的问题鉴于有偏估计是克服病态阵的最直接的方法，很多学者都试图从有偏估计的角度来解决0 r l s e 在处理多重共线性上的不足但是由于带有线性约束的线性模型要比一般无约束的线性模型要复杂，因而在解决的过程中必然要处理相对于无约束模型估计更为复杂的计算和推导，所以对于有线性约束的线性模型的有偏估计的研究远没有无约束线性模型所研究的那样的广泛和深入为了克服带有线性约束的线性模型出现的这种病态现象，很多学者从有偏估计的角度对它进行了研究，并提出了一些有效的方法陋例1 9 9 2 年，s 破a rm 1 引进一种新的估计即在o i 也s e 方法前添加一个控制变量t 。，从而使得估计参数的均方误差降低2 0 0 3 年，所学玎针对这个问题提出利用s w i n d l e 提出的思想与o i 也s e 结合起来估计带约束的线性回归n4 | 史建红。粥，3 卯提出了齐次等式约束下线性回归模犁：含缺失数据的约束线性模型回归系数的有偏估计j 】，= x + p ，e ( e ) = o ，c d v ( p ) = 仃2 l【r = o的条件岭估计+ ( 七) = ( 七+ ，) 叫+ ，他也提出了狭义条件根方估计：万( 后) = ( + ) 麟yo 七 o ，并证明了总可以选择一个适当的七值使得条件根方估计优于o r l s e ，但是当x x 的非零特征根有小于1 时，条件根方估计将不是约束可容许估计史建红等【4 0 4 3 】提出一种改进形式，即的广义条件根方估计：万( k ) = ( 形+ ) 陟x 7 ，其中k = 讲昭( 七。，霓p ) ，( 矿+ ) k = 鲫口g ( 矿t ，砖- ，o ，o ) q ，尼，的取值范围按下列方式确定：f若兄f 1 ，则尼f ( o ，+ ) 若丑= 1 或o ，则色= of _ 1 ，p ，【若以 o ：若彳为半正定对称方阵，记为么o ：如果彳一b o ，记为4 曰：如果4 一b o ，记为彳 b 2 2 幂等阵定义2 1 设彳为方阵，且满足彳z ：彳，则称么为幂等阵定理2 1 设彳为刀刀实对称阵，则( 1 ) 彳的所有特征根都是实数；( 2 ) 存在正交阵，使得_ = 斫昭( 丑，九) ，这里丑，以为4 的特征值，的列为对应的标准正交化特征向量( 3 ) 若4 为实对称的幂等阵，且秩为厂，则存在正交阵，使得彳= 心【ooj高校教师在职硕士学位论文2 3 矩阵微商在线性模型分析中，为了获得参数的最小二乘估计或极大似然估计，常常需要用到矩阵微商的知识矩阵微商本质上是一般的多元函数的微商，并没有新的概念但是，对于一些常用的矩阵微分，也有一定的运算规律，并能用简洁的矩阵形式表示出来定理2 2 【卜3 1设口，x 均为行1 向量，y ：口k ，则学= 口定理2 。3 【1 3 1设彳对称，x 删为向量，y = x 钕，则孚= 2 血2 4 期望与方差定理2 4 【1 3 1设彳为聊以非随机矩阵，x 和6 分别为刀1 ，m l 随机矩阵，记y = 么x + 6 ，贝0e ( 】，) = 么e ( x ) + e ( 6 )定理2 5 【1 3 1设么为肌月非随机矩阵，为行1 随机向量，】，= 剃，贝0c d v ( 】，) = 么c b v ( x ) 么定理2 6 【l - 3 1设x 和】，分别为”1 ，所1 随机向量，彳和b 分别为p ，2 ，g 朋非随机矩阵，则c d l ，( 删，b y ) = 彳c d l ，( x ，】，) 曰7定理2 7 【1 3 1设e 似) ：，c d v ( x ) ：，则e ( x 扎y ) = 么+ 护( 彳)定理2 8 【l - 3 1设夕为p 1 未知参数向量的一个估计，则此f 跑( ) = e ( 一) ( 一) = 护c d y ( ) + 0 印一0一一一一一z2 5 损失函数和风险函数定义2 2 n 9 1 损失函数三( 口，舀) ，它是定义在o 上的二元函数它表示当自然界( 或社会) 处于状态护时，而人们采取行动痧对人们引起的含缺失数据的约束线性模型回归系数的有偏估计( 经济) 损失损失函数( 臼，痧) 是把决策与经济效益联系在一起的桥梁定义2 3 n 卯设万( x ) 是一个统计决策问题中的决策函数，那么损失函数( 臼，万( x ) ) 关于样本x 的分布岛( x ) 的数学期望r ( 9 ，万) = q i 占 ( 秒，万( x ) ) = p ( 9 ，万( x ) 访( x ) 批( x )称为决策函数万( x ) 的风险函数有时简称风险其中是控制测度，常取l e b e s g u e 测度或计数测度2 6 可容许性定义2 4 m 设鼠，岛为目的两个估计，如果对于风险函数三( ，) ，有( 1 ) 三( 乡，q ) 三( 护，岛) ，对于一切臼成立：( 2 ) 至少存在一个岛，使得上述不等式成立则称q 关于风险函数三( ，) 一致优于岛若在某个估计类中，不存在一致优于估计痧的估计，则称痧在该估计类中关于风险函数三( ，) 为参数目的可容许估计，简称舀为p 的可容许估计反之，如果上述定义中的两个条件不完全成立，则称痧为目的不可容许估计2 7 一些重要不等式和等式定理2 9 3 1 设彳为刀聊阶矩阵满足，一硼尼( 彳) = 聊门，曰为一个对称矩阵，则满足：彳删o当且仅当曰o 定理2 1 0 ( b a k s a l 哪和k a l a ( 19 8 3 ) )若4 。2o ，口为一个刀1 向量，则：彳一口口o 当且仅当口彳+ 口1 ，其中彳+ 为a 的m o o r e p e m o s e 广义逆高校教师在职硕士学位论文特殊地，当彳= ，时，则，一口a o 当且仅当日以1 定理2 1 1 3 1如果彳：p p ，b ：p ，z ，c ：，2 ，z ，d ：以p 矩阵，且所有的逆矩阵存在，则( 彳+ 曰c d ) 一= 彳一一彳一1 b ( c 一1 + 删一b ) 蜊一i1 2含缺火数据的约束线性模型同归系数的有偏估计3 约束线性模型回归系数的条件部分根方估计3 1 约束型条件部分根方估计的提出考虑带非齐次线性等式约束的线性回归模型】，= x + s ，s ( o ，仃2 t 。) ，r = r( 3 1 )其中】，为以l 的观测向量，x 为疗p 的设计矩阵，尺为q p 非零己知矩阵，s 为玎1 的随机误差向量，厶为n 阶单位阵，b 垒泸：r = ，- ) 为p l 的未知回归参数向量，盯2 o 为误差方差，厂为g 1 向量，m ( 尺，) cm ( x ) ，秩( x ) = p ( 列满秩) ，秩俾) = 仰= ，g ( 行满秩) 于是r 是g 个线性无关的可估函数根据尺= r 的相容性，存在尺= r 的一个特殊解屁，例如屈= r ( 艘) ，作变换z = 】，一x 属，7 = 一屈，模型( 3 1 ) 即可化为齐次线性约束模型：z = x y + s ，r y = o ，s ( o ，仃2 ，。) ，求出尹后，利用尹：矽一风即可得夕因风为一个具体数值，矽与尹的均方误差一致，因此，本章重点考虑齐次约束条件下的线性模型：】，= x + s ，s ( o ，盯2 ，。) ，r = o( 3 2 )对模型( 3 2 ) ，利用条件极值法可求得的约束最小二乘估计( r l s e ) 为= 夕一s 。1 j r ( 胚。i 尺) r 矽= ( s 一s 。1 r ( 魁_ r ) 尺s 一) x y = x ，y ，其中夕：s 一，7 为的无约束条件的最小二乘估计( l s e ) ，s = x ，= s 一s 一1 j r ( 麟一i 尺) 胚，4 为在约束条件尺= o 下的唯一的最佳线高校教师在职硕士学位论文性无偏估计( b l u e ) 但人们在实际应用l s e 中积累的经验说明了l s e有时不够理想n5 | ，造成这种情况的原因很多，如方差可能缺乏齐一性：异常值的存在：重要的是设计阵x 的“病态性”，致使l s 估计的性能变坏如在无约束线性模型下，当s 接近奇异时，至少有一个特征根接近于o ，从而导致夕的方差很大我们选择矽的依据是使剩余平方和达到最小，即使i l 】，一x 0 2 = ( 】，一x ) ( 】，一x 夕)达到最小而这仅仅表示p 与这n 组观测数据拟合得最好，并不表示夕与参数的真值很接近为了更好地刻画了l s 估计p 与真值的接近程度，可以考虑夕的均方误差( m s e ) ，脚( 夕) = e 肾i | 2 = e ( 夕一胗一) 圳护( ) 纠争当蹒态时，朋阳( 夕) 就很大，夕不是的一个好的估计针对s的病态性，早在19 3 5 年a i t k e n 就提出了用的线性有偏估计代替无偏估计矽的思想第一章提到夏结来用根方估计来改善最小二乘估计，史建红n0 | ，农秀丽、刘万荣n 将根方估计引入约束条件中，得到了条件根方估计，但它只有当特征根全大于或等于1 时才是可容许估计，从而史建红等提出了广义条件根方估计来改正它，使之具有可容许性在本文中，作者提出了另种改正方法，它就是下面的条件部分根方估计该估计的特点是：在约束条件下，只对小于1 的那部分特征根作压缩，是一种部分压缩估计理论分析说明了条件部分根方估计是一种能够有效改进o r l s e 的新的有偏估计，并且证明了它是可容许估计含缺失数据的约束线性模型回归系数的有偏估计为了下文的需要，先给出如下引理及其定义引理3 1 在约束线性模型( 3 2 ) 中，= 一尺( 月尺7 ) 。船一1 为半正定对称矩阵，且臃肛形，秩( 叨= p g 引理3 1 的证明见参考文献 3 8 4 l 】引理3 2 在约束线性模型( 3 2 ) 中，存在p 阶正交阵q ，使q 7 叼= d f 口g ( 五，乃一o ，o ) 全八，以为形的非零特征根，且丑丑乃一。 o 证明：由引理3 1 及第二章定理2 1 结论显然引理3 3 在约束线性模型( 3 2 ) 中，令口= q = ( q ，晖) ，则川= 口。：= = 哆= o ，其中q 与引理3 2 中相同引理3 3 的证明见参考文献 3 8 4 1 引理3 4 8 。4 在约束线性模型( 3 2 ) 中，令a ：q ，：( 口j ，口；) ，则口：，= 口二州= = 口：= o 证明：由+ 的定义可知：口+ = q + = q 嬲y = q 嘲q w 7 = 人q w y ，由人的定义知：口，：口，：口。：o ，一+ lp i 叮+ ：，在一般的带齐次线性等式约束的线性模型下，设c 为聊夕的常数矩阵，c 为条件可估函数，记c 的所有齐次线性估计类为( c ) 全 彳】，：彳为聊聆的常数矩阵) ，c 的所有线性估计类为。( c ) 全 彳】，+ 6 ：彳为聊胛的常数矩阵，6 为m 1 的常数向量- 引理3 5 在般的带齐次线性等式约束的线性模型中，设彳与c 分别为肌x 以，门p 的常数矩阵，若c 条件可估，则彳j ，c ( c ) 的充要条件xj ：高校教师在职硕士学位论文( 1 ) 爿= 脯一缈；( 2 ) 脯一戈么7 廊一e 其中臂= x ( ，一尺7 ( 艘) 一r ) ，于= 贾矿。膏，e = c ( ，一只( 艘) 一尺) 引理3 5 的证明见参考文献 4 6 4 8 损失函数不同，对应不同的风险函数，就存在不同的比较准则，在风险函数分别为r ( ，矽) = e ( p 一) d ( 夕一) = e0 夕一屺和r ( ，矽) = e ( 夕一) ( 夕一) 垒m ( 虞)时，的容许估计分别记为夕三和p i ，如果d = ，则简记矽二为夕，它们有关系：弓l 理3 6 如果p ，那么( i ) 夕= ：( ii ) 对一切d o ，p 二引理3 6 的证明见参考文献【4 定义3 1 3 1 设p 是参数的估计，则称m ( 彦) = e ( 矽一) ( 夕一) 为估计矽的平均散布误差矩阵，且m ( 参，) = e ( 矽一) ( 夕一) = 哳( 夕) + b 泐( 夕，) b r 鲫( p ，) 定义3 2 【3 1 设矗，厦是参数的两个估计，若它们的平均散布误差矩阵之差是非负定的，即( 矗，屋) = m ( 盆，) 一m ( 座，历o ，则称屋是在m d e - l 准则下优于矗定义3 3 【3 1 设矗，屋是参数的两个估计，若e ( 局一) ( 矗一) 一e ( 屋一) ( 屋一) o ，则称屋是在m d e i i 准则下优于屋含缺失数据的约束线性模型回归系数的有偏估计定义3 4 在模型( 3 2 ) 中，称由下式给定的矽( ，尼) 为的条件部分根方估计( c p r s e ) ：矽( ，尼) = 9 西昭( 1 ，1 ，戤，雒一。，o ，o ) q 缉y 垒( 町) ，其中假定存在1 厂 4 七( o 七 1 ) 称为根方参数与通常的根方估计相比，条件部分根方估计是仅对小于1 的特征根作压缩，充分体现了对较大特征根不应作过大改变的思想当乃一。1 或七= o 时，条件部分根方估计即为约束最小二乘估计( r l s e ) ，当a 1 时，条件部分根方估计就是条件根方估计3 2 约束型条件部分根方估计的性质性质3 1 条件部分根方估计矽( ，克) 是的压缩有偏估计证明：因为e 矽( r ，尼) = e ( 町) 。= ( 町) ，其中( 阿) = q d 如笞( 1 ，1 ，五乏。，雒一，o ，o ) q ，o 之硝 1 ，f = r + 1 ，p g 而删= 孵) 。+ i | = i | q ( 八；) 。卯+ i i ：| f ( 八：) 。卵i i i i 卯+ i l = i i + 0所以矽( ，- ，七) 是的压缩有偏估计性质3 2 在模型( 3 2 ) 中，条件部分根方估计矽( ，一，尼) 的均方误差为肱姬( 矽( ，七) ) = 盯2 主五+ 仃2 笠爿诎+ 鐾( 硝一1 ) 2 彳全h ( 尼)( 3 3 )证明：脚( 矽( 厂，七) ) = 护( c d v 矽( ，七) ) + ( 厂，七) 一琊= 盯2 护( ( 町) 形( 町) 0 + 0 ( 町) 。一喜五蓦矿邯7 ( ( 町) 一州( 町) 一咖：盯：窆乃+ 盯z 篁+ ，q ( 八：一，) 2q ，高校教师在职硕士学位论文：盯z 窆乃+ 仃z 篁爿协+ 篁( 硝一1 ) 2 口一，= l，= ，+ l，= ，+ 13 3 约束型条件部分根方估计的均方误差与约束型最小二乘估计的均方误差大小比较定理3 1在模型( 3 2 ) 中，存在o 尼 1 ，使得肱姬( 矽( 厂，七) ) m 距( + ) ，即在一定条件下，条件部分根方估计在均方误差意义下控制约束最小二乘估计证明：记( 后) 全盯z 窆丑+ 盯：篁硝饿，心( 尼) 全窆( 硝一1 ) 2 口? ，f = l，= ，+ l，= ，+ l则日( 七) ：啊( 七) + 吃( 七) ，当足：o 时，有日( o ) ：仃z 篁乃：脚( + ) ；日( 尼) 关于k 求导得：h 7 ( 尼) = 巧( 尼) + 噬( 尼) ，7 l l ( 忌) ：2 仃2 篁卅+ 2 觑乃，噬( 意) ：2 窆( 硝一1 ) 硝砌五口? ，因当，+ 1 f p g ，o 丑 1 ，所以矗( 七) o ，可知( 七) 是( o ，1 ) 上的单调减少函数，吃( 尼) 是( o ，1 ) 上的单调增加函数，而h ，( o ) ：2 盯z 篁五砌元 o ，h ( 七) 是关于尼的连续函数，根据连续函数的保号性知，存在( o 1 ) ，当o 尼 时，h7 ( 尼) o ，故日( 后) 是( o ，氏) 上的单调减少函数，所以有h ( 庀) h ( o ) ，即存在七( o 七 1 ) ，脚( 矽( ，后) ) 脚( ) 从定理3 1 的证明过程知道，旌e ( 矽( r ，尼) ) = j ( 1 l ( 庀) + j ；1 2 ( 七) ，j f 2 l ( 后) 是矽( ，七) 的方差之和，是( o ，1 ) 上的单调减少函数；吃( 七) 是偏差的平方和，是( o ，1 ) 上的单调增加函数，从而条件部分根方估计是用估计值的偏性含缺失数据的约束线性模型回归系数的有偏估计-来换取方差减少3 4 约束型条件部分根方估计在m d e 准则下优于r l s e 的条件定理3 2 条件部分根方估计矽( r ，七) 在m d e - 1 准则下优于约束最小二乘估计矿的充分必要条件是：盯- 2 q ( 八：一，) ( 八，姒一 ：) + ( 八：一，) 9 1 证明：夕( ，七) = ( 彬+ ) 牛，幸=夕廿1 r ( 胚一1 尺) r 夕= 麟y ，e + = ，玩，幸= 盯2 缈，e 矽( ，七) = ( 町) ，脚( 矽( ，七) ) = 仃2 ( 町) ( 町) ，m ( + ，) = 肠r ( + ) + b f 伽( ，) b f 傩( + ，) = 仃2 形m ( 矽( ，七) ，) = 攻矿( 矽( ，七) ) + b 伽( 矽( ，七) ，) b 姚( 矽( ，七) ，) = 盯2 ( 町) 形( 町) + ( ( 町) 一) ( ( 昨) ：) 7= 仃2 ( 町) 矽( 町) + ( ( 町) 一，) 筇( ( 町) 一，) ，= 仃2 ( 町) 形( 町) 。+ ( 町) 七筇7 ( 町) 。一( 町) 筇7 一筇( 町) + 筇= 仃2 ( 町) 形( 町) + ( 町) ( 町) 一( 町) ( ) _ ( 町) 一( 町) ( 町) 。( 昨) + ( 町) 。( 町) 筇( 町) “( 町) 所以( + ，矽( ，后) ) = m ( ，) 一m ( 矽( ，尼) ，) = 盯2 ( 町) ( 町) 缈( 町) “( 町) 。一盯2 ( 町) 。( 町) 一( 町) 筇( 町) + ( 町) 筇( 町) “( 町) 。+( 町) ( 町) 筇( 町) 一( 町) ( 町) 一筇( 町) 以( 町) = ( 町) f 盯2 ( 町) ( 町) 一盯2 一筇+ 筇( 町) 一+ ( 町) 筇一( 町) 伊7 ( 町) “) ( 町) = ( 町) i 仃2 ( ( 町) 形( 町) 一) + 筇7 ( ( 町) 一，) 一( 町) 筇( ( 町) 一一训( 町) 1 9高校教师在职硕士学位论文= ( 町) ( 仃2 ( ( 町) 形( 町) 一一) 一( (