（概率论与数理统计专业论文）带等式约束的奇异线性回归模型的条件岭型估计.pdf

重庆大学硕士学位论文 中文摘要 摘要 基于最小二乘法在处理复共线性问题上的不足，线性模型中有偏估计的研究 一直是统计学中的一个热点问题。对不带约束的线性模型的有偏估计已经发展得 相对成熟，但在大量统计问题中，参数往往附加了一定的约束条件，其中有很大 一部分问题考虑的是线性等式约束。这就使得带线性等式约束的线性模型具有很 重要的研究意义。约束最b - - - 乘估计同最小二乘估计一样，在处理复共线性问题 上存在不足。因而，近年来很多学者试图找出较好的方法来改进约束最小二乘估 计。统计学家们现在面临的问题不仅是在最小二乘估计和有偏估计之间进行选择， 同时也面临着在现有这些有偏估计之间进行选择。所以，有偏估计之闻优良性的 比较具有一定的理论和实际意义。 本文考虑到复共线性的存在，对线性模型有偏估计理论作了进一步探讨，对 其性质进一步完善，主要作了如下四个方面的工作： 对带线性等式约束的奇异线性模型，从有偏估计的角度出发，利用极值方 法得到一个新的约束型有偏估计：条件岭型估计，此估计能够避免由于复共线性 导致的参数分量的无限制性偏离，并能与现有的无约束的有偏估计很好的结合起 来；对此估计的无偏性、单调性及稳定性等一些性质进行理论分析；并同约束最 d , - 乘估计进行比较，分别得出条件岭型估计在均方误差和均方误差矩阵下优于 约束最小二乘估计的充分条件，确定了偏参数的取值范围。 分别研究了两对有偏估计。在广义均方误差下，比较了j a m e s - - s t e i n 估计 和广义岭型估计，确立了j a m e s - - s t e i n 估计优于广义岭型估计的充分条件；在均 方误差矩阵下，比较了约束型岭估计和约束型l i u 估计，分别确立了约束型岭估计 优于约束型l i u 估计的充分条件，以及约束型l i u 估计优于约束型岭估计的充分条 件；之后，为了实现约束型岭估计和约束型l i u 估计在实际应用中的可操作性，进 一步确定参数k 和d 的取值。 利用实际数据，进行实证分析。在k 和d 不同取值下，计算约束型岭估计和 约束型l i u 估计的均方误差，并进行比较，验证在均方误差矩阵下约束型岭估计优 于约束型“u 估计及约束型l i u 估计优于约束型岭估计这些充分条件的正确性。 研究了几乎无偏广义l i u 估计的样本性质，得到了几乎无偏广义l i u 估计矩 的通式，并推导出其一、二阶矩的具体表达式。 关键词：条件岭型估计，约束型岭估计，约束型l i u 估计，几乎无偏广义l 缸估计，矩 重庆大学硕士学位论文英文摘要 a b s t r a c t d u et ot h ed i s a d v a n t a g eo ft h el e a s ts q u a r e se s t i m a t ef o rd e a l i n gw i t ht h e m u l t i c o l l i n e a r i t y , t h ei n v e s t i g a t i o ni n t ob i a s e de s t i m a t o r si nl i n e a rm o d e li sa l w a y so n e o f t h em o s tp o p u l a ri s s u e si ns t a t i s t i c s w h i l et h eg r o w i n gm a t u r i t yo f b i a s e de s t i m a t o r s i nl i n e a rm o d e lw i t h o u ta d d i t i o n a lr e s t r i c t i o n s ，v a r i o u sp r a c t i c a lp r o b l e m sm u s tb e r e g r e s s e dw i t ha d d i t i o n a ll i n e a re q u a l i t yr e s t r i c t i o n s ，w h i c hs h o w si n v e s t i g a t i v e s i g n i f i c a n c e sa n da p p l i e dv a l u e s l i k et h el e a s ts q u a r e se s t i m a t e ，t h er e s t r i c t e dl e a s t s q u a r e se s t i m a t ei sa l s on o ti d e a lf o rd e a l i n gw i t ht h em u l t i e o l l i n e a r i t y a sar e s u l t , a g r e a tm a n yo fr e s e a r c h e r st r yt of i n do u tab e t t e rm e t h o dt oi m p r o v et h er e s t r i c t e dl e a s t s q u a r e se s t i m a t er e c e n t l y t h es t a t i s t i c i a n st h u sf a c et h ep r o b l e mo fc h o o s i n gb e t w e e n t h el e a s ts q u a r e se s t i m a t ea n dab i a s e de s t i m a t o nt h e ya l s of a c et h ep r o b l e mo f c h o o s i n gb e t w e e nt w ob i a s e de s t i m a t o r s t h e r e f o r e ，t h ec o m p a r i s o na m o n gb i a s e d e s t i m a t o r sh a sc 盯t a i ns i g n i f i c a t i o ni nt h e o r ya n d p r a c t i c ea s p o ：t i nt h i s d i s s e r t a t i o n , c o n s i d e r i n g t h e m u l t i c o l l i n e a r i t y , w cs t u d yt h e b i a s e d e s t i m a t o r si nl i n e a rm o d e lm u c hf u l t l i e r f o u rt a s k sw i l lb ed o n ei n t h ed i s s e r t a t i o n ： c o n s i d e r i n gt h es i n g u l a rl i n e a rm o d e lw i t hl i n e a re q u a l i t yr e s t r i c t i o n sf r o mt h e a s p e c to ft h eb i a s e de s t i m a t o r s ，w eo b t a i nan e wr e s t r i c t e db i a s e de s t i m a t o r ：t h e c o n d i t i o n a lr i d g e t y p ee s t i m a t i o nb ym i n i m i z i n gt h es l i mo fs q u a r e dr e s i d u a l sw i t h r e s t r i c t e dc o n d i t i o n s i th a st h ep r o p e r t yo fa v o i d i n gt h ea b s o l u t eb i a so fp a r a m e t e r v e c t o rd u et ot h em u l t i c e l l i n e a r i t y , a n dh a st h es i m i l a rf o r mw i t hu n r e s t r i c t e db i a s e d e s t i m a t o r s t h e nw e t h e o r e t i c a l l ya n a l y z et h ec h a r a c t e ro f t h en e we s t i m a t i o ni ni t sb i a s ， s t a b i l i z a t i o na n dm o n o t o n e i na d d i t i o n ，w cc o m p a r ei tw i t ht h eo r d i n a r yr e s t r i c t e dl e a s t s q u a r e se s t i m a t e , a n ds h o wi t ss u 街c i e n tc o n d i t i o n su n d e rw h i c hi t ss h l ) e f i o ro v e i ；t h e r e s t r i c t e dl e a s ts q u a r e se s t i m a t ei nt e r m so f m e a ns q u a r e de l l o ra n dm e a ns q u a r e de a t o r m a t r i x ，r e s p e c t i v e l y w es t u d yt w op a i r so fb i a s e de s t i m a t o r s w ec o m p a r ej a m e s - - - s t e i ne s t i m a t o r w i t hr i d g et y p ee s t i m a t o ri nt e r m so fg e n e r a lm e a ns q u a r e de r r o r , a n do b t a i nt h e s u f f i c i e n tc o n d i t i o nf o rt h es u p e r i o r i t yo f t h ej a m e s - - - - s t e i ne s t i m a t o ro v e rt h er i d g et y p e e s t i m a t o r t h e nw ea n a l y z et h er e s t r i c t e dr i d g ee s t i m a t o ra n dt h er e s t r i c t e dl i ue s t i m a t o r , a n de s t a b l i s hs e p a r a t es u f f i c i e n tc o n d i t i o n sf o rt h es u p e r i o r i t yo ft h er e s t r i c t e dr i d g e e s t i m a t o ro v e rt h er e s t r i c t e dl i ue s t i m a t o ra n dt h es u p e r i o r i t yo ft h er e s t r i c t e dl i u e s t i m a t o ro v e rt h er e s t r i c t e dr i d g ee s t i m a t o ri nt e r m so fm e a ns q u a r e de l l o rm a t r i x 重庆大学硕士学位论文英文摘要 f t l r t h e r m o r e w eo b t a i n 也ep a r a m e t e rv a l u e so fka n ddi no r d e rt om a k e1 l s eo f 也e r e s 伍c t e dl i ue s t i m a t o ra n dt h er “c t e dr i d g ee s t i m a t o ri np r a c t i c e t h e n , w eg i v ean u m e r i c a le x a m p l e w ec o m p u t et h er 洲c t e dr i d g ee s t i m a t o r a n dr e s t r i c t e dl i ue s t i m a t o ru n d e rd i f f e r e n tv a l u e so f ka n dd ，c o m p a r et h e i rm s e ，a n d p r o v et h e s ee s t a b l i s h e ds u f f i c i e n tc o n d i t i o n sf o rt h es u p e r i o r i t yo ft h er e s t r i c t e dr i d g e e s t i m a t o ro v e rt h er e s t f i c t e dl i ne s t i m a t o ra n dt h es u p e r i o r i t yo ft h er e s t r i c t e dl i n e s t i m a t o ro v e rt h er e s t r i c t e dr i d g ee s t i m a t o ru n d e rm e a ns q u a r e de l l o rm a t r i x f i n a l l y , w es t u d yt h es a m p l ep r o p e r t i e so ft h ea l m o s tu n b i a s e dg e n e r a l i z e d “u e s t i m a t o r , d e r i v et h ee x a c tg e n e r a le x p r e s s i o n sf o rt h em o m e n t so ft h ea l m o s tu n b i a s e d g e n e r a l i z e dl i ue s t i m a t o rf o ri n d i v i d u a lr e g r e s s i o nc o e f f i c i e n t s ，a n de x p o r tt h ee x a c t e x p r e s s i o n sf o rt h ef i r s tt w om o m e n t so f t h ee s t i m a t o r k e y w o r d s ：c o n d i t i o n a lr i d g e - t y p ee s t i m a t i o n , r e s t r i c t e dr i d g ee s t i m a t o r , r e s t r i c t e d l i ue s t i m a t o r , a l m o s tu n b i a s e dg e n e r a l m e dl i ue s t i m a t o r , m o m e n t l l i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重麽太堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：燃 签字日期： 2 。7 年6 月3 日 学位论文版权使用授权书 本学位论文作者完全了解重庞盍堂有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许 论文被查阅和借阅。本人授权重庞太堂可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 保密() ，在年解密后适用本授权书。 本学位论文属于 不保密( ) 。 ( 请只在上述一个括号内打“”) 学位论文作者签名：燃 签字日期：撕7 年6 月弓日 导师签名：祆 签字目期：刃年e 月? 日 重庆大学硕士学位论文 1 绪论 1 绪论 线性模型是一类统计模型的总称，是现代统计学中应用最广泛的一个分支。 它包括了线性回归模型、方差分析模型、协方差分析模型和线性混合效应模型( 或 称方差分量模型) 等。它是用一个数学模型来确定所研究的自变量和因变量之间 的线性关系。随着计算机的日益普及与数字计算能力的不断提高，它被广泛应用 于生物、化工、医药、气象、金融、管理、工业技术、农业生产、经济规划、国 防科技等领域。自上个世纪二十年代，英国著名统计学家r a f i s h e r 奠定了参数估 计的理论基础以来，参数估计一直是统计学中的一个活跃分支。 本文的目的是介绍近几年来在学习线性模型这一理论知识中所做的一些与之 相关的研究工作，以及将这一知识应用于金融统计方面。本章的目的是介绍一些 与研究方向有偏估计相关的背景知识和研究进展。 1 1 有偏估计的发展概述 1 1 1 最小二乘理论的发展及存在的问题 在线性模型参数估计的理论与方法中，最小二乘法【1 1 - 4 1 占有中心地位，是线性 模型中最经典的结果之一。它始于1 9 世纪中叶，是由著名数学家a m l e g e n d r e 和 c e g a u s s 分别于1 8 0 5 年和1 8 0 9 年独立提出的。他们把最小二乘法应用于观测数据 的误差分析，从而开启了最d , - - 乘法的大门。接着在1 9 0 0 年a a m a r k o v 证明了著 名的g a u s s m a r k o v 定理，刻画最小二乘估计在线性无偏估计类中的最优性，从而 奠定了最小二乘估计在线性模型参数估计理论中的地位。对于奇异线性模型，我 们不能再通过最小化以往定义的公式来求得参数的最小二乘估计。于是，1 9 7 1 年 著名统计学家c r r a o 应用推广的最小二乘法推导出最d x - - 乘统一理论i l 】，以其形 式简单便于理论研究而得到普遍采用。这种方法既适用于设计阵列满秩或列降秩 的情形，又适用于协方差阵为奇异或非奇异的情形，进一步巩固了最小二乘估计 在参数估计中的地位。正是由于最小二乘估计在线性无偏估计类中的最优性，使 得人们长期以来把最小二乘估计当作是解决线性模型参数估计唯一的最好估计。 自2 0 世纪6 0 年代以来，许多研究表明，在理论分析和实际应用中，最小二 乘估计的性质并不好。如采用均方误差准则来度量估计的优劣，最i x - - 乘估计并 不一定是最优的估计。随着回归分析的广泛应用，特别是电子计算机技术的飞速 发展，人们越来越有能力去处理含较多回归自变量的大型回归问题，实践证明在 处理大型线性回归问题中，最小二乘估计有时表现不够理想。产生这些问题的原 因之一是因为随着回归变量的增多，回归自变量之间难免存在近似的线性关系， 重庆大学硕士学位论文1 绪论 即复共线性，从而导致设计阵的列向量近似地线性相关，我们称这样的设计阵为 病态 2 1 。当设计阵x 或线性回归模型存在复共线性时，利用l s e 得到的参数估计 往往不稳定，在p 维空间的某些方向上严重偏离实际值，其估计的长度平均来说要 比真正的未知向量口的长度长得多。 最小二乘估计另一个主要缺点是，在理论分析中此估计的不可容许性。1 9 5 5 年，s t e i n 5 1 证明了对多元( 维数大于2 ) 正态分布，在平方损失下，其均值向量的 最小二乘估计是不可容许的。这一新的发现使得人们重新对最b - - 乘估计加以研 究，人们发现，最小二乘估计的优越性仅仅在线性无偏估计类中才能表现出来， 如果将估计类由线性无偏估计类扩展到有偏估计类或非线性估计类中，最小二乘 估计的优势便会不复存在。 为了解决最小二乘带来的问题，科学家作了种种努力，试图改进最小二乘估 计，主要做了两方面的努力：一方面是从模型或数据的角度去考虑，如变量选择、 非参数回归和稳健回归等方法；另一个重要的方面就是寻求一些新的估计，从而， 导致了有偏估计理论的诞生和发展。 1 1 2 有偏估计的发展及研究现状 线性有偏估计是针对设计阵x 病态来改进l s e 最直接的方法。 1 9 5 5 年，s t e i n s 】证明了最小二乘估计在平方损失下的不可容许性之后，紧接 着j a m e s 和s t e i n 提出了著名的j a m e s - - - - s t e i n 压缩估计【5 ( j a m e s - - s t e i ns h r i n k a g e e s t i m a t i o n ) ，在二次损失下，它优于原有的最小二乘估计。这种新的结果使得大量 的统计学家对有偏估计的研究产生了兴趣，并相继提出了很多新的有偏估计。 1 9 6 5 年，w f m a s s y 【6 】针对设计矩阵的病态提出了一种有偏估计一主成分估计。 它的本质是先把回归自变量变换到它们的主成分，然后选择其中一部分重要的主 成分作为新的自变量，对它们应用最小二乘法作l s 估计，然后再转换到原来参数 的估计。这种中间转换过程避免了由于设计阵的病态而导致的估计误差。 1 9 7 0 年，h o c r l 和k e n n e d 州8 1 提出了另外一种有偏估计，称为岭估计( 也称 狭义岭估计) 。其基本思想是在设计阵计算中引入一个偏参数，通过对此参数的合 理取值来消除复共线性带来的估计误差。后来统计学家又将这种估计方法中的单 变量偏参数扩展到了偏参数矩阵，称为广义岭估计。近几十年来的应用实践表明， 当设计阵病态时，岭估计确实改进了l s 估计，它是目前应用最为广泛的一种非最 小二乘估计。 1 9 9 3 年，l i uk e j i a n 9 - i 1 川结合s t e i n 估计和岭估计，提出一个新的有偏估计， 被f i k r i a k d e n i z 和k a l 娜l a r 称为l i u 估计。1 9 9 5 年，f i k r i a k d e n i z 和k 笃l 删1 l a r 【“1 结合最b - - 乘估计和l i u 估计提出了广义l i u 估计。 w o l d 1 2 】基于6 0 年代中期固定点的算法建立了偏最小二乘估计的理论基础。其 2 重庆大学硕士学位论文1 绪论 基本思想是基于对解释性变量的线性转换而对回归变量进行预测，即要从现有的 存在共线性的自变量中提取出新的互不相关的线性组合( 也称为因子，潜在变量 或成分) 。这种方法在化学统计、心理学统计等领域获得普遍采用。 目前对有偏估计，特别是岭估计和l i u 估计的研究较为深入，时至今日，还有 很多的文献对其性质及其偏参数的确定方法进行讨论，并提出了各种修正的估计。 其中，s i n g h 和c h a u b e y t ”j 于1 9 8 6 年提出了几乎无偏岭估计。贾忠贞于1 9 8 7 年 提出了组合主成分估计。杨蒯”】于1 9 8 9 年提出了单参数主成分估计，证明了它的 可容许性、抗干扰性、有效性等性质。杨虎【1 6 】于1 9 9 1 年提出了泛岭估计类( 2 0 0 4 年改为统一有偏估计类u n i f i e d b i a s e d e s t i m a i i o n ，简称u b e ) 。陈世基和曾志斌【l 7 】 于1 9 9 4 年对多元线性模型的回归系数提出了压缩估计，证明了此估计的可容许性、 抗干扰性和有效性，并给出了实际应用中选取参数值的方法。黄养新【1 8 】于1 9 9 4 年 对多元线性模型回归系数提出了主成分估计，证明了主成分估计优于最小二乘估 计，并应用极小化均方误差的无偏估计方法，提出了确定偏参数的公式。赵泽茂【1 9 】 于1 9 9 4 年采用极小化均方误差的方法得到了回归系数的一种非线性有偏估计广义 s t e i n 估计，给出了它的偏差及其均方误差的渐进展开式。徐文莉和林举干于1 9 9 5 年提出了岭型组合主成分估计，讨论了它的可容许性、约束条件下的可容许性和 相合性问题。黄养新【2 l 】于1 9 9 5 年提出了增长曲线模型回归系数的广义岭估计，确 定了偏参数的公式。于义良和宋卫星瞄j 于1 9 9 5 年对于设计阵成病态的线性回归模 型提出了s t e i n 型主成分估计，在均方误差意义下论证了一定条件下此估计优于主 成分估计。f i k r ia k d e n i z 和k a 9 l 删1 l a r y 【“】于1 9 9 5 年提出了几乎无偏l i u 估计和几 乎无偏广义l i u 估计。林路【2 3 】于1 9 9 6 年提出了综合岭估计，讨论了此估计的优良 性、可容许性等性质，给出了其迭代解和极小化均方误差的无偏估计解，从而统 一了岭估计和根方估计理论。陈志和高志端 2 4 1 于1 9 9 6 年使用矩阵奇异值分解的技 术，给出了回归系数的一种使用奇异值分解的蛉估计，能够减少由于设计阵的病 态所引起的麻烦。尤进红【2 5 】于1 9 9 8 年提出了生长曲线模型中回归系数阵的一个线 性有偏估计类( 称为多元泛岭估计类) ，讨论了它的种种优良性质。刘小茂和茆诗松 【冽于2 0 0 1 年对混合线性模型给出了固定系数和随机系数的两种形式的s t e i n 估计。 王松桂和尹素菊【27 】于2 0 0 2 年对线性混合模型提出了固定效应和方差分量的谱分解 估计，并证明了此估计的一些重要性质。杨虎【2 8 】于1 9 9 6 年在稳定解基础上，研究 了相应方程有偏估计的稳定性，主要讨论了正则化方法，稳定估计和一些相关的 问题。n i t y a n a n d as a r k a 一9 】于1 9 9 6 年研究了r - k 估计，得到了r 墩估计优于最d , - 乘估计，主成分估计和广义岭估计的充要条件，并验证了这些条件实际上是可以 满足的。 重庆大学硕士学位论文1 绪论 在实际应用中，未知参数的选择是一个很重要的问题。针对无约束的岭估计， 统计学家们提出了选择k 的许多方法，到现在为止确定k 的方法已有十多种，例如 h o e r l 和k e n n a r d t h 8 】于1 9 7 0 年提出的h o e r l k e n n a r d 公式和岭迹法，1 9 7 5 年又 与b a l d w i n 3 0 1 合作提出了h k b 公式，1 9 7 6 年l a w l e s s 和w h 9 3 1 1 9 , b a y c s 观点出 发，提出了l w 公式，同年h o c k i n g 、s p e e d 和l y n n 提出了h s l 公式，国内的学 者如陈立萍、鲁国斌、汪明瑾与王静龙等都对偏参数的确定做了相应工作。但这 个问题对统计学者仍具有很大的吸引力。一方面，新的方法不断提出，另一方面， 仍有不少人对已有方法进行大规模的模拟研究。b m g o l a mk i b r i a t 3 2 】于2 0 0 3 年给 出了现有几种常用的偏参数确定公式的比较。 统计学家们现在面i 临的问题不仅是在最d - - 乘估计和有偏估计之间进行选 择，同时也面临着在现有这些有偏估计之间进行选择。所以，有偏估计之间优良 性的比较具有一定的理论和实际意义。s a d u l l a h ，s e l a h a t t i n 暑f l f i k r ia k d e i l i ”】于2 0 0 1 年在均方误差准则下比较了岭估计、l i u 估计及迭代估计等一系列的有偏估计。f i h i a k d e n i z 和h a m z ae r o l t 3 4 于2 0 0 3 年在均方误差矩阵下比较了广义岭估计、广义l i u 估计、几乎无偏广义岭估计及几乎无偏广义l i u 4 吉计等一系列的有偏估计。 1 2 约束型有偏估计的发展概述 1 2 1 问题的提出及其现实意义 前述讨论的估计方法都是考虑参数在无约束的情况下给出的，可表为以下 线性模型形式： i y = x p + g 【e ( e ) = 0 , c o v ( e ) = 旷i 。 其中：y 是n x l 观测向量，x 是n x p 设计矩阵且r ( x ) = p ，卢为p x l 参数向量，e 为n x l 随机误差向量。 随着回归分析的广泛应用、推广和社会经济生活结构的日益复杂化，人们在 进行数据分析或预测时，往往考虑的是在某些特殊情况下的有条件的回归分析。 在大量实际问题和检验问题中，参数往往附加了一定的约束条件。在这些约束条 件中，有很大一部分问题考虑的是线性等式约束。因而从这个意义上说，带线性 等式约束的线性模型同无约束的线性模型一样，具有很重要的研究意义和应用价 值。 考虑如下带线性等式约束的线性模型： f y = x + e e ( e ) = o ，c o y ( e ) = 盯2 l 1 日= 0 4 重庆大学硕士学位论文1 绪论 其中：日为m x p 的矩阵，且r ( h ) = m 。 针对带线性等式约束的线性模型，c r r a o 提出了约束最小二乘估计 ( o r d i n a r yr e s t r i c t e dl e a s ts q u a r e se s t i m a t e ，简称o r l s e ) ： 石 = 夕一仅z ) 一1 h 。【h x ) 一1 i - 1 3 1 p 虽然o r l s e 作为一种无偏估计应用广泛，然而与前面1 1 中介绍的最小二乘 估计一样，此方法也存在设计阵x 病态时，参数估计极不稳定或严重偏离实际值 的问题。这种结果导致了在处理多变量的约束线性模型时，即使利用了快速且高 精度的计算机，估计得到的参数仍然不理想，甚至会误导结论。 因而，很多学者都试图从有偏估计的角度来解决o r l s e 在处理复共线性上的 不足。但是由于带约束的线性模型要比一般无约束的线性模型复杂，所以关于带 约束的线性模型有偏估计方面的研究远远没有无约束线性模型所研究的那样广泛 和深入。 1 2 2 约束型有偏估计的研究现状 为了克服带线性约束的线性模型出现的这种病态现象，很多学者从有偏估计 的角度对它进行了研究，并提出了一些有效的方法。 s a r k a i l 3 5 1 于1 9 9 2 年引进一种新的估计，即在o r l s e 前添加一个控制变量，从 而使得估计参数的均方误差降低。此方法只是对o r l s e 进行估计后的修正，它的 一个主要问题是，由于估计参数与y 、h 和r 都有关系，并且随着k 值而变化，因 此，该估计不能总满足线性约束条件。史建红【3 6 】 3 刀于2 0 0 1 年提出了线性等式约 束的线性模型的一种有偏估计：条件岭型估计，证明了一定的条件下，在均方误差 及均方误差矩阵下它都优于约束最小二乘估计，并讨论了它的可容许性。j u r g e n g r o b 3 s 】于2 0 0 3 年针对这个问题，利用s w i n d l e 提出的思想，与o r l s e 结合起来 估计带约束的线性回归参数。他在参数向量存在附加线性约束时，引入了参数向 量的岭估计，得到了这个估计优于约束最小二乘估计的充分条件。但是由于算式 较繁琐，给估计运算带来不便。杨婷和杨虎【3 9 】于2 0 0 2 年考虑回归系数的椭球约束， 获得了椭球约束下线性模型的广义岭型估计，并进一步研究了它的一些性质。 上述估计方法都可以看作是对约束型有偏估计研究的一些有效结果，从估计 效果来看，都能在一定程度上克服o r l s e 在处理复共线性问题上的不足。关于带 约束的奇异线性模型中复共线性问题方面的研究相对较少，所以，我们考虑把带 约束的奇异和非奇异的线性模型统一起来，统称为约束奇异线性模型，尝试解决 带线性等式约束的奇异线性模型的复共线性问题，从而在理论上实现一定的拓展。 重庆大学硕士学位论文1 绪论 1 3 本文的研究目的和研究内容 1 3 1 研究目的 本文主要是对有偏估计理论进一步探讨，对其性质进一步完善，我们试图达 到以下几个目的： 条件岭型估计的提出。针对带线性等式约束的奇异线性模型中的复共线性 问题，从有偏估计的角度出发，试图找出优于约束最小二乘估计的条件有偏估计， 希望能较好地克服这一问题，并能够与现有的无约束的有偏估计很好的结合起来。 在提出这个新的估计后，对此估计的一些性质进行讨论，并与约束最小二乘估计 进行比较，给出偏参数的取值范围。这些内容将在第三章给予讨论。 有偏估计性质的研究。统计学家们现在面临的问题不仅是在最d , - 乘估计 和有偏估计之间进行选择，同时也面临着在现有这些有偏估计之间进行选择。所 以，有偏估计之间优良性的比较具有一定的理论和实际意义。统计学家们对一系 列不带约束条件的有偏估计进行了比较，然而，对带线性等式约束的有偏估计进 行比较的文献相对较少，本文在第四章将继续这方面的研究，并在第五章给出一 个算例。最后，在第六章研究了几乎无偏广义“u 估计的样本性质，给出了此估计 矩的通式。 1 3 2 研究内容 条件岭型估计 基本思想：对带线性等式约束的奇异线性模型，利用拉格朗日极值方法得到了一 个新的估计，称之为条件岭型估计，从而避免了由于复共线性导致的参数分量的 无限制性偏离。 解决过程：利用条件极值方法得到( y x p ) t 一( y x p ) 的最小值，使问题转化为 求解在一个约束条件下的优化问题，其中h p = 0 为增加的线性等式约束。 咖( y - x p ) r ( y x p ) s lh 8 = 0 其中，t = + 嬲r ，u o ，r ( 研= r ( z ；z ) 利用拉格朗日乘数方法，推导得到条件岭型估计： 露( 丘) = ( 忌矽+ j ) 。席 然后对此估计的无偏性、单调性及稳定性等一些性质进行理论分析，并同约 束最小二乘估计进行比较，分别得出了条件岭型估计在均方误差和均方误差矩阵 下优于约束最小二乘估计的充分条件，即确定了岭参数的选取范围。 一些有偏估计在均方误差准则意义下的比较 基本思想：针对线性模型，在广义均方误差下，比较j a m e s - - s t e i n 估计和广义岭 型估计；针对带线性等式约束的线性模型，在均方误差矩阵下，比较约束型岭估 6 重庆大学硕士学位论文1 绪论 计和约束型l i u 估计的优良性。 解决过程：首先引入了均方误差准则，然后在广义均方误差和均方误差矩阵下， 将j a m e s - - - s t e i n 估计和广义岭型估计，约束型岭估计和约束型l i u 估计： 翩邛一兹 ) 。( x x + a n ) 1 x j , 展= ( z x + k u ) “u x ) ，一( z x + 七【，) 。h 【h ( x x + k u ) - 1 日r h ( x x + 忌u ) _ 1 u x y 屈= ( x 石+ u ) - 1 v ( i + d f - 1 ) 矿石y 一x + 【，) - 1 h 日( = j z + c 厂) - 1 日r i - i ( x x + 。矿u + d r - 1 ) 矿x y 分别进行比较，确立j a m e s - - s t e i n 估计优于广义岭型估计的充分条件，约束型岭估 计优于约束型l n l 估计的充分条件及约束型l i u 估计优于约束型蛉估计的充分条件。 之后，确定了参数值k 和d 。 实证分析 基本思想：针对带线性等式约束的线性模型，利用实际数据，试得到k 和d 不同取 值下约束型岭估计和约束型l i u 估计的均方误差( m s e ) ，验证在均方误差矩阵下约 束型岭估计优于约束型l i f t 估计及约束型l i u 估计优于约束型蛉估计这些充分条件 的正确性。 解决过程：首先对实际数据进行标准化处理，然后导出模型的典则形式。针对其 典则形式，计算出约束最小二乘估计。在参数k 和d 不同取值下，分别计算约束型 岭估计和约束型“u 估计，以及它们的均方误差，最后对第四章中所建立的定理进 行验证。 几乎无偏广义l i u 估计矩的通式 基本思想：对几乎无偏广义l i u 估计： 廖- - - i 一( a + ，) 。( ，一d ) 2 声 中未知参数d 进行估计，确定参数d 的估计值，研究此估计的样本性质。 解决过程：计算几乎无偏广义l i u 估计矩的通式，然后推导其一、二阶矩的具体表 达式。 7 重庆大学硕士学位论文2 预备知识 2 预备知识 在线性模型的统计推断中，矩阵分析理论将是一个十分重要的工具。为了今 后说明线性模型的需要，在这一章中，我们将扼要地给出本文讨论中所要用到的 一些基本概念，并将一些相关的重要性质和定理不加证明地给出，详细的证明过 程请参见文献【1 h 4 】 4 0 - 4 2 。 2 1 基本概念 线性空间 n 维向量a 写为a = ( q ，吻, - - - , a 。) ，其中q ，i = 1 ，n 为a 的元素； 用和彤分别表示全体h 维复向量和实向量组成的线性空间； 设s 为c 4 的一个子空间，向量q ，a t 为s 的一组基，记4 = ( q ，a k ) 是一个n x k 矩阵，则s 可以表示为s = 口：工= 4 l ，c ” ，即s 是由a l c a k 的所有线性组合生 成的线性子空间，称为彳的列空间，记为4 a ) ； 若s 为一个线性子空间，那么其正交补空间记为s 上。 矩阵 捍行p 列的矩阵x ，记为矩阵以。，或简记为x ； 如果n = p ，则称x 为n 阶方阵； n x n 单位阵记为k 。或l 。 行列式 设a 为n 阶方阵，则a 的行列式记为川或d e t ( a ) 。 正交矩阵 设彳为n 阶实矩阵，如果a = l ，则称彳为正交矩阵。 矩阵转置 矩阵x 的转置，记为z 7 。 对称阵 设a 为n 阶实矩阵，且a = a ，则称4 是实对称阵。 h e r m i t e 阵 设万阶方阵彳，记= 矛，即取共轭同时又转置，若彳：彳，则称4 是h e r m i t e 阵。当4 为实矩阵时，h e r m i t e 阵就是实对称阵。 可逆阵 如果方阵z 可逆，则记彳的可逆阵为石。 迹 重庆大学硕士学位论文 2 预备知识 n 阶方阵x 的迹，记为t r ( x 1 。 秩 矩阵石的秩，记为r ( x ) ； 若x 为q x p 的矩阵，且，( 日) = p ，则称x 为列满秩阵； 若x 为q 钟矩阵，g r ( h ) = 碍，则称x 为行满秩阵。 对角阵 如果，l 阶方阵对角元素依次为五，五，乃，其它元素为零，则x 为对角矩 阵，记为a f a g ( x , ，五，五) 。 正定阵 若彳为n 阶实对称阵，若对任意x r “，x a x 0 ，则称彳为正定阵，记为a 0 。 半正定阵 若4 为栉阶实对称阵，若对任意工r 8 ，x a x 0 ，则称彳为半正定阵，记为a 0 。 l 6 w n e r 偏序 如果一一b 0 ，记为a b ； 如果4 一b 0 ，记为a b 。 特征值 设4 为，l 阶方阵，若数a 和非零向量石满足a x = a 工，则称a 为彳的特征值，石为彳 的对应于旯的特征向量。 矩阵对角化 设a 为秩为r 的m 以矩阵，则存在i n 阶和n 阶非奇异矩阵b 和c ，使得 鲥c ：f 0 1 l 0 叫 奇异值分解 设a 为m n 秩为t 的复矩阵，则存在两个酉阵吒。和p ，使得 彳：u f zo 矿。 l 0o 其中= d i a g ( i x l ，吒，吒) ，q 0 ，f - 1 ，t ， = 砰，丑= z 为a + a 的非零 特征值。 谱分解 设a 为万阶实对称阵，则a 可以写为 彳= r a r = 其中a = 凼昭( ，五，乃) 是由a 的特征值组成的对角矩阵，r = ( ，) 是由a 的标准特征值组成的正交矩阵。 广义逆 9 重庆大学硕士学位论文 2 预备知识 设4 为m x n 矩阵，任意l , l x m 矩阵j ，若满足 a x a = a 则称x 为矩阵a 的广义逆，简记为。 m o o r e p e n r o s e 广义逆 设4 为m x n 矩阵，任意野m 矩阵x ，若同时满足 a x a = a x a x = x ( 魃) + = a x ( x a ) + = x a 则称x 为矩阵4 的m o o r e p e n r o s e 广义逆，记为a + 。 幂等阵 设a 为n 阶方阵，满足彳2 = 彳，则称a 为幂等阵。 设a 为幂等阵，则a 具有如下性质 a 的特征根只能是0 或1 ； 啦) = t r ( a ) 如果p 是”捍正交阵，则p a p 。也是幂等阵； j 一4 也是幂等阵，且满足爿( ，一a ) = ( j a ) a = o ； ( ，一a ) = ( 4 ) ，p ( 彳) = n ( i - a ) ； a a 、i - a a 、a a 一、i - a a 一都是幂等阵，特别，a