（基础数学专业论文）约束线性回归模型回归系数的条件根方估计.pdf

摘要 约束线性回归模型中回归系数的估计常用约束最小二乘估 计。当自变量闻存在多重共线关系时，约束最小二乘估计就失去了它 的优越性。本文在根方思想的启发下，对约束线性回归模型提出了一 种新的参数估计的标准，得到了回归系数的条件根方估计。 第1 章综述了目前国内外线性模型参数估计的一些理论和方法。 第2 章给出了一些预备知识。 第3 、4 章我们基于根方的思想得到了非齐次等式约束下线性回 归模型回归系数的狭义条件根方估计及广义条件根方估计，并且探讨 了这两种估计的偏性、有效性和可容许性。由于条件根方估计是一类 含参数k 和足的估计，我们讨论了参数k 和足的取值对条件根方估计 优良性的影响。适当地选择参数k ，可使回归系数的条件根方估计 ( c r s e ) 的均方误差( m s e ) 小于约束最小二乘估计( r l s e ) 的均 方误差；在平均散布误差( m d e ) 准则下给出了c r s e 优予r l s e 的充要条件；讨论了确定最优k 值的两种方法：根迹法、方差扩大因 子法。适当地选择参数趸，可使广义条件根方估计的均方误差小于狭 义条件根方估计的均方误差，同时也给出广义条件根方估计的显式解 及迭代解法，并给出确定参数趸值的方法。 关键词：约束线性回归模型；参数估计；约束最小二乘估计；条件根方估 计；均方误差；均方误差矩阵。 a b s t r a c t t h er e s t r i c t e dl e a s ts q u a r em e t h o di su s u a l l ya p p l i e dt oe s t i m a t et h e r e g r e s s i o nc o e f f i c i e n t8i nr e s t r i c t e dl i n e a rr e g r e s s i o nm o d e l w h e n m u l t i c o l l i n e a r i t yo fe x p l a n a t o r yv a r i a b l e se x a c t ，r e s t r i c t e dl e a s ts q u a r e s e s t i m a t i o nl o s si t s s u p e r i o r i n s p i r e db yt h ei d e ao fr o o ts q u a r e s ，w e p r e s e n tan e ws t a n d a r df o re s t i m a t i n gt h er e g r e s s i o nc o e f f i c i e n to f r e s t r i c t e dl i n e a rr e g r e s s i o nm o d e l u n d e rt h en e ws t a n d a r dw eg a i nt h e e s t i m a t i o nn a m e dc o n d i t i o n a lr o o ts q u a r e se s t i m a t i o n i nc h a p t e rl ，w ed i s c l l s st h ee x i s t e dt h e o r i e sa n dm e t h o d so f l i n e a rm o d e l i nc h a p t e r2 ，w eg i v es o m e p r e k n o w l e d g e i nc h a p t e r3a n d4 ，b a s e do nt h ei d e ao fr o o ts q u a r e s ，w eo b t a i n e d t h ec o n d i t i o n a lr o o t s q u a r e se s t i m a t i o n ( c r s e ) a n dg e n e r a l t h e c o n d i t i o n a lr o o ts q u a r e se s t i m a t i o n ( g c r s e ) o fr e g r e s s i o nc o e f f i c i e n t g i nr e s t r i c t e dl i n e a rr e g r e s s i o nm o d e l ，a n dd i s c u s si t sb i a s e d ，e f f i c i e n c y , a d m i s s i b i l i t y b e c a u s et h ec o n d i t i o n a lr o o ts q u a r e se s t i m a t i o nc o n t a i n s p a r a m e t e r s 后o rk ，w et h e nd i s c u s sw h a tt h ev a l u eo fka n dkb r i n g st o t h ec r s e a n dkc a nb ec h o s e nt om a k em e a ns q u a r e se r r o r ( m s e ) o f t h ec r s el e s st h a no ft h er e s t r i c t e dl e a s ts q u a r e se s t i m a t i o n ( r l s e ) ，w e g a i nan e c e s s a r ya n ds u f f i c i e n tc o n d i t i o nw h i c hc r s ei ss u p e r i o rt o r l s eu n d e rt h em e a nd i s p e r s i o ne r r o r ( m d e ) m a t r i x c o m p a r i s o n s c r i t e r i o n ；a n dt w oo fm e t h o d sa r eu s e dt oe v a l u a t et h eo p t i m a lv a l u eo f j i ：r o o tt r a c e ，v a r i a n c ei n f l a t i o nf a c t o r a n dkc a nb ec h o s e nt om a k e m s eo ft h eg c r s el e s st h a no ft h ec r s e ，a n dg i v e sd i s p l a ys o l u t i o no f g e n e r a l i z er o o ts q u a r e se s t i m a t o r , p r o p o s e st h em e t h o d so ft h eo p t i m a l v a l u eo f 露 k e yw o r d s ：r e s t r i c t e dl i n e a rr e g r e s s i o nm o d e l ；p a r a m e t e re s t i m a t i o n s ； r e s t r i c t e dl e a s ts q u a r e se s t i m a t i o n ；c o n d i t i o n a lr o o ts q u a r e se s t i m a t i o n ； m e a n s q u a r e se r r o r ；m e a ns q u a r e se r r o rm a t r i x 珏 a 0 a o 么b r a n k ( a ) h t r ( a ) 元似) e ( x ) v a r ( x ) c o v ( x ，y ) l s e r s e c r s e m s e m d e 符号表 l i l 彳为对称半正定阵 彳为对称正定方阵 a o ，b o 且彳- b o 矩阵彳的秩 矩阵彳的行列式 矩阵彳的范数 方阵a 的迹 a 的第f 个顺序特征根 随机变量彳的均值 随机变量x 的方差 随机变量x 的协方差 最小二乘估计 根方估计 条件根方估计 均方误差 平均散布误差 湖南师范大学学位论文原刨性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不 含任何其它个人或集体已经发表或撰写过的作品成果。对本文的研究做 出重要贡献的个人和集体，均已在文中以明确的方式标明。本人完全意 识到本声明的法律结果由本人承担。 学位论文作者签名：摩秀吾 鹚每| 1 蜀) e t 湖南师范大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同 意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权湖南师范大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在一年解密后适用本授权书。 2 、不保密毗 ( 请在以上相应方框内打“4 刀) 作者签名：膨莠学 导师签名氯 日期：2 哕年月7 多日 b 凝：所年| | 其归 约束线性回妇模型回妇系数的条件根方估计 第一章绪论 线性模型是一类重要的统计模型，它包括了线性回归模型、方差分 析模型、协方差分析模型和线性混合效应模型等，其应用非常广泛，如 生物、医学、经济、金融、地质、气象、农业、管理、工业、工程技术 等领域中的许多现象都可以用线性模型来描述或近似描述 1 。1 线性回归模型的l s 估计 线性回归模型是数理统计学发展比较早的分支之一，关于它的参数 估计闯题的研究可以追溯到上世纪初在众多的估计参数的方法中，有 一种方法占有中心基础的地位，这就是最小二乘法对线性回归模型 y = 翼岁鹭西回= q g 赞秭= d 乞 ( i ) 的参数的估计问题其中】，为n x l 的观察向量，x 为n x p 的设计矩阵，8 为 n x l 的随机误差向量，厶为照阶单位矩阵， 。为误差方差，多为待估参 数向量最小二乘法的基本思想是：的真值应该使误差向量e = y 一印达 到最小，也就是使它的模的平方 料2 = 卜硎2 = 旷泐铲一溺 达到最小利用矩阵微商公式及函数极值理论解得回归系数的髂估计 乒耐殿( x 满秩) 著名数学家a m l e g e n d r e 和c f g a u s s 先后于1 8 0 6 年和1 8 0 9 年 独立地把最小二乘法应用于观测数据的误差分析后来，矗。a m a r k o v 于 高校教舞在职硕士学位论文 1 9 0 0 年证明了在无偏估计类中l s 估计的方差最小性质，即著名的 g a u s s - m a r k o v 定理，奠定了塔估计在参数估计理论中的地位 自从1 9 世纪初，a m l e g e n d r e 和c f g a u s s 独立地创立l s 估计 以来，统计学家们就一直孜孜不缮地研究这种 吉计的优蹇性。我翻已经 知道，回归系数的l s 估计具有许多优良的性质，其中最重要的是 g a u s s - m a r k o v 定理。它表明在一切线性无偏估计中，瞒估计具有最夺方 差如果模型( i ) 的误差f 服从正态分布，那么l s 估计在所有无偏估 计类中具有最小方差n 引。除了无偏性和方差最小牲，判定一个估诗是否 相合，也是研究萁优良性的个重要方丽对于l s 估计的褶合性，许多 学者进行了研究n 叫别。这些性质奠定了l s 估计的重要地位。后来，k a r i y a 把所研究的估计类作了推广，不再限制在线性估计类，两置包括有偏估 计，并证明了l s 估计在这个大估计类中的优良性这个结果被看成 g a u s s - m a r k o v 定理酶菲线性形式，衡量个估计优劣酶标准是估计量 与被估计参数的接近程度 如果我们蕊估计不宓弱限予无偏类，且估计的优良性指标也不必局 限于方差，而我们关心的问题是估计量与真值之间的距离，这样，线性 回归模型参数估计不必局限予最小二乘估计，也不必局限于最小方差僖 计不少学者从统计决策的观点论述这个问题4 0 年代末期，a w a l d 仓i j 建了统计决策理论这个理论对现代统计的发展产生了重大的影响，极 大地丰富和发展了统计推断理论，并由此产生了许多新的研究方向，可 约束线性回烟模型回归系数的条件根方估计 容许理论就是其中之一 设z 为随机向量，它的分布依赖于未知参数向量0 ，记彬) 为0 的 一个估计，这里y 表示z 的一个样本记三矽，d ( j ，) 】为非负函数，它表示 真实参数为0 ，丽以彬) 作为它的估计所引起的损失，称之为损失函数 令 r ( o , d ) = e e l ( o ，蠢? 瑚， 它表示真实参数为乡，关于y 的分布所取的期望值，称r ( o ，田为风 险函数， 定义设z 和破是秒的两个估计，且满足r ( o ，破) r ( o ，吐) ，如果此 时还有r ( o ，d , ) o 羔2 重 l o ，d ( j ，) 】= ( 口一d ) ) p d ( y ) ) ，( 1 2 2 ) 后者称为矩阵损失对( 1 。2 羔 ，其风险函数为 r 0 ，d ( y ) 】= e ( o - d ( y ) ) d 一吠y ) ) ， 称为d ) 的广义均方误差，常记为g b i s e d ( y ) 特别当d ：z 时，风险函数 为 高校教师在职硕学位论文 r 1 0 ，d ( y ) 】= 互p d ( y ) y ( 毋一d ( y ”= e 归一d ( y ) l l = ， 称炎形) 的均方误差，记为m s e d ( r ) 。 对于矩阵损失( 1 2 2 ) ，风险函数为 域馥姆麓= e ( a 蠢g ) 秽一嵌y 兢 称为d ( v ) 的均方误差矩阵，记为m s e m d ( y ) 一 从直观上看，可容许性是对一个估计的最起码要求因为如巢一个 估计是不可容许的，那么我们就能找到另外一个更好的估计去替代它 在估计的改进闯题讨论中，容许性历来是理论界和工程实践中的重要闻 题基于损失函数( 1 2 1 ) 和( 1 2 2 ) ，中外许多学者就线性模型参数 估计的可容许性进行了探讨，锝到一些结论。对于模型 y = x p + s ，联s ) = o g 枷( 占) = 玎2 v 矿 0 中即可估情形，c ，r 。r a o n 铂在二次损失函数下给出了l y 在齐次线性估 计类中是鼯的可容许估计的充分必要条件。对于v 艺0 且辎可估的情 况，哭启光乜们在二次损失函数下也给出了五y 在齐次线性估计类是印的 可容许估计酶充分必要条件。惑长余& 嗣给出了可估函数第的线性倍计 可容许的一个简易判别的充要条件，此条件大大地简化了吴启光妇们中所 给的充要条件。对予鼯不可估的情形，吴窟光魏7 1 在矩阵损失豳数下给出 了线性估计l y + a 在线性估计类中是即的容许估计的充分必要条件徐 兴忠在c ，r 。r a o “削、吴启光n 7 3 研究的基础上，研究线性模型中般的 回归系数的估计问题，用统计决策函数理论中容许性准则，讨论了线性 估计的优良性，邋过将一般的非可估回归系数转化成可估的情形， ! 导到 了一个线性估计在线性估计类中是容许估计的充分必要条 4 约束线性回归模型回归系数的条件根方估计 件h o f f m a n n n 8 1 和m a t h e w 乜门研究当参数受邶a z , 0 约束时，分别 就y o 和v2 0 的情形，讨论了夕的线性估计的可容许性问题朱显海翻 进而给出印的线性估计三y 在线性估计类中是可容许的充要条件詹金 龙轻3 1 针对带齐次等式约束的线性模型，给出了回归系数的最佳线性无偏 估计的较简单的表达式以及在齐次线性估计类中可容许的充要条件孙 孝前阱讨论在受齐次线性约束与二次约束线性模型得到了回归系数线 性估计在线性估计类中可容许的充要条件，它推广了詹金龙汹1 、鹿长余 捌、张双林乜引、朱显海阮1 、h o f f m a n n 2 勃、m a t h e w 昭8 3 的结果。 1 3 其他估计 对模型( i ) ，一般用最小二乘估计肛僻矿艘去估计，l s 估计 j 具有许多优良性质，特别是g a u s s - m a r k o v 定理随着现代电子技术的飞 速发展，使人们有可能处理包含较多自变量的大型回归问题这时，因 为自变量很多，有时难免自变量间存在近似的线性关系，从而导致设计 阵x 的列向量近似地线性相关，我们称这样的设计阵为病态 这时虽然l s 估计的方差在线性无偏估计类中最小，但其值却很大， 嚣估计有较大的方差，此时酷估计的估计精度比较差，表现出相当的 不稳定，有时可能导致一些错误的结果o 2 9 】于是近几十年来，许多学 者致力予改进l s 估计，提出了许多新的估计比如运用b a y e s 估计和约 束最小二乘估计改进线性模型参数估计的性能在这些新的估计中很重 要的一类估计就是有偏估计+ 如岭估计、广义岭估计、压缩估计、主成 分估计等，它们都含有待定的参数在众多的有偏估计类中，影响较大 高校教烯在职硕士学位论文 的是岭估计对于线性回归模型( i ) ，h o e r l 和k e n a r d 。们于1 9 7 0 年用 ( 盖x + 材) 代替三s 估计中的x 鬈，提出了岭估计 0 为常数，称为岭参数，当后取不 同的值时，我们得到不同的估计，因此蛉估计是一个估计类选择适当 的k 使它比三s 估计有较小的均方误差二十多年的应用实践表明，岭估 计大大改进了淤估计，它是毯前使薅最广泛熬菲醛估计之一，对岭估 计的理论研究可以从h o e r i 和k e n a r d 曲叭，m a r g u a r d t 和s n e e 眦1 ， h a w k i n s 划，h o c k i n g 3 引，f a r e b r o t h e r 矧，w i c h e r n 3 5 3 等人的著作孛找 到，其主要结果是系列岭估计优于l s 估计的充分条件以及岭参数在 隐式表示时的充要条件。戴俭华引、陈希儒等d 7 3 讨论在均方误差意义下 岭估计优于己s 估计的闻题，给出了岭估诗优于l s 彳轰计的必要条件及较 一般的充分条件王铭君刚等在w i c h e r n b 5 3 的基础上讨论了带约束广 义岭估计的岭参数的求解闻题，并给感其显示解。王平华汹3 讨论了 g u a s s - m a r k o v 模型中未知参数的l s 估计的改进，引入了一种估计的相 对效率，证甓了广义岭估计比岭估计的效率高。王志福潮给出了广义蛉 回归估计的一般形式，通过极限方法给出了广义岭网归估计的个精确 解。刘万里等秘3 给出了广义蛉估计优予l s 估计的一个充分条件。1 9 9 9 年，史建红睡2 1 提出约束线性回归模型下回归系数的条件岭型估计的概 念，证明其是约束霹容许估计且在均方误差意义下优予约束最优线性无 偏估计2 0 0 t 年，史建红疆3 1 又对一般的线性回归模型提出了条件岭型估 计，证明了在一定的条件下，在均方误差意义下及均方误差矩阵意义下 都优予回嫱系数的约束盗估计，并讨论了它的容许性 6 约束线性回归模型回归系数的条件根方估计 1 4 根方估计 对线性回归模型( i ) ，的嬲估计夕的均方误差为 m s e o ) = 拶：圭，其中盖x 的特征根为磊五屯 0 ，当x x 呈病态 i = 17 气 时，嬲的较小特征根几乎等于零，此时m s e ( 夕) 明显增大，表明三s 估计 值与真值发生较大的偏离对m s e o ) 影响较大的是那些小于1 的特征 根，将这些小于l 的数后一1 次方，就使得m s e o ) 中一部分分式的分母变 大，从而达到降低估计值均方误差的目的，这就是根方估计的基本思想。 早在1 9 8 8 年，夏结来对线性回归模型( i ) 提出了的狭义根方估 计夕( 妁然( 艘严x 7 ，o k i ，其中，当露_ l 时，( 脓) 卜童渐近于单位阵 证明了其具有一些良好的性质，在一定的条件下，根方估计的均方误差 比龄估计的均方误差小根方估计和岭估计都是从同一个角度来改进 最小二乘估计，但所采用的途径不一样，从数据的模拟结果可知，有时 根方估计优于岭估计1 9 9 4 年，夏结来“5 1 将狭义根方估计作了拓广， 得出了回l 胃系数夕的广义根方估计方) 黛( 艘广。x y ，其中 k = a i a g ( k 。，如，后，) 同时也证明了广义根方估计能更有效地改善朋估 计，并且证明了广义根方估计的均方误差小于狭义根方估计的均方误差 史建红m 1 在夏结来他4 5 1 的基础上提出了齐次等式约束下线性回归模型 j y 黑盖箩+ 颤耍) 烹g 嘶) = 拶2 ( i i ) 【 础篇0 的狭义条件根方估计 万婶) 。) 麟r ，0 k 划露；勺d ，懈 若曩= l 或毽要蝻= 0l = ，尹， l若a l ，贝i j 后，g 一，o ) 它不但在均方误差意义下优于r l s 估计，而且还是可容许估计黄养新秘7 3 采用根方估计来估计增长盐线模型中国归系数，通过根方参数的选取， 可使根方估计的均方误差小于乙s 估计的均方误差，给出了选取根方参 数的三种方法。刘小茂等渊针对连续测量数据，给出了混合系数线性模 型参数的根方估计，并且证明了通过根方参数的选取，可使根方估计的 均方误差小于璐估计的均方误差。于义良溺在多重共线性关系时，给出 了回归系数的根方型主成分估计，证明了根方型主成分估计更有效地改 进主成分根方估计及澄售计嵩兑现等汹3 将撮方估计作一拓广，提出了 回归系数的广义根方估计，证明了广义根方估计能觅有效地改善最小二 乘估计，并给出了广义根方估计的显示解和确定偏参数的方法夏芷茂 等嘲从矩阵变换理论出发，对多元线性模型的系数提出了广义根方估 计，证明了它优于系数的l s 估计，并且是可容许性估计。 约束线性圆麴模型圈归系数的条律掇方估计 1 5 本文主要内容 以上介绍了一些学者研究无约束线性回归模型及约束线性回归模 型回归系数的l s 估计、岭估计、根方估计等有关成果，这些成果在数 理统计领域有了很深的影响但是，对于非齐次等式约束下的线性回归 模型的条件根方估计，圈前国内、外还没有这方面的文献。针对这种情 况，本文讨论嚣齐次等式约束下线性回归模型 y 竺瑚+ p ，球) = q 国埙e ) = 仃2 ( i i i ) lr p = ， 的狭义条件根方估计和广义条件根方估计 第三章对非齐次等式约束线性回归模型( ) 给出回归系数p 舱 狭义条件根方估计箩= 妒+ ) p = 缈+ ) l ( w x y + v ) ，o k 下，w s w = w ，i t s w 拦矽。 证明：w s w 燮 s 一s - r r s 一1 明一1 雕一 sis 一一s - i r r s 一1 剃q r s _ 离校教师在职硕士学位论文 嚣 又缈= 形，故w s w ：w 。 引理3 2 在模型( i i i ) 下，w = s 一s - x r r s 一1 r r r s 一1 为半正定矩阵， 置r a n k ( w ) = p q 。 证明：因w s w = 缈，又s 为正定阵，故为半难定阵，下证的秩 为p 一譬。 llllllll 注意到形= s i i p - s i r ( r s j s i r ) 一1 r s ii s i = s ：l i p - p 一! i s i 宣2 r 7 其中只表示庭群) 的正交投影阵。 所以r a n k ( w ) = r a n k i p - p 一! 】= 桫( - p ) = p - r a n k ( p 奠) = p q s2 r s2 r s4 r o 弓l 理3 。3 存在p 阶正交阵鬯， 使q w q = d i a g ( 五，毛，冀州，0 ，0 ) 未a ，墨为w 的菲零特征檄，且 a 如如一口 0 。 证魄鸯孕 理3 。1 结论显然。 弓f 理3 4 在模型( i i i ) 下，l r 的均方误差为m 魁够) = 盯。窆磊，五 t = 1 先形的非零特征根，且毒是芝。牵 o 。 证明：m s e ( f l 。) = t r c o v ( + + t l e p 。) 一卵= t r c o y ( 删r + 矿) + 0 一所 争一4 = 万2 t r ( w s w ) = a 2 t r ( w ) = 拶2 墨。 ( 3 。1 。垂) i = l 引理3 5 在模型( i i i ) 下，令脒= q ( 一矿) = 弛，岱：，掰，) ，则 g 尹科；= 搿扩孽+ 2 = = 躞= o ，q 由号 理4 定义，v = s 一1 霞 麟一筻r 尹。 证明：由引理3 知，q w q = q i s 一s - 1 r r s 叫r r 髂。 q = a 故s 一一s - ! r r s 一1 翮1r s 一1 = q a q i s - ! r 笺r s 1 霆r r = q a q s ， 从而一s - i r r s 一r t l= q a q s 声，因筇= ，t ， 1 4 约素线牲圄姻模型墨螽系数豹条件稷方估计 所以一s - 1 r t r s 。r 】_ lr = q a q s f l ， 刚夕一g = q a q s f l ，q ( f l 一功= 鲤窜，令鹾= q 移一功，则窿= 心肇， 由人的定义知，皑p 种l = 口p 铲2 拦= 诺，= o 鬟理3 。6 假设q y = b i b 删。州b p y ，则有 q , b = o t + q 矿= ( 喁+ 2 l l 口p 孽+ k q 一p l + 峙+ 。a p + b p ) 。 ( 3 1 5 ) 莫中o t 妒一譬+ | = 毯尹荦：嚣= 露尹= o 计 定义3 1 在模型( i i i ) 下，称由下式给定的( ”为的条件根方估 声( = 妒+ ) 七。= 缈+ ) 七( w x y + v ) ，o k l ( 3 1 6 ) 其中秽+ ) = q d i a g ( 3 a - e , , 2 - ：譬0 o ) q ，w , q , v 的定义同上文。 3 2 狭义条僻报方估隋十的性质 性质3 王根方估计爹 枣一捌2 = 劳秽) 霉c o v ( p ) 6 v + ) 毒) + 秽) 2 - i 【矽+ ) 蠹- i 】 - - ( 7 2 妒“人+ ) 静a ( a + ) 七) + 侈) ，【( a + ) 。- i 】【( a + ) 皇- i 】q = 玎2 帮a 十) 辩a 岔芦) 戤+ q 乃 心芦一司【) 毒一1 】积+ q 即 离校教师在职矮学位论文 ，一qp - q = 疗2 篇越豇+ ( 瑾；+ 熟) 2 ( 矿- 1 ) 2 3 。3狭义条件根方估计酶嘲羞与约束最小= 乘估计酶均方误差 得 大小的比较 定理3 1 在模型( i i i ) 下，当前 l 时，总存在j | ( o 薰 l 时，有 群 ) = 一掰：窆篇磁1 l l 舞一2 0 ：p - q l 珏磊= 一捃：l n 嚣磊 o ， 可知蝗嵇) 是 争上的单调减函数 而噬 ) = 一2 p - q ( + 匆) ：( 冒* 一1 ) 置量l n a 渔o ，r a i ( o ) 然0 ，即噬 ) 麓聪( o ) ， 因为呜秘) 是h ) 上的连续函数，因此，可翔趣抟) 是继争上的单调增 1 6 约束线性回l 胄模型回归系数的条件根方估计 函数所以总存在( o 圭) ，使得当o k k o 时，毽( 后) 勿2 荟p - q l n 丑。 综上可知，当0 后 k o 时，有日 ) = 群 ) + 噬 ) 0 ，故日( 露) 是( o ，后。) 上 的单调减函数，因此有劈 ) 好( o ) ，k 媳) ，e p m s e ( f l ( ) _ m s e ( 3 4 ) 。 定理3 1 说明当形的特征根很大时，从估计值的均方误差来看，总 可以选择一个适当k 的值使得条件根方估计优于r l s 估计 从定理3 1 的证明过程知，m s e ( 万) = 扛 ) + 吃( 露) ， 红( 后) = 剧p n 一彩( i 1 1 2 ，是厦i 的方差之和，且是( 0 圭) 上的单调减函数： 吃辑) = 司| 碜鳓一矧2 ，是磊秘的偏差平方和， 是( 0 争上的单调增函数由此可知，根方估计 就是用估计值的偏性来换取估计值方差的减 小从而使m s e ( f l ( 。) m s e ( f 1 4 ) 但是当w 的 非零特征根中有小于1 的特征根时，条件根方。 估计将不是约束可容许估计用图形表示 3 。4 狭义条件根方估计与约束最小= 乘估计的鼬e 准则比较 3 垂1 狭义条件根方估计在粕e - 至准则下优于约束最小二乘估计的条 件 为下文需要，先给出以下定义 定义3 2 砧3 1 设矽是参数的估计，则称m ( 矽，) = e ( 矽一) ( 矽一) 为 估计夕的平均散布误差。 由定义l 有， 1 7 高校教师在职硕士学位论文 m ( 分，夕) = e ( 力一) ( 夕一) 然般铲( 夕) + b 胁( 夕，) ( 另z 傩( 痧，” ( 3 4 1 ) 定义3 。3 鼢1 设磊，度是参数的两个估计，若它们豹平均散布误差 矩阵之差是非负定的，即：a c p “, ，度) = m ( 磊，) 一膨( 度，) o ，则称度是在 m d e l 准则下优予磊。 定义3 4 嘀1 设a ，庄是参数的两个估计，若 e ( 置一罗) 磊一) 一e ( a 一罗，( 定一声) = 妒 a ( 磊，众 2o ， ( 3 。屯2 ) 则称度是在m d e - i i 准则下优于矗 定理3 2 条件根方估计矽( ”在m d e - 薹准则下优于约束最小二乘估 计+ 的充分必要条件是 口- 2 f l q ( a 廖一，) ( a 2 量+ i a ) 一1 ( a 七一i ) q f l 1 ( 3 4 3 ) 证明：+ = w x t + v ，万性缈+ ) 蠹夕蚀妒+ ) 蠹( w x y + v ) ，0 k = 缈中严夕，v a r f l 枣- - c r 2 ( 驴+ ) 毒w o v + 罗 所以m ( 夕，) = v a r f l + b i a s ( f t , f 1 ) ( b i a s ( f l * , ) ) = 盯2 w ， ( 3 4 4 ) 五，( 方柏，f 1 ) = v a r f l 多) + b i a s ( p 舳，夕黻( 方幻，夕) ) - - 0 2 ( 形+ ) 2 w ( w + ) 七+ “+ ) 2 一) “彤+ ) 。p - p ) - - c t 2 ( 矽+ ) 鬻w ( w + 芦+ 缈十梦- i ) p p ( ( w + ) 老- i ) = 仃2 + ) w ( w + ) 七+ 缈+ ) 七筇缈+ 广一( 矽+ ) 2 筇( 矽十) 础( 缈+ ) 量( 3 4 5 ) 一( 形+ ) 。( + ) 础筇( 形十) + ( 形+ ) ( 形+ ) 础彩7 ( 彤+ ) 础( 缈+ ) 2 因此够，矽( ) = 膨。，夕) 一m 谚始，力 = 盯2 ( 形+ ) ( 形+ ) w ( w + ) 廿( 缈+ ) 膏一仃2 ( 缈+ ) 七w ( w + ) 一( 形+ ) 。筇( 缈+ ) 叠 + ( 十) 七筇( 形+ ) 一。+ ) 量+ 缈+ ) 2 ( 矽+ ) 砖彩缈+ ) 七一( 形+ ) ( 渺+ ) 咄缪+ ) 础( 驴+ ) 膏 = ( 形+ ) 磐p 2 ( 矽+ ) 一。w ( w + ) 一一盯2 w 一筇+ 邸缈+ ) 一2 + ( 驴+ ) 碱矽一( 驴+ ) 一毒筇缈+ ) 一2 x w 串广 1 8 约束线性回秘模型回归系数的条件根方待计 = ( 形+ 广p 2 ( ( 形十) 廿w ( w + ) 。一卵_ 厂) + 局臼7 “形+ ) 一，) + ( 形+ ) 一尼矽u 一( 形+ ) 一) ( 矽+ ) 量 = ( 形+ ) 2 p 2 驴+ ) 。w ( w + ) t 一矽) 届召f f w + ) 一d 一( 驴+ ) 一蠹局醪( ( 形+ ) - 量一z 矽+ ) 量 = ( 矿+ ) 。( 仃2 ( ( 形+ ) 。w ( w + ) - w ) 一( ( 矿+ ) 一1 ) p p “形+ ) 一一，) ) 缈+ ) 量 ( 3 4 6 ) 因为( 形+ 严o ，要使够，声湖) o ，只要使 萨2 ( ( 矽+ ) 廿w ( w + ) 一形) 一+ ) 一s ) p p “矽+ ) 一，) ) 0 ， ( 3 4 7 ) 而 缈+ 广驴+ ) 一w = q a i a g ( , 纛k ，莓譬，q ，o ) q q d i a g ( ) h ，。，t 譬，蛾，o ) q q a i a g ( , k ，磕。，0 ，o ) o q d i a g ( , 屯，乃叫o ，o ) q = q d i a g o 、z e + 1 ，。，= ，o ，o ) q - q d i a g ( 五，。，如叫毡，o ) q = 倒垤( 砰“1 一五，甓1 一缸。，o ，o ) a = q ( a 2 “1 a ) q ( 3 氛8 ) ( ( 矿+ ) 一枣一z ) p p 矽+ ) 一簟一，) ) = q ( 人皇一i ) q f l , f f q ( a 謦一，) q 因此要使p 2 ( 形+ ) 一鬻w ( w + ) 一一矽) 一( ( 形+ ) 一一d p p ( ( w + ) 一一，) ) 嚣仃2 0 状2 “q - q ( a 一i ) q f l f l q ( a 聋一i ) q = q ( 仃2 ( a 2 “1 - a ) 一( 人叠一i ) q 形q ( 人2 一，) ) q 0 只要p 2 a 2 蹦一弋r i ) q p f l q ( a k 一鳓o 从而有 - 2 q ( a 七一，) ( 人2 + i 一人) 一1 ( 人一i ) q pgi 3 垂2 狭义条件根方估计在锄e - i i 准刘下优于约束最小二乘估计的条 件 定理3 3 条件根方估计伊) 在m d e - 1 i 准则下优予约束最：b - - 乘估计 夕的充分条件是 秽_ 2 p q ( a 聋- i ) ( a + ) 2 量( a 枣一z ) q 伊( a a 一2 主) ( 3 。垂9 ) 1 9 离校教疖在职硕士学位论文 证明：因为护 ( 。，夕( 2 ) ) = 驴 ( 影+ ) 誊p 2 ( ( 矽+ ) 妇形( 驴+ ) 一驴) 一( ( 矿+ ) - 耋一i ) p p 矽+ ) 曲一f ) ) ( 驴+ ) 量 = 仃2 ( 矽+ 广q ( a 2 。+ 1 一a ) q ( 矿+ ) 2 一t r ( w + ) 2q ( a 。一i ) q f l l y q ( a - i ) q ( r v + ) 七) = 万2 m ( q ( a ) 2 q 留( a 2 “1 一a 硷q ( a + ) 2 q 7 一t r q ( a + ) k q q ( a 2 一i ) q f l f l q ( a 聋一，) q 翟( a + ) 2 q = 仃2 m