（概率论与数理统计专业论文）线性模型中bayes分析若干问题研究.pdf

摘要 本文研究了线性模型中参数的b a y e s 线性无偏估计( b a y e sl u e ) 和参数型经验b a y e s ( p e b ) 估计的构造方法及其性质。 对一般的g a u s s m a r k o v 线性模型，我们获得了参数及其可估函数的b a y e sl u e ， 并讨论了b a y e sl u e 在均方误差矩阵( m s e m ) 准则和p i t m a nc l o s e n e s s ( p c ) 准则下相对 于最小二乘( l s ) 估计的优良性，并且还研究了b a y e sl u e 对先验分布的稳健性；在先 验假定和样本分布中含有未知超参数和冗余( n u i s a n c e ) 参数时，构造了参数及其可估函 数的p e b 估计并证明了其小样本性质和渐近性质 对奇异线性模型，获得了参数的b a y e s 线性无偏估计，并在m s e m 准则和p c 准 则下证明了b a y e sl u e 相对于r a o 的最小二乘统一理论下的最佳线性无偏估计( b l u e ) 的优良性，我们还讨论了b a y e sl u e 对先验分布的稳健性和与b l u e 的相对效率的界。 对一般的分块线性模型，我们研究了参数及其可估函数的b a y e sl u e 的小样本性 质，获得了b a y e sl u e 相对于l s 估计的优良性。在先验假定和样本分布中含有未知超 参数和冗余参数时，构造了参数及其可估函数的p e b 估计并且研究了p e b 估计的性 质。 当观测值方差非齐性时，经典统计推断方法遇到了很多问题对此异方差线性模型 下参数的b a y e s 线性估计问题及其可估函数的p e b 估计问题，我们证明了b a y e sl u e 的小样本性质和p e r 估计在m s e m 准则下相对于广义最小二乘( g l s ) 两步估计的优 良性和渐近性质。 最后我们将g a u s s m a r k o v 线性模型下的部分研究结果推广到多元线性模型场合。 导出了参数及其可估函数的b a y e sl u e ，并研究了b a y e sl u e 在m s e m 准则和p c 准 则下的性质。 关键词：线性模型，b a y e s 线性无偏估计，p e b 估计，l s 估计，均方误差矩阵准则， p c 准则 a b s t r a c t t h i sd i s s e r t a t i o nf o c u so nt h ep r o b l e m so fb a y e sl i n e a ru n b i a s e de s t i m a t i o n ( b a y e sl u e ) a n dp a r a m e t r i ce m p i r i c a lb a y e s ( p e b ) e s t i m a t i o no fp a r a m e t e r si nt h el i n e a rm o d e l s f i r s t ，w ed e a lw i t ht h eg a u s s - m a r k o vl i n e a rm o d e l w ed e r i v et h eb a y e sl u e o f r e g r e s s i o np a r a m e t e ra n d s t u d y i t ss u p e r i o r i t i e so v e rt h e o r d i n a r yl e a s ts q u a r e s ( l s ) e s t i m a t i o n u n d e r t h em e a n s q u a r e de r r o rm a t r i x ( m s e m ) a n d p i t m a nc l o s e n e s s ( p c ) c r i t e r i o n s ，i t sr o b u s t n e s s r e l a t i v et ot h ep r i o ri sa l s od i s c u s s e dw h e nt h e r ea r es o m eu n k n o w nh y p e r p a r a m e t e r sa n dn u i s a l l c ep a r a m e t e r si nt h ep r i o ra n ds a m p l ed i s t r i b u t i o n ，w ec o n s t r u c tt h ep a r a m e t r i ce m p i r i c a l b a y e se s t i m a t i o n so fr e g r e s s i o np a r a m e t e r sa n dt h e i re s t i m a b l ef u n c t i o n st oi n s t e a do fb a y e s l u e ，a n ds t u d yt h es m a l ls a m p l ep r o p e r t i e sa n da s y m p t o t i cp r o p e r t i e so fp e b e s t i m a t i o n s f o rt h ep r o b l e mo ft h eb a y e sl u eo fp a r a m e t e r si nt h es i n g u l a rl i n e a rm o d e l ，w es t u d y t h es u p e r i o r i t yo fb a y e sl u eo v e rt h eb l u e ，d e r i v e di nr a o sl e a s ts q u a r eu n i v e r s a lt h e o r y ， u n d e rt h em s e ma n dp cc r i t e r i o n s w ea l s os t u d yt h er o b u s t n e s so fb a y e sl u er e l a t i v et o t h ep r i o ra n dt h eb o u n d a r yo fi t sr e l a t i v ee f f i c i e n c yc o m p a r e dw i t hb l u e f o ram o r e g e n e r a l l i n e a rm o d e l ，t h eb l o c k e dl i n e a rm o d e l ，w ed e r i v et h eb a y e sl u eo f t h e p a r a m e t e ra n di t se s t i m a b l ef u n c t i o n s ，a n ds t u d yt h es m a l ls a m p l ep r o p e r t i e so fb a y e sl u e f u r t h e r m o r e ，w ec o n s t r u c tt h ep e b e s t i m a t i o no fp a r a m e t e r sw h e nt h e r ea r es o m eu n k n o w n h y p e r p a r a m e t e r sa n dn u i s a n c ep a r a m e t e r si nt h ep r i o ra n ds a m p l e d i s t r i b u t i o na n d s t u d yt h e p r o p e r t i e so fp e b e s t i m a t i o n t h ec l a s s i c a ls t a t i s t i c a li n f e r e n c eh a v es o m ep r o b l e m si nh a n d l i n gt h eh e t e r o s c e d a s t i cl i n e a rm o d e l w ec o n s i d e rt h eb a y e sl u eo fp a r a m e t e ri nt h eh e t e r o s c e d a s t i cl i n e a rm o d e la n d s h o wi t ss u p e r i o r i t yo v e rg e n e r a l i z e dl s ( g l s ) e s t i m a t o r s w h e nt h e r ea r es o m eu n k n o w nh y - p e r p a r a m e t e r s a n dn u i s a n c ep a r a m e t e r si nt h es a m p l ed i s t r i b u t i o na n d p r i o r ，w ef i r s tc o n s t r u c t t h et w o - s t e pe s t i m a t o r so fg l se s t i m a t o r sa n dp e be s t i m a t o r s ，t h e ns t u d yt h ep r o p e r t i e so f p e be s t i m a t o r s w ef i n a l l yg e n e r a l i z et h er e s u l t si nt h eg a u s s m a r k o vl i n e a rm o d e lt ot h em u l t i l i n e a r m o d e l sw ed e r i v et h eb a y e sl u eo fp a r a m e t e ra n di t se s t i m a b l ef u n c t i o n sa n ds h o wt h e i r s u p e r i o r i t i e so v e rl se s t i m a t i o n su n d e rm s e m a n dp cc r i t e r i o n s k e y w o r d s ：l i n e a rm o d e l ，b a y e sl i n e a ru n b i a s e de s t i m a t i o n ，p e be s t i m a t i o n ，l se s t i m a t i o n ， m e a n s q u a r e de r r o rm a t r i xc r i t e r i o n ，p cc r i t e r i o n i i i a vb a b 豫7 “o n u ”。1 r m d e t ( a ) a 0 且 0 a 口 a a 十 r a n k ( a ) m ( a ) a i ( a ) t r ( a ) 只 v e c ( a ) a 圆b 矗 e ( x ) c o v ( x ) “( 芦，) b a z ! c 8l u e l s 估计 m s e m s e m p a p p e p r p c 符号表 “定义为”或者“记为” ? n o 卫 o ，” m i n a ，吣 m n 维实矩阵集合 mx1 维实向量的集合 a 的行列式值 a 为非负定矩阵 月为正定矩阵 a 0 ，b 0 且a b 0 矩阵以的广义逆 矩阵a 的m o o r e p e n r o s e 广义逆 矩阵a 的秩 矩阵a 的列向量张成的子空间 a 的第i 个顺序特征根 矩阵a 的迹 矩阵a 的投影阵 矩阵a 的向量化 a 与b 的k r o n e c k e r 乘积 nxn 维单位阵 随机变量或向量x 的均值 随机向量x 的协方差 均值为“，协方差阵为e 的p 维正态向量 b a y e s 线性无偏估计 最小二乘估计 均方误差 均方误差矩阵 p i t m a nc l o s e n e s s 后验p c ，预测p c v 第一章绪论 b a y e s 统计是统计学的一个重要领域，b a y e s 方法的基本观点是由b a y e s 公式引申 而来的。b a y e s 公式包含在英国学者t h o m a sb a y e s 在他逝世后两年( 即1 7 6 3 年) 发表 的一篇文章中，此文1 9 5 8 年在著名统计杂志b i o r n e t r i k a 上重新刊载。后世学者把 b a y e s 公式中所包含的统计思想加以引申发展成为一种广泛应用于统计推断的系统理论 和方法，统称为b a y e s 统计。 近些年来，在高维数据处理、复杂系统中的因果推断和图论、b a y e s 网络等领域 中，b a y e s 统计方法得到了广泛的应用和发展。在2 0 0 2 年美国国家基金会所组织的题 为“s t a t i s t i c s ：c h a l l e n g e sa n do p p o r t u n i t i e sf o rt h et w e n t y f i r s tc e n t u r y ”( k e t t e n r i n g e t a l ，2 0 0 4 ) 研讨会上，来自世界各地的近5 0 位著名的统计学家对统计学在2 1 世纪中所 面临的机遇与挑战进行了讨论。会议报告指出：“上世纪9 0 年代的计算技术的发展使 得b a y e s 方法可以在很广泛的模型类中实现未来几十年的挑战是充分研究和发展将 b a y e s 方法应用于近代非参数、半参数等统计领域，包括将b a y e s 方法和频率论方法尽 可能结合的研究”。b a y e s 学派著名学者l i n d l e y 就曾预言：“统计学的未来一个 b a y e s 的二十一世纪”( 见l i n d l e y ，1 9 7 2 ) 。不论这一预言是否偏激，近几十年来b a y e s 统计确实得到了长足的发展，b a y e s 方法已渗透到了统计学的几乎所有领域，它随着统 计学的发展和应用必将得到越来越多的关注 1 1 b a y e s 方法的原理 参数估计是统计推断的一个基本问题。统计模型中的常见参数估计方法有矩估计、 极大似然估计、最小二乘估计和b a y e s 估计等等，其中b a y e s 统计方法与经典统计方法 的主要不同之处在于考虑统计推断问题时除了利用样本的信息外，为了提高统计推断 的效率还要利用参数的先验信息。 在b a y e s 理论中，把感兴趣的参数日= ( 目h，以) e 视为随机变量，9 为参数空 间。并且假定，在获得试验观察数据之前，人们对未知的参数已经有了一定的认识，这 种认识用概率分布”( 9 ) 来表示，即先验分布。而把样本x = ( x ，五。) 的联合概率 函数视为是在给定0 的条件下的条件概率函数，用p ( 。l o ) 表示。从而口在给定样本z 的 中国科技大学博士论文 条件概率函数，( 目l z ) 为 y ( o = 龋 这就是著名的b a y e s 定理或称b a y e s 公式也称为参数。在已知样本z 后的后验概 率函数。前面已指出，先验分布”( 口) 概括了试验者在试验之前( 即获得样本x 之前) 对 未知参数目的认识，而f ( o l x ) 则是得到样本。的条件下试验者对口的重新认识，称为p 的后验分布。它综合了口的先验信息和样本带来的关于口的信息，因此所有的b a y e s 统计推断都应当基于参数的后验分布进行 在统计决策问题中，我们称所采取的决定为决策或行为( a c t i o n ) 。把可能采取的决 策所组成的集合称为决策空间，记为口采取任何决策行动，都有可能造成损失，因 此需要引入损失函数，一个决策行动的好坏由风险函数的大小来决定( 陈，1 9 8 1 ) 设 有样本空间 x ，s x ，而( r e ，口e ) 为其上的概率分布忉，踯) 为行动空间。l ( d ，p ) 为损失函数，它是定义在d e 上的非负可测函数。通常情况下，损失函数l ( d ，0 ) 取 二次损失 l ( d ，口) = ( d 一口) ，d ( d 一8 ) = l l d 一8 u 刍， 其中_ d 为一已知的正定的或者非负定的矩阵特别，当d = ，时，损失函数 l ( d 一口) = l i d 一钏2 茌买际甲用的璺多一些记r ( 0 ，6 ) ) 为米取行动6 ( 的风险，则 r ( 0 ，d ( 。) ) = e l ( o ，6 ( z ) ) = 工( p ，6 ( z ) ) d 岛( ) j z 而称 ( d ) = 二r ( 0 , 5 ) 如( 口) 为行动6 在先验分布”：2 - t 的b a y e s 风险若行动扩满足岛( 6 ) 2 曲r ”( 6 ) ，则称矿 在b a y e s 决策问题中常使用后验风险最小原则：设l ( d ，p ) 为损失函数，则称 跗= 上l ( d ，咖( 吣) 2 第一章绪论 为当得到样本z 时行动d 的后验风险。对任何样本值z ，若存在行动d 。，使后验风险 最小，即 r ( 4 1 。) 。勰r ( d 则称d 。为一个b a y e s 决策函数。可以证明后验风险最小原则与b a y e s 风险最小原则是 等价的，因此d 。与b a y e s 风险最小原则下获得的b a y e s 解是样的。 关于b a y e s 方法的介绍可参看b o x a n dt i a o ( 1 9 7 3 ) ，b e r g e r ( 1 9 8 5 ) 和茆( 1 9 9 9 ) 等专 著。 1 2 经验b a y e s 方法及其研究进展 b a y e s 方法的一个重要问题是如何确定先验分布。当参数的先验信息积累不是足够 多时，若对先验分布作了与实际情况不相符的人为假定时，所得到的b a y e s 解的性质就 会比较差经验b a y e s ( e m p i r i c a lb a y e s ，简称为e b ) 方法就是针对这一f 吲嚣而提出的 它的实质是利用历史样本对先验分布或其重要特征作出估计。 e b 方法最早是由r o b b i n s ( 1 9 5 5 ，1 9 6 4 ) 首先提出来的，e b 方法可分为两大类( m o r r i s ， 1 9 8 3 ) ：一类称为参数氆经验b a y e s ( p a r a m e t r i ce b ，简称为p e b ) ；另一类称为非参数经 验b a y e s ( n o n p a r a m e t r i ce b ，简称为n p e b ) 这在b e r g e r ( 1 9 8 5 ) 和吴喜之( 2 0 0 0 ) 中也有 叙述。前者假定参数的先验分布属于含有未知参数( 通常称为超参数) 的分布类，所求 的b a y e s 解通常可表为超参数，有时还有冗余( n u i s a n c e ) 参数的函数。因此p e b 估计往 往通过利用历史样本对超参数和冗余参数作出估计而获得，它可以认为是b a y e s 两步估 计。对p e b 估计，研究比较多的是其小样本性质，如均方误差( m s e ) 特性，均方误差 矩阵( m s e m ) 特性、可容许性、稳健性等。这方面的研究工作可以参见e f r o n a n dm o r r i s ( 1 9 7 2 ) ，b e r g e r ( 1 9 8 5 ) ，g h o s h ( 1 9 8 9 ) 和w e ia n dc h e n ( 2 0 0 3 ) 等。在研究p e b 估计问题 中，有时也要研究其渐近性质以获得p e b 区间估计。第二种方法，即n p e b 方法，常 常假定先验分布为完全未知的，但假定先验分布的某些矩存在，因此参数的b a y e s 估计 常可表为概率密度函数及其偏导数的函数。为获得n p e b 估计，往往通过历史样本，用 非参数方法对概率密度及其偏导数作出估计，从而获得n p e b 估计。对n p e b 估计， 研究比较多的是其大样本性质，如渐近最优性( a 0 ) 和收敛速度等。这方面的研究工作 见文献s i n g h ( 1 9 7 9 ) ，c h e n ( 1 9 8 3 ) 和w e i ( 1 9 8 7 ) 等。 3 中国科技大学博士论文 自r o b b i n s ( 1 9 5 5 ，1 9 6 4 ) 引入e b 方法以来，e b 统计推断获得了许多研究结果。 特别对指数族的研究，l i n ( 1 9 7 5 ) ，s i n g h ( 1 9 7 6 ，1 9 7 9 ) 讨论了单参指数族下参数的e b 估 计问题，并研究了e b 估计的渐近最优性和收敛速度等z h a o ( 1 9 8 1 ) 指出了l i n ( 1 9 7 5 ) 文章中的一个错误c h e n ( 1 9 8 3 ) 考虑了离散型单参指数族中的e b 估计问题，并获得 了e b 估计的渐近最优性w e i ( 1 9 8 5 ，1 9 8 7 ) 将连续型单参指数族的e b 估计问题推广 到连续型多参数指数族的情形，获得了参数的b a y e s 估计和e b 估计并证明了e b 估计 的大样本性质。y a n ga n dw e i ( 1 9 9 5 ，1 9 9 6 ) 将离散型单参数指数族的e b 估计问题推广 到多参数情形，并研究了e b 估计的渐近最优性和收敛速度等问题关于单参数措数族 中参数的e b 检验问题，j o h n sa n dv a nr y z i n ( 1 9 7 1 ，1 9 7 2 ) 最早分别对离散型和连续型 指数族考虑了参数的e b 检验问题，并研究了e b 检验的大样本性质。v a nh o w e l i n g e n ( 1 9 7 6 ) ，l i a n g ( 1 9 8 s ) ，k a r u n a m u n ia n dy a n g ( 1 9 9 5 ) 分男q 研究了单调的e b 检验问题并讨 论了其收敛速度w e i ( 1 9 8 9 ，1 9 9 1 ) 考虑了离散型和连续型单参数指数族的双侧e b 检 验问题，z h a n g a n dk a r u a a m u n i ( 1 9 9 7 a ，1 9 9 7 b ) 讨论了变量带误差( e v ) 情形时的e b 检 验问题，k a r u n a m u n ia n dz h a n g ( 2 0 0 3 ) 讨论了e v 情形下的e b 检验问题。s i n g ha n d w e i ( 1 9 9 2 ) 最早研究了刻度指数族中刻度参数在平方损失下的e b 估计问题，s i n g ha n d w e i ( 2 0 0 0 ) 研究了该分布下的e b 检验问题。王和韦( 2 0 0 2 a ，2 0 0 2 b ) 讨论了加权平方损失 下的刻度参数的e b 估计及其大样本性质，韦( 2 0 0 0 ) 将刻度参数的e b 检验问题从i , i d 样本推广到n a ( 负相依) 样本情形。l i a n g ( 2 0 0 2 ) 采用b e s s e l 函数去构造密度函数的核 估计，从而改进了v a nh o w e l i n g e n ( 1 9 7 6 ) 和k a r u n a m u n ia n dy a n g ( 1 9 9 5 ) 关于e b 检验 的结果。 1 3 线性模型中参数的b a y e s 推断和经验b a y e s 方法 通常求线性模型中回归参数的b a y e s 估计有下面几种方法：一种是在正态线性模型 下假定回归参数的先验分布为正态分布或无信息先验，其后验分布也为正态分布；故在 二次损失下b a y e s 估计由后验均值给出，这是常用的求b a y e s 估计的方法。第二种方法 是多层先验b a y e s 方法，即选定先验分布后，该先验分布中往往还含有未知的超参数， 则假定这些未知的超参数有某种先验分布，然后进行综合，最后得到b a y e s 估计。这种 方法最早由l i n d l e y ( 1 9 7 2 ) 提出。第三种方法是在g a u s s m a r k o v 模型下假定先验分布满 4 第章绪论 足一定矩的条件，在二次损失下最小化b a y e s 风险获得b a y e s 线性估计，这一方法最早 是由r a o ( 1 9 7 3 ) 提出，g r u b e r ( 1 9 9 0 ) 作了一些讨论。b a y e s 线性无偏估计的定义如下； 定义1 1 设冗( 反0 ) 为估计量虿的b a y e s 风险，在参数向量0 r p i 的线性估计 类 日= a y + b ：其中a 科。“，b 科“ 中，称线性估计日+ 为p 的b a y e s 线性无偏估 计( b a y e sl u e ) ，如果满足约束条件e ( 伊一目) = 0 以及r ( 萨，口) = - 1 1 1 p r ( 瓦 - 0 显然，第三种方法对模型的假定条件较少，适用范围广，应用上更方便。本文将按 第三种方法，研究线性模型里参数的b a y e s 线性无偏估计及其优良性r a o ( 1 9 7 6 ) 证 明了b a y e s 线性估计是可容许的，现有文献中关于b a y e sl u e 及其小样本性质的研究 还较少 线性模型中e b 估计问题最早是由c l e m m e r a n dk r u t c h k o f f ( 1 9 6 8 ) 提出的，他们获 得了有关参数的e b 估计，通过m o n t ec a r l o 方法进行模拟比较研究了e b 估计的性 质。s i n g h ( 1 9 8 5 ) 在二次损失下构造了g a u s s m a r k o v 线性模型下回归系数的n p e b 估 计，获得了e b 估计的收敛速度w e i ( 1 9 9 0 ) 讨论了e b 检验问题，构造了n p e b 检验 函数，获得了a o 性和收敛速度。z h a n g a n dw e i ( 1 9 9 4 ) 和w e ia n dz h a n g ( 1 9 9 5 ) 推广 s i n g h ( 1 9 8 5 ) 的工作，考虑了回归系数和样本方差的同时e b 估计问题并研究了其大样 本性质。w e i ( 1 9 9 8 ，1 9 9 9 ) 对一般的线性模型讨论了其参数的e b 估计和检验问题 关于线性模型中参数的p e b 估计问题，自c l e m m e r a n dk r u t c h k o f f ( 1 9 6 8 ) 提出p e b 估计方法以来，e f t o na n dm o r r i s ( 1 9 7 2 ) ，b e r g e r ( 1 9 8 5 ) 和g h o s he ta l ( 1 9 8 9 ) 等考虑了 多元正态分布和线性模型中参数的p e b 估计问题。w e i a n d t r e n k l e r ( 1 9 9 5 ) 和t r e n k l e r a n dw e i ( 1 9 9 6 ) 考虑了错误指定的线性回归模型中回归系数的b a y e s 估计和p e b 估计 及其优良性问题。韦( 1 9 9 7 ) 和w e ia n dc h e n ( 2 0 0 3 ) 分别构造了单向分类和双向分类方 差分析模型中p e b 估计，并研究了其小样本性质。 用n p e b 方法研究参数估计问题，虽然有良好的大样本性质，但它的表达式一般 比较复杂而在应用上不方便，而且难于将其与频率方法获得的估计相比较p e b 方法 可以克服上述某些缺点，它有良好的小样本性质，在应用上较方便而且易于与频率方法 下的估计进行比较本文将用p e b 方法研究线性模型中参数的p e b 估计及其小样本 性质和渐近特性。 5 中国科技大学博士论文 1 4 估计量的优良性准则 设0 和如为参数向量0 的两个不同的估计，比较它们的优良性已有一些不同的 准则。通常采用的一种主要方法为：设l ( 反0 ) 为损失函数，r ( 瓦0 ) 为风险函数，若 r ( p 1 ，0 ) r ( 0 2 ，0 ) ，对一切0 o 成立，e 为参数空间，且严格不等号至少对某个 o o o 成立，则称瓦在上述风险下优于瓦。当取损失l ( 瓦日) = ( 万一p ) ，( 万一日) ，n o ：- 次损 失时r ( 反口) = e ( 万一口) 7 ( 亭一日) ，此时风险函数就是我们下面将要介绍的均方误差( m s e ) 准则；若取损失工( 反目) = ( 万一口) ( 万一口) ，兄( 瓦口) = e ( 亭一日) ( 万一p ) ，此即我们后面要介绍 的均方误差矩阵( m s e m ) 准则下述的定义1 2 是统计决策问题中常用的比较估计量优 良性的准则 定义1 2 设参数向量0 的估计量为玩则m ( 自= e ( 万一日) ( 芗口) ，称为虿的均方误 差矩阵( m s e m ) ；而m s e ( o ) = e ( 虿一p ) ( 万8 ) 称为虿的均方误差( m s e ) 。设玩，龟分 别为参数向量0 的两个不同估计量，日l 称为在m s e m ( 或m s e ) 准则下优于p 2 ，如果 m ( 0 2 ) 一m ( 0 1 ) 0 ( 或m s e ( 0 2 ) 一m s e ( 0 1 ) 0 ) 显然，m s e m 是比m s e 更强的一个优良性准则。一个估计量可以在m s e 准则下 优于另一个估计量，而在m s e m 准则下未必具有这一优良性。 p i t m a nc l o s e n e s s ( p c ) 准则是p i t m a n ( 1 9 3 7 ) 提出的，这一方法被忽略了相当长时 间，直到r a o ( 1 9 8 1 ，1 9 8 6 ) 有关p c 准则的论文发表后，p c 准则作为比较不同估计量 优劣的又一准则，受到了统计学者的广泛关注r a o ( 1 9 8 1 ) 指出，传统的比较估计量优 劣的m s e 准则在二次损失下把大偏差小概率情形强调到不适当的程度，而不是考虑估 计量在真值附近集中的程度。看下面的例子 例1 设0 的真值为0 ，6 1 扛) 和6 2 ( z ) 为0 的两个估计量，它们的分布如下： p ( 6 l ( z ) = 1 ) = 0 9 ，p ( 5 1 ( z ) = 1 0 ) = 0 1 ；p ( 5 2 ( z ) = 3 ) = l 问估计量6 l ( z ) 和5 2 ( x ) 更优? 按m s e 定义，m s e ( 6 1 ( z ) ) = 1 0 9 m s e ( 1 5 2 ( z ) ) = 9 所以在m s e 准则下6 2 ( z ) 优 于n ( z ) ，但实际上5 1 ( z ) 在真值附近的集中程度远远大于d 2 ( z ) 。在这种情况下，m s e 准则在判断不同的估计量优良性时产生了较大的偏差。p c 准则就是针对这一问题而 提出的 p i t m a nc l o s e n e s s 准则的定义如下： 定义1 3 设有分布族 只( 。) ，0 e ) ，e 为参数空f 司。n ( o ，0 ) 为损失函数。p l ，0 2 6 第一章绪论 为0 的两个不同估计量，称玩在p c 准则下优于瓦如果 p ( l ( 玩，目) l ( g ，p ) ) 0 5 ，对一切0 o 且严格不等号 至少对某个0 0 成立。 g h o s ha n ds e n ( 1 9 9 1 ) 从b a y e s 角度引入p c 准则的两个替代概念，称为p o s t e r i o r p i t m a nc l o s e n e s s ( p p c ) 和p r e d i c t i v ep i t m a nc l o s e n e s s ( p r p c ) 准则p p c 和p r p c 准 则定义如下： 定义1 4 设”为0 的一个先验分布，氏= 6 i ( z ) ，如= 如( z ) 为0 的两个不同估计 量，称估计量6 1 在p p c 准则下优于估计量d 2 ，如果 只( l ( 5 t ，0 ) sl ( 5 2 ，口) l 。) 0 5 对一切。爿成立，右边不等号“ ”至少对某个x z 成立此处爿表示样本空间 定义1 5 令f 是0 的先验分布类，6 1 = 5 1 ( z ) ，如= 5 2 ( x ) 为0 的两个不同估计量， 称以在p r p c 准e f t 优于6 2 ，如果 p 丌( 工( 6 l ，0 ) l ( h ，日) ) 0 5 ， 对一切”r 此处r 表示对每一个”r 关于x 和0 的联合分布计算概率。 显然，若0 的估计量6 1 对每一个”f 在p p c 准则下优于估计量如，则它在p r p c 准则下也优于估计量如，反之不必对因此p p c 是比p r p c 更强的准则g h o s h a n d s e n ( 1 9 9 1 ) 给出一个反例说明传统的j a m e s s t e i n 估计对一切先验分布在p r p c 准则下 优于样本均值，而对p p c 准则这一断言不对 对两个无偏估计量的比较，我们还可以考虑其相对效率。参数的两个无偏估计量的 相对效率有多种不同的定义方式。刘和王( 1 9 8 9 ) 是通过两个无偏估计量的协方差阵的 t r a c e ( 迹) 之比来定义的当两个估计量( 或其中之一) 不具有无偏性时我们将对此定义 作一定的修改，用估计量的均方误差矩阵代替协方差矩阵定义如下： 定义1 6 设玩和瓦分别为参数0 的两个不同的无偏估计，而且m ( 0 02m ( 磊) 。 定义0 1 和口2 的相对效率如下： 郴0 2 ) = 篇器 中国科技大学博士论文 显然，0 e ( 玩，玩) 曼1 。而e ( 玩，瓦) 愈接近于1 ，用估计量玩代替瓦在估计精 度上所蒙受的损失就愈小。相反，e ( 反，瓦) 愈接近零，这种替代在估计精度上损失就愈 大。我们感必趣的是研究相对效率e ( 玩，瓦) 的界。 1 5 论文结构安排 本论文的主要研究以下几个方面的问题： 第二章讨论了下述线性模型中参数的b a y e s 线性无偏估计和p e b 估计及其性质： y m 1 = x m p 岛1 + e m x l ，e e = 0 ，c o v ( e ) = 0 - 2 h ， ( 1 5 1 ) 其中一2 是一个已知的正的常数卢的先验分布”( 卢) 满足如下条件： e ( p ) = “g d 口( 卢) = 7 2 ， ( 15 2 ) 其中r 2 为正的已知的常数对模型( 1 5 1 ) 和( 1 5 2 ) 进行了下列研究： ( 1 ) 导出了芦及其可估函数的b a y e s 线性无偏估计( b a y e sl u e ) 的表达式，并讨论 了其在m s e m 准则和p r p c 、p p c 准则下相对于最小二乘估计的优良性。 ( 2 ) 研究了b a y e sl u e 关于先验分布的稳健性 ( 3 ) 当模型( 1 5 1 ) 和( 1 5 2 ) 中的a 2 ，2 ，芦未知时，b a y e s 估计因含有这些未知参数 而无法直接使用，需要利用历史样本对这些未知参数作出估计而获得b a y e s 两步估计， 即参数型经验b a y e s 估计( p e b ) 我们构造了参数的p e b 估计并研究了p e b 估计小 样本性质和渐近特性在本章末我们还给出了一个利用p e b 估计构造参数的近似l o l p e b 可信区间的例子，并通过模拟计算将其与l s 置信区间进行了比较 第三章研究了下述奇异线性模型中参数的b a y e sl u e 及其性质t y = x f j 十e ，e ( e ) = 0 ，c o v ( e ) = e ，( 1 53 ) 其中e 0 且d e t ( e ) = 0 。假设卢的先验分布满足 ( 肛) ：e ( 口) = 弘，e o ”( 廖) = u( 1 5 4 ) 其中v 0 。对奇异线性模型( 1 5 3 ) 和先验假定( 1 5 4 ) ，导出了卢的可估函数的b a y e s l u e ，并在m s e m 准则和p c 准则下研究了b a y e sl u e 相对于r a o 的最小二乘统一理 r 第一章绪论 论下获得的最佳线性无偏估计( b l u e ) 的优良性，以及b a y e sl u e 对先验分布的稳健 性，最后还讨论了b a y e sl u e 和r a o 的b l u e 的相对效率的界。 第四章讨论一般分块线性模型中参数的b a y e sl u e 和p e b 估计及其性质： y = x 1 序+ x 2 0 + e ，e ( e ) 其中y ，球，球畔记7 = ( ：) 并假设7 的先验分布满足如下条 件： 嘶一g 州俨t 曼) 铋， 对模型( 1 5 ，5 ) 和( 1 5 6 ) ，导出了7 及其可估函数的b a y e sl u e 并研究了其在m s e m 准 则和p r p c 、p p c 准则下相对于l s 估计的优良性。当口2 ，r ，嵋，舶未知时，构造了7 及其可估函数的p e b 估计，并研究了p e b 估计在m s e m 准则下相对于l s 估计的优 良性。作为可估函数的特例，当7 的分量n 和卢可估时，分别获得了a 和卢的b a y e s l u e 和p e b 估计及其优良性 第五章研究了下述异方差线性模型中参数的b a y e sl u e 和p e b 估计构造及性质： 1 = x m p 伟1 十e m l ，( 1 5 7 ) e 。，= 。，g 。”。，= = o - 。；三一。) ， 其中y 豫m 为观测向量，x 豫m 。为设计阵，卢为未知的参数向量。假定卢的先验 分布满足如下条件 7 r ( 卢) ：e ( z ) = p ，a o ( 卢) = t 2 如， ( 1 5 、8 ) 其中r 2 0 。对此模型，导出了卢及其可估函数的b a y e sl u e 并获得了其在m s e m 准 则下相对于广义最小二乘( g l s ) 估计的优良性，特别对参数a ，a ；，r 2 ，p 未知时，经典 统计推断遇到了诸多问题，我们构造了卢及其可估函数的g l s 两步估计和p e b 估计， 并讨论了p e b 估计相对tg l s 两步估计的小样本性质和渐近特性。 第六章研究下述多元线性模型中参数的b a y e sl u e 及其优良性： y 口= 凰n 。p b p g + e m 。9 ， ( 1 5 9 ) 中国科技大学博士论文 利用矩阵向量化运算和k r o n e c k e r 乘积表示，将模型( 1 5 9 ) 表示为如下等价的形式 v e c ( y ) = ( ox ) v e c ( b ) + y e c ( e ) ， ( 1 5 1 0 ) e ( v e c ( e ) ) = 0 ，c o v ( v e c ( e ) ) = eo 厶 假定参数矩阵b 的先验分布满足 7 r ： e ( v e c ( b ) ) = y e c ( p ) ，c o y ( v e t ( b ) ) = k v ( 15 1 1 ) 其中k 为一个已知的q 。q 维正定阵，y 为一个已知的p p 维实正定矩阵。 对模型( 1 5 1 0 ) 和( 1 5 1 1 ) ，导出了参数矩阵b 的b a y e sl u e 并研究了其在m s e m 准则和p r p c 、p p c 准则下相对于l s 估计的优良性。 1 0 第二章线性模型中参数的b a y e sl u e 和p e b 估计 在线性模型参数估计理论和方法中，最d x ：乘( l e a s ts q u a r e ，l s ) 法占有重要的地 位g a u s s m k o v 定理保证了l s 估计在线性无偏估计类中的方差最小性。基于这个 原因，在线性模型参数估计中，l s 估计一直是被广泛应用的重要估计然而近几十年 来，随着现代电子计算技术的发展，人们愈来愈多地处理含较多自变量的大型回归问 题，此时设计阵往往为病态许多实践也表明，在一些情况下l s 估计并不理想，在个 别情况下可能很不好。因此，统计学家们作了种种努力，试图改进l s 估计。这种努力 的一个重要方面就是寻求一些新的估计，其中主要有岭估计、s t e i n 估计和主成分估计 等有偏估计，b a y e s 线性估计从经典意义下讲也是一种有偏估计1 ，这些估计都改进了 l s 估计。本章的目的在于系统的讨论b a y e s 线性估计的性质及其优良性，以及当先验 分布中超参数和样本分布中冗余参数未知时，我们构造了b a y e s 两步估计，即p e b 估 计，并研究了其小样本性质和渐近性质。 2 1 线性模型中参数的b a y e sl u