（概率论与数理统计专业论文）一类非平衡方差分量模型的参数估计.pdfVIP

摘要 缘陛混合模型是既包含固定效应又包含随机效应的一类线性模型，它被频繁 应用于生物、医学、经济、抽样设计和质量控制等过程。作为线性混合模型的一 个重要研究方向，本文研究的含有两个方差分量的混合效应模型颇受统计学家关 注。但很多现有的研究成果都是针对平衡模型得到的，对非平衡模型参数估计的 研究并不多。对于实际中经常遇到的非平衡模型如果忽略模型的非平衡性，会带 来估计精度下降等一系列问题。本文研究了一类比较一般的含两个方差分量的非 平衡混合效应模型。在充分考虑了模型非平衡性和设计阵特殊结构的基础上，提 出了模型参数的新估计。 众所周知，当方差分量已知时广义最j , - - 乘估计( g e n e r a l i z e dl e a s ts q u a r e e s t i m a t e ，g l s e ) 是对于固定效应的最佳线性无偏估计( b e s tl i n e a ru n b i a s e d e s t i m a t e ，b l u e ) 。但方差分量通常是未知的，g l s e 不可行。因此在实际中一般 使用最小二乘( l e a s ts q u a r e ，l s ) 估计或两步广义最小二乘饵s t i m a t e dg e n e r a l i z e d l e a s ts q u a r e ，e g l s ) 估计。但是这两种方法存在估计精度低或需要迭代、计算比 较复杂的问题。本文研究了固定效应的一个无偏估计类，在均方误差标准下，利 用约束非线性最优化方法找到了一种均方误差( m e a ns q u a r ee r r o r , m s e ) 意义下 最优且计算比较简单的新估计一一最佳组合估计( b e s tc o m p o u n de s t i m a t e 。 b c e ) 。在均方误差标准下，我们从理论上证明了其一致优于y a n g 等( 2 0 0 0 t 4 3 1 提 出的估计，并给出了b c e 优于最小二乘( l s ) 估计的充分条件。同时对于混合效 应，我们也给出了一种计算相对简便的非迭代估计。最后我们通过模拟方法将我 们给出的估计与两步广义最小二乘( e g l s ) 估计等现有研究成果作了比较。模拟 结果表明，b c e 在估计精度上与两步广义最小二乘( e g l s ) 估计相当，但计算上 比其简单；同时与最小二乘( l s ) 估计不同，b c e 对非平衡程度较大的模型也具有 很好的稳健性。 关键词：线性混合模型；固定效应；方差分量；非平衡数据；均方误差 a b s 仃a c t t h el i n e a rm i x e dm o d e li sas u b c l a s so fl i n e a rm o d e i st h a tc o n t a i nb o t hf i x e d e f f e c t sa n dr a n d o me f f e c t s t h i sk i n do f m o d e lh a se x t e n s i v ea p p l i c a t i o ni nb i o l o g y , m e d i c a ls c i e n c e ，e c o n o m y f i n a n c e ，e n v i r o n m e n tp r o t e c t i o na n dd e s i g no fi n d u s t r y a n ds oo n a sa ni m p o r t a n tr e s e a r c hf i e l da b o u tt h el i n e a rm i x e dm o d e l ，t h e p a r a m e t e re s t i m a t ep r o b l e mo f m i x e d e f f e c tm o d e lw i t ht w ov a r i a n c ec o m p o n e n t s h a sd r a w nt h ea t t e n t i o n so fm a n ys t a t i s t i c i a n si nt h er e c e n ty e a r s m o s tr e s e a r c h e so f s u c hm o d e la r ei nt h ec o n t e x to fb a l a n e e dd a t ai n s t e a do ft h eu n b a l a n c e dd a t a h o w e v e r , t h eu n b a l a n c e dd a t a i s q u i t eu s u a li n t h er e a lp m j e c t s u n f o r t u n a t e l y , i g n o r i n gt h eu n b m a n c e d s t r u c t u r eo ft h ed e s i g nm a t r i xa n de x t e n d i n gt h er e s u l t sf o r b a l a n c e dd a t at ot h eu n b a l a n c e dd a t aw i t h o u tr e v i s i n gc o u l db r i n gas e r i e sp r o b l e m s s u c ha s w o r s e n i n gt h ea c c u r a c y o ft h ee s t i m a t e i nt h i sp a p e r , w ea d d r e s st h e p r o b l e m o f p a r a m e t e r e s t i m a t i o ni nac l a s so fu n b a l a n c e dm i x e de f f e c tm o d e l sw i t h t w ov a d a n c ec o m p o n e n t s b a s eo ni n f o r m a t i o nc o n t a i n i n gi nt h es t r u c t u r eo ft h e d e s i g nm a t r i x ，w eo b t a i naf e a s i b l ee s t i m a t ef o rt h ep a r a m e t e r si nt h e c o n t e x to f u n b a l a n e e dd a t a i ti sw e l lk n o w nt h a tt h eg e n e r a l i z e dl e a s ts q u a r ee s t i m a t e ( g l s e ) i st h eb e s t l i n e a ru n b i a s e de s t i m a t e ( b l u e ) o ft h ef i x e de f f e c t s ，i ft h ev a r i a n c ec o m p o n e n t s a r ek n o w n i np r a c t i c e ，h o w e v e gt h ev a r i a n c ec o m p o n e n t sa r eu s u a l l yu n k n o w n , a n d t h e r e f o r et h eg l s ei sn o taf e a s i b l ee s t i m a t e a st h es u b s t i t u t e s ，t h e l e a s i b l e e s t i m a t e so f f i x e de f f e c t st h a tp e o p l eu s u a l l yu s e da r et h el e a s ts q u a r e ( l s ) e s t i m a t e a n dt h ee s t i m a t e dg e n e r a l i z e dl e a s ts q u a r e ( e g l s ) e s t i m a t e t h e s et w oe s t i m a t e s h a v et h e i rr e s p e c t i v ed e f e c t ss u c ha sh a v i n gl o wa c c u r a c yo rb e i n gc o m p u t i n g i n t e n s i v et h a t r e q u i r i n gi t e r a t i o np r o c e d u r e i n t h i s p a p e r , ac l a s s o fu n b i a s e d e s t i m a t e si sc o n s i d e r e d b a s eo nt h er e s t r i c t e dn o n l i n e a ro p t i m i s a t i o nm e t h o d ，w e p r o p o s e dac o m p u t a t i o n a ls i m p l ee s t i m a t e n a m e dt h eb e s tc o m p o u n de s t i m a t e ( b c e ) ，w h i c hi st h eb e s te s t i m a t e ，u n d e rm e a n s q u a r e - e r r o r ( m s e ) c r i t e r i o n ，i n t h i s u n b i a s e de s t i m a t ec l a s s w ea l s op r o v e dt h a tt h eb c ei su n i f o r m l yb e t t e rt h a nt h e e s t i m a t ep r o p o s e db yy a n g ( 2 0 0 1 ) 【4 ”i na d d i t i o n , w ep r o v e dt h es u f f i c i e mc o n d i t i o n f o rt h eb c et ob eb e t t e rt h a nt h el se s t i m a t e ，u n d e rm s ec r i t e r i o n w ea l s o p r o p o s e d an o n - i t e r a t i o na n d c o m p u t a t i o n a ls i m p l e e s t i m a t ef o rt h ev a r i a n c e c o m p o n e n t s i n t h el a s tp a r to ft h i sp a p e r , w eu s em o n t ec a r l om e t h o d c o m p a r e d t h e e s t i m a t et h a tw ed i s c u s s e d t h es i m u l a t i o nr e s u l ts h o w e dt h a tt h ea c c u m c yo fb c e i si nt h es a m el e v e lo fe g l s ，u n d e rm s e c r i t e r i o n ，b u tt h ec o m p u t a t i o ni ss i m p l e r a tt h es a l r l et i m et h er e s u l ts h o w s t h a t ，u n l i k et h el se s t i m a t e ，t h eb c ei sr o b u s tf o r b o t hb a l a n c e da n du n b a l a n c e dd a t a k e y w a r d s ：l i n e a r m i x e d m o d e l ；f i x e de f f e c t ；v a r i a n c e c o m p o n e n t s ； u n b a l a n c e dd a t a ；m e a ns q u a r ee r r o r ( m s e ) l l l 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：丑丝亟日期：2 q q 生旦 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：剥l 近翩签名：掣旌日期：墨金型! f 逆。 符号表 本文中使用的记号如下： 爿，一，a 一，a 3 分别表示矩阵a 的转置，逆，任意广义逆，任意 l ，2 ，3 ) - t r ( a 1 表示矩阵以的迹。 政( 爿) 表示矩阵a 的秩。 ( 一) 表示矩阵爿列向量生成的空间。 ( 一) 1 表示矩阵爿列向量生成的空间的补空间。 只= 4 ( 一_ ) 一a 表示矩阵彳列向量生成空间a ) 上的正交投影阵。 既= i 一只表示矩阵a 列向量生成空间的补空间4 a ) 1 上的正交投影阵。 i 。和1 。分别表示n 阶单位阵和由n 个1 组成的向量。 一o b 表示矩阵a 和丑的k r o n e c k e r 乘积。 r 4 。4 。、 对分块矩阵一= i ： ；l ，记( 4 ) f 皇a , j 。 l 以。厶 v e c ( a ) 表示将矩阵一按列向量依次排列成的向量。 0 ( 工) 和。( 分别表示j 得同阶和高阶无穷小。 1 1 线性混合模型 第1 章绪论 线性模型通常包括线性回归模型、方差分析模型和方差分量模型掣“。不同 于其它只带有固定效应的模型，在方差分量模型中至少有部分效应为随机变量。 e i s e n h a r t 2 在1 9 4 7 年明确区分了固定效应、随机效应和混合效应模型。如果在一 个线性模型中既有固定效应又有随机效应，则该模型被称为混合效应模型( r r d x e d e f f e c tm o d e l ) 。线性混合模型的一般形式是 y = z + z t 十e( 1 1 ) 这里，是nx l 观测向量，f l 是p x l 非随机的未知参数向量，称为固定效应，x 和 z 分别是 x p 和n q 已知设计矩阵，r i o ( x ) = r q ，和p 分别是q x l 和n x l 随 机向量，称为随机效应，p 为通常的误差。一般假设和p 互不相关，同时 占( “) = 0 ，e ( 日) = o ，c o y ( u ) = 口2 g ，c o k e ) = o - 2 r( 1 2 ) 这里g 和r 为已知或未知正定矩阵。当它们未知时他们可依赖于一个未知参数向 量0 ，称为方差参数。如果模型( 1 1 ) 的随机部分可以分解为 z h + e = u 卣+ + 以磊( 1 3 ) 这里q ，阢是已知的设计阵，茧，磊为互不相关的随机效应( 一般= l ， 最= e ) ，并且c d v ( 专) = 9 2 i ，。则此时线性混合模型具备以下形式 t e y = x ，c o v ( r ) 皇v = u u 研，( i 4 ) f - 1 这就变成了线性混合模型的另种常见形式，其中口= ( 砰，) 7 是未知 的，称为方差分量，于是这样的线性混合模型也常称为方差分量模型。 第1 页 1 2 固定效应的估计 对于可估函数够通常采用的估计是最小二乘( l s ) 估计c 以，其中 廖，= ( z 并) 一x y( i 5 ) 或者广义最小二乘估计( g l s e ) c 尾。，其中 f 舅眦5 = 屈；( p ) = ( x v 叫( 目) ) 一x v 叫( 臼) y( 1 6 ) 众所周知，当方差分量目已知时广义最小二乘估计西0 ( 曰) 是最佳线性无偏 估计( b e s tl i n e a ru n b i a s e de s t i m a t e ，b l u e ) ”。但在实际中口一般是未知的。因此 广义最4 , - 乘估计不可行。为了得到固定效应c 的可行估计，经常使用两步广 义最小- - 乘( e s t i m a t e d g e n e r a l i z e d l e a s ts q u a r e ，e g l s ) 乩t c 声皇c 瓦( 百) ，这里 口为护的某种估计。在实际中经常使用能够同时估计固定效应和随机效应的算 法，如n e w t o n - r a p h s o n 算法和e m 算法等，这两种算法在迭代过程中使用的 都是两步广义最小二乘( e 吼s ) 估计瓦。( 百) 。但c 夕依赖于方差分量的估计舀， 其在一般情况下是非线性估计，分布很复杂，目前对其小样本精确分布所知甚少。 在近期的研究中，文献 1 5 3 8 】【3 9 4 0 利用最小二乘统一理论 1 3 在简约模型下求 可行最佳线性无偏估计- ( b l u e ) ，并研究了其与原模型估计的关系。文献 1 7 】 1 8 1 研究了两步估计的小样本性质，对一些特殊模型得到了两步估计协方差阵的表达 式。文献 1 9 】假定心( x ) = q ，在关于孑和多的一些正则条件下，证明了两步估计 口的渐近正态性。 1 3 方差分量的估计 方差分量的估计问题起源于方差分析问题中对误差方差的估计。虽然方差分 析的历史可以追溯到1 8 6 0 年”，但对方差分量的研究在近几十年才开始成为统 计学家研究的热点。统计学家们提出了很多种估计，可以归纳为如下几类：方差 分析估计( a n a l y s i so fv a r i a n c ee s t i m a t e ，a n o v a ) ，极大似然估计( m a x i m u m 第2 页 l i k e l i h o o de s t i m a r e , m l e ) ，限制极大似然估计( r e s t r i c t e dm l e ，r m l e ) ，最小 范数估计( 包括最小范数二次无偏估计，既i v l i n q u e ；最小方差二次无偏估计， 既m i v q u e ；最小均方误差二次无偏估计，既m i m d q u e 等一批根据估计具有 不同性质而命名的估计) ，谱分解( s p e c t r a ld e c o m p o s i t i o n e s t i m a t e ，s d e ) 估计， 分散一均值模型方法( d i s p e r s i o n m e a nm o d e l ) 等。下面我们对这方面研究的发展 作一个综述。 1 3 1a n o v a 估计 方差分析估计的思想来自于方差分析问题，是最早被引入方差分量模型的一 种估计。其估计方法是令各种平方和等于它们的期望值而得到的一个关于方差分 量的线性方程组，求解此方程组就得到方差分量的估计【4 】【”。只要满足期望等于 方差分量的线性函数，这里可以利用的平方和可以是响应变量的任意二次型。假 设v 是一组满足这样条件的平方和，方差分量估计有一般形式 若e v = m o ，则令y = m o( 1 7 ) 解此方程组得到方差分量的估计 口皇( 砰，) = ( 肘m ) 一m t( 1 8 ) 这种方法首先被用于平衡模型，在平衡条件下这种估计方法具有一系列的优 点；如容易计算和理解，具有无偏性，是最佳二次无偏估计( o m y b i l la n d h u l t q u i s t 1 9 6 1 ) 6 ，在误差和随机效应的正态假设下是最小方差无偏估计( g r a y b i l l ，1 9 5 4 ) 7 1 。 对于非平衡模型，h e n d e r s o n 8 1 在1 9 5 3 年提出了里程碑式的h e n d e r s o n 方法。根 据选择的平方和不同，其分为三种具体方法，分别能够处理随机效应和混合效应 模型阅题。 a n o v a 估计在实际中有着广泛的应用，但是它也有一些明显的缺陷：如对 非负的方差分量它可能给出负估计值，估计的分布性质目前所知甚少，h e n d e r s o n 方法需要进行高维矩阵的计算，且其估计可能不唯一等。针对这些问题，统计学 家做了很多工作。尤其是在寻求非负估计方面，文献【9 】和文献 1 0 l 做了很多有益 的工作。在近期的研究中，入们往往放弃无偏性而寻求其它的优良性质，如均方 误差最小等。基于这样的思想，文献 1 l 】 1 2 】 5 】 1 3 】【1 4 提出了具有优良性质的新 估计类，并研究了其均方误差性质。 第3 页 1 3 2 极大似然估计( m l e ) 和限制极大似然估计( r m l e ) f i s h e r 在1 9 2 5 年提出的极大似然估计( m l e ) ，在6 0 7 0 年代f 5 0 1 5 1 3 被应用于方 差分量的研究。与方差分析估计相比，其优点可以得到渐近协方差阵的显式表达 式，并且它就是c r a m e r - r a o 下界 1 3 。在误差和随机效应的正态假设下可以得到 模型( 1 1 ) 的对数似然函数删 k ( ，矿i _ y ) = c 。h s 卜一吾l 。g i 矿| 一寻( y x p ) 7 v 一1 ( y x ) ( 1 9 ) 分别对和一求导并令导数等于零，得到极大似然方程 x 矿- 1 x 声= x 矿一1 y ( 1 。1 0 ) 驴( 矿。u i 职) = y p u n p yi = l ，尼( 1 1 1 ) 其中p = v - 1 - v 。x ( x v “x ) 一x v 1 f 1 1 2 ) 矽和旷为极大似然解。户是在( 1 1 2 ) 中用矿代替矿得到的。显然此方程无显式解， 需要通过迭代算法求解。 极大似然估计的一个改进是p a r e r s o n 和t h o m p s o n ( 1 9 7 1 ) 2 0 1 提出的限制极大 似然估计( r m l e ) 。这种估计的思想是：考虑到估计固定效应所引起的自由度减 少，因此基于已用最d , - - - 乘方法估计了固定效应之后的残差向量计算方差分量的 m l e 。考虑n r k ( x ) 列的列满秩矩阵k 使k x = 0 。用k 右乘模型( 1 1 ) 得到墨y 等于拟和固定效应后的残差脚1 。用k ，代替m l e 的y ，k - z 代替z ，k t 爿= 0 代替x ，k p x 代替v 得到对数似然函数 k ( v l y ) = c 0 8 t - 扣g l k v g l 一丢y x ( k 隧) - l 丘夕 ( 1 1 3 ) 可以得到此时的似然解为 t r ( p u , u ：) = ，p u 砂i = 1 ，k ( 1 1 4 ) 注意到p v p = p ，式( 1 1 4 ) 可以化为另一种形式 t 7 z 爿t r a c e ( 咿啊p ，2 。_ ) ，p u 啦( 1 1 5 ) i = 1 k 和极大似然估计( m l e ) 一样，限制极大似然估计( r m l e ) 也没有显式解，需要通 旃4 页 过迭代算法求解。r m l e 只能得到方差分量的估计，无法直接给出固定效应的估 计，此时对固定效应的估计通常是直接将限制极大似然解代入固定效应的广义最 小二乘估计( g l s e ) 得到的。但与m l e 相比r m l e 有其优势。例如其考虑了估计 固定效应引起的自由度减少：对平衡模型，限制极大似然解等于方差分析 f a n o v a ) 估计等，因此有学者认为这是r m l e 优于m l e 的证据d 4 】。同时也有 学者，如s e a r l e 认为这不足以作为r m l e 一致优于m l e 的证据【4 9 1 。因此在实际 中最好同时计算两种估计并加以比较。 求m l e 和r m l e 最常用的是n e w t o n - r a p h s o nf n r ) 和e m 算法。j e n n r i e h 和s c h l u c h t e r ( 1 9 8 6 ) t 4 s 将n r 算法用于混合模型m l e 的计算。文献 3 7 1 对m l e 和r m l e 实现并改进了j e n n r i c h 和s c h l u c h t e r 的算法。l a i r d 和w a r e ( 1 9 8 2 ) 3 6 1 将e m 算法应用到混合模型m l e 和r m l e 的计算中。文献2 1 1 实现了这一算法， 并应用a r k e n 加速方法加快收敛速度。同时文献 3 7 l g 较了n r 和e m 两种算 法，认为在应用a i t k e n 加速方法后e m 算法在收敛性方面可以与n r 算法想比， 但在多数情况下n r 算法收敛速度优于e m 算法。 近期研究包括对这些算法的优化，如文献 2 3 1 通过建立一种无须求逆的算法 减少了计算复杂度，文献【2 4 】研究了一些传统算法的线性化以改进收敛性质。在 似然估计的性质方面，因为似然估计要求的正态假设很难验证 5 2 1 ，因此很多时候 是错误的使用了这一假设。文献 5 3 1 研究了错误的应用正态假设对估计的影响， v e r b e k e 和l e s a f f r e ( 1 9 9 7 ) ”2 艉出了一种非正态条件下估计渐进协方差阵的修正 方法。 1 3 3 最小范数估计 这类估计的研究始于文献 5 4 1 和文n 5 5 1 ，但r a o 的一系列论文刚【5 7 1 奠定了 其研究的基础。r a o 提出的最小范数二次无偏估计( m i n i m u mn o r mq u a d r a t i c u n b i a s e d e s t i m a t i o n ，m 1 n q u e ) 对随机效应和误差的分布没有要求，且无须迭代， 但需要给定一组方差分量的先验值。其思想是用响应变量的二次型y 研一去估计 方差分量的一个线性函数p p ，即p 0 = y 缈。通过选择适当的一，使y ：移最小 化某种欧氏范数，同时保证无偏性。具体在求最小范数二次无偏估计1 时，须求 第5 页 解线性方程组 这里 i 一 否 巧昂c 7 忍 茸2 y r u 7 勰y ( 1 1 6 ) i = 1 ，女 r = z o - 1 一瞄1 x ( x v o - 1 肖) 一x 百2( 1 1 7 ) 其中= u 叫t 吒2 吒) 是人为选择的一组初始值。注意到这里的岛包含协方 扣1 差阵，但用给定的初始值 矗 替换了v 中的 砰 得到圪。因此不同的人选定不 同的方差分量先验值，会得到不同的估计。如果用所得估计代替先验值进行迭代， 且迭代收敛，那么所得的解称为i - m i n q u e 。实际上，上面的式( 1 1 7 ) 与式( 1 1 2 ) 有相同的形式，式( 1 ，1 6 ) 与( 1 1 5 ) 有相同的形式。当r m l e 选定的方差分量初始值 和m i n q u e 选定的方差分量先验值相同时，m i n q u e 就是一次循环得到的限制 似然解。i - m i n q u e 就是r m l e ，且是渐近正态的口8 】 1 3 4 谱分解估计( s d e ) 谱分解估计是近期提出的一种同时估计固定效应和方差分量的新方法。此 方法和m l e 、r m l e 一样，同时考虑固定效应和方差分量的估计，且任何情况 下，谱分解估计又和方差分析估计一样都有显式解，利于进一步做统计推断。普 分解估计的基本思想是：首先对协方差阵进行谱分解，然后利用谱分解得到的主 幂等阵对原模型进行适当的线性变换获得若干新的简约线性模型。这些新模型的 特点是它的固定效应与原模型相同，但新模型的协方差阵除了一个因子外，不含 未知的方差分量，利用最小二乘统一理论【”，对每个新模型可以得到的固定效应 和特征值的一个估计，由于在常见情形下，协方差阵的特征值是方差分量的线性 函数，因此，通过解线性方程组可以获得方差分量的估计。具体来说，对协方差 阵v 做谱分解 i 矿( 8 ) = 五m ( 1 1 8 ) 第6 页 这里，五和m ( f - 1 ，k ) 分别为v ( o ) 的全部互不相等的特征根及其相应的特征 向量矩阵，且m y j = 0 ，m ? = m i ，蟛= m ，即m 是对称幂等阵，彼此正交 女 m i = i 。 t = 1 分别用m ；( f = i ，后) 左乘模型( 1 1 ) ，并记y 。= m y ，置= m z = m u 善+ m 占。则变化后的新模型 y 们= 五夕+ t ，e ( t ) = o ，c o v ( e ，) = 五鸠( 1 。1 9 ) 由最小二乘统一理论1 1 可以得到一组可估函数c p 的最佳线性无偏估计( b e s t l i n e a ru n b i a s e d e s t i m a t e ，b l u e ) c 侈“，其中 声w = ( 爿m 工) 一x m y 以及 的估计 ( 1 2 0 ) f ：丛告筹墨焉掣 ( 1 2 1 ) 。 r k 0 m 。) 一r k t m i x l 。 当丑为口线性函数时，可得到方差分量0 的谱分解估计0 。 谱分解方法的突出特点是，对于固定效应可以获得若干个谱分解估计，它们 都是具有良好性质的线性估计，因此可以利用这些估计对固定效应做进一步的假 设检验、区简估计以及模型诊断等一系列统计推断。 1 3 5 分散一删( d i s p e r s i o n m e a nm o d e l ) 对线性混合模型( 1 4 ) ，以标准最小二乘估计的残差向量的二次函数作为因变 量，它的均值正是方差向量口= ( 曰，) 得线性函数，从而构造一个新的线性 模型称为d i s p e r s i o n - m e a n 模型。具体来说，记y = q x y 。q ：d y ，、壬，是以 v e c ( q u 协) ，i = l ，t 为列的矩阵 e ( t ) 2 甲只 c o y ( y ) = c o v ( q x y o q x y ) n 2 2 ) 第7 页 对这个模型用标准的最小二乘就产生了m i n q u e 的估计方程，而对他们应 用广义最小二乘就得到了误差和随机效应正态假设下的r m l 估计方程，当对它 旖以修正广义最小二乘时，产生m l 方程【5 9 【叫。 1 4 本文的内容和结构 本文分为三个部分，第一章介绍了一般线性混合模型，总结了固定效应和方 差分量估计理论的成果和近期发展。第二章研究了一类含有两个方差分量的线性 混合模型。在第一节中我们首先对要研究的模型进行了详细的说踞和分析，在给 出一些常用模型假设的同时阐述了其统计含义。第二节研究了固定效应的一种无 偏估计类，并在均方误差意义下，利用设计阵带来的信息提出了该估计类中固定 效应的最优估计最优组合估计( b c e ) 。在均方误差意义下，我们证明了这种 新估计一致优于y a n g 等( 2 0 0 1 ) 4 3 提出的估计。在第三节中我们将新估计b c e 与 一些常用的估计方法进行了比较，证观了b c e 优予最小二乘( l s ，估计的充分条 件。第四节在h e n d e r s o n 方法三的基础上构造了方差分量的一种方差分析 ( a n o v a ) 估计。这种估计具有无偏、非迭代和计算相对简单的优点。第三章， 我们通过模拟的方法将第二章的构造的估计与其它常用估计进行了比较。通过分 析模拟结果得到结论：b c e 在估计精度上与两步广义最小二乘( e g l s ) 估计相当， 但计算上比其简单；同时与最小二乘( l s ) 估计不同，b c e 对非平衡程度不同的模 型具有很好的稳健性。 第8 页 2 1 模型介绍 第2 章参数估计 考虑含有两个方差分量的非平衡混合效应回归系统： r i 即+ 互拿+ q ( 2 ，1 ) ( f - 1 ，肌) 、7 其中r = ( ，) ，是吩l 维观测向量，j v = 毪，口为p x l 维莉日固定效应 i = 1 向量，置是的h ；。p 维已知设计阵，a 是q 1 维不可观察的随机效应向量，z j 是相应的月。g 维已知设计阵，q 是n 。1 维随机误差。假设： ( a ) 五，z j 和l = ( 置：z f ) 均为列满秩。 ( b ) 属和气相互独立，) 和弛 分别为独立同分布的随机序列。 ( c ) 屈和q 满足e ( 尼) = 卢，c o v 6 a , ) 皇正定，e ( q ) = 0 ， c o y ( e , ) 皇v = 0 - 2 l ，。此时记方差分量参数0 皇 艺。0 - 2 ) 。 ( d ) 假设满足条件= 吒，此时有方差分量参数目皇 ，0 - 2 ) 。 ( e ) 我们经常会使用假设( d ) 的一个等价形式，记吒2 = h a 2 ，此时= h 0 - 2 l ， 方差分量参数0 皇伸，盯2 ) 。 ( d 对所有f = l m 有。醌= 0 ，即( 置) 与( z f ) 正交。 注2 1 ( 1 ) 对一般的非平衡模型，假设( a ) 容易得到满足，对例外的情况也可 以通过重新参数( r e p a r a m e t e r i z a t i o n ) 使之成立。 ( 2 ) 假设( b ) 保证了各个分组之间相互独立。文献 2 5 】和 2 6 】研究了q 序列相 关( s e r i a l l yc o r r e l a t e d ) 的情况。 ( 3 ) 假设( c ) 中的可以是一个无结构的矩阵，但在很多情况下为使模型得 到一定简化经常附加假设( d ) 。假设( e ) 和假设( d ) 等价。文献 4 8 】研究了和v 为 第9 页 ( 4 ) 假设( f ) 是一个很强的条件，本文引入此假设只是用于估计间的比较， i 。x , a ，+ z ；p + 鼍h 十呼 ( 2 2 ) o = 1 ，m ) 、。 l ：b v ( z ) 皇一( 目) = z j 磁+ 玎2 ( 2 t 3 ) h 一，( ；) 帅+ e 偿。， 其中z = 耋 ，z = ( 主 = 矿。一，= 三。三 。 c o y ( r ) 皇矿( 印= w z w + 仃2 = o w w + 盯2 凡 ( 2 5 ) 注2 2 由假设f a ) 易证 ( 1 ) x ，z ，t = ( x ：z ) ，均为列满秩，且r k ( x ) = p ，r k ( z ) = q ， ，膏( r ) = p + q ，幢( f 矿) = m q 。 ( 2 ) ( z ) c 芦( 哥，) ，p ( x ) n ( p r ) = 0 。 如上一章介绍的，在求参数估计时，标准的最小二乘估计( l s e ) 作为一种可 行估计经常被使用，但它在通常情况下精度比较低。广义最小二乘估计( g l s e ) 是最佳线性无偏估计f b l u e ) ”，但在方差分量参数口未知时不可行，须用估计百 代替口进行计算，构造两步广义最小二乘( e s t i m a t e dg e n e r a l i z e dl e a s ts q u a r e ， e o l s ) 估计。在实际中经常使用的n e w t o n r a p h s o n 算法或e m 算法可以计算极 大似然估计( m l e ) 或限制极大似然估计( r m l e ) 。但这两种算法的计算并不简 单，且需要迭代。其结果与初始值的选择有关，并可能遇到收敛性方面的问题。 同时其结果也基本是建立在h 和乌服从正态分布的假设条件上的口6 咿7 j 。另一种 近期研究比较多的方法是利用最小二乘统一理论( 1 在简约模型下求可行最佳线 性无偏估- 计- ( b l u e ) 5 1 【3 8 】 3 9 1 1 4 0 l ，这种方法在理论一l 有很多很好的性质【1 5 1 0 8 1 ，也 容易应用到很多实际中的具体模型上。但这种方法在构造简约模型时需要利用 一些辅助矩阵如响应变量协方差阵的谱分解等，对某些设计阵比复杂的模型中 求这类辅助矩阵存在一定困难。针对现有估计存在的这些问题，本文考虑在无 需正态假设的条件下提出一种在非平衡模型下稳健的非迭代估计方法，并且对 一般模型易于计算。 2 2 固定效应的估计 我们先给出两个重要引理。 引理2 1 对实矩阵a ，b ( 1 ) p a 为对称幂等阵且护( 只) = 砖( 只) 。 ( 2 ) ( 只) = ( a ) 。 ( 3 ) a 半正定存在b ，使a = b b 。 ( 4 ) t r ( a a ) = 0 a = 0 。 第1 1 页 ( 5 ) a b = 0 ( b ) ( a ) 1 。 ( 6 ) q a b = 0 j ( b ) ( a ) 证明： ( 1 ) ( 2 ) 由投影阵定义易证，见文献 4 】。 ( 3 ) 见文献 4 1 】。 ( 4 ) 由( 3 ) 可得t r ( a a ) 0 ，且此处等号成立a a t = 0 a - - 0 。 ( 5 ) 由正交补空间定义直接可得。 ( 6 ) 由( 5 ) 得q a b = 0 ( b ) ( q a ) 1 = ( 只) = ( a ) 证毕。 定义2 , 1 设a 为n 实矩阵，若矩阵x 满足方程 ( 1 ) a x a = a ( 2 ) x a x = x ( 3 ) ( a x ) = a x 则称x 为a 的一个 1 ，2 ，3 ) 一逆，记作a l 上1 3 ) 。 引理3 2 命题a b = 0 成立，当且仅当a ( 1 , 2 , 3 b = 0 。 证明：此引理证明参见文献【4 2 】的定理5 4 ，4 。 下面我们在假设( a ) 一( c ) 下开始构造固定效应的估计。第一阶段，分别对每 一个分组f l ，m ) 求固定效应( 口，p ) 的最小二乘估计( l s e ) 。由于z 列满秩， 口和p 是可估的 ( 差 = c z 正，- 1 巧r c z s ， 化简可得 a | = 0 x ! q z j x 了1x ! q 2 7 i ? q 1 ) p 。= t z ：q x l z j lz ；q x y iq 酗 注意到暖和矗分别是口和的无偏估计，其协方方差阵分别为： 第1 2 页 c o v t a = t x i q z j x f x | q z z ：z | q z j x 、t x q z j x 了 + 一t x q z j x 了4 x j q z q t x 五l q z j x 了1 = d l t x q z j x 1 c o v ( 矗) = ( z f q 墨互) 。z i q 葺z , e z , 7 鲰z j ( 互q x z 1 ) 一1 + 一t z ：q x j z 矿z ；q x q x ! z , ( z , q x , z j 。 = e + e r 2 ( z f t k 互) 。1 ( 2 9 ) ( 2 1 0 ) 第二阶段，我们利用上面得到的估计幺和屋构造全模型固定效应的估计。 y a n g 和y u ( 2 0 0 1 ) h 3 1 提出了一种易于计算的口和口的无偏估计 磊：上争蠢 m 智 声= 去萎矗 ( 2 1 1 ) r 2 1 2 ) 我们称这种估计为平均最小二乘( a v e r a g e l e a s ts q u a r e ，a l s ) 估计。这种 估计在计算上非常简便，且无需尼和q 的正态假设，在实际中有一定的适用性。 但此估计只是简单地求露和磊的算术平均，因此模型( 2 1 ) 的不平衡程度越大， 估计( 2 1 1 ) 的效果就越差h ”。所以在保持计算简便性的前提下本文提出了一种新 估计。考虑线性无偏估计类a 和b ： a = 西= 羔a 。喀， li = 1 b = 声：兰晒， q = l ( 2 ，1 3 ) ，一ij 喜 ( 2 1 4 ) 我们称这样定义的无偏估计类a 和b 为无偏组合估计f u n b i a s e d c o m p o u n d e s t i m a t e