（基础数学专业论文）线性混合模型中的参数估计.pdf

垡堡堡垒堡型塑童鍪堡生l ，y 179534911111111111111111111 1 1 1 1 1 1 1 1 11 1 1 1 1 1 1 111 1 1 1 ，11 。 线性混合模型中的参数估计 中文摘要 混合效应的线性模型中含有两类参数：一类是固定效应参数，另一类是随 机效应部分的方差分量参数许多文献所讨论的线性混合模型，一般要求其中随 机效应部分服从标准正态分布，在这一条件下对其中的参数作出各种估计 本文在此基础上，主要研究讨论了在线性混合模型中，随机效应不仅是标 准正态分布的情况下，分别对这两类参数作估计和检验 对于模型中的固定效应参数的估计，本文首先提出一种办法，将不同的线 性混合模型转化为满足g u a s s m a r k o v 假设的线性模型，在此基础上，根据不同 的情况，对其中的固定效应参数作最小二乘估计；当模型在较强的复共线性时， 相应的对其做岭估计，并比较最d x - - 乘估计与岭估计之间的优劣：当其中的随 机变量之间并不独立时，通过对模型的变换，求出参数的广义最小二乘估计 设计阵的q r 分解能使得在方差分量估计中达到简化运算，节省内存等效 果，本文对模型作一定变换后对设计阵作q r 分解在方差分量的估计中，运用 所得的结果，进一步简化计算 对于模型中的随机效应的方差分量的估计，许多文献己提出很多方法，本文在 此基础上，本文就模型中随机效应部分的不同分布情况下，研究讨论了方差分 量的a n o v a 估计，m i n q u e 估计，极大似然估计，限制极大似然估计，以及 谱分解估计 关键词：最, b - - 乘估计，岭估计，0 r 分解，a n o v a 估计 m o d e i e t e r s ：o n ei st h e o ft h ev a r i a n c e c o m p o n e n tp a r a m e t e r s m a n yp a p e r sd i s c u s s e dt h el i n e a rm i x e dm o d e l ，r a n d o m e f f e c t sp a r to ft h eg e n e r a lr e q u i r e m e n t so fw h i c ha r es u b e c tt ot h es t a n d a r ds t a t e d i s t r i b u t i o n ，i nt h i sc o n d i t i o nt h ep a r a m e t e r so fw h i c hm a k ev a r i o u se s t i m a t e s i n t h i sp a p e r , o nt h i sb a s i s t h em a i nr e s e a r c hd i s c u s s e di nt h el i n e a rm i x e d m o d e l ，r a n d o me f f e c t si sn o to n l yt h ec a s eo ft h es t a n d a r dn o r m a ld i s t r i b u t i o n ， r e s p e c t i v e l y , f o rt h e s et w ot y p e so fp a r a m e t e re s t i m a t i o na n dt e s t i n g f o rt h ef i x e de f f e c t sm o d e lp a r a m e t e re s t i m a t i o n ，t h i sp a p e rf i r s t p r o p o s e da w a yt ob r i n gd i f f e r e n tl i n e a rm i x e d m o d e li st r a n s f o r m e di n t oal i n e a rm o d e lt om e e t t h ea s s u m p t i o n s ，o nt h i sb a s i s ，a c c o r d i n gt od i f f e r e n tc i r c u m s t a n c e s ，o fw h i c ht h e f i x e de f f e c t sp a r a m e t e r sa r el e a s t s q u a r e se s t i m a t i o n ；w h e nt h em o d e li nas t r o n g m u l t i c o l l i n e a r i t y , t h ec o r r e s p o n d i n gr i d g ee s t i m a t eo ft h e i rd o i n g ，a n dc o m p a r et h e l e a s t s q u a r e se s t i m a t i o na n dt h ep r o sa n dc o n sb e t w e e nt h er i d g ee s t i m a t i o n ；w h e n o n ei sn o ti n d e p e n d e n tr a n d o mv a r i a b l e sw h e n t h r o u g ht h et r a n s f o i - i n a t i o no ft h e m o d e l ，f i n dt h eg e n e r a l i z e dl e a s ts q u a r e sp a r a m e t e re s t i m a t i o n t h eq rd e c o m p o s i t i o no ft h ed e s i g nm a t r i xc a nb em a d ei nt h ee s t i m a t i o no f v a r i a n c ec o m p o n e n t st os i m p l i f yo p e r a t i o n s ，s a v em e m o r ya n do t h e re f f e c t s ，t h i s p a p e rm o d e l st oac e r t a i nt r a n s f o r m a t i o nt ot h ed e s i g nm a t r i xf o rq rd e c o m p o s i t i o n ht h ee s t i m a t i o no fv a r i a n c ec o m p o n e n t s u s i n gt h er e s u l t st of u r t h e rs i m p l i f yt h e c a l c u l a t i o n f o rt h em o d e lo ft h er a n d o me f f e c t sv a r i a n c ec o m p o n e n t e s t i m a t e s m a n y p a p e r sh a v ep r o p o s e dm a n ya l t e r n a t i v e s ，t h i sa r t i c l eo nt h i sb a s i s ，t h i sa r t i c l eo nt h e r a n d o me f f e c t sm o d e li nd i f f e r e n tp a r t so ft h ed i s t r i b u t i o no fc a s e s t h es t u d ya n d d i s c u s s i o no ft h ea n o v ae s t i m a t e so fv a r i a n c ec o m p o n e n t s ，m l n q u ee s t i m a t e s ， m a x i m u ml i k e l i h o o de s t i m a t i o nt or e s t r i c tt h em a x i m u ml i k e l i h o o de s t i m a t i o n ，a s w e l la st h es p e c t r a ld e c o m p o s i t i o ne s t i m a t e k e y w o r d s ：l e a s ts q u a r e se s t i m a t i o n ，r i d g ee s t i m a t i o n ， q rd e c o m p o s i t i o n ，a n o v ae s t i m a t e s 1 1 线性混合模型的参数估计 目录 摘要i a b s t r a c t1 1 第一章绪论1 1 1 弓l 言“1 1 2 线性混合模型的几种形式1 1 2 1 一般形式1 1 2 2 常用形式1 1 3 基本概念及引理3 1 3 1 基本符号3 1 3 2 基本定义3 1 3 - 3 基本引理? 3 第二章固定效应参数的估计一? 5 2 1 最小二乘估计一5 2 2 岭估计6 2 2 1 复共线性6 2 2 2 岭估计及其性质7 2 - 3 广义最小二乘估计8 第三章设计阵的q r 分解- 1 0 第四章方差分量参数的估计1 3 4 1 a n o v a 估计1 3 4 2 最小范数二次无偏估计1 4 4 3 极大似然估计1 7 4 4 限制极大似然估计1 8 4 5 谱分解估计2 0 第五章结束语2 3 5 1 本文研究主要工作2 3 5 2 可进一步研究的问题2 3 参考文献2 4 i i i 处理起来相对容易，如今在数学中已经积累了处理线性关系的丰富理论与方法， 为实际应用提供了坚实的理论依据和有效算法 线性混合模型是一种重要的统计模型，广泛的应用于各领域的数据分析中，许 多文献中均有介绍( 见【1 3 】) ，线性混合模型是在简单的线性模型的基础上，与实 际机密结合构造出来的一类重要模型在实际应用中，线性混合模型具有更实际 和广泛的意义，因为在现实世界中，存在线性或近似线性关系的诸量之中，一部 分是可观测的( 或在实际中可获得的数据) ，但也存在一部分随机因素与可观测的 变量之间具有线性关系，而且这些相关的随机变量可能不止一个，由于这部分变 量在统计中，既不能被忽略，且是不可被观测的，尽管这些关系比较复杂，但却 能很好的解释实际情况，于是，如何对这类既含有固定效应，有含有随机效应的 模型做出良好的预测与回归，在实际应用中是非常重要的 近3 0 年来，混合效应的模型在生物，医学，经济，会融等领域得到了越来 越广泛的应用，关于线性混合模型的参数估计，直都是线性模型最活跃的研究 方向之一 1 2 线性混合模型的几种形式 线性混合模型主要有两类不同的形式，即一般形式与常用形式 1 2 1 一般形式 线性混合模型具有一般形式 y = x p + z h + e( 1 2 1 ) 其中y 为咒x l 的观测向量，是吼x l 的非随机的待估参数向量，称为固定效应， x 和z 是分别为n x q 。和n x q 的已知设计矩阵，h 和e 分别为q x l a 乐- 1 ，l x l 的随机 向量，称“为随机效应，e 为通常的误差 1 2 2 常用形式 模型( 1 1 ) 中，若随机效应部分厶+ p 可分解为 z “+ e = u l 岛+ u 2 岛+ + u t 氧( 1 2 2 ) 这里u 1 ，u 2 ，u t 分别是咒q 1 ，n x q ：，n x q 。的已知的设计阵，皇，岛，邑为彼此 不相关的随机效应向量，其中皇是吼x l 的向量，这里的z u + e 有时也可记作 z h + e = u l 岛+ 【厂2 岛+ + u 最+ 氓+ i 甑+ l ( 1 2 3 ) 对于该式中最后一项有时可设为u m i n ，鼠+ ，= 占 青海师范大学硕 ：学位论文 所以在以下的讨论中可根据不同的情况，可以写作不同的形式 即z m + e ；u l 氧+ u 2 色+ + 【，氧 或z “+ e = u 1 氧+ u 2 邑+ + u 羲+ e 其中为随机误差向量，一般设s n ( o ，o 0 2 ，) 于是模型( 1 2 1 ) 就变形为另一种常用形式 y x + 【，1 爵+ 【，2 岛+ + u t 最 或 y = x 卢+ u l 皇+ u 2 岛+ + 饥最+ ( 1 2 4 ) ( 1 2 5 ) 本文主要讨论在常用形式中，由于随机效应岛，岛，甑的几种不同情况而构 成的不同的模型，对其中的固定效应以及方差分量的估计为方便下文的叙述， 在这里将需要讨论的线性混合模型的几类形式分别列出 f y = x , e + u 1 袅+ u 2 最+ + u t 鼠+ 毒n ( 比i l ，q 2 j r ) ，i = 1 ，2 ，k i ( o ，2 j ) ( 1 2 6 ) f y = x + u 1 氧+ u 2 岛+ + 【， 甑+ 皇n ( 0 ，仃2 ；) ( 1 2 7 ) l n ( 0 ，仃2 o ) 在该模型中，我们一般假设。：。与。都是完全已知的正定阵 模型三 y “肛兰曼砌季扣一埘t 邑 ( 1 2 8 ) 慨一n ( 0 ，9 2 ，) ，i 一1 ，2 ，k 、 这三个模型中，其中y 为nx l 的观测向量，声是吼1 的非随机的待估参数 向量，即固定效应参数，u ，u ：，u 。分别是n x q l ，l x q ：，n x q k 的已知的设计 阵，岛是q ，x l 的向量，毛，邑，邑为彼此不相关的随机效应向量，且萤，g 之间彼 此不相关，其中1 和，分别表示适当阶数的1 列向量和适当结束的单位矩阵 上述的各项符号以及之间关系在下面的讨论中如果不加特别说明，将一直延 用，以后就不重复赘述了 2 线性混合模型的参数估计 1 3 基本概念及引理 1 3 1 基本符号 本文中a 表示月的转置，只= a ( a a ) - a 表示彳的正交投影阵， r a n k ( a ) 表示彳的秩，f 纠表示爿的迹，a - l , a 分别表示彳的逆矩阵和广义逆矩阵， l ( a ) 表示以a 的列向量张成的线性子空间 j 。为所有元素都为1 的忍咒矩阵，定义u 。) o = l ，l = - ，。n 1 3 2 基本定义 定义【5 11 ：设臼；是p x l 未知参数向量，占为0 的一个估计，定义石的均方误差 为：m s e ( o ) 一e 肛o l l 2 一e ( o 一日) ( 万一口) 定义【1 1 2 ：若线性函数妒= c a 2 的估计y a y ，满足 似；o ，t r ( n v ，) = c i ，( f = 1 ，七) ，且使范数忖么u al 达到极小，则称 y a y 为妒一c g 2 的最小范数二次无偏估 , - 卜( m 1 n q u e ) 兰黧焉酱 记r ；i 荆x 卜 闻 这罩“ ”表示k r o n e c k c r 乘积，其中n 1 ，1 2 ，l t 分别为相应每一随机效应的水 平数，仃2 = ( q 20 - 2 2 吼2 ) 为方差分量，另外，在4 5 的讨论中，o r 2 还表示具 有二进制下标的2 维向量，其分量中些为q 2 ，其它的为零，见文献【1 1 】，以 及模型的协方差矩降记作x ( a 2 ) 一c o v t y ) 1 3 3 基本引理 引理5 11 ：( g u a s s m a r k o v 假设) 对于模型 y = x + e( 1 3 2 ) 若满足条件e ( e ) 一0 ，c o v ( e ) 一o r 2 l ，则称该模型是满足g u a s s - m a r k o v 假 设的线性模型 3 青海师范大学硕卜学位论文 引理吲2 ：存在七 o ，使得肘距( 声 ) ) 0 ，使得在均 方误差意义下，岭估计优于最小二乘估计 引理3 ：m s e ( o ) 一t r c o v ( 占) + 陋一o l l 2 弓l 理1 1 4 ：设e ( z ) 一，c o v ( x ) = ，则e ( x x x ) 一么+ f r 0 4 ) 引理1 1 15 ：在定义3 的条件下，y ( 0 2 ) 的个( 可能) 的特征根可表示为 a r 仃2 且分量 的重数为也2 ( _ 一1 ) 卜，其中。2 0 或1 ，o = 1 ，足) ( 1 3 3 ) 引理1 1 16 ：在定义3 的条件下，z p 2 ) 的谱分解为 耵) 2 荟 彬 ( 1 3 4 ) 其中其中i = ( ，f 2 ，) 是尼1 具有二进制下标的量，从( 0 ，o ，0 ) 排到( 1 ，1 ，1 ) 将2 个形按下表的二进制次序排列而成向量形式，记为，则有 w = ( r 以o i n ) k 记k = 墨衿吨) 一，乏o j 髦o j 盅，这是咒阶方阵，其中= o 或1 ，( ，= 1 ，七) k 表示将上述k 排列成具有二进制下标的2 维向量 4 线性混合模型的参数估计 第二章固定效应参数的估计 2 1 最小二乘估计 对于模型一 f y x 卢+ u l 袅+ u 2 岛+ + u t 最+ 皇一( 肫1 ，q 2 ，) ，i = 1 ，2 ，k l 一( o ，a 0 2 ，) 其中的第一式，由于随机效应向量毒可以表示为 毫一心+ 嘞( f = l 2 ，戈) 其中仇一n ( o ，q 2 i ) ，n ( 3 1 ) 式可改写为 y x p + u 1 ( 段+ 仇) + u 2 ( 肛2 + ，7 2 ) + + 饥( 心+ 仇) + 一x t 3 + ( 1 了l 心4 + u 女心) + ( u l r h + + u 仇+ ) ( 2 1 1 ) ( 2 1 2 ) 这里，由于，占，( f = 1 ，2 ，七) 之阳j 彼此不相关，且都服从正态分布，故皇，之 间相互独立，并且它们的线性组合仍服从正态分布，则仇，iz 1 ，2 ，k 也相互独 立，且它们的线性组合仍然服从正态分布，在( 2 1 2 ) 中， 令成= u 1 1 1 1 + + u k t ，e - - u l 叩1 + + 玑仇+ ，则模型一可记作 y = | 3 0 + xp + e ( 2 1 3 ) 计算e 的期望与协方差阵得 k e ( e ) = e ( 善弘仇+ s ) 2 善e 以) + e ( ) ；o ( 2 1 4 ) c 。v ( e ) f f ic o v ( 弘仇+ 占) = c o v ( u 仇) + c 。v ( e ) 七 = c 。v 仞，炒；+ ( 7 0 2 ， k 2 q 2 u i u ；7 + o 0 2 ， ( 2 1 5 ) 这罩分两种情况进行讨论 ( 1 ) 特别的，当u i 为已知的正交设计阵时，即有u i u i = ，故 k k c 。v ( e ) 2 善q 2 ，+ 2 ，= ( 善q 2 + 2 ) ， ( 2 1 6 ) 若记仃2 。善q 2 + 2 ，则有e ( 0 ，仃2 ，) 5 青海师范大学硕i ：学位论文 进一步，令= 【风，展，氏】，x 。= 【1 ，x l ，一，x 舶】 对于模型( 2 1 3 ) 就可记为 炉鼍色三 (217)n le ( 0 , 0 2 ，) r v 很明显( 2 1 7 ) 式是是满足g u a s s m a r k o v 假设的线性模型，由此可得模型中参 数展的最小二乘估计为： 度= ( x 。x c ) 一x 。y ( 2 1 8 ) ( 2 ) 若当配不为正交设计阵时，e 的协方差阵具有形式c o v ( e ) ；仃2 ，其中 仃2 是未知的，且中包含有若干未知参数，记为0 ，为估计模型的固定效应参数 尾，分两步估计第一步，先假设其中的未知参数是已知的，应用最小二乘法获 得固定效应参数的最小二乘估计，所得的估计中仍含有未知参数0 ；第二步，设 法找到0 的某个估计舀，然后在固定效应参数的最小二乘估计中用否代替0 k 对模型( 2 1 3 ) ，记c o v ( e ) 一罗q 2 【，f u i7 + g 0 2 ，= z ( 目) ，则模型为 y = x c 3 c + e i e u ( o ，( 臼) ) 其中0 = ( q ，岛，艮) 为未知的参数向量，且假设对于一切0 ， 立贝u 忍的含有未知参数的最小二乘估计可表示为 ( 2 1 9 ) 都有x ( o 卜o 恒成 度( 口) ；( x 。一1 ( 口) x 。) 一x 。1 ( 日) y ( 2 1 1 0 ) 对任一可估函数c 成，当0 已知时，c7 成( 臼) 就是它的最小二乘估计，若口是 未知的，设占是臼的一个估计，则c 尾p ) 就是c 展的两步估计 文献【1 】中所提及的最小二乘统一理论，可以应用在线性混合模型的固定效 应参数的估计，文献【1 9 】对固定效应参数的最小二乘估计提出了两种形式 注：g ：寸- z ( 3 1 ) 中的“u i 为已知的正交设计阵”这一条件而言是显苛刻了些，在数据的 分析处理中，对随机效应向量的数据做一定处理，在构造与其对应的正交设计阵，这样可以 大大简化计算，节省内存，关于这一问题仍有待研究 2 2 岭估计 2 2 1 复共线性? 回归系数的最小二乘估计具有许多优良的性质，最小二乘估计在线性无偏估 6 线性混合模型的参数估计 计类中是唯一具有最小方差的估计，但随着电子计算机技术的飞速发展，许多实 践表明，在一些大型回归问题中，最小二乘估计并不是总令人满意的，例如，有 时有些回归系数的估计值的绝对值异常大，有时回归系数估计值的符号与问题的 实际意义相违背产生这些问题的原因之一是回归自变量之间存在近似的线性关 系，称为复共线性 对于模型( 3 7 ) ，度量其复共线性严重程度的一个重要方阵x 。7 x 。的条件数 定义为 ，。争 ，0 耐n 其中k 。与分别表示x 。7 x 。的最大特征根与最小特征根 直观上，条件数刻画了x c x c 的特征值差异的大小，从实际应用的经验角度， 一般认为 ( 1 ) 若， 1 0 0 0 ，则认为存在严重的复共线性 3 2 2 岭估计 当模型的设计阵存在着复共线关系时，最小二乘估计的性质不够理想，有时 候甚至很坏在这种情况下，这里利用岭估计对其中参数作估计 对于模型一作2 1 中讨论的变换后，变作模型( 2 1 6 ) ， f y = x c 反t 二 一( 2 2 1 ，l e n ( o ，盯2 ，) 。r 叫 设 ，九，九为x c x 。的特征根，鲲，讫，为其对应的标准正交化特征向 量，记m = ( 饩，仍，) ，则为qx q 的正交矩阵 则模型的典则形式为 y = z a + e( 2 2 2 ) 其中z = x c 国，a = 色，则有 x ：m 似。一a d i a g ( a 1 ，九，九)( 2 2 3 ) 则回归系数成的岭估计定义为 成( 足) l ( x c 以+ 似竹1 以y 阻4 ) 。( x c x 。+ h ) q x c y 其中七 0 是可选参数，称之为岭参数 由于七取不同值时度 ) 就不同，所以岭估计虞( 七) 是一个估计类；当七= 0 时， 度( 七) ；( x 。x 。) 1 x 。y 就是通常的最小二乘估计，所以，岭估计是最小二乘 7 青海师范大学硕卜学位论文 估计中的一个估计类，但通常提及的岭估计，总是不包括最d - - 乘估计对于一 切k - 0 和0 时总有 e 羼( 七) ；( x 。x 。+ 材) 。1 x 。毋 。 。( 鼍7 丘+ 盯) 一1x 。x 。厦 ( 2 2 5 ) 事p c 因此岭估计是有偏估计，这是岭估计与最小二乘估计的一个重要不同之处 为了叙述岭估计的优越性，由定义1 ，均方误差度量了估计百跟未知参数向量。的 平均偏离的大小，一个好的估计应有较小的均方误差 使得引理1 成立的k 依赖于未知参数，因此对找到的一个k 并不能对一切的 和o r 2 成立，但对于任意的k 0 和陋| | 0 ，岭估计矽 ) 的长度总比最小二乘估 计夕的长度小因此夕 ) 是对夕向原点的一种压缩，所以通常称声( 七) 是一种压缩 估计 另外，由引理2 知，一个估计的均方误差由方差和偏差的平方和两部分组成， 当存在复共线关系时，最小二乘估计虽然仍保持偏差部分为零，但它的方差部分 却很大，最终导致均方误差很大我们引进岭估计，以牺牲无偏性，换取方差部 分的大幅度减少，最终降低其均方误差，为了达到这个目的，( 2 2 4 ) 式中k 的选 取就十分重要关于k 值的选取，目前应用较多的几种方法，在文献f 5 1 中均有介 绍文献【1 6 1 8 对线性混合模型在大样本场合下的参数估计作了一些研究 2 3 广义最d - 乘估计 对于模型二。 f y = x + u t 皇+ 【，2 岛+ + 玑或+ 皇n ( o ，仃2 ；) i n ( 0 ，仃2 o ) 该模型不同于2 1 与2 2 的是，这旱的随机效应向量喜与并一定不独立了， 这里令e 为 e u 1 旨+ u 2 + + u t 最+ 毒与占均服从正态分布，且它们的线性组合也服从正态分布； 期望与协方差阵 e ( e ) 。e ( 善u 皇+ 足) = o ( 2 3 1 ) 下面计算e 的 ( 2 3 2 ) c o y ( e ) ；仃2 ( 1 7 l 1 q + + u 女l u k + 。) a 口2 ( 2 3 3 ) 其中z = u 。f , 1 u 。+ + u 1 u k + o ，由于，2 ，t 与。都是正定阵，假设z 也 是正定阵，则模型二写成 8 线性混合模型的参数估计 y = x 卢+ p ，e ( e ) 一0 ，c o v ( e ) = 盯2 ( 2 3 4 ) 为对其中参数进行估计，对( 2 3 舢作适当变换，由于是正定阵，于是存在 n 甩正交阵q 使其对角化= a 人q 。 这里人= d i a g ( p h ，九) ，九 o , i = l 2 9o o ，n 是z 的特征值 记1 。q , d i a g ( a a 一2 ，t 一2 ) q ，仨j ) 2 ：，一互是一1 的平方根阵现在 t 对( 2 3 4 ) 作变换，对y x + e 两边左乘2 得 三 一!一三 三2 y 一2 x , a + 2 e( 2 3 5 ) ll1 分别令y 。一2 y ，x ，一j x ，e ；一2 e ，于是得到如下线性回归模型 y 一x + + e 计算e 的期望与协方差阵得 r 1 i e ( e + ) = e ( x2 e ) = 0 ic o v ( p ) = 一三d 2 。j 。0 2 j r 于是得到的新模型为 f y + 一x + 卢+ p e ( e ) 一0 i c o v ( p ) = 2 ， 的最小二乘估计为 夕+ t ( x “x ) 1 x “y + 一( 石窆1 x ) - 1 x x 4 y ( 2 3 6 ) ( 2 3 7 ) ( 2 3 8 ) ( 2 3 9 ) 关于线性混合模型中固定效应参数的估计，还有一些方法，诸如极大似然估 计，谱分解估计，这两种估计的方法不仅能对模型中的固定效应参数做出估计， 同时也能对其中方差分量参数做出估计，关于这两种估计的方法将在4 4 和4 5 中进行讨论 9 青海师范大学顾一i = 学位论文 第三章设计阵q r 分解 在此，本文先对模型三中的设计阵进行q r 分解，关于矩阵的q r 分解见【6 7 】 y = x f l + u 1 爵+ u 2 岛+ + u t 氧+ g( 3 1 ) 记u = 【u 。：【，：饥】，亭7 = 【并，彰，最】，则模型可写作 y x f l + u 言+ ( 3 2 ) 对设计阵，矾，u 2 ，以】作q r 分解得 【x ，u 】= 【x ，u 。，【，2 ，以】= q r ( 3 3 ) 其中q 为甩万的正交阵，r 是上三角矩阵把尺按照噬，u ，【，：，u k 】相同的形式 分块为 r ；【r ，墨，恐，r 】 ( 3 4 ) 其中尺d ，r ，r 分别是，l g 。，咒吼，n x q k 的矩阵，i g 由( 3 3 ) 得 【x ，u 。，u 2 ，u i 】- = q 【g o ，r ，r 2 ，r k 】 ( 3 5 ) f l q ( 3 5 ) 可知 x = q r o ，u 。= a n , ，u 。= q r ( 3 6 ) 令r o2 阳放( x ) ，磊。2 阳砒( 【x ，u 1 ，一u m ，r k + ，2 儿一荟把正交阵q 按列分块 为q = 【o o ，q 1 q ，q + 。】其中q f 是甩的矩阵，那么适当的选取正交阵q 可 以使得它满足条件l ( o o ) ；l ( x ) ，l ( q o ，q 1 q f ) = l ( x ，u 。u ，) 这样由q 是正交阵及公式( 3 6 ) 得 r = a x ，r ；a7 u l ，一，r = q u t ( 3 7 ) 由此可知g o 除f i ；j r o 夕1 ，其它行的元素均为o ， r o ，r ，r 】除了前艺。行外，其 它行也都是o ，因此，上三角矩阵尺可以作如下分块 r = r 。 0 r 。r ： 00 r 2 2 ： o0o o00 r 。 玩 r 2 t ： 0 由( 3 3 ) 矢1 1 r 是一个，l ( q 。+ q 1 + + 吼) 的矩阵，其中是0 呸的矩阵， _ s f ，( f 一0 , 1 ，尼) ，而r - 【硝，磁，o 】，0 是适当阶数的零矩阵 1 0 ( 3 8 ) 线性混合模型的参数估计 由于正交阵q - q o ，q l g ，q + 。】的选择，可以知道l ( q ) 为( 【x ，u ，u 一。】) 在l ( ，u 1 ，u ；】) 上的补空间，即 ( q ) o l ( 【x ，c ，u i 一。】) = l ( 【x ，【，l ，一，u i 】) ( 3 9 ) 用q 1 ，姨，q + 。对模型( 3 1 ) 作变换，令z ；= o ；yo = 1 ，2 ，七+ 1 ) ，则得到 z 1一r 1 岛+ 墨2 岛+ + 民邑 + e 1 ， z 2 一 r 2 岛 + + r k 最 + 乞 ；ii ； ； ( 3 1 0 ) 气 一 最+ e k + 1 。 e k + l 由( 3 4 ) n - f i 知嘞= q 影，岛= q 多( f 。1 ，2 ，尼+ 1 ) 运用上述方法，同样可对模型一的设计阵作q r 分解利用2 1 中所讨论的模 型一的变形过后的形式为 f y = x 。展+ u l r l l + u 2 叩2 + + 【厂t 坑+ 7 7 i n ( o ，o i 2 j ) ，f = 1 ，2 ，k ( 3 1 1 ) l n ( 0 ，0 0 2 ，) 其中r i ，f ，( f = 1 ，七) 之间相互独立，记u 一【u ：u 2 ：玑】，r 一【叩：，叩；，叩：】 将尺按i x 。，u 1 u k 】的相同形式分块为 r 一【r 0 ，r ，r 】( 3 1 2 ) 其中r ，r ，r 分别是，l 口o ，n 吼，n x q k 的矩阵， 即有【x ，u ，u ：，u k 】= q 【r ，r ，r ，r 】 类似对模型一的讨论，可知x = 瓯，u 。= 纰，u k = q r k 记r o - r a n k 伍c ) 再。2 厂口础( 【置，u ，弘】) ，r k + 12 n - 磊，； ( 3 1 3 ) 通过前面对模型三的设计阵作q r 分解的过程可易得下面的结论 ( o o ) = l ( x 。) ，l ( 9 0 ，q 1 q ) = 上( x 。，以u i ) ( 3 1 4 ) l ( q ) o ( 【置，u ，u i 一。】) 一l ( 【x c ，u ，u i 】)( 3 1 5 ) 民一q z ，r ；a u 。，r = a 7 u 。( 3 1 6 ) 所以r 的形式同( 3 6 ) ，对模型三的作变换，令乙= 跏，( f = 1 ，2 ，k + 1 ) ， 青海师范大学硕卜学位论文 则( 3 1 0 ) 可改写为 z 1 z 2 z i 。 气+ l r 7 h + r 2 r 2 。 r 2 r 2 + + r t 仇 + + r t 仇 心仇 其中岛= q 妙，岛= q ：o = 1 ，2 ，k + 1 ) 在下面的所讨论的内容中将利用到这类转变过后的模型，并讨论其在方差估 计中的应用 1 2 7l3 ，l 气乞； 气 + + ；+ 线性混含模型的参数估计 第四章方差分量参数的估计 如前文中所述，线性混合模型中含有两类参数，即固定效应参数与方差分量 参数，对于1 2 1 中的模型中的随机效应部分舅，岛，最中的方差q 2 仃：2 ，o k 2 称为方差分量，由于随机效应部分对整体有一定的影响，所以对它能做出准确的 估计和预测是至关重要的 关于方差分量的估计，许多文献已给出许多估计的方法，以下本文将利用这 些方法，讨论了再线性混合模型的几种不同形式下是的方差分量的估计，以及利 用前章的q r 分解在方差估计中的应用 4 1a n o v a 估计 方差分量的a n o v a 估计的计算原理可归纳为以下几个步骤 ( 1 ) 对方差分量模型，首先将其随机效应部分看做固定效应，按通常方差分 析法算出各效应对应的平方和( 或均方) ； ( 2 ) 求这些平方和( 或均7 y ) 的均值 ( 3 ) 令这些平方和( 或均方) 等于它们各自的均值，然后解出这个方程组，便 可得到方差分量的估计 这里对模型一作2 1 中所讨论的变换，其形式为 f y = x 。成+ u l 仇+ 【，2 r 2 + + u 仇+ p r h ( 以1 , o i 2 ，) ，f 一1 ，2 ，k ( 4 1 1 ) l p n ( 0 ，o 0 2 ，) 其中x 。一【1 ，x 】，z 【成，】，成= u 。胁+ + 以 下面依照a n o v a 估计的计算步骤，对其中方差分量的参数作估计 ( 1 ) 首先把随机效应部分仇，叩：，r k 看做固定效应，对总平方和y 3 , 作平方 和分解 y 3 , 一s s 卢+ 镕l + + 鼹i + 髂。( 4 1 2 ) 其中嬲屏为模型y = x 。孱+ e 中厦的回归平方和 s s 羼= r 镕( 尾) = 度彳：y ，其中虞为尾的最小二乘估计，即度一( x ：x 。) x c y - 溉为在模型yax 。展+ u 册+ p 中消去声的影响后的平方和 s s l 一r s s ( 8 , ，r l 。) - n s s ( 8 )( 4 1 3 ) 类似的可得 s s , 一n s s ( l ，t i t ，r j ) - r s s ( l ，7 7 ，r l i 1 ) ，( f = 1 ，2 ，k ) ( 4 1 4 ) 最后计算s s , 为残差平方和 s s 。一y y r s s ( 成，叩l ，t 7 t ) ( 4 1 5 ) 可以验证 1 3 青海师范大学硕上学位论文 s s 艮| y t r x f i y 鼹l y ( 墨置鼽1 一皇乓1 ) y ； ( 4 1 6 ) + 溉一y ( 墨以奶，巩l 一墨以l ，f 疋。】) y 践= ) ，( ，一片以舢，鹃1 ) ) ， ( 2 ) 其次计算各项平方和的均值，这时仇，7 ：，仇就不在被视为固定效应了， 由引理3 及文献【8 】可计算得各项的均值，然后令这些平方等于它们各自的均值 得 氍= e ( 踺) 2 善仃玑( 缸”奶1 一”佩- 】刈+ 西 o t r o t1 , 2 ，七) ( 4 1 7 ) 孓咒一e ( s s 。) 一屹+ ，靠 解该方程组便可以得到方差分量的a n o v a 估计，但由于该方程组随着数据 的增多，方程组中正交阵的投影阵的计算会变得越来越复杂，下面讨论利用o r 分解来解决这一问题 由( 4 1 7 ) 可知q 纠一( 彳以，仉，以厂j f f t 跏以一。】) ，即有 曼叫鬟唆江1 2 ， ( 4 1 8 ) i - 踺= y g + 。纠+ 。y 、7 再由( 4 1 8 ) 及r 的定义可知巳= q ；e ( f = 1 ，2 ，k + 1 ) ，且有 ( 4 1 9 ) 再由a n o v a 估计的计算步骤，令z 名分别于他们的期望相等，得到相关方 程组 ( = 1 , 2 , - - - , k ) ( 4 1 1 0 ) 解出这个方程组中的方差分量就可以得到方差分量的a n o v a 估计比较 ( 4 1 1 0 ) 与( 4 1 7 ) ，可以看出利用o r 分解的计算方法不用计算投影阵及广义逆矩 阵，从而使得计算得到一定的简化3 礅 1 4 x , ja n o v a 估计的改进以及性质等做 了一定的讨论 4 2 最小范数二次无偏估计 最小范数二次无偏估计( m i n q u e ) 的基本思想是先提出估计应该具有的性 1 4 七 乙 l 扣踺踺；h 1 ，石，m z z rf【 靠 嘭“ 喁 咖 沪。一钆 = ，m j 0 ， e 眙 姐 e n = 名，m 陀 一 眩， 线性混合模型的参数估计 质，然后把为满足这些性质所加的条件提成一个极值问题，即所谓的最小迹问题， 解所得的最小迹问题，便得到所要的估计 本节讨论模型三 f y ；x 卢+ u 1 爵+ ( ，2 岛+ + u t 色 l 轰n ( o , a i 2 ，) ，i ；l 2 ，k 令et 玑皇+ u 2 岛+ + 矾氧，则 y x + u 置+ u 2 岛+ + 【，i 磊 可记作 y x , 8 + ， 计算的期望与协方差阵得 e ( ) = e ( u l 袅+ u 2 岛+ + u 或) = 0 ( 4 2 1 ) ( 4 2 2 ) c 。v ( g ) 2 善q 2 u r 叫_ 善q 2 k ，( i - 1 ，2 ，七) ( 4 2 3 ) 假设q ，口：，吼是q 2 ，哆2 ，吼2 的一组先验值( 或近似值) ( 若无先验信息 可用，则取每个均为1 ) 令彬aa i u i ，r l i q