（概率论与数理统计专业论文）方差分量模型的参数估计问题.pdf

摘要囊鬟季霎塞蕊瑙岗遗蕊鳞囊 l ； 丢 陋蓥帮? 菇瑞犁嚣学领痢= 亘：薹 _ 厂翘爵散熙凹；l ；j i j ；$ l 一l i 蒂卡堂? 泰卦型? 哥墅嚣窖。幺鎏冀瀵埔糯离噬鬈 篓翠尝已靼瓤。妻薹雾甭 妻闸 ：? ；二! i ij ? ；一；l 颜篓簿；计瓤耥糊嚣六猫顿瓣婚玎渣n 耐；攫曦一啪弼编型点四：囊珥：j i 誊仃 鼍差；誊x 三毒j ；i 等量# g i i 争鸢j 女l g 馨 i ；? 量；毫 j 零! 琶t 4 1 自：篓；夔学ii | # i 至薹 力鬯u = 舅裂群m 蓥菡嫩、措印瘁寺盈磐錾上平癌：竿髦磊丝蜀羹j s ： 满鞴盥? 嚆晦羹銎配髦薯甄娶二器裔l 触裂些押薹菩墼谗疆；i i j j 掰= ，膏誊；墨薹刻i 藿孺懿塞剿鲥蓝i 棼- 喇毒主薹剡翻j ! l ￥ 孽 i i l j 董戛岳g i ；l l i 薹；目j ；i i ；雩日 毒，羔! ! j 。蹙l i 自萋i 当型警毫! ；i i i j ：! 藿亭蔓j ；j 零荟妻一篝；至 蘑，薹n 至j j i i 三；：塑纂。母! 鼍i 霎i 璧? 星囊 圣? 摹冀i # 磬目i b 酗i 墼；i 二 震i i i i ；? 蔑薹i e g * 萋8 ，；i 癸目刍；i 毒? ；j & 薹；| 掌 q 筝! ；i ? 孟羁 j 产，一宴醚f 酉星? 霪 j j 笔? 嚣j ：蕊目i i 薹j j 妻；：差一，；l 碧妻薹l 蔓g l 嚣i i j 了藏j 二l ? ；：j ；萼； 蕊l t i i ! j j 争薹；墨塞舂蠡强 e l ；哩￥擎j 冀g i j 自； i ；l g ；j j 鬟” ；孽l _ ! ；? j ? 砉鞋；! 毫l i ；i 摹二? i j = 薹蓦；萼疃i ， 差 i 囊妻 笋女m p i 二二妻囊二；蚤j 至；= 妻i # i i ；i ! 謇兰? ? ：i ii i ；j 主g 慧! ! i ! k i r ! 拿j 寒j ；! ；i ，妻；孽! i 蠢t 要曼 鲤 囊i i ；i ? ? 冀l 馨i 譬= ；萋j j j 喜塞j ：? 薹j ! i i ；i ：i j 薹垂瞬， ；量 霎擎；主毫；莓i 霉j 摹j j ；i i 母摹j ；茎? ：! 量量吾垂嚣争 f ；蕃l 目 毒j 簦目三i ； 墓j i 誊；葛i 享j ；i i i 毒j i ： 薹誊j j j j i ；! ? ：。曼 e | i 蚕i ；i 囊氨塞：j i i i 毒。三；菩i i 二二# 耋目l 蒜| ￥；女i ；i i ；! i i ；主譬 j e 京工业大学理学硕士学位论文 a b s t r a c t v 甜i a n c ec o m p o n e n t sm o d e l i 8as t a t i s t i c 酿m o d e lt h a ti sa d o p t e dw i d e j yi n v 甜i o u s 矗e l 出，s u 出轴e c o n o m i c s 扣i o l o g 弘m e d i c i n ea n d8 0o n f b rt h ep a r a m e 柏re s - t i m a t i o n so fv 射i a n n c ec o m p o n e n t sm o d e l 8 ，s t a t i s t i c i a n 8p r o p o s e ds e v e r a lm e t h o d s s u c ha 8t h ea n a l y 8 i so fv 甜i a n c ee s t i m a t e ( a n o v a ) ，m a x i m u ml i k e l i h 0 0 de s t i m a 七e ( m l e ) ，壬k s t r 戤e dm a x i m u ml i k e l i h o o db s t i m a t e ( r m l b ) t h em i n i m u mn o r m q u a d r a 屯i cu n b i 8 s e des t i m a t e ( m i n q u e ) a n ds p e c t r 以d e c o m p o s i t i o ne s t i m a t e ( s d e ) s d bm e t h o di sp r o p o s e dr e c e n t ly ) t h i se s t i m a t i o nm e t h o dh a 8s o m eg o o dc h a r 盼 t e r 8 t h ea i mo ft 砒8t h e s i si st os t u d ys e v e r a lp r o b l e m so ft h ee 8 t i m a t i o no fv 甜i a n c e c o m p o n e n t si nt h eb a l a n c e dv a r i a n c ec o m p o n e n t 8m o d e l sa n dt h eg e n e r 拽lv a r i a n c e c o m p o n e n t sm o d e b f b rt h eb 柏a n c e dv a 蔗i a n c ec o m p o n e n t sm o d e l ，t h em a i nc o n t r i b u t i o no ft h i s t h e - s i si 8t op r a v i d ean e ws p e c t r a ld e c o m p 0 8 i t i o nm e t h o df o rt h ec o 、r a r i a n c em a t r 投，t h e c o m p u t a 七i o no ft h i sn e wm e t h o di 38 i m p l e i tc 姐g 押e 也e 肌翻南e ro fd i 鼠f e n te g e 孙 v d u e 8o fc o v 猷i a n c em a t r 扭a n dc 1 0 8 e df 酞mo ft h ep r o j e c t i v em a 七r i c e se o r r 姻p o 珏d i n g t oi t se 璁e n v a l u e s 孽i l l r t h 雠m o r e 如a s e do n 七h i 8n e wm e t h o dw e 出s e 毽8 ss e v e r tp r o p e r t i e so fv 姐i a n e ee o m p o n e n t s 辩o d 娃。 f 强r t h e rm o 球冀h i 8 强e s i s8 t u d i e sg e n 娃8 王v 躲i 张c e 热p o i l e 珏意s 璐o d e l ，f i 强t l y ，w e 垂啪t 蜘d e 基羹i t o 廷o fs i 爨p l es p e t r 鑫ld e c o 擞p o s i t i o n 氇n do b t 鑫主na 鼬e e s s 雒y 鑫珏建s h 曩e i e n t 珏畦扯i o 珏礴e x i 8 t e 珏e eo fs i m p 王es p e e t r 盛幽e o 猕p o s i t i o 珏，t h e ad 主s c u s ss 搦蟹e 曲船孔t 材s 鼍孙t 毯sk i 珏do fm o d e l s 。t 廷e 婶p l i c 矗t i o ni n8 t a 耄i s t i c 砖i n f e r e n c eo fs i m p 王e a b s t r a c t s p e t r a ld e c o m p 0 8 i t i o ni s a l s od i s c u s s e d i nt h e1 a s tp a r to ft h i sp a p e r ，ap r o c e d u r ef o rt e 8 t i n go n e s i d eh y p o t h e s e so n v a r i a n c ec o m p o n e n t si sd e v e l o p e d t h et e s t i n gi sp e r f o r m e do nt h eb a s i so fag e n e r a l - i z e dp - v a l u e t h i sr e s u l t i n gp r o c e d u r ei se a s yt oc o n l p u t e i nt h ee n d ，t h eu n b a l a n c e d v 盯i a n c ec o m p o n e n t sm o d e li sa l s oc o n s i d e r e d k e y w o r d s ： 咖i a n c ec o m p o n e n t sm o d e l ，t h es p e c t r a ld e c o m p o s i t i o ne s t i m a t i o n ，m a x i m u ml i k e l i h o o de s t i m a 七i o n ，s i m p l es p e 七r a ld e c o m p 0 8 i t i o n ，g e n e r 柏i z e dp v a l u e 独创性声明 本人声疆所呈交静论文怒载个人在导炳糖强下进行的研究工作及 取褥瓣戮突残暴。尽我爱箱，狳了文中褥羁攘疆枯注稳致滋懿逸方岁 ， 论文中不包含其他人已经发袭或撰写过的研究成果，也不包含为获得 北京工业大学或其它教育机构的学位或证书而使用过的材料，与我 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示了澎意。 攫名：墨! l 堡日期；旦! ：塞 关于论文使震授权麴说骥 本人完全了解北京工照大学有关保留、使丽学位论文酶规定，繇： 学校有权保留送交论文的艇印件，允许论文被旋阅和借阅；学校可以 公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保 存论文 ( 攥密盼沦文在磐蠢麟波遵守憩援定) 签名；童! 焦嚣簿签名：燃碧期：! ：羔：墨 1 1 模型介绍 第l 章绪论 第1 章绪论 混合效应模型的最一般的形式为： 掣= 卫卢+ 巩靠+ 砚f 2 + - ，一十唯靠 ( 1 1 ) 其中为n l 观测向量，x 为n p 已知设计阵，口为p 1 非随机的参数向量 称为固定效应，磊为t 1 的随机向量，称为随机效应，且f ( 铀= o ，净l 。 通常假设 于是，我们有 g p v ( 6 ) = a ? 毛，g o u ( 矗，白) ；o ，i j e ( _ ) = x 卢，口( g ) = 审巩叫；( 一2 ) 】= l 这里a 2 = ( 口 ，口2 ，、o ：) o 称为方差分量( i a n c ec o m p o 吐s ) ，相应的模 型( 1 1 ) 也称为方差分量模型( v ”i a n c ec o m p o n e n tm o d e l ) ，且方差分量砰相 应的参数空间为 n = ( 口2 ：毋芝o ，i = l 一1 ，口l o ) 在模型( 1 1 ) 中最后一个随机效应& 通常是随机误差e ，而巩一矗。当 混合效应模型( 11 ) 的随机效应部分为一般多向分类平衡数据模型时，我们称 之为平衡方差分量模型。另外，在模型( 11 ) 中若x 8 一l 。u ，l ，：为元素皆为 之为平衡方差分量模型。另外，在模型( 1 1 ) 中若x 日= l 。u ，k 为元素皆为 北京工业大学理学硬士学位论文 l 的n 缎列是藿，这里u 为来翘懿总体燎僮，模溅叉常卷被穆为睫壤模型。誊 见漫合效应攘銎 毽捂：p e l 数撂模型，单良( 掰彝，多囊) 分类瀑台摸受， 套分类潍合摸毽，生长趣线攥型等。 2 0 邀纪中蒴由于奎禽释学、社会经济、管臻科学潋及工程技术等领域的 需簧，线洼瀵合模整理论逐疹发浸起来。；瑷年采随着线性混合模型理论的发 展，线像混合模毽更加广泛的应糟于上述备领域 1 j 潲。 l 。2 模型参数镰计的磺究概提 近3 0 年来，关于混合效应模型的参数估计一直是线性模型的最活跃的研 究领域之一，对于混合效应模型我们感兴趣的参数分为两类：固定效应和方差 分熬。关于这两类参数统计学家已经提出很多的估计方法，下面是关于这挫方 法的简单回联。 l 。2 1 圈定效应的继计 关于混合效瘦模登露定效应估计懿文欺括对较步对于一般的线淫混合 模鍪( 1 。1 ) ，霹倍黼数声的最，j 、二_ 乘估计( l s e ) 秘广义最，j 、二乘信计( g l s e ) 分掰为： 彳声一一( x x ) 一x ( 1 2 ) 一p 4 = c ( x e 一1 盖) 一r 嚣一1 爹( 1 3 ) 毽在实际应髑中嚣往藏是未知的，此时我们可以采用( 1 2 ) 所示的最小二莱估 计，僵逸就无法利用误箍协方差阵带采的信息，从而就带采了精度上豹损失， 2 一 第1 章绪论 另一种经常选用的固定效应的可行估计为两步估计( t s e ) ，即首先给出 协方差阵e 的估计金，然后将其代入( 1 3 ) 中。由于两步估计往往是观测向量 很复杂的非线性函数，所以他的统计性质研究难度很大，目前对他的小样本性 质所知甚少。文献【7 在一些较强的条件下证明了两步估计的渐进正态性。一 些特殊的模型下两步估计也取得一些新的进展，如对p a n e l 数据模型文献【8 1 给出了一些模拟结果，王松桂、范永辉 9 】给出了两步估计协方差阵的精确表 达式，并获得了两步估计优于l s 估计，w i t h i n 估计的一些简单的充要条件。 对于一些特殊的线性混合模型，除最小二乘估计外统计学家还提出了另 外一些简单的可行估计，如p a n e l 数据模型下的b e t w e e n 估计和w i t h i n 估计； 对一般的平衡方差分量模型王松桂和尹素菊提出的谱分解估计【q “f 1 2 】等。 1 2 2 方差分量的估计 1 3 】“ - 5 】 下面我们把重点放在方差分量的估计理论上文献中已有的估计方法有 方差分析估计( a n o v a 估计) 、极大似然估计( m l 估计) 、限制极大似然估计 ( r e m l 估计) 、最小范数二次无偏估计( m i n q u 估计) 和谱分解估计( s d 估 计) 。 1 、a n o v a 估计 方差分析估计的思想来自于方差分析问题，是最早引入方差分量模型的 一种估计。其估计方法是令各种平方和等于他们的期望值而得到一个关于方 差分量的方程组，求解此方程组就得到方差分量的估计。 这种方法首先被用于平衡模型，在平衡条件下这种方法具有一系列的优 点：如容易计算和理解，具有无偏性，是最佳二次无偏估计( g r a y b i l la n dh u l t q u i s t ，1 9 e 北求工业大学理学硕士学位论文 在谟麓髑涟梳效应的蠢泰靛设下是最小方蓑茏镰彳鑫诗( g r 鑫y b i l l ，1 9 5 4 ) 。对于菲 平衡模烈，h e n d e r s o n 在1 9 5 3 年提出了里程碑妓的h e n d e r s o n 方法。根据选择 的平方斧不同，其分为三种具体方法，分别能够处理随机效应和混合效应模型 翡阉糕。 a n 。v a 话诗在实际串具有广泛静瘦髑，识它也有一些弱漫酌姣陷：如可 能给出方差分量负的估计假，估计的性质目前所知甚少，h e n d e r 8 0 n 方法需要 进行瀚缎矩阵运算，且其估计可能不唯一等针对这些问题统计学瘃做了很多 的工佟。逅繁聚究孛，入嚣】绞往放弃无缡毪 摹谬密萁经戆傀良一凌璇，妇菲受话 诗等。 2 、极大似然估计( m l b ) 和限制极大似然估计( r m l e ) f i s h e r 在1 9 2 5 年提出的极大似然估计，农6 m 7 0 年代被应用于方蓬分量的 磷突。与方差努辑绩诗穗魄，其霞蠡是可班褥劐潜近蛰方差箨骜驻舞：表达式， 并盛它就是c m m ”r 一下界且极大似然估计可以同时得到固定效应和方差 分量的估计。但往往极大似然方程没有显式解，需要通过迭代算法求解。 极大似然信计的一个改进是p a t t e r s o n 秘戳l o m p s o n ( 1 9 7 1 ) 撼穗的隈裁投 大识然估计。这种售计鹣器想是：考虑到髂诗霹定效应所弓 越静囊虫度懿藏 少，因此基于最小二乘估计的残差，利用极大似然法估计方差分缀。与极大极 大似然估计相比，限制极大似然估计偏差减少很多，且对于许多平衡数据的混 合效波模銎限裁极大织然 鑫诗与方差分据售计摆等。当然一般傍溅下，r 鐾m l 方獠酌求解只能莰藏迭健法，冀迭代收敛瞧静| 1 嗣题依然存在， 目前求m l e 和r m l e 最常用的算法魁n e w t o n r a p h s o n ( n r ) 和e m 算 第1 章绪 论 法。j e n m i c h 和s c h l u c h t e r 将n r 算法用于混合效应模型m l e 和r m l e 的计 算中。近期研究包括对这些算法的优化以及错误应用正态假设对估计的影响， v e r b e k e 和l e s a 噩e 提出了一种非正态条件下估计渐进协方差阵的修正方法。 3 、最小范数二次无偏估计( m i n q u e ) 方差分量的最小范数二次无偏估计是由c r r a o 于2 0 世纪7 0 年代初提 出的，他所采用的做法与前面提到的方法截然不同前面的方法都是先按一定 的程式去求估计，至于所得估计有何性质，事先并不知道。而最小范数二次无 偏估计的基本思想是先提出估计应具有的性质，然后把为满足这些性质所加 的条件提成一个极值问题，即所谓的最小迹问题。解所得的最小迹问题，便得 到所要的估计。 该方法对随机效应和误差的分布没有要求，无须迭代，但需要给定一组方 差分量的先验值。这导致不同的人选取不同的先验值，会得到不同的估计，因 而具有一定的主观性。 4 、谱分解估计( s d b ) 谱分解估计是近期提出的一种同时估计固定效应和方差分量的新方法。 此方法的基本思想是：首先对协方差阵进行谱分解，然后利用谱分解得到的 主幂等阵对原模型进行适当的线性变换，获得若干个新的奇异线性模型。这些 新模型的特点是他的固定效应和原模型相同，但新模型的协方差阵除了一个 因子外不含未知的方差分量利用最小二乘统一理论，对每个新模型可以得到 固定效应和特征值的一个估计，由于常见情形下，协方差阵的特征值是方差分 量的 第1 章绪论 阵的谱分解又被应用到统计的其他方面，如，k h u r i 将这些结果应用到方差分 析方法中，解决了平衡混合效应方差分析模型的平方和分解问题。s e ”l e 和 h e n d e r s o n 的方法在( a 2 ) 的表达式中添加的项往往比较多，且这些添加项都 要参与运算，故运算量大。另外该方法仅是一种算法，没有给出直接确定( 一2 ) 的互异特征值与方差分量的线性关系的方法，这无助于研究一般平衡方差分 量模型估计的性质。因为很多问题都和协方差阵的互异特征值个数有关。例如 估计的存在性和唯一性的问题，极大似然估计显式解的存在性问题等等。最 近将这2 ”个出o 积l 缓成 x 北京工业大学理学硕士学位论文 谱分解估计与方差分析估计相等的充分必要条件。 本文研究了一般方差分量模型的参数估计问题，第3 1 节在一定条件下研 究了一般的含三个方差分量的方差分量的模型的参数估计问题。而且本文第 3 2 节证明一般方差分量模型可以进行谱分解估计的充分必要条件。 就像前面所述的估计方法一样，谱分解估计也存在一些不足之处，比如当 方差分量的个数少于协方差阵的不同特征值的个数时，方差分量的谱分解估 计不唯一。同方差分析估计一样，谱分解估计也不是非负估计。需要进一步研 究改进方法。 1 3 本文的内容和结构 本文主要的内容：一是利用一些简单的矩阵运算给出平衡方差分量模型 的协方差阵的谱分解方法，并根据文中给出的平衡方差分量模型协方差阵的指 标阵m 研究了协方差阵的性质，这些性质对谱分解估计的求解及其统计性质 的研究具有重要的意义；二是在一般的含有三个方差分量混合效应模型下， 研究了方差分量的估计方法，并且对一般多个方差分量的方差分量模型协方 差阵的简单谱分解作了 x 第2 章平衡方差分量模型协方差阵的谱分解 2 1 平衡方差分量模型协方差阵的谱分解 下面给出协方差阵e 的谱分解方法【1 8 “【。o 关于对称矩阵矩阵的谱分解式，各种文献中的定义不尽相同，下面先给出 一个引理，再给出本文采用的矩阵的谱分解的定义。 引理2 1 1设为任意对称矩阵， 1 ，a 2 ，为其全部互异的特征 值，则 ( 1 ) 存在q 个正交投影阵p 1 ，p 2 ，弓满足 ( 2 ) 满足条件( 1 ) 的p l ，p 2 ，只由唯一确定 定义2 ，1 1 称引理2 1 1 中的只为矩阵对应于特征值沁的主幂等阵， = 墨。九只称为矩阵的谱分解式。 引理2 1 2 任意的厶= 厶。o 厶：o o 厶。，n = n 翟l 唧可以分解成形 式为 b - o 马。0 晶so o 磊忙，1o 鼠m 玩- o 晶2 0 风3 0 o 取( 。一1 ) o 厶。 玩。o 玩。圆晶。o o 厶。、o 玩m 1o 20 3o m l 】o 厶。 的2 个正交投影阵之和，其中晶。= 厶；一厶：。 证明： r 。出 = 0 “ ， = r 。斟 7 _ o = 弓 r0 j 艺i 荦纛 辈 念磊鐾磊军瘩蓐曼篓筻鋈攀赢疆蔫蠢j 嚣= j ；一3 函羝嘲涿点z 争基型霪辅 鍪u 等i 硝螺蔫泰鬟潆必塞蔫瓷灞雾y 霞疆弼这为点鬣；i i * i 。懑 蠹二， s ；* * 譬冬戮鏊；t ! 豁鍪褥篇鳍撼拦墨嫩蒯点鹬酥豁；臻灌洋海葚群弼 研瓣薹| i 鬻熹；醚疆霉瘫篱j 瓣鎏冀盛醺噬一臻嚼缵j 毒巍簪参望擎美誊誓：s 。； 乏篷霉鍪赛豢0 爨彳黑羹薹霁翻蠢熨辫鹃帮；浑差警鹱冀蓑一翼蘩| 囊冀羹鬟 冀冀笺簧攀囊碧警? 璧毯罄囊燕霪挚套鬟棼蕊鬻魏冀妻鬟夏翥妻鬻囊i 鏊萎 疆驽替鸶囊翼霞婚一翠塑尹；鬟肇蠡啊馥蓠髟籍露誉雾裂弩巷藩菊；耀 器 将这2 ”个出o 积l 缓成 x 北京工业大学理学硕士学位论文 一如k 一( 鼢圆露+ 。搬) 扛= ll = l 强e 穗。耘可鞋努黪戏号l 理2 ，1 2 鼹述的驴令始辫孛懿护一e 饕x t ， 个彼此不同的矩阵之和。 证弱；瘫痒砭一露。磁o o 魏对应予护令m 缀o ，l 廖蹙中秘 涪干个，攀实上： 著。搿= 毛裁m 维二迸裂序翻静第j 个位鬣取。或i ， 若彩= 屯则m 维二进制序列的辫j 个位置记为1 。 不难蒲出这样得到的o 、l 组成的序列共有2 ”一岛姆个，从弓f 理2 1 2 中所述的2 m 个矩眸申找出这浆o 、l 组成的序列对应的短陈，他们的翻即为 掰。蹭国o 珊 定义2 1 ，2将萼l 瑾2 ，l ，3 戆谨晤过程中绘出懿2 4 一知t q 个m 缭o 、l 组成的序列按其表永的二进制数由小到大排列，称迭组有序序列为魂。磁o o 勘对应雏二遴测序列。 例如；当m = 3 时，若韶。堙酗o 诒= 矗，固厶。固五。，因为 2 3 一( o + l 十l ：= 2 所以由引理2 1 3 知：厶。o 五。o 五。对应两个二进制数列，分别为： 第2 章 平衡方差分量模型协方差阵的谱分解 因为( o ，1 ，1 ) 对应于矩阵取。 五。五。，( 1 ，1 ，1 ) 对应于矩阵五。五。厶。 k ，o 五。圆矗。= 玩，o 五：o 五。+ 五，o 五：o 五。 蔺理毛。o 矗。o 五。对应的二进翩数列为 注意：由定义2 1 2 可知，k 对应的= 进制序列是按这些o 、1 序列表示 懿二遴麓数囊夺蓟大翥 戮静。冀实辩舞蔟穿校簿单，灵要写酶时横聱商一下就 嚣= 仇i ( 增。z 警 圆圆蜜) 中所有的k 个磁= 魂。穗。鼋2 都对应一组= 进制序列，并且k 可 以裘示为这组= ：进制序列对应的艇阵之和。 定义3 定义m 一( m 玎) 为一个女2 m 阶的矩阵，其中 一 | ，疆对应黪二进裁序麓孛含纛吩； 嘲2 “ t l 砖j = l 2 m io ，k 对应的二进制序列中不含n ， 襁醚为协方差阵嚣= 警】鼢( 嚣；。魂讳。躲) 的指标阵。 北京工业大学理学硕士学位论文 可见x 的指标阵m 为2 ”阶短阵，其元素为。或l 。 下面根据矩阵m ，确定平衡方差分疆模型其协方差矩阵的谱分解。 令 天= l 地。9 ( l ，) m 则a 一( 。l ，c 2 ，。2 m ) 为一个1 2 ”的行向量。 定理2 1 1行向量 的2 m 个分擞均为的特征根， 不同的分量的 个数等予嚣不弱的特征校的个数。若a 有q 个不问的分量，记为 1 ，a 2 ， 设k 对应的主幂等阵为最，则 且 只= ( “ 厶) b = ( “o 厶) 玩1 0 风2 0 砩3 0 最l o 磊2 0 最3 圆- 磊1 圆磊2 0 风3 ， o 磊( m 1 ) o m o 蜀；f m 1 ) o 矗m r 五( 。一1 ) o 。 厶l o 五2 0 五3 0 o 五( m 一1 ) o 五。 、 i t 2 m ) i 1 ，口，为q 个1 2 “的行向量， q2 k 妈为行向量a 的第j 个分孱) f j ：l ，2 。 其他。 对应地，协方差阵的谱分懈式为一坠，沁最。 1 6 1 0 ，、t = 第2 章平衡方藏分量模狱协方差阵的谱分解 练上，将求平衡方藏分量模型协方差阵 谱努辩式静步骤爨缡懿下： 8 “( 嚣。强o 。勘) ( 1 ) 写出每个砭诘l ，女对应秘二进利譬刭； ( 2 ) 根据步骤( 1 ) 中给出的二逃制序列，写出协方熬阵e 的指标阵m ，并 裰据 = l ；叛嘴( 壤l ，铙2 ，) 掰求蹬 ； ( 3 ) 毙较行戆量a 的2 ”令分量，其中所有纛不提翼豹元索记为a 1 ， 2 ， 根据定理2 1 1 可知孔 一1 ，q 即为的所有互不相同的特秘根； ( 4 ) 根据定遴2 1 1 ，由a 和气辞= l ，西写磁疋s = l ，g ) ，蠢 只= ( 巩固如) - b = 1 ，q ，分别求出九对成的主幂譬阵只； ( 5 ) 将结果代入= 墨= 。扎只，即得的谱分解液达式。 这种方法实际用起来非常篱单。下面我们举例来说明这一点，然后再给出 定理2 1 1 的i 正明。 傍j2 ，1 1 若e = 8 l ( 8 磊。五；+ 岛( 毛磊。五) + 魄f 磊。磊五) ，罨 蛙 p 。赫 l | j 东工韭大学理学硕士学位论文 么厶固矗圆厶，厶圆五 五， 厶。磊。五对应的二进制序列分别为 1 * 锦i b 园l ei 。3 b 镪j ：i t 国i b 毽3 e g ，o ，0 ) ( 0 ，0 ，1 ) ( o ，1 ，o ) ( e ，l ，1 ) ( 1 ，o ，0 ) ( 1 ，o ，1 ) ( 1 ，l ，o ) ( 1 ，l ，1 ) 根据定理2 1 1 可得 ( 0 ，o ，1 ) p ，l ，1 )( 0 ，l ，1 ) ( 1 ，o ，1 ) 1 1l11lll l ooolo oo1| i ololelglj f 臼， oo1 li 扣珏l 峨。r oo 如 ( 巩，吼+ 如，口1 ，吼+ 如+ 如，秽1 ，疗1 + 疗3 ，曰l ，口1 + 口2 + 口3 ) 雨定瑾2 。1 1 可知有三个不同的特征穰，分澍为： l = 1 ，a 2 = 口。+ 氏 a 3 = 8 l + 9 2 + 如。 jfl_lllllt_i_-t 澎 m 阵 标 指既西 第2 章平衡方差分量模型协方差阵的谱分解 所以 由a = ( p l ，p 1 + 口3 ，日1 ，口1 + p 2 + 如，p f ，口1 + 如，巩，目1 十p 2 + 目3 ) 可立即得到 l l = ( 1 ，0 ，1 ，0 ，1 ，o ，1 ，o ) f 2 = ( o ，l ，o ，0 ，0 ，l ，0 ，0 ) f 3 = ( 0 ，o ，o ，1 ，0 ，0 ，o ，1 ) 尸1 = ( z l o 矗) b = b l + b 3 + b s + b t e a 圆e b 圆e c + e b 圆j b 圆e c + j 。固e h 固e c + i ，固j b 圆e c = i 。圆i b 国e c p 2 = ( f 2 0 k ) b = b 2 + b 6 = e n 园e b 园j c + j 4 q e b 圆j c = i o 园e b 园3 c p 3 = ( z 3 0 厶) - b = b 4 + b 8 = e 。国矗园j c + 凡9 矗国k = l 。园3 b 园j c 当然p 3 也可以用p 3 = 矗一p 1 一p 2 求出。 注：这是尹素菊的博士论文【1 5 例231 ，她论文中其它例子也都验证过 了，两种方法得出结果完全相同。 j e 京王韭大学理学硕士学位论文 为了显永我们给出的方法在求较复杂协方差矩阵谱分解问题时的优越性 缱意缭密了一个其有器个淹祝误差磺的平衡方差分鬃模鍪的协方差觚阵，并 且很快的写出他的谱分解。 例2 1 2设协方差阵 e = 巩( 矗。矗。疋。昆) 十如( 矗。五 五。如) + 目8 ( 五圆如 厶。如) 秀i 么矗。磊。疋。豇，厶。磊。五。如，五。磊。毛 五对应的二进 制序列分别力 i 。圆i b 圆i c 氆i d1 4 固j b 国j c 圆i d j b 园 b 晦i c 圆f a ( o ，o ，o ，o ) 0 ，0 ，0 ，1 ) ( 0 ，0 ，1 ，0 ) ( o ，o ，1 ，1 ) ( o ，l ，o ，0 ) ( 0 ，1 ，o ，1 ) ( o ，l ，l ，o ) ( o ，1 ，l ，1 ) ( 1 ，0 ，0 ，o ) f 1 ，0 ，o ，1 ) ( 1 ，o ，l ，o ) ( 1 ，o ，l ，1 ) ( o ，l ，1 ， ( o ，l ，l ：1 ) 2 0 ( 1 ，o ，0 ，0 ) ( 1 ，q o ，1 ) ( 1 ，o ，l ，o ) ( 1 ，0 ，1 ，1 ) 第2 章 平衡方蓑分量摸型协方羞阵的谶分解 i 圆i b 园i c 国l a l 国民毽孔毽i d ( 1 ，l ，0 ，o ) ( 1 ，1 ，o ，1 ) ( i ，1 ，1 ，0 ) ( 1 ，1 ，1 ，1 ) 因此指标矩阵m 为( i ( 1 ，l ，1 ，o ) ( 1 ，1 ，l ，1 ) j n 国l b 固i c 圆l d ( 1 ，l ，o ，0 ) ( 1 ，1 ，0 ，1 ) ( 1 ，l ，1 ，0 ) ( 1 ，l ，l ，1 ) = ( 8 1 ，口1 ，挣1 ，口l ，口l ，p 1 ，巩+ 如，口1 十如，吼+ 如，8 l + 如，疗1 + 氏，以十如 盖为l 1 6 静行商纛。 敬可得有蕊个不鬻的符征根，分嗣为 吼+ 如，尊l + 如+ 如，睁1 + 如+ 如) a l = # l ，a 2 = 8 i + 岛，天3 = 8 l + 魄，a 4 = # i + 晚+ 靠 因此 f 1 = ( 1 ，l ，1 1 ，l ，l ，o ：0 ，o ，o ，o ，o ，o ，o ，o o ) 、， 1 i 1 1 l 1 1 1 o l l 0 l 1 0 1 l 0 1 l 0 1 1 0 l l 1 0 l l 0 l o 0 l 0 0 1 o 0 1 0 o 1 o o 、， 0 o 如 o 如 0 以 o o ，。，。一 f 3 1 i | 北京工业大学理学硕士学位论文 嚣怼 2 = ( o ，0 ，o ，o ，0 ，o ，1 ，1 ，o ，0 ，0 ，o ，o ，0 ，0 ，0 ) f 3 嚣( o ，o ，0 ，0 ，0 ，o ，0 ，0 ，1 ，l ，1 ，1 ，1 ，1 ，0 ，0 ) 如= ( o ，o ，o ，o ，0 ，0 ，o ，o ，0 ，0 ，o ，o ，o ，0 ，l ，1 ) 鼹= ( f l 矗) b = b 1 + b 2 + b 3 七b 4 + b 8 斗b 6 = e 露b 毽e c e l 七e t 强e b 固e c 国i + e e b 毽五e 虚e 。固e b 瓦毽0 i + e a j h 圆e c 秘e d + e t 岛j b 9 e 。固j d e 晦l b 睡l c 秘l a e 。毽，b g 嚣g l & 恐= ( 1 2 矗) r b = b t + b = e 。镪3 b 毽瓦岛e i e i 蛰3 b q j c 3 a = e 。国民国元圆i d p 3 = ( i 3 0 矗) - b = b 9 十四l o + b 1 l 十_ b 1 2 + 口1 3 + b 1 4 = j 圆e b 固e c 圆e i + j 。啜e b 圆e e 轴j i + i a 固8 b 圆j c 园蟊d + j 圆弱b 园j c 囟，a + 五。五。玩。玩+ 五。磊o e 。 五 j 1 圆i b 国i c 园k j 。圆j b 固j c 圆l d 2 2 第2 章平衡方差分量模型协方差阵的谱分解 p 4 = ( f 40 矗) b = b 1 5 + b 1 6 因为 所以 = j 。岛j b q j c 国e i + j 。园j b 国j c 国j i = j 、国3 b 园j c 园i d 下面我们给出定理2 1 1 的证明 证明：分四步证明定理成立。 ( i ) 只= ( “o k ) b 只b = ( k o 厶) b ( 0 0 厶) b 即岛= 鬟 而由定义可知行向量k 和0 的元素满足2 讹和0 k 不同时为1 。因此只，弓分 别为b 的不同分量的和，故当f j 时，只弓= o 。 口 2 m b 】= 【( k ) 。厶 b = ( 1 ：m 。l ) b = b = 厶 2 = 1l = 1 厶 0 。烈 | | r 。嘲 j 京z 整大学理学硬学位论文 第3 章一般方差分量模型的参数估计 含三个方差分爨露方慧分量摸狴是一耱毙较麓纂懿方羧分鬟模毽，毽它 却广泛的应用在生物、医药、经济等领域的数据分析中，如j 平衡的三向套分 类摸型 2 “。有关j 琏：粪模型的理论研究和应掰在方差分量模戳研究中占有将涮 重要的地位。本章鲦3 1 节戮究了含三令方麓分量的方差分激模型懿参数镳计 尤其是极大似然估计问题。第32 节研究了一般含多个方差分量的方差分量模 登瓣谱努辩绩诗闻麓，给壅了一般方差努羹穰登谱分躲债计存在静充分必瓣 条件，这一带是本章的重点。 在正式汗始本辩的内容之前，曾先给出一个重要的引理，它对我们下面的 讨论至关重要。 霉l 理3 o 。l 设a ，b 为n 泠实辩黪矩簿，鼹存臻标准委交蓐p ，浆褥p ，冀尹 与p 日p 为对角阵，当且仪当以b 一日a 。 证明t 必要性的证明是容易的，下面证明究分性。 因为a 为实对称矩阵，敖存在标准正突阵t ，使得r a ，为辩角阵，蒋 a ”一，h 为a 的k 个互不栩同的特征僮，焚重数分别为现，n ，则 壶a 嚣= 露 莓霉 t 7 a 1 1 t 7 磬z = t 7 茸? f 。4 t 第3 章一般方差分量模型的参数估计 记a 1 = t a t ，b l = t b t ，则上式即为 可知b 。必为准对角阵形式 b l = 出口9 ( q ，氓) 其中a 为m 阶方阵，i = 1 ，。因为b 为实对称矩阵，可推出g 也为实 对称矩阵。 故对每一个a 都存在m 阶标准正交阵q ，使得 q ：g ；q 。= d i n 9 ( 肛i 1 ，- ，p ：。) ，i = 1 ，- ，南 记q = d t n 9 ( q 1 ，吼) ，则q 为标准正交阵。再令p = t q ，它仍为标准正 交阵，且 p 7 a p = 出口g n l 厶，- ，h 厶。) p 7 b p = d i 0 9 ( p l l ，一，卢1 n 1 ，肛k 1 ，一，卢n k ) 引理证毕。 3 1含三个方差分量的方差分量模型的参数估计 含三个方差分量的方差分量模型的一般形式为 y = x 卢+ 巩 1 + 2 + e 其中g 为n 1 观测向量，x 为n p 已知设计阵，卢为p 1 非随机的参数 向量，称为固定效应，为t l 的随机向量，称为随机效应，s 为n l 的随 j 京王整大学疆学馥士学位论文 机误差项。假定一( o ，o ) ，s 一( o ，一：) ，且各项均满足一般方差分量模型( 1 1 ) 懿鞭设。型溉瀵囊鬃y 懿蛰方差瘁为 g 。“( ”) = ( d 2 ) = 口；矾职+ 霞玩嘎十a 2 毛= 口；m + 田+ 口；琢 1 对于此模型照然可以利用方麓分析方法求解方差分量的估计，但g r a y 。 b i l l ( 1 9 6 1 ) 指磁a n o v a 估计对于平衡方差分爨模型是方差分黧的最佳二次无偏 信诗，在隧撬效应正态霞设下还是最，、方差茏镶售计，僵霹予一般黪平餐方 差分量模型就不具备这些优良的性质了。b h b a l t a g i ( 2 0 0 1 ) 和p e t e rd a v i s ( 2 0 0 2 ) 分别稍用m o n t eg a r l o 方法掇：较了非平衡的三向套分类模型和一般三向方差分 薰黪各转参数售 十，褥出结论：对于l # 平衡盼三向套分类模数秘一般三是方羧 分量模型的蹰定效成估计，各种估计方法在均方误懿意义下麓别不大。但对于 方嫠努董静信诗，m l e 帮r m l e 穗子a n 0 v a 信计，尤其怒当菜一个方差分 量可能为零时，推襻使用m l e 或r m l e 。 下面讨论一般三向方差分量模型极大似然估计，在正怼假设下洙知参数 卢，扩的钕然函数为： 三( 鼠盯2 1 口) = ( 2 口) 一； ( 口2 ) 1 一；e x p 一；国一x 声) 7 ( a 2 ) 一1 ( 一x 炒) ) 经过取对数，对未知参数求导，且适当变形似然方程化为 2 8 第3 章一般方差分量模型的参数估计 x p = x ( x 7 e ( 盯2 ) 一1 x ) 一x7 e ( 盯2 ) 一1 可， ；：l 圳k e ( a 2 ) 一1 b ( 口2 ) 一1 田 ( 31 2 ) = 可( 工一f 0 ) 7 ( ( 盯2 ) 一1 1 吩( 盯2 ) 一1 ) ( j 一f 台) 可， i = 1 ，2 ，3 b = x ( x 7 ( 口2 ) 一1 x ) 一x e ( 口2 ) 一， h ( 口2 ) = ( o ( 盯2 ) ) k 。， h j ( 盯2 ) = t r 【k e ( 盯2 ) 一1 嵋( 盯2 ) 一1 ， ( 可，盯2 ) = ( ，( 可，盯2 ) ) l ， i ( 9 ，口2 ) = g ( j f 0 ) ( ( 口2 ) 一1 k e ( 口2 ) 一1 ) ( j 一尸；) 于是似然方程可化为： ix 卢= 岛玑 1 日( 。) 。： ( ，。) 3 13 我们从似然方程的结构可以看出求解m l e 的关键是求协方差阵的逆这 一直以来是极大似然估计的难点。 根据引理3 0 1 可知，当 圩垤= 场巧 ( 3 1 4 ) 时存在标准正交阵p ，使得，k 同时对角化，因为p 可以通过数学软件很 容易的得到，这样协方差阵的逆以及行列式就可以容易的求出。然后根据迭代 北京工北大学理学硕士学饿论文 算法可以获得校大叛然估计。疆髓鬻月的迭代算法有n e w t o n r a 曲o n 方法、 f i s b e r 褥分方法、珏”t l e y 移疑轻。捷出的迭代汝，述寄e m 算法等。鸶然这些 迭代算法都离不开协方差阵的逆的求解。 当满足( 3 ，1 4 ) 时，含三个方差分量的方差分避模型还可以利用谱分解估 诗求鳃，谨缝戆讨论我雷j 效纛第3 ，2 节。 3 2 协方差阵可简单谱分解的方差分爨模型 谱分锵估计最初是针对我们第二章所研究盼平衡方差分量模型撮出的， 一系翻戮懿诞臻谱努薅餐诗农一定条终下英奏缀多德蠡戆毪震。吏建筑铮鼹 含两个方藏分量的方差分蹙横掇进行了研究，输出了其谱分解估计并进行改 进得到广义谱分解估计那么对于一般的方差分蹙模型可以进行参数的谱分 解估计吗? 满足什么条件方麓分量模型才可以进行谱分解估计呢? 本节的定 理藏鏊签了这些阗踅。 本节中首先给出了简单讲分解的概念，然詹研究了一般平衡方麓分量模 型协