（概率论与数理统计专业论文）方差分量的估计.pdf

摘要 摘要 本文研究了平衡方差分量模型和一般的含两个方差分量的方差分量模型 的方差分量估计问题 对于平衡方差分量模型的协方差矩阵，本文首次利用偏序知识研究它的 谱分解问题，给出了一种无需计算协方差阵的特征值而直接确定其所有互异 特征值个数的简便方法，同时也给出了一种直接判定协方差阵互异特征值之 间是否线性相关的简单方法证明了前两个问题只与协方差阵对应的矩阵集 合的封闭性有关，为进一步深入研究方差分量的各种估计的性质提供了理论 基础借助于偏序关系的关系矩阵和h a s s e 图给出了两种新的协方差阵的谱分 解方法新方法对一切平衡方差分量模型的协方差矩阵都非常容易实现，且较 已有的方法计算简便，所得谱分解式可以直接应用于方差分量的谱分解估计 在平衡方差分量模型下，找到了一组易验证，而且为许多方差分量模型所 满足的条件，利用本文所获得的有关协方差阵谱分解的结果，证明了在此条件 下，( i ) 方差分量的方差分析估计、谱分解估计和最小范数二次无偏估计同时 相等，且为一致最小方差无偏估计；( i i ) 方差分量的似然方程、限制似然方程 同时具有显式解，且方差分量的谱分解估计恰是限制似然方程的唯一解；( i i i ) 方差分量的线性函数存在非负二次无偏估计的充分必要条件是此线性函数能 被协方差阵的所有互异特征值非负线性表出 在般的含两个方差分量的方差分量模型下，给出了两种新的方差分量 的估计方法：谱分解估计方法和广义谱分解估计方法新方法所给出的估计都 有显式解本文还证明了这两种新估计方法所给出的估计都是方差分量的不 变二次无偏估计，且在一定的条件下为最小方差无偏估计另外，我们还把新 估计与与方差分量的方差分析估计作了比较，获得了两者相等的充分必要条 件 北京工业大学理学博士学位论文 本文对目前文献中有关方差分量和方差分量的线性函数是否存在非负二 次无偏估计的研究结果作了全面总结和比较在此基础上，针对一般的含两个 方差分量的方差分量模型，就协方差阵的互异特征值个数等于2 和大于2 两 种不同情形，分别给出了一种构造方差分量的非负估计的新方法，并获得了此 方法所给估计较谱分解估计有较小均方误差的条件 本文还列举了大量的例子，说明了本文提出的方法和理论研究结果在实 际中的具体应用 关键词方差分量模型偏序谱分解非负估计均方误差 一i i a b s t r a c t a b s t r a c t t h ea i mo ft h i st h e s i si st os t u d yt h ee s t i m a t i o no fv a r i a n c ec o m p o n e n t si nt h e b a l a n c e dv a r i a n c ec o m p o n e n t sm o d e l sa n dt h eg e n e r a lv a r i a n c ec o m p o n e n t sm o d e l s w i t ht w ov a r i a n c ec o m p o n e n t s f o rt h ec o v a r i a n c em a t r i xo ft h eb a l a n c e dv a r i a n c ec o m p o n e n t sm o d e l s ，w e f i r s ts t u d yi t ss p e c t r a ld e c o m p o s i t i o nb yu s i n go ft h ep a r t i a lo r d e ri n t r o d u c e di nt h i s t h e s i s w ep r o p o s eas i m p l ea n dc o n v e n i e n tm e t h o df o rd e t e r m i n i n gd i r e c t l yt h e n u m b e ro ft h ed i s t i n c te i g e n v a l u e so fc o v a x i a n c em a t r i xw i t h o u tc a l c u l a t i n gt h e s e e i g e n w l u e s - a tt h es a m et i m e ，am e t h o di sa l s og i v e nf o rc h e c k i n gs t r a i g h t f o r - w a r d l yw h e t h e rt h e s ed i s t i n c te i g e n v a l u e sa r el i n e a ri n d e p e n d e n ta sf u n c t i o n so f v a r i a n c ec o m p o n e n t st h e s er e s u l t se s t a b l i s hat h e o r e t i c a lb a s i sf o rf u r t h e rs t u d y 、 i n gt h ep r o p e r t i e so fv a r i a n c ec o m p o n e n t se s t i m a t o r s t w ov e r ys i m p l ep r o c e d u r e s a s es u g g e s t e dt oo b t a i nt h es p e c t r a ld e c o m p o s i t i o no fc o v a r i a n c em a t r i xb ym e a n s o fr e l a t i o nm a t r i xa n dh a s s eg r a p hr e s p e c t i v e l y t h eu e wm e t h o d sf o ro b t a i n i n gt h e s p e c t r a ld e c o m p o s i t i o nc a nb ee a s i l ya p p l i e dt oa n yc o y & f i a n c em a t r i xo fam o d e l f o rb a l a n c e dd a t a a n dt h ee x p r e s s i o no ft h es p e c t r a ld e c o m p o s i t i o nc a nb eu s e d d i r e c t l yt oo b t a i nt h es p e c t r a ld e c o m p o s i t i o ne s t i m a t o r so fv a r i a n c ec o m p o n e n t s f o rt h eb a l a n c e dv a r i a n c ec o m p o n e n t sm o d e l s ，as e to fe a s i l yc h e c k i n gc o n - d i t i o n ss a t i s f i e db ym a n ym o d e l si s g i v e nf o re q u a l i t yo fs p e c t r a d e c o m p o s i t i o n e s t i m a t o r ，m i n i m u mn o r mq u a d r a t i cu n b i a s e de s t i m a t o ra n da n a l y s i so fv a r i a n c e e s t i m a t o ro fv a r i a n c ec o m p o n e n t s a tt h es a m et i m e ，i ti ss h o w nt h a tt h et h r e e e s t i m a t o r so fv a r i a n c ec o m p o n e n t sa r em i n i m u mv a r i a n c eu n b i a s e de s t i m a t o r sa n d t h el i k e l i h o o de q u a t i o n sa n dr e s t r i c t e dl i k e l i h o o de q u a t i o n sh a v ee x p l i c i ts o l u t i o n s u n d e rt h i sc o n d i t i o n s i na d d i t i o n ，t h en e c e s s a r ya n ds u f f i c i e n tc o n d i t i o n sa r ep r e _ 北京工业大学理学博士学位论文 s e n t e df o rt h ee x i s t e n c eo fn o n n e g a t i v ee s t i m a t i o no fl i n e a rf u n c t i o n so fv a r i a n c e c o m p o n e n t su n d e rt h i sc o n d i t i o n s f o rt h eg e n e r a lv a r i a n c ec o m p o n e n t sm o d e l sw i t ht w ov a r i a n c e c o m p o n e n t s ， t w on e we s t i m a t e so fv a r i a n c ec o m p o n e n t s ，c a l l e dt h es p e c t r a ld e c o m p o s i t i o ne s t i - m a t e sa n dt h eg e n e r a l i z e ds p e c t r a ld e c o m p o s i t i o ne s t i m a t e sr e s p e c t i v e l y , a r ep r o - p o s e d t h en e we s t i m a t e sa l lh a v ee x p l i c i ta n a l y t i ce x p r e s s i o n i ti ss h o w nt h a t t h en e we s t i m a t o r sa r en o to n l yi n v a r i a n tq u a d r a t i cu n b i a s e de s t i m a t e so fv a r i a n c e c o m p o n e n t s ，b u ta l s om i n i m u mv a r i a n c em l b i a s e de s t i m a t e su n d e rs o m ec o n d i t i o n s i na d d i t i o n ，w ec o m p a r et h en e we s t i m a t e sw i t ha n a i y s i so fv a r i a n c ee s t i m a t ea n d o b t a i nt h en e c e s s a r ya n ds u f f i c i e n tc o n d i t i o n sf o re q u a l i t yo ft h e s ee s t i m a t e s i nt h el a s tc h a p t e r lw em a k eac o m p r e h e n s i v es u m m a r ya n dc o m p a r i s o no fe x i s t i a gr e s u l t sa b o u tt h ee x i s t i n go fn o n n e g a t i v ee s t i m a t i o no fv a r i a n c ec o m p o n e n t s a n dl i n e a rf u n c t i o no fv a r i a n c ec o m p o n e n t sf o rt h eg e n e r a lv a r i a n c ec o m p o n e n t s m o d e l sw i t ht w ov a r i a n c ec o m p o n e n t s ，w ep r o p o s ean e wn o n n e g a t i v ee s t i m a t o ro f v a r i a n c ec o m p o n e n tb a a e do ns p e c t r a ld e c o m p o s i t i o ne s t i m a t o r ja n do b t a i nt h ec o n d i t i o n sf o rt h en e w n o n n e g a t i v ee s t i m a t o r st ob eb e t t e rt h a ns p e c t r a ld e c o m p o s i t i o n e s t i m a t o r su n d e rt h es e n s eo fm e a ns q u a r ee r r o r i nt h i st h e s i s ，al o to fe x a m p l e sa r ep r o v i d e dt oi l l u s t r a t et h ea p p l i c a t i o no fo u r r e s u l t sa n dm e t h o d s k e yw o r d sv a r i a n c ec o m p o n e n t sm o d e l sp a r t i a lo r d e rs p e c t r a ld e c o m p o s i t i o n n o n n e g a t i v ee s t i m a t e m e a ns q u a r ee r r o r 符号表 a 0 a 0 a 口 a a 山 a 上 r k ( a ) a l ia | | t r ( a ) m ( a ) n n a 1 = ( 1 ，1 ) v e c ( a ) a b e ( x ) v a r ( x ) c o v ( x ，y ) 乜( p ，) u 一p ( 地e ) 符号表 “定义为”或。记为” a 为对称半正定方阵 a 为对称正定方阵 a 0 ，b 0 且a 一口兰0 矩阵4 的广义逆 矩阵且的m o o r e - p e n r o s e 广义逆 满足a 7 a 1 = o 且具有最大秩的矩阵 矩阵a 的秩 矩阵a 的行列式 矩阵a 的范数 方阵a 的迹 矩阵a 的列向量张成的子空间 向m ( a ) 的正交投影变换阵 n a = j 一心 分量皆为1 的列向量 将a 的列向量依次排成的列向量 a 与b 的k r o n e c h e r 乘积 随机变量或向量x 的均值 随机变量x 的方差 随机变量或向量x ，y 的协方差 均值为“，协方差阵为e 的随机向量 均值为弘，协方差阵为的p 维正态向量 一v 一 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 关于论文使用授权的说明 卯幺胆盱 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可阻公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名碰 导师签名：盈益邀日期；芝堡：! ：箩 第1 章绪论 第1 章绪论 对于线性模型y = x p + s ，文献中通常依据向量卢是否为固定效应，随机 效应，还是既包含固定效应又包含随机效应，划分为三类：固定效应模型，随 机效应模型和混合效应模型( 简称，混合模型) 对于随机效应模型，由于通常 总假定观察值的总平均( 非随机) 存在，故本质上随机效应模型也属于混合模 型 1 1 线性混合模型 1 1 1 模型的应用背景 线性混合模型是线性模型中一类非常重要的模型，有着重要的理论意义 和很强的实际应用背景线性混合模型的理论产生于2 0 世纪中期，是由于生 命科学，社会经济，管理科学以及工程技术等领域的需要而逐步发展起来的 近年来，随着线性混合模型理论的进一步发展，这类模型被更广泛地应用于上 述诸领域下面我们通过一些实例来说明线性混合模型在上述诸领域的一些 应用， 例1 , 1 1 测量炮弹速度 t h o m p s o n 1 】曾经研究了用几台设备同时测量炮弹速度问题试验所用的 炮弹都是从某厂生产的同种炮弹总体中随机抽取的，蛳为第i 台设备测得的 第j 个炮弹的速度为了比较设备对炮弹速度的影响，t h o m p s o n 对数据玑， 建立以下模型 铷= p + 哪十岛+ 5 “，i = 1 ，口，j = 1 ，b 这里肛为炮弹的平均速度，a 。为第i 台设备引起的偏差，岛为第j 个炮弹 的效应，叼为随机误差由于试验所用的炮弹为随机样本，故岛为随机效 北京工业大学理学博士学位论文 应；但对于设备而言，此试验关心的仅是这a 台参与试验的设备，因此。l 为 固定效应于是，上述模型为线性混合效应模型 类似于例1 1 1 中的模型，对一般的方差分析模型，若其中某些因素的效 应为随机效应，在文献中常常称之为混合方差分析模型，显然混合方差分析模 型都是线性混合效应模型除了例1 11 外，混合方差分析模型在实际中还有 许多应用，例如，p r e y 等【2 】为了分析饲养瑞士长白母猪和大白母猪的价值，利 用混合方差分析模型研究了这两种母猪产崽的成活率问题k r i s h n a m o o r t h y 和g u o 2 1 利用混合方差分析模型研究了一个镍币生产厂精炼车间的炉前工， 冶炼车间的技工和球磨车间的技工的镍尘职业暴露问题 例1 1 2 生产增值模型 h e s h m a t i 和n f a r f 4 】利用伊朗国家统计局和计划与预算机构发布的伊朗 国有生产部门1 9 7 1 1 9 9 3 年的生产数据研究了伊朗生产部门的生产增值情况 他们给出了如下生产增值模型 y i t = x l t l 犀l + x i t 2 皮+ m + e i t 这里虢t 为第i 个生产部门第t 年的生产增值额的对数，；1 为劳动力成本， z 为资本，岛，伤为未知参数，m 为第i 个生产部门的部门效应，由于单个 生产部门是由一些随机抽取的公司组成的，所以地为随机效应，为随机 误差于是，例1 12 给出的模型也是一个线性混合模型 例1 1 2 中的模型在计量经济学中被称之为具有单向误差分量的随机p a n e l d a t a 模型 5 1 具有单向误差分量的p a n e ld a t a 模型的一般形式为 执= + 盖乏口+ 地+ e 话i = 1 ，一，；= l ，一，丁 这里瓤表示第i 个个体在时刻的因变量观测值，玛表示第i 个个体在时 刻t 的自变量向量的取值，卢为通常的回归系数向量，地为第i 个个体的效 一2 第1 章 绪论 应鼬是随机误差如果这个个体是从一个大的个体总体中随机抽取的， 且要对总体的某项指标进行推断，那么个体的效应是随机的，此时称模型为具 有单向误差分量的随机效应p a n e ld a t a 模型 如果在具有单向误差分量的p a n e ld a t a 模型的表达式中再加上表示时间 效应的项，即 讲= o t + 爿矗p + 地+ h + e “ i = 1 ，；t = 1 ，t 这里耽为时刻的效应当地和地都为随机效应时，此模型通常称为具有双 向误差分量的随机效应p a n e ld a t a 模型 显然，具有单向和双向误差分量的随机效应p a n e ld a t a 模型都是线性混 合效应模型由于p a n e ld a t a 模型能更好地识别和度量单纯的时间序列和单 纯的横截面数据所不能发现的影响因素，故此类模型在许多领域都有大量的 应用下面再给出这两个模型的一些应用利用具有单向误差分量的随机效应 p a n e ld a t a 模型，c h a n g 和l e e l 6 研究了股息( d i v i d e n d ) 和未分配利润( r e t a i n e d e a r n i n g ) 的变化对股价的影响，s t i m s o n 7 研究了由于在种族隔离问题上的意 见分歧所造成的美国众议院中党派分化的区域动态，b i r d i 8 l 根据东、西欧的福 利国家和美国的有关数据研究了福利国家的风险承担问题，b a l t a g i 和c h a n g 9 j 研究了波斯顿地区的享乐住房( h e d o n l ch o u s i n g ) 价格和空气洁净支付的自愿 性利用具有双向误差分量的随机效应p a n e ld a t a 模型，h a s e a 等研究了 健康女性的尿儿茶酚胺( u r i n a r yc a t e c h o l a m i n e s ) 和考的索( c o r t i s 0 1 ) 的每天波动 规律和季节性变化规律，b o e h m e r 和m e g g i n s o n i “】研究了采用辛迪加贷款的 发展中国家的二手市场的商品价格问题 倒l - 1 3 动物模型 a l - s k o r e p y 1 2 1 分别用五种动物模型研究了直接遗传效应和母体遗传效应 对阿拉伯联合酋长国当地的纯种羊和杂交羊的羔羊的出生体重的影响他所 一3 一 北京工业大学理学博士学位论文 采用的第四种动物模型为 y = x b + 磊+ m + 磊c + e 这里9 是羔羊出生体重的修正值( 考虑到羔羊的两性差异，出生类型( 一胎，双 胞胎和三胞胎) 差异和母羊的年龄的差异后对羔羊出生体重的影响，对羔羊的 出生体重记录作一定的调整) ，b 是固定效应向量，包括羔羊的出生月份效应和 品种效应，o 是直接遗传效应( d i r e c tg e n e t i ce f f e c t s ) ，m 是母体遗传效应( m * t e r n a lg e n e t i ce f f e c t s ) ，c 是持久母体环境效应( p e r m m n e n tm a t e r n a le n v i r o n m e n t a l e f f e c t s ) ，n 1m ，c 都是随机效应，e 是随机误差显然，例1 13 的模型也是一个 线性混合效应模型 例1 1 3 的模型仅仅是动物模型的一个特例，还有许多其它动物模型出现 在有关动物遗传分析的文献中一般说来，在动物模型中，第i 个个体的某种 性状总表示为某些固定效应和某些随机效应的和，且随机效应一般包含加性 遗传效应( a d d i t i v eg e n e t i ce f f e c t s ) ，即 玑= ( p + 6 t 1 + b + i 2 + ) + 哪+ 啦l + u i 2 + e i 这里们为第i 个个体的某种性状，p 为种群的平均值，b 玎为固定效应，啦为第 i 个个体的加性遗传效应，m j 为其它随机效应，例如母体遗传效应，环境效应 等等下面我们再给出一些利用动物模型作动物遗传分析的例子b a s c h n a g e l 等应用随机动物模型研究了母体遗传效应对瑞士安格斯牛犊断奶时体重的 影响在他们采用的随机动物模型中，固定效应包括牧场，出生年，出生月份， 性别，出生类别，母牛年龄和断奶时间随机效应包括加性直接遗传效应，加性 母体遗传效应，持久母体环境效应和祖先与牧场的交互效应m e r i l a 等1 1 q 利 用随机动物模型研究自然选择对野生鸟群的遗传和环境方差分量的影响值， 在他们的动物模型中总性状方差( ) 分解为：k = 垤+ v e + v e 。+ 。+ ， 第l 章绪论 其中吼，坛。，v e 。和。分别为加性遗传效应，年份效应，区域效应和巢居效 应对应的方差，为随机误差对应的方差m r o d e 和s w a n a o n 【1 目利用随机 动物模型估计了荷尔斯坦因奶牛和弗里斯兰奶牛的体细胞数的遗传参数值 例1 1 4 质量检测模型 在机械加工过程中，不可避免的工具磨损和随机振动都可能影响部件的 规格，为了将其控制在一定的限度之内，就需要及时估计生产部件的各种几何 参数w a n g 和l a r n 提出一种利用混合模型估计圆形部件圆心和半径的方 法 假设对m 个圆形部件利用坐标测量仪进行测量，每个部件测量n 次， ( z 玎，鲥) 7 为第i 个部件上第j 次测量的结果， ( ，口) 7 为公共的圆心坐标， ( ，蛳) 为第i 个部件圆心坐标的随机漂移，t 0 ) 为第i 个部件上第j 次测 量点的角度，假定t 。+ i ) 一t ( 神是已知的且对所有的部件都是相同的，记 f l u + 1 ) = 吼o + 毋，i = 1 ，m ，j = 1 ，n i 其中目，已知，仇。固定未知，且不同的部件可以不同对于 = i ，m ，令 q ，= 成c o s 吼o ，觑= p s i n 吼o ，w a n g 和l a m 给出的估计圆形产品圆心和半径的 混合模型为 叼= f + 啦c o s a j 一岛s i n 白+ “1 i + e 州 尊”= q d ts i n o j + 良c o s e j 十u 2 i + e 锐3 这里啦和鹿为固定效应，u “和啦t 为随机效应，s l 玎和e 2 口为随机误差 可见，例1 1 4 所给的模型也是一个线性混合效应模型 对于球形部件，f a n 等i - 7 】给出了如下一个利用坐标测量仪所测数据检 验部件几何特征的分层抽样模型假定测量分n 层进行，在每一层随机选m 个测量点设( 圯) 表示第i 层的第j 个检测点，i = 1 ， ，j = 1 ，m ， 北京工业大学理学博士学位论文 聊矧= i c l l o + ( 黧裂卜聃锄m ， 1 1 2 模型的数学表述 线性混合模型的一般形式为 y = x 芦+ u + e 这里，y 为n 1 观测向量，x 和u 分别为n 。p 和n f 已知设计矩阵，卢 为p 1 非随机的参数向量，称为固定效应，f 为l 1 随机效应向量，称为随 机效应，e 为n 1 随机误差向量通常假设e ( ) = 0 ，e ( e ) = o ，与互不 相关且它们的协方差阵分别为 c o v ( f ) = uc o v ( e ) = d 6 第1 章绪论 于是观测向量y 的协方差阵为 = u y 矿+ d 若矿和d 的所有元素都是未知的，则y 包含z ( 2 + 1 ) 2 个不同的参数， d 包含另外n ( n + t ) 2 个不同的参数在此情形下，不同未知参数的个数多于 观测值的个数，因此利用n 个观测值去估计这么多的未知参数是不可能的， 于是假设线性混合模型的协方差阵满足某种结构形式是非常必要的诸多研 究线性混合模型参数的统计推断的文献，例如文献 2 0 卜【2 4 】1 都假定模型( 1 1 ) 中观测向量y 的协方差阵e 满足如下形式 = 日l 孔+ 0 2 乃+ + 以巩( 1 2 ) 其中，丑，噩，孔为已知的线性无关的对称矩阵， 巩，如，钆为未知参 数，称之为方差一协方差分量，且口= ( 口l ，眩，e k ) ，这里e 为使得 为正定矩阵的维欧几里得子空间 方差分量模型是线性混合模型中一类应用广泛的模型，因此也是文献中 研究较多的一类线性混合模型此类模型假定每个效应的不同水平之间独立 且同方差，不同效应之间独立且它们的方差互异，故方差分量模型的协方差矩 阵也具有( 1 - 2 ) 式的形式具体来说，方差分量模型的一般形式为 y = x z + 巩e l + 如+ + 仇k( 1 3 ) 其中y ，x ，卢同上，巩为n 靠的已知设计阵，特另日她，巩= 矗，向量矗为 哦1 的随机效应向量，其中“= e 为随机误差向量对于模型( 1 - 3 ) ，文献中 通常都假设 r j e 幢。= 0 c 。v ( & ) = 哥 i ，：l ，( 1 4 ) lc o v ( 6 ，白) = 0 ， i j 北京工业大学理学博士学位论文 于是，我们有 e 扫) = x z ， c o y ( y ) = d u , v ：皇 ( 1 5 ) z = l 其中，一 ，一：为非负未知参数，称之为方差分量为行文方便，下文也称 为随机效应靠对应的方差分量，特别称以为随机误差对应的方差分量 方差分量模型( 1 - 3 ) 的参数空间为 舻0 n( 1 6 ) 其中，口r p ，口2 = ( a ，一2 ) 7 q ，其中r p 为p 维欧氏空间，n = 一2 ：a 0 ，- ，口2 一l 0 ，0 2 o ) 关于方差分量的估计，一直是线性混合模型的最活跃的研究方向之一，迄 今为止，已经提出了许多估计方法，下面对文献中常用的方法进行分类综述 1 2 方差分量的估计方法综述 文献中提出的诸多关于方差分量的估计方法，大体上可以分为三类：一类 是基于矩法的估计方法，另一类是基于分布的估计方法，第三类是基于准则的 估计方法 1 2 1 基于矩法的估计方法 方差分量的基于矩法的估计方法的思想是：先将观测数据的平方和分 解为y 的某些二次型的和，令这些二次型等于各自的期望，得到关于方差分 量的一个线性方程组，然后通过解此方程组来获得方差分量的估计方差分析 方法和谱分解估计方法便属于此类方法 正如文献f 2 5 j 所言，历史上很长一段时间里，固定效应模型和混合模型被 看作同一种模型进行处理文献【2 6 】首次明确了两者的区别f i s h e r 在文献 一8 一 第1 章绪 论 f 2 7 1 中首次从混合效应模型的角度研究方差分析方法，将方差分析方法用于平 衡混合效应模型( 对所有因子的水平组合，重复试验次数相等的模型) 的方差 分量的估计由于此方法依赖于观测数据的方差分析，故称之为方差分量的方 差分析估计方法方差分量的方差分析估计方法的步骤如下：( i ) 利用方差分 析表获得各效应对应的均方( i i ) 令这些均方等于各自的期望值 ( i i i ) 解上 一步获得的关于方差分量的线性方程组，此解便为方差分量的估计在平衡数 据下，方差分析估计具有无偏性和最小方差性( 参阅文献【2 8 】) ，关于方差分析 估计的性质的讨论可参阅文献【2 9 一 3 2 t h e n d e r s o n 在文献f 3 3 中针对非平衡数据给出了三种方差分量的估计方 法虽然这三种方法是针对非平衡数据提出的，但同样也适用于平衡数据这 三种方法的共同特点是：先定义类似于平衡数据均方的乎方和，然后求平方和 的期望并令之等于此平方和，最后通过解方差分量的线性方程组获得方差分 量的估计它们的区别在于平方和的定义不同，应用范围不同， h e n d e r s o n 方法1 是计算最简单的方法，但它只适用于随机效应模型，即 在模型( 1 - 3 ) 中x 口= l p ，这里卢为观测向量y 的总平均若把h e n d e r s o n 方法 1 用于平衡数据，由h e n d e r s o n 方法1 定义的平方和就是均方h e n d e r s o n 方 法2 是对h e n d e r s o n 方法l 的修正，此方法先构造固定效应p 的一个估计上弘 使得z = y x l y 为随机效应模型，然后再用h e n d e r s o n 方法1 给出方差分量 的估计关于固定效应估计的构造问题参阅文献【3 4 】和 3 5 】虽然h e n d e r s o n 方法2 改进了h e n d e r s o n 方法1 只能适用于随机效应模型的缺点，但方法2 也 只适用于固定效应与随机效应没有交互效应的混合模型h e n d e r s o n 方法3 利用了固定效应模型中的拟合常数方法，所以也称之为拟合常数法它的基本 思想是将方差分量模型( 1 - 3 ) 中的随机效应( 除随机误差) 看作固定效应，获得 各效应的回归平方和，再通过令这些回归平方和等于各自的期望获得关于方 差分量的线 生方程组，方程组的解便定义为方差分量的方差分析估计具体来 9 北京工业大学理学博士学位论文 说( 参阅文献f 3 4 或【3 6 1 ) ，在模型( 1 - 3 ) 下，令 q = 掣( p ( x ：u ，：啦巩) 一尸( x ：u i ：啦巩一。) ) 掣， i = 1 ，k( 1 7 ) q l = e ( q i ) ，i = 1 ，k( 1 8 ) 即q 为第i 个随机效应( 暂视为固定效应埯的回归平方和记q = ( q l 一，啦) 7 ， q = ( q 1 ，一，q k ) ，则由文献【36 】知，存在矩阵a 使得q = a a 2 ，再令 a = q( 1 9 ) 若l a l 0 ，则方程组( 1 - 9 ) 的解a 2 = a - 1 q 就是方差分量一的a n o v a e 显 然，只要a n o v a e 存在，则一定为无偏估计关于方差分析估计的方差的研 究可参阅文献f 3 7 一 4 0 1 对一般的方差分量模型，正如文献【4 1 1 所育，方差分析方法的缺点是估计 依赖估计的顺序，往往不同的估计顺序所得到的估计不同，因此估计不唯一 方差分析方法的另一个不足之处是，同许多估计方法一样，无论是对于平衡数 据还是非平衡数据，方差分析估计都不是非负估计( 参阅文献( 17 j 和f 4 2 】) 基 于方差分析方法，文献中提出多种改进估计，改进后的估计或是非负估计，或 是估计的取负的概率减小( 详见1 3 1 节) 基于文献f 4 3 获得的关于协方差阵的谱分解结果，文献1 4 4 新近提出的 一种针对平衡方差分量模型参数的估计方法，称之为谱分解估计方法该方法 的基本思想是对协方差阵进行谱分解，然后对原模型进行适当线性变化，获 得若干个新的奇异线性模型这些模型的特点是它的臣定效应与原来模型相 同，但新模型的协方差阵除了一个因子( 这个因子是原模型协方差阵的一个特 征值) 外，不含未知的方差分量，利用最小二乘统一理论h ，对每个新模型可 以得到固定效应和特征值的一个估计，由于协方差阵的特征值是方差分量的 线性函数，因此，通过解线陛方程组可以获得方差分量的估计 1 0 一 第1 章绪论 方差分量的谱分解估计是方差分量的不变二次无偏估计，在一定条件下 是最小方差无偏估计( 见下一章) 谱分解估计不足之处是当方差分量的个数少 于协方差阵的不同特征值的个数时，方差分量的谱分解估计不唯一同方差分 析估计一样，谱分解估计也不是非负估计 1 2 2 基于分布的估计方法 方差分量的基于观测向量的分布的估计方法的思想是：假定观测向量服 从某分布，然后借助分布函数给出方差分量的估计方差分量的极大似然估计 方法和b a y e s 估计方法都属于此类方法 极大似然法包括通常的极大似然方法和限制极大似然方法极大似然方 法1 4 6 1 最初由德国数学家g a u s s 于1 8 2 1 年提出，f i s h e r 在1 9 2 2 年再次提出了 极大似然的思想并研究它的性质，使之得到了广泛的研究和应用，文献【4 7 j 首 次应用极大似然方法研究混合模型的方差分量估计问题极大似然估计方法 需要指定观测向量的概率密度函数，然后根据假设分布写出待估参数的似然 函数，再在给定的参数空间中求使得似然函数达到最大值的点，所求得的点 就定义为参数的极大似然估计虽然极大似然方法适用于所有的概率密度函 数，但考虑到数值计算的复杂性，多数文献都假设观测向量y 来自正态总体 即在模型( 1 - 3 ) 中 y 一( x 口，砖巩晖) ( 1 1 0 ) i = l 故参数( 卢，( 9 - 2 ) 的似然函数为 l 归，盯2 l u ) = ( 2 丌) - 号f f j ie x p 一；( 一。y 卢) 7 一1 ( 掣一x 卢) )( 1 1 1 ) 其中，由( 1 - 5 ) 式所定义则口和0 2 的极大似然估计分别为石和厅z 使得 砸子2 l y ) 2 口e 鼢n 啪，2 f ) 北京工业大学理学博士学位论文 其中，r 和n 由( 1 - 6 ) 式所定义 利用矩阵微商的有关结果，可以得到p 和a 2 的如下似然方程组表达式 ( 参阅文献f 3 6 或 4 7 ) r j 即“( x , - i x ) - 矿1 y( 1 1 2 ) i 名l ”( k _ 1 码e _ 1 ) 哼= y p k p y ，江1 ，一， 其中， = 巩班，p = 一一1 x ( x 7 一1 x ) 一x 7 对于一些特殊的混合模型，如平衡两向套分类随机效应模型和具有交互 效应的平衡两向分类混合模型( 一个主效应为固定效应，另一个主效应和交互 效应为随机效应) ，( 1 1 2 ) 式存在显式解( 参阅文献 4 8 】和 4 9 ) 但一般情况 下，方程组( 1 - 1 2 ) 没有显式解，文献 4 9 1 1 5 3 j 针对不同的模型都讨论了( 1 1 2 ) 式存在显式解的条件当( 1 1 2 ) 式不存在显式解时，只能应用迭代法求解，文 献中已给出了若干种算法，常用的有n e w t o n - r a p h s o n 算法“，5 5 】和s c o r i n g 算法1 1 7 “正如文献 54 】和【5 5 l 所述，这些算法各有优缺点，n e w t o n - r a p h s o n 算法在极大值附近收敛得较快，但对初始值的选取具有较大的依赖性f i s h e r 提出的s c o r i n g 算法却在离极大值远的地方收敛得较快，且有较好得稳定性 但它们的共同问题是算法的收敛性还没有得到解决，都不能保证迭代结果就 是极大似然估计，h a r v i l l e 在文献 5 5 】中建议，在实用中可选取多个不同的初 始值点进行计算，若它们的计算结果都一样。则有理由认为此结果就是极大似 然估计另外需要指出的是，即使在一些特殊情况下，方程组( h 2 ) 存在显式 解，但也不能保证就是极大似然估计，因为方程组的解有可能落在参数空间之 外 许多文献都研究了方差分量的极大似然估计的大样本性质，在某些特殊 的方差分量模型下，证明了在一定的条件下极大似然估计具有弱相合性，渐近 有效性和渐近正态性( 参阅文献 2 3 a t 5 2 ) 但有关方差分量的极大似然估计 第1 章绪 论 的小样本性质却知之甚少( 参阅文献f 5 6 】) ， 极大似然方法的一个缺点是在导出方差分量的估计时，没有考虑因估计 固定效应卢所引起的自由度的损失，在有些情况下极大似然估计的偏差会很 大( 参阅文献f 5 7 】和 5 8 】) 为此，p a t t e r s o n 和t h o m p s o n 5 8 , 5 9 给出了极大似然 方法一种修正方法，称为限制极大似然法( 又称边缘极大似然估计方法( 参阅 文献 2 3 】) ) 该方法同极大似然方法一样也需给定观测向量。的概率分布限 制极大似然方法与极大似然方法的区别在于，限制极大似然估计是基于最小 二乘估计残差= y p x y 作方差分量一2 的似然函数，这里既= x ( x x ) 一x ， 用极大化这个似然函数求一2 的估计 在正态假设下，a 2 的限制似然函数为 l ( 盯2 l y ) = ( 2 7 r ) 一。挈】地e 1 v x i i 1e x p 一i 1 可n x ( n x w , n x ) 一1 n x y ( 1 1 3 ) 其中q = r k ( x ) 由( 1 1 3 ) 得限制似然方程为( 参阅文献【3 6 】) k 霹t r ( k p 吩尸) = y l p 7 k p ，i = i ，- ，k ( 1 一1 4 ) j = l 其中，k 和p 的定义同式( 1 1 2 ) 与似然方程一样，限制似然方程在多数情况下也没显式解，上面提到的几 种迭代算法也广泛地应用于方差分量的限制极大似然估计的求解过程之中。 同样迭代算法的收敛性问题依然存在与极大似然估计相比，限制极大似然估 计的偏差减少很多，且对于许多常见模型，限制似然方程的解与方差分析法所 得的估计相等( 参阅文献【4 2 m o m l 2 】) 文献【5 7 】和 6 3 在一些混合模型和 随机方差分析模型下比较了方差分量的极大似然估计和限制极大似然估计的 均方误差 与极大似然