（概率论与数理统计专业论文）线性模型与非参数模型中方差的估计.pdf

摘要 线性回归模型是数理统计学中发展较早、理论丰富而且应用性很 强的一个重要分支对任何模型而言，最基本的问题之一是进行参数 估计，以便人们根据参数估计的结果来进行统计分析因此用新兴的 统计推断方法对线性回归模型的参数进行估计有十分重要的理论与 应用价值 回归模型y = 厂( x ) + u , o + + u p , t , ，+ g 也一直是近几年研究的热 点之一当厂( x ) 是未知函数时，只对该模型有一个方差的情形进行了 研究，而对于方差分量的研究却没有因此对于厂( x ) 是未知函数时的 方差分量进行估计有十分重要的理论与应用价值 经验似然方法是最近几年极其热门的一种非参数统计推断方法 由于应不需要估计方差，这一方法引起了许多统计学家的兴趣，他们 将这一方法应用到各种统计模型及各种领域中加权经验似然方法不 仅有着经验似然的优点，还把数据的异方差性考虑了进去，因此在异 方差情形有极大的优势 本文深入细致地研究了上述两个模型的方差估计问题在第二章 中研究了g a u s s m a r k o v 线性模型中方差的加权经验似然估计，第三 章中研究了异方差线性模型中方差的加权经验似然估计，并且都给出 了数据模拟第四章中对于非参数模型中的方差分量给出了两种估计 方法：m i n i m a x 估计和基于差分方法的估计 关键词线性回归模型，加权经验似然，非参数模型，方差分量 a b s t r a c t t h el i n e a rr e g r e s s i o nm o d e li so n eo ft h em o s ti m p o r t a n tp a r t so f m e t h e m a t i c a ls t a t i s t i c sw h i c hh a sd e v e l o p e df o ral o n gt i m ea n di sw i d e l y u s e di nv a r i o u sf i e l d s t oe s t i m a t et h ep a r a m e t e r si so n eo ft h eb a s i c p r o b l e m sf o ra n yr e g r e s s i o nm o d e l ，s ot h a tw e c a nc a r r yo u tt h es t a t i s t i c a l a n a l y s i s u s i n gt h en e ws t a s t i c a li n f e r e n c em e t h o d t oe s t i m a t et h e p a r a m e t e ro f t h e1 i n e a rr e g r e s s i o nm o d e li sf u no ft h e o r e t i c a la n d p r a c t i c a lv a l u e t h er e g r e s s i o nm o d e ly = 厂( x ) + u l + + u p p + si so n eo f t h e s t u d yf o c u si nr e c e n ty e a r s w h e nf ( x ) i s a nu n k n o w n f u n c t i o n ，t h e r e h a v eb e e nm a n ym e t h o d st oe s t i m a t et h ev a r i a n c e ，b u ts t i l lh a v e n tb e e n a n yp a p e r t os t u d yt h ev a r i a n c ec o m p o n e n t s s ot h e r ei sv e r yi m p o r t a n t t h e o r e t i c a la n dp r a c t i c a lv a l u et os t u d yt h ev a r i a n c ec o m p o n e n t sw h e n ( x ) i s 趾u n k n o w nf u n c t i o n 1 1 硷e m p i r i c a ll i k e l i h o o dm e t h o dw h i c ha t t r a c t i v e sm a n ys t a t i s t i s t s i n t e r e s ti so n co ft h em o s th o ta n dp o w e r f u ln o n p a r a m e t r i ci n f e r e n c et o o l w i t ha p p l i c a t i o n si nm a n ya r e a so fs t a t i s t i c s ，b e c a u s ei tn e e d n tt o e s t i m a t et h ev a r i a n c e w e i g h t e de m p i r i c a ll i k e l i h o o dm e t h o dw h i c hn o t o n l yh a sa l lt h ea d v a n t a g e so fe m p i r i c a ll i k e l i h o o d ，b u ta l s ot a k e s a c c o u n to ft h eh e t e r o s c e d a s t i cs t r u c t u r eo ft h ed a t a ，h a sb e t t e rp r o p e r t y u n d e rh e t e r o s c e d a s t i cc o n d i t i o n i nt h i sp a p e r ，w ec o n s i d e rm e t i c u l o u s l yt h ev a r i a n c ee s t i m a t i o n p r o b l e mf o rt h ef o r w a r dt w om o d e l s i nc h a p t e rt w o ，t h ev a d 锄1 c e e s t i m a t o ro ft h eg a u s s - m a r k o vl i n e a rr e g r e s s i o nm o d e li si n v e s t i g a t e db y u s i n gw e i g h t e de m p i r i c a ll i k e l i h o o d m e t h o d i nc h a p t e rt h r e e ，t h e h e t e r o s c e d a s t i cl i n e a rm o d e li ss t u d i e di nt h es a m ew a y a n di nt h eb o t h t w oc h a p t e r s ，w ea l lg i v et h ed a t as i m u l a t i o n i nc h a p t e rf o u r ，w eg i v et w o k i n d so fe s t i m a t o ro ft h ev a r i a n c ec o m p o n e n t sf o rn o n p a r a m e t r i cm o d e l ： t h em i n i m a xe s t i m a t o ra n dt h ed i f f e r e n c e - b a s e dm e t h o de s t i m a t o r k e yw o r d st h el i n e a rr e g r e s s i o nm o d e l ，w e i g h t e de m p i r i c a l l i k e l i h o o d ，n o n p a r a m e t r i cm o d e l ，v a r i a n c ec o m p o n e n t s i i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在在论文中作了明确的说 明。 作者签名：i 逊 日期：z 年月卫日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位 论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论 文；学校可根据国家或湖南省有关部门规定送交学位论文。 作者签名：区坠塑芒 导师签名盘鑫逡日期：廿月功 中南大学硕士学位论文第一章综述 1 1 线性模型与方差估计 第一章综述 线性模型是一类统计模型的总称，它包括了线性回归模型、方差分析模型、 协方差分析模型和线性混合效应模型等它是数理统计学中发展较早，理论丰富 而且应用性很强的一个重要分支过去几十年中，线性模型不仅在理论研究方面 甚为活跃，获得了长足的发展而且在工农业、气象、地质、经济管理、医药卫 生、教育心理等领域的应用日渐广泛许多有实际意义的统计分支，如多元分析、 回归分析、方差分析、试验设计等等，都以这种理论为基础，或与之有密切的联 系，因此线性模型成为现代统计学中应用最为广泛的模型之一 在现实世界中，存在着大量这样的情况，两个变量例如x 和y 有一些依赖 关系，y 的值由两部分组成：一部分是由x 能够决定的，它是x 的函数，记为x 多 而另一部分是由其他众多未加考虑的因素所产生的影响，它被看作随机误差，记 为p 于是我们得到如下模型 y = x f l + g( 1 1 ) 这里g 作为随机误差我们有理由要求譬的均值烈g ) = 0 ，其中烈) 表示随 机变量的均值我们将该模型称为线性回归模型这个模型中，若忽略掉，它 就是一个通常的直线方程若我们在要求d ( s ) = c r 2 ，则这就是g a u s s - m a r k o v 假设 对线性模型而言，最基本的问题之一是进行参数估计，以便人们根据参数估计的 结果来进行统计分析对于线性模型的误差方差估计问题，许宝禄先生考虑了如 下的估计类：a ) 二次的，b ) 无偏的，c ) 方差与回归系数无关的，他得到了 一个估计在这类估计中具有一致最小方差的充要条件然而近几年来统计上非常 热门的经验似然方法由于它不考虑数据的异方差性，所以经常用到区间估计与假 设检验的研究中来，却很少研究参数o r 2 ，仅有石坚( 1 9 9 7 ) 用该方法对同方差 线性回归中的方差仃2 估计问题进行了研究最近，刘锋( 2 0 0 6 ) 采用经验似然方 法提出了部分线性模型的异方差检验对回归模型相关检验的主要方法为误差为 一阶自回归的s c o r e 检验( 胡跃清等，1 9 9 4 ) ，最d , - 乘残差检验( 如d w 检验) ， 基于经验似然的相关检验( 刘锋2 0 0 6 ) 而c h a n gb a o w u ( 2 0 0 4 ) 在考虑了数据的异 方差性的基础上给出了一个新的加权经验似然比统计量，不仅它的极限分布为 中南大学硕士学位论文第一章综述 z 2 分布，而且当样本量比较小时，它有比经验似然更准确的概率覆盖且区间的 双边尾覃加的平衡且同时提供了。一个当辅助变量已知时，样本均值点估计的更 有效的方法因此用加权经验似然方法来考虑线性回归模型中的方差的估计问题 有一定的研究价值本文便对这一问题进行了研究 1 2 方差分量的估计 考虑如下回归模型 y = ( x ) + u l + + u p p + g ( 卜2 ) 这里x 是n x k 阶随机矩阵，y r “是随机向量，u ，u e 是已知刀阶矩阵，厂是二阶 可微未知函数，m 1 ，一，g r “是不可观测的随机变量且满足 e ( 占) = o ，e ( o ，) = o ，e ( ，o ) = o ，i 歹，e ( 面f ) = 0 ，e ( s c ) = 盯0 2 l ，e ( o 。，) = 盯；l 其中未知参数蠢，砰，仃：称为方差分量 ， 一般用x 近似厂( x ) ，模型( 卜2 ) 变为 】，= 工+ u l + + 酢p + g ( 卜3 ) 成为混合效应模型，是未知参数向量y a t e s ，z a c o p a n c y ( 1 9 3 5 ) 和c o c h r a n ( 1 9 3 5 ) 首先将模型应用于抽样调查， r a t e s ( 1 9 3 5 ) 和r a o ( 1 9 4 7 ，1 9 5 6 ) 应用于实验设计的 组内信息和组间信息的结合，f a i r f i e l s s m i t h ( 1 9 3 6 ) ，h e n d e r s o n ( 1 9 5 0 ) ，p a n s e ，( 1 9 4 0 ) 和b r o w n l e e ( 1 9 5 3 ) 应用于遗传学和工业的因子选择近年来在测量学和 其他学科都有大量应用成果如欧自强( 1 9 5 3 ) 、王志忠( 1 9 9 9 ) 等对于方差分量， 文献中己有很多估计方法见王松桂等( 2 0 0 4 ) 最近：史建红( 2 0 0 1 ) 在他的博士 论文中将所有的估计方法归为三类：一类是基于矩法的估计方法，即先将观测数 据的平方和y 夕分解为y 的某些二次型的和，令这些二次型等于各自的期望，得 到关于方差分量的一个线性方程组，然后通过解此方程组来获得方差分量的估计 传统的方差分析估计( a n a l y s i so fv a r i a n c ee s t i m a t e ，a n o v a e ) 和最近王松桂 和尹素菊( 2 0 0 2 ) 提出的谱分解估计( s p e c t r a l d ec o m p o s i t i o n es t i m a t e ，s de ) 便属于此类方法：另一类是基于分布的估计方法，先假定观测向量服从某分布、 然后借助分布函数给出方差分量的估计h a r t l e y 和r a o ( 1 9 4 7 ，1 9 5 6 ) 提出的方 差分量估计的极大似然估( m a x i m u ml i k e l i h o o de s t i m a t e ，m l e ) 、限制极大似然 估计( r e s t r i c t e dm a x i m u m1i k e li h o o de s ti m a t e ，r e m l e ) 和b a y e s 估计方法都属 于此类方法：第三类是基于准则的估计方法，即事先提出估计应具有的性质，而 后把为满足这些性质所需的充要条件转化为一个极值问题，通过解此极值问题来 获得方差分量的估计这类方法包括最小范数二次无偏估计( m i n i m u mn o r m q u a d r a t i cu n b i a s e de s t i m a t em x n q u e ) ，r a o ( 1 9 4 7 ，1 9 5 6 ) 提出了方差分量最小 2 中南大学硕士学位论文 第一章综述 方差二次无偏估计( m i n i m u mv a r i a n c eq u a d r a t i cu n b i a s e de s t i m a t em i v q u e ) 和非负最小偏差二次估计( n o n n e g a t i v em i n i m u mb i a s e dq u a d r a t i ce s t i m a t e ) 等等w a n ga n dz h u ( 2 0 0 0 ) 证明这些估计在一些条件下是一致的 实际上f ( x ) 也可以用已知的非线性函数g ( x ，) 近似，其中p 是未知参数， 王志忠和朱建军( 2 0 0 5 ) 给出了非线性模型中方差和协方差分量的估计，王志忠 和宋允全( 2 0 0 5 ) 给出了非线性模型方差的贝叶斯估计 当厂( x ) 是未知函数时，模型( 卜2 ) 的方差和协方差分量估计变得异常复杂， 目前没有文献对其研究，而只对模型( 1 - 2 ) 的特殊情况 】，= 厂( x ) + s 。 。 ( 卜4 ) 的方差估计进行研究，其中y = 眈，n 】r ，s = 【q 9 o-o9 毛r ， f ( x ) = 【厂( 五) ，厂( 毛) r ，出= o ，e c z r = 盯2 l ，毛是一维设计变量 模型( 1 - 4 ) 中方差仃2 的估计主要方法有三种：b u c k l e y 等( 1 9 8 8 ) 提出的极小 化极大估计，r i c e ( 1 9 8 4 ) 和g a s s e r 等( 1 9 8 6 ) 提出的基于差分的方差估计，b r e i m a n 等( 1 9 7 6 ) 和c l e v e l a n d ( 1 9 7 9 ) 提出了基于曲线拟合的方差估计 若回归模型( 1 3 ) 中观测误差的协方差阵只包含方差分量，而没有包含协方差 分量和相关系数，则可以进一步扩展为 y = x + g ，占n ( o ，) ( 1 5 ) 其中协方差阵z 是n x r 阶正定的协方差矩阵，并假设它是未知参数向量 口= 【q ，】1 的函数，这里口并不只限于方差和协方差向量，还可以包含误差 自相关系数p ，即 =(口)0-6) 这样的假设是合理的，如j a m e s 等( 2 0 0 3 ) 考虑协方差阵为 z = o r 2 1 p p 1 pp p p l ( 1 - 7 ) 给出了方差o r 2 和相关系数p 的拟似然估计再如用一等水准测量仪和一等作业法 在同一条件下对相邻的两测站变差观测进行观测设相邻站间的相关系数为p ，则 协方差阵为 3 中南大学硕士学位论文第一章综述 1 p p 1 0 p 0o 0 o 0 p 00 l o0 0 1 p 0 0 0 p1 ( 1 - 8 ) f a nj i a n q i n g 等( 2 0 0 6 ) 就协方差阵为( 1 6 ) 的半参数变系数部分线性模型给出了方 差和协方差分量中的未知函数口的估计傅惠民( 2 0 0 2 ) 考虑工程实际问题的特点， 认为方差和协方差分量都是某些协变量的函数，给出其参数的极大似然估计 对回归模型( 1 - 2 ) 一( 卜5 ) 而言，尽管数理统计学者提出了未知参数、方 差和协方差分量的各种估计，但如何从统计判决的角度来衡量这些估计的好坏， 仍然是一个非常重要的课题，参数估计的可容许性正是用来解决这类问题的重要 工具 参数估计的可容许性包括回归系数的可容许性以及方差和协方差分量估计 的可容许性s t e i n 于1 9 5 6 年提出了对于正态回归模型，当维数3 时，其回归系 数的最优同变估计是不容许的这一重要发现为回归系数容许性研究的起点，以 吴启光为代表的国内统计工作者对线性模型的回归系数的容许性研究取得了较 完整的结果 关于方差和协方差分量估计的容许性，所做的工作不多模型( 卜2 ) 中x 为 满秩时，吴启光等( 1 9 8 1 ，1 9 8 2 ，1 9 8 3 ) 给出了方差和二阶原点矩的齐次二次估 计容许的充要条件，x 为降秩时徐兴忠( 1 9 9 2 ) 给出了方差的齐次二次估计容 许的充要条件当模型为( 1 3 ) 时，对这个问题加了“不变性修和“无偏性 后研 究得比较多，在特殊情况下，鹿长余( 1 9 9 1 ) 研究了任意多个方差分量的非负 二次容许性的条件但对一般的线性模型，方差矩阵不可逆，x 为降秩时方差在 一般估计类可容许性的充要条件还没有解决，协方差分量和相关系数的容许估计 更不从提及因而方差和协方差分量估计和估计的可容许性是一个值得研究的的 问题，本文将对方差分量的估计进行研究 1 3 加权经验似然( w e i g h t e de m i p i r i c a ll i k e l i h o o d ) 简介 1 3 1 经验似然( e m p i r i c a ll i k e l i h o o d ) 经验似然是o w e n ( 1 9 8 8 ，1 9 9 0 ) 提出的一种非参数统计推断方法，它有类似于 b o o t s t r a p 的抽样特性经验似然比具有极限的卡方分布，从而可以进行区间估 计和假设检验这一方法与经典的或现代的统计方法比较有很多突出的优点比 如用经验似然方法构造置信区间具有域保持性、变换不变性及置信域的形状由数 据自行决定等诸多优点，同时，经验似然还可以通过辅助信息提高置信域的覆盖 4 中南大学硕士学位论文第一章综述 率此外，应用经验似然进行统计推断不需要估计方差，而方差的估计通常是一 个不容易的问题正因为如此，这一方法引起了许多统计学家的兴趣，他们将这 一方法应用到各种统计模型及各种领域。详细情况见参考 o w e n ( 1 9 8 8 ，1 9 9 0 ，1 9 9 1 ) ，k o l a c z y k ( 1 9 9 4 ) ，w a n ga n dj i n g ( 1 9 9 9 , 2 0 0 3 ) ，c h e na n d q i n ( 2 0 0 0 ) 等文献新的发展方向仍是试图将该方法扩展到处理各种非正则情形 对于这个问题o w e n ( 2 0 0 1 ) 的专著给出了一些复杂的计数且更新的方法，如欧拉 经验似然函数而c h a n g b a ow u ( 2 0 0 4 ) 给出了一个新的加权经验似然比统计量，不 仅它的极限分布为z 2 分布，而且当样本量比较小时，它比经验似然有更准确的 概率覆盖且区间的双边尾误差( t w o - s i d e dt a i le r r o r s ) 更加的平衡提供了一个当 辅助变量已知时，样本均值点估计的更有效的方法 1 3 2 加权经验似然推断 设为，耽，只为随机变量序列，独立，有相同的均值且方差 叹只) = v i o 2 , i = - - 1 9 ooo9 刀，其中一是已知常数显然在回归分析中，h 可以与某一协 变量有关我们的目标是用公式化加权经验似然函数这一方法与加权回归分 析中的相似 我们注意到o e n ( 2 0 0 1 ) 的专著中提出的欧拉似然函数 ( d = l e ( n p , - 1 ) 2 是基于f = ( a ，p 2 9-*o-o9 见) 与j - - ( f i - i ) 刀一，刀一1 ) 两个 j = l 打 概率集合的欧拉距离( 易一刀。1 ) 2 一个自然的加权方法将是 i - i 糟 瑶( ，) = v 1 ( n p i - 1 ) 2 其中q o 是一个尺度常数这种加权方式反映了数据 的相关性：一的值越大，观察值只的信息量越少且在许多限制下极大化艺( 即的 结果将迫使p j 得到接近于基本概率测量值刀1 的值我们可以像欧拉似然情形一 样用同样的方法重复加权经验似然函数，( d = l o g ( p 1 ) 注意到经验似然比统 i = 1 计量 ，( f ) = z ( d 一，( 户) = l o g ( 憾) 并非 f = ( a ，p 2 ，以) 与 i = 1 户= 伽- i ) 刀，刀一1 ) 问真正的距离加权经验似然是基于极小熵距的重复加权 经验似然函数极小熵距为 。( e 旬= 一喜砖t 。g ( 僻) 一只+ 注意到d ( f ，户) 是一个真正的距离侧度，且显然来自于对数似然函数若我们加 5 中南大学硕士学位论文第一章综述 上正交簟限制喜p i = i 则。( f 户) = 一鼍孑故极大化】d 等价于极小化 d ( f ，户) 这一熵距先前不仅在信息定理中应用，在为建立检验估计量的抽样调 查中也有应用，见d e v i l l ea n d 鼢m 捌( 1 9 9 2 ) 有进一步的讨论 定义1 1 令k ，吃，为已知的正常数集对数加权经验似然函数为 开一 乙( f ) = q v s l o g ( p e ) - n p ， ，其中g = 刀( m ) 是一个尺度常数 另一方面，我们可以认为l ( f ) 是通过惩罚项一，觋与重复加权项v j 来修正 ，( f ) = l o g ( p j ) ( b j 这一公式的非常重要的特征在于经验似然方法的许多基本 t = 1 的特性仍然被保留这一点可以从下面的定理l 以及c h a n g b a o1 i u ( 2 0 0 4 ) 的数据 模拟中可以看出当m 都相等时，若忽略微小的常数项，则乙( d 蜕化成，( d n 在条件只 o 与a = 1 下极大化乙( f ) 由l a g r a n g e 乘子算法得到得到 净l a = p 2 = = 以= n 一我们考虑通过e u ( y ，臼) = 0 来定义参数0 令 屯( 务：c d ”, o o g ( - b 一1 且乙( p ) ：c 窆m l o g p ，一r i p , 其中a 在条件b 0 ， i = lj = l 一 a = l 与见甜( ) i ：i ，力= o 下极大化l d 令嚷为p 的真值则有如下定理 扛ii = l l 定理1 1 令咒，y 2 ，以为一个随机变量序列，且= 甜( 只，9 ) ，使得 e ( u ，) = 0 ，d ( 蚱) = _ 仃2 ，且m 圳2 独立同分布若e ( ) o o ， 且刀一主矿：d ( 1 ) ，则一2 l ( 岛) 一乙( 否) j 彳 i = 1 = d ( 1 ) ， 定理证明见c h a n g b a ow u ( 2 0 0 4 ) 从定理中可以看出，误差项毛，汪l ，力需要独立同分布且有有限四阶矩从 c h a n g b a o w u ( 2 0 0 4 ) 定理的证明中可以看出，若玖1 ) o 且玖。) = m a x u l ，一，) ，这一限制极大似然问题存在唯一 6 中南大学硕士学位论文第一章综述 解，随y 专0 0 这一事件发生的概率接近于1 加权经验似然? 由于考虑了数据的异方差结构，因而对于当样本量比较小或 中等时，对于相应的样本均值或者回归系数的置信区间比经验似然有更精确地覆 盖率和更平衡的误差双边尾( t w o s i d e dt a i le r r o r s ) 鉴于其优于经验似然的这一 点，我们将其应用到方差估计中来 1 4 作者所做的工作与本文结构 本文的主要结果之一是首先把加权经验似然引入到g a u s s m a r k o v 线性回归 模型中，研究了该模型下方差的加权经验似然估计问题，得到了比基于最小二乘 估计的方差更好的结果并给出了数据模拟对于该结论进行验证主要结果之二是 把g a u s s m a r k o v 情形推广到了异方差线性回归模型，同样的研究了该模型下方 差的加权经验似然估计问题得到了比一般基于加权最小二乘方法的方差估计更 好的结果，并给出了数据模拟结果进行比较主要结果之三是研究了非参数模型 中方差分量的估计问题，在均方误差意义下通过迭代得到了方差分量的m i n i m a x 估计与基于差分的方差分量的估计 本文部分结构如下：第二章为线性回归模型中方差的加权经验似然估计全 章分为三节，第一节给出了参数的估计方法，第二节给出了定理得证明，第三节 通过数据模拟与传统的基于最小二乘的方差估计与进行了比较验证了加权经验 似然估计优于基于最小二乘方法的方差估计的结论第三章结构基本与第二章一 样，把第二章的结果推广到了异方差线性模型中第三章为非参数模型下方差分 量的估计第一节给出了方差分量的m i n i m a x 估计，第二节给出了方差分量的基 于差分方法的估计 7 中南大学硕士学位论文第二章线性回归模型中方差的加权经验似然估计 第二章线性回归模型中方差的加权经验似然估计 2 1 引言与主要结论 在回归分析中，方差不仅作为模型的参数有重要地位，对于实际应用也有十 分重要的意义对于同方差线性模型中方差的估计是一个老问题，对于该问题早 已进行了大量且详尽的研究经验似然方法是o w e n ( 1 9 8 8 ) 提出的一种非常有用 的非参数统计推断方法由于不需要估计方差，经验似然方法引起了许多统计学 家的兴趣，他们将这样方法应用到各种统计模型中，如0 w e n ( 1 9 8 8 ，1 9 9 0 ，1 9 9 1 ) 及c h e r ta n dq i n ( 2 0 0 0 ) 等这种方法也可以应用到方差的估计中，如石坚( 1 9 9 7 ) 本章尝试用c h a n g b a ow u ( 2 0 0 4 ) 提出的加权经验似然方法给出6 a u s s - m a r k o v 线 性回归模型中方差的估计 考虑如下简单的线性回归模型 y = 芳+ 占 ( 2 一1 ) 其中x 舻是随机自变量，y e 足1 是随机因变量，舻是参数向量，g r 1 是 随机误差，且x 与s 独立 假定： ( a 1 ) e ( ) = 0 ，矿( 占) = ，e ( 9 4 ) 0 ，e ( i l x i l 4 ) 其中彳，盯2 均未知，| i i i 是舻上的欧氏模，( ，盯2 ) 是模型的重要参数 设有来自模型的i i d 的样本( 五，咒) ，( 而，儿) ，( ，只) ，其中 毛= ( ，五2 ，吒) ，汪1 ，力，则相应的有一组不可观测的随机误差蜀，乞，毛， 使得咒= + 岛，汪1 ，刀成立 本文是想通过样本对未知参数仃2 做出统计推断为方便记 五= ( ，) r ，= ( 乃，以) r ，4 = 群以，& 。) = ( 毛，岛，磊) r ，贝i j 有 e ( 蜀) = 0 ，y ( 毛) = o r 2 ，且岛，i = 1 ，刀，i i d 由于1 是不可估计的，为得到仃2 的估计，首先对进行估计，采用最小二 乘法得到的l s ( 1 e a s ts q u a r e d ) 估计孱= 4 1 群基于展得到& 。) 的二个估计 反) = ( 】= i 一以尾) 全( 气，) r ，进而得到一个基于最小二乘的方差o r 2 的估 计 打 一= 吉蠢 ( 2 2 ) 命题2 1若( a 1 ) 和( a 2 ) 成立，则有 r 童盔堂堡主堂垡堡塞 一第二章线性回归模型中方差的加权经验似然估计二二二= ：= = = ，二：= ：，：= ：= = 兰竺竺! 竺：! 石( 砖一仃2 ) 一d ( 0 ，2 、( 2 - 3 ) 一的来源是明显的假设b ，i = i ，刀可观测，c 为& 。1 的经验分布在没有 任何先验信息的条件下，经验分布是总体分布的极大似然估计在适当条件下， 基于经验分布的矩估计也是总体矩的相合估计，则去窆( q _ l g - i 窆毛) 是0 - 2 的相 ，= li f f i l 合估计，又! b 窆1 = 1 毛二；e ) = 。故该估计可以化简为丢喜彳本文尝试用 c h a n g b a ow u ( 2 0 0 4 ) 中提出的加权经验似然法给出矿2 的一个更优的估计 首先要求c 将质量集中于气，气，上，并分别记为五，p 2 ，见，则 0 a 1 ，1 s f s 刀， a = l( 2 4 ) 由于e ( 占) ：0 ，则 b 气= o( 2 5 ) i = 1 记满足( 3 4 ) 和( 3 5 ) 的分布函数全体为，由最小二乘估计的要求知0 一 定落入由，岛一，构成的凸包中，即必存在l f 0 ，且乏：p s = 1 ， 一 要求1 + 2 z 1 p 1 - 1 f = , - - - , n 这是一个重要的条件在以下给出的算法中，每次迭代 中都要对这一条件进行验证 n e w t o n - r a p h s o n 算法步骤 1 令凡= o , e = 1 0 q 2 计算( 五) ，其中( 五) = - 丢喜百鲁扫。1 e 喜吉葛一z ) 若o ( 五) l l 0 ，则4a - s 非退化一下就假定以非退化 记己= 刀。1 喜气，如= 毛4 弼气矿1 f 刀瓯= 一= 丢喜蠢，鸠= m 。s ，a g x l 1 引理2 1 设m ，为i ，i ，d 的随机变量序列，若存在口 0 使得 e ( 1w lr ) 0 设有来自模型的i i d 的样本( 五，m ) ，( 而，) ，( 毛，以) ，其中 毛= ( 砀，毛2 ，靠) ，f = 1 9 t 9 疗，则相应的有一组不可观测的随机误差e l ，e 29 - o9 ， 使得咒= x , f l + v 2 ) q ，扛l ，刀成立 本文是想通过样本对未知参数o r 2 做出统计推断为方便记 以= ( ，) t 艺= ( m ，以) r ， 1 ，( 薯) = 一，f = l ，刀 ， = d i a g ( v , ，) 以= 霹- 1 以，气) = ( q ，乞，) r ，毛= 口陀e j ，& 。) = ( q ，岛，& ) r ，则有e ( 毛) = o ， y ( q ) = k 仃2 ，且q 坨q ，f = l ，刀，i i d 假定： ( a 1 ) e ( e 力= 0 ，v ( e 功= 0 2e ( e 4 i x ) o ，e ( 1 l 罗- 1 1 2 x 1 1 4 ) 0 ，且 e p , = l ，要求1 + a 毛g f n - l , i = 1 ，刀这是一个重要的条件在以下给出的算法 中，每次迭代中都要对这一条件进行验证 n e w t o n r a p h s o n 算法步骤 1 令凡= 0 , 8 = 1 0 。 2 t 计算地) ，其中地) - 喜焉白- l ( 丢喜惫_ 若 刀：了i l + 。z 。口：l 。刀：rl + 力z 口 i ia ( 五) 1 1 o ，则4 l 口s 非退化一下就假定4 非退化 记瓦= 刀4 喜，如= 町u 2 薯4 墨一 气。，l ，s 刀最= = 去喜， 鸩= m l 匀a s ，x i l 引理3 3在假设( a 1 ) 和( a 2 ) 下有 口口 瓦= d ( 疗州2 ( 1 0 9l o gn ) “2 ) ( 3 1 1 ) 僻1 i = 。( n - 1 1 4 0 0 9 l 。g 疗) m ) ( 3 1 2 ) m 竺d ( 7 4 ) ( 3 一1 3 ) 鸠= d ( h ) ( 3 一1 3 ) 瓯与盯2 ( 3 1 4 ) 证明：由于= 乞一毛，1 f 刀，所以只要证明了( 3 1 2 ) 式，则其余结论 用类似方法可证在假设条件( a 1 ) 和( a 2 ) 下，利用引理2 1 知m 觚itl _ o ( n “) ， l s j s 一 又由重对数律知e _ t ，：) ：主町 薯岛= d ( 伽1 。g l o g n ) 1 ，2 ) 这时( 3 1 2 ) 易得 t = l 由c h a n g b a ow u ( 2 0 0 4 ) 知在( a 3 ) 条件f = 有 忪i l = q ( ”。1 坨) ( 3 1 5 ) m k a 细xl 五刁吼l _ ( 1 ) ( 3 1 6 ) 引理3 4 在( a 2 ) 一( a 3 ) - r ；有- a 一- m 陶a 幼x lp , 一吉ij 。咋( n 4 ) 证明： 只一i 1 = 而1 一i 1 = 一意， 则由引理3 3 及式( 3 - 1 6 ) 得 。= dp ( 刀。1 )( 3 1 7 ) 在给出了以上诸引理后我们来分析修正估计钟首先有 茜= 见p 三= z p ， 一如) 2 中南大学硕士学位论文第三章异方差线性模型中方差的加权经验似然估计 = 只露- 2 y p , e , 民+ 只 = e p , 4 2 ( 刀1 + ：? - 1 - n 。1 ) e , r m + ( 万1 + 只刀。1 ) 砖 而由引理3 3 和引理3 4 知 i ( a 一力。) - n - 。( 学l 如i ) 2 与q ( 刀( 1 0 9 1 0 9 万) ) 又 i g ( p , 一如筑i 乞如i = 。l 乞v 4 1 五。) ， ) f 。lq v | i 巧1 五。) ， 气。) l 与咋( 刀一量( 1 0 9 l o g n ) 圭) 下面，我们以“一表示渐进分布相同那么有上述推导知 所以 只茸一2 吉q 如+ 吉 = 只孝一吒) 一圭五帕巧1 霸) 一考& 。) b 岔 又由于 ( 3 - 1 8 ) ( 3 - 1 9 ) = i i 。 磊1 母+ ( 易挚) e 叁去孑一丢乙1 e e 4 + l ( 3 - 2 0 ) 小( b 挚砰 - ( 誓嗜篙芦h 铅丝n ( 1 簸+ t 铲坪+ v - a 黯n ( 1 - 、 刁吼) 7 + 力z i 9 1 ) = ( 吉一a ) ( 瓦西1 一1 ) 彳+ 黯 1 9 中南大学硕士学位论文第三章异方差线性模型中方差的加权经验似然估计 l 去一只l ( i 瓦i s ；1i i 1 ) 彳+ 黜 姒引跳- 1 ) 岔+ 黯 与( n 由( 3 - 2 0 ) 和( 3 - 2 1 ) 知 拜刀。孑- - o c t 。2 瓦 = 刀_ 分一阳之刀。1 ( 色一町 置1 霸) 一 乳t n 、) ) 一z一、j j l丹 t 刀j 7 刀- 1 毋一阳力- 1 e e , + o c t _ 2 聆- 1 彳- 1 删q 一一o ij 定理3 2 的证明 对( 3 - 2 2 ) 应用中心极限定理有 石( 一盯2 ) 以叫2 ( 孑一o r 2 一阳。2 e , + o c t 。2 z a 一1 晰匆) 。 山( o ，厂2 + o 彳一1 一1 ) 0 2 c t - 2 ) 这样我们便完成了定理3 2 的证明 3 3 数据模拟 在本节中，我们进行一些数据模拟来研究异方差线性回归模型中方差的两种