（概率论与数理统计专业论文）有关极大似然估计若干问题的研究.pdf

安徽大学硕士学位论文 摘要 摘要 极大似然估计是一种重要的、经典的参数估计方法，对它的研究一直方兴未 艾。本文从以下三个方面研究极大似然估计的相关议题，运用不同的手段丰富了 极大似然估计的研究内容。本文的主要内容及创新如下： 研究奇异正态线性模型 f j * - - 。y l 口j l ， 。n 。( 0 ，o z y ) i 。2 i _ o 模型参数为卢，2 ( 1 和多元奇异】e 态分布 y n 。( p ，) ，其中i i = o ，( 卢，z ) 为参数 ( 2 ) 中参数的极大似然估计。通常情况下，我们由似然方程来求解参数的极大似然估 计，但对于( 1 ) 和( 2 ) ，似然函数难以直接表示。我们注意到：对于( 1 ) ，y j 以概率1 落在的列张成的子空间s p a n ( 2 ) 内：对于( 2 ) ，y 一肛以概率1 落在 的列张成的子空间s p a n ( z ) 内。利用此子空问内y 的概率密度函数，我们分别给 出了以概率1 ( 1 ) 和( 2 ) 中参数的极大似然估计，并用模拟实验说明了估计的 可行性和有效性。 研究柯西分布族对数似然方程根的大样本性质。由于柯西分布的极大似然 估计没有显式表达式，我们从似然方程直接出发，证明了存在其参数0 的一个强 相合且最好渐近正态估计或，它以概率1 当样本量凡充分大时是对数似然方程 的根。此外，我们用牛顿迭代法计算了柯西分布的极大似然估计，进一步显示了 其相合性。 研究一族- 刚b 分布一多维t 分布的有限混合模型的极大似然拟合。多维t 分布的混合模型是一种稳健的对数据建模的方法，因为t 分布有较重的尾部。 模型参数的极大似然估计的标准求解是采用期望最大化( e m ) 算法迭代计算。 然而，多维t 分布混合模型的传统e m 算法收敛速度慢，本文通过给出一种新的 数据“丢失值”的方式，提出了多维t 分布混合模型的一种改进的e m 算法，其 一 、卜 安徽大学硕士学住论文 有关极大似然估计若干问题的研究 有较快的收敛速度。我们用模拟实验证实了它的有效性，获得的结果可以用于广 泛的无监督聚类及有监督判别问题。 关键词：奇异正念线性模型，极大似然估计，柯西分却，相合性，渐近正态性， 有限混合模型，期望最大化算法 安徽大学硕士学位论文 m a x i m u ml i k e l i h o o d ( m l ) e s t i m a t i o ni sa ni m p o r t a n ta n dc l a s s i c a lm e t h o do f p a r a m e t e re s t i m a t i o n ，a n d i s a l w a y sa n a c t i v er e s e a r c hf i e l d t h i sd i s s e r t a t i o n i n v e s t i g a t e ss o m et o p i c sr e l a t e dt om l f r o mt h r e ea s p e c t s , w b j c l 】e n r i c ht h er e s e a r c h c o n t e n t so fm l b yu s i n gv a r i o u st e c h n i q u e s t h em a i nr e s e a r c hw o r k sa n dc o n t r i b u t i o n s o ft h i sd i s s e r t a t i o na l eo u t l i n e da sf o l l o w s f i r s t l y , w ec o n s i d e rt h es i n g u l a rn o r m a ll i n e a rm o d e l i y - x e + 8 1 e 。n 。( o 口z ) ( 1 ) w h e r e 盯2 zi sn o n n e g a t i v e l yd e f i n i t ea n di 口2 l = o ( t h ep a r a m e t c ma r e ，a n d o 2 ) ， a n dt h es i n g u l a rm u l t i v a r i a t en o r m a ld i s t r i b u t i o n y n 。( 肛，z ) ， ( 2 ) w h e r e 三i s n o n n e g a t i v e l yd e f i n i t ea n di z i - o ( t h ep a r a m e t e r sa r e f l a n d s ) u s u a l l y , w eo b t a i nt h em le s t i m a t i o nb ys o l v i n gt h el i k e l i h o o de q u a t i o n s h o w e v e r , t h e p r o b a b i l i t yd e n s i t yf u n c t i o n so fm o d e l ( 1 ) a n d ( 2 ) a r eh a r dt os h o wd i r e c t l y w en o t e t h a ti np r o b a b i l i t y1 ，y 一邵f a i l si nt h es u b s p a c es p a n 岱) s p a n n e db yt h ec o l u m n s o fzi n m o d e l ( 1 ) a n dy - a f a l l s i nt h es u b s p a c e s p a n g ) s p a n n e db yt h e c o l u m n so f i n m o d e l ( 2 ) s o ，b yt h i sw a y , w eg i v et h em l e s t i m a t e so fm o d e l ( 1 ) a n dm o d e l ( 2 ) r e s p e c t i v e l y a n dw ea l s od e m o n s t r a t et h ef e a s i b i l i t ya n de f f e c t i v i t yo f t h ee s t i m a t o r sb ys i m u l a t e de x p e r i m e n t s e c o n d l y , w ec a r r yo u tr e s e a r c h e so nl a r g es a m p l es i z ep r o p e r t yo ft h er o o to fl o g l i k e l i h o o de q u a t i o nf o rc a n c h yd i s t r i b u t i o n t a k i n gi n t oa c c o u n tt h a tt h em l e s t i m a t i o no fc a n c h yd i s t r i b u t i o nh a v en oe x p l i c i te x p r e s s i o n , w c ，b a s e do nt h e l i k e l i h o o de q u a t i o n ，p r o v et h a tt h e r ee x i s t sas t r o n g l yc o n s i s t e n ta n da s y m p t o t i c a l l y n o r m a le s t i m a t o r 吼，w h i c h ，i np r o b a b i l i t y1 ，i st h er o o to ft h el o g - l i k e l i h o o d 安徽大学硕士学位论文 有关极大似然估计若干问题的研究 e q u a t i o nw h e nt h es a m p l es i z e ，li ss u f f i c i e n t l yl a r g e f u r t h e r , w eu s en e w t o n s i t e r a t i v em e l h o dt oc a l c u l a t et h em le s t i m a t i o no fc a u c h yd i s t r i b u t i o n ，w h i c h d l u s t r a t et h ep r o p e r t yo fm le s t i m a t en u m e r i c a l l y t h i r d l y , w ed e v o t eo u r s e l v e st ot h er e s e a r c h e so nt h em lf i t t i n go fm i x t u r e so f m u l t i v a r i a t etd i s t r i b u t i o n st h a tb e l o n gt ot h ef a m i l yo fh e a v y - t a i l e dd i s t r i b u t i o n s a m i x t u r eo fm u l t i v a r i a t etd i s t r i b u t i o n si sar o b u s tm e t h o df o rm o d e l l i n gas e to fd a t a b e c a u s eo fi t sh e a v yt a i l t h ec l a s s i c a le x p e c t a t i o n m a x i m i z a t i o n ( e m ) a l g o r i t h mf o r m i x t u r etd i s t r i b u t i o n ，n e v e r t h e l e s s , i so fs l o wc o n v e r g e n c es p e e d b yg i v i n gan e w m a n n e ro f “m i s s i n gv a l u e s ”w ep r o p o s ea l l i m p r o v e de ma l g o r i t h mw i t hf a s t e r c o n v e r g e n c es p e e df o rt h em i x t u r em o d e l t h eg o o dp e r f o r m a n c eo ft h ep r o p o s e d a l g o r i t h mi sc o n f i r m e db ys i m u l a t e de x p e r i m e n t t h ei t e r a t i v ea l g o r i t h mo b t a i n e d c o u l db ea p p l i e dt oa l le x t e n s i v er a n g eo fu n s u p e r v i s e dc l u s t e r i n ga sw e l la s s u p e r v i s e dd i s c r i m i n a t i o n k e y w o r d s ：s i n g u l a rn o r m a ll i n e a rm o d e l ，m le s t i m a t i o n ，c a u c h yd i s t r i b u t i o n ，s t r o n g c o n s i s t e n c e ，a s y m p t o t i c a ln o r m a l i t y , f i n i t em i x t u r em o d e l ，e ma l g o r i t h m 独创性声明 9 7 8 7 8 3 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得娈铸别淳或其他教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所敛的任何贡献均 已在论文中作了明确的说明并表示谢意。 学位论文作者签名：翊娄嶷) 签字日期： 却。6 年争月刁日 学位论文版权使用授权书 本学位论文作者完全了解要锩；l 犬学有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅本人授权蜜蝴以将学位论文的全部或部分内容编入有关数据库进行 检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：胡娄凡 签字日期：2 。厶年夸月7 日 学位论文作者毕业去向： 工作单位： 通讯地址： 锄张嬲弓 签字日期：力。年 电话： 邮编： 争月刀日 t | 安徽大学硕士学位论文第零章引言及若干定理 第零章引言及若干定理 极大似然估计最早是由c e g a u s s 所提出来的，后来为r a f i s h e r 在1 9 1 2 年的 文章【1 】中重新提出，是目前应用的最广泛的方法之一，对于一般常见的分布： 比如泊松分布，正态分布等等通常由似然方程来求解参数的极大似然估计，但是 对于奇异正态线形模型和多元奇异正态分布，由于他们的似然函数都难以直接表 示，我们找到了在概率1 下的似然函数，从而近似地求出了参数的极大似然估计。 以上我们是讲了一种在特殊情况下求极大似然估计的方法，对于极大似然估 计本身它也具有良好的大样本性质。研究极大似然估计的大样本理论有两个层 次：一是从的极值定义出发，这种处理很难，好处是确实是针对其本身，另一种 是从似然方程出发，这实际上是讨论似然方程根的大样本性质，对于柯西分布族 来说，由于其参数的m 啵有显示表达式，我们从似然方程直接出发，证明了存 在其参数口的一个强相合且最好渐近正态估计碗，它以概率l 当样本量_ i l 充分大时 是对数似然方柙的根。此外，我们用牛顿迭代法计算柯西分布的极大似然估计， 进一步显示了其棚合性。 极大似然估计在计算方面出现了一种有效的新的迭代方法一期望最大化算 ( e m ) ，本文在g 分量t 混合模型经典e m 算法框架的基础上，提出了一种新的样 本丢失值的方法，改进了经典的e m 算法，加快了收敛速度。 在给出我们的主要结果之前，先提出一些在文章当中要用到的定理和作一些 符号说明。 若干定理： 定理l 【4 】；若随机向量z 一虬，) ，r ( ) _ r 0 且 堂笋在。i 二f r 拒，又若对任意口。有正l l 。g h ( y ，o l h ( y ，口协c m ，则以概率1 ，d fj 。 充分3 v e a t ，诅。对数似然方程的所有解中存在一个解反，满足反一0 ，a s e 定理3 6 j ；( 控制收敛定理) 设 x 。，盯乏1 是( f f 2 ，f ，p ) 上的可测函数列，y 是 可积的可测函数，若l 石。l 量y ，则工。一石时， 腿n - e x 定理4 【6 】：( k 0 l m o g o - o v 强大数定律) 如果独立r vj 0 是同分布的，具有一 个共同的律f ( x ) ，则欲使茎学一a j 有穷的c ，必须且只需e l x lcm ，并且此 时c - e x 符号说明： 本文将采用下列记号；a 、s p a n ( a ) 、r ) 、a + 、a 一、x 、o 、i p ) 、r 分别 表示a 的转置矩阵、列向量张成的予空间、秩、m o o r e - p e n r o s e 广义逆以及任意 广义逆、样本空间、参数空间、f i s h e r 信息函数、一维实数空间。 2 安徽大学硕士学位论文第一章具有奇异值的正态线性模型和多元正态分布 参数的极大似然估计 第一章具有奇异值的正态线性模型和 多元正态分布参数的极大似然估计 自1 9 6 4 年以来，奇异线性模型( s 不必为正态) 的参数估计成为一个活跃 的研究领域，文献中相继提出了很多种估计方法，比如c r r a o 的最d x - - 乘统一 理论和分块逆矩阵法( 【2 】，p p 1 7 3 ) ，它给出了可估函数c 的最佳线性无偏估 计( b l u e ) 和参数盯2 的无偏估计。近年来，张宝学等研究了分块奇异线性模型 及其导出的奇异线性模型间的最小范数二次无偏估计等价性1 3 i 。但是，关于奇异 线性模型多元正态分布参数的极大似然估计( m l e ) 在文献中并未被提出。 在1 1 节中考虑奇异正态线形模型参数的极大似然估计及实验说明，1 2 节 中考察更一般的多元奇异正态分布参数的极大似然估计 1 1 奇异正态线形模型的参数的极大似然估计及实例说明 1 模型参数的极大似然估计 考虑正态线性模型 ( 1 1 ) 其唧为，l 1 观测向量，励已知的n p 设计矩阵，芦为未知的p l 参数向量， 2 为误差的协方差矩阵，这里是一已知的对称方阵，盯2 ) 0 为未知参数。若 z 为正定方阵，则模型( 1 1 ) 即为普通的广义正态线性模型，这种情况的参数 估计问题已有成熟的结果【3 1 ；若三为奇异方阵，a p l r l 一0 ，则称模型( 1 1 ) 称为 奇异正态线性模型。对于奇异正态线性模型( 1 1 ) 参数的极大似然估计有以下 结论： 定理1 1 以概率1 ，奇异正态线性模型中参数卢和盯2 的m l e 为 3 o 毪 + 盯 意 y _ 一 ， 安徽大学硕士学住论文 有关极大似然估计若干问题的研究 声t ( x ，q 1 n 1q 1 7 x ) 。x t 2 , 4q 1 y ， ( 1 2 ) 疗2 z 三- g ，一蛳y q 。n 一1 q 。b 一邪) ， ( 1 3 ) 其中尺( z ) 一r t n ，丽q = ( q 。；q ：) 为的标扯正交化特征向量组成的正交阵，q ， 为n r 矩阵，其r 个列对应于z 的非零特征根 ，a ：，一，q ：为盯b r ) 矩阵， 其n r 个列皆对应于零特征根，a 为由 ，a ：，t 组成的对角阵，即 a = d i a g ( 丑，九，a ，) 证明：因仃2 z 的非零特征根为仃2 ，i 一1 2 ，r 。由引理1 及概率密度的变 秧公瓦口j 得l 可重) ，一丑芦以 鞔翠1 洛在于至l 司s p a n 临j 内，且在此子空l 司内有概率 密度函数( 关于该子空间的l e b e s g u e 测渡) ： m 一胁一妒 ) “胆e 寺椰妇u 冽， n 4 ， 因( y - 邵y ( ) ，一x a ) 与广义逆一的选择无关。故可取 + 一q ( 乞1 ：1 q - q 1 a - 1 9 而得 朋捌一；( 奶) 。”e 争耐i o l ) n s ， 从而在此子空日j 观测向量) ，的对数似然函数为 1 0 9 l c 6 , ( 7 z ) 一2 1 。g 扬一三l 。g 仃2 一三l 。g ( 屯t ) 一专( y 一邵) q i 4 q 。( ) ，一x a ) ( 1 6 ) 现对l o g l ，仃2 ) 分别关于声、口2 微分并令其为零： 掣一- 2 x t 2 , 。1 q i ) ，+ 硝，q i 4 岛知i o ( 1 7 ) 掣。一南+专)，一xa)20 q 1 一tq l ( ) ，一即) i o “8 ) a 盯22 2 盯4 y 1 ￥1v n 尸吖 u7 4 安徽大学硕士学位论文第一章具有奇异值的正态线性模型和多元正态分布 参数的极大似然估计 从而解得 定理证毕。 2 实例说明 声一( 磁一4q 1 z ) 一x ，q 1a - 1 办 6 2 i ，t 一脚y q 1n a 。b 一邓) 为了说明估计的性能，考虑奇异正态线性模( 1 1 ) z - x 一 ( 1 9 ) ( 1 1 0 ) 2 5 0 01 7 5 0l o 5 05 7 53 5 02 0 2 54 52 7 2 51 8 2 50 0 0 1 7 5 03 6 0 02 2 53 5 01 7 51 8 5 02 7 52 6 2 54 7 50 0 0 1 0 5 02 2 55 4 7 53 5 7 53 2 2 52 7 0 01 6 2 51 0 7 52 5 00 0 0 5 7 53 5 03 5 7 54 7 5 03 7 2 52 2 2 51 2 7 51 6 0 01 7 5 00 0 0 3 5 01 7 53 2 2 53 7 2 56 9 7 51 0 02 0 7 5 5 7 5 6 7 50 0 0 2 0 2 51 8 5 02 7 j d o2 2 2 51 0 05 2 2 52 0 肿4 0 5 02 1 5 00 0 0 4 5 02 7 51 6 2 51 2 7 52 0 7 52 0 0 07 0 0 02 1 5 03 3 0 00 0 0 2 7 2 52 6 2 5 1 0 7 5 1 6 0 0 一5 7 5 4 0 5 02 1 5 05 5 7 54 0 7 50 0 0 l 8 2 54 7 52 5 01 7 5 06 7 52 l 53 3 0 04 0 7 57 3 2 50 0 0 o 0 00 0 00 肿o 0 00 o o0 0 00 0 00 o o0 0 00 0 0 设模型中参数的真值卢一( 1 5 ，6 ，4 224 , 3 , 2 6 ) ，g r 2 0 0 5 ，我们利用计算机从此模 型中随机地抽出1 0 0 0 个样本向量y 。，i - 1 ，2 , l o o o 然后再假定参数和盯2 未 知，对每个样本都用定理求出它们的m l e 声和彦2 ，进而计算估计的均方误差 具体地说，由于r 仨) _ 9 b 时，确l o g o + y 2 ) _ ) ，4 ，其中0 口1 ( 2 3 ) 事实上，l i m ! 旦墨垡坦。o ( h o s p i t a l 法则) ，从而 y ov 。 引理2 1 得证 r 警净= f 等净+ j ：警净 幽g ( 1 + b 2 灿蜘鲫 定理2 0 i 设置，以为独立同分布( i i d ) 样本，抽自柯西分布( 2 1 ) 的总 体，则存在咿的强相合估计最( 墨，以) ，它以概率1 当，l 充分大时是对数似然 方程 善叭。g ( x ，o ) 的- 0 q 4 的根。 证明：由定理2 及引理2 1 知，以概率1 ，当 充分大时，在柯西分布的对 数似然方程的所有解中存在一个解瓦，满足瓦一口，a s 局但瓦不是一个估计 量，因为它依赖于未知的真参数值。下面我们可以证明存在一个一的强相合估计 因为( x ，一) 在e 上连续，故，似口，) 一，o ，口) 当口一护对一切j ，由s c h e f f e 定 理，当一一一时，有 j ：【i r c x ，一厂g ，护) 陋0 ( 2 5 ) 所以，当一一0 时，两分布弓和只的k o l m o g o r o v 距离趋于0 ，从而存在一的强 1 2 安徽大学项士学位论文 第二章柯西分布族对敷似然方程根的大样本性质 相合估计，记为反，在对数似然方程的所有解中找一个最接近于瓦的解，记为 ( 为一估计量) a 现因b 一瓦| s 瓯一瓦l ，且瓦一日- o ，瓦一疗与o ，所 以 1 4 - 口i t i 瓦一瓦+ 瓦一口l s 厄一瓦l + 瓯一目i s 阮一0 1 + z 瓯一口i 0 即晓是口的强相合估计，定理2 1 得证。 2 2 柯西分布族对数似然方程根的渐进正态性 引理2 2 在柯西分布( 2 1 ) 中，有下面两个式子成立： ( j ) j ：c 毪一。 证明： ( i ) 因为磊m ，仁，口) 出- o ，要证( i ) 式成立，只需证 l 篱一瓤胞口 ( 2 s ) 因为 瓤肥啦一嬲j ：c 丝学故若存在荆，使得 s g ) ，且j ：c g o ) 出( 。，则由定理3 控制收敛定理知( 2 6 ) 式成立。下面找g o ) ，利用中值定理，考察在f 一口卜f ，有 黼- 孥b i 口一口 iia 8 ( 口介于萨与口之间) 安徽大学硕士学位论文有关极大似然估计若干问题的研究 下证j ；( g ) 出c 。 s s u p 刚s e 卜 酬鼍p 赫妒叫十u p 1 丽节叫叫 面瓦刁1 两万+ 而忑可1 鬲而+ i 1 0 i p s 量石sp + e 】 石( 1 + o 一( 口一占) ) 2 )j r ( 1 + ( x 一( + ) ) 2 ) 石 。 ；i l + ，2 + ，3 由j x j l 出。，j x j 2 d x 。，f x l 3 d x o ) 这时完全样本的向量可写成： 其中 y 。，。”，以c 4 ) r y ，c , 1 r ( ， ，r ，z ，r ，彬( 口，” r ( ) ( 3 1 1 ) ( 3 1 2 ) i 0 。b 0 ) ( 3 1 3 ) 下面我们用e m 算法来计算参数的估计，设日恤l 是第k 次迭代后0 的值，则e m 算法的写法为： e 步：q ( o ，p ) 一e 毋l ( 1 0 9 l 。，( o ) l y ) m 步： 求日1 ) e o 使q p ) ，1 7 ( j ) 苫q p ，口) o e o - f 求l o g l ：p ) ，先求完全样本点y ，的联合密度， 其中 小) 一班“，i t v ( a j ) i l l - 1 z 吼) k “舯 9 1 1 ) ，门叶h h ) x y ，i 听“h n k ，巨，1 1 z ，( 口；) ) f l op d f ( 3 1 4 ) 安徽大学硕士学位论文 有关极大似然估计若干问题的研究 g 。毗一j 为彬一g 。，) 的p d r - p k ，。= 1 ) = 一 由( 3 1 4 ) ，我们可以得到完全样本点的似然函数为 t 。g l c ( 口) = = t 。g 【：l l ：i b g ，i “- ，：，t k ：6 ，7 j 。) f ：，t 咿4 ) 其中： 。套善z ，k ，儿( y h h 。t ) + l o 9 9 2 ( w ( a 儿一 。砉蠢z 扣g 以+ 羹弘k 嘶“悱，一) + 砉扣) b t ) ；l o g l u , ，( ：t ) + l o g l a ，( 肛，) + l o g l 3 c ，皓) ( 3 1 5 ) l o g 也一仁) 一妻蠢z 一0 9 乃 崦k 蚺辫p 1 岫1 。爿唰 1f v f j 妙，一段，l 、 凡他) l j j - 妻薹z 一 _ 丢p 。g ( 纫) + 罢t o s 6 。1 1 。1 ) ) 一i 1b d - 一主阵。i g t ) ( ) ，一“) r z ，。( ) ，一心) ( 3 1 6 ) 。砉册扣计詈啡i “一云1 b 刚矿詈z j , l o g w j ( 口一) 萼脚h 地k 一 b 如蜘砉弘佟畸一o g r ( 才毗附 ( 3 1 7 ) 互了旷丽 安徽大学硕士学位论文第三章g 分量t 混合模型期望最大化算法的改进 + p ) l o g h 褂i + a , l o g 睦口 弘传她扣g r 防抛】 ( - 。g 一t 。g r ( ) + 鼍。g i 三。1 4 ，z ， + ( 刊z , , 1 0 9 w ，( a 1 ) 却“叽 下面我们先来求e m 算法的e 步： e 步：q p ，口恤) 二e 扣) ( 1 0 9 l c ，p ) ly ) 一如。l ，1 一) 一l 。g ( 口。 k 0 ( 3 1 8 ) - e 毋