（应用数学专业论文）混合模型的参数估计.pdf

混台模型i l 勺参数估计 中文提要 混合模型的参数估计 中文提要 本文所讨论的混合模型的参数估计是先指定混合分量密度函数烈z ；口，) 的形式 ( 这里假设是正态分布，即所讨论的混合模型是正态混合模型) ，再规定混合分量的 个数g ，来估计模型的参数的 本文介绍了e m 算法( 包括基于极大似然估计的e m 算法和基于最大后验估计的 e m 算法) ，m c e m 算法和g i b b s 抽样三种迭代计算方法b i l m e sj 已用基于极大似 然估计的e m 算法完成了正态混合模型的参数估计，f i g u e i r e d o 又提出了用修改的e m 算法去估计正态混合模型的参数本文除了对这两种方法进行完整的描述，还用基于 最大后验估计的e m 算法，m c e m 算法和g i b b s 抽样完成了正态混合模型的参数估 计最后考虑了一个一维正态混合模型的例子进行了实例分析，用基于极大似然估计 的e m 算法，基于最大后验估计的e m 算法，m c e m 算法和g i b b s 抽样四种方法来 估计正态混合模型的参数，并对几种方法进行了比较 关键词：混合模型；e m 算法；m c e m 算法；g i b b s 抽样 作者：尤芳 指导教师：汪四水 p a r a m e t e r e s t i m a t i o nf o r m i x t u r e m 0 d d s a b s t r a c t p a r a m e t e re s t i m a t i o nf o rm i x t u r em o d e l s a b s t r a c t i nt h i sp a p e r , w ed i s c u s st h ep a r a m e t e re s t i m a t i o nf o rf i n i t em i x t u r em o d e l s f i r s t ，w e s p e c i f i e dt h ef o r m a l o fd e n s i t yf u n c t i o n p ( 毒；已) o fm i x e dc o m p o n e n t s ( s u p p o s i n g n o r m a ld i s t r i b u t i o n , t h a ti st os a yf i n i t em i x t u r em o d e l sw h i c hw ed i s c u s si sn o r m a l m i x t u r em o d e l s ) s e c o n d , w es p e c i f i e dt h en u m b e rgo fm i x e dc o m p o n e n t s f i n a l l y , w e e s t i m a t et h ep a r a m e t e r so f f i n i t em i x t u r em o d e l s i nt h i sp a p e r , w ei n t r o d u c et h ee ma l g o r i t h m ( i n c l u d i n gt h ee ma l g o r i t h mo f m a x i m u ml i k e l i h o o de s t i m a t i o na n dt h ee ma l g o r i t h mo fb a y e s i a nm a x i m u map o s t e r i o r i e s t i m a t i o n ) ，t h em c e ma l g o r i t h ma n dt h eg i b b ss a m p l e r b i l m e sjh a v ee s t i m a t e dt h e p a r a m e t e r so fn o r m a lm i x t u r em o d e l sw i t ht h ee ma l g o r i t h mo fm a x i m u ml i k e l i h o o d e s t i m a t i o n a n d ，f i g u e i r e d op r o p o s e dt h a tw ec a ne s t i m a t et h ep a r a m e t e r so fn o r m a l m i x t u r em o d e l sw i t ham o d i f i e de ma l g o r i t h m i nt h i sp a p e r , b e s i d e si n t r o d u c i n gt w o m e t h o d s w ee s t i m a t et h ep a r a m e t e r so fn o r m a lm i x t u r em o d e l sw i t l lt h ee ma l g o r i t h mo f b a y e s i a nm a x i m u m ap o s t e r i o r ie s t i m a t i o n , t h em c e ma l g o r i t h ma n dt h eg i b b ss a m p l e r f i n a l l y , w ea n a l y z e a l le x a m p l eo fo n e d i m e n s i o n a ln o r m a lm i x t u r em o d e l s e s t i m a t et h e p a r a m e t e r so fn o r m a lm i x t u r em o d e l sw i t l lt h ee ma l g o r i t h mo fm a x i m u ml i k e l i h o o d e s t i m a t i o n , t h ee ma l g o f i t h r ao fb a y e s i a nm a x i m u map o s t c r i o r ie s t i m a t i o n ，t h em c e m a l g o r i t h ma n dt h eg i b b ss a m p l e r a n dw ec o m p a r et h e s em e t h o d s k e yw o r d s ：m i x t u r em o d e l s ；e ma l g o r i t h m ；m c e ma l g o r i t h m ；g i b b ss a m p l e r w r i t t e n b y y o u f a n g s u p e r v i s e db yw a n gs i - s h u i 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进 行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含 其他个人或集体已经发表或撰写的研究成果，也不含为获得苏州大学或 其它教育机构的学位证书而使用过的材料。对本文的研究作出重要贡献 的个人和集体，均已在文中以明确方式表明。本人承担本声明的法律责 任。 研究生签名：垂羞 e t 期：垂! ! 。：童 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文 合作部、中国社科院文献信息情报中心有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本 人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部和部分 内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。 研究生签名：五苤 e t 期：i j 业! 。i 5 导师签名：猩翌垂e t 期：丝五：曼乏墨 混合模型的参数估计序言 序言 目前，混合模型的应用很广泛，主要包括以下几方面： 作物育种j a n s e n 和d e nn i j s ( 1 9 9 3 ) 1 使用正态混合模型模拟花粉粒大小的分 布 图像处理l u t t r e l l ( 1 9 9 4 ) p 4 1 使用分区混合分布来进行低层图像的处理操作 语音识别r a b i n e r 等( 1 9 8 5 ) t 删；j u a n g 和r a b i n e r ( 1 9 8 5 ) t 1 2 1 描述了如何用隐马尔 可夫模型方法进行孤立数字识别，其中与马尔可夫过程的每个状态相关的概 率密度函数是正态混合模型 手写特征识别r e v o w 等( 1 9 9 6 ) u 螂对传统的混合模型( 均值限制于样条中) 进 行了改进，并将其用于手写数字识别h a s t i e 和t i b s h i r a n i ( 1 9 9 6 ) u o j 应用他们的 混合判别分析方法对手写的3 ，5 和8 进行了分类 生物聚合物中的基序发现b a i l e y 和e l l ( a n 0 9 9 5 ) 1 4 1 使用两分量混合模型在一 组未结盟的基因或蛋白质序列中识别基序( 一组核或氨基酸序列的能承担一 些生物属性的公约模式) 人脸识别和跟踪在人脸识别研究中( m c k e n n a 等，1 9 9 8 t ”】) ，标识每个对象 脸部特征的数据( 2 0 维到4 0 维的特征向量) 用高斯混合模型来模拟，其分 量参数用e m 方法估计，再用贝叶斯规则估计密度以进行分类 混合模型，尤其是正态混合模型在许多书中都进行了讨论e v e d r 和h a n d ( 1 9 8 1 ) 川 对此做了较好的介绍，而t i t t e r i n g t o n 等( 1 9 8 5 ) j 贝给出了更多的细节( 也可见 m c l a c h l a l l 和b a s f o r d ，1 9 8 8 8 6 1 ) m c l a e b l a n 和p e e l ( 2 0 0 0 ) ”全面介绍了近年来方法 和计算上的发展、应用及软件描述l a v i n e 和w e s t ( 1 9 9 2 ) u 珂讨论了如何将判别和分类 的贝叶斯方法用于正态混合模型，其后验概率通过迭代的二次采样方法获得也可参 见w e s t ( 1 9 9 2 ) p t l 而对于混合模型的参数的估计，b i l m e sj 已用基于极大似然估计的 e m 算法完成了正态混合模型的参数估计哆j ，f i g u e i r e d o 又提出了用修改的e m 算法去 估计正态混合模型的参数州 本文的安排如下：第l 节混合模型介绍了混合模型，尤其是正态混合模型的密度 函数第2 节e m 算法包括两部分：e m 算法和m c e m 算法其中e m 算法部分介绍 了基于极大似然估计的e m 算法和基于最大后验估计的e m 算法，并用这两种e m 算 法完成了正态混合模型的参数估计m c e m 算法部分介绍了m c e m 算法，并用 m c e m 算法完成了正态混合模型的参数估计第3 节g i b b s 抽样介绍了m c m c 方法 及m c m c 方法中最简单的一种g i b b s 抽样，最后用g i b b s 抽样完成了正态混合模型 的参数估计第4 节实例分析考虑了一个一维正态混合模型的例子然后用基于极大 似然估计的e m 算法，基于最大后验估计的e m 算法，m c e m 算法和g i b b s 抽样四 种方法来估计正态混合模型的参数，并对几种方法进行了比较 混合模型的参数估计 i 混合模型 1混合模型 有限混合模型1 1 的分布形式如下所示： p ( x ) ：壹乃p ( x ；已) ， ( 1 ) i = 1 g 其中，g 为混合分量的个数，乃o 为混合比例( 万，= 1 ) ，p ( x ；a j ) ，_ ，= l , - - , g 为 - i 关于参数向量口，的分量密度函数需要估计的参数是：数值石，、向量占，以及数值g 人们考虑了多种形式的混合模型，估计它们的参数的方法也有多种一个连续变 量混合模型的例子是正态混合模型( n o r m a lm i x t u r em o d e l s ，或g m m ，g a u s s i a nm i x t u r e m o d e l s ) ，即在( 1 ) 式中取色= ( 一，j ) ，一和z ，是多元正态分布 1f1、 p ( x ；够) = 歹l t 叫一毒 一一) 7 7 0 一以) ( 2 石) 2lz ，p 。 的均值和协方差矩阵 。 本文所讨论的有限混合模型的参数估计是先指定混合分量密度函数p ( z ；目，) 的形 式( 这里假设是正态分布，即所讨论的混合模型是正态混合模型) ，再规定混合分量 的个数g ，来估计模型的参数的 ， 2 混合模型的参数估计 2e m 算法 2酬算法 2 1e m 算法 一、极大似然估计和最大后验估计 设有密度函数p ( x f 甲) ，这个密度函数由参数甲完全决定，已知n 个观测数据 毛，是从密度函数为p ( x l i l ，) 的总体中独立抽取的记x = o l ，一，_ ) ，似然函数 为： 上( 甲) - - p ( x q ) = 兀盹j 叼 极大似然估计( m l ，m a x i m u ml i k e l i h o o de s t i m a t i o n ) 是： = a r g m a x l o g p ( x l ) ) 最大后验估计( m a p ，b a y e s i a nm a x i m u map o s t c r i o r ie s t i m a t i o n ) 是： w = a r g m a x l o g p ( xlw ) + l o g p c q - ) ， 其中，p ( 甲) 是参数甲的先验分布 实际应用中，常做不到准确求解方程昙 l 。g p ( 肖i 、壬，) ，= 0 或 刍 l o g p ( x l q ) “。g p ( 1 l ，) = o 以解得模型参数，而需要采用迭代方法常用的一个 办法是使用一种称作期望最大值化( e m ，e x p e c t a t i o n - m a x i m i z a t i o n ) 算法的通用迭代 方法，最初是由d e m p s t e r 等提出【6 1 二、e m 算法 其基本过程如下；假设有一组不完全的观测数据x = ( 而，毛) ，希望使似然函 数z ( 叼= ，( j v ) 取值最大做法是令】，= ( z ，z ) 表示z = “，) 的完全数据，其 中z = ( 乙，) 表示不可观测数据，即将t 用缺值扩张为，= ( # ，z j ) 设y 的似然 函数为p ( ril l ，) ，且其形式已知e m 方法从初始估计甲出发，产生对1 壬，的一系列 估计胖” ，其中包括两个步裂1 】 【6 】_ 8 1 ： 1 e 步：以甲，甲哪) = e z t o g ( p ( r i 甲) ) f x ，甲帕j 估计，即 混合模型的参数估计 2e m 算法 q ( u ，甲“) = l r i 。g ( p ( x ，zi 甲) ) p o ix , 、；p ) d z ， 其中p ( z i z ，、壬，“) 是在给定观测数据z 和当前参数甲伽下不可观测数据z 的条件分 布密度函数，r 是z 的取值空间 2 m 步：在m l 估计中。更新参数甲= 甲( ”“，使 甲( “= a r g m a x q ( 。f ，、l ，l ”) ， 或在m a p 估计中，更新参数甲= 甲( “”，使 甲”+ 1 = a r g m a x q ( 、：p 甲) + l o g p ( u ) 如此形成了一次迭代甲”- - h 甲”“将上述e 步和m 步进行迭代直至 0 、壬，1 一l p ”0 充分小时停止 e m 算法的主要目的是提供一个简单的迭代算法来计算极大似然估计或最大后 验估计，每次迭代后都能保证提高似然函数值或后验分布值为此，给出下述定理【6 】 定理e m 算法在每次迭代后均提高似然函数值，即， 工( 、i ，。+ 1 ) 工( 甲扣) 证记h ( w ，甲。) = q ( 甲，l 壬，“) 一l o g l ( h u ) ，贝 h ( w ，、l ，。) = 易 1 0 9 ( p ( y 、l ，”j x ，甲。卜e z 1 0 9 ( p ( x i 甲) ) i 石，甲加】 = 乜 1 0 9 器刚神) 因为 p ( rj 、壬，) = p ( j ，z i 、壬，) = p ( z i x ，、壬，) p ( xj 甲) ， 所以 h ( w ，甲”) = 易 1 0 9 ( p ( zfz ，、i ，) ) l 工，甲伽】 = ：t r l o g ( p ( zix ， e ) ) p ( z ix ，甲忡) 出， 故 ( 壬，”“，甲佃) 一日( 甲，l 壬，“) = j 。r l o g ( p ( zix ，、壬，“”) ) p oix , “扣) d z f z c d l o g ( p ( zix ，、王j 加) ) p 乜iz ，甲4 ) d z，艇- 4 = 小g 糟比陇叫) d z 4 混合模型的参数估计 2e m 算法 又因为l o g x x - 1 ， 所以 日c 甲佃“，甲佃，一日c 甲佃，甲枷，s 。，( 气怠。高莓；： 一- p 。l z ，甲枷，如 = 。r ( p ( z i 工，、王，8 哪) 一p o f z ，l 壬，m ) ) 如= o 故( 1 壬，”，甲”) h o e ，甲”) 因为l 王，”1 使q ( 甲，甲“) 取值最大，所以9 ( 甲”，甲”) q ( 1 壬，( ，、壬，“) ， 故q ( 甲“，l y ”) - h o e ”，l l ，町) q ( 壬，甲“) 一圈阿，甲( “) ， 即l o g ( l ( h u _ “) ) l o g ( l ( v 。) ) ，结论成立 e m 算法也保证得到的估计序列 甲”) 收敛到似然函数的局部最大值 6 1 三、混合模型的e m 算法 现在考虑将e m 算法应用到混合模型的情形1 】网在有限混合情形下，定义不可 观测数据z = 瓴，) ，其中磊e l ，西并且毛= k 表示第i 个观测数据置属于第k 类。记露= ( 乃；歹= l ，g ) ，毋= ( g ；歹= 1 , - - - , g ) ，则参数 壬，= ( 磊秽) 。 1 e 步：构造烈、壬，甲( “) y 的对数似然函数为： 、# l o g ( p ( yi 甲) ) = l o g 兀p “，薯l 甲) j = i o g ( p ( 而，毛l 、壬，) ) 、l - i j - l = l o g ( p ( x , i ，甲) p ( 刁il 王，) ) = l o g o r , , p ( x , i 巴) ) h 不可观测数据z 的条件分布密度函数为：p ( z l 以甲”) = 兀p i t ，甲”) ， 排1 其中的p ( f 毛，壬，4 ) 由b a y e s 公式，得 p c 刁l t ，甲细，= 旦鱼王匕葛若享铲2 器 混合模型的参数估计 2e m 算法 所以 q ( 甲，l 王，”) = l o g ( p ( y 甲) ) p o i x ，、壬，”) - - z i o g ( 刀i p ( i 乞) ) 兀p ( z ，j 而，甲“) = l o g 协。p ( i 吃) ) 兀p ( 刁i x , ，壬，。) ；妻羔宝妻6 炳l 。g ( 万，p ( 一i9 ) ) n np ( 乃j 而，甲i 一) ：窆妻l 。g ( 乃，( ti 够) ) 壹壹q 。卉p ( z ，i 而，甲t m ) 对固定的i 1 ，哪和歹 l ，西，注意到有 兀p ( 刁ix , ，甲忡) z l - i- l ，t l ：f 壹囊壹壹卉p ( 刁i 而，甲阳，) k 【，j ，甲伽，) 1 _ l - 1z f 4 1 - l = 1 1 = | j w q 月厂g、 = 兀f p ( 刁i 而，甲枷) p ( ，i ，l 王，伽) = p u i 而，甲伽) ， 因为壹p ( i l 而，甲m ) ：1 由上式，故 - l q ( 甲，i 王，( 一) ：杰壹l 。g ( 乃，( 一i 巴) 珍u i 一，甲( 一) ：杰妻1 0 9 ( 乃) p u i t ，甲( 一) + 主圭l 。g ( p “l a a ) p ( j l - ，甲( m ) t = 1j t li lj l - - z 国j ，+ 矿吨( ， 其中，向量q 的第_ ，个分量为：p ( j l 毛，甲( 呻) ：毒坐竺盟，表示给出甲( ，的 艺磷哪p ( 而j 磷” 当前估计，而属于第个类的概率；，的第_ ，个分量为l o g ( a j ) ：m ( d 的第_ ，个分量为 l o g ( p ( x ，1 只) ) ，j = 1 ，g 6 混合模型的参数估计 2e m 算法 2 m 步： ( 1 ) 对m l 估计，求q ( 甲，甲”) 关于甲的最大值 因为万和口相互独立，所以最大化烈甲，甲) 可分别最大化上式中的两项以下有 关矩阵微商见附录1 首先在乃= 1 的限制条件下求国夕关于乃的最大值，即对 ” ，墨l ，一五i 乃- 1l 求关于乃的微分并令其等于0 ，其中名是l a g r a n g e 乘子，即： j - i j - i 南陲班五偿叫 ：o 由此导出方程： 荟砉以- 0 由约束壹乃；1 i o a ：妻兰：疗，于是乃的再估计值为： j z l- ll = l = 昙喜吻 为了得到参数重估谚，需要知道观测x 的类条件密度函数的形式对正态混合模型 已= ，z ，) ，即 删驴赢o p - 三( x - z ，) r x 抛训) ( 2 石) 2i ，1 2 再次分别估计均值，和协方差矩阵，从而有 窆印川(。=喜妻i一詈i。g(2万)一jli=1l 。g ( | 邝一三“一，) 7 “一一) 1 j = l j 。l l 二 二 j 坼( p ) 对一微分并令其等于o ，得到： 7 混合模型的参数估计2e m 算法 由此t , 1 0 了一的再估计值为： 国，1 ( t 一所) = 0 i i - 矿”= 粤c a ：南扣 = 昔一= = 裔而 聊， 9 1 月 坼又可以写成 喜矸虬( 回= 窆套 ；l 。g ( 2 万) + j 1 l 。g ( 1z 一) 一言护g ? “一一x 五一一) 7 ) l - i j - j lil 二二厶 j = 一等- 鸭c z 万，+ 喜罡。g ( | z - i l ，喜一j l 蕃a 护c 7 m 。，) 其中i 。= - i z j x x , 一一) 7 矿m ( 口) 对z j 微分并令其等于o ，得到： ( 2 厂d i a g ( z ) ) 一寺( 2 ，- d i a g ( n 。，) ) 二j - 1二j i l 1h = 去( 2 m “- d i a g ( m ，) ) 二j - l = 2 s d i a g ( s ) = o 其e e m , = ，一m 。，s = 三喜q m 。于是s = 。，即： 由此得到了，的再估计值为： 嘞( z ，一m ) = o 中吐坠掣：专扣槲枷rz y ；旦1 一= 击o 。一矽“l 一夕“) 7 舰， “ ( 2 ) 对m a p 估计，求q ( w ，l 薹，扣) + l o g p o f ) 关于甲的最大值 8 混合模型的参数估计2e m 算法 这里首先要利用以往关于参数的信息，确定参数的先验分布当研究者对参数有 一定先验认识时，可根据先验认识设定参数的先验分布；当研究者对参数没有任何认 识时，可以设定参数的先验分布，使先验分布尽可能无信息或者平坦，即用均匀分布 作为参数的先验分布因此，这样的假设有一定的灵活性 参数、壬，的先验假设：q ，j = 1 ，苫相互独立，且先验分布是选择平坦分布；石与 曰相互狸互，7 的先验分研是远弹狄刺冗雷( d i r i c h l e t ) 分布，石一d ( 口) ，其中 a = ，巳) ，即 砧却c 驴以，* 唧偿( a j - 1 ) l o g n - , ， 故 肿，= p o t ) 垂p 哆，。ce x p t 隆窆( a j - 1 ) l o g ，r p ( 甲) =兀p 哆) i il ，- -i 所以 q ( w ，甲( 川) + 1 。g p ( w ) = 芝矸，+ 壹q 一1 ) l o g ，r j + 窆矿q ( p ) ， 忽略g - 数项 因为石和口相互独立，所以最大化q ( w ，甲”) + l o g p ( 甲) 可分别最大化上式中的 两项 首先在壹乃：l 的限制条件下求n “壹( 乃一1 ) 1 0 9 乃关于乃的最大值，即对 n 矿z 一+ 窆( 口，一1 ) l o g ：, r j - 4 至乃一1 1 求关于乃的微分并令其等于o ，其中五是 l ，i ，譬l l a g r a n g e 乘子，即。 毒 喜咖妻m 盱名( 粪叫 = o 由此导出方程： 喜去+ 心一，砉。_ o 由约束妻乃：1 得到丑：壹窆+ 妻( 口一1 ) ：一+ 壹( 乃一1 ) ，于是乃的再估计值为： 9 混合模型的参数估计 2e m 算法 矿2 寿g 蠹( 扣c 刊 ， l - f 、 7 l 一十( 乃一1 ) 晡 对正态混合模型，再次分别估计均值一和协方差矩阵，从而得到一和 z ，再估计值为： 嘞而 “”= ， 嘞 押l c o o ( x ，一一矽“) 7 p o = 型_ 乞 s - i 四、修改的e m 算法 f i g u e i r e d o 8 1 提出传统的e m 算法有两个弊端：( a ) e m 算法太依赖于初值；$ ) e m 算法可能收敛到参数空间的边界例如，对正态混合模型，某个石，可能趋于0 ，对应 弘黼， 对正态混合模型，得到一和，再估计值为： l o 混合模型的参数估计 2e m 算法 ”= ， 4 i f - o p ( x 1 一矽哪x x , 一) z p ”= 旦7 一 哟 i = i 2 2m c e m 算法 一、m c e m 算法 e m 算法由求期望( e 步) 和求极值( m 步) 两部分组成，m 步由于等同于完全 数据的处理，通常比较简便，而在e 步中，有时要获取期望的显式表示是不可能的， 即使近似计算也很困难，这时可用m o n t ec a r l o 方法来完成，这就是所谓的m o n t e c a r l o e m ( m c e m ) 方法，它将e 步改为【2 】： ( e 1 ) 由p ( zix ，甲( 卅) 随机地抽取t 个随机数z l ，z ，； ( e 2 ) h 博o ( w ，甲( _ ) = ；壹l o g p ( x ，乃i 甲) i = 1 由大数定律，只要t 足够大，垂( 甲，掣( “) - - 与q ( w ，甲( m ) 很接近，从而可以在m 步中对 o ( w ，甲( 卅) 求极大化 在m c e m 算法中有二点是主要要考虑的一是t 大小的确定，从精度角度来讲， t 自然越大越好，但过大的t 使得计算的效太低，一般在开始时t 不需很大另一点是 收敛性的判断，因在e 步中是采用的m o n t ec a r l o 方法，若要求这样得到的l l ，( m 收敛 到一点显然是不现实的在m c e m 中，收敛性的判断往往可借助图形来进行若经过 若干次迭代后，迭代值围绕直线甲= 1 壬，”小幅波动，则可以认为算法收敛了此时， 为增加估计精度，可增加t 的值再运行一段时间，就可停止 二、混合模型的m c e m 算法 现在考虑将m c e m 算法应用到混合模型的情形假设在第m 次迭代开始时已有 l 王，的估计甲( ，因( z 。i t ，甲( “) 的分布律为 因此，可从中抽取t 个随机数，i = 1 ，疗又因给定x = ( 而，) 和、王，( ， 混合模型的参数估计 2e m 算法 z ，f = 1 ，r l 相互独立，故得到t 个随机数z ，= ( z l f ，钿) ，= 1 ，计算q 函数 垂( 甲，甲细) = l o g p ( x ，z ii 甲) = l o g ( 1 = i p ( x ，白i 甲) ) ii = 1 j ，z l。l = l o g p ( x j ，i 叼= l o 烈p ( i 巳) ) l - - ir - - ii - - ii - - i 1 fp月 p = ；t 。l o g ( n p ( x , l 够”= l o g ( t r i p ( x , io a ) l ，；l 肺lj l# - ij - i h z j = i o g ( 乃) 嘞+ l o g ( p ( 一i q ) ) 嘞， 其中，：主力山 1 i - i 在m 步中，求垂( 掣，甲”) 关于、壬，的最大值，对正态混合模型，得到乃、, u j 和r , j 再估计值为： 巧”o = 嘞， 艺“1 n 嘞t ”= ， 口f “一”x x , 一p “) 7 ，o = 盥了一 嘞 混合模型的参数估计 3g i b b s 抽样 3 g ib b s 抽样 一、m c m c 方法 m a r k o vc h a i nm o n t ec a r l o ( m c m c ) 是最近发展起来的一种简单且行之有效的 b a y e s 计算方法1 2 j 令 工m m 为x 上的m a r k o v 链，其一步转移概率函数为 或 p x ，) 全，d 哼工，) 。户( z 卅1 ) 。，f 鼻f ，) 。曲( 离散) ， p 扛专印= p o ，x ) 面( 连续) ， 则p ( ，) 称为该m a r k o v 链的转移核如果后验分布露o ) 满足 p ( 五x ) 万( ，) 西c = ，r ( x ) 、口t x ， 则称石( 力为转移核p ( ，) 的平稳分布 m c m c 方法可以概括为妇下三步； ( 1 ) 在x 上选一个“合适”的m a r k o v 链，使其转移核为p ( ，- ) ，这里“合适” 的含义主要指顽功应是其相应的平稳分布； ( 2 ) 由x 中某一点x 聊出发。用( 1 ) 中的m a r k o v 链产生点序列x ( ”，x ( 4 ) ； ( 3 ) 对某个m 和大的n ，任一函数厂( j ) 的期望估计如下 或，= 磊1i ，耋，f f ，) m c m c 方法大多建立在形如万( 姊ix 4 ) 的满条件( f u l lc o n d i t i o i l a l s ) 分布上，其中 姊= “，i d ，x ，= 如，j 正d ，t c n = l ，哪 二、 g i b b s 抽样 最简单、应用最广泛的m c m c 方法是g i b b s 抽样，它是由g e m a n 和g e m a n 最 初命名提出的【9 1 设x = ( x - - - , 以) 的密度函数为石( 曲，任意固定t c ，在给定x 。= 善。条件 下，如下定义x = ( 墨，x ：) ：x = x ，而x ；具有密度函数7 r ( l 工。) ，则对任 1 3 混合模型的参数估计 3g i b b s 抽样 一可测集b ， 户( x b ) ；l 万o ：r ) 万( 工；lt r ) d x = l 丌o ) d x = ，r ( b ) ， 因而的密度函数也是万( 功 上述过程定义了一个由x 到工7 的转移核，且其相应的平稳分布是万( x ) 这样构 造的m c m c 方法称为g i b b s 抽样( g i b b ss a m p l 啪当r 只含有一个元素时称为单元素 g i b b s 抽样( s i n g l e - s i t eg i b b ss a m p l e r ) ，单元素g i b b s 抽样是最简单的m c m c ， 单元素g i b b s 抽样的步骤如下： 在给出起始点工o ) = ( x f “，掣) 后，假定第，次迭代开始时的估计值为x i “) ，则 第t 次迭代分为如下刀步： ( 1 ) 由满条件分布7 r ( x 。lx ：，“，嚣。1 ) 抽取o ； ( j ) 由满条件分布积i 工f f ，；，托，。) 抽取1 ) - 由满条件分布丌( hi 舛”，j ) 抽取硝 记x ( = ( x ，x ? ) ，则工( 1 ) ，x ”，x ( ，) ，是m a r k o v 链的实现值，其由x 至x 的 转移概率函数为 p ( x ，一) = ，j r ( x iix 2 ，沙( 屯i 工：，b ，) 万( 霸i 爿，- 1 ) 由前述讨论知，r ( x ) 为其平稳分布 关于g i b b s 抽样的收敛性判断，几乎没有简单而有效的方法，在实用中，通常可 采取两种办法来进行判断方法一是用g i b b s 抽样同时产生多个m a r k o v 链，在经过一 段时间后，如果这几条链稳定下来，则g i b b s 抽样收敛了方法二是看遍历均值是否 已经收敛，比如，在由g i b b s 抽样得到的链中每隔一段距离计算一次参数的遍历均值， 为使用来计算平均值的变量近似独立，通常可每隔一段取一个样本，当这样算得的均 值稳定后，可认为g i b b s 抽样收敛 三、混合模型的g i b b s 抽样 现在考虑将g i b b s 抽样应用到混合模型的情形 记a = ( f l j ；y = l ，朗，z = ( ，；歹= l ，g ) ，l = ，；，= i , - - - , g ) ，则参数 壬，= ( 弘，z ，r ) 1 、参数甲的先验假设i l 川： 1 4 混合模型的参数估计 ，g i b b s 抽样 ( 1 ) ，) ，= l ，g 相互独立，且由于( 一，) 的共轭先验分布为正态逆威沙 特( n o r m a l - i n v e r s ew i s h a r t ) 分布，故先验密度是选择正态逆威沙特分布这里的记号和 密度函数见附录2 均值一的密度函数是均值为一1 0 协方差矩阵为z j 一 的正态分 ( p j i ) ( 一j ，。) ，其中，以o o ；协方差矩阵z j 的密度函数是参数为_ ，o 和巧p 的逆威沙特分布艺，形- 1 ( 巳o ，巧，o ) ，其中，已。 0 ( 2 ) 万与讧，劲相互独立，且由于石的共轭先验分布为狄利克雷( d i f i c h l e t ) 分布，放 先验密度是选择狄利克雷分布，万d ( a o ) ，其中嘞= “o ，口础) 假设有一组观测数据x = ( 而，) ，定义不可观测数据z = 0 l ，一，乙) ，其中 刁 l ，g 并且刁= 七表示第i 个观测数据五属于第k 类，记 i z _ j = ( 鸬；f = l ，g ，i 力，= ( ；，= 1 ，g ，i ，) ，l = ( ，r 。；f = 1 , - - - , g ，i 力， z _ = ( z j , j = l ， ，j f ) 2 、接下来考虑满条件分布： ( z j ，z ) ，歹= 1 ，占的先验独立导致后验独立，其后验密度也是正态- 逆威沙特分 布设q 表示观测数据属于第，类的指标集，即岛= 俐毛= _ ，) ；d j 表示q 中的元素 个数，即第_ ，类中包含的观测数据的个数，d j = 群q ，这样疗= 4 + + 噍对每个类， 定义弓2 毒荟一，町2 荟一弓) “一刁r ( 1 ) p ( z , i z _ j ，z ，r ，x ，z ) ，= l ，g 因为，z ，) ，= l ，g 相互独立，万与似，劲相互独立，所以 p ( ，l 叫，r ，x ，z ) = p ( 一iz j ，x ，z ) ， 而i z ，x ，z ) n ( m j ，z 以) ，其中，吩= o + 嘭，m j = ( q ，o m j ，。+ t 弓) q ( 2 ) p ( 艺lz 叫，万，x ，z ) ，j = l ，g 混合模型的参数估计3g i b b s 抽样 因为( 一，a ，= l ，g 相互独立，窟与似，) 相互独立，所以 p ( jie _ j , p ，万，x ，z ) = p ( - ji 以，x ，z ) p ( z j ，jix ，z ) = p ( 一iz ，x ，z ) p ( z ij ，z ) ， 而( ji z ，x ，z ) n ( m ，t ) ，( jl x ，z ) w 。( 0 ，巧) ，其中，_ = 一，o + 嘭， 一= 巧，。+ 邑+ ( 弓一) ( 弓一) 7 t 吃，o h , ( 3 ) ，( 乃i 刀- ，z ，x ，z ) ，= l ，g 因为给定z ，石与( ，z ，j ) 相互独立，所以 p ( n i 疋j ，三，x ，z ) = p ( r c ji 万吖，z ) p ( 万i z ) ， 而( 万l z ) d ( d ) ，这里口= “，) ，其中，巳= q o + 嘭 ( 4 ) p ( iz - i ，石，r ) ，i = l ，打 因为给定x 和甲= ( ，万) ，刁，i = 1 ，n 相互独立，所以 p ( z fi z f ，邑，r ，r ) = p ( z ti ，厅，r ) = p ( z i ，墨，r ，) 虻r g , p ( x , i ，乞，z ) ， 这里p 瓴j 心，z ；) 是第刁类的正态密度函数，其中心是均值向量，z 。是协方差矩阵 3 、开始g i b b s 抽样。 在给出起始点 ，。= ( o 、，们，石扣，z o ) ) = 0 0 0 j ，? ，z j ，z ? ，硝们，万? ，：f 们，z ，) 后，假定第t 次迭代开始时的估计值为，卜”，则第t 次迭代分为如下3 9 + n 步： ( 1 ) 由满条件分布，似1 r 2 ( 1 - 1 ) ，i t g ( t - - 1 ) ，z ，t ( t - - 1 ) , x ，z ) 抽取4 ； ( g ) 由满条件分布p 。i “”，粥，”，t ( t - i ) z ，z o - 1 ) 抽取群； ( g + 1 ) 由满条件分布p ( li t o 。- t ) ，：。，”，石“”，x ，z “1 ) 抽取z ：，) ； ( 2 曲由满条件分布p ( 。iz ( ) ，z 品，万“”，x ，z ) 抽取； ( 2 9 + 1 ) 由满条件分布p ( 雹l 硝“，秽q ) , a ”，z m ，x ，z 1 ) 抽取砰； 1 6 混合模型的参数估计 3g i b b s 抽样 ( 3 曲由满条件分布p ( 石gi 石f “，刀磐，声，z “，z ，z “) 抽取秽； ( 3 9 + 1 ) 由满条件分布p ( z liz ，“，i t ) , z “，7 r ( 0 , x ) m i r z ； ( 3 9 + 功由满条件分布p ( 磊lz ”，z 墨，i t ) , z “，万“，工) 抽取露 记，o = ( ，”，万”，z 。) = ( f ”，z ( 1 ) ，z ，硝“，万，z f ，) ，z ，) ，由 此得到m a r k o v 链的实现值，”，r ”，求遍历平均即得甲= ，z ，万) 的估计值 1 7 混合模