（概率论与数理统计专业论文）基于drjmcmc方法处理正态混合模型.pdf

i l l i f l il l t t ll l l l i l l l f l l l l iiirllfi i f i l l y 19 0 8 8 9 0 u n i v e r s i t ) o fs c i e a n dt e c h n o l ( g yo fchin；n v e r s i t yo f c i e n c ea n d - e c h n o l o q yh i n a ad i s s e r t a t i o nf o rm a s t e r sd e g r e e l e ar nin g thega us sia nmi x t ur e m o d e ib a s e do nd r jm c m c m e t h o d a u t h o r sn a m e ：d o n g w e iw e i s p e c i a l i t y ：p r o b a b i l i t y m a t h e m a t i c a ls t a t i s t i c s s u i：p r o f b a i q im i a o s u p e r v i s o r p r o tl a o ： 1 f i n i s h e dt i m e ： m a y2 6 t h ，2 0 1l r 中国科学技术大学学位论文原创性和授权使用声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工 作所取得的成果。除已特别加以标注和致谢的地方外，论文中不包 含任何他人已经发表或撰写过的研究成果。与我一同工作的同志对 本研究所做的贡献均已在论文中作了明确的说明。 作为申请学位的条件之一，学位论文著作权拥有者授权中国科 学技术大学拥有学位论文的部分使用权，即：学校有权按有关规定 向国家有关部门或机构送交论文的复印件和电子版，允许论文被查 阅和借阅，可以将学位论文编入中国学位论文全文数据库等有 关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一 致。 保密的学位论文在解密后也遵守此规定。 口公开 作者签名：j 签字日期：塑止区! 兰 导师签名： 签字日期：驯。f 口 摘要 摘要 我们运用带延迟拒绝的可逆跳马尔科夫链蒙特卡洛方法( d r j m c m c ) 来研究 一元和多元混合正态模型的参数估计和模型选择问题在混合元的分裂和合并过 程中，我们依然遵照转移前后模型的一阶和二阶矩不变的原则，同时引进随机 产生的正交阵解决协方差矩阵不同的问题我们还给出d r j m c m c 算法在一元和 多元正态混合模型中的接受概率的具体表达式这里我们给出了一些模拟数据的 结果来验证这个算法的可行性及优良性 关键词：混合模型，模型选择，e m 算法，m c m c 算法，带延迟拒绝的r j m c m c 算 法，分裂和合并过程 a b s t r a c t a b s t r a c t w e p r e s e n tt h eb a y e s i a na n a l y s i so ft h em u l t i v a r i a t eg a u s s i a nm i x t u r em o d e lu s - i n gt h ed e l a y i n gr e j e c t i o nr e v e r s i b l ej u m pm c m ca l g o r i t h m ，w h i c hc a nd e a lw i t hp a r a m e t e re s t i m a t i o na n dm o d e ls e l e c t i o nj o i n t l yi nas i g n a ls w e e p w es t i l lf o l l o wt h e c o n s t r a i n t so fp r e s e r v i n gt h ef i r s tt w om o m e n t sb e f o r ea n da f t e rt h es p l i ta n dc o m b i n e m o v e sa n dg e n e r a t et h es p e c i a lo r t h o g o n a lm a t r i xt os o l v et h ep r o b l e mo f c o n s t r u c t i n g t h ec o v a r i a n c em a t r i x t h ea c c e p t a n c ep r o b a b i l i t yr e l a t e di nt h ed r i m c m c a l g o r i t h m i sg i v e ni nt h ep a p e r e x p e r i m e n t a lr e s u l t so ns e v e r a ld a t as e t sd e m o n s t r a t et h ee f f i c a c y o fo u ra l g o r i t h m k e y w o r d s ：m i x t u r em o d e l ，m o d e ls e l e c t i o n ，e ma l g o r i t h m ，m c m ca l g o r i t h m ，d e - l a y i n gr e j e c t i o nr e v e r s i b l ej u m pm c m ca l g o r i t h m ，s p l i ta n dc o m b i n em o v e s i i i 目录 目录 摘要i a b s t ra c t i i i 目录v 第1 章绪论1 1 1混合模型的定义1 1 2 混合模型的研究进展 1 1 3 本文主要工作 2 第2 章相关知识3 2 1m c m c 算法3 2 1 1m c m c 算法的基本思路3 2 1 2g i b b s 抽样方法4 2 1 3 m e t r o p o l i s - h a s t i n g s 方法5 2 2 延迟拒绝的理论基础 6 第3 章一元正态混合模型的d r j m c m c 算法9 3 1 分层b a y e s 模型9 3 2 参数的先验分布9 3 3 模型参数的g i b b s 抽样1 0 3 4 可逆跳前后参数遵循的准则1 1 3 5 带延迟拒绝的分裂或合并过程1 l 3 6 带延迟拒绝的产生和消灭空混合元过程1 4 第4 章多元正态混合模型的d r j m c m c 算法1 7 4 1 参数的先验分布1 7 4 2 参数的g i b b s 抽样1 7 4 3 可逆跳前后参数遵循的准则1 8 4 4 带延迟拒绝的分裂和合并过程1 9 4 5 带延迟拒绝的产生和消灭空混合元过程2 1 第5 章模拟结果2 3 5 1 模拟数据及结果2 3 5 2 总结2 7 v 目录 参考文献2 9 致谢3 1 攻读硕士学位期间发表的学术论文3 3 v i 第1 章绪论 第1 章绪论 1 1混合模型的定义 记疋= x 1 ，x 2 ，) ，这里x r d 为从混合分布中抽取的一组随机样 本，混合分布的概率密度函数表示为： m f ( x l m ，i i ，e ) = ：7 r 后f ( x l o k ) ( 1 1 ) 血= 1 上式中m 表示混合模型的阶，1 7 = 丌1 ，丌2 ，丌m ) 称为混合元权重，满足0 l 且f ( x 1 0 k ) 为 正态分布，则此模型称为多元正态混合模型，相应地，参数以= ( 鲰，e 七) ，其 中弘七为均值向量，七为协方差矩阵， 混合模型在多个领域得到了广泛的应用，例如：环境科学，医学，模式识别，信 号处理，生物统计等事实上，混合模型中的每一个混合元都代表一类服从相同分 布的数据，所以混合模型的一个最重要的应用就是对数据进行聚类分析在本文 中，我们主要研究最常用的正态混合模型 混合模型除了可以用来做聚类分析以外，它还是一个非常重要和实用的概 率工具，事实上，只要混合模型的阶数m 足够大，混合密度就能任意逼近一个 光滑密度，即有限混合模型可以用于描述复杂现象，从而可以解决现实生活中 的很多问题 1 2 混合模型的研究进展 早在1 8 9 4 年，k p e a r s o n 就利用含有两个混合元的正态混合模型对一组数据 进行拟合，通过很大的计算量后给出了所有参数的矩估计由于矩估计的计算过 于复杂，所以混合模型的研究进展非常缓慢1 9 7 2 年，t a n 和r o b e r t s o n 开始使用 极大似然方法来研究混合模型，并且证明了极大似然方法比矩估计的方法要优 越特别是随着计算机的广泛应用，人们把研究的精力集中到用极大似然方法来 研究混合模型的参数估计问题在计算极大似然估计的时候，研究人员一般基于 两种算法：e m 算法和m c m c 算法 最初研究混合模型的方法主要是处理混合模型阶已知的情况，e m 算法在 处理这类问题时比较方便且简单，它能够有效的给出混合模型中的各参数的估 l 第l 章 绪 论 计但是由于似然函数关于混合模型的阶是单调上升的，所以极大似然的准则 并不能用在模型的选择上对于混合模型阶未知的情况，主要有两类方法：一 类基于信息理论的方法女i a i c 和b i c ；另一类是基于距离判断的方法：文献 2 】中 提出利用k u l l b a c k - l e i b l e r 距离来确定混合元的阶，文献 3 】将k u l l b a c k l e i b l e r 距离 和s c a d 方法【4 】结合起来提出m s c a d 方法来处理混合模型阶的选择问题 m c m c 相比较于其他方法提供了一个可以同时做参数估计和模型阶选择问 题的框架，具体内容可参考文献【5 】当模型阶m 已知时可以用m c m c 方法给出混 合模型的参数估计 6 1 ，当m 未知时，文献 7 】提出了可逆跳m c m c ( r j m c m c ) 算法来 处理一元正态混合模型在将r j m c m c 方法推广到多元正态混合模型时，将协 方差矩阵进行谱分解，然后对特征值进行分裂或者合并的处理【8 j 不过在那篇文 章中对混合元的协方差阵做出了限制，只是处理每个混合元的协方差阵都相同 的情况更一般化的模型中，文献【9 】在每次模拟中都产生一个新的正交阵，用这 个正交阵来构造每个混合元的不同协方差阵 为了改进m e t r o p o l i s h a s t i n g s 算法，【1 0 】提出了延迟拒绝的思想：假如一 个建议转移被拒绝，可以提出一个新的建议转移，相应的接受概率会做适 当的调整使得m a r k o v 链为可逆的文献i 11 】将这个思想进一步拓展至i j 多次 延迟拒绝多篇文章将这一理论应用到具体模型中并且得到相比于未改进 的m e t r o p o l s h a s t i n g s 算法更好的结果，如用在g a r c h 模型【1 2 j ，随机波动模型【1 3 j ， 一元正态混合模型【1 4 】1 4 1 3 本文主要工作 在这篇文章中，针对文献 8 】中要求协方差矩阵相同的限制，我们使用另 外一种方法，这种方法能够处理更一般化的协方差不同的模型，同时引入延 迟拒绝的思想，提出基于多元正态混合模型的带延迟拒绝的可逆跳m c m c 算 法( d r j m c m c ) ，并且用多组模拟数据结果通过和r j d m c m c 算法对比来验 证d r j m c m c 在处理多元混合模型时的结果更为准确本文的结构如下： 第一章：介绍混合模型的定义以及发展过程和研究现状提出了一些主要的 研究方法并比较各方法的创新点和局限性； 第二章：我们给出本文中需要用到的一些基本知识，i ：i 女i m c m c 算法理论， 带延迟拒绝的可逆跳理论； 第三章：我们给出带延迟拒绝的可逆剧h m c m c ( d r j m c m c ) 算法在一元正 态混合模型中的应用； 第四章：将d r j m c m c 算法推广到多元正态混合模型； 第五章：我们通过模拟数据来验证本算法的可行性及有效性 2 第2 章相关知识 第2 章相关知识 2 1m c m c 算法 作为本文的理论基础，我们首先介绍m c m c 算法的大体步骤文中的算法 ( d r j m c m c ) 是在m c m c 算法的基础上经过改进得到的 假设我们通过计算可以得到后验分布7 r ( z ) ，z 。形，有时候一些其他的后验量 对于我们的研究更有意义，例如随机变量的后验方差，后验分布的中位数，后 验均值等，我们可以将这一类问题归结于计算某个函数厂( z ) 关于7 r ( z ) 的期望： f b f = f ( x ) t r ( x ) d x ( 2 1 ) j 彭 如果后验分布比较简单，则通过直接计算或者数值积分等方法来得到 上式的结果但是我们经常遇到的情况是后验分布的表达式比较复杂，直接 计算的方法很难奏效这样我们就需要寻找一些新的方法m a r k o vc h a i nm o n t e c a r l o ( m c m c ) 方法就是近些年发展起来的一种行之有效的b a y e s 计算方法 2 1 1m c m c 算法的基本思路 m c m c 方法的基本思路是通过建立一个m a r k o v 链来得到7 r ( z ) 的样本， 记m a r k o v 对应的平稳分布为丌( z ) ，得到的样本集为x ( ，x ( ，x ( n ) ，然后 基于这些样本值来做统计推断则式( 2 1 ) 可估计为： - n 五= 磊1 m ) 。i = 1 由大数定律易知 厶- b f ，a s ( 2 2 ) 当x ( ，x ( 引，x ( n ) 是相应平稳分布为7 r ( z ) 的m a r k o v 过程的样本时，( 2 2 ) 式也 成立 。 上面是m c m c 算法的简单描述，为进一步说明m c m c 算法，我们首先给 盥m a r k o v 链的定义假如我们用如下方法产生一个随机变量序列【x ( 0 1 ，x ( ，x ( ， ) ：在时刻t ，序列中的下一时刻，即t + 1 处的x ( 件1 ) 是由条件分布p ( x l x ( 。) 产 生的，条件分布只依赖于时刻t 的状态，而与以前的状态无关，这样的一个随机 变量序列就称为m a r k o v 链m a r k o v 链有一个重要的性质，即不管初始值x ( o ) 如 何选取，x ( ) 的分布收敛到同一分布，我们将这一分布称为平稳分布 下面我们定义一步转移概率： p ( x ，z 7 ) 全p ( x _ z 7 ) = 尸( x ( 件1 ) = z l x ( 。) = z ) 若离散 3 第2 章相关知识 或 ， p ( x - b ) = p ( z ，x ) d x 7 ) 若连续 jb 如果7 r ( z ) 满足 p ( z ，z 7 ) 丌( z ) d z = 7 r ( z 7 ) ，、口7 2 7 。彩 则称丌( z ) 为转移核p ( ，) 的平稳分布 这样我们就可以把m c m c 算法大体概括为下面三步： ( 1 ) 在影上选一个适当的m a r k o v 链，使得其转移核为p ( ，) ，相应的平稳分布 为7 r ( z ) ； ( 2 ) 从z 中某一点x ( o ) 出发，用( 1 ) 中提到的m a r k o v 链产生一个序列x ( 1 1 ，x ( ， ，x ( n ) ； ( 3 ) 选取比较大的n 和m ，给出任一函数厂( z ) 的期望估计如下 1 9 2 岛，= 熹，( x 。) 咒一 z 2 1 2g i b b s t r 样方法 g i b b s 抽样是一种比较简单而且应用广泛的m c m c 方法，这是由g e m a n s 幂1 g e r m a nd 【15 】最初提出的 在g i b b s 抽样之前，我们首先假设x = ( x 1 ，) 具有密度函数丌 ) ，这 在实际中并不容易做到，但是不会影响抽样的实施在应用中，我们对蜀，恐， 重复使用g i b b s 抽样，这样的迭代会依分布收敛到丌( z ) 下面我们将g i b b s 抽样 具体化写出 在给出起始点z ( o ) = ( z ；o ，z 算) 后，假定第t 次迭代开始时的估计值 为z ( t _ 1 ) ，则第t 次迭代分为如下n 步： ( 1 ) 由满条件分布7 r ( z l l z - 1 ) ，。g - 1 ) ) 抽取z ； ( i ) 由满条件分布丌( 觑l z ，z 婴1 ，践( + t - 1 ，z - 1 ) ) 抽取z 终 ( n ) 由满条件分布丌( z n l z # ，z 垃，) 抽取z g ； 记z ( ) = ( z i ，z ( ，z g ) ，则z ( ，z ( 扪，z ( ，就是m a r k o v 链的一组实 现值，其由z 至z 7 的转移概率函数为 p ( z ，z ) = 7 r ( z 1 i z 2 ，x n ) 丌( z 2j z ：，x 3 ，z n ) 7 r ( z n l 4 ，z ：一1 ) 可以证明7 r ( z ) 为其平稳分布 4 第2 章相关知识 2 1 3 m e t r o p o l i s h a s t i n g s 方法 m e t r o p o l i s h a s t i n g s 方法是一种l 匕g i b b s 抽样更一般化的抽样方法m e t r o p o l i s 【1 6 】等人在1 9 5 3 年提出了一种构造转移核的方法，h a s t i n g s 1 7 对之加以推广从而 形成m e t r o p o l i s h a s t i n g s 方法，思路如下： 选择一个不可约转移概率g ( ，) 以及一个函数q ( ，- ) ，其中o = 丌( z 7 ) p ( z 7 ，z ) 5 第2 章相关知识 即式2 4 成立同时 榔( x ，x t ) 如删p ( x t ，x ) 出 删p ( x t ，x ) 如 丌( z 7 ) 其中，( 2 4 ) 式也可以记为详细平衡条件( d e t a i l b a l a n c e c o n d i t i o n ，简记为d b c ) ，有 时我们使用这个条件的积分形式： 对任意的b o r a l 集a $ i b ，有下式成立 7 r ( d x ) q ( x ，d y ) q ( z ，y ) = 7 r ( d y ) q ( y ，d x ) a ( y ，z )( 2 5 ) ，( 茹，v ) e a x b，( o ，v ) e a x b 从上面的定理中也可以看出，转移概率口( z ，z 7 ) 可以取各种形式在文献 5 】中 给出了几种常用的转移概率选择办法 2 2 延迟拒绝的理论基础 文献 7 】提出r j m c m c 算法来解决一元正态混合模型的参数估计和阶的选择 问题，参数的估计由g i b b s 方法得到其中包括四个步骤： ( a ) 模拟产生混合权重( b ) 模拟产生模型参数e ( c ) 模拟产生缺失数据z( d ) 模拟产生模型中的超参数 上面的模拟值是从每个参数的全条件后验分布中来随机抽取的 在阶的选择问题上，我们继续沿用文献 7 】中的可逆跳方法其中用到 了m c m c 理论中的m e t r o p o l i s h a s t i n g s 抽样方法在本文中，我们引进延迟拒 绝的思想，通过降低首次建议状态的拒绝概率来提高算法的效率，从而对可逆 跳的过程进行了改进具体到混合模型，延迟拒绝的可逆跳可以概括为以下四 步： ( e 1 ) 将一个混合元分裂成两个或将两个混合元合并为一个 ( e 2 ) 女f l 果( e 1 ) 被拒绝，选择其他的混合元分裂或合并 ( f 1 ) 产生新的混合元或消灭空的混合元 ( f 2 ) 如果( f 1 ) 被拒绝，再产生新的混合元或消灭其他的空混合元 对于步骤( e 1 ) ( e 2 ) 和( 厂1 ) ( ，2 ) ，这四个步骤都会改变了混合模型f f 0 阶m ，从而构 成了两组参数之间可逆跳的问题，可以用m e t r o p o l i s h a s t i n g s 算法来做模型选择 以分裂方向的转移为例，我们给出d r j m c m c 算法具体的实现步骤： 6 第2 章相关知识 区亟丑j 业v 困 广接受概率：y 1 ( s ，t ) l 拒绝概率：1 - y 1 ( s ，t ) 接受概率：y 2 ( s t ，) 拒绝概率：1 - y z ( s ，旬 图1 ：延迟分裂过程示意图 举例而言：假定在某次循环前模型的阶为3 ，对这三个混合元标号为 1 ，2 ，3 ) ，此 时的参数状态空间记为s ，维数为d 1 第一次分裂为从这三个混合元中等概 率随机选择一个进行，假设选取第二个混合元，则分裂后的混合元可以表 示 1 ，( 2 ) 1 ，( 2 ) 2 ，3 ) ，此时的参数状态空间记为t ，维数为d 2 如果这个分裂过程被拒 绝，我们再从状态s 选择其他的混合元( 假如第三个) 分裂，分裂后的混合元标号 为 1 ，2 ，( 3 ) 1 ，( 3 ) 2 ) ，参数状态空间表示为t 首先考虑第一次分裂8 _ t ，选取u 1 一9 1 ( u 1 ) ，其中u 1 的维数为r 1 = d 2 一d l , 建 立映射 九1 ( s ，乱1 ) ：( s ，u 1 ) 一( t ，“i ) 其中乱j 的维数为0 相应的接受概率 s 一= m i n 1 ，端端i 耥i ) ( 2 6 ) 定理2 2 由( 2 6 ) 式定义的接受概率确定产生的m a r k o v 链以p ( s ) 为平稳分布 证明：对于转移8 - - + 亡，有： p ( d s ) q ( s ，d r ) 7 18 ，t ) = d s d u l p ( s ) 9 1 ( p 1 ) 7 1 ( s ，t ) j ( s ，t ) e a x b( s ，t ) e a x b 对于逆转移tos 有： p ( d t ) q ( t ，d s ) 1 1 ( ，s ) = d t d u l p ( t ) 9 1 ( p ：) ，y 1 ( 亡，s ) ，( 8 ，t ) e a b，( s ，t ) e a x b = f ( s , t ) e a bd s 咖鳅胁s ) | 耥i 由( 2 6 ) 式中7 1 的定义可知： p ( s ) 夕，( 胁( s ，归p 矧础们 s ) i 耥l 从而可失f 1 7 1 ( s ，亡) 满足d b c 条件，得证 在m e t r o p o l i s h a s t i n g s 算法中，建议转移被拒绝并不能说明转移类型本身( 分 裂或合并，产生新元或者消灭空元) 不合适，我们可以选取其他的建议转移，从 第2 章相关知识 而利用降低当前状态不发生转移的概率来改进m e t r o p o l i s h a s t i n g s 算法在这里我 们就引进带延迟拒绝的r j m c m c 方法 具体而言，假如首次分裂被拒绝的话，再考虑s - - 4t 7 ，选取u 2 一仍( u 2 ) ，其维 数r 2 = d 2 一d l , 建立映射 h 2 ( s ，仳1 ，u 2 ) ：( s ，u 1 ，u 2 ) 一( t 7 ，矗1 ，西2 ) 其中云1 ，面2 满足映射，相应的维数分别为0 ，d 2 一d 1 延迟分裂的接受概率为 枷，= m i n 1 ，揣黼裂黼1 粼i ) 仁7 ， 这里8 - 为将参数状态t 7 中随意抽取两个混合元进行合并后的状态空间， m ( t 7 ，8 + ) 即为相应的接受概率 定理2 3由( 2 7 ) 式定义的接受概率确定产生的m a r k o v 链以p ( s ) 为平稳分布 证明与定理2 1 和定理2 2 的类似，从略 8 第3 章 一= ：c 正态混合模型的d r j m c m c 算法 第3 章一元正态混合模型的d r j m c m c 算法 3 1 分层b a y e s 模型 我们对式( 1 1 ) 的混合模型应用b a y e s 理论，对于未知参数m ，e 可以从合适 的先验分布中抽取，所有变量的联合分布可以写成下面的形式： p ( m ，z ，e ，疋) = p ( m ) p ( r l i m ) p ( z l l i ，m ) p ( o i h ，z ，m ) p ( x i o ，z ，m ，)( 3 1 ) 这里z = z 1 ，z 2 ，) 为指示变量，如果第i 个观测值数据x 取自第k 个混合 元，则记为z = k 显然这里z 为缺失数据，对于样本中的某一特定观测值，我 们并不能确定这个观测值来自于哪个混合元，但是可以给出这个值来自于每个 混合元的概率 p ( 磊= 七) = 芝妻i = 1 ，2 ，礼；后= 1 ，2 ，m ( 3 2 ) 考虑参数之间的相关性，有p ( o i n ，z ，m ) = p ( o i m ) ，p ( x l o ，z ，m ，h ) = p ( x l e ，z ) ， 则( 3 1 ) 式可以简化为 p ( m ，h ，z ，e ，爿) = p ( m ) p ( h i m ) p ( z l l i ，m ) p ( e l m ) p ( 石l e ，z ) 3 _ 2 参数的先验分布 对于一元正态混合模型，我们给出模型的具体表达式： f ( x l m ，h ，p ，盯2 ) = 7 r l n ( x l t z l ，盯；) + 7 r 2 n ( x l l z 2 ，霞) + + 丌仇( z 肛m ，2 ) 这里= ( 7 f 1 ，7 r 2 ，7 r m ) ，i z = ( p 1 ，p 2 ，肛m ) ，d r 2 = ( 盯 ，盯；，磅) 我们讨论 的是混合元个数未知的情形，即m 为未知参数 为了方便计算后验分布从而使用g i b b s 抽样，我们对模型的参数给出合 适的先验分布，具体而言：对于一元正态混合模型的阶i n ，我们假设i l l 等概 率取自 1 ，2 ，m ) ，其c m 为预先给定的足够大的正整数的先验分布取 d i r c h l e t 分布 ( 7 r 1 ，7 r 2 ，7 1 - m ) 一d i r ( 6 ，6 ，6 ) p 和d r 2 的先验值一般取自正态分布和逆g a m m a 分布( i g 分布) ： p 七一( ，t - - 1 ) ， 盯i 2 l p r ( 口，卢)( k = 1 ，2 ，m ) 9 第3 章 元正态混合模型的d r j m c m c 算法 这里p 为超参数，其先验分布设定为g a m m a 分布：p i 、( 9 ， ) 在前面的式 子中，7 - ，q ，g ，h ，6 为预先给定的常数 3 3 模型参数的g i b b s l 訇样 一元正态混合模型带延迟拒绝的r i m c m c 算法的g i b b s 抽样过程包括四个步 骤： ( a ) 模拟产生混合权重( b ) 模拟产生模型参数e ( c ) 模拟产生缺失数据z( d ) 模拟产生模型中的超参数 上面的模拟值是从每个参数的全条件后验分布中来随机抽取的 经计算我们可以给出参数集 z ，肛，口2 ，卢) 的后验分布( 这里用 1 来表示 在给定其他参数和数据值条件下的参数值) ： 步骤( o ) ：混合元的权重的全条件后验分布为 ( 7 1 1 ，7 1 2 ，丌m ) i 一d i r ( d + n l ，j + n 2 ，艿+ n m )( 3 3 ) 其中佗知表示取自第k 个混合元的观测值的个数，即扎七= ：1i z i = 忌) 步骤( 6 ) ：均值向量肌和协方差矩阵盯；的特征值的全条件后验分布分别为： 这里 1 0 p 詹i 一( & ，( n k f f k 2 + 7 - ) - 1 ) 仃；2 1 r ( a + 互1 卢+ 互1 瓯) 豇塑n k f f k 筹“7 2 k 塾如甜) + 7 暑 、。 步骤( c ) ：缺失数据z 的后验分布由下式得到： ( 3 4 ) ( 3 5 ) p ( z i = 七1 ) 7 r i n ( x il t z 七，o r k )( 3 6 ) 步骤( d ) ：超参数卢的全条件后验分布为： ( 3 7 ) 、， 七 = r ，l f p詹 肛 一 z 竹：l = 瓯 趴，町 m 汹 + 口m 十 9 r 8 第3 章一元正态混合模型的d r j m c m c 算法 3 4 可逆跳前后参数遵循的准则 首先考虑分裂的情形，混合元的分裂使得混合模型的阶从m 变为m + 1 假设 我们将第i 个混合元分裂成第i 1 ，i 2 个混合元，在文献【7 】中r i c h a r d s o n 提出了在混合 元的分裂前后，变量疋的零阶矩，一阶矩和二阶矩相等，并以此作为混合元分 裂的准则具体而言：假设分裂前的第i 个混合元对应的参数集为( 死，他，砰) ，其分 裂后的参数集为( 几，胁，吒，7 r i 。，姣，吆) 分裂后的参数由下式得到 7 1 i l = ? r i 1 ，7 r i 2 = 7 q ( 1 一1 ) 销一屹吼厝朋。嘲+ 忱吼压 眩= 的( 1 一疃) 考尝，眩= ( 1 一垤) ( 1 一吃2 ，2 尝 4 11 2 ( 3 8 ) 其中l ，忱，均为从特定分布中抽取的随机数在这里我们给定1 一b ( 2 ，2 ) ，忱一 b ( 2 ，2 ) ，的一b ( 1 ，1 ) 其中b ( a ，6 ) 是参数：为a $ i l b 的g a m m a 分布 类似的，在合并混合元的过程中，我们遵循相同的准则假设将第i 个和 莉个混合元合并为第k 个，这里i 和j 需要满足： 以 心且v s i ，歹， 地名，心】 则第k 个混合元对应的参数集( 矾，触，盯) 由下式确定： i r k = 丌t + 7 r k # k = 7 r i l 上i4 - 贺j 弘j 矾( p ：+ 靠) = 死( 肛；+ 蠢) + 码( 店+ 弓) 3 5带延迟拒绝的分裂或合并过程 考虑步骤( e ) ，首先我们以概率b m 和= 1 一b m 来随机选择分裂或者合并显 然有b 1 = 0 ，d m = 0 ，我们定义b m = = 1 2 ，m = 2 ，m 一1 我们主要考虑分裂的过程，合并的过程其实就是分裂过程的逆过程，相应 的步骤可以类似实现 ( 1 ) 假定第一次被选中进行分裂的是第i 个混合元，其对应的参数集为( 仉，胁，砰) 设 定分裂后的两个混合元分别为i 1 ，i 2 ，对应的参数集为( 死，胁，吒2 ，死：，胁。，眩) 【1 】我们令= ( 1 ，如，均) ，首先从9 1 ( ) 中抽取样本： 1 一b ( 2 ，2 ) ，忱一b ( 2 ，2 ) ，均一b ( 1 ，1 ) 【2 】构造映射九1 ：( 仉，胁，砰，魄，1 2 ，地) 一( 7 r i 。，胁。，矗，死：，胁。，咳) 分裂后的结 果如( 3 8 ) 式显然分裂后的参数满足使得数据彤的零阶矩，一阶矩和二阶矩相等的 原则 1 1 第3 章元正态混合模型的d r j m c m c 算法 【3 】经计算可得： 0 ( r i l ，肛n ，盯f 2 l ，7 r i 2 ，p t 2 ，口i 2 2 ) i o ( 1 r i ，地，c r i 2 ，v l ，v 2 ，蚝) i ( 1 一嵋) 醇死 = = ! = = = = = v l ( 1 一v 1 ) v v l ( 1 一v 1 ) 【4 】下面计算接受概率：从p = ( p ，仃2 ，h ，p ，z ) 至u 0 7 = ( p 7 ，扩，1 2 7 ，卢7 ，z 7 ) 其中 堪 = 盯，2 = 7 = z = ( 肛1 ，p t 一1 ，胁1 ，心2 ，卫i + 1 ，p m ) ( 仃 ，吐。，吒，咳，曩1 一，靠) ( 7 r l ，7 r i 一1 ，i r i l ，死2 ，死+ 1 ，7 r 仇) z 卢7 = p 进而，转移概翠q ( 曰，) = m i n 1 ，饥( p ，冥甲 删卜等蒜瑞描器l 高i 慨9 ， 接下来我们给出转移概率的具体表达式首先来给t b p ( m + i ，o l x ) p ( m ，o l x ) 的 结果b a y e s 公式可知： p ( m ，p l z ) = p ( m ，p ，仃2 ，i i ，p ，z ，x ) p ( x ) = p ( m ) p ( 卢) p ( l m ) p ( z l ，m ) p ( # l m ) p ( a 2 i 卢，m ) p ( x l p ，盯2 ，z ) p ( z ) 进而有： p ( m + 1 ，p 7 f z ) p ( m + 1 ) ，p ( 1 1 7 i m + 1 ) 、，p ( z ) 、，p ( z 7 i n 7 ，仇+ 1 ) p ( m 币谚厂2 p ( m r p ( n l m 广x 瓦万p ( z ih 而m 厂，口l 彤) 一 ) p ( 卢) ， ) 篙群等貉铲黼 我们一一给出e 式中各部分的表达式，具体推导过程不再赘述 p ( m + 1 ) 尸( m ) m 2 磊石；m 十上篇= 1 p ( 卢) 协+ 1 ) 丽f ( m q ) m + l - 1 ) 6 m 汹+ l 6 一 巧6 。- 16-p(n 11 1 7 r i 2 1 7 l m + 1 ) ( r ( 6 ) ) m + 1 仁1 “2 巧l 11 p ( l m 番器f i 一， b ( 6 , m 6 i ) 碟。 ( r ( 6 ) ) m 工上“ p ( z 7 i n 7 ，m + 1 1 一死n ，1 戎2 一=-二二一 p ( z l n ，m ) 疗，“屹 其中，= ：1i z j = i l ) ，m 。= ：】_ r z j = i 2 幽p ( # 群l m = ( m + 1 ) 掣 ) v “一7 尸( 胁) 1 2 第3 章一元正态混合模型的d r j m c m c 算法 = ( m + 1 了丽1 e x p p ( o 彪l p 7 ，m + 1 )p ( 盯丢l 卢7 ) 尸( 盯乏l 卢7 ) 一=：-一 p ( 盯2 i 卢，m )p ( 盯；l 卢) = 焉( 鑫) 计1 唧h 2 懈珂) 】- 箸糌即为似然比 对于p ( 选择i 1 ，i 2 i 合并) p ( 选择i l 分裂) ，易知进行分裂时，我们是从m 个混合 元中随机选择一个来进行，所以p ( 选择i l 分裂) = 1 m ；另一方面，在对m + 1 个混合 元进行合并的过程中，我们遵循了选择均值相近的原则，则选择i 1 和i 2 的概率也 是1 m n ，忱，地都是从b e t a 分布中抽取的随机数，且两两之间相互独立则的概率 密度函数为： 9 1 ( v ) = b ( u x ；2 ，2 ) b ( v 2 ；2 ，2 ) b ( 垤；1 ，1 ) = 3 6 u t u 2 ( 1 一n ) ( 1 一忱) 将前面的各式代入( 3 9 ) ，从而有： 。6 - l + n 1 1 。6 - l + n i 2 饥叫燃哟害蒿r n o 死 1 6 l o ，j 了夏而1 e x p 一1 2 丁【( p t 。一) 2 + ( p t 。一) 2 一( p t f ) 2 】) 焉( 鑫) 叶1 唧( 吒2 + 吒2 一) d i n + 1 1 百丽石万= 习丽 ( ! 二堕堕坠 v l ( 1 一v 1 ) 1 1 ( 1 一y 1 ) ( 2 ) 如果状态0 7 被拒绝，我们再选择第j 个0 i ) 混合元进行分裂再次分裂的 过程与首次分裂类似，具体步骤如下： 【1 】记u = ( 0 3 1 ，0 3 2 ，u 3 ) ，从函数眈( 叫) 中抽取一组样本u ： u 1 一b ( 2 ，2 ) ，0 1 2 一b ( 2 ，2 ) ，( m 3 一b ( 1 ，1 ) 【2 】构造映射 2 ：( 乃，心，谚，0 1 1 ，0 1 2 ，5 0 3 ) h ( 乃。，心。，畦，乃。，心：，咳) ，分裂后的 参数与( 3 8 ) 式类似得到同样，参数满足使得数据彤的零阶矩，一阶矩和二阶矩 相等的原则 13 第3 章 一无正态混合模型的d t l i m c m c 算法 3 1 i 己状态0 ”= ( p ，o - 化，i i ，z ”) ，其中： 口 = 仃砣= = z + = ( p 1 ，心一i ，心l ，如，心+ 1 ，p m ) ( 口；，霹却畦，畦，略一，靠) ( 7 1 1 ，丌j 一1 ，丌j 1 ，乃2 ，乃+ 1 ，丌m ) z ，卢7 = 卢 4 】转移概率q ( o ，0 ) = m i n 1 ，- y 2 ，其中 。一2 ( 竺! ! 型苎! 生! i 生i ! 二! ! 丝旦：2 能。面瓦o l x ) b 丽9 2 ( wl o ( o 而似i 丁1i 万万0 腰 p ( m ， m) i ，u )一，y 1 ( 伊，7 ) p ( 选择歹；，龙i 合并) p ( 选择i ，i 。f 合并，且口+ 被拒绝2 p ( 选择j 1 分裂) p ( 选择刮分裂，且臼7 被拒绝) 州m 藩蔫高 了荔1 币e x p ( 一1 2 7 - 【( 如，一) 2 + ( 助z 一) 2 一( 助一荨) 2 】) f p ( a a ) 万署；，、a + 1 e x p 一p ( 吒2 + 咳2 一叮2 ) ) 篇 百d m + l 瓦瓦币= 1 习两 一