GMM建模与EM算法.ppt

1、EM算法,一种参数估计的方法,提纲,高斯混合模型（2.5节） EM算法的思想（2.4节） EM算法的应用 总结 参考文献,高斯混合模型,混合模型(Mixed Model)： 其中 ，满足 即混合模型由K个成分组成，每个成分 的权重为 若混合模型中每个成分为高斯分布， 则为高斯混合模型(Gaussian Mixture Model),GMM的例子,例1：一个班级每个学生的身高为 假设男生和女生的身高分别服从高斯分布 则 其中 为男生的比例， 问题：给定独立同分布(independent and identically distributed-IID)的数据 ，求参数 混合模型的参数估计是EM(E

2、xpectation Maximization)算法最典型的应用,例2： 分布的随机数的直方图,GMM的例子,n = 10000; z = zeros(1,n); pw1 = 0.6; u1 = -2; std1 = 2; pw2 = 0.4; u2 = 3; std2 = 1; y1 = randn(1,floor(n*pw1)*std1 + u1; y2 = randn(1,floor(n*pw2)*std2 + u2; z(1,1:floor(n*pw1) =y1; z(1,(floor(n*pw1)+1):n) = y2;,重点,提纲,高斯混合模型 EM算法的思想 EM算法的应用 总结

3、 参考文献,极大似然估计与EM算法的关系,计算极大似然估计(maximum likelihood estimate,MLE)，需要求似然函数的极值 解析法:如求正态分布均值和方差的MLE 数值计算：如高斯混合模型 EM算法,极大似然估计(MLE),独立同分布(IID)的数据 其概率密度函数为 似然函数定义为 log似然函数定义为 的极大似然估计为,完整数据,观测数据：观测到的随机变量 的IID样本 缺失数据：未观测到的随机变量 的值 在GMM中，若 来自第k个成分，则 完整数据：包含观测到的随机变量 和未观测到的随机变量 的数据，,完整似然函数,若隐含变量 的值已知，得到完整数据的log似然函

4、数为：,EMExpectation,观测数据X已知，参数的当前值 已知，在完整似然函数中，缺失数据(隐含变量) Y未知，完整log似然函数对Y求期望。 定义 其中 是待确定的参数 通过求期望，去掉了完整似然函数中的变量Y。即EM的E步。,EMMaximization,对E步计算得到的完整似然函数的期望求极大值（EM的M步），得到参数新的估计值，即 每次参数更新会增加非完整似然值 反复迭代后，会收敛到似然的局部最大值,EM的收敛性,其中， 当Q取极大值时，观测数据的似然也在相同点取极大值 EM算法会收敛到似然的局部极大值,混合模型中的EM算法,完整似然函数： 根据贝叶斯公式，Y的条件分布：,混合

5、模型中的EM算法,E步 将完整似然函数和Y的条件分布代入Q函数中，经过复杂的变换得到， M步 求Q函数最大时的参数 反复迭代，直到收敛,GMM中的EM算法,高斯分布： 代入高斯分布的密度函数，计算得到如下的迭代公式： 第t次的估计为 则第t+1次的估计为,GMM中EM算法的迭代过程,提纲,高斯混合模型 EM算法的思想 EM算法的应用 总结 参考文献,GMM_EM求的参数为 (0.5958,-2.0767,1.9973,0.4042,2.9956,1.0044) 答案为 调用的接口为： estS = gmmb_em(rawdata, init, cmeans1, components, 2, thr, 1e-8); Matlab程序包的网址： http:/www.it.lut.fi/project/gmmbayes/downloads/src/gmmbayestb/gmmbayestb-v1.0.tar.gz,提纲,高斯混合模型 EM算法的思想 EM算法的应用 总结 参考文献,总结,EM会收敛到局部极值，但不保证收敛到全局最优 对初值很敏感：通常需要一个好的、快速的初始化