机器学习 课件 第2章　EM算法和高斯混合模型

期望最大化算法及其应用EM算法背景

当拥有缺失数据的时候，可以迭代地做参数估计

两个关键步骤:

期望步

[Expectation(E)]最大化步[Maximization(M)]

可以解决大量的实际问题

上世纪50年代就被提出，但形式化是由Dempster,LairdandRubin在1977年完成

更多的材料，可以参考McLachlan&Krishnanbook1997.期望最大化算法[ExpectationMaximization(EM)]EM的应用(1)概率隐语义分析[ProbabilisticLatentSemanticAnalysis(pLSA)]文本处理领域的常见技术之一P(w,d)P(w|z)P(z|d)ZWDZDWEM的应用(2)01-2-1-4-34523数据:模型:参数:目标:建模具有2个组件的高斯混合模型让

固定即仅仅估计xP(x|)这里，启发式的例子似然是参数

的一个函数

概率是随机变量x的一个函数似然函数想象模型去产生数据需要对每个数据点引入标签z标签被叫做隐变量，也叫做未观察或者缺失变量

c01-2-1-4-34523可以极大地简化问题:

如果我们知道标签，我们能够解耦各个组件，使得可以为每个组件单独估计参数概率模型E-步: 用当前的参数计算一个数据点标签的分布；M-步: 用当前标签分布的猜测去升级参数。EEMMEEM的直觉TheEnd理论Jensen不等式Jensen不等式定理：假设f是一个凸函数，X是一个随机变量然后：

E[f(X)]≥f(EX)进一步地，如果f是严格凸函数，然后E[f(X)]

=

f(EX)成立的条件是

P(X

=

E[X])

=

1,即X是一个常数理论准备证明：对n采用归纳法，当

n=1时，α1=1，因此

f(α1x1)≤

α1f(x1)，为真证明递归步:代数可知.证明（cont.）递归步:凸函数的性质.证明（cont.）递归步:归纳法.证明（cont.）递归步:

得证证明（cont.）TheEndEM算法推导似然按照下式进行估计：用最大似然估计非常难以进行参数估计，可以尝试优化其下界（lower-bound

）EM算法EM算法EM算法可以总结为:

EM算法TheEndEM算法的收敛性要证明:

然后,

收敛性EM算法例子最大似然例子-1期望最大化例子-1例子-2例子-2例子-2例子-2例子-2实践初始化

数据的平均值+随机

K-Means终止条件

最大迭代次数

log-likelihood变化情况

参数变化情况（parameterchange）收敛

局部最大（Localmaxima）

模拟退火方法（Annealedmethods(DAEM)）

生灭过程（Birth/deathprocess(SMEM)）数值问题

在协方差矩阵中注入噪音，可以阻止崩溃

单点可能给无穷似然组件的数量

开放问题

贝叶斯方法实践问题局部最优确定模型的结构

组件的个数

图结构找到全局最优解总是有很好的升级形式

优化只在E/M步内完成避免计算问题

计算期望时的采样方法EM不能与其它方法的比较

没有设置优化步长的问题

直接在参数空间中工作，因此参数的约束直接就满足

一般训练速度很快使用EM的原因：为什么不用标准的优化方法？EM

part,

/notes/cs229-notes8.pdf<TheEMalgorithmandextensions>,

BookbyGeoffreyJMcLachlanHMM

part,di.ubi.pt/~jpaulo/competence/tutorials/hmm-tutorial-1.pdfGMM

part,

/~cga/a