《em算法及其改进》PPT课件.ppt_第1页
《em算法及其改进》PPT课件.ppt_第2页
《em算法及其改进》PPT课件.ppt_第3页
《em算法及其改进》PPT课件.ppt_第4页
《em算法及其改进》PPT课件.ppt_第5页
已阅读5页，还剩7页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

EM算法及其改进,E步：对或求条件期望，从而把Z去掉，即M步：将极大化，找到一个点，使即反复迭代，直到或充分小时停止迭代。,EM算法,优点：其一,M步仅涉及完全数据极大似然,通常计算比较简单;其二,它的收敛是稳定的,因为每次迭代似然函数是不断增加的.缺点：当缺失的信息量很大或完全数据对数似然的估计本身比较复杂时,EM算法的收敛速度将很缓慢。基于EM算法的缺点产生了各种改进的算法，这些改进的算法都着眼于改善收敛速度和保证收敛性质。,EM算法优缺点,在很多问题中，若对参数施加一定的函数约束，可以使完全数据极大似然估计变得相对简单。ECM算法中E步采用和EM算法相同的计算过程，用几个简单的CM步来代替EM算法的M步，CM步中每步都是在对应参数约束下，使得EM算法定义的Q函数达到最大。,ECM算法,其中的CM步定义如下：把参数划分为，是关于的函数，当第t+1次迭代时，分别在的约束下找到，使之在中最大化。在EMC算法中下一次迭代的初始值。,ECM算法,要保证ECM算法的收敛性质，的选取十分重要的，一个常用的选则是，即在M步的第k+1次迭代中，要进行s次估计，每次估计出中的一个参数。当估计时，假定其他s-1个估计的参数不变，然后采用一般的似然估计的方法估计它，接着用新的估计值代替原来的估计值进行对参数的估计，并保持其他参数不变。以此类推完成对的估计。,(1)当M步没有显式的表达式时,CM步通常有显式的表达式.(2)即使CM步没有显式的表达式,但ECM算法通常更加稳定,因为它的极大化是在更低维度的参数空间中进行的.,ECM算法优点,它是ECM算法的推广，在ECM算法中，CM步是对完全数据对数似然函数的期望进行极大化。同样，可以把这种思想运用到观察数据对数似然上，也就是说，在CM步上，可以考虑在一定的约束条件下，对对数似然函数进行极大化，因此就产生了ECME算法。,ECME算法,ECME算法形式化定义：ECME算法的第t+1次迭代步骤如下：E步：与ECM算法的E步相同。CM步：当时，求出，使得当时，求出，使得,ECME算法,Aitken-ECM法：首先在参数估计的初始阶段采用ECM算法，当算法的收敛速度比较缓慢的时候我们切入Aitken算法来提速。考虑到Aitken在附近无法稳定收敛，则再转入ECM算法进行最后的稳定收敛过程。,A-ECM算法,Aitken算法的第k+1次迭代是按照如下步骤进行的：（1）是Aitken第k次迭代的估计值（2）以为标准EM算法的初始值，进行迭代计算第k+1步估计值（3）然后将带入公式进行计算得到第k+1步的Aitken估计值（4）重复以上的步骤直至收敛为止,Aitken加速收敛算法,（1）ECM算法收敛速度进入缓慢阶段，切换为Aitken算法的判定可以根据以下准则：（2）可以根据似然函数的数值
人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论