版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
最大期望算法(EM)ExpectationMaximizationAlgorithm最大期望算法最大期望算法,是一种迭代算法,用于含有隐变量的概率参数模型的最大似然估计或极大后验概率估计。最初是由Ceppellini等人1950年在讨论基因频率的估计的时候提出的。后来又被Hartley和Baum等人发展的更加广泛。目前引用的较多的是1977年Dempster等人的工作。它主要用于从不完整的数据中计算最大似然估计。后来经过其他学者的发展,这个算法也被用于聚类等应用。最大期望算法例:我们需要调查我们学校的男生和女生的身高分布。你在校园里随便地选取了100个男生和100个女生。统计抽样得到的100个男生的身高和100个女生的身高。假设他们的身高各自是服从高斯分布的。
最大期望算法如果X是在概率空间(Ω,P)中的一个随机变量,那么它的期望值E[X]的定义是
。最大期望算法若已知样本取值为x1,x2,…xn,则事件{X1=x1,X2=x2,…Xn=xn}发生的概率为:设总体X是离散型随机变量,其概率函数为p(x,θ),其中θ是未知参数.联合概率函数:最大期望算法联合概率密度函数是随θ的改变而改变的,将它看作是θ的函数就是似然函数:最大期望算法例:我们需要调查我们学校的男生和女生的身高分布。你在校园里随便地选取了100个男生和100个女生。统计抽样得到的100个男生的身高和100个女生的身高。假设他们的身高各自是服从高斯分布的。
抽出的样本是男生抽出的样本是女生最大期望算法随意的抽取一个样本,无法判断是男是女。最大期望算法
用数学的语言:抽取得到的每个样本无法判断是从哪个分布。
男生和女生对应的身高的高斯分布的参数是多少这个人是男的还是女的最大期望算法对于每一个抽取到的人,有两个方面要估计。最大期望算法推导过程:
对于参数估计,我们本质上还是想获得一个使似然函数最大化的那个参数θ,现在与最大似然不同的只是比似然函数式中多了一个未知的变量z,也就是说我们的目标是找到适合的θ和z让L(θ)最大。最大期望算法PS:(2)→(3)时运用的是Jensen不等式:如果f是凸函数,X是随机变量,那么,当且仅当f是严格凸函数时,。如果f是凹函数,X是随机变量,那么,当且仅当f是严格凹函数时,。二次导数为,为凹函数。最大期望算法EM算法步骤:初始化分布参数重复E、M步骤直到收敛。
最大期望算法
E步骤:估计未知参数的期望值,给出当前的参数估计。根据参数初始值或上一次迭代的模型参数记
,来求一个分布q(z),使得L(q,θ)最大化。
最大期望算法
M步骤:重新估计分布参数,以
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 泰州市南官河滨河道路接通工程设计招标文件
- 2027年河南省商丘市高三3月份第一次模拟考试高考物理试卷(含答案解析)
- 十五五智能土壤温湿度传感器6G通信融合:毫秒级低时延传输
- 十五五智能曲臂遮阳篷:ESG评级提升带来的绿色融资红利
- 十五五量子计算加持智能点餐:算法优化与订单处理革命
- 掘金智能光子嫩肤仪万亿蓝海:核心瓶颈、竞争壁垒与闭环
- 山西三重教育2026-2027学年11月高一年级素质测试物理+答案
- 公共基础知识复习资料:备考常识冲刺题1000题
- 2025年施工员之市政施工专业管理实务押题练习试卷B卷附答案
- 2026年电子产品租赁行业信用评估报告
- 浙江省国际贸易集团有限公司行测笔试题目汇编2026
- 2026年临床医师三基三严年度培训计划
- 码头装卸作业管理制度
- 2026年哈姆雷特题库及答案
- 中粮米业公司大米加工设备操作规程及注意点
- GB/T 47038-2026航空航天 铝及铝合金化学转化膜层
- 管道护理培训内容
- 战场急救六大技术
- QKD介绍教学课件
- 雨课堂学堂在线学堂云《研究生学术与职业素养讲座》单元测试考核答案
- 2025年山西辅警招聘考试真题及参考答案详解一套
评论
0/150
提交评论