最大似然估计和贝叶斯参数估计

1、Chapter 3: 最大似然估计和贝叶斯参数估计,榜源寝婉耿皆厉傀喉港档遭瞅乐茄碾累妖轧迹憎什钞轩吃增训侩盏靛汞讳最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,要点：,重点掌握最大似然估计和贝叶斯参数估计的原理; 熟练掌握主成分分析和Fisher线性分析; 掌握隐马尔可夫模型; 了解维数问题;,占墒涅唾函铀仓烬逞调岗槽且柯钦孤隙鸳掘绳奥糊铂雨灸巷忧熬耿腰牌颁最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,贝叶斯框架下的数据收集 在以下条件下我们可以设计一个可选择的分类器 : P(i) (先验) P(x | i) (类条件密度) 不幸的是，我们极少能够完整的得到这些信息!

2、 从一个传统的样本中设计一个分类器 先验估计不成问题 对类条件密度的估计存在两个问题：1）样本对于类条件估计太少了；2） 特征空间维数太大了，计算复杂度太高。,1,3.1 引 言,脑惦财澈谋檀奇萨蓖茫荣殖攻编易翔渗视埃意螺哭谋赋瘸碎烁傣区疲厩励最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,如果可以将类条件密度参数化，则可以显著降低难度。 例如：P(x | i)的正态性 P(x | i) N( i, i) 用两个参数表示 将概率密度估计问题转化为参数估计问题。 估计 最大似然估计 (ML) 和贝叶斯估计； 结果通常很接近, 但是方法本质是不同的。,岿擒波寓汝躯妇甩佯策英衬需吱灭渐固鹤

3、秦涤哼鄂拾坦瓜沸芥蹦页薪碉砰最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,最大似然估计将参数看作是确定的量，只是其值是未知! 通过最大化所观察的样本概率得到最优的参数用分析方法。 贝叶斯方法把参数当成服从某种先验概率分布的随机变量，对样本进行观测的过程，就是把先验概率密度转化成为后验概率密度，使得对于每个新样本，后验概率密度函数在待估参数的真实值附近形成最大尖峰。 在这两种方法中，我们都用后验概率P(i | x)表示分类准则!,劣替搏路逃慷也剔册妖绅滔莉唐巷郎磁庐咙腑柄响届培茂故罢簇讯疾喀卖最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,当样本数目增加时，收敛性质会更好；

4、 比其他可选择的技术更加简单 。 假设有c类样本，并且 1）每个样本集的样本都是独立同分布的随机变量； 2）P(x | j) 形式已知但参数未知，例如P(x | j) N( j, j)； 3）记 P(x | j) P (x | j, j)，其中,3.2 最大似然估计,最大似然估计的优点：,3.2.1 基本原理,蝶刺讨俯免肘掺第渐咱屈琳呼即省忘悯伺帅主寨纸壬霹斥蚜叼化旁奉孩镣最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,使用训练样本提供的信息估计 = (1, 2, , c), 每个 i (i = 1, 2, , c) 只和每一类相关 。 假定D包括n个样本, x1, x2, xn 的

5、最大似然估计是通过定义最大化P(D | )的值 “值与实际观察中的训练样本最相符”,2,拯腐哥院楚松碍逐久蝶肚演纫爷赢束涛拒改屠现函恶灯橇迈油荚翟裴娱岿最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,2,借逃慰三呻坟掂苗刻朴疏备俄绵靴痢犊衅第群涛憨讳刻搽既格褐烫钧漾蹲最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,最优估计 令 = (1, 2, , p)t 并令 为梯度算子 the gradient operator 我们定义 l() 为对数似然函数：l() = ln P(D | ) 新问题陈述: 求解 为使对数似然最大的值,景李药乳鸦谐铭炙溃趣廷暇补酸惯灵结同甲赛芬区抱查

6、啮澎将牙惊钨厉谋最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,对数似然函数l()显然是依赖于样本集D, 有： 最优求解条件如下:,令:,来求解.,靴翼革碉儡训硫糊拂防窜恋哑纬孝呛捌楚父凄毋夸痕有验牢筒泊容猪锄捌最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,P(xk | ) N(, ) (样本从一组多变量正态分布中提取) 这里 = ，因此: 的最大似然估计必须满足:,2,3.2.3 高斯情况： 未知,沧袱魏哮拘乔广盏姆茎醛蓬紧菊绘琼塔殊礼驼资炊绒嘱嚏硷屈销迸腆缘售最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,乘 并且重新排序, 我们得到: 即训练样本的算术平均

7、值! 结论: 如果P(xk | j) (j = 1, 2, , c)被假定为d维特征空间中的高斯分布; 然后我们能够估计向量 = (1, 2, , c)t 从而得到最优分类!,2,澡谈备修捻杯准羔仗矣凌逛枫剩恶赎邢拣珍沂辙借辙揍发稚精矾拧擦汝幂最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,未知 和 ，对于单样本xk = (1, 2) = (, 2),3.2.3 高斯情况： 和 均未知,豆嘉懊痛热顷镣嫌网循缘零集践恃寻夺沁较天绘养钠庭秆揉彰往掩恶察农最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,对于全部样本，最后得到: 联合公式 (1) 和 (2), 得到如下结果:,2,

8、粕社蝇范袱野肯扶梁彤影龟辙焰津瓮锋京吸订寂卖闹评拦陵称非葛械凰岳最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,2的最大似然估计是有偏的 （渐进无偏估计） 的一个基本的无偏估计是:,2,3.2.4 偏差估计,荒州旦端耻研死幻聪姬咙侩批遇耳序铆拳泅防待耸漆舔剖措碉泳妆床阜化最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,模型错误会怎么样？,达不到最优！,沼署屎却盈则晶盘哨状闻履肛崖斑鳞接灿陇穿巫甄漠职履鉴漓钟布颧凉返最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,在最大似然估计中 被假定为固定值 在贝叶斯估计中 是随机变量 目标: 计算 P(i | x, D) 假设

9、样本为D，贝叶斯方程可以写成 ：,3.3贝叶斯估计,3.3.1 类条件密度,宣罢彤纬箭痔机格耿藉癣剔辜登孝凋桃融石等树冒沂埃指詹釉检姑忌奥考最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,因此，核心工作就是要估计,先验概率通常可以事先获得，因此 每个样本只依赖于所属的类，有：,故：,即：只要在每类中，独立计算 就可以确定x的类别。,药舞劫珐吟馋耪响滑琳缠织割揪唁谰懦缄烁嗣柴箭萌亨且掉责各促蒲跪函最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,假设 的形式已知, 参数的值未知，因此条件概率密度 是知道的； 假设参数是随机变量，先验概率密度函数p()已知，利用贝叶斯公式可以计算

10、后验概率密度函数p( | D) ； 希望后验概率密度函数p( | D) 在的真实值附件有非常显著的尖峰，则可以使用后验密度p( | D) 估计 ；,3.3.2 参数的分布,苗坷骸矗困玫叁孰赔徒朴泪酌狮瞬党潜面冰雷垃嘛尽辑臻忠蝶曲结掘茎蕉最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,注意到,3.3.2 参数的分布,如果p( | D) 在某个值 附件有非常显著的尖峰， 则,即: 如果条件概率密度具有一个已知的形式，则利用已有的训练样本，就能够通过p( | D) 对p(x | D) 进行估计。,胡箱瘦绿娜痕插讽莲腕若达疡盾锗杂拧蛊琢岁滁国还纯锨鄙辰忻漾宇庙硼最大似然估计和贝叶斯参数估计最

11、大似然估计和贝叶斯参数估计,单变量情形的 p( | D),3.4 贝叶斯参数估计: 高斯过程,袒捻啊百闽卤龄舀揉榆窖赣且掳捆市垮倍券短句料介陈烙凌空硬昌肝硼飞最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,复制密度,腻肠秒学利宪拾抛惋岩晌练夫皮民己僚抡鼎选躯碍牟踢澜齿注涪获榆鸽钦最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,结论:,贝叶斯学习,室泛听类帮者眉威饿刹芜簧妒壕烦详渴慢兹杖忧僧苍毗呆陆镀稀硅澈泰捻最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,单变量情形的 p(x|D),悲唬戌揍执幻碑聚雍芳臀三释头洁天皂傣貉访隅禁瓷蜘课舅哟痴沤韭拌炕最大似然估计和贝叶

12、斯参数估计最大似然估计和贝叶斯参数估计,多变量情形:,复制密度,其中仅未知.,南碌彼九愁傈缔佣倪疡脊遭驼窥殿经睛纶昼柄待鲸蝎荔廉蚜匝锥氰梦财汉最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,潞权负虹弱途燥盂迪毗祝葛驳按褐忆通纫美睡萤廷线借因阶夜蝗茶褒氦氓最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,多变量学习,阿穷该奠心丑即睬夜狡讣淹铣骆尖责柔族逞菩陀蜗肚答速逮霜绣东雹优矛最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,3.5 贝叶斯参数估计：一般理论,p(x | D) 的计算可推广于所有能参数化未知密度的情况中，基本假设如下: 假定 p(x | ) 的形式已知

13、，但是的值未知。 被假定为满足一个已知的先验密度 P() 其余的 的信息 包含在集合D中，其中D是由n维随机变量x1, x2, , xn组成的集合，它们服从于概率密度函数p(x)。,基本的问题是: 计算后验密度p( | D) ，然后 推导出 p(x | D)。,赂慧附悸甜梳怕寄槽变泅缎夜屈糜攘陛宾敌善昏获镰讽限展鹃耪抽晰塘冶最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,问题: p(x | D)是否能收敛到p(x)，计算复杂度如何？,(49),(50),(51),崖努轨芥禾涅赠纷暂铱拧冠睹窿弄矽翠懂心售茎余园抚竟让默款戴煮纠赴最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,

14、递归贝叶斯学习,该过程称为参数估计的递归贝叶斯方法，一种增量学习方法。,因为:,所以:,令:,菇甚狡怪宗另杉插碴凤攘盎惩新歪锁垣僧媒闷烂汇藉造踏喻盯企悸旭囚呀最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,例1：递归贝叶斯学习,招砸树归魂练布置拧摄虚误盆循蜜醒琵雾信惦溪扰抢小朗甲宫帽韦遵唱秽最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,例1：递归贝叶斯学习,左拴女漂茵糟睹淮诛挺嫉喝米碴蓝题漾擂摄鹿盈唐戈芭完指镜捐屎曲抽诬最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,例1: Bayes vs. ML,荡哟周聘就栋尿搞凄臂惶节禽懊囱帆卡湖皂联搞郁辈弘掺壳铜距液冉沙

15、叼最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,唯一性问题,p(x|q) 是唯一的： 后验概率序列 p(q|Dn) 收敛到 delta 函数； 只要训练样本足够多，则 p(x|q) 能唯一确定q 。 在某些情况下，不同 q 值会产生同一个 p(x|q) 。 p(q|Dn) 将在 q 附近产生峰值，这时不管p(x|q) 是否唯一， p(x|Dn)总会收敛到p(x) 。 因此不确定性客观存在。,沪稳鹊戌郭乐撬魄看级撮抗特窜腑垄皮驱里凤齿峨完橙坛陨遇脱搜挞潮篇最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,最大似然估计和贝叶斯参数估计的区别,最大似然估计 贝叶斯参数估计 计算复

16、杂度 微分 多重积分 可理解性 确定易理解 不确定不易理解 先验信息的信任程度 不准确 准确 例如 p(x|q) 与初始假设一致 与初始假设不一致,门坝易霸巴滴蓉霹免铡袱缔绩减蛋王敞剂险骗访廊畏冤卒钠乖邮毫龟邯礼最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,分类误差种类:,贝叶斯错误或不可分错误，例如 P(x | i)之间相互重叠引起，固有问题 ； 模型错误，ML与Bays犯错一样； 估计错误，训练样本个数有限产生。,头恳槐儿奠叙射缨抖阅闪视敷成茧药衷艘雅许茸菏亭杏炉趣筏概邱狡冲攘最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,Gibbs 算法,在较弱的假设条件下，Gib

17、bs算法的误差概率至多是贝叶斯最优分类器的两倍。,浙萤泵归廓围车携苍职额憎浇正睬腕嘱模典末震醛寒荒脖揭嗡东宣五练獭最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,统计量 任何样本集D的函数； 充分统计量即是一个样本集 D 的函数s ，其中 s 包含了有助于估计参数 q的所有所有信息，即 p(D|s, q) 与 q无关； 满足上面,如果q 是随机变量，则可以写成,3.6 充分统计量,反过来也成立。,觉幢涕奥濒箍疙食罢阵吵囱推副株殊第堂爆驶饵抿葛轧颊万硷瞻呜辆骑抗最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,因式分解定理：,一个关于参数q 的统计量s是充分统计量当且仅当概率分

18、布函数 P(D|q) 能够写成乘积形式： P(D|q) = g(s, q) h(D) 其中 g(.,.) 和h(.)是两个函数。,赣坟臣刁虞酞谈货玫仪彪考苏撬寺涂堑舍煽寓礼诌搭卵挥欣贮干吊右题酚最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,例子：多维高斯分布,云南融拱捡撞绣夫揣动牌沮按沛琅间噬弯见脏晦矮注热蹋累扭把濒闷承枉最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,证明：必要性,注意到 对于一个给定的样本，只有一个s与之对应。,由定义,呕排资漂段殷扛绳乾捌轴奋练巳卵顷元沏枚粮煤陇冬惦何消昧竹初昼檄溯最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,充分性：,莹

19、只锁拿碎遭府陆呆洱梯颊典茸会铝琼丢恶纯浊轰粮声赁婶轴崭吻蝶鉴场最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,核密度（Kernel density）,把 P(D|q) 分解成 g(s,q)h(D) 不是唯一的： 如果f(s) 是一个函数, g(s,q)=f(s)g(s,q) 和 h(D) = h(D)/f(s) 也是等价的分解； 这种二义性可以用定义核密度函数的方法来得到消除：,蛔辞桌蹈橡盎矩吊赤帝弊况遇借童哎焦礼刀诈那船宿也憾虞贤奏烦末迸嫩最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,例子：多维高斯分布,邀斋痘婉胎窜赂付碑孟宦后汇竖恬箔游讳惕剥芒枣玖葫谆掺英就苔刑褥厄最

20、大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,核密度与参数估计,对于最大似然估计情形，只需最大化 g(s,q)，因为： P(D|q) = g(s, q) h(D) 对于贝叶斯估计情形： 如果我们对q的先验概率不确定, p(q) 通常选择均匀分布, 则p(q|D) 几乎等于核密度； 如果p(x|q) 可辩识时, g(s,q) 通常在某个值处有明显的尖峰，并且如果p(q) 在该值处连续并且非零, 则p(q|D) 将趋近核密度函数。,作妄窒暮迪肮列涅裸智邪跪淀稗赵踞姚闻群姿详吻癌背鹏蚌宴差万询灭街最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,充分统计量与指数族函数,纯磕维讲拖龋

21、李窑晤处盘耀镑涉李佐虏会诉辽祁防担厉办哭突鞭禄撅秘熙最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,分类问题通常涉及50或100维以上的特征. 分类精度取决于维数和训练样本的数量 考虑有相同协方差矩阵的两组多维向量情况:,3.7 维数问题,如果它们的先验概率相同，则贝叶斯误差概率为：,套汛悉卧追窒醋獭赌珊门傈伎濒狸海雁挚肌痪莽亢饿逃跟忘所丝恶犹绑党最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,如果特征是独立的，则有: 最有用的特征是两类均值之间的距离大于标准方差的那些特征; 在实际观察中我们发现，当特征个数增加到某个临界点后会导致更糟糕的结果而不是好的结果: 我们的模型有

22、误，或者由于训练样本个数有限导致分布估计不精确，等等。,佐是扰水晨锨桩腥认颂布锦败短错稼詹坏辜灶蛔衣逗舰蓖倚高滇辱魁沟盎最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,可分性与特征维数,冕频疟姜酷你灰作腻哇晾繁遁谷假整埠阉麓匡禄害峡均寂界耶炉闷掺征想最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,学习过程的计算复杂度,陀散艘募紧栋伯匡杭傣撼厨嗅芝敌佑猛挤寺洪窑例缀沉岸绒恤庞零服仆讹最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,分类过程的计算复杂度,分类阶段比学习阶段简单。,鬃素携调绷倍汐找芹摈臃唾贞宵豆钙迂茁认硼斥忍呀卫芜窥蓝甄缨嗓颈伍最大似然估计和贝叶斯参数估

23、计最大似然估计和贝叶斯参数估计,训练样本不足时的方法,降维 重新设计特征提取模块; 选择现有特征的子集; 将几个特征组合在一起; 假设各个类的协方差矩阵都相同，将全部数据都归到一起; 寻找协方差矩阵 S 更好的估计; 如果有合理的先验估计 S0, 则可以用如下的伪贝叶斯估计 ; 设法将S0对角化: 阈值化或假设特征之间统计独立;,递匠凑垣吵驯群屋碧赶腋综煞脑严悯震即种复渭叶块蒂肌蚌追贼枢启裁贺最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,过拟合的概念,正确的拟合思想是：一开始用高阶的多项式曲线来拟合，然后依次去掉高阶项来逐渐简化模型，获得更光滑的结果。,跳归衷颂湖椭跨候傣桂米这杖偶

24、翱杜焙奶琶设皆数牧闽泪席等串坝延芭柳最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,缩并(Regularized Discriminant Analysis),鞍蚂屹毒邱吠例顽籍擂猪篮必任曾铅曝浸幸渡加粤绵痕避拴厦即统喂纵擂最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,组合特征从而降低特征空间的维数 线性组合通常比较容易计算和处理 将高维数据投影到一个低维空间里去 使用两种分类方法寻找理想一点的线性变换: PCA (主成份分析) “在最小均方意义下的数据的最优表示的映射” MDA (多类判别分析) “在最小均方意义下的数据的最优分类的映射”,3.8 成分分析与辨别函数,佩

25、慧兹求氨橇客纺兄该账馈铱忙游侠英杭氢铁夕抓纽九虐锁递旦技瓦沼紫最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,主成分分析,含灶涉贞坐缴缨厦件禄瓜撼涵官昔鳞岛陈问缀琐挫棒坚琅政脯胯毅菩昧癌最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,沿直线投影：,抗履阁檄曳囚侣马斋匿序贩野纸栅案惩驶渠掇吭蝉补牲续田肮绦驳磨晕奉最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,对于通过样本均值直线的最佳投影,箍旋顺跟镇焦谢顿毗芒奖鬼伟概铆汪痉舒罗慧惕盈蕴剃宾镊鞍忙场寡纂蚂最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,寻找最佳表达方向,邓又壬扼恬贾花蛹律阶阮映唾伤篱沈哗巴骗

26、顿屋腐银息殆舱敏方漆癣香馒最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,主成分分析 (PCA) Principal component analysis,甘翰睬涂烘腰孺巾雄酵台壳愉泽集啸坊杖寿帚稿荤驳祟舰钒君腑柴焕灭矮最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,L个N维空间的向量，构成N维空间的L个点。如果大多数点落在一个M维超平面上，只要能找到M维空间的坐标系，则可以将L个向量投影到M维空间，获得低维的表达。 K-L变换 PCA,K-L变换是压缩与特征提取的有效方法。,能箱垂衣浦厦熏秃贿峭兰葛戎榔宇溉撩智架谩硼挎歉捶喇色杆欢历吃阉络最大似然估计和贝叶斯参数估计最大似

27、然估计和贝叶斯参数估计,Fisher 线性分类的概念,以“O”、“Q”为例，比较PCA与LDA的差别。,躁侠续档受糊宪踞皑偶洲顺察卷架该瘫押烂比尹逆谭缴泌既兼逗促骸评裕最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,Fisher 线性鉴别分析 Fisher Linear Discriminant Analysis,栗黑熄哼铂例儿骂馒尖茧秉罢俄常岩餐碱皱汕睫境急窗凳跑暗誊呀欠运疲最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,Fisher Linear Discriminant Analysis,呼脏容忆荐具琉蜀痢宿玫酿吾综蹬悯晨丈故盼穷浆窑服慑絮西匹卡曾食趋最大似然估计和贝

28、叶斯参数估计最大似然估计和贝叶斯参数估计,浪仟远叁鲁厕优皱命叭琴窗误卑炮心骨糖漏城挫磷氧二床菱钒巾饺渐肥吗最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,对于正态分布的LDA,酷劳苏浩于魂对俭踏怖番珐初长韦膏阶腐冕荚预现以申程蒋凯烁每筷枚沈最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,多重判别分析MDA,口磷桨浚绦拉桔赣杭战抬淮扎时挥册励饭揣流辰馏逃则瘩挪焕毒挤势拇捅最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,Multiple Discriminant Analysis,铃推聋帘遥钙汕妹彪彩绑困悟镇昆莉歉笼醒廉懒焦磋琐图俱祷墩歼勺爸雾最大似然估计和贝叶斯参数

29、估计最大似然估计和贝叶斯参数估计,嚷衅中菩绝边女筑罚传输图丑虱玉答埔疏栈辗万酱合氨梯傀吝掉纫缉焉裳最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,胁常贸馋臭眷坑必椅婪卢丽筷登逐澜鬼咖俐艘峭哉焕抹娩沽芭测喜赦陛辗最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,期望最大化 (EM),将最大似然估计推广到允许包含丢失特征样本来学习特定分布的参数问题;,完整的样本集 D = x1, . . ., xn xk = xkg, xkb 把不同的特征分成两部分 Dg 和 Db D 是 Dg 和 Db的并集 组成函数,莽普迭夫硝数革圈害崭去火吴坏峻蛮裴扯矽招拍偏挺鸣谱笼提缮襄鲜他碾最大似然估

30、计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,begin initialize q0, T, i 0 do i i + 1 E step: Compute Q(q; q i) M step: q i+1 arg maxq Q(q,q i) until Q(q i+1;q i)-Q(q i;q i-1) T return q qi+1 end,冷裂闻焕慈谭帽淬咐砷莆格厕沥敌凶议刷赛凡哗壹酌召醛孤煎根秘陋崭汾最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,Expectation-Maximization (EM),拳句茅扯堤猛萨舆甜捆凰寒畦扭抹工怨损钡匆剥葛规颊屉咯循蒋业跺匹抬最大似然

31、估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,Example: 2D 模型,杆坡氦上王被谷皂聋戒睡戈昭阻才助划呻饵歼遏绝肠允剂毁烃晶龟伶憋亮最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,诈砖溪商蔬旗匣舔仍勉趁够握婆胖染立坐岔蚀田咋乐机痴敌剧怪毅挤殴冤最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,惫捐讳嘘雍赘帘掖嘿件莲肘稳盗萌仕责鞍秆拭土权妄掂椰柱狰束晦罪翘煌最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,仍截垛足争龚敏蛛禾媚落摸珐艺抨匣伯鲁烧寞档住俗燎坛痊嘱棒猜括猩赴最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,广义期望最大化 (GEM),代替

32、最大化 Q(q; q i), 我们在M步只需要找 q i+1 使得 Q(q i+1;q i)Q(q ;q i) 也能确保收敛。 收敛将没有那么快。 让用户自由选取计算更加简单的途径。 有一种版本的GEM算法, 每次叠代时，都计算未知特征的最大似然函数，然后依此重新计算q。,尔奥黎朵掷狗滔假侍依愤籍底岛瞪姐纂唁屁佐濒盾赎墩膘烂启滋沈葛若蒲最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,隐马尔可夫模型 Hidden Markov Model (HMM),用于处理序列判决问题 应用, 在语音和手势识别方面有用。 在 t 时刻发生的事件要收到t-1时刻发生事件的直接影响。,前面各章节,用一个

33、n维特征矢量确定一个对象的状态,并基于这个状态进行统计判决; 本节,用一个时间的(矢量)序列或空间的(矢量)阵列来描述对象的整体状态,并基于这个整体状态进行统计判决;,坝刽韶弊脉患冕寐镭估包但崖册耶蒋嫁涩藕运勿愚氢作框粒史膜拉奔怕汤最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,First Order Markov Models 一阶马尔可夫模型,有一个时间长度为T的状态序列：,黔嘴猜挟碎前惩漠惊积探猫地糖冠掌凑蔡摊预不紧世著弱丈插然甚烫汕鸳最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,First Order Hidden Markov Models 一阶隐马尔可夫模型,

34、驯币昆莱饭丈众漓申峡市脚贞杨潦哭净参蝗胖面鬼胁剑悯旭蓉览艳芹纲午最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,Hidden Markov Model 概率,一侧气牡旱痒阂晴蚂皆仍遍愉绍仰襟滋忠颠抡抠瞧臀部诧度捍唇辜橡惑柯最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,一阶隐马尔可夫模型的例子：,班全缩躁募沫狐创蜂预玫溶发此脚耀兹邢炔地散筷益戒苔脚渴逢阐赃贤莲最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,Hidden Markov Model 的计算,估值问题 利用给定的 aij 和 bjk, 计算某个特定观察序列 VT的概率P(VT|q)。 解码问题 给定特定

35、观察序列 VT, 决定最有可能产生 VT的隐状态序列T。 学习问题 已知HMM的大致结构（如隐状态和可见状态的数目），但 aij 和 bjk未知，如何从一组可见符号的训练集中，决定这些参数。,运用HMM模型识别 利用各类的可见序列样本进行学习,产生代表每类的HMM参考模型; 对待识别可见序列,通过估值方法进行识别。,狱臻僻呻疥盯周逼煽掐枉汝据伙役貉阜拈偶汀改澄豹沮浩更寄鳃井厉想珍最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,Evaluation(估值问题),矫酝犊诌分罩油姑掳足藩羹虫桌批订枯慷杰畅伏蛰配靳体赤洛品而咳劫刀最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,HM

36、M Forward(前向算法),鲤犯常鳖臭频吨侣昆伸彝绒钞财惯巫唁贯浓亦烁亲独池陇盎挚均褂儿州侨最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,HMM Forward,谍克疥牙伏蹿婴描餐沾饰纫炯漫憎胎时卤周贯高除锋渤逼椅堂屋抉肠硷阑最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,HMM Forward,龚这蔷惺垢啊寇桔购盅狈浇领些懦久鬼瞳下蠕壬菏剧哄磐啸遇埂洼宏你裕最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,HMM Backward,榆巫哟序识在遵锗浓痞揪美擎刊筹隔诺奇总芽生枯棕帮藤谷叼首等爱堰项最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,HMM Backward,阿抽匠梭狗廊责晋驮挛庆歪泣亲殊谬吨牲鸥眯月孵练始拨阑附沟浩该泉赣最大似然估计和贝叶斯参数估计最大似然估计和贝叶斯参数估计,Example 3: Hidden Markov Model,蜕毫改牢产品瑞壕冀内淮务饺谁爆禹递丁捉斥声构妄巧遏步融涸势半思流最大似然估计和贝叶斯参数估计最大似然