模式识别课程讲义李君宝概率密函数估计学时PPT学习教案

1、会计学1模式识别课程讲义李君宝概率密函数估模式识别课程讲义李君宝概率密函数估计学时计学时 引言引言 参数估计参数估计 正态分布的参数估计正态分布的参数估计 非参数估计非参数估计 EM算法算法(期望最大化算法期望最大化算法) 本章小结本章小结第1页/共70页引言引言 第2页/共70页【引言】贝叶斯决策公式贝叶斯决策公式 iiiPPPPxxx第3页/共70页【引言】 算法基本步骤算法基本步骤第4页/共70页【引言】 存在的问题：存在的问题：第5页/共70页【引言】 问题的解决问题的解决第6页/共70页【引言】 参数估计的分类参数估计的分类第7页/共70页【引言】 参数估计的基本概念参数估计的基本概

2、念第8页/共70页参数估计参数估计 第9页/共70页【参数估计】 最大似然估计最大似然估计贝叶斯估计贝叶斯估计贝叶斯学习贝叶斯学习第10页/共70页【最大似然估计】基本假设基本假设第11页/共70页【最大似然估计】基本概念基本概念第12页/共70页【最大似然估计】基本概念基本概念第13页/共70页【最大似然估计】基本原理基本原理第14页/共70页【最大似然估计】估计量估计量估计值估计值 第15页/共70页【最大似然估计】一元参数一元参数第16页/共70页【最大似然估计】多元参数多元参数第17页/共70页【最大似然估计】12211,( | )0 xp x其它121212N211( ,.,|,),

3、( )0Np x xxxl 其它21H( )Nln 121H( )1N221H( )1N 例子（梯度法不适合）：不成功！不成功！12xxx12,xx21,xx第18页/共70页【贝叶斯估计】采用最小风险贝叶斯决策采用最小风险贝叶斯决策1(| )(,)(,) (| ),1,2,.,ciijijjjRxEPx ia 第19页/共70页【贝叶斯估计】( , ) ( , )dERp xd dx ( | ) ( )( | ) ( )( | )( )( | ) ( )p xpp xppxp xp xpd( , )( | ) ( )( | ) ( )pxpx p xp xp( , ) ( | ) ( ) (

4、 )( , ) ( | ) ( | ) ( )dddEEERpx p x d dxp xpx d dxRx p x dx ( | )( , ) ( | )Rxpx d 第20页/共70页【举例】2|( , ) ( | )()( | )Rxpx dpx d 2222()( | )|( | )( | )( | ) ( | )( | ) ( | )( | ) 2( | ) ( | )( | )px dRxExExpx dExpx dExpx dExExpx d( | ) ( | )( | ) ( | )( | ) ( | ) ( | ) ( | )( | )0ExExpx dExEx px dExE

5、xEx22( | )( | )( | ) ( | )( | )RxExpx dExpx d2( , )() 假设假设|( | )Expx d结论：结论：第21页/共70页【贝叶斯估计】第22页/共70页【贝叶斯学习】第23页/共70页【三种方法总结】第24页/共70页【三种方法总结】第25页/共70页正态分布的参数估计正态分布的参数估计 第26页/共70页【最大似然估计】基本假设基本假设第27页/共70页【最大似然估计】122121221()ln(| )()122kkNkkxp xx11221211221()0()10NkkNNkkkxx11NkkxN2211()NkkxN21211( | )

6、exp() 2(2 )xp x212 , , 单元正态分布： 11NkkxN11()()NTkkkxxN 多元正态分布：1( )ln(| )0NkkHp x221211ln(| )ln(2)()22kkp xx 最大似然估计方程：其中第28页/共70页【贝叶斯估计】第29页/共70页【贝叶斯估计】第30页/共70页非参数估计非参数估计 第31页/共70页【基本思想】第32页/共70页 k npVx 相当于用相当于用R区域内的平均性质来作为一点区域内的平均性质来作为一点x的估的估计，是一种数据的平滑。计，是一种数据的平滑。【基本思想】第33页/共70页 此方法的有效性取决于样本数量的多少，以及区

7、此方法的有效性取决于样本数量的多少，以及区域体积选择的合适。域体积选择的合适。第34页/共70页 nnnknpVx 当满足下列条件时，当满足下列条件时，pn(x)收敛于收敛于p (x)：lim0nnVlimnnk lim0nnkn第35页/共70页1nVn K-近邻法：落在区域内的样本数近邻法：落在区域内的样本数k是总样本数是总样本数n的函数，如：的函数，如：nkn【 Parzen窗法和K-近邻法】第36页/共70页【 Parzen窗法和K-近邻法】第37页/共70页 1,1 20,juu其它1,20,jijnnxxhhix-x其它dnnVh1,jd 【 Parzen窗法】第38页/共70页1

8、nninkhix-x 111nninnpnVhix-xx【 Parzen窗法】 概率密度估计：概率密度估计：第39页/共70页 0u 1duu【 Parzen窗法】第40页/共70页【 Parzen窗法】窗函数第41页/共70页【 Parzen窗法】第42页/共70页【 Parzen窗法】第43页/共70页111iinjnijinpnVhx-xx【 Parzen窗法】第44页/共70页EM (期望最大化期望最大化)算法算法第45页/共70页1 EM算法的介绍算法的介绍2 EM算法依据的理论算法依据的理论3 EM算法的不足和改进的算法算法的不足和改进的算法4 EM算法举例算法举例【EM算法】第4

9、6页/共70页【1 EM算法的介绍算法的介绍】第47页/共70页【2 EM算法的理论依据算法的理论依据】第48页/共70页但是在某些问题中由于存在隐含的随机变量Z 所以【2 EM算法的理论依据算法的理论依据】第49页/共70页【2 EM算法的理论依据算法的理论依据】第50页/共70页【2 EM算法的理论依据算法的理论依据】第51页/共70页2、Expectation：依次取观察数据x，比较x在K个高斯函数 中概率的大小，把x归类到这K个高斯中概率最大的一个。2k()()212Tkkxxkke11Kkk1、用随机函数初始化K个高斯分布的参数，同时保证EMEM算法过程：算法过程：【2 EM算法的理

10、论依据算法的理论依据】第52页/共70页2k()()212Tkkxxkxke4、返回第2步用第3步新得到的参数来对观察数据x重新分类。直到下式概率（最大似然函数）达到最大。Maximum 3、 用最大似然估计，即简单问题的求法。kkNN【2 EM算法的理论依据算法的理论依据】第53页/共70页【2 EM算法的理论依据算法的理论依据】第54页/共70页【3 EM算法的不足和改进的算法算法的不足和改进的算法】第55页/共70页【3 EM算法的不足和改进的算法算法的不足和改进的算法】第56页/共70页【4 EM算法举例算法举例】第57页/共70页【4 EM算法举例算法举例】第58页/共70页),(2

11、1nXXX)|(xfniiXffL1)|()|()|()|(log)|(Ll)|(maxarg)|(maxarglL【4 EM算法举例算法举例】第59页/共70页),(21nXXXXY),(21nYYYiXkYiXY),(),( ,),(11nnYXYX【4 EM算法举例算法举例】第60页/共70页)|(),|(log()|,(log)|,(log),|(log),|(111iiiniiininkiiYfYXfYXfYXfLl),(21nYYY【4 EM算法举例算法举例】第61页/共70页t【4 EM算法举例算法举例】第62页/共70页【4 EM算法举例算法举例】第63页/共70页),(),(),()|()|(111ttttttttDQQllytttttdyyfyfyfD0),|(),|(),|(log),(11)|(),|(),|(log(),|()|(