《模式识别原理、应用及实现》 课件 第3章概率密度函数的参数估计

3.1概率密度函数估计概述3.1概率密度函数估计概述

基本概念

3.2最大似然估计武汉理工大学1.参数估计方法两类估计方法：

概率密度函数的形式未知，直接估计概率密度函数的方法。

已知概率密度函数的形式而函数的有关参数未知，通过估计参数来估计概率密度函数的方法。*参数估计法：*非参数估计法：两种主要参数估计法：最大似然估计、贝叶斯估计。2.似然函数设：ωi类的类概率密度函数具有某种确定的函数形式；θ

是该函数的一个未知参数或参数集。最大似然估计把θ

当作确定的未知量进行估计。从ωi类中独立地抽取N个样本：似然函数：称这N个样本的联合概率密度函数为相对于样本集的θ

的似然函数。——在参数θ

下观测到的样本集的概率(联合分布)密度3.原理也即：要找到一个θ，它能使似然函数

极大化。由

求得。θ

为一维时的最大似然估计示意图θ

的最大似然估计量就是使似然函数达到最大的估计量。为便于分析，定义似然函数的对数为θ的最大似然估计是下面微分方程的解：

设ωi类的概率密度函数有p个未知参数，记为p维向量此时3.原理解以上微分方程即可得到θ的最大似然估计值。3.正态分布情况举例设ωi类：正态分布、一维模式、概率密度函数为待估计参数为μ，σ2。（4-69）3.原理由以上方程组解得均值和方差的估计量为类似地，多维正态分布情况：均值向量的最大似然估计是样本的均值；最大似然估计结果：协方差矩阵的最大似然估计是N个矩阵的算术平均。3.原理3.3贝叶斯估计与贝叶斯学习武汉理工大学3.3贝叶斯估计与贝叶斯学习贝叶斯估计可描述为给定样本集，对样本的概率密度函数的真实参数进行估计，使其估计值带来的贝叶斯风险最小。3.3贝叶斯估计与贝叶斯学习贝叶斯估计和贝叶斯学习将未知参数看作随机参数进行考虑。1．贝叶斯估计和贝叶斯学习的概念1）贝叶斯估计步骤：

2）贝叶斯学习迭代计算式的推导：（4-72）（4-71）式中除样本XN以外其余样本的集合（4-72）（4-73）将（4-73）式代入（4-72）式得类似地，（4-74）（4-75）将（4-75）式代入（4-74）式得（4-76）参数估计的递推贝叶斯方法，迭代过程即是贝叶斯学习的过程迭代式的使用：*给出X2，对用X1估计的结果进行修改。2．正态分布密度函数的贝叶斯估计和贝叶斯学习1）贝叶斯估计*逐次给出X3，X4，…，XN，得到式中，（4-79）有由于有式中，——与最大似然估计形式类似式中，同前2）贝叶斯学习图4.14均值的贝叶斯学习过程示意图可见：多维正态分布：，C已知，M未知。则利用贝叶斯估计得到的M的后验概率密度函数为其中，根据贝叶斯学习得到的类概率密度函数为3.4非参数估计武汉理工大学3.4概率密度函数的非参数估计3.4.1基本方法根据样本直接估计类概率密度函数的方法。1.出发点：基于事实p(X)：类概率密度函数。

随机向量X落入区域R的概率P为。

设从密度为p(X)的总体中独立抽取的样本X1,X2,…,XN。若N个样本中有k个落入区域R中的概率最大，则：希望是X落入区域R中概率P的一个很好的估计。

类概率密度函数p(X)的估计：

设p(X)连续，区域R足够小且体积为V

，p(X)在R中没有变化，X是R中的点。有得——X点概率密度的估计2.存在的两个问题（4-91）1）固定V

，样本数增多，则k/N以概率1收敛。但只能得到在某一体积V中的平均估计。2）N固定，V趋于零，或发散到无穷大。没有意义。必须注意V、k、k/N

随N变化的趋势和极限，保持合理性。3.估计的步骤：*构造一串包含X的区域R1，R2，…，RN，…*对R1采用一个样本估计，对R2采用两个样本，……*假定VN是RN的体积，kN是落入RN内的样本数目，是

p(X)的第N次估计，有4.为保证估计合理性应满足的三个条件1）2）3）使式右边能以概率1收敛于p(X)（4-92）落入RN中的样本数始终是总数中的极小部分能代表X点的密度p(X)。

5.两种非参数估计法：Parzen窗法、kN近邻估计法。3.4.2Parzen窗法1．Parzen窗估计的基本概念设区域RN：d维超立方体，棱长：hN，则以原点为中心的超立方体当Xi落入以X为中心，体积为VN的超立方体时：否则落入超立方体内的样本数为（4-95）代入得——Parzen窗法基本公式实质：窗函数的作用是内插，样本对估计所起的作用取决于它到X的距离。

为密度函数应满足的两个条件：2．窗函数的选择1）方窗函数2）正态窗函数3）指数窗函数一维形式

满足条件和的都可以作为窗函数。最终估计效果的好坏与样本情况、窗函数以及窗函数参数的选择有关。定义有