概率密度函数的估计

2023/3/30第2章概率密度函数的估计

2.1引言2.2参数估计的基本概念2.3最大似然估计与正态分布的参数估计2.4Bayes估计与正态分布参数的估计2.5总体分布的非参数估计2.6分类器错误率的估计问题12023/3/302.1引言在贝叶斯决策理论中，基本的已知条件是：类先验概率P(ωi)

类条件概率密度p(x|ωi)疑问：它们从何而来？22023/3/30面临的实际情况是：对于一个具体问题，我们只有有限数目的样本（所属类别有可能还是未知的）32023/3/30有限的样本数据Bayes决策需要P(ωi)

、p(x|ωi)估计出P(ωi)、p(x|ωi)42023/3/30分类器的设计分成两步来完成：1利用样本集估计出P(ωi)

、p(x|ωi)（本章要解决的基本问题）2利用Bayes决策理论设计分类器（前一章已经解决的问题）52023/3/30本章要解决的三个问题如何用样本集估计出P(ωi)、p(x|ωi)的估计量评估与分析估计量的性质利用样本集

估计

分类器错误率的方法62023/3/30从样本集推断总体概率分布的方法估计方法参数估计非参数估计监督参数估计非监督参数估计72023/3/30说明：监督：样本的类别是已知的非监督：样本的类别是未知的参数估计：概率密度形式已知，只需推断出其中的未知参数非参数估计：直接推断出概率密度本身82023/3/30监督参数估计条件：已知样本所属的类别及类条件总体概率密度函数的形式，未知概率密度函数的某些参数监督参数估计：从已知类别的样本集，推断（估计）出总体分布（每一类概率密度函数）的某些参数的方法例如：从样本求正态分布的均值向量与协方差矩阵92023/3/30非监督参数估计条件：未知样本所属类别，已知总体概率密度函数形式，但未知其中的某些参数非监督参数估计：推断（估计）出总体概率密度函数中的某些参数的方法102023/3/30非参数估计条件：已知样本所属类别，但未知总体概率密度函数的形式非参数估计：从已知类别的样本数据中，直接推断出概率密度函数本身112023/3/30方法样本类别函数形式目标监督参数估计已知已知求函数参数非监督参数估计未知已知求函数参数非参数估计已知未知求密度函数122023/3/30估计方法的数学原理：参数估计的数学原理：最大似然估计方法与Bayes估计方法非参数估计的数学原理：

Parzen窗法与kN近邻法132023/3/30本章讲解的重点内容：1

监督参数估计（估计类条件概率密度的参数）2

非参数估计（估计类条件概率密度本身）3

分类器错误率的实验估计方法142023/3/301

统计量2

参数空间3

点估计、估计量（估计子）、估计值4

区间估计2.2参数估计的基本概念152023/3/301统计量目的：样本中包含着总体的信息，希望有一种数学手段将样本集中的有关信息抽取出来统计量：针对不同要求构造出的关于样本的某种函数，这种函数在统计学中称为统计量162023/3/302参数空间在参数估计中，已知总体概率密度函数的形式，未知分布中的若干参数（记为θ）在统计学中，将总体分布未知参数θ的全部可容许值组成的集合称为参数空间，记为Θ

（例如，n

维实数空间）172023/3/303点估计点估计问题是利用样本数据估计出总体分布参数的值估计量（估计子）：构造一个统计量d(x1,…,xN)作为参数θ

的估计，在统计学中称为θ的估计量（估计子）182023/3/30估计值：对于属于类别ωi

的样本观察值，代入统计量d(x1,…,xN)

得到第i

类参数的具体数值，这个数值在统计学中称为θ的估计值192023/3/30估计量的性能评估估计量是随机变量，不同的样本有不同的估计值无偏估计量：估计量的期望等于真实参数202023/3/30渐近无偏估计量：当样本数目趋于无穷时，估计量的期望等于真实参数值212023/3/302.3最大似然估计与正态分布的参数估计2.3.1最大似然估计的基本理论2.3.2

正态分布参数的最大似然估计值2.3.3用身高、体重区分男女生的例子222023/3/30假设条件：①待估计参数θ是确定性的未知量②按类别将样本划分c类，第i样本都是从类概率密度p(x|ωi)的总体中独立地抽取出来的2.3.1最大似然估计的基本理论232023/3/30③类条件概率密度p(x|ωi)

的函数形式是确定的，但是其中的某些参数是未知的④第i

类的样本不包含有关θj(i≠j)的信息。不同类别的参数在函数上相互独立，每一类样本可以独立进行处理242023/3/30在满足四个假设条件下，可以将c类概率密度估计问题转化为c

个独立的密度估计问题，分别单独进行处理记号：待求的参数向量待求的概率密度，并表示θ有关252023/3/30在统计学中似然函数的定义N个随机变量x1,…xN

的似然函数是N个随机变量的联合密度这是θ的函数262023/3/30设某一类样本集有N

个样本它们是独立地按照概率密度p(x|θ

)抽取出来的（独立同分布样本）272023/3/30似然函数为

含义：从总体中抽取x1,…xN

这样N个样本的概率（可能性）282023/3/30最大似然估计的主要思想：在已经得到试验结果的情况下，我们应该寻找使这个结果出现的可能性最大的那个

作为真

的估计。

如果在一次观察中一个事件xi出现了，则我们可以认为这一事件出现的可能性很大。现在，事件（x1,…xN

）在一次观察（从概率总体中抽取一组样本）中居然出现了，则我们认为似然函数l(θ)

应该达到最大值。292023/3/30最大似然估计量：设l(θ)

是样本集X＝{x1,…,xN}

的似然函数，如果是参数空间Θ

中使似然函数l(θ)极大化的θ值，则称是θ的最大似然估计量（估计子）302023/3/30便于分析，可以取似然函数的对数，即对数函数是单调增函数，H(θ)与l(θ)的最大点相同312023/3/30求最大似然估计量的方法如果H(θ)满足一定数学性质（连续可微），可以直接应用高等数学的知识来求最大点，即求梯度（偏导数），令其等于零，解线性或者非线性方程组得到估计量322023/3/30设梯度算子332023/3/30从中求解出θ的最大似然估计量342023/3/30说明：1有可能存在多个解最大似然估计示意图352023/3/302有可能求不出正确的解（比如均匀分布）均匀分布N=100没有极大值点对数似然函数362023/3/30两者至少有一个为无穷大，显然不合理372023/3/30最大解决方法：就令参数等于:382023/3/302.3.2正态分布参数的最大似然估计值单变量正态分布的概率密度函数要求的未知参数（均值与方差）392023/3/30我们已知N

个一维样本集问题：利用最大似然估计法，针对上述样本集，求出均值与方差的估计值402023/3/30412023/3/30422023/3/30最大似然估计量满足的方程432023/3/30均值方差442023/3/30对于多元正态分布的概率密度函数均值向量协方差矩阵452023/3/30解释：正态总体均值的最大似然估计量是学习样本的算术平均正态总体方差的最大似然估计量是N

个矩阵的算术平均462023/3/302.3.3用身高、体重区分男女生的例子到现在为止，我们知道：Bayes决策理论概率密度参数的最大似然估计下面讲一个简单的应用472023/3/30我们的任务可能是：大学生男女同学在身高、体重方面的差别？大学生男女同学在身高、体重方面是否存在明显的界限？用同学们的身高、体重来区分男女同学？解决的方案：已讲的分类方法来处理482023/3/30模式识别系统的基本构造数据获取预处理特征提取与选择分类器设计分类决策训练过程决策过程只考虑特征形成492023/3/30数据获取：给每一个同学发一张小纸条，要求同学将自己的身高(cm)、体重(kg)、性别(男、女）资料写在上面，最后收集小纸条502023/3/30数据预处理：检查身高数据与单位、体重数据与单位是否有问题，如身高以m为单位，体重以斤为单位，如有则统一改成cm

和kg是否有野值数据，如，身高200cm

体重100kg512023/3/30特征形成：每一个同学有三个数据：性别（类别标识）身高（第一个特征）体重（第二个特征）+117065+117570……-116050-115545…….522023/3/30收集整理的样本构成两个样本集，各包含50个男女同学的数据：样本集1（50个男生、50个女生）：作为训练样本集样本集2（50个男生、50个女生）：作为测试样本集532023/3/30样本集1样本集2男女542023/3/30Byes分类器设计假设男女生样本分别满足各自的正态分布，针对样本集1，利用最大似然估计方法分别求出男女生的均值向量和协方差矩阵552023/3/30男生：均值向量和协方