第3章 概率密度函数估计 西安电子科技大学

1、第三章概率密度函数估计，3.1概率密度函数估计的概要3.2参数估计的基本概念和评价标准3.3概率密度函数的参数估计3.4概率密度函数的非参数估计课题，3.1概率密度函数估计的概要第二章介绍了一些经典的统计分类确定规则，其中介绍了已知的先验概率P(i )和库但是，在许多情况下，只有有限数目的样本可以使用，并且p(x|i )和P(i )是未知的，需要从现有样本执行参数估计，并且将估计用作真值。 因此，在统计分类确定中，将分类器的设计过程分成两个阶段：的第一步骤利用统计估计中的估计理论，根据样本集估计p(x|i )和P(i )，分别标记为和的第二步骤将估计量和统计分类确定规则代入该估计量和统计分类确

2、定规则，以实现分类器设计这种分类器设计过程被称为基于样本的两级统计分类决策。 当然，基于样本的两级统计分类器的性能与理论上的统计分类器不同。 期望在样本数目为n时，基于样本的分类器收敛到理论结果。 实际上，利用统计学上的估计量的性质，如果可以说明的话，n时，和分别收敛于p(x|i )和P(i )。 根据概率密度函数的形式是否已知，概率密度函数的估计分为参数估计和非参数估计。 (1)参数估计是已知的概率密度函数的形式，其中有未知的参数时，使用样本集来估计概率密度函数的参数。 例如，在p(x|i )是平均值为I、协方差矩阵为I的正态分布的情况下，只需要估计I和I。 参数估计的方法很多，大致可分为确

3、定性的参数估计方法和随机的参数估计方法。 确定性参数估计方法是未知的，其中将参数视为确定性，并且典型的方法是最大似然估计。 随机参数估计方法是将未知参数设为具有某个分布的随机变量，典型的方法是贝叶斯估计。 (2)非参数估计是在概率密度函数的形式未知的条件下利用直接样本来估计概率密度函数。 常用的非参数估计方法是Parzen窗法和kN近邻法。3.2参数估计的基本概念和评估标准3.2.1参数估计的基本概念1 .设观测样本为x1、x2、xN，并且统计量g(x1、x2、xN )为x1、x2、xN的(可测量)函数，与未知参数无关。 统计量的概率分布称为采样分布。 2 .参数空间由未知参数的所有允许值组成

4、的集合称为参数空间。 3 .点估计、估计量和估计点估计是用于确定待保留的参数的单一估计，并且是以统计量作为参数来构建的估计。 在统计学上被称为推定量。 把样品的观测值代入统计量g，在统计学上可以得到被称为估计值的具体数值。 【例3.1】一维观测样本Xi=svi (I=1，2，n )中以：s为信号的vi为噪声。 信号s的估计(量)可以是样本平均值，即，4 .区间估计可以使用样本分布来被设定为可能位于参数位置的区间，即，请求的区间d1、d2的值范围的估计。 该区间被称为置信区间，并且这样的估计被称为区间估计。 本章中，估计概率密度函数的几个参数是点估计问题。 3.2.2参数估计的评价基准是一个估计

5、的“好坏”，仅靠一次采样结果得到的估计值和参数真值的偏差来决定，因此需要进行统计分析。 以下是对预期性能的说明。 1 .无偏差(估计的平均性质)定义3.1估计量的平均值为真值，即，如果所有E()=(3-1)，则被称为无偏差估计。 若式(3-1)不成立，则存在偏置估计，定义的偏差为B()(3-2)，例如，在例3.1中，如果噪声为零平均，则可以在所有的I，E(vi)=0处进行s的偏置估计，相反，由于有偏差的估计。 如果对于所有的定义3.2，(3-3)，则=g(x1，x2，xN )为渐进无估计。 【例3.2】考虑稳态过程中的自相关函数R(l)=Ex(t)x(t l)的两个估计，试着确认这两个估计没有

6、偏差。解可以预期到上述等式2 :很明显，R(l )为无偏差的估计，但R(l )为有偏差的估计(其中，渐进偏差)，而非R(l )为无偏差的估计，即，R(l )为有偏差的估计(其中，渐进偏差) 2.Cramer-Rao下界(估计的方差的性质)除了偏差以外，估计的基本特性也出现在方差中。 一般来说，很难得到正确的方差，希望得到能达到方差的下限。 以下定理3.1示出了在无偏差估计的方差中存在一个下限，通常被称为Cramer-Rao下限。 定理3.1x=(x1，x2，xN )为样本向量，p(x|)为x的联合概率密度函数与参数相关。 如果是没有偏差的估计，存在的话，只有在这种情况下，上式的等号成立。 其中

7、，(3-5)是Fisher信息量，是Cramer-Rao下限。 证明是，是，无偏差的估计，可，可，上式的两侧求偏导，有，所以，(3-6)，即，(3-7)，从柯西-施瓦茨不等式得到的，(3-8)，也就是，(3-9)，只有当时，上式的等号成立。 其中k ()是不包含x的正函数之一。 注意：是没有偏差的估计，因为E()=，所以、另一方面，在两侧求偏导，(3-13 )，如果得到希望，(3-14 )，另一方面， 在两侧求出偏导是、(3-15 )，此外，(3-16 )，再求出的偏导是、(3-17 )、(3-18 )、可得、(3-19 )，因此，(3-20 )、【例3.3 )观测样本是xn=A vn(n=1

8、， 对于被表达为2，2，N)vn零平均值、方差2的高斯白噪声并可以求出a的无偏估计的cramer的解x=(x1，x2，xN )的联立概率密度函数，上式的两边取对数，并求出有、a的偏导，根据定理3.1获得的、a的无偏估计如果是，则更有效，、定义3.3方差中的任一者等于Cramer-Rao的下限的无偏差估计被称为优良估计。 一种有效的估计是最有效的估计，并且因为方差最小，所以也称为无偏差的估计。 例如，对于示例3.3，如果观测样本彼此独立，则是有效估计。 对于不完整和无偏差的估计，必须考虑偏差和方差，即平均误差标准。 根据一种估计，平方误差被定义为，(3-22 )，选择具有较小平方误差的标准，即，

9、如果是则选择平方误差的标准。 简单推导证明，(3-23 )是无偏差的估计，平方误差是方差。4 .一致度(推定的渐进特性)定义3.4=g(x1，x2，xN )是一致推定(弱一致推定)，在采样量n的情况下，概率地，(3-24 )，或者等价地，(3-25 )，下面的定理3.2给出了一致推定的充分条件。 定理3.2=g(x1，x2，xN )是基于n个观测样本所获得的估计。那么，的匹配估计。 根据证明，、或、其中，若满足显性函数，即，中的条件，则取1，否则取0。 例如，根据上述公式，在示例3.3中，如果观测样本彼此独立，则估计a匹配。 如果定义3.5均方收敛了，则其以均方一致估计的概率1收敛了，则被称为

10、强一致估计。 以概率1收敛几乎到处都称为收敛。 由于均方收敛和在概率1下收敛意味着在概率上收敛，所以均方的匹配和强匹配包含弱的匹配。 3.3概率密度函数的参数推定概率密度函数的参数推定中，假设：参数是未知量的类条件概率密度p(x|j )具有正态分布、指数分布、分布等特定的函数形式，但一部分参数是未知的。 p(x|j )涉及参数j，标记为p(x|j，j )。 本节主要介绍了监视参数的估计方法。 假定样本集合具有m个类型，按类别划分样本集合以获得m个样本子集X1、X2、Xm。 其中，Xj中的所有样本都是从概率密度函数为p(x|j )的总体中提取的，且类Xi中的样本仅向I提供信息，而不提供有关j(j

11、i )的任何信息。监视参数估计的问题是从自样本提供的信息中获得参数1、2、m (按类获得参数)的估计。 我们可以利用Xj中的样本估计j，j=1，2，m。 由此，代替j，删除p(x|j，j )的类别标志j，能简化符号。 3.3.1最大似然估计最大似然(ML )估计是用常用的有效方式，求出使得似然函数最大化的参数值作为估计。 某种类型的样本集X=x1，x2，xN具有概率密度p(xk|)，且样本被独立提取。 n个随机样本的联合密度是被称为，(3-26 )，p(x|)的样本集合x的似然函数。 p(x|)为函数，标记为l ()，则为、(3-27 )，如果最大似然估计法的基本思想是：事件x=x1，x2，x

12、N出现在观察(从整个概率中提取样本)中，则认为p(x|)达到了最大值。 使p(x|)为最大值是最大似然估计，ML，也就是，最大似然估计ML可以用， (3-28 )、(3-29 )求出。 在许多情况下，特别是在指数密度函数中，使用似然函数的对数比似然函数本身更方便和简洁。 由于对数函数单调递增，所以使对数似然函数最大化的值也必然使似然函数最大化。 l ()的自然对数被称为对数似然函数，记为h ()即，(3-30 )，求出上式对的偏振为零的解时，同样地得到ML即，(3-31 )，如果有p个成分，则为，1，2，pT。 根据以下p个联立方程式确定：(3-32 )，但实际上，式(3-32 )的p个联立方

13、程式只是最大似然估计的必要条件。 如果式(3-32 )的解能够使似然函数最大，则为最大似然估计。 如果式(3-32 )没有唯一的解，就根据情况进行取舍。 【例3.4】考虑一维正态分布的参数估计。 样本(一维) x1、x2、xN都通过独立的采样试验采集，密度函数服从正态分布，其平均和方差未知，求出平均和方差的最大似然估计。 假设解为1=，2=2，=(1，2 ) t，则xk的密度函数设定为，样本的似然函数、和对数似然函数，从、联立方程式获得平均值和方差值的最大似然估计分别遵循d元正态分布， 当假定该平均向量和协方差矩阵是未知的时，xk的密度函数通过类似的导出，使得平均向量和协方差矩阵的最大似然估计

14、分别在贝叶斯估计中把未知参数视为具有某个分布的随机变量，并将该密度函数设为p ()并使由此产生的风险最小化作为属于参数空间的参数，作为判定空间a中的一个估计，和的非负的实数值函数c (，)表示用估计支付的成本，而称为成本函数。 一维参数常用的成本函数有以下三个。 (1)绝对偏差：(2)平方偏差：(3)均匀偏差：它们的示意图如图3-1所示，其中估计误差。 另外，将定义图3-1的成本函数的示意图(a )绝对偏差(b )平方偏差(c )均匀偏差、3.6成本函数c (，)的数学期待称为风险函数，记为r，即，(3-33 )，将使风险函数最小化的估计称为Bayes估计。 样本集X=x1，x2，xN，风险函

15、数可以用积分形式表示，(3-34 )，由于p(x1，x2，xN )为非负，所以，最小时可以使R=EC (，)最小，(3-35 )，成本函数可以用平方偏差和均匀函数表示1 .二次成本函数的拜耳估计成本函数为平方偏差，此时，可获得二次成本函数的拜尔估计为：(3-37 )，(3-38 )，是在某个样本集x1，x2，xN的条件平均。 2 .均匀成本函数的Bayes估计成本函数是均匀偏差，在这种情况下，风险函数是(3-39 )，因此，当它小时，(3-40 )，因此，其中，是最大值。 此时，拜尔估计根据下式求出：(3-42 )，在这种情况下，将该估计称为最大后概率估计。 在这种情况下，该估计被称为最大后验

16、概率估计。 对于个别参数的估计，可以使用式(3-37 )或式(3-41 )求各个参数的估计。当p ()遵循均匀分布时，即，在所有情况下，当p ()是常数时，可以容易地证明最大后验概率估计和最大似然估计的结果相同。 【例3.5】一维样本组X=x1、x2、xN作为从正态分布n (，(2)获得的样本组，并且其平均值是未知的参数，方差2是已知的。 未知的参数是随机的参数，并且先验分布n (0，20 )，0，20是已知的。 求出的贝叶斯估计。 根据上式可见，对解二次代偿函数的贝叶斯估计是请求，在第一个获得的后验分布p(|X )中，比例系数为、所以，上式中所有不相关的因子都包括在因子中。 因而，p(|X

17、)是二次函数的指数函数，所以是正态密度函数，p(|X )是N(N，2N )，即=、的贝叶斯估计是=、密度函数p(|X )的平均值、或样本平均值mN和预平均0的线性组合，两者的系数为非负和，所以n为mN 另外，通常，当n为00时，增加NmN，即，样本数目n，可以从所述样本获得不随机且0变化的n。 如果0=0，则N=0，先验值0是可靠的，因此无论观测哪个样本结果都不会改变。 如果是，N=mN，表示事先值没有被充分把握。 只要/0不是无限大，如果增加样本数，则n接近mN，所以0、20的具体值不太重要。 所谓、3.3.3贝叶斯学习，是指在求出未定参数的后验分布后，不进行估计，而是直接求出整体分布p(x|X )，即、(3-43 )，现在还需要研究p(x|X )是否收敛于p(x )。 在此，p(x )是x的真整体分布，其参数是真参数。 为了清楚地描述样本集x中的样本数目，用XN表示由n个样本组成的样本集，XN=x1，x2，XN。 假设样本之间是独立的，则在n-1的情况下，(3-44 )和后验概率与样本数量之间的关系为、(3-45 )，并且随着样