概率密度函数的估计非参数估计

1、第3章 概率密度函数的估计,总体分布的非参数估计,前面的方法 密度函数的形式已知 存在问题 密度函数的形式常常未知 一些函数形式很难拟合实际的概率密度 经典的密度函数都是单峰的，而在许多实际情况中却是多峰的,因此用非参数估计,总体分布的非参数估计,非参数估计 处理问题 直接用已知类别样本去估计总体密度分布p(x|i) 需要计算p(x|i)的每个点的值 方法 用样本直接去估计类概率密度p(x|i)以此来设计分类器, 如窗口估计 用学习样本直接估计后验概率p(i|x)作为分类准则来设计分类器如k近邻法,本章只考虑第一种方法,总体分布的非参数估计,概率密度函数估计的基本思想 一个随机变量x落在区域R

2、的概率为P,p(x)是要求的x的概率密度,概率P是p(x)在区域R上平滑或平均后得到的概率,我们可以通过估计P来估计p(x)的平滑值,总体分布的非参数估计,估计概率P 假设有N个样本X=(x1, x2, xN)T都是独立同分布的，概率密度函数是p(x)。 N个样本中有k个落入在R内的概率符合二项分布，即: 其中P是样本x落入R内的概率 Pk是k个样本落入R内的概率,总体分布的非参数估计,估计概率P 则随机变量k的数学期望: E(k)=NP k可以直接从训练样本估计得到 根据N个训练样本中落入区域R的样本数k,可得到概率P的一种估计，为,总体分布的非参数估计,估计概率p(x) 设p(x)在R内连

3、续变化 当R逐渐减小的时候,小到使p(x)在其上 几乎没有变化时，则,总体分布的非参数估计,估计概率p(x) 密度p(x)的估计: 上式就是对x点概率密度p(x)的估计值,V足够小,真实概率是 0.7,横坐标是k/N,纵坐标是概率分布,总体分布的非参数估计,p(x)估计值的收敛性讨论 当V固定的时候 N增加, k也增加, 当 时， 则k/N在概率上收敛 但我们只能得到p(x)的空间平均估计， 即,必须让体积V趋于零,总体分布的非参数估计,p(x)估计值的收敛性讨论 N固定,体积V变小 当 时,如果k=0 当 时,如果k0,所以如果样本有限，则估计值一定有方差,总体分布的非参数估计,p(x)估计

4、值的收敛性讨论 考虑无限多样本情况 构造一串包括x的区域序列R1,R2,RN. 对R1采用1个样本进行估计， 对R2采用2个样本进行估计， VN是RN的体积，KN是N个样本落入VN的样本数则,密度的第N次估计,总体分布的非参数估计,p(x)估计值的收敛性讨论 若pN(x)收敛于p(x)应满足三个条件,总体分布的非参数估计,两种非参数估计方法 Parzen窗口估计 使得序列VN以N的某个函数的关系不断缩小 并对随机变量kN和kN / N加上必要的限制条件，确保估计值的收敛 例如: kN近邻估计 让kN为N的某个函数，而VN的选取是使相应的RN正好包含x的kN个邻域 例如,Parzen窗口估计 使

5、得序列VN以N的某个函数的关系不断缩小 并对随机变量kN和kN / N加上必要的限制条件，确保估计值的收敛,KN近邻估计 让kN为N的某个函数，而VN的选取是使相应的RN正好包含x的kN个邻域,Parzen窗口估计,假设RN为一个d维的超立方体，hN为超立方体的长度 超立方体体积为： 定义窗函数,Parzen窗口估计,落入超立方体的样本数为: 代入，得Parzen窗法的基本估计公式,Parzen窗口估计,保证估计量pN(x)为密度函数而对窗口函数的限制,Parzen窗口估计,窗函数 d=1，窗口为一线段d=2，窗口为一平面 d=3，窗口为一立方体 d3，窗口为一超立方体 窗函数选择,Parze

6、n窗口估计,窗函数宽度对幅度的影响,窗函数越宽，幅度越小,二维正态对称Parzen窗口,Parzen窗口估计,窗函数宽度对估计结果的影响,二维正态对称Parzen窗口,训练样本数为5,窗函数宽度对分类器边界的影响,窗函数宽度较窄,决策边界复杂,窗函数宽度较宽,决策边界平滑,Parzen窗口估计,估计量pN(x)的性质 希望达到,Parzen窗口估计,估计量pN(x)的性质 限制条件 (1) pN(x)在x点连续 (2)窗函数满足 (3)窗宽受下列条件约束,Parzen窗口估计,kN近邻估计,窗函数法问题(对hN的选择问题) 若hN选太小，则大部分体积将是空的（即不包含样本），从而使PN(x)估计不稳定。 若hN选太大，则PN(x)估计较