《非参数统计》课件第9章 概率密度函数的估计

第9章

概率密度函数的估计9.1直方图与概率密度函数9.2核密度估计9.3概率密度的样条估计9.1直方图与概率密度函数

第三步，对数据进行分组，统计落入每组的样本点个数，即频数，就能得到频数或者频率分布表，将表画成图就是直方图。【例9.1】在一项研究中，为了研究学生的数学能力和他们解决问题偏好之间的关系，研究人员通过四个可视化测试收集了68个学生空间能力的数据。对于每个学生，他们的数据被合并成一个单一的分数，给出空间能力的总体评价。数据见教材表9-1.1.概率密度的直方图估计

当样本量n足够大时，根据格林文科定理有

即直方图其实是总体概率密度函数的某种近似。2.直方图估计的缺陷与改进

Rosenblatt估计仍然存在如下问题：

9.2核密度估计9.2.1核函数（KernelFunction）与核密度估计

定义9.1的几点注释：

【例9.2】例9.1数据的Rosenblatt估计。

Rosenblatt估计得到概率密度曲线不连续是它的缺点。在实际应用中，可以选择别的核函数，得到连续的概率密度曲线估计。常用的有以下几种：

在R程序包kedd中，提供上面的全部7种核函数。在实际应用中需要选择合适的核函数；同时，对于选定的核函数，需要考虑适当的窗宽。用高斯核对例9.1的数据在不同窗宽下进行概率密度函数的估计如下图：9.2.2最优窗宽的选择1.拇指准则（ThumbRules）法拇指准则法依赖渐近理论，首先不加证明地介绍几个基本的理论结果。

当真实的概率密度函数与正态分布相近时，这个方法效果很好。而且因为有显示表达式，这个方法的计算速度很快。但是如果真实的概率密度函数与正态分布相去甚远，效果就很差，甚至误导。这是拇指法的缺点。需有其他方法弥补。2.

留一交叉验证法（Leave-One-OutCross-Validation）（1）交叉验证法的基本思想

（2）最大似然交叉验证法

（3）最小二乘交叉验证法

【例9.3】对例9.1数据进行核密度估计，确定最优窗宽。核函数极大似然交叉验证无偏交叉验证gaussian0.10580.0431epanechnikov0.13980.0877uniform0.13650.0773triangular0.14580.0903triweight0.17380.1185tricube0.15610.1048biweight0.15710.1020cosine0.14320.0894本例通过R程序包kedd实现。首先用拇指法确定最优窗宽，kedd包中的h.amise函数能够计算拇指法的窗宽。但是需要选择kernel为gaussian，并且将deriv.order设为0，这是这个函数默认的选项。最大似然交叉验证法的R函数是h.mlcv，无偏交叉验证法的R函数是h.ucv。7种核函数的最优窗宽分别用两种交叉验证法进行计算，代码见教材。结果表明：拇指法最优窗宽的结果为0.1482。对于高斯核，本例数据的两种交叉验证法所得结果都与拇指法有较大不同，这说明拇指法可能不适合本例。此外，最大似然交叉验证法的窗宽比无偏交叉验证法的窗宽在数值上要偏大。但仅从数值上比较没有太大意义。因为两种交叉验证法基于不同的损失函数，有不同的意义。9.2.3自适应窗宽（最近邻法）

狭义上的最近邻法估计概率密度函数，应该选择的核函数是均匀核。但是均匀核有个致命缺点，就是估计的曲线不是平滑曲线，因此也可以将均匀核换成其他光滑的核函数。例如可以换成高斯核，这时的估计是最近邻法的一种推广，可以得到更加平滑的概率密度曲线估计。【例9.4】利用最近邻法估计例9.1数据的概率密度曲线。

9.3概率密度的样条估计9.3.1样条的基本概念

9.3.2对数样条密度估计对数样条密度估计（LogsplineDensityEstimation）是最大似然估计与样条方法的结合，由Kooperberg和Stone在1991年提出。

该方法是基于指数族推导得出的，对于非指数族分布，有众多改进研究。并且对样条函数的选择，也有很多文献进行了讨论。感兴趣的读者可查阅相关文献，例如BakKY,JhongJH,LeeJJ,etal.Penalizedlogsplinedensityestimationusingtotalvariationpenalty.ComputationalStatistics&DataAnalysis,2020:107060.，该研究利用B样条提出了一个改进的半参数方法。节点的选择对于样条方法很重要，节点越多，越能刻画曲线的细节，但也有过拟合的风险，如何恰当选取节点是一个重要问题。关于模型选择，可以采用AIC、BIC等方法实现。在R中概率密度曲线的对数样条估计的程序包是logspline，其中的oldlogspline函数和logspline函数都可以实现概率密度函数的三次样条估计，后者是前者的改进版本，这两个函数都能够自动确定节点并自动选择模型。

分析：分别采用核密度估计和对数三次样条法估计密度曲线。首先产生200个服从题设分布的随机数，再分别利用核密度估计和对数三次样条估计得到概率密度曲线的估计，画出图形，并将真实的概率密度曲线图也一并画出。其中核密度估计采用拇指法确定窗宽，核函数选择高斯核，其余用到的参数均为R中的默认参数，相应程序见教材。运行结果，如图9-6。从图9-6可以看出，两者都得到平滑的曲线估计，对数三次样条法的结果看起来比核密度估计更接近真实的密度曲线。一般来说，核密度估计对曲线尾部概率高估，导致估计的偏差较大；三次样条估计对曲线的尾部概率低估，导致估计的峰值偏大。本例总体是对数正态的混合，尾部概率很小，所以尾部低估带来的误差比高估带来的误差更小。图9-6两种方法估计混合对数正态密度曲线9.3.3惩罚似然估计

【例9.6】利用例9.5的数据，进行惩罚似然估计。分析：在R中有程序包gss可以实现概率密度函数的惩罚似然估计，具体的函数是ssden。首先利用ssden函数得到惩罚似然估计，并用dssden函数计算估计得到的密度函数值，这样就可以画出估计的曲线，相应程序见教材。运行结果如图9-7。估计时的