非参数统计-非参数密度估计

第八章非参数密度估计

8.1非参数密度估计直方图是最基本的非参数密度估计。假定有数据{x1,x2,…,xn},将它由小到大排序，得到数据覆盖的区间(a,b)，对该区间等间距地分为k组，记为I1,I2,…,Ik，计算Ii中的频率ni/n，则密度估计为：其中，hn是归一化参数，表示每组的组距，称为带宽（窗宽）。注意：针对连续型的总体X.鲑鱼和鲈鱼的身长(260条)例8.1鲈鱼比鲑鱼的身长要长。hist(A[,1],20)推广直方图的密度函数定义。X∈Rd1）若V很小，密度值局部变化很大，呈现多峰不稳定的特点；2）若V较大，从而使估计过于平滑。如何在稳定与过度平滑之间寻找平衡？方法（1）固定体积不变；（2）固定ni不变；核估计和k-近邻估计。8.2核密度估计设区域R是Rd空间上的d维立方体,其体积为Vn,h是R的边长,对任意的x={x1,x2,…,xn},定义x的邻域函数:落入x邻域的样本数称为Parzen窗密度估计核密度估计的定义

定义8.1假设数据x1,x2,…,xn取自连续分布p(x),定义核密度估计只要核函数满足:本节主要讲一维的密度估计。常用核函数以高斯核函数为例用S-Plus编程计算密度估计值.1)调用数据文件A<-read.table("E:\\各种电子课件\\非参数统计\\data\\newfish.txt",header=T,sep=",")2)建立高斯函数文件Ga<-function(x,h,A){(1/260*h)*sum((1/sqrt(2*pi))*exp(-0.5*((x-A[,1][1:260])/h)^2))}以高斯核函数为例3)调用函数文件source("d:\\S文件\\Ga.s")4)求函数值>z<-Ga(1,1,A)>z[1]0.013474255)画图>x<-seq(1,26,length=52)>z<-rep(0,52)>for(iin1:52){z[i]<-Ga(x[i],1,A)}(首先找到A[,1]向量中的最小和最大值,1.09和25.37)>plot(x,z,type="l")带宽对估计量的影响h=1h=2h=0.2Parzen窗函数为核函数h=5当带宽h=0.2时,密度函数曲线比较粗糙,噪声很多;当带宽h=1时,密度函数曲线比较平滑,较为理想;而带宽h=5时,密度函数曲线最平滑的,但信息损失很多;如何选择合适的带宽,是核函数密度估计的关键.带宽对估计量的影响考虑估计的均方误差.均方误差分析:带宽hn越小,核估计的偏差越小,但方差会增大.带宽hn越大,核估计的偏差大,但方差会变小.说明hn的变化,不可能同时使核估计的偏差和方差变小.只有同时使两者达到一种平衡.实际上,h的选取要根据数据和密度估计的情况不断调整.模式分类问题一些实际问题:鉴定某河流的污染程度;通过检查某些指标,诊断某人是否得了某种疾病;设备的故障诊断问题;……1.假设ω1——鲑鱼，ω2——鲈鱼，它们的先验概率为：应用密度估计对数据进行分类2.分别估计鲑鱼和鲈鱼的概率密度：3.归类原则：(贝叶斯公式)分类问题序号数值P(ω1|x)P(ω2|x)实际类别判断类别113112250219123197170329213719.622.314.078.517.37.66.36.522.12.00.8230.7310.5230.3230.5460.3230.5860.2380.9230.0370.1770.2690.4770.6770.4540.6770.4140.7620.0770.96311001001101110100010分类问题优缺点评价：样本量较大，才能保证一定的精度；分类精度的评价;分类方法.k-近邻估计在核密度估计方法的基础上，让体积随样本点的密集性发生改变。当样本点密集处，选取体积小；当样本点稀疏时，选取体积大。程序实现1.产生函数R(x,k)knear<-function(A,x,k){na<-nrow(A)or<-1:nadis<-NULLfor(iin1:na){dis<-c(dis,(abs(x-A[i,1])))}ra<-rank(dis)find.k<-or[ra<k+1]knear<-max(abs(A[find.k,1]-x))return(knear)}程序实现2.k-近邻密度估计x<-seq(min(A[,1]),max(A[,1]),length=50)z<-rep(0,50)for(iin1:50){z[i]<-5/(260*knear(A,x[i],5))}plot(x,z,type="l")图形显示k=5k=3图形显示k=10k=40k-近邻估计思考：k-近邻估计应用于分类k-近邻估计方法分类序号数值R(x,5|ω1)R(x,5|ω2)实际类别判断类别11311225021912319717032921371233219.622.314.078.517.37.66.36.522.12.017.36.50.220.110.940.450.910.540.310.510.182.160.210.191.51.20.440.130.690.060.030.1710.20.390.16110010011011110000001010k=3一维情形:k-近邻估计方法分类序号长度x光泽度yR(x,y,5|ω1)R(x,y,5|ω2)实际类别判断类别113112250219123197170329213719.622.314.078.517.37.66.36.522.12.09.294.64.89.83.83.34.88.31.550.6740.6661.591.566