统计机器学习（陈明）myi2ml2e-chap8-v1-0

INTRODUCTIONTO

MachineLearning

2ndEditionETHEMALPAYDIN©TheMITPress,2010alpaydin@.tr.tr/~ethem/i2ml2eLectureSlidesforCHAPTER8:

NonParametricMethods之前的方法均假定数据取自一个（或几个）已知的概率分布或混合分布非参数的方法：让数据自己说话，不对输入密度作任何假设8.1IntroductionParametric: singleglobalmodelsemiparametric:smallnumberoflocalmodels优点：将概率密度、判别式和回归函数均归约为估计一些参数缺点：假设并非总是成立，不成立时可能导致很大的误差特点：获得模型之后，训练数据不再被需要LectureNotesforEAlpaydın2010IntroductiontoMachineLearning2e©TheMITPress(V1.0)4Nonparametric:SimilarinputshavesimilaroutputsFunctions(pdf,discriminant,regression)changesmoothlyKeepthetrainingdata;“letthedataspeakforitself”Givenx,findasmallnumberofclosesttraininginstancesandinterpolatefromtheseAkalazy/memory-based/case-based/instance-basedlearning非参数方法：不存在全局模型，局部模型只受近邻实例的影响算法：使用合适的相似性度量找出相似的实例通过插值得到正确的输出不同的算法在第1和3项有所不同特点：一直存储着训练训练数，标识每一个新实例均需要训练数据缺点：耗存储空间，耗计算时间（因为每新实例均需要重复一次算法）回顾求导F(x)dF(x)/dx≈(F(x+h)-F(x))/h现在F(x)是一个CDF那么，对应的密度函数怎么求？若假定已经有IID样本注意只考虑x其CDF的估计如上。此时，对应的密度函数又如何估计？8.2非参数密度估计由8.2衍生出来的估计密度的方法有HistogramEstimatorNaiveestimatorKernelEstimatorK-NearestNeighborEstimator……8.2.1直方图估计子DividedataintobinsofsizehGivenanoriginxoandabinwidthh任意区间[xo+mh,xo+(m+1)h)内优点：一旦bin确定下来，bin内的样本计数完成，就不再需要存储样本集了。新样本的密度估计取决于其所处的bin缺点：需要选取xoandh，且两者对估计的结果影响大10LectureNotesforEAlpaydın2010IntroductiontoMachineLearning2e©TheMITPress(V1.0)Naiveestimator避免选取起点，但要保留所有样本缺点：每个样本对每个区域的影响（权函数）是“hard”(0or1),因而所得估计不连续，且在xt±h/2处有跳跃.12LectureNotesforEAlpaydın2010IntroductiontoMachineLearning2e©TheMITPress(V1.0)8.2.2KernelEstimator平滑的权函数，得到平滑的估计原权函数：核函数（以高斯核为例）：14LectureNotesforEAlpaydın2010IntroductiontoMachineLearning2e©TheMITPress(V1.0)每个样本对所有点的密度估计有影响核函数的性质h的选择h也可以适应性地变化8.2.3k-NearestNeighborEstimator通过调整近邻系数k控制光滑度，以适应数据的局部密度。估计时不考虑N个样本，仅考虑其中的k个也可以核化17LectureNotesforEAlpaydın2010IntroductiontoMachineLearning2e©TheMITPress(V1.0)Kerneldensityestimator MultivariateGaussiankernel spheric ellipsoid8.3