数据挖掘大作业课件

1、使用knn方法的信息论聚类,大纲,背景 相关知识 算法介绍 实验 总结,大纲,背景 相关知识 算法介绍 实验 总结,背景,聚类：把数据对象划分为子集的过程 应用：机器学习、模式识别、商业智能。 聚类方法：划分方法、层次方法、基于密度的方法、基于网格的方法,聚类方法,非参数信息论聚类,信息理论学习（ITL）方法： 过程：,是美国弗罗里达计算神经工程实验室的研究员们历时超过十年时间完成的，这个理论横跨了数字信号处理，信息论，机器学习等多门学科,该理论的核心是利用信息论中信息摘和离差的描述符和作为非参数代价函数去训练有监督或者无监督的自适应学习系统，因此而称作信息理论学习,采取的方法是基于Renyi

2、的二阶熵的使用梯度下降的方法进行全局优化,本文工作,改进的knn ITC的方法 分层方法来优化KNN信息论的代价函数 两个不同的k值 与Parzen窗做比较,大纲,背景 相关知识 算法介绍 实验 总结,Knn概率估计函数,数据源：有D维数据集 Knn的概率估计：,其中 (X)是以x为中心第k个近邻的超体积,其中(*)是伽玛函数 | | 2 是向量x到第k个近邻欧氏距离的模,Parzen窗,核函数密度估计： 窗函数类型, = 1,| 1 2 0,其他, = 1 2 exp 1 2 2, = |,方窗,正态窗,指示窗,相关结果,Silverman规则 其中,CS散度,Renyi的二次熵 柯西-施瓦

3、茨散度： Renyi形式： 一般化：,改进的CS散度,Knn的估计熵： Knn的交叉熵： 改进后的CS散度：,大纲,背景 相关知识 算法介绍 实验 总结,算法流程,X1， X2Xn,A a1,a2.an,B b1,b2.bn,C c1,初始的Kinit个簇,未标签的数据点,算法流程,X1， X2Xn,A a1,a2.an,B b1,b2.bn,C c1,A a1,a2.x3.x5.,B b1,b2.x1,xn.,C c1,c2.x4,x9.,J cs 最小,算法流程,假设 J cs , J cs , J cs ,Aa1,a2.x3.x5.,B b1,b2.x1,xn.,C c1,c2.x4,x

4、9.,计算最小的 J cs +.,+c1.,A a1,c1,x1,B b1,cn,xn,伪代码,参数选择,K init 和 N init 的选择： K值的选择：,不属于关键参数，只要不要太小即可,簇与簇间 即 为k = 1 簇内 或 k = K max,大纲,背景 相关知识 算法介绍 实验 总结,实验,数据集为wine数据 K init 为（1012）， N init 为80%, 为（23） 来源UCI数据库（加州大学欧文分校）,基准数据,不同算法间准确率的比较,人脸图像,数据为300张的“Fery faces” 分辨率（28*20） 数据来源：/roweis/data.html,聚类结果比较,遥感图像数据,分辨率为（1000*1000） 150像素覆盖云图，150个像素覆盖陆地,遥感图像数据,算法准确率：,鲁棒性分析,合成数据集,复杂度分析,大纲,背景 相关知识