数据科学导引 课件 聚类模型_第1页
数据科学导引 课件 聚类模型_第2页
数据科学导引 课件 聚类模型_第3页
数据科学导引 课件 聚类模型_第4页
数据科学导引 课件 聚类模型_第5页
已阅读5页,还剩48页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

聚类模型目录第一部分引言第二部分K-Means聚类第三部分层次聚类第四部分DBSCAN第五部分案例与实战引言俗话说:“物以类聚,人以群分”,在自然科学和社会科学中,存在着大量的聚类问题。聚类模型的应用非常广泛,比如在商业应用中,聚类模型可以帮助市场分析人员从消费者数据库中区分出不同的消费群体来,并从中概括出每一类消费者的消费模式。啤酒消费人群:年轻族,关注体育运动洋酒消费人群:年轻族,消费力高,关注奢侈品白酒消费人群:有消费能力的中年人,关注投资理财消费群体聚类结果投资理财白酒汽车洋酒奢侈品动漫啤酒体育运动网购聚类对象:一组数据样本聚类模型的本质:根据指定的聚类评判标准(Cluster

Criterion),将数据样本聚成几个不同的簇,这些簇满足以下两个条件相同簇的样本之间距离最近不同簇的样本之间距离最远与分类模型不同的地方是:聚类模型要求所划分的类是未知的。聚类分析基本概念聚类分析的过程可以分成四个步骤:数据预处理(标准化)构造样本相似度矩阵聚类(选取合适的聚类方法)确定最佳聚类个数聚类分析聚类分析的过程常用的聚类模型有:K-Means层次聚类DBSCAN聚类分析常用的聚类模型目录第一部分引言第二部分K-Means聚类第三部分层次聚类第四部分DBSCAN第五部分案例与实战

聚类分析K-Means聚类聚类分析K-Means聚类示例

聚类分析K-Means聚类应用

聚类分析算法求解过程

K-Means

算法过程:随机选择K个点作为初始质心Repeat:将数据集中的每个点指派到最近的质心所代表的簇,形成K个簇重新计算每个簇的质心直到簇的质心不再发生变化聚类分析算法求解过程

聚类分析质心选取方法

聚类分析K-Means复杂度优点:算法实现简单、直观缺点:需事先指定K值聚类结果依赖于初始K个质心的选择容易陷入局部最优不易处理非簇状数据聚类结果容易受异常值影响聚类分析K-Means优缺点

聚类分析二分K-Means算法

为了改进K-Means算法容易受异常值影响的问题,K-Medoids

算法选取每个簇中到簇内其他点的距离之和最小的样本作为簇中心点,即质心是原始数据集中的某个点聚类分析K-Medoids算法K-MedoidsK-Means目录第一部分引言第二部分K-Means聚类第三部分层次聚类第四部分DBSCAN第五部分案例与实战

层次聚类方法将数据样本组成一棵聚类树。根据层次分解是以自底向上(合并)还是自顶向下(分裂)方式,层次聚类方法可以进一步分为凝聚的和分裂的。凝聚层次聚类分裂层次聚类层次聚类方法的局限性:一旦合并或分裂执行,就不能修正。即,如果某个合并或分裂决策在后来证明是不好的选择,该方法也无法退回并更正。聚类分析层次聚类

聚类分析层次聚类示例分裂层次聚类凝聚层次聚类给定需要聚类的N个样本以及相似性矩阵,层次聚类的基本步骤如下:1.将每个样本归为一类,共得到N类,其中类与类之间的距离就是它们所包含的样本之间的距离。2.将最相似的两个类合并成一类3.重新计算新的相似性矩阵4.重复第2步和第3步,

直到将数据合并成一个类为止。根据步骤3的不同,可将层次式聚类方法分为几类:Single

Linkage

聚类法Complete

Linkage

聚类法Average

Linkage

聚类法聚类分析层次聚类工作原理

聚类分析Single

Linkage聚类法

聚类分析Complete

Linkage聚类法

聚类分析Average

Linkage聚类法

聚类分析GAS算法

聚类分析GDS算法层次聚类一次性地得到了整个聚类的过程,想要分多少个簇都可以直接根据树图来得到结果,改变簇的数目不需要再次计算数据点的归属类别。Single

Linkage

聚类法和Complete

Linkage

聚类法代表了簇间距离度量的两个极端,它们对离群点或噪声数据过分敏感。Average

Linkage

聚类法是一种折中方法,它可以克服离群点敏感性问题。层次聚类的缺点是计算量大,而且错分在层次聚类中是不可修正的,一旦某个样本被分到某个聚类中,则该样本永远停留在该聚类中。聚类分析层次聚类算法总结市面上的汽车种类繁多,令很多消费者难以选择,不同公司不同产地的不同型号的汽车通过人工对比是一件工作量很大的任务。但是我们可以根据每种汽车的各个参数,利用聚类算法来快速进行聚类,快速识别出性能相似的汽车。本案例基于ISLR包[R]中的Auto数据,数据集中共有392个样本,每个样本有8个变量

聚类分析案例介绍首先对原始数据集做标准化处理其次利用R语言中的dist(data,

method=“”)函数来计算样本间的距离,其中包括6种不同的距离测量方法:“euclidean”,“maximum”,“manhattan”,“canberra”,“binary”和“minkowski”接下来利用hclust()函数构建层次聚类模型,选择该函数中的Average

Linkage

聚类法进行聚类,得到树状图最后利用cutree()函数来指定聚类个数,并提取样本所属的类别标签数据聚类分析层次聚类过程聚类分析树状图为了便于展示,我们利用MDS方法对距离矩阵进行降维,用不同的颜色来表示聚类的结果从右图可以看出,该模型较好地将数据集分割成三个簇聚类分析聚类结果从分组汇总结果中可以看出,第一个簇主要是豪华汽车,其主要特点是排量大、马力大、加速快;第二个簇主要是紧凑型轿车,其主要特点是油耗低、车身轻、马力小;第三个簇则是中高端轿车。聚类分析聚类结果与层次聚类相比,K-Means的聚类过程简单很多:首先对原始数据集做标准化处理其次直接利用R语言中的kmeans(data,

centers=“”)来构建聚类模型最后分组汇总并得出各个簇的整体情况聚类分析K-Means聚类过程目录第一部分引言第二部分K-Means聚类第三部分层次聚类第四部分DBSCAN第五部分案例与实战由于层次聚类算法和K-Means聚类算法往往只能发现凸形的聚类簇。为了弥补这一缺陷,发现任意形状的聚类簇,人们开发出基于密度的聚类算法。DBSCAN是一个比较有代表性的基于密度的聚类算法,该算法的目标是寻找被低密度区域分离的高密度区域。聚类分析密度聚类

聚类分析密度基本定义聚类分析密度基本定义

聚类分析DBSCAN算法基本概念

聚类分析DBSCAN算法原理

聚类分析DBSCAN算法原理聚类分析DBSCAN算法示例

聚类分析DBSCAN

V.S

K-MeansDBSCANK-Means聚类结果不是完全分割能处理不同形状和大小的簇能处理噪音和异常点要求密度的定义有意义处理高维数据时效率较低对数据分布没有任何假定聚类结果完全分割偏向于球形聚类出现异常点时聚类效果差要求聚类中心的定义有意义处理高维数据时效率高隐含数据服从高斯球形分布

聚类分析DBSCAN算法评价

聚类模型评估指标大致分为两类:外部指标:适用于有标注数据,将聚类结果与已知类标签进行比较内部指标:适用于无标注数据,根据聚类结果中簇内相似度和簇间分离度进行聚类质量评估聚类分析模型评估

聚类分析符号定义

聚类分析符号定义Same

ClusterDifferent

ClusterSame

class

SSDSDifferent

classSDDD参考模型聚类模型

聚类分析外部指标Same

ClusterDifferent

ClusterSame

class

SSDSDifferent

classSDDD

聚类分析内部指标

聚类分析内部指标目录第一部分引言第二部分K-Means聚类第三部分层次聚类第四部分DBSCAN第五部分案例与实战市场细分是指营销者通过市场调研,依据消费者的需要和欲望、购买行为和购买习惯等方面的差异,把某一产品的市场整体划分为若干消费者群的市场分

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论