R语言数据分析与挖掘-聚类分析

概述01102聚类距离度量01层次聚类0104K-均值聚类03K-中心点聚类0106密度聚类05集群评估及验证0107概述201PAGE3聚类算法概述聚类方法种类繁多，常用聚类算法如下：3算法名称算法描述层次聚类层次聚类也叫多系谱聚类或系统聚类，算法将产生一个聚类层次，并将聚类层次以系统树图（dendrogram）的形式展现，该算法不需要事先指定簇的个数。K-均值聚类K-均值聚类也叫快速聚类或扁平聚类，与系谱聚类不同，K-均值聚类不会生成聚类层次，并且算法需要事先确定簇的个数，在最小化误差函数的基础上将数据划分为预定的类别数K。该算法原理简单并便于处理大量数据，性能要优于层次聚类。K-中心点聚类K-均值聚类算法对孤立点敏感、鲁棒性差，K-中心点算法不采用簇中对象的平均值作为簇中心，而在类别内选取到其余样本距离之和最小的样本为中心。密度聚类该算法将分布稠密的样本划分到同一个簇，并过滤掉那些低密度的区域。期望最大化聚类系谱、K-Means和K-Medoids聚类都采用启发式方法构建聚类，不需要依赖任何形式化模型，而基于模型的聚类算法则事先假设存在某个数据模型，并应用EM算法试图求出最近的模型参数以及簇个数。聚类距离度量402PAGE5聚类距离度量将观察分类成组需要一些方法来计算每对观察之间的距离或相似性。该计算的结果称为相异度或距离矩阵。距离测量的选择是聚类的关键步骤，它定义了如何计算两个元素（x，y）的相似性，它将影响聚类的形状。常用的距离包括绝对值（曼哈顿）距离、欧氏距离、明氏距离、切比雪夫距离、余弦距离、Pearson和Spearman相关距离。假设x，y是两个长度为n的向量，各种距离定义如下所示。5PAGE6距离计算R语言实现R语言有许多函数用于计算样本间的距离矩阵，常用的有base包的dist()函数、factoextra扩展包的get_dist()函数和cluster扩展包的daisy()函数。factoextra和cluster扩展包均可以通过install.packages(“包名”)进行在线安装。dist()函数的基本表达形式为：dist(x，method=“euclidean”，diag=FALSE，upper=FALSE，p=2)get_dist()函数也是只能计算数值矩阵行之间的距离矩阵，与dist()函数相比，它还支持基于相关的距离度量，包括“pearson”、“kendall”和“spearman”方法；该函数还有参数stand（默认为FALSE），如果设置为TRUE时，则使用scale()函数对数据矩阵进行标准化后再计算距离矩阵。daisy()函数可以处理混合型数据矩阵（如同时包含连续型变量、名义型变量和顺序型变量的数据）。参数metric提供了euclidean（默认值）、manhattan和gower三个选项，当输入数据中有某列不是数字时，则会自动选用gower选项。该方法会将变量标准化到[0,1]之间。接着利用加权线性组合的方法来计算最终的距离矩阵。不同类型变量的计算方法如下所示：（1）连续型变量：利用归一化的曼哈顿距离。（2）顺序型变量：首先将变量按顺序排列，然后利用经过特殊调整的曼哈顿距离。（3）名义型变量：首先将包含k个类别的变量转换成k个0-1变量，然后利用Dice系数做进一步的计算。6层次聚类703PAGE8层次聚类基本原理层次聚类可以分为凝聚(agglomerative，自底向上)和分裂(divisive，自顶向下)两种方法来构建聚类层次。（1）凝聚层次聚类：这是一种自底向上的聚类算法。算法开始时，每个观测样例都被划分在单独的簇中，算法计算得出每个簇之间的相似度(距离)，并将两个相似度最高的簇合并成一个簇，然后反复迭代，直到所有的数据都被划分在一个簇中。（2）分裂层次聚类：这是一种自顶向下的聚类算法。算法开始时，每个观察样例都被划分在同一个簇中，然后算法开始将簇分裂成两个相异度最大的小簇，并反复迭代，直到每个观测样例属于单独的一个簇。需要注意的是，距离的测量涉及两个层面的问题。第一，观察样例之间的距离；第二，类与观察样例或类与类之间的距离的度量。8PAGE9层次聚类R语言实现层次聚类分析常用的函数有hclust()、cutree()及rect.hclust()，这三个函数均来自stats包，在层次聚类中发挥着各自不同的作用。（1）hclust()函数：用来实现层次聚类算法，其基本格式非常简单，仅含有三个参数：

hclust(d,method="complete",members=NULL)其中，d为待处理数据集样本间的距离矩阵，可用dist()函数计算得到；参数method用于选择聚类的具体算法，可供选择的有ward.D2、single及complete等7中，默认选择complete方法；参数members用于指出每个待聚类样本点/簇是由几个单样本构成，该参数默认值为NULL，表示每个样本点本身即为单样本。（2）cutree()函数：对hclust()函数的聚类结果进行剪枝，即选择输出指定类别数的层次聚类结果。其基本格式为：

cutree(tree,k=NULL,h=NULL)其中，tree为hclust()的聚类结果，k为需要划分的类别数，h为高度。（3）rect.hclust()函数：可以在plot()形成的系谱图中将指定类别中的样本分支用方框表示出来，十分有助于直观分析聚类结果。其基本格式为：

rect.hclust(tree,k=NULL,which=NULL,x=NULL,h=NULL,border=2,cluster=NULL)9PAGE10层次聚类示例利用美国国家的暴力犯罪率数据(USArrests)为例，来讲解这三个函数的使用方法。10>str(USArrests)#查看数据结构'data.frame': 50obs.of4variables:$Murder:num13.2108.18.897.93.35.915.417.4...$Assault:int236263294190276204110238335211...$UrbanPop:int58488050917877728060...$Rape:num21.244.53119.540.638.711.115.831.925.8...>hc<-hclust(dist(scale(USArrests),method="euclidean"),+method="ward.D2")#层次聚类算法>hcCall:hclust(d=dist(scale(USArrests),method="euclidean"),method="ward.D2")Clustermethod:ward.D2Distance:euclideanNumberofobjects:50>plot(hc,hang=0.1)>rect.hclust(hc,k=4,border="red")>library(factoextra)>fviz_dend(hc,k=4,rect=TRUE)PAGE11聚类树形可视化让我们来详细学习如何对聚类结果进行更个性化的树形图绘制：（1）factoextra扩展包：利用fviz_dend()函数轻松创建一个基于ggplot2的美丽树形图。（2）dendextend扩展包：用来操纵树形图。这两个扩展包都可以通过以下命令安装：install.packages(c(“factoextra”,”dendextend”))fviz_dend()函数基于ggplot2很容易绘制漂亮的树形图，还提供了绘制圆形树状图和系统生长树的类型。其基本表达形式为：fviz_dend(x,k=NULL,h=NULL,k_colors=NULL,palette=NULL,

show_labels=TRUE,color_labels_by_k=TRUE,label_cols=NULL,

labels_track_height=NULL,repel=FALSE,lwd=0.7,type=c("rectangle","circular","phylogenic"),

phylo_layout="layout.auto",rect=FALSE,rect_border="gray",

rect_lty=2,rect_fill=FALSE,lower_rect,horiz=FALSE,cex=0.8,main="ClusterDendrogram",xlab="",ylab="Height",sub=NULL,

ggtheme=theme_classic(),...)

该函数有非常多的参数，其中参数x是聚类结果对象，包括hclust、agnes、diana、hcut、hkmeans

或HCPC(FactoMineR)；参数k是将树形图分为多少个簇的值；参数h表示通过高度h处来切割柱状图（k覆盖h）；参数type表示需要绘制的类型，包括“矩形”、“圆形”、“系统生长树”；参数horiz表示是否绘制水平树状图；参数ggtheme用于设置ggplot2包的主题风格。11PAGE12聚类树形可视化示例12>hc<-hclust(dist(scale(USArrests),method="euclidean"),+method="ward.D2")#层次聚类算法>#自定义颜色>fviz_dend(hc,k=4,+k_colors=c("skyblue","violetred3","springgreen2","yellow4"),+color_labels_by_k=TRUE,+rect=TRUE,+rect_border=c("skyblue","violetred3","springgreen2","yellow4"),+rect_fill=TRUE)>fviz_dend(hc,k=4,+k_colors="uchicago",type="circular")>fviz_dend(hc,k=4,+k_colors="uchicago",type="phylogenic")PAGE13比较聚类树形图dendextend

扩展包可用于比较R语言中的簇树形图。常用的功能有以下两种：

tanglegram()：用于比较两个树形图的可视化

cor.dendlist()：树枝状结构列表之间的相关矩阵13>library(dendextend)>#对mtcars进行转置>df<-t(mtcars)>#计算距离矩阵>df.dist<-dist(scale(df),method="euclidean")>#计算两个层次聚类>hc1<-hclust(df.dist,method="average")>hc2<-hclust(df.dist,method="ward.D2")>#创建两个dendrograms对象>dend1<-as.dendrogram(hc1)>dend2<-as.dendrogram(hc2)>#创建一个列表来保存两个树形图>dend_list<-dendlist(dend1,dend2)>dendlist(dend1,dend2)%>%+untangle(method="step1side")%>%#寻找最佳布局+tanglegram(lab.cex=1.3)K-均值聚类1404PAGE15K-均值聚类原理K-均值（K-Means）聚类是一种经典的聚类算法，属于划分聚类算法，即进行一层划分得到k个簇。与层次聚类算法开始不需要指定簇数不同，k-均值算法需要用户事先确定好簇的个数。k-均值聚类算法的效率要优于层次聚类，适合用于大数据快速聚类。15PAGE16K-均值聚类R语言实现在R语言中，可以利用kmeans()函数进行K-Means聚类算法。其基本表达形式为：

kmeans(x,centers,iter.max=10,nstart=1)其中参数x为数值矩阵、数值变量的数据框或数值向量；参数centers为需要划分的簇个数；参数iter.max为最大迭代次数，默认最大值为10；参数nstart为选择随机起始中心点的次数，默认为1，通常建议尝试nstart>1。16>df<-iris[,1:4]#选取前四列>#寻找最有的簇k值>library(factoextra)>fviz_nbclust(df,kmeans,method="wss")++geom_vline(xintercept=3,lty=2,col="steelblue",lwd=1)>set.seed(1234)#设置随机种子，保证每次运行结果一致>km.res<-kmeans(df,3,nstart=25)#构建k-means聚类>names(km.res)#查看k-means聚类结果包含的对象[1]"cluster""centers""totss""withinss""tot.withinss"[6]"betweenss""size""iter""ifault“>#绘制二元聚类图>fviz_cluster(km.res,iris[,1:4])K-中心点聚类1705PAGE18K-中心点聚类原理K-中心点聚类与K-均值聚类在原理上十分相近，它是针对K-均值聚类易受极值影响这一缺点的改进算法。在原理上的差异在于选择各类别中心点时K-中心点聚类不取样本均值点，而在类别内选取到其余样本距离之和最小的样本为中心。18PAGE19K-中心点聚类R语言实现用R语言cluster扩展包中的pam()函数实现K-中心点聚类，该函数的基本表达形式为：

pam(x,k,diss=inherits(x,"dist"),metric=c("euclidean","manhattan"),medoids=NULL,stand=FALSE,cluster.only=FALSE,

do.swap=TRUE,

keep.diss=!diss&&!cluster.only&&n<100,

keep.data=!diss&&!cluster.only,

pamonce=FALSE,trace.lev=0)其中，参数x与k分别表示待处理数据及类别数；metric用于选择样本点间距离测算的方式，可供选择的有“euclidean”与“manhattan”；mediods默认取NULL，即由算法选择初始中心点样本，也可指定一个k维向量来指定初始点；stand用于选择对数据进行聚类前是否需要进行标准化；cluster.only用于选择是否仅获取各样本所归属的类别(Clustervector)这一项聚类结果，若选择TRUE，则聚类过程效率更高；keep.data选择是否在聚类结果中保留数据集。还可以利用fpc扩展包的pamk()函数实现K-中心点算法。该函数不要求用户输入k的值，而是调用函数pam()或函数clara()根据最优平均阴影宽度估计的聚类簇个数来划分数据。19PAGE20K-中心点聚类示例20>df<-iris[,1:4]#选取前四列>#寻找最有的簇k值>library(factoextra)>fviz_nbclust(df,pam)>#k-medoids算法>if(!require(cluster))install.packages("cluster")>pam.res<-pam(df,2)>#绘制二元聚类图>fviz_cluster(pam.res,iris[,1:4])>library(mclust)>library(mvtnorm)>library(fpc)>pamk.res<-pamk(df)#K-mediods聚类>pamk.res$nc#查看簇数[1]2>par(mfrow=c(1,2))>plot(pamk.res$pamobject)>par(mfrow=c(1,1))密度聚类2106PAGE22密度聚类原理除了使用距离作为聚类指标，我们还可以使用密度指标来对数据进行聚类处理，将分布稠密的样本与分布稀疏的样本分离开。基于密度的聚类算法能够挖掘任意形状的簇，此算法把一个簇视为数据集中密度大于某阈值的一个区域。DBSCAN(Density-BasedSpatialClusteringofApplicationswithNoise)是最著名的密度聚类算法。基于密度聚类的基本思想是只要样本点的密度大于某阈值，就将该样本添加到最近的簇中。这类算法能克服基于距离的聚类算法只能发现“类圆形”(凸)的聚类的缺点，其可以发现任意形状的聚类，且对噪声数据不敏感。基于密度聚类的优点在于其根据点的密度聚类，不需要用户指定生成的簇个数，能够处理噪声数据，也能处理任意形状和大小的簇。而其缺点在于当簇的密度变化太大或数据的维度较高时，密度聚类的参数比较难以定义。22PAGE23密度聚类R语言实现fpc扩展包中的dbscan()函数用于实现DBSCAN聚类算法，其函数格式如下：

dbscan(data,eps,MinPts=5,scale=FALSE,method=c("hybrid","raw","dist"),seeds=TRUE,showplot=FALSE,countmode=NULL)

其中，参数data为待聚类数据集或距离矩阵；eps为考察每一样本点是否满足密度要求时，所划定考察领域的半径；MinPts为密度阈值，当考察点eps领域内的样本点数大于等于MinPts时，该点才被认为是核心对象，否则为边缘点；scale用于选择是否在聚类前先对数据集进行标准化；method用于选择如何处理data，其中“hybrid”表示data为距离矩阵，“raw”表示data为原始数据集，且不计算其距离矩阵，“dist”也将data视为原始数据集，但计算矩阵聚类矩阵；showplot用于选择是否输出聚类结果示意图，取值为0、1、2，分别表示不绘图，每次迭代都绘图、仅对子迭代过程绘图。23PAGE24密度聚类示例24>library(fpc)>data("multishapes")>#数据可视化>library(ggplot2)>ggplot(data=multishapes,+aes(x=x,y=y,shape=factor(shape),color=factor(shape)))++geom_point()>#k-means算法及结果可视化>set.seed(123)>km.res<-kmeans(multishapes[,1:2],5,nstart=25)>fviz_cluster(km.res,multishapes[,1:2],geom="point",+ellipse=FALSE,show.clust.cent=FALSE,+palette="jco",ggtheme=theme_classic(),+main="K-Means聚类结果可视化")>#密度聚类算法及结果可视化>db<-dbscan(multishapes[,1:2],eps=0.15,MinPts=5)>fviz_cluster(db,data=multishapes[,1:2],stand=FALSE,+ellipse=FALSE,show.clust.cent=FALSE,+geom="point",palette="jco",ggtheme=theme_classic(),+main="DBSCAN聚类结果可视化")集群评估及验证2507PAGE26估计聚类趋势-可视化对于给定的数据集，需评估该数据集是否存在非随机结构。盲目地在数据集上使用聚类方法返回的一些簇可能是误导。仅当数据中存在非随机结构，对数据集的聚类分析才有意义。聚类趋势用于评估数据集是否具有有意义聚类的非随机结构。一个没有任何非随机结构的数据集，尽管聚类算法可以为该数据集返回簇，但这些簇是随机的，没有任何意义。应该在对数据集进行聚类之前评估其聚类趋势。26>#数据准备>df<-iris[,1:4]>random_df<-apply(df,2,+function(x){runif(length(x),min(x),(max(x)))})>random_df<-as.data.frame(random_df)>df<-scale(df)>rarandom_df<-scale(random_df)>#数据可视化>#PlotIrisdataset>fviz_pca_ind(prcomp(df),title="PCA-Irisdata",+habillage=iris$Species,palette="jco",+geom="point",ggtheme=theme_classic(),+legend="bottom")>#Plottherandomdf>fviz_pca_ind(prcomp(random_df),title="PCA-Randomdata",+geom="point",ggtheme=theme_classic())PAGE27估计聚类趋势-统计量我们用统计方法来衡量聚类趋势。霍普金斯统计量（HopkinsStatistic）是一种使用空间统计量来检验变量的空间分布随机性。factoextra扩展包的get_clust_tendency()函数能返回Hopkins统计量，返回结果是一个包含两个元素的列表：hopkins_stat和plot。27>#计算Hopkins统计量>#Iris-data>res1<-get_clust_tendency(df,n=nrow(df)-1,graph=FALSE)>res1$hopkins_stat[1]0.1815219>#Random-data>res2<-get_clust_tendency(random_df,n=nrow(random_df)-1,graph=FALSE)>res2$hopkins_stat[1]0.5292388可以看出，iris数据集是高度可聚类的（H值=0.182，远小于阈值0.5）。但是random_df数据集不可聚集（H=0.53）。PAGE28确定数据集中的簇数确定数据集中的最佳簇数是分层聚类中的基本问题，例如K-k均值聚类，其要求用户指定要生成的聚类数k。不过不幸的是，这个问题没有明确的答案。群集的最佳数量在某种程度上是主观的，并且取决于用于测量相似性的方法和用于分层的参数。一个简单而流行的方法是解决方案包括检查对使用分层聚类生成的树形图可视化，以查看它是否表明聚类的簇数量特定数量的聚类。但是，这种方法也是主观的。如果没有任何先验知识，一个经验规则建议设置k等于sqrt(n/2)，其中，n表示数据集中的样本总数。然而，该经验规则可能会导致大型数据集中的聚类簇数比较庞大。因此另一种经验规则建议将k设置为2~10，不断尝试寻找最优聚类簇数。幸运的是，还有其他的统计方法可以帮助找到合适的聚类簇数。肘部法（elbowmethod）的技术计算试图对于不同的k值，类内部的同质性或者异质性是如何变化的。随着k值的增大额外的类加入，期望类内部的同质性是应该是期望上升的；类似地，异质性也将随着k的增大随着越来越多的类而持续减小。所以我们的目标不是最大化同质性或者最小化异质性，而是要找到一个k，使得高于该值之后的收益会发生递减，这个k值就是成为肘部点(elbowpoint)，因为它她看起来像一个人的肘部，俗称“拐点”。有许多用来度量类内部同质性或和异质性的统计量可以与肘部法一起使用。。常用的统计量有聚类簇内总平方和（wss）、平均轮廓系数（silhouette）和差距统计（gapstatistic）。28PAGE29确定数据集中的簇数的R语言实现actoextra扩展包的fviz_nbclust()函数可以绘制肘部法的K曲线，统计量指标包括wss、silhouette和gapstatistic。该函数的基本表达形式为：

fviz_nbclust(x,FUNcluster,method=c(“silhouette”,“wss”,“gap_stat”))其中参数x是数值矩阵或数据框；参数FUNcluster是聚类算法，包括kmeans、pam、clara、fanny和hcut；参数method是统计量，默认是平均轮廓系数。29>library(factoextra)>df<-scale(iris[,1:4])>#wssmethod>fviz_nbclust(df,kmeans,method="wss")++labs(subtitle="Wssmethod")>#Silhouettemethod>fviz_nbclust(df,kmeans,method="silhouette")++labs(subtitle="Silhouettemethod")>#Gapstatisticmethod>#nboot=50tokeepthefunctionspeedy.>#recommendedvalue:nboot=500foryouranalysis.>#Useverbose=FALSEtohidecomputingprogression.>set.seed(123)>fviz_nbclust(df,kmeans,nstart=25,method="gap_stat",nboot=50)++labs(subtitle="Gapstatisticmethod")Clusteringk=1,2,...,K.max(=10):..doneBootstrapping,b=1,2,...,B(=50)[one"."persample]:50PAGE30集群验证聚类分析仅根据数据本身将样本分