《模式识别原理、应用及实现》 课件 5.5 K-均值算法-实验

模式识别1/justinruan/Learning-ML学以致用，知行合一（实践篇）K均值的编程算例25.5.1K均值算法回顾（1）随机地选择k个样本，每个样本初始地代表了一个簇的平均值或中心。（2）对剩余的每个样本根据其与各个簇中心的距离，将它赋给最近的簇，然后重新计算每个簇的平均值。（3）这个过程不断重复，直到准则函数收敛（比如：质心不变）。3K均值算例使用K-Means算法实现对样本的分类，选择的样本为二维特征，设置两个聚类中心，画出样本聚类情况，并判断[2,3],[6,9]分别属于哪一类。20个样本如下：

[0,0],[1,0],[0,1],[1,1],[2,1],[1,2],[2,2],[3,2],[6,6],[7,6],[8,6],[6,7],[7,7],[8,7],[9,7],[7,8],[8,8],[9,8],[8,9],[9,9]4K均值的实现5训练6计算一个样本到k个中心的距离初始化簇中心7聚类与可视化8预测9K均值与SK-Learn105.5.2sk-learn里的k-均值算法KMeans算法需要指定numberofclusters（簇的数量）。它可以很好地scales（扩展）到largenumberofsamples（大量样本），并已经被广泛应用于许多不同领域的应用领域。11classsklearn.cluster.KMeans(n_clusters=8,init='k-means++',n_init=10,max_iter=300,tol=0.0001,precompute_distances='auto',verbose=0,random_state=None,copy_x=True,n_jobs=1,algorithm='auto')sklearn.cluster.KmeansParametersn_clusters:要形成的簇数init

:初始化方法,defaultsto‘k-means++’n_init:使用不同质心种子运行k-means算法的次数。最终结果将是n_init连续运行的最佳输出。max_iter:最大的迭代次数tol

:算法逐渐收敛的相对容差12classsklearn.cluster.KMeans(n_clusters=8,init=‘k-means++’,n_init=10,max_iter=300,tol=0.0001,......')5.5.2sklearn里的k-均值算法1.生成一组包含两个特征的200个样本，有4个类中心13Kmeans模型拟合设置类别数量为3，并计算出其拟合后的成本在这里，cost是计算训练样本到其所属的聚类中心点的距离的总和14显示聚类的结果15这里聚成3类,成本为-668不同k的聚类结果1611.3K-均值对文档进行聚类分析有一个博客平台，用户在平台上发布博客，我们如何对博客进行聚类分析，以方便展示不同类别下的热门文章呢？准备数据我们使用前面使用过的语料库“数据20news-18828.tar.gz”选择语料库的一部分生成聚类用的样本集，（四个主题的文档，3949个文档）1711.3.2加载数据集18计算TF-IDF向量19计算TF-IDF设定的参数：Max_df=0.4表示一个单词在40%的文档中出现过，则它是高频词，对聚类没有作用，将它从词典中剔除。Min_df=2表示一个单词只在2个以下的文档里出现（词频太低），则也将它从词典中剔除。Max_features将词典按TF-IDF权重从高到低进行排序，然后取前面权重高的单词构成词典。11.3.3文本聚类分析20将要进行3次聚类分析，选择最好的聚类结果输出inertia_：float样本到它们最近的聚类中心的距离平方和。21clusteringdocuments...InitializationcompleteIteration0,inertia7480.523Iteration1,inertia3843.548Iteration2,inertia3829.504Iteration3,inertia3824.543Iteration4,inertia3822.478Iteration5,inertia3821.589Iteration6,inertia3821.275Iteration7,inertia3821.143Iteration8,inertia3821.053Iteration9,inertia3821.030…Iteration13,inertia3820.988Iteration14,inertia3820.981Iteration15,inertia3820.975Iteration16,inertia3820.971Iteration17,inertia3820.969Convergedatiteration17:centershift0.000000e+00withintolerance4.896692e-07InitializationcompleteIteration0,inertia7535.355Iteration1,inertia3843.625Iteration2,inertia3832.804Iteration3,inertia3828.910Iteration4,inertia3826.489Iteration5,inertia3824.398Iteration6,inertia3823.290Iteration7,inertia3822.602Iteration8,inertia3822.134Iteration9,inertia3821.872...Iteration25,inertia3821.390Iteration26,inertia3821.387Iteration27,inertia3821.381Iteration28,inertia3821.380Iteration29,inertia3821.377Convergedatiteration29:centershift0.000000e+00withintolerance4.896692e-07InitializationcompleteIteration0,inertia7456.814Iteration1,inertia3843.981Iteration2,inertia3830.044Iteration3,inertia3823.183Iteration4,inertia3821.185Iteration5,inertia3820.410Iteration6,inertia3819.913Iteration7,inertia3819.584Iteration8,inertia3819.396Iteration9,inertia3819.244…Iteration39,inertia3817.791Iteration40,inertia3817.782Iteration41,inertia3817.772Iteration42,inertia3817.768Iteration43,inertia3817.766Convergedatiteration43:centershift0.000000e+00withintolerance4.896692e-07kmean:k=4,cost=3817donein40.76606011390686seconds3次聚类的过程观察聚类结果22正确解：3，3，3，0，1，0，1，3，1，0哪些单词的权重高？23Argsort()：把一个Numpy数组进行升序排列，返回的是排序后的索引。[:,::-1]是把升序变成降序Argsort函数哪些单词的权重高？24Toptermspercluster:Cluster0:anymybyknowmeyourlikeanyoneoutsoCluster1:spacehenrynasatorontozooshuttlespencerpatmoonorbitCluster2:mymsgshepittgordon