Python与机器学习（第2版）项目06观影用户聚类分析

项目背景|项目概述|学习目标|任务实施步骤观影用户聚类分析【数据挖掘应用】01101111011010111101010000101101010100111101背景先导项目概述项目学习目标任务实施步骤01Background02BriefIntroduction03LearningObjectives04ImplementationSteps主要内容《战国策·齐策三》:战国时期，淳于髡向齐宣王连推了七位贤能之士：同类的鸟儿总聚在一起飞翔，同类的野兽总是聚在一起行动。人们要寻找柴胡、桔梗这类药材，如果到水泽洼地去找，恐怕永远也找不到；要是到梁文山的背面去找，那就可以成车地找到。这是因为天下同类的事物，总是要相聚在一起的。什么是聚类分析?用于比喻同类的东西常聚在一起，志同道合的人相聚成群，反之就分开什么是聚类分析?电子商务中的“人以群分、物以类聚”什么是聚类分析?聚类后同一类的数据尽可能聚集到一起不同类数据尽量分离没有特定分成什么类别如何度量相同特征什么是聚类分析？聚类分析（clusteranalysis）将数据划分成有意义的或有用的组(簇)电子商务：聚类分析在电子商务中网站建设数据挖掘中也是很重要的一个方面，通过分组聚类出具有相似浏览行为的客户，并分析客户的共同特征，可以更好的帮助电子商务的用户了解自己的客户，向客户提供更合适的服务。商业：是细分市场的有效工具，同时也可用于研究消费者行为，寻找新的潜在市场、选择实验的市场。生物：用来动植物分类和对基因进行分类，获取对种群固有结构的认识。项目总体要求

观影用户聚类分析

以两部电影的影评数据为蓝本，对所对应的观影用户进行聚类，通过用户群的细分以实现更为合理的客户关系维护与管理。项目三维目标理解无监督学习、聚类的基本概念了解常用的聚类方法及其适用性

（阿里云大数据分析与应用中级1.2.1）掌握sklearn包中常见聚类实现DBSCAN、KMeans的使用进一步掌握数据分析与挖掘常用包NumPy、Pandas、sklearn、Matplotlib的使用方法知识目标能力目标素质目标证项目三维目标会使用sklearn包中的DBSCAN、KMeans类实现聚类应用

（重点：阿里云大数据分析与应用中级5.2.3）会调整聚类分析模型的参数实现分类效果的优化（难点：大数据工程技术人员国家职业技能标准中级6.3.2）会使用Matplotlib、seaborn等包实现聚类效果的可视化知识目标能力目标素质目标岗证011011110110101111010111100100001011010101001111101项目三维目标物以类聚，人以群分，引导学生向最好的学习，做更好的自己，缩小和优秀同学间的差异不断迭代，寻求最优聚类质心，引导学生在学习中不断探索，培养精益求精的工匠精神分析聚类算法的优缺点，培养学生的辩证思维，更全面地认识、解决问题能力目标素质目标知识目标011011110110101111010111100100001011010101001111101观影用户聚类分析流程数据读取聚类分析模型可视化模型评估明确目标以两部电影的影评数据为蓝本，对观影用户进行聚类，通过用户群的细分以实现更为合理的客户关系维护与管理。数据读取聚类分析模型可视化模型评估明确目标从评分数据文件（filmScore.csv）中读取原始数据通过可视化理解原始数据观影用户聚类分析流程数据读取聚类分析模型可视化模型评估明确目标1.使用BDSCAN聚类确定质心个数（簇的数量）2.使用K-Means对相似数据进行聚类观影用户聚类分析流程数据读取聚类分析模型可视化模型评估明确目标使用可视化图表展现所得模型观影用户聚类分析流程数据读取聚类分析模型可视化模型评估明确目标在K-Mean聚类分析方法中，对K的取值使用适当的指标评估聚类模型优劣观影用户聚类分析流程项目实施结果011011110110101111010111100100001011010101001111101得到分类模型还在等什么？马上动手实施观影用户聚类分析项目吧~1.聚类分析的基本概念：clusteranalysis2.聚类分析的基本流程：小结DBSCAN聚类分析任务实施【数据挖掘应用】课程观影用户聚类分析会使用sklearn包中的DBSCAN实现聚类分析应用

重点：阿里云大数据分析与应用中级5.2.3会调整DBSCAN聚类分析模型的参数实现分类效果的优化

难点：大数据工程技术人员国家职业技能标准中级6.3.2会使用Matplotlib包实现聚类模型的可视化能力目标证岗任务内容任务工单引导问题任务评价标准任务解决方案代码解析使用BDSCAN聚类确定质心个数散点图教学难点基于散点图分析两项数据的分布情况，判断基于密度的聚类方法使用的可行性。接着，使用sklearn包中DBSCAN算法实现分析影评数据对用户做聚类，并用图表展现聚类结果。任务概述

任务描述：基于影评数据filmScore.csv，使用BDSCAN确定质心个数。010010011001101010100100110110100101110101000100001011011101001010101101010011010010任务工单

任务要求任务概述最后结果数据源（1）聚类分析与分类分析有何区别？在数据挖掘流程上是否有不同？（2）常见的聚类分析方法有哪些？其适用情境有何不同？（3）基于密度的聚类算法原理是什么？DBSCAN是如何实现聚类的？（4）sklearn中是如何实现DBSCAN聚类分析方法的？写出关键函数与实现步骤。（5）DBSCAN算法中关键参数有哪些？对结果有何影响？”

问题引导：任务概述

任务评价：任务概述评价内容评价要点分值分数评定自我评价1.任务实施数据加载与分析3分数据导入正确得1分，源数据分析与可视化展现完备得2分

模型训练2分模型构建正确得1分，训练顺利执行得1分

聚类结果展现2分能准确展现聚类结果得2分

2.参数调优模型可视化并评估效果2分评估结果详细得1分

3.任务总结依据任务实施情况总结结论1分总结内容切中本任务的重点要点得1分

合计10分

任务解决方案

一、模型训练过程1、初始化分类器2、拟合fit3、预测predict4、准确性评估#data中存储了影评数据fromsklearn.cluster

importDBSCANy_pred=DBSCAN().fit_predict(data)

plt.scatter(data[0],data[1],c=y_pred)任务解决方案

二、模型可视化importmatplotlib.pyplotaspltfrompylabimportmpl#设置字体为SimHei，以显示中文mpl.rcParams['font.sans-serif']=['SimHei']mpl.rcParams['axes.unicode_minus']=False#聚类结果的可视化plt.scatter(data['filmname1'],data['filmname2'],c=y_pred)plt.colorbar()plt.title(u'聚类结果（DBSCAN）')plt.show()任务解决方案

三、DBSCAN()参数调整#调用DBSCAN，确定质心个数y_pred=DBSCAN(eps=1.3,min_samples=20).fit_predict(data)任务解决方案

四、模型可视化进阶importseaborn

assnsdbscan=DBSCAN()

dbscan.fit(data)

data['dbscan_label']=dbscan.labels_

g=sns.FacetGrid(data,hue='dbscan_label')

g.map(plt.scatter,0,1).add_legend()

plt.show()小结1.sklearn中如何实现DBSCAN算法？2.

如何调用sklearn中DBSCAN()实现观影用户聚类？3.

如何可视化聚类模型？稍安勿躁后续会有详细说明与讲解哦~课程负责人：陈清华K-Means聚类分析任务实施【数据挖掘应用】课程观影用户聚类分析会使用sklearn包中的K-Means实现聚类分析应用

重点：阿里云大数据分析与应用中级5.2.3会调整K-Menas聚类分析模型的参数实现分类效果的优化

难点：大数据工程技术人员国家职业技能标准中级6.3.2会使用评估指标对K-Menas聚类分析结果进行评价能力目标证岗主要内容任务工单引导问题任务评价标准任务解决方案代码解析使用K-Means对观影用户进行聚类质心个数教学难点基于前续任务得到的数据，即质心个数，使用K-Means算法实现观影用户的聚类，并区分两个算法的异同。任务概述

任务描述：基于得到的K值，使用K-Means算法实现聚类分析。010010011001101010100100110110100101110101000100001011011101001010101101010011010010任务工单

任务要求任务概述最后结果前续任务的结果：k=3模型评估：不同K值（1）K-Means与DBSCAN聚类方法有何本质上的异同？试结合该应用说明其中的原理。（2）K-Means聚类分析方法在sklearn中是如何实现的？有哪些重要参数会对本任务的分类结果产生重要影响？（3）如何比较两种不同聚类方法的优劣？有哪些关键指标？”

问题引导：任务概述

任务评价：任务概述评价内容评价要点分值分数评定自我评价1.任务实施数据读取与展现1分数据读取与可视化显示正确得1分

模型初始化2分第三方包导入正确得1分，模型构建正确得1分

模型训练与优化2分模型训练能顺利执行得1分，会参数调优得1分

2.效果评估聚类预测与可视化3分能正确展现聚类结果得3分

3.任务总结依据任务实施情况总结结论2分总结内容切中本任务的重点要点得1分，能有效比较方法异同得1分

合计10分

任务解决方案

一、模型训练过程1、初始化分类器2、拟合fit3、预测predict4、准确性评估from

sklearn.cluster

import

KMeans#数据存储在data变量中

num_clusters=3

kmeans=KMeans(

n_clusters=num_clusters,)

kmeans.fit(data)任务解决方案

二、模型可视化#分类结果step_size=0.01x_values,y_values=np.meshgrid(np.arange(x_min,x_max,step_size),np.arange(y_min,y_max,step_size))predicted_labels=kmeans.predict(np.c_[x_values.ravel(),y_values.ravel()])

predicted_labels=predicted_labels.reshape(x_values.shape)#可视化plt.figure()

plt.clf()

plt.imshow(predicted_labels,interpolation='nearest’,extent=(x_values.min(),x_values.max(),y_values.min(),y_values.max()),cmap=plt.cm.Spectral,aspect='auto',origin='lower')任务解决方案

二、模型可视化#显示质心

centroids=kmeans.cluster_centers_plt.scatter(centroids[:,0],centroids[:,1],marker='o',s=200,linewidths=3,color='k',zorder=10,facecolors='black’,edgecolors='white',alpha=0.9)任务解决方案

三、KMeans()参数调整num_clusters=2

kmeans=KMeans(init='K-Means++',n_clusters=num_clusters,n_init=10)

kmeans.fit(data)

n_init=1max_iter=10任务解决方案

四、K值的评估fromsklearnimportmetrics#计算Calinski-Harabasz分数值，Calinski-Harabasz分数值越大，则聚类效果越好metrics.calinski_harabaz_score(X,y_pred)70.238679616405246.9008430347095小结1.sklearn中如何实现K-Means算法？2.

如何调用sklearn中kmeans()实现观影用户聚类？3.

如何评估K-Means聚类模型？稍安勿躁后续会有详细说明与讲解哦~项目背景|项目概述|主要任务|任务实施步骤拓展实训用户聚类分析【数据挖掘应用】课程负责人：陈清华01101111011010111101010000101101010100111101背景先导项目概述项目主要任务任务实施步骤01Background02BriefIntroduction03Tasks04ImplementationSteps主要内容项目总体要求

用户聚类分析

从hws.csv文件中读取数据，并根据身高、体重、性别对用户进行聚类，并选择适当的图表对聚类分析结果进行可视化。最终，为用户推荐合适的产品、提供健身建议。项目实施结果得到聚类模型熟练使用sklearn实现聚类分析应用

重点：阿里云大数据分析与应用中级5.2.3会调整聚类分析模型的参数实现聚类效果的优化

难点：大数据工程技术人员国家职业技能标准中级6.3.2会使用Matplotlib等可视化包实现聚类模型的可视化证岗项目能力目标

一、使用DBSCAN聚类算法依据身高、体重、性别数据进行聚类（1）从hws.csv中