《机器学习项目开发实战》-课件 12. 项目四 - 任务四

无监督学习项目实战-客户市场细分层次聚类尝试CONTENTSOrderNow01任务描述02知识储备03任务实施04任务评价/01任务描述任务描述任务：客户市场细分应用层次聚类技术对《商场顾客数据》（Mall_Custom.csv）中的消费行为数据进行细分，识别具有相似消费行为模式的顾客群体。在此过程中，注重探讨如何在层次聚类过程中有效地定位每个细分群体的中心点，以便更准确地描述各个群体的特征和核心倾向。/02知识储备层次聚类算法定义将每个数据点最初视为一个独立的簇，然后按照一定规则逐步合并最相似的簇，直到达到预定目标链接准则全链接两簇中最远两点的距离单链接两簇中最近两点的距离平均链接所有点对的平均距离工作原理计算距离矩阵根据选定的距离度量方法，计算所有数据点之间的距离，生成距离矩阵。初始化将每个数据点视为一个独立的簇合并最近的簇根据链接准则，找到距离最近的两个簇并将其合并为一个新的簇更新距离矩阵重新计算新簇与其他簇之间的距离，更新距离矩阵优缺点不需要预先指定簇的数量完整的簇层次结构小规模数据集解释性高优点对异常值敏感计算复杂度较高簇的合并过程不可逆早期错误影响大不足VS分裂层次聚类把所有数据点最初视为一个整体簇，然后逐步划分为更小的子簇，直至满足条件。算法步骤01初始化将所有数据点视为一个簇。02计算簇内异质性评估每个簇的内部异质性，选择最不均匀的簇进行分裂。03分裂簇将选定的簇划分为两个或多个子簇04更新簇结构将分裂后的子簇加入簇集合，并重新计算簇的异质性优缺点不需要预先指定簇的数量完整的簇层次结构小规模数据集解释性高优点对异常值敏感计算复杂度较高簇的分裂过程不可逆早期错误影响大不足VS比凝聚层次聚类更高效树状图/03任务实施确定最优簇数1importnumpyasnp2importmatplotlib.pyplotasplt3fromscipy.cluster.hierarchyimportdendrogram,linkage4linked=linkage(X,method='ward')5plt.figure(figsize=(10,7))6dendrogram(linked,orientation='top',distance_sort='descending',show_leaf_counts=True)7plt.title('Dendrogram')8plt.xlabel('Customers')9plt.ylabel('Euclideandistances')10plt.show()凝聚层次聚类1fromsklearn.clusterimportAgglomerativeClustering2hc=AgglomerativeClustering(n_clusters=5,linkage='ward')3y_hc=hc.fit_predict(X)1plt.figure(figsize=(8,6))2foriinrange(5):3plt.scatter(X.iloc[np.where(y_hc==i)[0],0],X.iloc[np.where(y_hc==i)[0],1],label=f'Cluster{i+1}')4plt.show()实施聚类结果可视化凝聚层次聚类1centers=[]2foriinrange(5):3center=X.iloc[[np.where(y_hc==i)[0].tolist()][0],:].mean()4centers.append(center)5plt.scatter(center[0],center[1],s=200,c='black',marker='x',label='Centers'ifi==0else"")6plt.title('ClustersofCustomers')7plt.xlabel('AnnualIncome(k$)')8plt.ylabel('SpendingScore(1-100)')9plt.grid(True)10plt.show()中心点标注凝聚层次