多元统计分析课件(聚类分析)

多元统计分析之聚类分析聚类分析的定义及应用场景聚类分析是一种无监督学习方法，它将数据点划分为不同的组或簇，使同一簇中的数据点彼此相似，而不同簇中的数据点彼此不同。客户细分：根据客户特征将客户群体划分为不同的子集，以便更好地理解和服务客户。文档分类：将文本文档根据内容相似性进行分类，例如将新闻文章分类为政治、体育、娱乐等。图像分割：将图像分割为不同的区域，例如将图像中的物体从背景中分离出来。聚类分析的特点与优势数据挖掘聚类分析是一种无监督学习技术，可以帮助发现数据集中隐藏的结构和模式。分组将相似的数据点分组，以便更好地理解和分析数据，从而做出更明智的决策。自动发现无需预先设定分类标签，聚类算法可以自动识别数据中的相似性，从而进行分组。聚类分析的基本原理相似性度量通过计算样本之间的距离或相似度来衡量它们之间的亲近程度。聚类规则根据相似性度量结果，将样本划分到不同的类别或组中。优化目标寻找最佳的聚类方案，使得同一类别内的样本相似度最大化，而不同类别之间的样本相似度最小化。聚类分析的一般步骤1数据准备数据清洗、预处理2选择距离度量根据数据类型选择合适的距离度量3选择聚类算法根据数据特点选择合适的聚类算法4确定聚类数量使用肘部法则或轮廓系数等方法5结果评估评估聚类结果的有效性和稳定性距离度量的几种方式欧氏距离最常用的距离度量，基于直线距离计算。曼哈顿距离基于坐标轴方向上的距离计算，常用于城市街区距离测量。明氏距离欧氏距离和曼哈顿距离的泛化，可通过参数控制距离的计算方式。Euclidean距离2维度两个点之间的距离√计算平方根∑加和各维度差值的平方Minkowski距离公式D(x,y)=(∑i=1n|xi-yi|p)1/p参数x,y：两个数据点；p：幂参数应用p=1：曼哈顿距离；p=2：欧氏距离Pearson相关系数定义Pearson相关系数，也称皮尔逊积矩相关系数，用来衡量两个变量之间的线性相关程度。取值范围为-1到1，正值表示正相关，负值表示负相关，0表示不相关。计算公式r=Σ[(Xi-X̄)(Yi-Ȳ)]/√[Σ(Xi-X̄)²Σ(Yi-Ȳ)²]其中，Xi和Yi分别表示两个变量的第i个样本值，X̄和Ȳ分别表示两个变量的平均值。层次聚类方法1自下而上凝聚聚类算法，从单个样本开始，逐步合并相似样本，形成更大的簇。2自上而下分裂聚类算法，从所有样本构成一个簇开始，逐步将不相似样本划分到不同的簇中。凝聚聚类算法自下而上将每个样本视为一个独立的类，逐步合并距离最近的两个类，直至所有样本聚集成一个类。层次分明形成一个层次化的树状结构，可以根据需要在不同层次上划分样本。易于可视化通过树状图直观展示聚类过程，方便理解和分析结果。分裂聚类算法自上而下从所有数据点开始，并将它们视为一个单一簇。然后根据某个准则将这个簇分裂成两个子簇。递归分裂对每个子簇重复分裂过程，直到满足某个停止条件，例如簇的数量达到预设值或簇内方差小于某个阈值。典型算法常见的分裂聚类算法包括二分K均值算法(bisectingk-means)和基于方差的划分算法(variance-basedpartitioning)。k-means算法的原理1随机初始化随机选取k个数据点作为初始聚类中心2分配样本计算每个样本点到所有聚类中心的距离，将其分配到距离最近的聚类中心所在的簇中3更新中心重新计算每个簇中所有样本点的平均值，作为新的聚类中心4迭代更新重复步骤2和3，直到聚类中心不再发生明显变化k-means算法的特点速度快，尤其在处理大数据集时。易于理解和实现，不需要调整过多的参数。对球形或椭圆形聚类效果较好。k-means算法的实现过程1初始化随机选择k个数据点作为初始聚类中心。2分配将每个数据点分配到距离其最近的聚类中心所在的簇。3更新重新计算每个簇的中心点，将其设置为该簇中所有数据点的平均值。4迭代重复步骤2和3，直到聚类中心不再发生明显变化。确定聚类数量k的方法肘部法则该方法根据不同的k值，计算相应的误差平方和（SSE），并在图像中绘制SSE与k的关系曲线。SSE通常会随着k值的增加而减小，但是当k值达到最佳值时，SSE的下降速度会明显减缓，形成一个“肘部”。轮廓系数该方法计算每个样本点与所属簇中其他样本点的平均距离（a）和与其他簇中样本点的平均距离（b），并定义轮廓系数为（b-a）/max（a，b）。轮廓系数越大表示聚类效果越好。凝聚系数和轮廓系数指标描述凝聚系数表示同一簇内样本间的紧密程度，数值越大，聚类效果越好。轮廓系数衡量样本点与其所属簇的相似度，数值越大，聚类效果越好。评价聚类效果的指标1轮廓系数衡量每个样本点与其所属簇的相似度，以及与其他簇的差异度，数值越大越好，表明聚类效果越好。2兰德指数通过比较实际聚类结果和真实标签，计算一致性，数值越大越好，表明聚类结果与真实标签越接近。3卡尔林斯基-哈拉巴斯指数衡量簇间距离和簇内距离，数值越大越好，表明簇内样本距离越近，簇间样本距离越远。4密度指标评估每个簇的紧密程度，即簇内样本点的密集程度，密度越高，聚类效果越好。无监督学习VS有监督学习有监督学习有标签数据，算法学习标签和数据之间的关系。例如，分类和回归问题。无监督学习无标签数据，算法从数据中发现模式。例如，聚类分析和降维。聚类分析案例1：客户细分客户细分是将客户群划分为不同组，以满足特定需求。例如，企业可以使用聚类分析将客户群分为高价值、中价值和低价值客户，并针对每个组制定不同的营销策略。聚类分析案例2：商品分组基于商品属性（价格、品牌、类别等），将相似商品分组，方便商品陈列、促销策略制定和库存管理。例如，将同一品牌的服装、同一价位的商品、同一类别的商品等进行分组，便于消费者快速找到目标商品，提升购物体验。聚类分析案例3：图像分割图像分割是将图像分成多个区域的过程，每个区域具有相似的特征，例如颜色、纹理或形状。聚类分析可以用于图像分割，将像素分组到不同的类中，从而形成不同的区域。例如，可以使用聚类分析将图像中的背景和前景分开，或将图像中的不同物体分开。在医学图像分析、自动驾驶等领域，图像分割技术具有广泛的应用。聚类分析的优缺点总结优点无需人工标注数据，可自动发现数据中的潜在结构和模式。可以用于对大型数据集进行分类和分析，并可以帮助用户理解数据的分布特征。缺点聚类结果的质量取决于数据的特征和选择的聚类算法。可能存在对异常值的敏感性，导致聚类结果不稳定。难以确定最佳的聚类数量和聚类方法。聚类分析与其他算法的结合1增强学习聚类分析可用于识别环境状态，为强化学习提供信息。2深度学习深度学习模型可以应用于特征提取，提高聚类结果的准确性。3决策树聚类分析可以作为决策树算法的预处理步骤，将数据划分成更小的子集。聚类分析在实际应用中的技巧选择合适的距离度量根据数据的类型和特征选择合适的距离度量，如欧式距离、曼哈顿距离、余弦距离等。确定最佳聚类数量通过肘部法则、轮廓系数等方法来评估聚类数量，选择最优的聚类结果。处理异常值异常值会影响聚类结果，需要进行预处理，例如删除或替换异常值。评估聚类效果使用合适的指标评估聚类效果，例如轮廓系数、兰德指数等。聚类分析发展趋势展望人工智能融合与人工智能技术结合，实现更加智能化、自动化的聚类分析。大数据处理处理海量数据，提升聚类分析的效率和准确性。云