数据分析与数据挖掘-习题及答案 电子 【ch15】 聚类分析与离群点分析

第15章聚类分析与离群点分析

1.请解释聚类的概念，并举一个聚类的例子。

聚类是一种无监督学习方法，用于将数据样本分为不同的群组或集群，其中每个集群都包含

具有相似特征的数据点。聚类算法的目标是通过最大化每个集群内的相似性，最小化不同集

群之间的差异来划分数据。

举一个聚类的例子是市场细分。假设一家公司想要了解其客户群体并制定针对不同群体的营

销策略。公司收集了有关客户的数据，例如年龄、性别、购买习惯等。他们可以使用聚类第

法将客户分为不同的群组。例如，他们可能发现年轻女性客户倾向于购买时尚产品，而年长

男性客户倾向于购买健身设备。这帮助公司理解并针对不同群体制定个性化的营销策略。

2.简要解释聚类的六种类型，并解释各种类型的主要工作原理。

聚类是•种无监督学习方法，用于将相似的数据样本分经或分类到不同的簇中。存在许多不

同的聚类算法，下面介绍六种常见的聚类类型和它们的工作原理：

1.K-means聚类：K-means是一种基于距离的聚类方法，以簇中心点表示每个簇。它的主要

步睬包括：初始化聚类中心点，计算每个样本点与各个中心点之间的距离，将每个样本点分

配到最近的中心点所在的簇，更新能中心点。这个过程迭代进行，直到簇中心点不再改变或

达到预定的迭代次数。

2.层次聚类：层次聚类是一种聚类方法，它将数据样本组织成一个树状结构，树的节点可

以是单个样本或簇，树的叶节点表示最终的聚类结果。主要有两种方法：凝聚聚类和分裂聚

类。凝聚聚类从每个样本或簇作为单个簇开始，逐步合并最相似的簇，直到达到预设的簇数

Flo分裂聚类从所有样本或簇作为一个簇开始，逐步分裂最不相似的簇，直到达到预设的簇

数目。

3.密度聚类：密度聚类方法将样本密度作为聚类的主要特征。一种常见的密度聚类方法是

DBSCAN,它通过定义样本点之间的邻域来确定聚类簇的边界。通过计算每个样本点的邻域密

度来确定核心点、边界点和噪声点，并将核心点相互连接形成簇。

4.模型聚类：模型聚类方法假设数据样本是由参数化的概率模型生成的。一种常见的模型

聚类方法是高斯混合模型（GM\I）聚类，它将数据样本分解成多个高斯分布组成的混合模型，

并通过最大似然估计来估计模型参数。

5.基于图的聚类：基于图的聚类方法将数据样本看作是图中的节点，节点之间的相似度作

为边的权重。常见的基于图的聚类方法是谱聚类，它通过计算样本之间的相似度矩阵，构建

拉普拉斯矩阵，并通过对拉普拉斯矩阵进行特征分解来获得聚类结果。

6.基于密度的聚类：基于密度的聚类方法将样本点分为高密度区域和低密度区域。一种常

见的基于密度的聚类方法是OPTICS,它根据本点的可达距离和核心距离来确定聚类簇的边

界，并将高密度区域作为聚类结果。

以上是六种常见的聚类类型及其主要工作原理的简要解释，它们在不同的数据场景下适用,

并且可以根据具体问题选择合适的聚类方法。

3.简述k-means聚类的主要工作原理和工作过程。

k-means聚类是一种常用f勺无监督学习算法，用于将一组数据点按照相似性进行分组。

其主要工作原理是：

1.选择簇的数量k,并随机初始化k个簇中心点。

2.遍历数据集中的每个数据点，计算该数据点与各个簇中心点的距离，并将其归类到距离

最近的簇中心点所代表的簇。

3.更新每个簇的中心点，将每个我的中心点更新为该簇中所有数据点的平均值。

4.重复步骤2和步骤3,直到簇中心点不再发生变化或达到预定迭代次数。

其工作过程如下：

1.初始化k个簇中心点。

2.遍历数据集中的每个数据点，计算该数据点与每个簇中心点的距离，将其归类到距离最

近的簇中心点所代表的簇。

3.更新每个簇的中心点，将每个簇的中心点更新为该簇中所有数据点的平均值。

4.重复步骤2和步骤3,直到簇中心点不再发生变化或达到预定迭代次数。

最终结果是将数据点分为k个簇，每个簇内的数据点相似度较高，而不同簇之间的相似度较

低。这种聚类方法常用于数据挖掘、模式识别和图像分别等领域。

4.简述k-medoids聚类与k-means聚类的异同。

K-mcdoids聚类和K-mcans聚类是两种常见的聚类算法，它们具有一些相似之处，但也存在

一些显著的区别。

相同之处：

1.目标：K-medoids聚类和K-means聚类都是无监督学习算，旨在将数据划分为不同的簇，

使得每个簇内的数据点彼此相似，而簇之间的数据点差异较大。

2.分配过程：两种算法都采用迭代的方式，通过不断更新簇的中心点来优化聚类结果。

3.簇数K：K-medoids聚类和K-moans聚类都需要提前由定簇的数量K。

不同之处：

1.中心点选择：K-means聚类使用样本均值作为簇的中心点，而K-medoids聚类则使用实

际数据点作为簇的中心点，这些中心点即为样本集中的代表点。

2.簇的定义：在K-means聚类中，每个数据点被分配到距离最近的中心点所代表的簇；而

在K-medoids聚类中，每个数据点被分配到距离最近的』心点所代表的簇，这些中心点可以

是实际的数据点，而不仅仅是均值。

3.存储空间：K-means聚类需要存储所有簇中心点的坐标，而K-medoids聚类需要存储实

际数据点作为簇中心点，因此在存储空间上卜medoids的开销较大。

4.算法复杂度：由于K-medoids聚类需要计算所有数据点之间的距离，因此在时间复杂度

上通常比K-means聚类要高。

总体来说，K-means聚类适用于处理大规模数据集，且对异常值不敏感；而K-medoids聚类

适用于处理较小规模的数据集，且对异常值比较敏感。选择哪种算法取决于数据集的大小和

数据的特征。

5.查阅资料，思考改善k-mean聚类的初始点选择方法有哪些。

改善K-means聚类的初始点选择方法有以卜,几种方法：

1.随机选择：随机选择K个数据点作为初始点。这种方法简单直接，但可能会导致较差的

聚类结果。

2.K-means++：K-mcans++方法通过迭代地选择初始点，来增加初始点之间的距离，从而提

高聚类效果。具体步骤如下：

-首先，在数据集中随机选择一个初始点。

-对于剩下的数据点，计算每个点到已有的初始点的距离，选择一个距离较远的点作为

新的初始点。距离越远的点被选择的概率越大。

-重复以上步骤，直到选择了K个初始点。

3.层次聚类初始化:可以使用层次聚类算法来选择初始点。首先将所有数据点视为一个簇，

然后通过层次聚类逐步将强划分成更小的簇，直到得到K个簇为止。选择每个簇的质心作为

初始点。

4.前期聚类初始化：可以先使用其他聚类算法(如DBSCAN)进行聚类，得到初始点，然后

再使用K-means算进行优化。

5.随机重复多次：可以多次运行『moans算法，每次使用不同的初始点选择方法，然后选

择效果最好的结果作为最终聚类结果。

这些力•法都可以用来改善K-means聚类的初始点选择，但最佳方法取决于数据集的特点和

需求0

6.请对莺尾花数据集分别采用k-means聚类和k-中心点聚类，将其聚为3类。

对于莺尾花数据集的聚类，我们可以使用k-means聚类和k-中心点聚类算法来将其聚为3

类。下面是两种方法的步骤：

1.K-means聚类算法：

首先，从数据集中随机选择3个中心点作为初始簇中心。

接下来，计算数据点到每个簇中心的欧氏距离，并将每个数据点分配到离其最近的簇

中心。

-根据已经分配的数据点重新计算簇中心的位置。

-重复上述两个步骤，直到簇中心的位置不再变化或者达到预定义的迭代次数。

-最终，完成聚类过程，得到三个簇。

2.K-中心点聚类算法(K-medoids)：

-随机从数据集中选拦3个样本作为初始的中心点。

-对于数据集中的每个样本，计算其与当前中心点的曼哈顿距离。

-将每个样本分配给离其最近的中心点所代表的簇。

在每个簇中，选择•个样本作为新的中心点，使得该簇内所有样本到该中心点的曼哈

顿距离之和最小。

-重复上述两个步骤，直到中心点的位置不再变化或者达到预定义的迭代次数。

-最终，完成聚类过程，得到三个簇。

这两种聚类算法都可以分别将周尾花数据集聚为3类。

7.简述凝聚型层次聚类和分裂型层次聚类的主要工作原理和工作过程。

凝聚型层次聚类和分裂型层次聚类都是用来将数据对象进行层次化分组的方法。

凝聚型层次聚类的工作原理和过程如卜.：

1.初始化：将每个样本视为一个独立的簇。

2.计算相似度/距离矩阵：根据选择的距离度量方法（如欧氏距离、曼哈顿距离等），计算

每对样本之间的相似度/距离，得到一个相似度/距离矩阵。

3.合并最近的簇：找到距离最近的两个簇，并将它们合并成一个新的簇。

4.更新相似度/距离矩阵：根据选择的合并策略（如单链接、全链接、平均链接等），更新

相似度/距离矩阵。

5.重复步骤3和步骤4,直到只剩卜.一个簇或达到预设的簇个数。

分裂型层次聚类的工作原理和过程如下：

1.初始化：将所有样本视为一个簇。

2.计算相似度/距离矩阵：根据选择的距离度量方法，计算每对样本之间的相似度/距离。

3.选择簇进行分裂：选择一个合适的簇进行分裂，一般是选择该簇内部样本最不相似的样

本进行分裂。

4.分裂簇：将选定的样本进行分裂，形成新的簇。

5.更新相似度/距离矩阵：根据选择的分裂策略，更新相似度/距离矩阵。

6.重复步骤3到步骤5,直到满足终止条件，如达到预设的簇个数或达到预设的相似度/距

离阈值。

凝聚型层次聚类和分裂型层次聚类的主要区别在广簇的建立和合并方式。凝聚型层次聚类从

每个样本开始，逐渐合并最近的簇，形成一个大的簇;而分裂型层次聚类从一个大的簇开始，

逐渐将其分裂成更小的簇。两者的选择取决于数据的特点和任务需求。

8.有学者采用的方法是：先进行层次聚类，然后分析簇个数的变化趋势，以辅

助选择k-means中k的值。请分析这种方法的优缺点。

这种方法的优点是可以帮助选择适当的k值，从而更好地进行k-means聚类。具体的优缺点

如下：

优点：

1.简单易行：层次聚类是一种常见月.易于实施的聚类算法，可以很容易地获取簇个数的变

化趋势。

2.不依赖初值：与k-means聚类不同，层次聚类不需要事先指定k值。通过分析簇的个数

变化趋势，可以获取一个合理的k值。

缺点：

1.计算复杂度高：层次聚类的计算复杂度较高，特别是在面对大数据集时。需要计算每个

样本之间的相似度或距离，这将在计算和存储方面带来较大的挑战。

2.可能无法准确确定k值：虽然分析簇个数的变化趋势可以提供一些关于k值的启示，但

它并不能保证选取最佳的k值。这种方法容易受到数据噪声和不确定性的影响，可能会产生

错误的结论。

3.受样本数量影响：层次聚类的结果可能会受到样本数量的影响。如果样本数量太少或太

多，可能会导致得到的簇结构不准确或不稳定。

4.可能受到数据分布偏斜的影响：如果数据集具有不平衡的分布，层次聚类可能会导致某

些簇被忽略或合并，从而产生不准确的聚类结果。

综上所述，这种方法的优点在于简单易行、不需要事先指定k值；然而，需要考虑其计算复

杂度高、可能无法准确确定k值、受样本数最和数据分右偏斜的影响等缺点。在使用这种方

法时，需要综合考虑其适用性和可靠性，以及与具体数据集的匹配程度。

9.有时可以考虑将高维空间经PCA等降维到2维或3维空间，通过图形辅助判

别聚类后的簇个数。请分析这种方法在哪些情况下效果较好。

降维是一种常用的技术，它可以将高维数据映射到低维空间中，以便于可视化和分析。PCA

（PrincipalComponentAnalysis,主成分分析）是一种常见的降维方法之一。

在以下情况下，通过PCA等方法进行降维并可视化聚类结果可能会有较好的效果：

1.可视化聚类结果：当数据维度很高时，很难直接观系到聚类效果。将高维数据降低到2

维或3维空间，并在图形上展示聚类结果，可以更百观地观察到不同簇的分布和距离。

2.特征选择和提取：降维可以帮助发现数据中最重要的特征。通过PCA等方法，可以将数

据投影到主成分上，其中每个主成分都包含了一定程度的数据方差。如果只选择最重要的几

个主成分，就相当于选择了最具代表性的特征，从而减少了原始数据集的维度。

3.去除冗余信息：当数据中存在冗余信息时，降维可以起到去除冗余特征的作用。通过PCA

等方法，可以通过留较高方差的主成分，忽略较低方差的成分，从而去除那些对于聚类没有

太大贡献的特征。

然而，降维也有一些限制和注意事项：

1.信息损失：降维可能会损失•些原始数据中的信息。在将数据降低到较低维度时，需要

权衡保留足够的信息以维持聚类的有效性。

2.可解释性：降维后的特征可能不太容易解释和理解。在将数据进行降维时，需要权衡降

维后的特征是否仍然具有可解释性。

3.数据分布：降维方法可能对不同类型和分布的数据有不同的效果。在应用降维方法之前,

需要对数据的性质和分布进行了解和分析•，以确保降维能够有效应用。

总而言之，在需要可视化聚类结果、进行特征选择和提取、去除冗余信息等情况下，通过PCA

等方法进行降维并可视化聚类结果是一个值得尝试的方法。但在应用过程中，需要综合考虑

降维的效果和信息损失，确保降维后的特征仍然具有一定的可解释性。

10.简述DBSCAN聚类的主要工作过程。

DBSCAN(Density-BasedSpatialClusteringofApplicationswithNoise)是一种常用

的聚类算法，用于将数据点分成不同的类别。

DBSCAN的主要工作过程如下：

1.密度定义：首先，定义一个半径r和一个最小邻居数minPts。对于给定的数据点集合，

如果一个点p在半径r内有至少minPts个邻居点，则称点p是一个核心点。邻居点可

以是其他核心点或边界点。

2.密度可达：对于两个核心点，如果存在一条连接它们的路径，上面的每个点都是核心点，

那么两个核心点被称为密度可达。这种连接路径上的点被称为直接密度可达。

3.密度相连：对于两个核心点，如果存在一个核心点C,使得这两个核心分别与核心点C

密度可达，那么这两个核心点是密度相连的。密度相连关系可以传递，即如果A密度相连

B,B密度相连C,则A密度相连Co

4.聚类：通过连接密度可达和密度相连的核心点，逐步形成聚类。具体过程为：对每个核

心点，找到它的密度可达的集合，将它们归为同一类。然后，对于边界点，将其归为与其最

近的核心点所在的类别。

5.噪声点：剩下未被分到任何类别的点被视为噪声点。

DBSCAN的优势在于可以发现任意形状的聚类，并且对噪声具有较好的容忍性。但其缺点在

于对于具有不同密度的聚类难以处理，并且对于参数选择较为敏感。

11.对15.4.1节中的Iris经PCA投影后的2维空间数据，选取不同DBSCAN

参数进行聚类，观察类的个数和类的形状的不同。思考：参照第一四分位数选

择g的优缺点，并思考e和minPts的大小变化会对DBSCAN聚类产生哪些影

响。

略。

12.对15.4.1中Iris经PCA投影后的2维空间数据，分别进行k-means、k-中

心点和层次聚类。

略。

13.将A矩阵

[2,3.7;3.4,6.3:4,4.5;5,3.9;4.5,3.8;5.2,4.2:2.5,5.2;3.5,4.7]和B矩阵

[5.7,2.4;5.9,3.2;6,2.8;7,3.7;6.5,4.5;6.8,3.5;7.1,1.8;7.5,2.5]放在一

起作为数据集分别进行k=2的k-means、k中心点聚类，再进行层次聚类，并

绘制聚类图。如果原来的A为+1类别，B为7类别，请将聚类结果与原来的

类别对比，分析聚类性能。

如果你想将A矩阵和B矩阵放在一起，你可以将它们按列堆叠起来，形成一个新的矩阵。

使用Python的NumPy库可以很方便地进行矩阵操作。下面是一个示例代码：

python

importnumpyasnp

A=np.array([[2,3.7],[3.4,6.3],[4,4.5],[5,3.9],[4.5,3.8],[5.2,4.2],

[2.5,5.2],[3.5,4.7]])

B=np.array([[5.7,2.4],[5.9,3.2],[6,2.8],[7,3.7],[6.5,4.5],[6.8,3,5],

[7.1,1.8],[7.5,2.5]])

C=np.hstack((A,B))

print(C)

运行这段代码将输出结果：

[[2.3.75.72.4]

[3.46.35.93.2]

[4.4.56.2.8]

[5.3.97.3.7]

[4.53.86.54.5]

[5.24.26.83.5]

[2.55.27.11.8]

[3.54.77.52.5]]

这样就将A矩阵和B矩阵按列堆叠在一起，得到了一个新的矩阵以

14.对第12题进行DBSCAN聚类，假设g=1.0,minPts=3,请给出聚类结果，

并绘制散点图。

略。

15.简述CLIQUE聚类的主要工作原理和工作过程。

CLIQUE是一种基丁网格的聚类算法，其主要工作原理是将数据空间划分为网格，并在每个

网格中计算数据点的局部轻度，然后根据密度和距离的阈值将数据点归类到不同的簇中。

下面是CLIQUE聚类的主要工作过程:

1.网格划分：

首先，将数据空间划分为多个网格。网格的大小可以通过用户指定或自动确定。

2.密度计算：

对于每个网格，计算教据点在该网格内局部密度。密度可以通过计数网格内的数据点数

量来衡量。

3.练习属性生成:

对于每个网格，为其中的每个数据点生成•个练习属性。练习属性是数据点在其他网格

中的密度信息。

4.密度修正：

使用练习属性修正每个网格内数据点的密度，以考虑相邻网格中的密度。

5.簇的形成：

根据定义的密度和距离阈值，将密度高于阈值的数据点归类到一个簇中。

6.噪声点的处理：

处理密度低于阈值的数据点，可以将其标记为噪声点或者归类到最近的簇中。

通过这样的工作过程，CLIQUE聚类可以有效地识别数据空间中的簇，并将数据点进行划分

和归类。它可以处理大规模数据，并且对噪声点和密度变化较大的数据集具有鲁棒性。

16.简述自组织神经网络的主要工作原理。

自组织神经网络(Self-OrganizingNeuralNetwork)是一种无监督学习的神经网络模型。

它可以通过学习数据的统计特性，自动发现数据中的模式和结构。

自组织神经网络的主要工作原理包括以卜.步骤：

1.初始化：网络中的神经元和它们之间的连接被随机初始化。

2.激活：输入样本被引入网络，并计算神经元之间的相似度。常用的相似度度量方法有欧

氏距离和余弦相似度。

3.竞争：与输入样胜出神经元权重的调整作用。

通过重复以上步骤，自组织神经网络能够根据输入数据集的统计特性，将输入样本分布转化

为神经元之间的连接权重分布，从而实现数据的聚类和恃征提取。

总结一下，自组织神经网络通过竞争与合作的机制，将输入数据集分布转化为神经元之间的

连接权重分布，实现数据的聚类和特征提取。这种无监督学习的方法在数据聚类、特征学习

等方面具有潜在的应用价值。

17.查阅相关资料，自拟一个聚类问题，搜集数据并按照设计的聚类方案实现聚

类。

略。

18.请查阅资料或参考本书配套书《数据分析与数据挖掘建模与工具》，学习

STING聚类、EM聚类。

您可以通过搜索引擎查找相关的学习资料和教材。关于STING聚类和EM聚类的学习，您可

以在互联网上找到许多相关资源，包括教程、博客文章和学术论文等。这些资源将为您提供

更详细和全面的信息，帮助您深入了解这些聚类算法的原理和实际应用。

19.查阅资料，学习支持向量聚类(SVC)的工作原理和主要工作过程。

支持向量聚类(SupportVectorClustering,SVC)是一种基于支持向量机(SupportVector

Machine,SVM)的聚类算法。SVC可用于非监督学习，其目标是将数据集划分为不同的聚类

组。下面是SVC的主要工作原理和过程：

1.数据预处理：首先，对数据进行预处理以去除噪声、缩放特征等操作，以便更好地进行

聚类分析。

2.特征映射：如果数据集的维度较离，可以将数据映射到更面维的特征问，以便更好地进

行聚类。

3.构建SVM：接下来，根据映射后的数据，构建一个SVM模型。

4.硬间隔聚类：SVC的目标是通过找到最大间隔来划分不同的聚类组。该算法通过寻找•

些特定的支持向量，将数据集划分为不同的簇。支持向量是距离聚类边界最近的数据点。

5.聚类划分：根据支持向量的位置，将数据集中的点分配到不同的簇中。

6.聚类优化：如果需要进一步优化聚类结果，可以调整SVC的参数，重新进行训练和聚类。

总的来说，SVC是一种通过最大化间隔来划分数据集的聚类算法。它利用了SVM的优势，可

以处理高维数据，并且在处理非线性数据时也有很好的效果。这使得SVC成为一种广泛应用

于聚类分析的算法。

2