聚类分析原理及步骤

1、聚类分析原理及步骤采用k-K算法的聚类分析工具已被加入到许多着名的统计分析软件包中，如SPSS SAS 等。典型应用1动植物分类和对基因进行分类2在网上进行文档归类来修复信息3帮助电子商务的用户了解自己的客户，向客户提供更合适的服务主要步骤1 数据预处理选择数量，类型和特征的标度（依据特征选择和抽取）特征选择选择重要的特征，特征抽取把输入的特征转化为一个新的显着特征，它们经常被用来获取一个合适的特征集来为避免维数灾”进行聚类）和将孤立点移由数据（孤立点是不依附于一般数据行为或模型的数据）2为衡量数据点间的相似度定义一个距离函数既然相类似性是定义一个类的基础，那么不同数据之间在同一个特征空间相似

2、度的衡量对于 聚类步骤是很重要的，由于特征类型和特征标度的多样性，距离度量必须谨 慎，它经常依赖于应用，例如，通常通过定义在特征空间的距离度量来评估不 同对象的相异性，很多距离度都应用在一些不同的领域一个简单的距离度量， 如Euclidean距离，经常被用作反映不同数据间的相异性，一些有关相似性的度 量，例如PMC和SMC,能够被用来特征化不同数据的概念相似性，在图像聚类 上，子图图像的误差更正能够被用来衡量两个图形的相似性3聚类或分组一一将数据对象分到不同的类中【划分方法（划分方法一般从初始划分和最优化一个聚类标准开始 ,Crisp Clustering和Fuzzy Clusterin是划

3、分方法的两个主要技术，Crisp Clustering,它的每一个数据都属于单独的类； FuzzyClustering, 它的每个数据可能在任何一个类中）和 层次方法（基于某个标准产生 一个嵌套的划分系列，它可以度量不同类之间的相似性或一个类的可分离性用来合 并和分裂类）是聚类分析的两个主要方法，另外还有基于密度的聚类，基于模型的聚类，基于网格的聚类】4 评估输生 评估聚类结果的质量（它是通过一个类有效索引来评价，一般来说，几何性质，包括类间的分离和类内部的耦合，一般都用来评价聚类结果的质 量，类有效索引在决定类的数目时经常扮演了一个重要角色，类有效索引的最隹值 被期望从真实的类数目中获取，一

4、个通常的决定类数目的方法是选择一个特定的类 有效索引的最隹值，这个索引能否真实的得出类的数目是判断该索引是否有效的标 准，很多已经存在的标准对于相互分离的类数据集合都能得出很好的结果，但是对 于复杂的数据集，却通常行不通，例如，对于交叠类的集合。）聚类分析的主要计算方法原理及步骤划分法1将数据集分割成K个组（每个组至少包含一个数据且每一个数据纪录属于且仅属于一个分组），每个组成为一类2通过反复迭代的方法改变分组，使得每一次改进之后的分组方案都较前一次好（标准就是：同 一分组中的记录越近越好，而不同分组中的纪录越远越好，使用这个基本思想的算法有：K-MEANS 算法、K-MEDOIDS 算法、C

5、LARANS 算法）层次法1自底向上”聚案一一将每个数据单独作为一组，通过 反复迭代的方法，把那些相互邻近的组合并成一个组，直到所有的记录组成一个分组或者某个条件满足为止， 代表算法有：BIRCH算法、CURE算法、CHAMELEON 算法等2自顶向下”方案主要算法原理及步骤K-MEANS 算法k-means算法接受输入量 k ;然后将n个数据对象划分为 k个 聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而 不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均 值所获得一个 中心对象”（引力中心）来进行计算的。k-means算法的工作过程说明如下：1从n个数据对象任意选择

6、 k个对象作为初始聚类中心； 而对于所剩下其它对象，则根据它们与这些聚类中心的相似度（距 离），分别将它们分配给与其最相似的（聚类中心所代表的）聚类；2计算每个所获新聚类的聚类中心（该聚类中所有对象的 均值）；不断重复这一过程直到标准测度函数开始收敛为止。一般都 采用均方差作为标准测度函数 .k个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。K-MEDOIDS 算法K-MEANS有其缺点：产生类的大小相差不会很大，对于脏数据很敏感。改进的算法：k medoids 方法：选取一个对象叫做mediod 来代替上面的中心的作用，这样的一个 medoid 就标识了这个类。步骤：（

7、1）、任意选取 K个对象作为 medoids（O1,O2, - Oi - Ok）o 以下是循环的：（ 2） 、将余下的对象分到各个类中去（根据与medoid 最相近（ 原则） ；（ 3） 、对于每个类（ Oi） 中，顺序选取一个Or，计算用Or代替Oi后的消耗一E （Or）。选择E最小的那个Or来代替Oi。这样K个medoids就改变了，下面就再转到2。（ 4）、这样循环直到K 个 medoids 固定下来。这种算法对于脏数据和异常数据不敏感，但计算量显然要比K 均值要大，一般只适合小数据量Clara 算法K-medoids 算法不适合于大数据量的计算，Clara 算法的思想就是用实际数据的抽样来代替整个数据，然后再在这些抽样的数据上利用K-medoids算法得到最佳的medoids。Clara算法从实际数据中抽取多个采样，在每个采样上都用K-medoids算法得到相应的（O1,O2。口Ok）,然后在这当中选取E最小的一个作为最终的结果。Clarans 算法Clara 算法的效率取决于采样的大小，一般不太可能得到最佳的结果在Clara算法的基础上，又提由了 Clarans的算法，与 C