误差分析课件 聚类分析之快速聚类法.ppt

聚类分析的快速聚类法 目录 分类 俗语说 物以类聚 人以群分 但什么是分类的根据呢 比如 要想把中国的县分成若干类 就有很多种分类法 可以按照自然条件来分 比如考虑降水 土地 日照 湿度等各方面 也可以考虑收入 教育水准 医疗条件 基础设施等指标 既可以用某一项来分类 也可以同时考虑多项指标来分类 基本思想是 通过定义样品或变量间 接近程度 的度量 以此为基础 将 相近 的样品或变量归为一类 聚类分析和判别分析是研究分类问题的数据分析方法 聚类分析和判别分析的比较 引入 如何度量远近 如果想要对100个学生进行分类 如果仅仅知道他们的数学成绩 则只好按照数学成绩来分类 这些成绩在直线上形成100个点 这样就可以把接近的点放到一类 如果还知道他们的物理成绩 这样数学和物理成绩就形成二维平面上的100个点 也可以按照距离远近来分类 三维或者更高维的情况也是类似 只不过三维以上的图形无法直观地画出来而已 设X 为所关心的p个指标 对此指标作n次观测得n组观测值称这n组观测数据为n个样品 这样 每个样品可看成p维空间的一个点 n个样品组成p维空间的n个点 我们可以用各点之间的距离来衡量个样品点之间的靠近程度 样品间相似性的度量 广义的 距离 由于不同指标通常有不同的量纲 这会引起各取值的分散程度差异较大 有时会造成很不合理的结果 为了消除此种影响 常需要在分析前对数据进行标准化处理 的欧氏距离就是方差加权距离 6马氏距离 n i i T n i i i n j i T j i j i x n x x x x x n S x x x S x x S x x x x d 1 1 2 1 1 1 1 1 其中 算得的协方差矩阵 是由样品 其中 L 令 形成n个样品 两两之间的距离矩阵 其中 思想 首先将样品粗糙得分类 然后再依据样品间的距离按一定规则逐步调整 直至不能再调整为止 适合于 样本数目较大的数据集的聚类分析局限性 需要事先指定分类的数目 而且此数目对最终分类结果有较大影响 解决办法 实际中一般要对多个分类的数目进行尝试 以找出合理的分类结果 快速聚类分析及实例 1选择聚点 聚类中心点 经验选择将n个样品人为地 或随机地 分为k类 以每类的均值向量 称为重心 作为聚点 最大最小原则 先选择所有样品中相距最远的两个样品为初始的两个聚点 然后 选择第3个聚点 与前两个聚点的距离最小者 按相同的原则依次选取下去 直至选出k个聚点 1 随机选择聚类种子点或中心点 2 将每个观察样本分配给最近的种子 3 重新把每个聚集中的中心点作为种子 4 不断重复上述过程直到种子的变化足够小为止 快速聚类法的步骤 快速聚类法的步骤 2 从 出发 计算新的聚点集合 以 的重心作为新的聚点 其中 是类 中的样品数 这样 得到新的聚点集合 从 出发 将样品作新的分类 记 得到分类 这样依次进行下去 3 设在第m步得到分类 实例 国产轿车市场竞争格局的快速聚类分析 通过几个主要的汽车网站 收集2006年11月6 12日目前汽车产品的车型主要参数和厂家指导价 利用SPSS软件 采用聚类分析的方法 对目前主要的轿车产品进行了聚类处理 车型的生产企业和企业所属集团代码的说明 按照上述的方法和分类原则进行数据收集 共产生了158个车型及其相关数据涵盖了轿车市场绝大部分生产企业和车型 可视为国产轿车的总体 所以该研究能反映出目前国产轿车竞争的全貌 聚类分析过程及结果 由研究者指定聚类成多少类 如k个 SPSS确定k个初始类中心点迭代过程 IterationHistory 聚类结果 在确定聚类数目的过程中 尝试了聚类数为8 15个共8个聚类方案 以有助于识别相竞争的车型 并尽可能与轿车级别的划分相一致为判断依据 13个聚类数所得到的结果是最为令人满意的 SPSS根据样本数据的情况选择k个有代表性的样本数据作为初始类中心 初始类中心也可以由用户自行指定 SPSS逐一计算每一个记录到各个类别中心点的欧氏距离 把各个记录按照距离最近的原则归入各个类别 并计算新形成的类别中心点 按照新的中心位置 重新计算每一记录距离新的类别中心点的距离 并重新进行归类 更新类别中心点 重复 直到达到终止迭代的判断要求为止 聚类结果 直观上我们可以发现 11类和12类间距离最小 说明低端产品的差异相对较小10类和7类类间的距离最大 说明高端产品之间差异增大第11类主要为普及型轿车 这类产品是市场竞争最为激烈的领域 为进一步展示各车型间的竞争关系 应对其进行再次聚类