基于自组织聚类的市场细分方法研究论文(PDF 89页).pdf

四川大学 硕士学位论文 基于自组织聚类的市场细分方法研究 姓名 林嫔 申请学位级别 硕士 专业 管理科学与工程 指导教师 贺昌政 20050101 四川大学硕士学位论文 基于自组织聚类的市场细分方法研究 管理科学与工程专业 研究生 林嫔指导教师 贺昌政 市场细分是企业实施目标市场营销以及客户关系管理中十分重要的一步 只有得到一个好的 有效的市场细分结果 企业才能更好的开展目标市场营销 维护客户关系 芷因为如此 细分方法在市场细分中显得尤为重要 传统的统计聚类分析在市场细分应用中 存在着两个不足之处 1 I 聚类分 析算法本身不能自动找出最优分类 丽必须凭借人的经验与知识来做出选择 所得的结果受到了人的知识的影响 不够客观 2 聚类分析方法不具有线性的 计算复杂度 因此难以适用于数据库非常大的情况 在研究和分析了目前主要的市场细分方法 聚类分析的基础上 本文提 出了基于自组织聚类的市场细分方法 并进行了市场细分实证研究 主要工作 如下 1 进行了自组织聚类方法运用于企业营销市场细分的尝试研究工作 包括 设计操作步骤 编制算法程序以及实证研究 该方法能自动找出最优分类 适 用于海量数据的市场细分研究 2 对原自组织聚类算法进行了改进 新算法能够更好地运用于市场细分实 践 其主要改进如下 提出新的算法准则 相对原方法所采用的准则 新准则能够在理论上较 好地解释为何准则值越小 分类结果越优 四川大学碗士学位论文 提出了偶极子拆分的方法 在最小准则值不为0 的情况下 新算法仍然 可以得到最优聚类结果 而原算法在最小准则值不为0 的情况下失效 新算法采用高氏距离计算样本点间距与类间距 更适用于市场细分中定 量变量和定性变量同时出现的情况 编制了实现新算法的程序 3 对聚类分析与自组织聚类在理论和实证上进行了比较研究 对新自组织 聚类与原自组织聚类方法在理论和实证上进行了比较研究 4 利用什邡卷烟厂市场调查数据进行实证分析 结果令人满意 显示了新 算法对市场细分的有效性 本文的研究是对市场细分方法的发展 对企业营销决策具有实际意义 关键词 聚类分析自组织聚类市场细分 四川大学颈士学位论文 R e s e a r c hf o rM e t h o do fM a r k e tS e g m e n t a t i o n b a s e dO N S e l f o r g a n i z i n gC l u s t e r M 舡皿g e m e n tS c i e n c ea n dE n g i n e e r i n g P o s t g r a d u a t e P i nL i nS u p e r v i 8 0 r C h a n g z h e n gH e M a r k e tS e g m e n t a t i o ni s 蛆i m p o r t a n ts e pi nS T Pa n dC u s t o m e rR 七l a t i o n s h i p M m a a g e m c n t S T Pa n dC R M 玳b a s e o nag o o da n de f f e c t i v em a r k e ts e g m e n t i n g r e s u l LS o ag o o ds e g m e n a n gi sv e r yi m p o r t a n t T r a d i t i o n a lC l u s t e rA n a l y s i sh a st w od i s a d 朔m 螺龉a p p l y i n gf o rM a r k e t S e g m 州t a t i o n 1 C l u s t e rA n a l y s i s 啪n o ta u t o m a t i c a l l yg e tt l mo p t i m a lc l u s t e r 2 T r a d i t i o n a lC l u s t e rA n a l y s i sc o u l dn o tg e tag o o dc l u s t e r i n gr e s u l tw h e nt h ed a t a a n dd i m e n s i o na 北b i g I nt h i sp a p e r W en o to n l yr e s e a r c h e dt h eS e l f o r g a n i z i n gC l u s t e rd e e p l y b u t a l s oi m p r o v e dt h ed e f i c i e n c i e si nt h eo l da r i t h m e t i c A tl a s t Ia p p l i e dt h ei m p m v c d a r i t h m e t i ct ot h em a r k e ts e g m e n t a t i o no fS h i f a n gt o b a c c of a c t o r y C o m p a r i n gw i t h s t a t i s t i cC l u s t e rA t 值l y s i s t h eS e l f o r g a n i z i n gC l u s t e r 咖a u t o m a t i c a l l yg e tt h e o p t i n l a lc l u s t e rw i t h o mp e o p l e Sa t t e n d m g I tc a nr e d u c es u b j e c t i v i t yi nt h ec l u s t e r i n g p r o c e s s T h em a j o ra c h i e v e m e n t si nt h i sp a p e ra r ea sf o l l o w s I A p p l y i n gS e l f o r g a n i z i n g C l u s t e rt oM a r k e tS e g m e n t a t i o n i n c l u d i n g d e s i g n i n go p e r a t i o ns t e p s p r o g r a m m i n ga n dd e m o n s t r a t i o n t h eS e l f o r g a n i z i n g C l u s t e rc a l la u t o m a t i c a l l yg e tt h eo p t i m a lc l u s t e r f i ti nw i 也b i gd a t as p a c e 3 四川大学硕士学位论文 2 D e v e l o p e dt h es e l f o r g a n i z i n gC l u s t e r s o l v e ds o m eq u 嚣 t i o n so ft h eo l d m i t h m e t i c T h en e wS e l f o r g a n i z i n gC l u s t e rc a n u s ci nm a r k e ts e g m e n t a t i o nb e t t e r 1 1 l ea c h i e v e m e n t sa r e f o U 0 w s B r o u g h tf o r w a r dt h en e wc o n s i s t e n c yc r i t e r i o n C o m p a r i n g i 也t h eo l d c o n s i s t e n c yc r i t e r i o n t h en e w o i l e c a l le x P l a i nw h ys m a l l e rc r i t e r i o n b e t t e r c l u s t e r i n g B r o u g h tf o r w a r dt h em e t h o do fs p t i t t i d i p o l e U s i n gi t W ec a ng e tt h e o p t i m a lc l u s t e r i n gr e s u l tw h e n t h em i n i I n u l nc o n s i s t e n c yc r i t e r i o ni sZ C t O t h e o l da r i t h m e t i ci si n v a l i d a t i o n I n d u c t e dG o w e rD i s t a n c e I tm a k o st h ev a i t h m e t i cf i tm a r k e ts e g m e n t a t i o n b e t t e r P r o g r a m e du s i n gV B 3 R e s e a r c h e dt h ed i 岱胃胁o cb e t w e e nS e l f o r g a n i z i n gC l u s t e ra n dC l u s t e r A n a l y s i s a n dt h ed i f f c r g l t l c eb e t w e e nn e w S e l f o r g a n i z i n gC l u s t e ra n d o l d s e l f o r g a n i m gC l u s t e r 4 U s e d t h e d a t a o f S h i f a n g t o b a c c o f a c t o r y m a r k e t i n g t o d e m o n s t r a t e T h er e s e a r c ho f t h i sp a p e ri st h ed e v e l o p m e n to f m a r k e ts e g m e n t a t i o nm e t h o d I t h a sp r i c t i c es i g n m c a n c et oh o wt og e t 蛆o p t i m a lc o n s i s t e n c yc l u s t e r i n g K e o r d s C l u s t e rA n a l y s i sS e l f o r g t m i z i n gC l u s t e r M a r k e ts e g m e n t a t i o n 4 四川大学硕士学位论文 1 绪论 1 1 研究背景及意义 市场细分 J h r k e tS e g m e n t a t i o n 的提出是二战后市场竞争日趋激烈的产 物 指的是根据消费者各方面的属性 按照科学的方法把市场分割为具有不同 需要 性格或行为的购买者群体 1 9 5 6 年美国市场学家温德尔 史密斯 W e n d e l l S m i t h 首次提出了这个概念 核心是承认市场中消费者的差异性 其主要理 论依据有三个 一是顾客价值的差异性 二是顾客需求的异质性 三是企业资 源的有效性 1 1 无论在市场营销理论中 还是在客户关系管理中 市场细分都是十分重要 的一步 为寻找目标市场而进行市场细分 是企业为谋求发展而逐步形成的营销观 念 目的是针对不同的购买者群体采取独特的产品或市场营销组合战略 更有 效地分配资源 以求获得最佳收益 市场细分被认为是市场营销思想和营销策 略的一大突破 得到了理论界的普遍认可并引起企业赛的高度重视与广泛应用 在大量营销时期 企业向整个市场仅推出一种产品 希望这种产品能吸引 每个人 但是 随着消费者对产品选择的余地变得越来越大 产品差异化营销 也越来越难 我们知道 市场是由各式各样的购买者组成的 任何企业的产品所面对的 市场都有为数众多 分布广泛的购买者 他们有着不同的需要和欲望 而企业 由于自身所有资源的限制 不可能单凭自己的人力 财力和物力来满足整个市 场的所有需求 为市场中的所有的顾客提供有效的服务 这不仅是由企业自身 条件所限制 而且也是极不经济的 顾客人数太多 而他们的购买要求又各不 相同 为了能与无处不在的竞争者竞争 公司需要确定它能为之最有效服务的 细分市场m 而不是四面出击 在营销管理的目标市场营销策略 b I P 策略 中 企业按照一定的标准对市 场进行细分 评估选择最适合自己的细分市场作为自己的目标市场 再确定自 荧 尊利瞢 科特勒 营销管理 分析 计划和控制 上海t 上梅人民出版社 2 0 0 0 2 2 9 2 5 8 1 四川大学硬士学位论文 己在市场上的竞争地位 搞好产品的市场定位 目标市场营销策略是现代企业 营销战略的核心 企业通过这三个步骤 以避免没有明确的目标顾客和市场定 位而进行盲目的开发和竞争 所以可以说 市场细分是企业营销策略的起点僻u 通过客户市场细分 来 识别消费者 对于考察企业的最终产品或服务的所有不同类型 寻找重要的结 果或价值差异具有重要的意义1 1 1 市场细分是目标市场营销中一系列使企业最 终获得鼍大投资回报步骤的第一步聊 通过各种方法得到的各个细分市场是之 后我们进行目标市场选定以及市场定位的前提与依据 也就是说 只有得到合 理的 有效的细分结果 我们才能依此对企业进行正确的市场选择与宠位 在如今备受企业与学术界关注的客户关系管理 C u s t o m e rR e l a t i o n s h i p V z n a g e m n t 中 市场细分也是及其重要的一个初始步骤 2 0 0 2 年哈佛商业评 论就曹挺到 任何高效的客户关系管理舔将以扎实的客户细分为基础H 市场 细分已成为C R M 中一种基础性的分析功能 并将为包括操作层 战术层以及战略 层在内的企业管理提供全面的信息支持q 由此可以看出 市场细分是企业实施目标市场营销以及客户关系管理中十 分重要的一步 一个好的 有效的市场细分结果 可以让企业更好的开展目标 市场营销 维护客户关系 市场细分包含调查阶段 分析阶段以及细分阶段 1 其中 细分变量与细分 方法悬人们关注的两大重点 随着计算机等相关技术的飞速发展以及数据仓库 的利用 我们可以更加方便的记录 保存企业客户的相关信息 但也造成了数 据的飞速膨胀 想从这些海量的数据得到一个有效的市场细分就得通过一个合 适的细分方法来实现 细分一个市场有许多种方法 然而 并不是所有的细分都是有效的f l j 我 们所采用的细分方法是影响市场细分结果的一个很重要的因素 好的方法能够 使我们更方便 更有效的得到市场细分结果 也只有有效的市场细分结果 才 能为市场营销 客户关系管理提供可靠的决策依据 可见 如何根据已知的信 息对市场进行科学的划分具有十分重要的意义 1 托u 壬培才 市场细分理论的新发晨 中国流通经济 2 0 0 4 4 3 3 3 5 2 四川大学硬士学位论文 1 2 国内外研究现状 市场细分概念自提出后 就一直是西方学术界与实业界关注的热点问题 6 1 在这其中 市场细分的细分标准研究以及市场细分工具研究是市场细分研究的 两个重要的部分 目前 由于国内外在细分标准选择方面的研究一直没有重大 进展 从实践应用目的出发 如今的市场细分研究重点也从旱期的细分标准研 究转向细分工具研究 从细分工具方面寻找市场细分的突破口嘲 在市场细分工具研究方面 早期的研究者在研究前已选定了细分标准 这 称为事前细分 6 1 ap r i 耐s e s m e n t a f i o n 其理论基础是消费者行为模式 其最 终得到的细分类群结果依戟于研究者对消费者行为所作的定性分析畦 使用的 是各种分类方法 其中以各种统计方法较为常见 近几年来 随着数据挖掘技 术的发展 神经网络 决策树等人工智能方法也开始被人们采用 采用分类方法在进行市场细分之前 我们已经知道了要把市场分为哪几类 每个类的性质是什么 如 根据客户消费水平的高低 将消费者市场划分为V I P 客户市场 大客户市场 中客户市场与小客户市场 另一类重要的细分方法是以聚类为基准进行细分 也称为事后细分1 6 1 与 采用分类方法的事前细分方法不同 采用以聚类为基准的市场细分方法事前并 不知道我们要将数据分为哪几类 每个类的性质是什么 常见的方法有统计中 的聚类分析 以及遗传算法等人工智能方法 麓着近年来计算机等相关技术的飞速发展 我们记录 保存的企业客户相 关信息越来越多 这些海量的数据常常具有高维 非独立等一系列复杂的特点 这就要求我们需要找到一个能够更好的适应这些特点的细分方法 如今 如何 将数据挖掘技术很好的应用于市场细分中 挖掘出对企业有用的知识 信息和 模式成了国内外许多专家学者研究的热门问题 国内对市场细分的研究主要集中于现有的分类方法在某些行业与领域的应 用唯 如传统的旅游业 穰饮业 零售业 传媒业 以及新兴的电予营销 网 络服务等行业与领域上的具体应用1 2 7 而在方法上的研究并不多见I 哔I l 罗纪宁 市场纲分研究综述t 回顾与晨望 山东大学学报 哲学社会科学版 2 0 0 3 6 4 4 4 8 1 1 2 I 叶聋 邹一 商维 基于多分类嚣 l 台的客户细分研究 f 理科学 2 0 0 4 1 7 2 6 4 6 7 3 四川大学硬士学位论文 1 3 研究方法和内容 上文已提到 数据库的广泛使用 使得许多企业已经积累了大量的商业数 据 如何对这些日益庞大的数据进行有效的分析和利用已经成为我们迫切需要 解决的问题 然而商业数据酱遮存在的噪声性 不完整性以及空问异质性 使 得传统的方法在市场细分中往往不能取得很好的效果翻 如何解决这一向题已 经成为学术界的关注 本文提出的改进的自组织聚类算法就是在这个方面的一 个尝试 传统的统计聚类分析在市场细分应用中 存在着两个不足之处 1 聚类分 折算法本身不能自动找出最优分类 而必须凭借人的经验与知识来做出选择 所得的结果受到了人的知识的影响 不够客观 2 聚类分析方法不具有线性的 计算复杂度 难以适用于数据库非常大的情况 在研究和分析了目前主要的市场细分方法一聚类分析的基础上 本文提 出了基于自组织聚类的市场细分方法 并进行了市场细分实证研究 主要工作 如下 1 进行了自组织聚类方法运用予企业营销市场细分的尝试研究工作 它包 括设计操作步骤 犏毒I 算法程序以及实证研究 该方法能自动找出量优分类 适用于海量数据的市场细分研究 2 对原自组织聚类算法进行了改进 新算法能够更好媲运用于市场细分实 践 其主要改进如下 提出新的算法准则 与原算法的准则相比 新准则能够较好地在理论上 解释为何准列值越小的分类 其结果越优 新准则可对各种分类结果进 行定量评估 从而能更有效蟾用于市场细分实践 当最小准则值不为0 时 新算法仍然能得到最优分类结果 自组织聚类 算法依据准则值来选出最优分类 认为准则值最小的分类最优 但原算 法当最小准则值不为0 时 无法得劐最优分类结果 本文提出了偶极子 拆分的方法 弥补了原算法在该方面的不足 采用高氏距离计算样本点间距与类间距 使得算法更适用于市场细分 市场细分由于其本身的特性 常常同时涉及定性变量 原算法所采用的 欧式距离在这种情况下显得并不适用 而高氏距离则能够很好的解决这 4 四川大学硕士学位论文 个问题 编制了实现新算法的程序 3 在理论和实证上对聚类分析与自组织聚类算法 新自组织聚类算法与原 自组织聚类算法进行了比较研究 4 利用什邡卷烟厂市场调查数据对绵阳市与达州市的卷烟市场分别进行 市场细分 根据每个细分市场给出相应的营销建议 四川大学颈士学位论文 2 市场细分 2 1 市场细分的作用 通过市场细分 我们将一个总体市场按照消费者的欲望与需求划分成若干 具有共同特征的子市场 同属一个细分市场的消费者彼此相似 他们的需要和 欲望差异不大 属于不同细分市场的消费者则被视为不同 他们对同一产品的 需要和欲望存在着明显的差别 市场细分的指导思想是通过划分市场 以便企 业能够通过市场细分确定自己的目标市场 如今 许多企业已经接受了目标细分市场营销的观点 并在经营实践中由 此取得了良好的效果 以一邮寄销售公司为例 该为客户提供各种物廉价美的邮购产品 销售方 式为向客户免费赠阅各种产品的精美手册 客户如果想购买某个产品 公司就 通过邮寄方式向他们发货 可是随着客户数量的增多 以及产品品种的日益庞 大 将每种产品都印在同一宣传手册上发给每位客户就变得困难并且代价较大 一个好的解决方案就是按照客户购买记录 针对客户的购买倾向 将市场进行 细分 并向不同的客户邮寄他们所感兴趣的产品的宣传资料 这样既节约了成 本又提高了针对性 有不少的公司曾经一度不承认细分市场的重要性 但如今他们也越来越多 的考虑起如何吸引不同市场的消费者 原本产品完全统一的麦当劳公司现在在 不同的国家推出了不同的产品 在德国销售啤酒 法国销售葡萄酒 澳大利亚 销售羊肉馅饼 菲律宾销售M c S p a g h e t t i 在中国 他们也推出了符合中国人口 味的产品 总的来说 市场细分有如下几点作用 1 寻找目标客户 实现企业正确的市场定位 每个企业 不论其规模多么庞大 它也只能满足其中的一部分消费者 即 使它有这个实力 也没有必要面对所有消费者 因为这样不利于企业进行资源 优化配置 因此 细分市场 找到目标客户群 对于考察企业的最终产品和服 6 四川大学硬士学位论文 务的不同类型 为企业做出正确定位有着很大的意义 目标市场必须与企业所拥有的资源相匹配 企业在这部分市场中应该拥有 较大优势 和其它市场相比 目标市场应该能够给企业带来较大的潜在利润 然而 许多企业还无法完全正确的找到自身的目标市场 不能根据正确的目标 客户群来对企业进行定位 这往往造成大量成本与资源的浪费 2 为企业实现 一对一 式的服务提供依据 实现品牌定位 企业的客户 由于性别 年龄 职业 收入等各种因素的影响 往往存在 着不同的需要和差异 通过划分客户群 找出不同客户群的特征 企业才能真 正做到为窖户提供 一对一 的服务 通过对顾客提供个性化的产品和服务 以提高顾客满意度 建立忠诚度 只有对客户有了深刻的认识 企业才能真正 做到引导顾客消费 海尔集团的发展是中国企业的一个奇迹与骄傲 从一个亏损百多万的小厂 成长为一个国内外知名企业 海尔成功的因素是多方面的 但其成功的市场划 分则是我们不可忽视的一个重要因素 3 识别出高价值客户 实现有限资源的优化配置 经济全球化使得企业可接触到的客户范围扩大了许多 同时 电子信息技 术的快速发展也使得企业了解每个客户的信息成为可能 但是 企业的资源毕 竟有限 如何针对不同的客户进行有限资源的优化配置是每个企业都必须考虑 的 通过市场细分 企业才能够进行又针对性的运营啊 1 8 9 7 年 意大利经济学家帕霄托发现了著名的 8 0 2 0 定律 荚墨的理查 德 考齐在 8 0 2 0 法则 一书中对此做出了详细的解释例 多数企业的客户价值分布是适合 k 法则 的 即2 0 的客户创造了8 0 的利润 一般来说 在公司总的客户群中 只有 J 部分客户是带来利润的关 键客户 一部分是不能给公司带来多少盈利的一般客户 还有一部分则是带来 亏损的不合适客户 因为这相当比例的低价值客户不但只能给企业带来微薄的 利润 甚至是企业亏损的源头 例如 有的客户服务费用过高 有的客户常给 企业带来呆帐坏帐 还有些所谓的大客户 企业为吸引他们往往只能不断降低 利润率 而且还得支付高额的其它费用 高价值客户为企业带来的大多数利润 无形中又被这些低价值客户给吃掉了 因此 企业首先必须识别出哪些是本企业的高价值客户 哪些是不能给企 四川丈学磺士学位论文 业带来多大利益的低价值客户 对于那些低价值客户 应逐步放手 而对于能 够给企业带来高利润的高价值客户 我们就应用心去发展和保持他们了 并通 过一系列策略来发展和保持他们 从而做到为不同类型的客户提供相应的服务 级别 4 寻找新的市场机会 市场上常常存在着这样的机会 在一个看似饱和的市场中 有些需求已经 存在 然而由于种种原因而没有受到企业的注意 导致这部分需求得不到很好 的满足 通过市场细分 企业可以了解市场各方面的购买能力 潜在需求以及 消费者的满足程度和竞争情况 从而可以在看似饱和的市场中找到这部分市场 空穰的 通过采取相应的对策 夺取竞争优势 这对那些剐刚起步 规模不大 的企业来说 是个很好的发展机会 5 巩固现有的市场阵地 市场细分有利于企业巩固现有的市场阵地 它能帮助企业把握各类消费者 不同的需求 并依此展开营销活动 从而更好地满足消费者的需要 稳定企业 现有市场 理解不同消费者群体的偏好 消费倾向 价格观念等影响他们消费 决定的各种因素是市场营销成功的关键 综上所述 可以看出 客户细分不论对企业的市场营销策略还是客户关系 管理来说 都是一个相当重要的基础工作 一个有效 良好的市场细分是我们 进行深入分析的依据 2 2 市场细分的程序 绝大多数营销研究机构一般采用以下三个步骤1 1 l 进行市场细分 1 调查阶段 调查人员与消费者进行非正式的交谈 并将消费者分成若干 个专题小组 以便了解他们的动机 态度和行为 在此项调查基础上 调查人 员准备正式的调查表分给样本消费者 以搜集下列资料 属性及其重要性的等级 品牌知名度和品牌等级 产品使用方法 四川大学硕士学位论文 对产品类别的态度 被调查对象的人口变量 心理变量和宣传媒体变量 2 分析阶段 研究人员用因子分析法分析资料 剔除相关性很大的变量 然后用各种分类 聚类方法划分出一些差异最大的细分市场 3 细分阶段 根据消费者不同的态度 行为 人口变量 心理变量和一般 的消费习惯划分出每个群体 根据主要的不同特征可给每个细分市场命名 如 安德里避和贝克在对游乐市场的一项研究中I l 划分了6 个细分市场 消极的 以家庭为生活中心者 积极的体育运动爱好者 固执己见的自我满足者 文化 活动者 积极的以家庭为生活中心者 社会活动者 值得注意的是 得到的细分结果必须悬一个有效的市场细分 评价一个市 场细分的有效性 可通过如下特征l I 进行判定 可衡量性 用来划分细分市场大小和购买力的特性程度 应该是能够加以测 定的 某些细分变量很难衡量 足量性 细分市场的规模要大到足够获利的程度 一个细分市场应该是值得 为之设计一套营销规划方案的尽可能大的同质群体 倒如 专为4 英尺不到 的人生产汽车 对汽车制造商来说是不合算的 可接近性 能有效地到达细分市场并为之服务的程度 差异性t 细分市场在观念上能被区别 并且对不同的营销组合因素和方案有 不同的反应 如果在未婚与已婚的妇女中 对动物毛大衣销售的反应基本相 同 该细分就不应该继续下去 行动可昭性 为吸引和服务细分市场而系统地提出有效计划的可行程度 2 3 传统市场细分方法及其优缺点 在拥有足够的客户数据的基础上 我们就可以采取相应的变量来进行市场 细分 从方法上来说 有分类和聚类两种形式 采用被称为事前细分1 6 l ap r i o r is e g m e n t a t i o n 的分类方法在进行市场细分 之前 我们已选定了细分标准 知道了要把市场分为哪几类 每个类的性质是 什么 如 根据客户消费水平的高低 将消费者市场划分为V I P 客户市场 大 客户市场 中客户市场与小客户市场 其理论基础是消费者行为模式 最终得 9 罂 查堂曼主兰堡丝苎 到的细分类群结果依赖于研究者对消费者行为所作的定性分析 常使用的工具 是统计上的一些方法 近几年来 随着数据挖掘技术的发展 神经网络 决策 树等人工智能方法也开始被人们采用刚 但随着数据库的日益庞大 很多时候我们并不清楚市场中会存在哪些性质 的细分市场 这个时候 分类方法就会显得力不从心 而聚类则可以解决这个 问题 采用以各种聚类方法为基准进行细分 也称为事后细分嘲 与采用分类方 法不同 采用以聚类为基准的市场细分方法事前并不知道我们要将数据分为哪 几类 每个类的性质是什么 在商业插动中 聚类鸵帮助市场分析人员从客户 基本数据库中发现不同的客户群 并量用购买模式来刻西不同的客户群的特征 嘲 可以说 聚类是一个很好的市场细分工具 聚类是根据数据的不同特征 将其划分为不同的群组 它的目的是使属于 同一类别的个体之间的距离尽可能小 而不同类别上的个体间的距离尽可能大 即 让类与类之阋差别很明显 而同一个类之闻的样本尽量相似 聚类只分析 数据对象 而不考虑已知的类的标记 在开始聚类之前我们不知道要把数据分 成几组 也不知道怎么分 依照哪几个变量 因此在聚类之后要有一个对业务 很熟悉的人来解释这样分类的意义 在机嚣学习中聚类称为无监督学习 因为 和分类相比 分类学习的倒子或数据对象有类别标记 丽聚类韵例子则没有 需要由聚类学习算法来确定 通过对客户进行细分 并根据结果设定相应的客户级别 就可以针对有价 值的客户开展特别的促销活动 提供更具个性化的服务 这将帮助企业以较小 的投入获得最大的回报 很多情况下 一次聚类得到的分类对企业具体的市场 细分来说可能并不好操作 这时需要删除或增加变量以影响分类的方式 经过 几次反复之后才能最终的得到一个理想的结果 最常见的聚类方法为聚类分析 聚类分析是多元统计分析中的三大方法之 一 主要研究基于几何距离的聚类 如欧氏距离 明考斯基距离等 传统的统 计聚类分析方法包括系统聚类法 分解法 加入法 动态聚类法 有序样品聚 类 有重叠聚类和模糊聚类等 聚类分析是理想的多变量统计技术 其过程正 是市场细分的过程 将对象按某种方法分组 使组内个体之间差别最小而不同 组的个体之闻差别最大 需要注意的是 采用不同的聚类方法产生的细分方案 I O 四川大学硕士学位论文 会很不相同 如果几种聚类分析产生几乎相同的结果 那么应该说这种细分是 很接近现实情况的 统计学上的聚类分析是一个成熟的方法 应用十分广泛 但它存在着以下 两点不足之处 1 聚类分析算法本身不能自动找出最优分类 而必须凭借人的经验与知识 来做出选择 所得的结果受到了人的知识的影响 不够客观 聚类分析在确定最终的结果 也就是决定应将样本分成几类时 算法本身 是无法自己做出决定的 须借助专家的观点 聚类分析一般根据实际需求 确定以第几层的类为最终的分类标准 通常 采用如下准则l l o l 准则I 各类重心之间的距离必须较大 准则2 每类所包含的元素都不要过分地多 准则3 分类的数目应该符合使用的目的 准则4 若采用几种不同的聚类方法处理 则在各自的聚类图上应发现相同 的类 这也是戴米尔曼 D e m i r m e n 1 9 7 2 树状结构图进行分类的准则 由于没有一个定量的衡量标准 我们只能凭借经验对各种分类进行评价 选择 所得结果自然会受到人的知识的影响 不够客观 随着样本点数量的增 加 我们得到的树状圈将会变得非常复杂 这时 要从中选出一个量优分类就 显得更难了 2 聚类分析方法不具有线性的计算复杂度 难以适用于数据库非常大的情 况 然而 对根多企业而言 他们往往拥有为数及其庞大的客户群体和客户相 关信息 要对市场进行细分并且得到一个良好的分类结果 进行聚类分析的样 本以及属性集就不能太小 在这种情况下 聚类分析显得不是十分适用 四川大学磺士学位论文 3 自组织聚类方法 3 1自组织聚类方法思想简介 自组织聚类为自组织数据挖掘方法中的一种算法 自组织算法是由乌克兰 科学院A GI v a k h n e n k o 院士于1 9 6 7 年首次提出的成组数据处理方法 G D H 1 2 l 发展形成的 经过3 0 多年发展 以及计算机技术的飞速发展 自组织算法已 广泛地应用于数据挖掘和知识发现中 从而形成了自组织数据挖蠢方法册 自组织数据挖掘理论是建立在人类生存历史中曩古老 最富有成效的试探 法则 选择学说的基础之上i 脚 生物在遗传的过程中 不断受到外界环境的 制约并与之相互协调 使得物种逐步地发生变化 在大批量地进行育种的过程 中 为了得到新的一代 每一次大批t 淘汰的过程都会筛选出那些具有某些好 特性 但还需要继续改进的生物 并利用这些生物继续育种 经过一些阶段的 选择以后 就可以培育出理想的物种 琏l 对应于模型的构建 就是在 进化 遗传 变异 选择 的原理下 由一个简单的初始 网络 结构开始 按照某种演变规则 产生 系列具有某 种 进化 特征的模型 它们的复杂度逐步递增 而复杂度递增的每一步都是 在大量特选模型经 适者生存 的选择后获得的 不断地重复这样一个产生 选择 变异和进化的过程 直到具有最优复杂度模型被选出为止 随着模型的 进化 这一树状网络也不断生出枝节 网络的层数 层间节点数都不需要建模 考事先指定 整个建模过程是一个完全自组织的过程 于是称为自组织数据挖 掘方法l 哪嘲 这类算法采用自组织原理 能最大程度地限制人在数据挖掘中的 主观性 已经成为研究复杂系统模拟预测的有效工具I 住2 j I v a k l m e n k o 将G M D H 理论的核心概念与原则应用于聚类 使得对于一组数 据样本应被分成的类的个数以及它们的变量构成的问题 可由适应的G M D H 算 悼 1w B d 柚柚l 虻I 眦帕l s i 鸭R e t m 世a n dP 吐h 呐d 舶 i n 吐I eE c o n o m y A n nA r b o r U n i v e 哟o f M i c l I i g a nP r e s s 1 9 9 4 I t 贺昌致 张宾 龠海 自组织数据挖掘与人工神经舅络方法比较研究 系统工程理论与实践 2 0 0 2 2 2 1 1 1 l 1 4 1 2 四川大学硕士学位论文 法来实现 从而形成了一种新的聚类方法 自组织聚类方法 也称为客观聚 类分析法 O b j e c t i v eC l u s t e r A n a l y s i s O C A 该算法运用2 个准则 第一个准 则 内准则 用于产生类 第二个准则 一致性准则或无偏准则 则用于寻找 类的最优个数以及变量组成 已有的实证研究表明 自组织聚类方法能对模糊 对象给出更精确的近似或对随机过程的预测给出更好的效果I l 由前所述 自组织聚类方法运用一致性准则 在数据样本上搜索类的最优 个数以及变量组成 显然这里有两方面的问题 一是类的最优个数 另一个是 变量组成 解决的办法是先固定变量集 从而得到一组固定的数据样本 在这 组数据样本上利用一致性准则寻找类的最优划分 然后在不同的变量组合集上 按此方法得到对应于各个变量集的最优聚类 将这些聚类结果与在检测样本集 上得到的结果进行比较 以得到一个唯一的最优聚类 若得到几个 就在该实 际问题领域内的专家的帮助下优选一个或利用c D 再进行分析 在一般的聚 类分析问题中 样本变量集是固定的 因此不需讨论变量的组成情况 但将聚 类应用于对实际的模糊对象的研究时 则是必须要考虑的 否则 得到的分析 结果可能具有较大的偏差 由此可见 最主要的步骤是在对某个固定变量集进 行样本聚类时 怎样寻找类的最优个数 这就要求在一个子样本A 上获得的一 个聚类与产生在子样本B 上的一个聚类具有最小可能的不同 这里我们用 偶 极子 来进行样本分组 运用一致性准则刀来评价在不同的子样本A B 上的 f 聚类的一致性 3 2 自组织聚类方法实施步骤 1 计算各样本点的点间距离 假设关于聚类对象的数据样本为 X X l X 2 X n 其中 X i x i l X i 2 X i m 四川大学硕士学位论文 在计算之前 先对初始数据进行标准化处理 以消除不同量纲和数量级的 影响 可选用如下的标准化处理方式 v Xu XJ 口 盯 其中 X x 轵 工n 巧i i i 习 接下来便以此处理之后的数据作为研究的对象 仍记为X 各样本点间距 离计算公式如下 妒 善k 一 矿 其中 i l 2 n j l 2 i 1 由此我们可以构造出一张距离矩阵表D 惦l 如出现两个相等间距 可 通过提高测量距离的精确度来解决 2 构造偶极子 自组织聚类最重要的思想就是数据分级 它利用偶极子的概念将初始样本 分为具有一定相似程度的两部分 偶极子的构造需满足以下两个条件 1 由两个数据样本点构成 2 这两 个样本点是所有还未组成偶极子的样本点中 距离最近的一对 即 组成该偶 极子的两个数据样本不能与前面已经确定的所有偶极子中的样本点重复 由此 可以看出 偶极子的内在含义就是 它所包含的两个样本点具有一定的相似度 假设有N 个数据样本 则可以形成c 对待选极子 按照上文所说的构造方 法 从中选出f N 2 j 对 相对 点1 B j 距离最小的极子作为偶极子 可以看出 按照得到的先后顺序 所有偶极子中两个数据样本对的点间距 离值是逐渐由小变大 如 四川大学硕士学位论文 1 l l 0 0 0 2 01 4 2 1 20 0 0 3 81 3 3 2 30 0 8 5 02 5 这是某个聚类分析中构造出的第一 第二 第三 第r N 2J 个偶极子 第一个偶极子由样本点ll 和样本点1 4 构成 它们的点间距离为0 0 0 2 0 在所有样本点的点问距离值中是最小的 第二个偶极子由样本点1 2 样本点1 3 构成 它们的点间距离为O 0 0 3 8 是在剔除样本点 和1 4 之后 剩下的所有 样本点中点间距离最小 可以看出 第二个偶极子的点间距离是肯定大于第一 个偶极子的 在具体的聚类分析中 如果得到的最后第f N 2 j 个偶极子中两个组成样本 点的点间距离很大的话 我们往往将其舍弃 例如 某个聚类分析中 样本点 个数为3 4 所有的样本点的点间距离全部分布在 0 5 3 7 6 这个区间 按照 构造方法得到的最后一个 即 第1 7 个满足条件的偶极子的点间距离刚好处于 整个距离序列的最后 即d 5 3 7 6 也就是说 这个偶极子中的两个样本间的相 似程度在所有待选极子中是最低的 这违背了我们构造偶极子的初衷 因此在 进行下面的聚类分析的时候 必须将其舍弃 只采用前面的1 6 对偶极子进行聚 类分析 3 构造A B 集和检测集c D 偶极子确定后 就能得到A B 集 先确定一个参照点 可在数据样本中任选一个 或者是由建模者指定一个 然后把偶极子之中距离该参照点较近的样本点归入A 集 偶极子中的另一个样 本点归入B 集 如此一一对应 构成A B 集 可以看出 A 集和B 集是两个 相似的集合 o 图3 1 样本点与A B 集 上图3 1 中 点x 1 与r iX 2 是一个偶极子中的两个样本点 与样本点X 2 相比 点X 1 离参照点O 的趴离更近 因此我们可以将样本点X I 归入集A 将 四川人学硕士学位论文 样本点X 2 归入集B 剔除这些已被选出的极子后 再以同样方法在剩余的极子中构造检测集c D 中的偶极子 并划分到C 集和D 集中 也就是说 A B 集中的样本点和C D 集中的样本点是完全一样的 都是X I X 2 x n 但A B 集中的偶极 子不能出现在C D 集中 假设初始样本中有3 4 个样本点 X o u i l 2 4 0 j 1 2 m y f X l X 2 X m 得到以下A B 集和C D 集 晟后一对偶极子由于距离值过大被舍弃 所以 共形成1 6 对偶极子 A B 集 n 1 1 1 4 5 1 6 1 9 9 2 0 2 2 1 3 6 1 8 一C D 集 1 1 8 2 3 5 1 4 1 5 9 3 0 3 1 I3 2 0 2 7 2 1 1 2 1 3 6 1 1 0 一1 5 1 0 3 7 1 4 9 2 1 2 1 1 3 2 l 6 1 1 2 一1 9 1 0 11 2 4 1 4 6 2 5 3 2 3 2 5 7 5 8 1 1 3 1 3 4 1 5 1 4 3 1 6 1 7 7 3 5 1 1 4 7 15 2 6 3 3 4 2 6 2 7 8 1 7 2 4 12 2 9 3 3 l6 2 8 3 0 4 8 1 0 8 9 2 2 12 3 2 3 4 1 6 1 1 2 按照上述的方法将各个偶极子中的点归入A B 集和C D 集 得到如下 结果 A 1 11 22 52 6 1 61 582 42 0 73 4 2 91 82 143 0 B 1 41 32 32 71 91 051 72 23 3 13 369I2 8 C 2 32 11 61 01 41 95 2 23 12 473 42 7 2 53 11 D 1 81 3 1 781 51 2393 0l I4 3 22 062 62 1 6 四J I l 大学硕上学位论文 4 在A B 集上进行聚类 对A B 子集上的样本点进行编号 每对偶极予所对应的两点标号相同 如下例 A B 集中 上一行的标号是各个样本的编号 下一行是该样本点所在 偶极子的编号 如样本点l l 位于选出的第一个偶极子中 所以它所对应的编号 为 l 令k 为该步所分的类数 k 1 6 A 1 11 22 52 61 61 582 41 073 42 91 82 1 l234567891 01 11 21 31 4 B 1 41 32 32 71 9l O 5 1 72 2 33 3 3 69 I2345 6 789 I O I I1 21 31 4 准则值力 P d k p 其中P 表示偶极予的总个数 d k 表示上F 标号相 同的列数 现将A B 集对照来看 从左到右 如果上 下两点编号相同 则 K 加1 如不同 K 值不变 A K 相当于拥有相同类的个数 K 1 1 l 1 1 6 7 p 一 K p 0 分别计算A 集和B 集各点恻的距离 将相距最近的点归为一类 假设A 集中样本点2 与样本点1 4 的距离最小 B 集中样本点t 与样本点8 距离最小 则将集A 中的点2 和点1 4 合并为一类 将集B 中的点l 和点8 合 并为一类 此时 此时一致顶点数 K 0 0 I I o 1 O l 1 2 如M 船嵋4 阿 6 6 l l 5 5 I 1 24 4 l l 3 3 l I 8 8 7 7 6 6 5 5 4 4 3 3 1 2 2 b 酌睁 U A B 四川大学硕士学位论文 7 1 6 1 2 1 6 0 2 5 将子集分为1 4 类 即 k 1 4 再次编辑点间距离表 考虑先前一步形 成的类 按最近邻居原则 取点到某类中两个点的距离中的小者该点到这个类 的距离 A 1 21 4 31 3 4 56 7891 01 1 1 2 31 3 21 4 1 5 1 6 B 158 23 4 158 67 1 58 9 1 01 I1 2 1