数据挖掘应用案例：RFM模型分析与客户细分

数据挖掘应用案例 RFM 模型分析与客户细分 分类 数据挖掘 标签 市场研究 数据挖掘 RFM 模型 2012 01 21 21 39 阅读 16854 评论 9 这里 我先给各位朋 友拜年 祝大家新春快乐 兔年就要过去了 本命年的最后一天再不更新博客有点对不住大家 正好刚帮某电信 行业完成一个数据挖掘工作 其中的 RFM 模型还是有一定代表性 就再把数据挖掘 RFM 模型的建模思路细节与大家分享一下吧 手机充值业务是一项主要电信业务形式 客户的 充值行为记录正好满足 RFM 模型的交易数据要求 根据美国数据库营销研究所 Arthur Hughes 的研究 客户数据库中有三个神奇的要素 这三个要素构成了数据分析最好的指标 最近一次消费 Recency 消费频率 Frequency 消费金额 Monetary 我早期两篇博文已详述了 RFM 思想和 IBM Modeler 操作过程 有兴趣的朋友可以阅 读 RFM 模型 R Recency 表示客户最近一次购买的时间有多远 F Frequency 表示客 户在最近一段时间内购买的次数 M Monetary 表示客户在最近一段时间内购买的金额 一般原始数据为 3 个字段 客户 ID 购买时间 日期格式 购买金额 用数据挖掘软件 处理 加权 考虑权重 得到 RFM 得分 进而可以进行客户细分 客户等级分类 Customer Level Value 得分排序等 实现数据库营销 这里 再次借用 数据挖掘与数据分析的 RFM 客户 RFM 分类图 本次分析用的的软件工具 IBM SPSS Statistics 19 IBM SPSS Modeler14 1 Tableau7 0 EXCEL 和 PPT 因为 RFM 分析仅是项目的一个小部分分析 但也面临海量数据的处理能力 这一点 对计算机的内存和硬盘容量都有要求 先说说对海量数据挖掘和数据处理的一点体会 仅指个人电脑操作平台而言 一般我们拿到的数据都是压缩格式的文本文件 需要解压缩 都在 G 字节以上存 储单位 一般最好在外置电源移动硬盘存储 如果客户不告知 你大概是不知道有 多少记录和字段的 Modeler 挖掘软件默认安装一般都需要与 C 盘进行数据交换 至少需要 100G 空间 预留 否则读取数据过程中将造成空间不足 海量数据处理要有耐心 等待 30 分钟以上运行出结果是常有的现象 特别是在进 行抽样 合并数据 数据重构 神经网络建模过程中 要有韧性 否则差一分钟中 断就悲剧了 呵呵 数据挖掘的准备阶段和数据预处理时间占整个项目的 70 我这里说如果是超大 数据集可能时间要占到 90 以上 一方面是处理费时 一方面可能就只能这台电 脑处理 不能几台电脑同时操作 多带来不同 这是我一直强调的体验 所以海量数据需要用到抽样技术 用来查看 数据和预操作 记住 有时候即使样本数据正常 也可能全部数据有问题 建议数 据分隔符采用 存储 如何强调一个数据挖掘项目和挖掘工程师对行业的理解和业务的洞察都不为过 好 的数据挖掘一定是市场导向的 当然也需要 IT 人员与市场人员有好的沟通机制 数据挖掘会面临数据字典和语义层含义理解 在 MetaData 元数据管理和理解上下 功夫会事半功倍 否则等数据重构完成发现问题又要推倒重来 悲剧 每次海量大数据挖掘工作时都是我上微博最多的时侯 它真的没我算的快 只好上 微博等它 哈哈 传统 RFM 分析转换为电信业务 RFM 分析主要思考 这里的 RFM 模型和进而细分客户仅是数据挖掘项目的一个小部分 假定我们拿到一个月 的客户充值行为数据集 实际上有六个月的数据 我们们先用 IBM Modeler 软件构建一 个分析流 数据结构完 全满足 RFM 分析要求 一个月的数据就有 3 千万条交易记录 我们先用挖掘工具的 RFM 模型的 RFM 汇总节点和 RFM 分析节点产生 R Recency F Frequency M Monetary 接着我们采用 RFM 分析节点就完成了 RFM 模型基础数据重构和整理 现在我们得到了 RFM 模型的 Recency Score Frequency Score Monetary Score 和 RFM Score 这里对 RFM 得分进行了五等分切割 采用 100 10 1 加权得到 RFM 得分表明了 125 个 RFM 魔方块 传统的 RFM 模型到此也就完成了 但 125 个细分市场太多啦无法针对性营销也需要识 别客户特征和行为 有必要进一步细分客户群 另外 RFM 模型其实仅仅是一种数据处理方法 采用数据重构技术同样可以完成 只 是这里固化了 RFM 模块更简单直接 但我们可以采用 RFM 构建数据的方式不为 RFM 也 可用该模块进行数据重构 我们可以将得到的数据导入到 Tableau 软件进行描述性分析 数据挖掘软件在描 述性和制表输出方面非常弱智 哈哈 我们也可以进行不同块的对比分析 均值分析 块类别分析等等 这时候我们就可以看出 Tableau 可视化工具的方便性 接下来 我们继续采用挖掘工具对 R F M 三个字段进行聚类分析 聚类分析主要 采用 Kohonen K means 和 Two step 算法 这时候我们要考虑是直接用 R Recency F Frequency M Monetary 三个变量还 是要进行变换 因为 R F M 三个字段的测量尺度不同最好对三个变量进行标准化 例 如 Z 得分 实际情况可以选择线性插值法 比较法 对标法等标准化 另外一个考虑 就是 R F M 三个指标的权重该如何考虑 在现实营销中这三个指标重要性显然不同 有资料研究表明 对 RFM 各变量的指标权重问题 Hughes Arthur 认为 RFM 在衡量一 个问题上的权重是一致的 因而并没有给予不同的划分 而 Stone Bob 通过对信用卡的实证 分析 认为各个指标的权重并不相同 应该给予频度最高 近度次之 值度最低的权重 这里我们采用加权方法 WR 2 WF 3 WM 5 的简单加权法 实际情况需要专家或 营销人员测定 具体选择哪种聚类方法和聚类数需要反复测试和评估 同时也要比较三 种方法哪种方式更理想 下图是采用快速聚类的结果 以及 kohonen 神经算法的聚类结果 接下来我们要识别聚类结果的意义和类分析 这里我们可以采用 C5 0 规则来识别不同聚 类的特征 其中 Two step 两阶段聚类特征图 采用评估分析节点对 C5 0 规则的模型识别能力进行判断 结果还不错 我们可以分别选择三种聚类方法 或者选择一种更易解释的聚类结果 这里选择 Kohonen 的聚类结果将聚类字段写入数据集后 为方便我们将数据导入 SPSS 软件进行均值分析和输出到 Excel 软件 输出结果后将数据导入 Excel 将 R F M 三个字段分类与该字段的均值进行比较 利用 Excel 软件的条件格式给出与均值比较的趋势 结合 RFM 模型魔方块的分类识别客 户类型 通过 RFM 分析将客户群体划分成重要保持客户 重要发展客户 重要挽留客户 一般重要客户 一般客户 无价值客户等六个级别 有可能某个级别不存